7.4.1. 旭日 X3 概述

旭日 Sunrise3（简称 X3）是地瓜机器人 2020 年推出的低功耗、高性能处理器。 根据用户场景需求不同，X3 进一步划分出 X3M 和 X3E 两个版本。

它的功能框图如下图所示：

../../../../_images/processor_block.png

  1. CPU 规格：X3 处理器采用的 ARM® Cortex®-A53 作为主控 CPU，L1 Cache 大小为 32KB, L2 Cache 大小为 512KB，支持 FPU, NEON 加速。 典型工作频率为 1.2GHz，并支持软件层面进行频率控制。X3M 处理器内部 4 个 CPU Core，X3E 处理器中内置了 2 个 CPU Core。

  2. BPU 规格：BPU 为基于地瓜机器人自研伯努利二代架构打造的加速 IP 核，X3 处理器内置了 2 个 IP 核心。 其中 X3M 的两个 BPU 核典型工作频率 1.2GHz，X3E 的两个 BPU 核典型工作频率 0.6GHz，等效算力分别高达 5TOPS 和 3TOPS。

注解

X3 内置的 2 个 BPU Core，为了业务层面的模型调度提供了非常灵活的多核调度能力，其中包括：

  1. 单帧单核：将单次模型推理手动调度到单个 BPU Core 上进行推理。从而针对检测+分类等场景，可以将全图检测高优先级模型与一些低优先级模型进行物理隔离。

  2. 单帧双核：单次模型推理同时使用两个 BPU Core 的硬件资源来进行推理，实现 真双核 的执行能力，可以显著地降低单次模型推理的延迟。

在 DDR 等资源未达到瓶颈的情况下，单帧单核可以保证两个 BPU 核的调度推理隔离。多线程单帧双核场景可以实现推理 FPS 的双倍提升。 单帧双核场景下，针对大模型，它可以显著的降低单次模型推理延迟。但是在多线程多帧双核场景，会因为双核调度开销，无法实现 FPS 的双倍提升。

  1. 视频通路能力：X3 处理器提供了视频输入 Video In,视频输出 Video Out,视频编解码 Video CODEC 以及图像编解码 Image Process 等完整视频通路，详细请参考下图：

../../../../_images/processor_video.png

  • Video In 模块：支持 MIPI 和 DVP 两种类型图像 Sensor 的输入。 其中 MIPI Rx 分为 Rx0，Rx1/3，Rx2，总共支持 8 条 Lane，每个 Lane 带宽设计支持 2Gbps，支持 YUV422 8/10bit 以及 Raw 8，10，12，14 几种格式的 Sensor 输入。

  • SIF 模块：承载了 Video In 输入的虚拟通道到下游 ISP/IPU 模块的转发工作，并支持直接通过 bypass 旁路的功能将 Video In 数据转发到第三方 SOC。

  • ISP 模块：支持 LSC/LDC/DIS/DPC/SNR 等，可以在宽动态、低照度场景下得到高质量的图像。同时提供 ISP Tuning 工具支持用户自行进行 ISP 调试。

  • VPS 硬件：提供了缩放，镜像，旋转，矫正，流控，金字塔等图像处理能力。硬件上由单个 IPU，单个金字塔 PYM，两个 GDC 组成。软件上则采用分组来实现分时复用硬件，最大支持 8 个组的分时复用。

  • VENC/VDEC 模块：提供了最大 8M@60fps 的 H.265 编解码，最大 8M@30fps 的 H.264 编解码能力，以及支持最大 16Mpixels 的 JPEG 编解码能力。

  • Video Out 模块：支持 BT1120，BT656，MIPI 等输出场景。

注解

Video In 模块除了支持 MIPI 和 DVP 两种 RAW 类型 Sensor 的输入以外，我们还支持通过 USB 接口的 Sensor 输入。 常见场景是通过 USB 驱动拿到 JPEG 等格式的 USB 输入图像，并经过 VDEC 解码模块进行图像解码，输出 YUV 格式的数据给到 VPS 模块。

关于基础视频通路使用和 USB Camera 的使用，你可以参考系统软件基础 API，或通过 VideoSource 应用开发组件来简化你的使用。

其他关于外设等端口，你可以参考 X3M/X3E 处理器 Datasheet 手册。