1.1. 概述

本文作为地平线X3M芯片方案的用户手册，目标是满足用户对于环境搭建、方案评测、功能开发等多方面的需求，会从开发板使用、Demo使用、BSP开发、多媒体开发、AI工具链开发等多个方面进行讲解。

1.2. 交付包总体说明

地平线X3M芯片解决方案交付包，主要包括BSP源码、配套文档、硬件参考设计、sample示例、AI算法工具链、配套PC端工具软件等几部分。发布包各模块说明如下：

组件名 用途说明
board_support_package/platform_source_code.tar.gz 系统BSP源码
board_support_package/firmwares 预编译的X3SDB开发板刷机镜像
documentation 开发手册、接口描述文档
hardware_reference_design 硬件参考设计，包含原理图、pcb及bom
ai_toolchain_package AI 工具链开发包
sample 图像、算法示例程序
software_tools 配套PC端工具软件

1.3. X3M 芯片规格

旭日 3.0M（X3M）是 Horizon Robotics 支持的高度集成的高性能低功耗人工智能片上系统（SoC）。X3M 基于伯努利架构双核 BPU，支持实时像素级视频分割，结构化视频分析和视觉注意力感知。自主自研 BPU 可以对视频进行目标检测、图像分类、目标跟踪、语义分割和实例分割等人工智能推理计算。

先进的感知功能使 X3M 持续引领人工智能物联网（AIoT）行业水平。通过对环境的精确检测、识别和理解（包括人、物、车辆、行为），实现了人脸检测/识别以及汽车牌照识别等等。除了视频/图像人工智能检测、分割和识别外，X3M BPU 还可以支持智能语音算法，例如关键词检索、语音识别和文字转语音等，以使 AIoT 设备的智能功能更加完善。

1.3.1. 关键特性

CPU

  • 四核Arm® Cortex® A53，32 KB/32 KB L1 I/D和512 KB L2缓存。

  • 典型工作频率：1.2GHz @标称VDD_CPU工作电压。

BPU

  • 由BPU0和BPU1组成的双核伯努利架构BPU，提供高达5 TOPS的等效算力。

  • 典型工作频率：1.0GHz @标称VDD_CNN0/1工作电压。

  • 支持主流神经网络。

外部存储器

  • DDR

    • 支持x32 DDR4/LPDDR4/LPDDR4X片外DRAM。

    • 支持最大存储空间4 GB。

  • eMMC5.0控制器

    • 最高支持HS200模式

    • 最高支持8bit数据位宽

ISP

  • 8M@60fps

  • 3DNR/LDC/GDC

  • 3A（AE/AWB/AF），支持第三方 3A 算法

视频输入接口

  • 支持MIPI CSI视频输入：

    • 3 MIPI CSI Rx端口：CSI-Rx1/3（1个时钟通道+4个数据通道），CSI-Rx0（1个时钟通道+ 2个数据通道）和 CSI-Rx2（1个时钟通道+ 2个数据通道）。

    • 每个数据通道高达2.0 Gbps，四个数据通道的峰值传输速率为8 Gbps。

    • 视频输入高达4096 x 2160p @ 30fps。

    • 支持RAW 8-/10-/12-/14-/16位格式和8-/10位YUV格式。

  • MIPI CSI RX的虚拟通道以支持最多8路sensor视频输入：

    • CSI-RX1/3：1个时钟通道+ 4个数据通道，支持多达4个虚拟通道。

    • CSI-RX0：1个时钟通道+ 2个数据通道，支持多达2个虚拟通道。

    • CSI-RX2：1个时钟通道+ 2个数据通道，支持多达2个虚拟通道。

视频输出接口

  • 支持BT1120/BT656视频输出

  • 支持MIPI CSI TX视频输出

  • 支持MIPI DSI TX视频输出

  • 支持个用户界面（UI）层alpha混合

视频/图像处理单位

  • 图像处理单元（IPU）：

    • 支持裁剪和缩放

    • 支持多路分解6个虚拟通道

    • 支持图像 Mirror、Flip 功能

    • 支持编码前处理 OSD 叠加

  • 金字塔（PYM）：

    • 输入图像尺寸最大为8Mp。

    • 生成各种尺寸的多层金字塔图像。

    • 可配置图层，感兴趣区域（ROI）和缩放因子。

视频编解码器

  • 支持H.265（HEVC）编码和解码：

    • Main profile @ L5.1。

    • 支持I/P/B帧。

  • 支持H.264编码和解码：

    • Baseline/Main/High profiles @ L5.1。

    • H.264支持SVC-T编码。

  • H265/H264编解码性能：

    • 3840 x 2160p @ 60fps 编码/解码 + 1280 x 720p @ 30fps 编码/解码。

    • 4096 x 2160p @ 60fps 编码/解码。

    • 3840 x 2160p @ 30fps 编码/解码 + 1920 x 1080p @ 30fps 编码/解码 + 1280 x 720p @ 30fps 编码/解码。

    • 3840 x 2160p @ 30fps 编码/解码 + 3840 x 2160p @ 30fps 编码/解码。

  • 支持JPEG编码和解码：

    • Baseline profile。

    • 支持CBR、VBR、AVBR、FixQp和QpMap比特率控制模式。

外围接口

  • 1个USB 3.0 DRD(Dual-Role Device)

  • 1个1G Ethernet MAC

  • 3个SDIO/SD3.0

  • 3个SPI

  • 6个I2C

  • 4个UART

  • 2个I2S (TDM支持8个通道)

  • 9个PWM

  • RTC/Timer

  • Watchdog

芯片物理规格

  • 台积电16纳米FinFET紧凑型技术（FFC）工艺。

  • FCBGA483封装，管脚间距为0.65 mm，封装尺寸为15 mm x 15 mm。

  • 工作温度：-25〜85℃。

1.4. 操作系统版本

X3M芯片方案SDK提供了 Linux 和 Ubuntu 20.04 两个版本，以满足不同用户群体对操作系统的需求。两个版本的Linux内核和GCC工具链版本保持一致，其中内核版本为4.14，GCC工具链版本为9.3.0。