X3芯片用户手册

• 1. 前言
  • 1.1. 概述
  • 1.2. 交付包总体说明
  • 1.3. X3M 芯片规格
    • 1.3.1. 关键特性
  • 1.4. 操作系统版本
• 2. 快速入门
  • 2.1. X3 SDB开发板说明
    • 2.1.1. 概述
    • 2.1.2. 规格参数
    • 2.1.3. 组装方法
  • 2.2. 开发板登录方法
    • 2.2.1. 串口登录
      • 2.2.1.1. PC安装串口驱动
      • 2.2.1.2. 终端控制软件
    • 2.2.2. 网口调试
      • 2.2.2.1. 网络配置
      • 2.2.2.2. 终端软件配置
    • 2.2.3. USB口调试
      • 2.2.3.1. 安装 adb 和 fastboot 命令
      • 2.2.3.2. USB 驱动安装
      • 2.2.3.3. ADB
      • 2.2.3.4. fastboot
  • 2.3. 镜像升级方法
    • 2.3.1. USB升级
    • 2.3.2. 网口升级
    • 2.3.3. 串口升级
    • 2.3.4. 自定义升级
  • 2.4. 接口使用说明
    • 2.4.1. 接口总览
    • 2.4.2. 电源接口
    • 2.4.3. 调试串口
    • 2.4.4. 以太网
    • 2.4.5. USB
    • 2.4.6. 摄像头
    • 2.4.7. HDMI
    • 2.4.8. TouchScreen
    • 2.4.9. Wi-Fi/Bluetooth
    • 2.4.10. TF卡
    • 2.4.11. 40PIN
    • 2.4.12. RTC
  • 2.5. 调试工具说明
    • 2.5.1. BPU工具
    • 2.5.2. DDR工具
    • 2.5.3. 网络工具
    • 2.5.4. 芯片状态统计工具
  • 2.6. X3 SDB v3 开发板接口说明
    • 2.6.1. 概述
    • 2.6.2. 硬件外观
    • 2.6.3. 功能框图
    • 2.6.4. 底板接口
      • 2.6.4.1. DIP开关真值表
      • 2.6.4.2. 摄像头
      • 2.6.4.3. 串口
      • 2.6.4.4. USB
      • 2.6.4.5. 40PIN
• 3. Demo使用指南
  • 3.1. 典型应用场景
    • 3.1.1. 智能IPC
      • 3.1.1.1. 硬件环境准备
      • 3.1.1.2. 软件部署
      • 3.1.1.3. 单路，200W@30fps接入
        • 硬件连接方式
        • 软件启动方式
      • 3.1.1.4. 单路，800W@30fps接入
        • 硬件连接方式
        • 软件启动方式
      • 3.1.1.5. 双路 800W@30fps + 200W@30fps接入
        • 硬件连接方式
        • 软件启动方式
    • 3.1.2. USB Camera
      • 3.1.2.1. 硬件环境准备
      • 3.1.2.2. 软件部署
      • 3.1.2.3. 单路，200W@30fps接入；
        • 硬件连接方式
        • 软件启动方式
      • 3.1.2.4. 单路，800W@30fps；
        • 硬件连接方式
        • 软件启动方式
      • 3.1.2.5. 单路，800W@60fps;
        • 硬件连接方式
        • 软件启动方式
    • 3.1.3. 智能盒子
      • 3.1.3.1. 硬件环境准备
      • 3.1.3.2. 软件部署
        • 启动sunrise_camera
        • 配置单路1080P智能盒子
        • 配置4路1080P智能盒子
      • 3.1.3.3. 附录
        • VLC播放器拉流
  • 3.2. VIO使用指引
    • 3.2.1. get_sif_data 使用说明
      • 3.2.1.1. 程序功能
      • 3.2.1.2. 功能使用
        • 硬件连接
        • 程序部署
        • 运行效果说明
      • 3.2.1.3. 程序开发
        • 源码结构
        • 编译
        • 添加新sensor
    • 3.2.2. get_isp_data 使用说明
      • 3.2.2.1. 程序功能
      • 3.2.2.2. 功能使用
        • 硬件连接
        • 程序部署
        • 运行效果说明
      • 3.2.2.3. 程序开发
        • 源码结构
        • 编译
        • 添加新sensor
    • 3.2.3. sample_isp 使用说明
      • 3.2.3.1. 程序功能
      • 3.2.3.2. 功能使用
        • 程序部署
        • 命令解释：
      • 3.2.3.3. 程序开发
        • 源码结构
        • 编译
    • 3.2.4. sample_vps 使用说明
      • 3.2.4.1. 程序功能
      • 3.2.4.2. 功能使用
        • 程序部署
        • 运行效果说明
      • 3.2.4.3. 程序开发
        • 源码结构
        • 编译
    • 3.2.5. sample_vps_zoom 使用说明
      • 3.2.5.1. 程序功能
      • 3.2.5.2. 功能使用
        • 程序部署
        • 运行效果说明
      • 3.2.5.3. 程序开发
        • 源码结构
        • 编译
    • 3.2.6. sample_osd 使用说明
      • 3.2.6.1. 程序功能
      • 3.2.6.2. 功能使用
        • 程序部署
        • 运行效果说明
      • 3.2.6.3. 程序开发
        • 源码结构
        • 编译
    • 3.2.7. sample video codec 使用说明
      • 3.2.7.1. 程序功能
      • 3.2.7.2. 程序部署
        • sample_vdec_basic
        • sample_venc_basic
        • sample_vdec_two_channel
        • sample_venc_two_channel
      • 3.2.7.3. 运行效果说明
        • sample_vdec_basic
        • sample_venc_basic
        • sample_vdec_two_channel
        • sample_venc_two_channel
      • 3.2.7.4. 编译
    • 3.2.8. sample_vot 使用说明
      • 3.2.8.1. 程序功能
      • 3.2.8.2. 功能使用
        • 程序部署
        • 运行效果说明
      • 3.2.8.3. 程序开发
        • 源码结构
        • 编译
    • 3.2.9. sample_lcd 使用说明
      • 3.2.9.1. 程序功能
      • 3.2.9.2. 功能使用
        • 程序部署
        • 运行效果说明
      • 3.2.9.3. 程序开发
        • 源码结构
        • 编译
    • 3.2.10. sample_usb_cam_4k60 使用说明
      • 3.2.10.1. 程序功能
      • 3.2.10.2. 功能使用
        • 程序部署
        • 运行效果说明
      • 3.2.10.3. 程序开发
        • 模块划分
        • 编译
        • 添加新sensor
    • 3.2.11. Sunrise_camera用户使用说明
      • 3.2.11.1. 功能说明
      • 3.2.11.2. 硬件环境准备
        • Sensor连接
        • 网络连接要求
        • USB连接要求
      • 3.2.11.3. sunrise_camera部署方法
        • 程序启动方式
      • 3.2.11.4. Web端使用说明
        • 主界面
        • 参数配置方式
        • 设备信息
        • IP摄像头配置
        • USB摄像头
        • 智能盒子
        • 其他配置
      • 3.2.11.5. vlc播放器拉流
        • 拉流方法
        • 4K@30fps拉流配置说明
    • 3.2.12. Sunrise_camera开发说明
      • 3.2.12.1. Sunrise camera 系统设计
        • 系统框图
        • 微核设计
        • 架构优缺点
      • 3.2.12.2. Sunrise camera架构视图
        • 模块划分
        • 核心模块（communicate）
        • 公共库模块（common）
        • Camera模块（Camera）
        • 对外交互模块（Transport）
        • 主程序入口（main）
        • WebServer
      • 3.2.12.3. 添加新Sensor支持
        • 概述
        • 新增sensor的相关代码
        • sensor点亮指南
      • 3.2.12.4. 算法推理BPU
        • 概述
        • 添加一个新模型流程
• 4. 量化工具链开发指南
  • 4.1. 简介
  • 4.2. 环境安装
    • 4.2.1. 交付物使用说明
      • 4.2.1.1. 源码目录结构说明
    • 4.2.2. 开发机部署
      • 4.2.2.1. 开发机准备
      • 4.2.2.2. 使用Docker环境
      • 4.2.2.3. 手工安装环境
    • 4.2.3. 开发板部署
      • 4.2.3.1. 补充文件准备
    • 4.2.4. 版本管理工具使用说明
      • 4.2.4.1. ddk_vcs list
      • 4.2.4.2. ddk_vcs install
      • 4.2.4.3. ddk_vcs uninstall
      • 4.2.4.4. ddk_vcs patch
      • 4.2.4.5. ddk_vcs show
  • 4.3. 快速体验
    • 4.3.1. 开发环境准备
    • 4.3.2. 模型准备
    • 4.3.3. 模型验证
    • 4.3.4. 模型转换
    • 4.3.5. 模型性能验证
      • 4.3.5.1. 静态性能评估
      • 4.3.5.2. 动态性能评估
    • 4.3.6. 模型精度验证
      • 4.3.6.1. 开发机Python环境验证
      • 4.3.6.2. 开发板C++环境验证
    • 4.3.7. 公版模型性能精度指标
  • 4.4. 训练后量化(PTQ)使用说明
    • 4.4.1. PTQ原理及步骤详解
      • 4.4.1.1. 简介
      • 4.4.1.2. 模型算子约束
      • 4.4.1.3. 模型准备
      • 4.4.1.4. 模型验证
        • 使用 hb_mapper checker 工具验证模型
        • 检查异常处理
        • 检查结果解读
        • 检查结果的调优指导
      • 4.4.1.5. 模型转换
        • 准备校准数据
        • 使用 hb_mapper makertbin 工具转换模型
        • 模型转换yaml配置参数说明
        • 转换内部过程解读
        • 转换结果解读
        • 转换产出物解读
      • 4.4.1.6. 模型性能分析与调优
        • 使用 hb_perf 工具估计性能
        • 开发板实测性能
        • 模型性能优化
      • 4.4.1.7. 模型精度分析与调优
        • 模型精度分析
        • 精度调优
        • 使用QAT量化感知训练方案进一步提升模型精度
      • 4.4.1.8. 其它工具使用说明
        • hb_perf 工具
        • hb_pack 工具
        • hb_model_info 工具
        • hb_model_modifier 工具
        • hb_model_verifier 工具
        • hb_eval_preprocess 工具
    • 4.4.2. 模型算子支持列表
      • 4.4.2.1. 使用限制说明
      • 4.4.2.2. 支持的Caffe算子列表
      • 4.4.2.3. 支持的ONNX算子列表
  • 4.5. 上板运行(runtime)应用开发说明
    • 4.5.1. 模型上板运行示例说明
      • 4.5.1.1. 简介
        • 示例代码包结构介绍
      • 4.5.1.2. 环境构建
        • 开发板准备
        • 编译
      • 4.5.1.3. 示例使用
        • basic_samples 示例
      • 4.5.1.4. 辅助工具和常用操作
        • 日志
    • 4.5.2. 模型推理接口使用说明
      • 4.5.2.1. 概述
      • 4.5.2.2. 数据类型和数据结构
        • 版本信息类
        • 模型类
        • 系统类
        • 前处理类
        • 插件类
      • 4.5.2.3. API接口
        • 版本信息
        • 模型加载/释放
        • 模型信息
        • 模型推理
        • 内存操作
        • 前处理
        • 插件
      • 4.5.2.4. 数据排布及对齐规则
        • 数据排布
        • BPU对齐限制规则
        • NV12介绍
      • 4.5.2.5. 错误码
      • 4.5.2.6. 配置信息
      • 4.5.2.7. 开发机模拟器使用注意事项
    • 4.5.3. 模型上板分析工具说明
      • 4.5.3.1. 简介
      • 4.5.3.2. hrt_model_exec 工具使用说明
        • 输入参数描述
        • 使用说明
      • 4.5.3.3. hrt_bin_dump 工具使用说明
        • 输入参数描述
        • 使用说明
    • 4.5.4. 公版模型精度评测说明
      • 4.5.4.1. 公版模型性能精度指标
      • 4.5.4.2. 评测方法说明
        • 简介
        • 环境构建
        • 测评示例使用说明
        • 模型集成
        • 辅助工具和常用操作
• 5. PC工具使用指南
  • 5.1. 地平线产品升级工具使用手册
    • 5.1.1. 升级工具基本介绍
      • 5.1.1.1. 基本操作介绍
      • 5.1.1.2. 菜单介绍
      • 5.1.1.3. 升级配置介绍
      • 5.1.1.4. 产品配置介绍
    • 5.1.2. 下载模式介绍
      • 5.1.2.1. 初次使用时注意事项
      • 5.1.2.2. uart／uboot下载模式
      • 5.1.2.3. fastboot下载模式
    • 5.1.3. 配置文件介绍
      • 5.1.3.1. 升级工具基本设置
      • 5.1.3.2. 产品类型设置
      • 5.1.3.3. 产品设置文件
      • 5.1.3.4. 自定义boot文件
• 6. FAQ
  • 6.1. 环境类
    • 6.1.1. UBOOT的bootargs怎么设置
    • 6.1.2. 如何用fastboot命令行烧录系统镜像
    • 6.1.3. 如何在根文件系统修改文件
  • 6.2. 系统类
    • 6.2.1. PowerOff 命令会关闭哪些电
    • 6.2.2. 如何查看ddr带宽统计
    • 6.2.3. 如何设置ip且重启后有效
    • 6.2.4. 如何查看cpu bpu信息统计
    • 6.2.5. 如何读取芯片uid命令
    • 6.2.6. 如何查看bpu支持的频率
    • 6.2.7. 如何查看cpu频率模式
    • 6.2.8. 如何查看cpu降频温度
    • 6.2.9. 关闭cpu核的方法
    • 6.2.10. 中断绑定cpu核方法
    • 6.2.11. PWM、LWPM频率范围和开启方法
    • 6.2.12. MCLK时钟分频
    • 6.2.13. EMMC烧录器文件
    • 6.2.14. VIO时钟自适应开关
    • 6.2.15. 音频Bclk、Rclk关系
    • 6.2.16. ion大小查看命令，uboot下修改命令，dts修改ion大小
    • 6.2.17. X3 usb规格相关
    • 6.2.18. usb支持传输模式
    • 6.2.19. X3 usb host和device切换命令
    • 6.2.20. 如何查看和修改系统寄存器
    • 6.2.21. i2c命令使用
    • 6.2.22. X3查看i2s时钟状态
    • 6.2.23. X3 ddr和emmc压测命令
    • 6.2.24. 如何使用uart工具手动一步一步烧写固件
  • 6.3. 视频处理
    • 6.3.1. Version_0807版本SDK QOS配置方法
    • 6.3.2. 如何打开VIO各模块主要日志
    • 6.3.3. 如何打开VIO各模块中断日志
    • 6.3.4. X3查看sif,isp,ipu,pym,vpu等帧率命令
    • 6.3.5. 如何查看VIO各模块中断状态
  • 6.4. 编解码类
    • 6.4.1. 视频码流头部信息不正确报错
  • 6.5. 外设类
    • 6.5.1. 如何判断sensor硬件连接是否正常
    • 6.5.2. ETH phy寄存器读取方法
  • 6.6. 硬件类
    • 6.6.1. TF卡接口
    • 6.6.2. X3 电源上电斜率要求
    • 6.6.3. X3 上掉电时序要求
    • 6.6.4. LPDDR4&DDR4选型优缺点，更推荐使用LPDDR4
    • 6.6.5. USB ID：硬件配置USB主从模式
    • 6.6.6. USB_VBUS引脚，插拔检测
    • 6.6.7. UART串口数量少
    • 6.6.8. 最小系统整体运行、待机功耗测试
    • 6.6.9. X3 ADC引脚数目
  • 6.7. 工具类
    • 6.7.1. 升级失败-No space left on device
    • 6.7.2. 升级失败-芯片串口被占用
  • 6.8. 总线类
    • 6.8.1. USB常见问题(FAQ)
      • 6.8.1.1. 主机
      • 6.8.1.2. 从设备
      • 6.8.1.3. 热插拔(x3m做设备)
      • 6.8.1.4. OTG
    • 6.8.2. USB WEBCAM常见问题(FAQ)
      • 6.8.2.1. 如何使用usb_webcam单元测试程序?
        • 例子:
      • 6.8.2.2. 程序脚本的详细内容?
      • 6.8.2.3. 如何区分isoc, bulk传输两种类型的uvc程序?
      • 6.8.2.4. usb_webcam程序的sensor配置和选择?
      • 6.8.2.5. usb_webcam 相关复合设备典型形态如何运行?
      • 6.8.2.6. uac2 windows设备如何配置?(废弃)
      • 6.8.2.7. 如何修改uvc摄像头支持的格式和分辨率?
      • 6.8.2.8. 如何修改uac设备的音频采样率和频道数?
      • 6.8.2.9. 修改uac设备采样率, 通道等配置后, win10平台无法打开问题?
      • 6.8.2.10. uvc isoc传输多带宽配置相关?
      • 6.8.2.11. uvc isoc传输性能方面问题汇总?
  • 6.9. 量化工具链类
    • 6.9.1. 模型量化错误及解决方法
      • 6.9.1.1. hb_mapper checker (01_check.sh) 错误
      • 6.9.1.2. hb_mapper makertbin (03_build.sh) 错误
      • 6.9.1.3. 其他工具使用错误
        • hb_model_modifier 工具使用错误
        • hb_model_verifier 工具使用错误
        • hb_onnxruntime 错误
    • 6.9.2. .bin模型上板错误及解决方法
    • 6.9.3. 模型量化及上板使用技巧
      • 6.9.3.1. 量化感知训练QAT
        • hemat量化使用说明
      • 6.9.3.2. Transformer使用说明
        • AddTransformer
        • MeanTransformer
        • ScaleTransformer
        • NormalizeTransformer
        • TransposeTransformer
        • HWC2CHWTransformer
        • CHW2HWCTransformer
        • CenterCropTransformer
        • PILCenterCropTransformer
        • LongSideCropTransformer
        • PadResizeTransformer
        • ResizeTransformer
        • PILResizeTransformer
        • ShortLongResizeTransformer
        • PadTransformer
        • ShortSideResizeTransformer
        • PaddedCenterCropTransformer
        • BGR2RGBTransformer
        • RGB2BGRTransformer
        • RGB2GRAYTransformer
        • BGR2GRAYTransformer
        • RGB2GRAY_128Transformer
        • RGB2YUV444Transformer
        • BGR2YUV444Transformer
        • BGR2YUV444_128Transformer
        • RGB2YUV444_128Transformer
        • BGR2YUVBT601VIDEOTransformer
        • RGB2YUVBT601VIDEOTransformer
        • YUVTransformer
        • ReduceChannelTransformer
        • BGR2NV12Transformer
        • RGB2NV12Transformer
        • NV12ToYUV444Transformer
        • WarpAffineTransformer
        • F32ToS8Transformer
        • F32ToU8Transformer
      • 6.9.3.3. 示例yolov5x模型使用说明
      • 6.9.3.4. 模型精度调优checklist
        • 1. 验证浮点onnx模型的推理结果
        • 2. 验证yaml配置文件以及前、后处理代码的正确性
        • 3. 验证模型的图优化阶段未引入精度误差
        • 4. 验证量化精度是否满足预期
        • 5. 确保模型编译过程无误且板端推理代码正确
      • 6.9.3.5. 模型量化yaml配置文件模板
        • caffe模型量化yaml文件模板
        • onnx模型量化yaml文件模板
      • 6.9.3.6. x3多核bpu使用说明
      • 6.9.3.7. 定点.bin模型上板多batch使用说明
      • 6.9.3.8. 应用开发技巧说明
        • 多模型控制策略
        • 应用调优建议
• 7. 建议反馈
  • 7.1. 反馈途径
    • 7.1.1. 地平线AI社区
    • 7.1.2. 邮件反馈