6. 进阶内容

本章为您介绍进阶内容，内容包括 HAT深度学习训练工具使用手册 、 高效模型设计指导手册 、 DSP开发文档 、 图像数字信号处理器运行时API手册 、 DSP示例包使用说明 、 全流程示例文档 。

• 6.1. Horizon Algorithm Toolkit (海图)
  • 6.1.1. INTRODUCTION
    • 6.1.1.1. 简介
      • 6.1.1.1.1. 特性
      • 6.1.1.1.2. 示例模型
  • 6.1.2. FRAMEWORK
    • 6.1.2.1. 框架
      • 6.1.2.1.1. HAT核心模块
      • 6.1.2.1.2. HAT构建训练流程
    • 6.1.2.2. 执行引擎
      • 6.1.2.2.1. Engine的执行流程
      • 6.1.2.2.2. Engine结构
  • 6.1.3. TUTORIALS
    • 6.1.3.1. 如何进行量化训练
      • 6.1.3.1.1. 量化训练流程简介
        • 6.1.3.1.1.1. 添加自定义模型
        • 6.1.3.1.1.2. 添加 config 文件
      • 6.1.3.1.2. 训练
      • 6.1.3.1.3. 恢复训练
      • 6.1.3.1.4. qat_mode
        • 6.1.3.1.4.1. 作用
        • 6.1.3.1.4.2. 可选项定义
        • 6.1.3.1.4.3. 原理介绍
          • 6.1.3.1.4.3.1. fuse_bn
          • 6.1.3.1.4.3.2. with_bn
          • 6.1.3.1.4.3.3. with_bn_reverse_fold
        • 6.1.3.1.4.4. 用法
          • 6.1.3.1.4.4.1. 设置 qat_mode
          • 6.1.3.1.4.4.2. 查看当前 qat_mode
          • 6.1.3.1.4.4.3. 设置逐步吸收 BN
        • 6.1.3.1.4.5. qat_mode 总结
    • 6.1.3.2. set_qconfig 书写规范和自定义 qconfig 介绍
      • 6.1.3.2.1. set_qconfig 方法书写规范
      • 6.1.3.2.2. 自定义 QAT QConfig 参数
    • 6.1.3.3. 如何开启 AMP
    • 6.1.3.4. 如何编译模型
      • 6.1.3.4.1. 1. 输入为 config 文件
    • 6.1.3.5. 注册机制
      • 6.1.3.5.1. 自定义模块
        • 6.1.3.5.1.1. 1. 定义一个新的backbone（如MobileNet）：
        • 6.1.3.5.1.2. 2. 导入新定义的模块
        • 6.1.3.5.1.3. 3. 在config中使用新的backbone
    • 6.1.3.6. config 文件介绍
      • 6.1.3.6.1. 全局关键字
      • 6.1.3.6.2. 如何配置
    • 6.1.3.7. 通过命令行覆盖config参数
    • 6.1.3.8. 计算量工具
      • 6.1.3.8.1. 计算量的定义
      • 6.1.3.8.2. 计算量工具的使用方法
      • 6.1.3.8.3. 常见分类模型的计算量（输入大小为1x3x224x224）
    • 6.1.3.9. 数据校准
      • 6.1.3.9.1. 1. 如何定义 Calibration 模型
      • 6.1.3.9.2. 2. 浮点模型做 Calibration
      • 6.1.3.9.3. 3. 使用 Calibration 模型做 QAT 训练
    • 6.1.3.10. 启动方式
      • 6.1.3.10.1. 最简单的模式
      • 6.1.3.10.2. torchrun
      • 6.1.3.10.3. mpirun
  • 6.1.4. EXAMPLES
    • 6.1.4.1. Docker 镜像说明
      • 6.1.4.1.1. 1. 如何启动
      • 6.1.4.1.2. 2. 获取执行脚本
    • 6.1.4.2. 执行脚本
      • 6.1.4.2.1. tools
    • 6.1.4.3. 多机使用说明
      • 6.1.4.3.1. 1. 环境准备
      • 6.1.4.3.2. 2. 启动docker
      • 6.1.4.3.3. 3. 使用mpirun启动多机多卡训练脚本
    • 6.1.4.4. MobileNetV1分类模型训练
      • 6.1.4.4.1. 1. 训练流程
        • 6.1.4.4.1.1. 数据集准备
        • 6.1.4.4.1.2. 模型训练
        • 6.1.4.4.1.3. 模型验证
        • 6.1.4.4.1.4. 模型推理
        • 6.1.4.4.1.5. 仿真上板精度验证
        • 6.1.4.4.1.6. 定点模型编译
      • 6.1.4.4.2. 2. 训练细节
        • 6.1.4.4.2.1. 训练条件
        • 6.1.4.4.2.2. 网络结构
        • 6.1.4.4.2.3. 数据增强
        • 6.1.4.4.2.4. 训练策略
        • 6.1.4.4.2.5. 量化训练
        • 6.1.4.4.2.6. 模型检查编译和仿真上板精度验证
      • 6.1.4.4.3. 3. 预训练模型
    • 6.1.4.5. RetinaNet检测模型训练
      • 6.1.4.5.1. 数据集准备
      • 6.1.4.5.2. 浮点模型训练
        • 6.1.4.5.2.1. 模型构建
        • 6.1.4.5.2.2. 数据增强
        • 6.1.4.5.2.3. 训练策略
      • 6.1.4.5.3. 量化模型训练
        • 6.1.4.5.3.1. model_convert_pipeline参数的值不同
        • 6.1.4.5.3.2. 训练策略不同
        • 6.1.4.5.3.3. 模型验证
        • 6.1.4.5.3.4. 仿真上板精度验证
          • 6.1.4.5.3.4.1. 结果可视化
        • 6.1.4.5.3.5. 模型检查和编译
    • 6.1.4.6. YOLOV3检测模型训练
      • 6.1.4.6.1. 训练流程
      • 6.1.4.6.2. 训练细节
        • 6.1.4.6.2.1. 网络结构
        • 6.1.4.6.2.2. 数据增强
        • 6.1.4.6.2.3. 训练策略
        • 6.1.4.6.2.4. 量化训练
        • 6.1.4.6.2.5. 模型检查和编译
    • 6.1.4.7. FCOS检测模型训练
      • 6.1.4.7.1. 数据集准备
      • 6.1.4.7.2. 浮点模型训练
        • 6.1.4.7.2.1. 模型构建
        • 6.1.4.7.2.2. 数据增强
        • 6.1.4.7.2.3. 训练策略
      • 6.1.4.7.3. 量化模型训练
        • 6.1.4.7.3.1. quantize参数的值不同
        • 6.1.4.7.3.2. 训练策略不同
        • 6.1.4.7.3.3. 模型验证
        • 6.1.4.7.3.4. 仿真上板精度验证
        • 6.1.4.7.3.5. 结果可视化
        • 6.1.4.7.3.6. 模型检查和编译
    • 6.1.4.8. UNet分割模型训练
      • 6.1.4.8.1. 1. 训练流程
        • 6.1.4.8.1.1. 数据集下载
        • 6.1.4.8.1.2. 数据集打包
        • 6.1.4.8.1.3. 模型训练
        • 6.1.4.8.1.4. 指标验证
        • 6.1.4.8.1.5. 仿真上板精度验证
        • 6.1.4.8.1.6. 模型推理
        • 6.1.4.8.1.7. 模型编译
      • 6.1.4.8.2. 2. 训练细节
        • 6.1.4.8.2.1. 模型结构
        • 6.1.4.8.2.2. 数据预处理
        • 6.1.4.8.2.3. 训练策略
        • 6.1.4.8.2.4. 量化训练策略
        • 6.1.4.8.2.5. 模型检查和编译
      • 6.1.4.8.3. 3. 预训练模型
    • 6.1.4.9. PwcNet光流预测模型训练
      • 6.1.4.9.1. 1. 训练流程
        • 6.1.4.9.1.1. 数据集准备
        • 6.1.4.9.1.2. 模型训练
        • 6.1.4.9.1.3. 模型验证
        • 6.1.4.9.1.4. 模型推理
        • 6.1.4.9.1.5. 仿真上板精度验证
        • 6.1.4.9.1.6. 定点模型检查和编译
      • 6.1.4.9.2. 1. 训练细节
        • 6.1.4.9.2.1. 模型构建
        • 6.1.4.9.2.2. 数据增强
        • 6.1.4.9.2.3. 训练策略
        • 6.1.4.9.2.4. 量化训练
        • 6.1.4.9.2.5. 模型检查编译和仿真上板精度验证
    • 6.1.4.10. PointPillars检测模型训练
      • 6.1.4.10.1. 数据集准备
      • 6.1.4.10.2. 浮点模型训练
        • 6.1.4.10.2.1. 模型构建
        • 6.1.4.10.2.2. 数据增强
        • 6.1.4.10.2.3. 训练策略
        • 6.1.4.10.2.4. 量化模型训练
        • 6.1.4.10.2.5. quantize参数的值不同
        • 6.1.4.10.2.6. 训练策略不同
        • 6.1.4.10.2.7. 模型验证
        • 6.1.4.10.2.8. 仿真上板精度验证
        • 6.1.4.10.2.9. 结果可视化
        • 6.1.4.10.2.10. 模型检查和编译
  • 6.1.5. FLOAT EXAMPLES
    • 6.1.5.1. VargConvNet分类模型训练
      • 6.1.5.1.1. 1. 训练流程
        • 6.1.5.1.1.1. 数据集准备
        • 6.1.5.1.1.2. 模型训练
    • 6.1.5.2. Fastscnn分割模型训练
      • 6.1.5.2.1. 1. 训练流程
        • 6.1.5.2.1.1. 数据集下载
        • 6.1.5.2.1.2. 数据集打包
        • 6.1.5.2.1.3. 模型训练
    • 6.1.5.3. Deeplab分割模型训练
      • 6.1.5.3.1. 1. 训练流程
        • 6.1.5.3.1.1. 数据集下载
        • 6.1.5.3.1.2. 数据集打包
        • 6.1.5.3.1.3. 模型训练
  • 6.1.6. MODELZOO
    • 6.1.6.1. Float ModelZoo
      • 6.1.6.1.1. Classification
      • 6.1.6.1.2. Segmentation
    • 6.1.6.2. ModelZoo
      • 6.1.6.2.1. Classification
      • 6.1.6.2.2. Detection
      • 6.1.6.2.3. Segmentation
      • 6.1.6.2.4. OpticalFlow
      • 6.1.6.2.5. Lidar
  • 6.1.7. API REFERENCE
    • 6.1.7.1. hat.data
      • 6.1.7.1.1. Data
        • 6.1.7.1.1.1. collates
        • 6.1.7.1.1.2. dataloaders
        • 6.1.7.1.1.3. datasets
        • 6.1.7.1.1.4. samplers
        • 6.1.7.1.1.5. transforms
      • 6.1.7.1.2. API Reference
    • 6.1.7.2. hat.callbacks
      • 6.1.7.2.1. Callbacks
      • 6.1.7.2.2. API Reference
    • 6.1.7.3. hat.engine
      • 6.1.7.3.1. Engine
        • 6.1.7.3.1.1. processors
      • 6.1.7.3.2. API Reference
    • 6.1.7.4. hat.models
      • 6.1.7.4.1. Models
        • 6.1.7.4.1.1. backbones
        • 6.1.7.4.1.2. losses
        • 6.1.7.4.1.3. necks
        • 6.1.7.4.1.4. structures
          • 6.1.7.4.1.4.1. detectors
          • 6.1.7.4.1.4.2. opticalflow
          • 6.1.7.4.1.4.3. fcos
          • 6.1.7.4.1.4.4. lidar
          • 6.1.7.4.1.4.5. retinanet
          • 6.1.7.4.1.4.6. seg
          • 6.1.7.4.1.4.7. yolo
          • 6.1.7.4.1.4.8. deeplab
          • 6.1.7.4.1.4.9. fcn
          • 6.1.7.4.1.4.10. pwcnet
          • 6.1.7.4.1.4.11. pointpillars
      • 6.1.7.4.2. API Reference
    • 6.1.7.5. hat.metrics
      • 6.1.7.5.1. Metrics
      • 6.1.7.5.2. API Reference
    • 6.1.7.6. hat.profiler
      • 6.1.7.6.1. Profiler
      • 6.1.7.6.2. API Reference
    • 6.1.7.7. hat.visualize
      • 6.1.7.7.1. Visualize
      • 6.1.7.7.2. API Reference
• 6.2. 高效模型设计指导手册
  • 6.2.1. 概述
  • 6.2.2. 通用建议
    • 6.2.2.1. 建议1：使用BPU算子搭建模型
    • 6.2.2.2. 建议2：选择BPU高效实现的Backbone
    • 6.2.2.3. 建议3：尽量提高模型的计算/访存比
    • 6.2.2.4. 建议4：遵循硬件对齐规则
• 6.3. DSP开发文档
  • 6.3.1. DSP简介
  • 6.3.2. Linux开发环境安装
    • 6.3.2.1. 开发工具介绍
    • 6.3.2.2. 安装DSP工具链以及配置核
    • 6.3.2.3. DSP开发参考资料
  • 6.3.3. 开发流程
    • 6.3.3.1. 整体框架
    • 6.3.3.2. 自定义算子
    • 6.3.3.3. DSP Softmax算子开发
      • 6.3.3.3.1. Softmax分析
      • 6.3.3.3.2. DSP Softmax实现
      • 6.3.3.3.3. DSP算子性能分析及优化
      • 6.3.3.3.4. DSP SIM
      • 6.3.3.3.5. 地平线工具链实测DSP性能
      • 6.3.3.3.6. PINGPONG DMA
    • 6.3.3.4. 模型运行
• 6.4. 图像数字信号处理器运行时API手册
  • 6.4.1. ARM芯片API
    • 6.4.1.1. 数据类型与数据结构
      • 6.4.1.1.1. HB_DSP_INITIALIZE_RPC_CTRL_PARAM
      • 6.4.1.1.2. hbDSPRpcCmd
      • 6.4.1.1.3. hbDspRpcPriority
      • 6.4.1.1.4. hbDSPRpcCtrlParam
      • 6.4.1.1.5. hbDSPTask_t
    • 6.4.1.2. API接口
      • 6.4.1.2.1. hbDSPRpc
      • 6.4.1.2.2. hbDSPWaitTaskDone
      • 6.4.1.2.3. hbDSPReleaseTask
    • 6.4.1.3. 错误码
  • 6.4.2. DSP数字信号处理器API
    • 6.4.2.1. 数据类型与数据结构
      • 6.4.2.1.1. handle_fn
    • 6.4.2.2. API接口
      • 6.4.2.2.1. hb_dsp_env_init
      • 6.4.2.2.2. hb_dsp_start
      • 6.4.2.2.3. hb_dsp_register_fn
      • 6.4.2.2.4. hb_dsp_unregister_fn
• 6.5. DSP示例包使用说明
  • 6.5.1. 前言
  • 6.5.2. 交付物说明
    • 6.5.2.1. 示例代码包
  • 6.5.3. 环境构建
    • 6.5.3.1. 开发板准备
    • 6.5.3.2. 编译
      • 6.5.3.2.1. arm侧编译
      • 6.5.3.2.2. dsp侧编译
        • 6.5.3.2.2.1. 安装Xtensa Develop Tools
        • 6.5.3.2.2.2. 安装 VP6 Core Configuration
        • 6.5.3.2.2.3. 配置环境变量
  • 6.5.4. 示例使用
    • 6.5.4.1. DSP侧
    • 6.5.4.2. ARM侧
• 6.6. 目标检测全链路示例文档
  • 6.6.1. 介绍
  • 6.6.2. 程序原理
  • 6.6.3. 编译与部署
  • 6.6.4. 运行
    • 6.6.4.1. camera模式
    • 6.6.4.2. 网络回灌模式
    • 6.6.4.3. 如何使用
    • 6.6.4.4. 检测效果