中文 EN

6. 量化工具链开发指南

• 6.1. 简介
  • 6.1.1. 使用注意事项
    • 6.1.1.1. 浮点模型(FP32)注意事项
    • 6.1.1.2. 模型算子列表说明
• 6.2. 入门指南
  • 6.2.1. 概述
  • 6.2.2. 环境安装
    • 6.2.2.1. 硬件环境
    • 6.2.2.2. 开发机部署
  • 6.2.3. 快速体验
    • 6.2.3.1. 开发环境准备
    • 6.2.3.2. 模型准备
    • 6.2.3.3. 模型验证
    • 6.2.3.4. 模型转换
    • 6.2.3.5. 模型上板运行
• 6.3. 进阶指南
  • 6.3.1. 环境安装
    • 6.3.1.1. 交付物使用说明
      • 示例包源码目录结构说明
    • 6.3.1.2. 开发机部署
      • 开发机准备
      • 使用Docker环境
    • 6.3.1.3. 开发板部署
    • 6.3.1.4. 版本管理工具使用说明
      • ddk_vcs list
      • ddk_vcs install
      • ddk_vcs uninstall
      • ddk_vcs patch
      • ddk_vcs show
  • 6.3.2. PTQ原理及步骤详解
    • 6.3.2.1. 简介
    • 6.3.2.2. 模型准备
    • 6.3.2.3. 模型验证
      • 使用 hb_mapper checker 工具验证模型
      • 检查异常处理
      • 检查结果解读
      • 检查结果的调优指导
    • 6.3.2.4. 模型转换
      • 准备校准数据
      • 使用 hb_mapper makertbin 工具转换模型
      • 模型转换yaml配置参数说明
        • 模型参数组
        • 输入信息参数组
        • 校准参数组
        • 编译参数组
        • 自定义算子参数组
        • X5 int16配置说明
        • 预处理HzPreprocess算子说明
        • [参考]支持的校准方法
      • 转换内部过程解读
      • 转换结果解读
      • 转换产出物解读
    • 6.3.2.5. 模型性能分析
      • 开发机评测性能
      • 开发板实测性能
      • 模型性能优化
        • 检查影响模型性能的yaml参数
        • 处理CPU算子
        • 高性能模型设计建议
    • 6.3.2.6. 模型精度分析
      • 精度分析
      • 精度调优
        • 精度有明显损失（4%以上）
        • 较小精度损失提升（1.5%~3%）
        • 精度Debug工具
          • 使用方法说明
          • 功能说明
          • get_sensitivity_of_nodes
          • plot_acc_error
          • plot_distribution
          • get_channelwise_data_distribution
          • sensitivity_analysis
    • 6.3.2.7. 使用QAT量化感知训练方案进一步提升模型精度
    • 6.3.2.8. 其它工具使用说明
      • hb_mapper infer 工具
      • hb_perf 工具
      • hb_pack 工具
      • hb_model_info 工具
      • hb_model_modifier 工具
      • hb_verifier 工具
      • hb_eval_preprocess 工具
      • HB_ONNXRuntime 推理库
  • 6.3.3. 模型算子支持列表
    • 6.3.3.1. 使用限制说明
    • 6.3.3.2. X5支持的Caffe算子列表
    • 6.3.3.3. X5支持的ONNX算子列表
  • 6.3.4. 模型上板运行应用开发说明
    • 6.3.4.1. 模型推理DNN API使用示例说明
      • 概述
        • 示例代码包结构介绍
      • 环境构建
        • 开发板准备
        • 编译
      • 示例使用
        • basic_samples 示例
        • quick_start
        • api_tutorial
        • advanced_samples
        • misc
      • 辅助工具和常用操作
        • 日志
        • 示例日志
        • 模型推理 DNN API日志
    • 6.3.4.2. 公版模型性能精度测评说明
      • 简介
      • 发布物说明
        • 示例代码包结构
        • 示例模型
        • 公共数据集
      • 环境构建
        • 开发板准备
        • 编译环境准备
      • 测评示例使用说明
        • json配置文件参数信息
          • 输入配置项（input_config）
          • 输出配置项（output_config）
        • 性能评测
          • 测评脚本使用说明
            • 命令行参数说明
            • 结果可视化
        • 精度评测
          • 数据预处理
          • 生成lst文件
          • 数据挂载
          • 模型推理
          • 精度计算
      • 模型集成
        • 前处理
          • 前处理文件及头文件添加
          • 模型前处理配置文件添加
          • 前处理单帧延时评测
        • 后处理
          • 后处理文件及头文件添加
          • 增加模型运行脚本及配置文件
      • 辅助工具和常用操作
        • 日志系统使用说明
          • 示例日志
          • 模型推理API DNN日志
        • 算子耗时说明
        • dump工具
    • 6.3.4.3. 模型上板分析工具说明
      • 概述
      • hrt_model_exec 工具使用说明
        • 输入参数描述
        • 使用说明
        • model_info
        • 输入参数补充说明
        • infer
        • 多输入模型说明
        • 输入参数补充说明
        • perf
        • 多线程Latency数据说明
        • 输入参数补充说明
        • 常见问题
          • Latency、FPS数据是如何统计的？
          • 通过Latency推算FPS与工具测出的FPS为什么不一致？
          • 工具如何评测自定义算子模型？
      • hrt_bin_dump 工具使用说明
        • 输入参数描述
        • 使用说明
        • 示例说明
  • 6.3.5. 模型推理接口说明
    • 6.3.5.1. 模型推理库版本信息获取 API
      • hbDNNGetVersion()
    • 6.3.5.2. 模型加载/释放 API
      • hbDNNInitializeFromFiles()
      • hbDNNInitializeFromDDR()
      • hbDNNRelease()
    • 6.3.5.3. 模型信息获取 API
      • hbDNNGetModelNameList()
      • hbDNNGetModelHandle()
      • hbDNNGetInputCount()
      • hbDNNGetInputName()
      • hbDNNGetInputTensorProperties()
      • hbDNNGetOutputCount()
      • hbDNNGetOutputName()
      • hbDNNGetOutputTensorProperties()
    • 6.3.5.4. 模型推理 API
      • hbDNNInfer()
      • hbDNNRoiInfer()
      • hbDNNWaitTaskDone()
      • hbDNNReleaseTask()
    • 6.3.5.5. 模型内存操作 API
      • hbSysAllocMem()
      • hbSysAllocCachedMem()
      • hbSysFlushMem()
      • hbSysFreeMem()
      • hbSysWriteMem()
      • hbSysReadMem()
      • hbSysRegisterMem()
      • hbSysUnregisterMem()
    • 6.3.5.6. 数据类型和数据结构
      • 版本信息类
      • 模型类
      • 系统类
      • 前处理类
    • 6.3.5.7. 数据排布及对齐规则
      • 数据排布
      • BPU对齐限制规则
        • 模型输入要求
        • 对齐和有效数据
      • NV12介绍
        • YUV格式
        • NV12排布
    • 6.3.5.8. 模型推理DEBUG方法
      • 错误码
      • 配置信息
      • 开发机模拟器使用注意事项
• 6.4. 高阶指南
  • 6.4.1. 环境依赖
  • 6.4.2. 快速上手
    • 6.4.2.1. 基本流程
    • 6.4.2.2. 获取浮点模型
    • 6.4.2.3. Calibration
    • 6.4.2.4. 量化感知训练
    • 6.4.2.5. 转定点模型
    • 6.4.2.6. 模型部署
  • 6.4.3. 开发指南
    • 6.4.3.1. 浮点模型的要求
      • symbolic_trace
      • 仅支持部分算子
      • 构建量化友好模型
    • 6.4.3.2. qconfig 详解
      • 什么是 qconfig
      • 如何获取 qconfig
      • 如何设置 qconfig
      • qconfig 模板
    • 6.4.3.3. Calibration 指南
      • 流程和示例
      • 常用算法介绍
      • 调参技巧
      • Observer 参数文档
    • 6.4.3.4. 量化感知训练指南
      • 流程和示例
        • prepare_qat_fx
        • 加载 Calibration 模型参数
        • 训练迭代
      • 伪量化算子
        • 伪量化过程
        • 基于统计的方法
        • 基于学习的方法
    • 6.4.3.5. 异构模型指南
      • 异构模型介绍
      • 使用流程
      • 算子限制
      • 主要接口参数说明
      • 流程和示例
    • 6.4.3.6. 精度调优工具使用指南
      • 快速上手
      • API Reference
        • 模型结构检查
        • QuantAnalysis 类
          • auto_find_bad_case
          • set_bad_case
          • load_bad_case
          • save_bad_case
          • set_model_profiler_dir
          • run
          • compare_per_layer
          • sensitivity
          • clean
        • ModelProfiler 类
          • get_info_manager
          • table
          • tensorboard
    • 6.4.3.7. 量化部署 PT 模型的跨设备 Inference 说明
      • PT 模型执行使用的 device 和 trace 不一致
      • 多卡并行推理
    • 6.4.3.8. 常见问题
      • import 出错
      • 无法正常 prepare_calibration/qat
      • prepare_qat 后 forward 报错
      • 编译报错
      • 量化精度异常
      • 使用 torch.jit.load 加载 pt 文件报错
    • 6.4.3.9. 常见使用误区
      • 设置类错误
      • 方法类错误
      • 网络类错误
      • 算子类错误
      • 模型类错误
  • 6.4.4. 深入探索
    • 6.4.4.1. FX Quantization 原理介绍
      • 量化流程
        • Fuse（可选）
        • Prepare
        • Convert
        • Eager Mode 兼容性
    • 6.4.4.2. RGB888 数据部署
      • 场景
      • YUV 格式简介
      • 在训练时对 RGB 输入进行预处理
      • 在推理时对 YUV 输入进行实时转换
        • 算子定义
        • 使用方法
    • 6.4.4.3. 模型分段部署
      • 场景
      • 方法
    • 6.4.4.4. 算子融合
      • 吸收 BN
      • 融合 Add、ReLU(6)
      • 实现原理
      • 可以融合的算子
    • 6.4.4.5. Adaround（实验性功能）
      • 基本原理
      • 接口定义
      • 使用方法
        • list/tuple（推荐）
        • torch.utils.data.DataLoader
    • 6.4.4.6. 自动校准（实验性功能）
      • 基本原理
      • 接口定义
      • 使用方法
        • list/tuple（推荐）
        • torch.utils.data.DataLoader
  • 6.4.5. API手册
    • 6.4.5.1. March
    • 6.4.5.2. qconfig
      • qconfig 定义示例
    • 6.4.5.3. 伪量化算子
    • 6.4.5.4. QAT
    • 6.4.5.5. ONNX
    • 6.4.5.6. TorchScript 模型保存和加载
    • 6.4.5.7. Horizon 算子
    • 6.4.5.8. 模型编译
  • 6.4.6. 附录
    • 6.4.6.1. Eager 模式
      • 与 fx 模式的区别
      • 使用流程
        • 构建浮点模型
        • 浮点模型预训练
        • 设置 BPU 架构
        • 算子融合
        • 浮点模型转为量化模型
        • 量化训练
        • 量化模型转为定点模型
        • 对定点预测模型进行检查和编译
    • 6.4.6.2. 支持的公版算子
      • 综合说明
      • torch function 类
      • torch.nn.functional function 类
      • torch.nn Module 类
      • torch.quantization Module 类
      • torch.Tensor method 类
      • torchvision 类