4. 量化工具链开发指南

• 4.1. 简介
• 4.2. 环境安装
  • 4.2.1. 交付物使用说明
    • 4.2.1.1. 源码目录结构说明
  • 4.2.2. 开发机部署
    • 4.2.2.1. 开发机准备
    • 4.2.2.2. 使用Docker环境
    • 4.2.2.3. 手工安装环境
  • 4.2.3. 开发板部署
    • 4.2.3.1. 补充文件准备
  • 4.2.4. 版本管理工具使用说明
    • 4.2.4.1. ddk_vcs list
    • 4.2.4.2. ddk_vcs install
    • 4.2.4.3. ddk_vcs uninstall
    • 4.2.4.4. ddk_vcs patch
    • 4.2.4.5. ddk_vcs show
• 4.3. 快速体验
  • 4.3.1. 开发环境准备
  • 4.3.2. 模型准备
  • 4.3.3. 模型验证
  • 4.3.4. 模型转换
  • 4.3.5. 模型性能验证
    • 4.3.5.1. 静态性能评估
    • 4.3.5.2. 动态性能评估
  • 4.3.6. 模型精度验证
    • 4.3.6.1. 开发机Python环境验证
    • 4.3.6.2. 开发板C++环境验证
  • 4.3.7. 公版模型性能精度指标
• 4.4. 训练后量化(PTQ)使用说明
  • 4.4.1. PTQ原理及步骤详解
    • 4.4.1.1. 简介
    • 4.4.1.2. 模型算子约束
    • 4.4.1.3. 模型准备
    • 4.4.1.4. 模型验证
      • 使用 hb_mapper checker 工具验证模型
      • 检查异常处理
      • 检查结果解读
      • 检查结果的调优指导
    • 4.4.1.5. 模型转换
      • 准备校准数据
      • 使用 hb_mapper makertbin 工具转换模型
      • 模型转换yaml配置参数说明
        • 预处理HzPreprocess算子说明
      • 转换内部过程解读
      • 转换结果解读
      • 转换产出物解读
    • 4.4.1.6. 模型性能分析与调优
      • 使用 hb_perf 工具估计性能
      • 开发板实测性能
      • 模型性能优化
        • 检查影响模型性能的yaml参数
        • 处理CPU算子
        • 高性能模型设计建议
        • BPU面向高效率模型优化
    • 4.4.1.7. 模型精度分析与调优
      • 模型精度分析
      • 精度调优
        • 精度有明显损失（4%以上）
        • 较小精度损失提升
      • 使用QAT量化感知训练方案进一步提升模型精度
    • 4.4.1.8. 其它工具使用说明
      • hb_perf 工具
      • hb_pack 工具
      • hb_model_info 工具
      • hb_model_modifier 工具
      • hb_model_verifier 工具
      • hb_eval_preprocess 工具
  • 4.4.2. 模型算子支持列表
    • 4.4.2.1. 使用限制说明
    • 4.4.2.2. 支持的Caffe算子列表
    • 4.4.2.3. 支持的ONNX算子列表
• 4.5. 上板运行(runtime)应用开发说明
  • 4.5.1. 模型上板运行示例说明
    • 4.5.1.1. 简介
      • 示例代码包结构介绍
    • 4.5.1.2. 环境构建
      • 开发板准备
      • 编译
    • 4.5.1.3. 示例使用
      • basic_samples 示例
        • quick_start
        • api_tutorial
        • advanced_samples
        • misc
    • 4.5.1.4. 辅助工具和常用操作
      • 日志
        • 示例日志
        • 模型推理 DNN API日志
  • 4.5.2. 模型推理接口使用说明
    • 4.5.2.1. 概述
    • 4.5.2.2. 数据类型和数据结构
      • 版本信息类
        • HB_DNN_VERSION_MAJOR
        • HB_DNN_VERSION_MINOR
        • HB_DNN_VERSION_PATCH
      • 模型类
        • HB_DNN_TENSOR_MAX_DIMENSIONS
        • HB_DNN_INITIALIZE_INFER_CTRL_PARAM
        • hbPackedDNNHandle_t
        • hbDNNHandle_t
        • hbDNNTaskHandle_t
        • hbDNNTensorLayout
        • hbDNNDataType
        • hbDNNTensorShape
        • hbDNNQuantiShift
        • hbDNNQuantiScale
        • hbDNNQuantiType
        • hbDNNTensorProperties
        • hbDNNTaskPriority
        • hbDNNTensor
        • hbDNNRoi
        • hbDNNInferCtrlParam
      • 系统类
        • hbBPUCore
        • hbDSPCore
        • hbSysMem
        • hbSysMemFlushFlag
      • 前处理类
        • HB_DNN_INITIALIZE_RESIZE_CTRL_PARAM
        • hbDNNResizeType
        • hbDNNResizeCtrlParam
      • 插件类
        • hbDNNLayerCreator
    • 4.5.2.3. API接口
      • 版本信息
        • hbDNNGetVersion()
      • 模型加载/释放
        • hbDNNInitializeFromFiles()
        • hbDNNInitializeFromDDR()
        • hbDNNRelease()
      • 模型信息
        • hbDNNGetModelNameList()
        • hbDNNGetModelHandle()
        • hbDNNGetInputCount()
        • hbDNNGetInputName()
        • hbDNNGetInputTensorProperties()
        • hbDNNGetOutputCount()
        • hbDNNGetOutputName()
        • hbDNNGetOutputTensorProperties()
      • 模型推理
        • hbDNNInfer()
        • hbDNNRoiInfer()
        • hbDNNWaitTaskDone()
        • hbDNNReleaseTask()
      • 内存操作
        • hbSysAllocMem()
        • hbSysAllocCachedMem()
        • hbSysFlushMem()
        • hbSysFreeMem()
        • hbSysWriteMem()
        • hbSysReadMem()
        • hbSysRegisterMem()
        • hbSysUnregisterMem()
      • 前处理
        • hbDNNResize()
      • 插件
        • hbDNNRegisterLayerCreator()
        • hbDNNUnregisterLayerCreator()
    • 4.5.2.4. 数据排布及对齐规则
      • 数据排布
      • BPU对齐限制规则
        • 模型输入要求
        • stride要求
      • NV12介绍
        • YUV格式
        • NV12排布
    • 4.5.2.5. 错误码
    • 4.5.2.6. 配置信息
    • 4.5.2.7. 开发机模拟器使用注意事项
  • 4.5.3. 模型上板分析工具说明
    • 4.5.3.1. 简介
    • 4.5.3.2. hrt_model_exec 工具使用说明
      • 输入参数描述
      • 使用说明
        • model_info
          • 输入参数补充说明
        • infer
          • 多输入模型说明
          • 输入参数补充说明
        • perf
          • 多线程Latency数据说明
          • 输入参数补充说明
    • 4.5.3.3. hrt_bin_dump 工具使用说明
      • 输入参数描述
      • 使用说明
        • 示例说明
  • 4.5.4. 公版模型精度评测说明
    • 4.5.4.1. 公版模型性能精度指标
    • 4.5.4.2. 评测方法说明
      • 简介
        • 示例代码包结构
        • 示例模型
        • 公共数据集
      • 环境构建
        • 开发板准备
        • 编译环境准备
      • 测评示例使用说明
        • 性能评测
          • 测评脚本使用说明
          • 命令行参数说明
          • 配置文件说明
        • 精度评测
          • 数据预处理
          • 数据挂载
          • 模型推理
          • 精度计算
      • 模型集成
        • 后处理文件添加
        • 增加模型运行脚本及配置文件
      • 辅助工具和常用操作
        • 日志系统使用说明
          • 示例日志
          • 模型推理API DNN日志
        • 算子耗时说明
        • dump工具