4. AI工具链开发指南

• 4.1. 概述
• 4.2. 公版模型评测说明
  • 4.2.1. 前言
  • 4.2.2. 交付物说明
    • 4.2.2.1. 示例代码包
    • 4.2.2.2. 示例模型
    • 4.2.2.3. 公共数据集
  • 4.2.3. 环境构建
    • 4.2.3.1. 开发板准备
    • 4.2.3.2. 编译
  • 4.2.4. 示例使用
    • 4.2.4.1. 评测示例
    • 4.2.4.2. 性能评测
      • 使用说明
      • 命令行参数说明
      • 配置文件说明
    • 4.2.4.3. 精度评测
      • 数据预处理
      • 数据挂载
      • 模型推理
      • 精度计算
        • 分类模型
        • 检测模型
        • 分割模型
  • 4.2.5. 模型集成
    • 4.2.5.1. 后处理文件添加
    • 4.2.5.2. 增加模型运行脚本及配置文件
  • 4.2.6. 附录
    • 4.2.6.1. 模型性能Benchmark
• 4.3. 量化工具链使用说明
  • 4.3.1. 产品介绍
    • 4.3.1.1. 量化工具链总览
    • 4.3.1.2. 量化工具链使用流程
  • 4.3.2. 环境部署
    • 4.3.2.1. 简介
    • 4.3.2.2. 开发机部署
      • 开发机准备
      • 使用Docker环境
      • 手工安装环境
    • 4.3.2.3. 开发板部署
      • 开发板准备
      • 补充文件准备
  • 4.3.3. 模型转换
    • 4.3.3.1. 简介
    • 4.3.3.2. 浮点模型准备
    • 4.3.3.3. 验证模型
      • 使用 hb_mapper checker 工具验证模型
      • 检查异常处理
      • 检查结果解读
      • 检查结果的调优指导
    • 4.3.3.4. 转换模型
      • 使用 hb_mapper makertbin 工具转换模型
      • 转换内部过程解读
      • 准备校准数据
      • 转换结果解读
      • 转换产出物解读
    • 4.3.3.5. 模型性能分析与调优
      • 使用 hb_perf 工具估计性能
      • 开发板实测性能
      • 模型性能优化
        • 检查影响模型性能的yaml参数
        • 处理CPU算子
        • 高性能模型设计建议
        • BPU面向高效率模型优化
    • 4.3.3.6. 模型精度分析与调优
      • 模型精度分析
      • 精度调优
        • 精度有明显损失（4%以上）
        • 较小精度损失提升
      • 使用QAT量化感知训练方案进一步提升模型精度
        • 关于量化
        • 关于模型转换
        • 关于模型量化编译流程
        • QAT模型量化编译
    • 4.3.3.7. 算子约束
    • 4.3.3.8. 其他模型工具（可选）
      • 模型打包
      • 模型信息查看
      • bin模型节点修改
    • 4.3.3.9. 常见问题
      • 如何理解算子约束中提及的BPU支持和CPU支持等算子支持形式
      • 实测性能与benchmark材料不一致
      • 模型量化方式采用的是对称量化还是非对称量化？是否支持16bit量化？
      • 如何正确看待模型分段对性能的影响
      • 哪些模型转换配置参数会影响最终模型性能？
      • 是否支持模型稀疏性优化？
      • 理解模型尾部部分BPU可支持算子运行在CPU上
  • 4.3.4. 应用开发
    • 4.3.4.1. 简介
    • 4.3.4.2. 工程创建
    • 4.3.4.3. 工程实现
    • 4.3.4.4. 工程编译与运行
    • 4.3.4.5. 多模型控制策略
      • 模型优先级控制
    • 4.3.4.6. 应用调优建议
    • 4.3.4.7. 其他应用开发工具
      • hrt_bin_dump 工具
      • hrt_model_exec 工具
        • model_info 子命令
        • infer 子命令
        • perf 子命令
    • 4.3.4.8. 常见问题
      • 如何将摄像头输出的NV12图片转换为BGR等格式？
      • 如何理解BPU内存Cache
      • 理解BPU内存中的物理地址和虚拟地址
• 4.4. BPU接口使用说明
  • 4.4.1. 概述
  • 4.4.2. 数据类型和数据结构
    • 4.4.2.1. 版本信息类
      • HB_DNN_VERSION_MAJOR
      • HB_DNN_VERSION_MINOR
      • HB_DNN_VERSION_PATCH
    • 4.4.2.2. 模型类
      • HB_DNN_TENSOR_MAX_DIMENSIONS
      • HB_DNN_INITIALIZE_INFER_CTRL_PARAM
      • hbPackedDNNHandle_t
      • hbDNNHandle_t
      • hbDNNTaskHandle_t
      • hbDNNTensorLayout
      • hbDNNDataType
      • hbDNNTensorShape
      • hbDNNQuantiShift
      • hbDNNQuantiScale
      • hbDNNQuantiType
      • hbDNNTensorProperties
      • hbDNNTaskPriority
      • hbDNNTensor
      • hbDNNRoi
      • hbDNNInferCtrlParam
    • 4.4.2.3. 系统类
      • hbBPUCore
      • hbDSPCore
      • hbSysMem
      • hbSysMemFlushFlag
    • 4.4.2.4. 前处理类
      • HB_DNN_INITIALIZE_RESIZE_CTRL_PARAM
      • hbDNNResizeType
      • hbDNNResizeCtrlParam
    • 4.4.2.5. 插件类
      • hbDNNLayerCreator
  • 4.4.3. API接口
    • 4.4.3.1. 版本信息
      • hbDNNGetVersion()
    • 4.4.3.2. 模型加载/释放
      • hbDNNInitializeFromFiles()
      • hbDNNInitializeFromDDR()
      • hbDNNRelease()
    • 4.4.3.3. 模型信息
      • hbDNNGetModelNameList()
      • hbDNNGetModelHandle()
      • hbDNNGetInputCount()
      • hbDNNGetInputName()
      • hbDNNGetInputTensorProperties()
      • hbDNNGetOutputCount()
      • hbDNNGetOutputName()
      • hbDNNGetOutputTensorProperties()
    • 4.4.3.4. 模型推理
      • hbDNNInfer()
      • hbDNNRoiInfer()
      • hbDNNWaitTaskDone()
      • hbDNNReleaseTask()
    • 4.4.3.5. 内存操作
      • hbSysAllocMem()
      • hbSysAllocCachedMem()
      • hbSysFlushMem()
      • hbSysFreeMem()
      • hbSysWriteMem()
      • hbSysReadMem()
      • hbSysRegisterMem()
      • hbSysUnregisterMem()
    • 4.4.3.6. 前处理
      • hbDNNResize()
    • 4.4.3.7. 插件
      • hbDNNRegisterLayerCreator()
      • hbDNNUnregisterLayerCreator()
  • 4.4.4. 数据排布及对齐规则
    • 4.4.4.1. 数据排布
    • 4.4.4.2. BPU对齐限制规则
      • 模型输入要求
      • stride要求
    • 4.4.4.3. NV12介绍
      • YUV格式
      • NV12排布
  • 4.4.5. 错误码
  • 4.4.6. 配置信息
  • 4.4.7. 模拟器使用注意事项
• 4.5. X3算子支持列表
  • 4.5.1. 支持的Caffe算子列表
  • 4.5.2. 支持的ONNX算子列表