4.3. 量化工具链使用说明

• 4.3.1. 产品介绍
  • 4.3.1.1. 量化工具链总览
  • 4.3.1.2. 量化工具链使用流程
• 4.3.2. 环境部署
  • 4.3.2.1. 简介
  • 4.3.2.2. 开发机部署
    • 开发机准备
    • 使用Docker环境
    • 手工安装环境
  • 4.3.2.3. 开发板部署
    • 开发板准备
    • 补充文件准备
• 4.3.3. 模型转换
  • 4.3.3.1. 简介
  • 4.3.3.2. 浮点模型准备
  • 4.3.3.3. 验证模型
    • 使用 hb_mapper checker 工具验证模型
    • 检查异常处理
    • 检查结果解读
    • 检查结果的调优指导
  • 4.3.3.4. 转换模型
    • 使用 hb_mapper makertbin 工具转换模型
    • 转换内部过程解读
    • 准备校准数据
    • 转换结果解读
    • 转换产出物解读
  • 4.3.3.5. 模型性能分析与调优
    • 使用 hb_perf 工具估计性能
    • 开发板实测性能
    • 模型性能优化
      • 检查影响模型性能的yaml参数
      • 处理CPU算子
      • 高性能模型设计建议
      • BPU面向高效率模型优化
  • 4.3.3.6. 模型精度分析与调优
    • 模型精度分析
    • 精度调优
      • 精度有明显损失（4%以上）
      • 较小精度损失提升
    • 使用QAT量化感知训练方案进一步提升模型精度
      • 关于量化
      • 关于模型转换
      • 关于模型量化编译流程
      • QAT模型量化编译
  • 4.3.3.7. 算子约束
  • 4.3.3.8. 其他模型工具（可选）
    • 模型打包
    • 模型信息查看
    • bin模型节点修改
  • 4.3.3.9. 常见问题
    • 如何理解算子约束中提及的BPU支持和CPU支持等算子支持形式
    • 实测性能与benchmark材料不一致
    • 模型量化方式采用的是对称量化还是非对称量化？是否支持16bit量化？
    • 如何正确看待模型分段对性能的影响
    • 哪些模型转换配置参数会影响最终模型性能？
    • 是否支持模型稀疏性优化？
    • 理解模型尾部部分BPU可支持算子运行在CPU上
• 4.3.4. 应用开发
  • 4.3.4.1. 简介
  • 4.3.4.2. 工程创建
  • 4.3.4.3. 工程实现
  • 4.3.4.4. 工程编译与运行
  • 4.3.4.5. 多模型控制策略
    • 模型优先级控制
  • 4.3.4.6. 应用调优建议
  • 4.3.4.7. 其他应用开发工具
    • hrt_bin_dump 工具
    • hrt_model_exec 工具
      • model_info 子命令
      • infer 子命令
      • perf 子命令
  • 4.3.4.8. 常见问题
    • 如何将摄像头输出的NV12图片转换为BGR等格式？
    • 如何理解BPU内存Cache
    • 理解BPU内存中的物理地址和虚拟地址