4. 浮点模型转定点模型指导手册

地平线为您提供了两种浮点模型转定点模型的方法，分别为PTQ模型量化手段和QAT模型量化手段， 本章内容包括 训练后量化（PTQ） 和 Horizon Plugin Pytorch ，为您详细介绍两种方法的原理及使用指导。

• 4.1. 训练后量化（PTQ）
  • 4.1.1. PTQ原理及步骤
    • 4.1.1.1. PTQ转换的流程与步骤
    • 4.1.1.2. 算子约束
    • 4.1.1.3. 浮点模型准备
    • 4.1.1.4. 验证模型
      • 4.1.1.4.1. 使用 hb_mapper checker 工具验证模型
      • 4.1.1.4.2. 检查异常处理
      • 4.1.1.4.3. 检查结果解读
      • 4.1.1.4.4. 检查结果的调优指导
    • 4.1.1.5. 校准数据准备
    • 4.1.1.6. 模型量化与编译
      • 4.1.1.6.1. 使用 hb_mapper makertbin 工具转换模型
      • 4.1.1.6.2. 转换内部过程解读
      • 4.1.1.6.3. 转换结果解读
      • 4.1.1.6.4. 转换产出物解读
    • 4.1.1.7. 模型性能分析与调优
      • 4.1.1.7.1. 使用 hb_perf 工具估计性能
      • 4.1.1.7.2. 开发板实测性能
      • 4.1.1.7.3. 模型性能优化
    • 4.1.1.8. 模型精度分析与调优
      • 4.1.1.8.1. 模型精度分析
      • 4.1.1.8.2. 精度调优
      • 4.1.1.8.3. 使用QAT量化感知训练方案进一步提升模型精度
        • 4.1.1.8.3.1. 关于量化
        • 4.1.1.8.3.2. 关于模型转换
        • 4.1.1.8.3.3. 关于模型量化编译流程
        • 4.1.1.8.3.4. QAT模型量化编译介绍
          • 4.1.1.8.3.4.1. 构建浮点模型
          • 4.1.1.8.3.4.2. 浮点模型预训练
          • 4.1.1.8.3.4.3. 算子融合
          • 4.1.1.8.3.4.4. 浮点模型转为量化模型
          • 4.1.1.8.3.4.5. 量化训练
          • 4.1.1.8.3.4.6. 量化模型转为定点模型
          • 4.1.1.8.3.4.7. 对定点预测模型进行检查和编译
    • 4.1.1.9. 其他模型工具（可选）
      • 4.1.1.9.1. 模型打包
      • 4.1.1.9.2. 模型信息查看
      • 4.1.1.9.3. bin模型节点修改
    • 4.1.1.10. 训练后量化（PTQ）常见问题
      • 4.1.1.10.1. 如何理解算子约束中提及的BPU加速和CPU计算两种形式？
      • 4.1.1.10.2. 如何理解模型分段的性能影响？
      • 4.1.1.10.3. 如何理解模型尾部部分BPU可加速算子运行在CPU上？
      • 4.1.1.10.4. 是否支持非对称量化？
      • 4.1.1.10.5. 如何理解地平线的 default 校准方式？
      • 4.1.1.10.6. 如何理解yaml文件中的编译器优化等级参数？
      • 4.1.1.10.7. 为何nv12 模型 hb_perf 得出的输入大小和预测库不一致？
      • 4.1.1.10.8. 量化模型和上板bin模型的输入的数据排布是否一定一致？
      • 4.1.1.10.9. 如何编译得到多 batch 模型？
    • 4.1.1.11. 自定义算子开发
      • 4.1.1.11.1. 简介
      • 4.1.1.11.2. 含自定义算子的模型转换
        • 4.1.1.11.2.1. 模型文件修改
          • 4.1.1.11.2.1.1. Caffe 模型
          • 4.1.1.11.2.1.2. ONNX 模型
        • 4.1.1.11.2.2. 算子实现
      • 4.1.1.11.3. 含自定义算子的上板运行
        • 4.1.1.11.3.1. 自定义算子C++模版
        • 4.1.1.11.3.2. 自定义算子注册
  • 4.1.2. PTQ工具文档
    • 4.1.2.1. 模型转换过程详解
      • 4.1.2.1.1. 模型检查（hb_mapper checker）
      • 4.1.2.1.2. 准备校准图片
      • 4.1.2.1.3. 模型转换( hb_mapper makertbin)
      • 4.1.2.1.4. 单张图片的模型推理
      • 4.1.2.1.5. 模型精度验证
      • 4.1.2.1.6. 模型性能验证
      • 4.1.2.1.7. [参考]支持的校准方法
      • 4.1.2.1.8. [参考]OP列表
    • 4.1.2.2. hb_mapper 工具
      • 4.1.2.2.1. 模型检查命令（hb_mapper checker）
      • 4.1.2.2.2. 模型编译命令（hb_mapper makertbin）
      • 4.1.2.2.3. 模型推理命令（hb_mapper infer）
      • 4.1.2.2.4. 关键配置参数 calibration_parameters.preprocess_on 介绍
      • 4.1.2.2.5. 配置文件详细介绍
        • 4.1.2.2.5.1. 参考配置文件以及说明
        • 4.1.2.2.5.2. 关于 input_type_rt/ input_type_train
    • 4.1.2.3. hb_perf 工具
      • 4.1.2.3.1. 使用方法
      • 4.1.2.3.2. 命令行参数
      • 4.1.2.3.3. 输出内容说明
    • 4.1.2.4. vec_diff 工具
      • 4.1.2.4.1. 使用方式
      • 4.1.2.4.2. 命令行参数
      • 4.1.2.4.3. 输出内容说明
    • 4.1.2.5. hb_model_info 工具
      • 4.1.2.5.1. 使用方法
      • 4.1.2.5.2. 命令行参数
      • 4.1.2.5.3. 输出内容说明
    • 4.1.2.6. hb_pack 工具
      • 4.1.2.6.1. 使用方法
      • 4.1.2.6.2. 命令行参数
      • 4.1.2.6.3. 输出内容说明
    • 4.1.2.7. hb_model_verifier 工具
      • 4.1.2.7.1. 使用方式
      • 4.1.2.7.2. 命令行参数
      • 4.1.2.7.3. 输出内容说明
    • 4.1.2.8. hb_model_modifier 工具
      • 4.1.2.8.1. 使用方式
      • 4.1.2.8.2. 命令行参数
      • 4.1.2.8.3. 输出内容说明
    • 4.1.2.9. hb_custom_op 工具
      • 4.1.2.9.1. 使用方法
      • 4.1.2.9.2. 命令行参数
      • 4.1.2.9.3. 输出内容说明
    • 4.1.2.10. hb_eval_preprocess 工具
      • 4.1.2.10.1. 使用方法
      • 4.1.2.10.2. 命令行参数
      • 4.1.2.10.3. 输出内容说明
  • 4.1.3. PTQ模型转换示例手册
    • 4.1.3.1. 发布物介绍
      • 4.1.3.1.1. 模型量化示例包 horizon_model_convert_sample
      • 4.1.3.1.2. 模型发布物 model_zoo
    • 4.1.3.2. 常见算法模型示例
      • 4.1.3.2.1. 位置路径
      • 4.1.3.2.2. 如何准备数据集
      • 4.1.3.2.3. 如何准备模型
        • 4.1.3.2.3.1. fcos_efficientnetb0
        • 4.1.3.2.3.2. fcos_efficientnetb2
        • 4.1.3.2.3.3. fcos_efficientnetb3
        • 4.1.3.2.3.4. MobileNetv1/v2
        • 4.1.3.2.3.5. GoogleNet
        • 4.1.3.2.3.6. ResNet18
        • 4.1.3.2.3.7. EfficientNet_Lite0/1/2/3/4
        • 4.1.3.2.3.8. vargconvnet
        • 4.1.3.2.3.9. efficientnasnet_m
        • 4.1.3.2.3.10. efficientnasnet_s
        • 4.1.3.2.3.11. YOLOv2_Darknet19
        • 4.1.3.2.3.12. YOLOv3_Darknet53
        • 4.1.3.2.3.13. YOLOv5x
        • 4.1.3.2.3.14. SSD_MobileNetv1
        • 4.1.3.2.3.15. Efficientdetd0
        • 4.1.3.2.3.16. CenterNet_Resnet101
        • 4.1.3.2.3.17. fcos_efficientnetb0
        • 4.1.3.2.3.18. Yolov4
        • 4.1.3.2.3.19. YOLOv3_VargDarknet
        • 4.1.3.2.3.20. fcos_resnet50
        • 4.1.3.2.3.21. fcos_resnext101
        • 4.1.3.2.3.22. unet_mobilenet
        • 4.1.3.2.3.23. deeplabV3plus_efficientnetb0
        • 4.1.3.2.3.24. fastscnn_efficientnetb0
        • 4.1.3.2.3.25. deeplabv3plus_dilation1248
        • 4.1.3.2.3.26. deeplabv3plus_efficientnetm1
        • 4.1.3.2.3.27. deeplabv3plus_efficientnetm2
      • 4.1.3.2.4. 算法模型示例的使用演示
        • 4.1.3.2.4.1. 进入Docker容器
        • 4.1.3.2.4.2. 验证模型是否能够执行
        • 4.1.3.2.4.3. 准备校准用的数据集
        • 4.1.3.2.4.4. build异构模型
        • 4.1.3.2.4.5. 单张图片推理
        • 4.1.3.2.4.6. 精度测试
      • 4.1.3.2.5. 常见问题
        • 4.1.3.2.5.1. 如何对齐开源框架训练得到的ONNX原始浮点模型与使用 hb_mapper makertbin 工具得到的***_original_float_model.onnx的结果？
        • 4.1.3.2.5.2. 复现的精度为什么与文档中提供的指标有细微差异？
        • 4.1.3.2.5.3. 定点模型精度为何与ai_benchmark示例中的bin文件上板精度无法对齐？
    • 4.1.3.3. 其他算法模型示例
      • 4.1.3.3.1. 如何使用
      • 4.1.3.3.2. 杂项示例
        • 4.1.3.3.2.1. lenet_gray
          • 4.1.3.3.2.1.1. 目录结构
          • 4.1.3.3.2.1.2. 示例内容
        • 4.1.3.3.2.2. resnet50_feature
          • 4.1.3.3.2.2.1. 目录结构
          • 4.1.3.3.2.2.2. 示例内容
        • 4.1.3.3.2.3. vector-diff
          • 4.1.3.3.2.3.1. 目录结构
          • 4.1.3.3.2.3.2. 输出内容
        • 4.1.3.3.2.4. multi_input_example
          • 4.1.3.3.2.4.1. 目录结构
          • 4.1.3.3.2.4.2. 示例内容
        • 4.1.3.3.2.5. model_verifier
          • 4.1.3.3.2.5.1. 目录结构
          • 4.1.3.3.2.5.2. 示例内容
        • 4.1.3.3.2.6. model_info
          • 4.1.3.3.2.6.1. 目录结构
          • 4.1.3.3.2.6.2. 示例内容
        • 4.1.3.3.2.7. mobilenet_bgr
          • 4.1.3.3.2.7.1. 目录结构
          • 4.1.3.3.2.7.2. 示例内容
        • 4.1.3.3.2.8. mobilenet_yuv444
          • 4.1.3.3.2.8.1. 目录结构
          • 4.1.3.3.2.8.2. 示例内容
      • 4.1.3.3.3. 用户自定义OP示例
        • 4.1.3.3.3.1. 目录结构
        • 4.1.3.3.3.2. 示例介绍
• 4.2. 量化感知训练（QAT）
  • 4.2.1. Get Started
    • 4.2.1.1. 环境依赖
  • 4.2.2. QUICK START
    • 4.2.2.1. 构建浮点模型
    • 4.2.2.2. 浮点模型预训练
    • 4.2.2.3. 算子融合
    • 4.2.2.4. 浮点模型转为量化模型
    • 4.2.2.5. 量化训练
    • 4.2.2.6. 量化模型转为定点模型
    • 4.2.2.7. 对定点预测模型进行检查和编译
  • 4.2.3. TUTORIAL
    • 4.2.3.1. 浮点模型准备
      • 4.2.3.1.1. 算子替换
      • 4.2.3.1.2. 插入量化和反量化节点
      • 4.2.3.1.3. 设置量化参数
      • 4.2.3.1.4. 自定义浮点模型的例子
    • 4.2.3.2. 算子融合
      • 4.2.3.2.1. 为什么要做算子融合
      • 4.2.3.2.2. 加快计算速度
      • 4.2.3.2.3. 提高量化精度
      • 4.2.3.2.4. 可以融合的算子
      • 4.2.3.2.5. 吸收 BN 的目的
      • 4.2.3.2.6. 吸收 BN 的方法
      • 4.2.3.2.7. 算子融合示例
    • 4.2.3.3. 设置不同的 BPU 架构
    • 4.2.3.4. 异构模型QAT
      • 4.2.3.4.1. 异构模型与非异构模型的区别
      • 4.2.3.4.2. 主要接口参数说明
        • 4.2.3.4.2.1. horizon_plugin_pytorch.quantization.prepare_qat_fx
        • 4.2.3.4.2.2. horizon_plugin_pytorch.quantization.prepare_calibraiton_fx
        • 4.2.3.4.2.3. horizon_plugin_pytorch.quantization.convert_fx
        • 4.2.3.4.2.4. horizon_plugin_pytorch.utils.onnx_helper.export_to_onnx
      • 4.2.3.4.3. 使用流程
      • 4.2.3.4.4. 示例
    • 4.2.3.5. 基于 FX 的量化
      • 4.2.3.5.1. 限制
    • 4.2.3.6. 搭建量化友好的浮点模型
      • 4.2.3.6.1. 背景
      • 4.2.3.6.2. 不适合量化的现象
        • 4.2.3.6.2.1. 大量使用不适合量化的OP
        • 4.2.3.6.2.2. 输入不对称，分辨率要求高
          • 4.2.3.6.2.2.1. 解决方法
        • 4.2.3.6.2.3. 模型中间输出很大
          • 4.2.3.6.2.3.1. 解决方法
        • 4.2.3.6.2.4. 模型的weight范围很大
          • 4.2.3.6.2.4.1. 解决方法
      • 4.2.3.6.3. 一些说明
        • 4.2.3.6.3.1. 不适合量化，不代表不能量化
        • 4.2.3.6.3.2. int16量化
    • 4.2.3.7. QAT经验总结
      • 4.2.3.7.1. 超参
      • 4.2.3.7.2. 量化参数
    • 4.2.3.8. 模型精度DEBUG工具
      • 4.2.3.8.1. 相似度对比
        • 4.2.3.8.1.1. 使用示例
      • 4.2.3.8.2. 可视化
        • 4.2.3.8.2.1. 模型可视化
        • 4.2.3.8.2.2. PT文件可视化
      • 4.2.3.8.3. 统计量
        • 4.2.3.8.3.1. 使用示例
      • 4.2.3.8.4. 分步量化
        • 4.2.3.8.4.1. 使用示例
      • 4.2.3.8.5. 共享op检查
        • 4.2.3.8.5.1. 使用示例
      • 4.2.3.8.6. Fuse检查
        • 4.2.3.8.6.1. 使用示例
      • 4.2.3.8.7. 单算子转换精度调试
        • 4.2.3.8.7.1. 使用示例
      • 4.2.3.8.8. 量化配置检查
        • 4.2.3.8.8.1. 使用示例
      • 4.2.3.8.9. 模型weight比较
        • 4.2.3.8.9.1. 使用示例
    • 4.2.3.9. 量化精度DEBUG思路
      • 4.2.3.9.1. 基本的BaseLine
        • 4.2.3.9.1.1. 量化精度标准
      • 4.2.3.9.2. 常规的流程图
      • 4.2.3.9.3. NAN的情况
      • 4.2.3.9.4. QAT精度过低
      • 4.2.3.9.5. quantized精度过低
  • 4.2.4. API REFERRENCE
    • 4.2.4.1. 量化 API
    • 4.2.4.2. Horizon 算子 API
    • 4.2.4.3. 支持的算子
      • 4.2.4.3.1. 支持的 torch 算子
      • 4.2.4.3.2. 支持的 torchvision 算子
  • 4.2.5. NOTE
    • 4.2.5.1. 相比社区 QAT 接口使用异同
      • 4.2.5.1.1. 算子融合函数
      • 4.2.5.1.2. QConfig 参数设置
      • 4.2.5.1.3. 不同阶段间模型转换