4.1. 训练后量化（PTQ）

地平线为您提供了PTQ模型量化手段，下面将以以下几个章节内容为您进行训练后量化（PTQ）的使用方法指导。

PTQ原理及步骤 章节，从PTQ原理、模型准备、模型验证、模型量化&编译、性能分析与调优等方面，为您进行使用指导。

PTQ工具 章节，为您详细介绍芯片工具链提供的PTQ浮点模型转换工具链工具包。

PTQ示例 章节，为您介绍horizon_model_convert_sample模型转换示例包及其使用方法。提供了使用浮点模型转换工具链快速完成浮点模型转换定点模型的示例，同时包括单张推理和精度验证示例。

• 4.1.1. PTQ原理及步骤
  • 4.1.1.1. PTQ转换的流程与步骤
  • 4.1.1.2. 算子约束
  • 4.1.1.3. 浮点模型准备
  • 4.1.1.4. 验证模型
    • 4.1.1.4.1. 使用 hb_mapper checker 工具验证模型
    • 4.1.1.4.2. 检查异常处理
    • 4.1.1.4.3. 检查结果解读
    • 4.1.1.4.4. 检查结果的调优指导
  • 4.1.1.5. 校准数据准备
  • 4.1.1.6. 模型量化与编译
    • 4.1.1.6.1. 使用 hb_mapper makertbin 工具转换模型
    • 4.1.1.6.2. 转换内部过程解读
    • 4.1.1.6.3. 转换结果解读
    • 4.1.1.6.4. 转换产出物解读
  • 4.1.1.7. 模型性能分析与调优
    • 4.1.1.7.1. 使用 hb_perf 工具估计性能
    • 4.1.1.7.2. 开发板实测性能
    • 4.1.1.7.3. 模型性能优化
  • 4.1.1.8. 模型精度分析与调优
    • 4.1.1.8.1. 模型精度分析
    • 4.1.1.8.2. 精度调优
    • 4.1.1.8.3. 使用QAT量化感知训练方案进一步提升模型精度
      • 4.1.1.8.3.1. 关于量化
      • 4.1.1.8.3.2. 关于模型转换
      • 4.1.1.8.3.3. 关于模型量化编译流程
      • 4.1.1.8.3.4. QAT模型量化编译介绍
        • 4.1.1.8.3.4.1. 构建浮点模型
        • 4.1.1.8.3.4.2. 浮点模型预训练
        • 4.1.1.8.3.4.3. 算子融合
        • 4.1.1.8.3.4.4. 浮点模型转为量化模型
        • 4.1.1.8.3.4.5. 量化训练
        • 4.1.1.8.3.4.6. 量化模型转为定点模型
        • 4.1.1.8.3.4.7. 对定点预测模型进行检查和编译
  • 4.1.1.9. 其他模型工具（可选）
    • 4.1.1.9.1. 模型打包
    • 4.1.1.9.2. 模型信息查看
    • 4.1.1.9.3. bin模型节点修改
  • 4.1.1.10. 训练后量化（PTQ）常见问题
    • 4.1.1.10.1. 如何理解算子约束中提及的BPU加速和CPU计算两种形式？
    • 4.1.1.10.2. 如何理解模型分段的性能影响？
    • 4.1.1.10.3. 如何理解模型尾部部分BPU可加速算子运行在CPU上？
    • 4.1.1.10.4. 是否支持非对称量化？
    • 4.1.1.10.5. 如何理解地平线的 default 校准方式？
    • 4.1.1.10.6. 如何理解yaml文件中的编译器优化等级参数？
    • 4.1.1.10.7. 为何nv12 模型 hb_perf 得出的输入大小和预测库不一致？
    • 4.1.1.10.8. 量化模型和上板bin模型的输入的数据排布是否一定一致？
    • 4.1.1.10.9. 如何编译得到多 batch 模型？
  • 4.1.1.11. 自定义算子开发
    • 4.1.1.11.1. 简介
    • 4.1.1.11.2. 含自定义算子的模型转换
      • 4.1.1.11.2.1. 模型文件修改
        • 4.1.1.11.2.1.1. Caffe 模型
        • 4.1.1.11.2.1.2. ONNX 模型
      • 4.1.1.11.2.2. 算子实现
    • 4.1.1.11.3. 含自定义算子的上板运行
      • 4.1.1.11.3.1. 自定义算子C++模版
      • 4.1.1.11.3.2. 自定义算子注册
• 4.1.2. PTQ工具文档
  • 4.1.2.1. 模型转换过程详解
    • 4.1.2.1.1. 模型检查（hb_mapper checker）
    • 4.1.2.1.2. 准备校准图片
    • 4.1.2.1.3. 模型转换( hb_mapper makertbin)
    • 4.1.2.1.4. 单张图片的模型推理
    • 4.1.2.1.5. 模型精度验证
    • 4.1.2.1.6. 模型性能验证
    • 4.1.2.1.7. [参考]支持的校准方法
    • 4.1.2.1.8. [参考]OP列表
  • 4.1.2.2. hb_mapper 工具
    • 4.1.2.2.1. 模型检查命令（hb_mapper checker）
    • 4.1.2.2.2. 模型编译命令（hb_mapper makertbin）
    • 4.1.2.2.3. 模型推理命令（hb_mapper infer）
    • 4.1.2.2.4. 关键配置参数 calibration_parameters.preprocess_on 介绍
    • 4.1.2.2.5. 配置文件详细介绍
      • 4.1.2.2.5.1. 参考配置文件以及说明
      • 4.1.2.2.5.2. 关于 input_type_rt/ input_type_train
  • 4.1.2.3. hb_perf 工具
    • 4.1.2.3.1. 使用方法
    • 4.1.2.3.2. 命令行参数
    • 4.1.2.3.3. 输出内容说明
  • 4.1.2.4. vec_diff 工具
    • 4.1.2.4.1. 使用方式
    • 4.1.2.4.2. 命令行参数
    • 4.1.2.4.3. 输出内容说明
  • 4.1.2.5. hb_model_info 工具
    • 4.1.2.5.1. 使用方法
    • 4.1.2.5.2. 命令行参数
    • 4.1.2.5.3. 输出内容说明
  • 4.1.2.6. hb_pack 工具
    • 4.1.2.6.1. 使用方法
    • 4.1.2.6.2. 命令行参数
    • 4.1.2.6.3. 输出内容说明
  • 4.1.2.7. hb_model_verifier 工具
    • 4.1.2.7.1. 使用方式
    • 4.1.2.7.2. 命令行参数
    • 4.1.2.7.3. 输出内容说明
  • 4.1.2.8. hb_model_modifier 工具
    • 4.1.2.8.1. 使用方式
    • 4.1.2.8.2. 命令行参数
    • 4.1.2.8.3. 输出内容说明
  • 4.1.2.9. hb_custom_op 工具
    • 4.1.2.9.1. 使用方法
    • 4.1.2.9.2. 命令行参数
    • 4.1.2.9.3. 输出内容说明
  • 4.1.2.10. hb_eval_preprocess 工具
    • 4.1.2.10.1. 使用方法
    • 4.1.2.10.2. 命令行参数
    • 4.1.2.10.3. 输出内容说明
• 4.1.3. PTQ模型转换示例手册
  • 4.1.3.1. 发布物介绍
    • 4.1.3.1.1. 模型量化示例包 horizon_model_convert_sample
    • 4.1.3.1.2. 模型发布物 model_zoo
  • 4.1.3.2. 常见算法模型示例
    • 4.1.3.2.1. 位置路径
    • 4.1.3.2.2. 如何准备数据集
    • 4.1.3.2.3. 如何准备模型
      • 4.1.3.2.3.1. fcos_efficientnetb0
      • 4.1.3.2.3.2. fcos_efficientnetb2
      • 4.1.3.2.3.3. fcos_efficientnetb3
      • 4.1.3.2.3.4. MobileNetv1/v2
      • 4.1.3.2.3.5. GoogleNet
      • 4.1.3.2.3.6. ResNet18
      • 4.1.3.2.3.7. EfficientNet_Lite0/1/2/3/4
      • 4.1.3.2.3.8. vargconvnet
      • 4.1.3.2.3.9. efficientnasnet_m
      • 4.1.3.2.3.10. efficientnasnet_s
      • 4.1.3.2.3.11. YOLOv2_Darknet19
      • 4.1.3.2.3.12. YOLOv3_Darknet53
      • 4.1.3.2.3.13. YOLOv5x
      • 4.1.3.2.3.14. SSD_MobileNetv1
      • 4.1.3.2.3.15. Efficientdetd0
      • 4.1.3.2.3.16. CenterNet_Resnet101
      • 4.1.3.2.3.17. fcos_efficientnetb0
      • 4.1.3.2.3.18. Yolov4
      • 4.1.3.2.3.19. YOLOv3_VargDarknet
      • 4.1.3.2.3.20. fcos_resnet50
      • 4.1.3.2.3.21. fcos_resnext101
      • 4.1.3.2.3.22. unet_mobilenet
      • 4.1.3.2.3.23. deeplabV3plus_efficientnetb0
      • 4.1.3.2.3.24. fastscnn_efficientnetb0
      • 4.1.3.2.3.25. deeplabv3plus_dilation1248
      • 4.1.3.2.3.26. deeplabv3plus_efficientnetm1
      • 4.1.3.2.3.27. deeplabv3plus_efficientnetm2
    • 4.1.3.2.4. 算法模型示例的使用演示
      • 4.1.3.2.4.1. 进入Docker容器
      • 4.1.3.2.4.2. 验证模型是否能够执行
      • 4.1.3.2.4.3. 准备校准用的数据集
      • 4.1.3.2.4.4. build异构模型
      • 4.1.3.2.4.5. 单张图片推理
      • 4.1.3.2.4.6. 精度测试
    • 4.1.3.2.5. 常见问题
      • 4.1.3.2.5.1. 如何对齐开源框架训练得到的ONNX原始浮点模型与使用 hb_mapper makertbin 工具得到的***_original_float_model.onnx的结果？
      • 4.1.3.2.5.2. 复现的精度为什么与文档中提供的指标有细微差异？
      • 4.1.3.2.5.3. 定点模型精度为何与ai_benchmark示例中的bin文件上板精度无法对齐？
  • 4.1.3.3. 其他算法模型示例
    • 4.1.3.3.1. 如何使用
    • 4.1.3.3.2. 杂项示例
      • 4.1.3.3.2.1. lenet_gray
        • 4.1.3.3.2.1.1. 目录结构
        • 4.1.3.3.2.1.2. 示例内容
      • 4.1.3.3.2.2. resnet50_feature
        • 4.1.3.3.2.2.1. 目录结构
        • 4.1.3.3.2.2.2. 示例内容
      • 4.1.3.3.2.3. vector-diff
        • 4.1.3.3.2.3.1. 目录结构
        • 4.1.3.3.2.3.2. 输出内容
      • 4.1.3.3.2.4. multi_input_example
        • 4.1.3.3.2.4.1. 目录结构
        • 4.1.3.3.2.4.2. 示例内容
      • 4.1.3.3.2.5. model_verifier
        • 4.1.3.3.2.5.1. 目录结构
        • 4.1.3.3.2.5.2. 示例内容
      • 4.1.3.3.2.6. model_info
        • 4.1.3.3.2.6.1. 目录结构
        • 4.1.3.3.2.6.2. 示例内容
      • 4.1.3.3.2.7. mobilenet_bgr
        • 4.1.3.3.2.7.1. 目录结构
        • 4.1.3.3.2.7.2. 示例内容
      • 4.1.3.3.2.8. mobilenet_yuv444
        • 4.1.3.3.2.8.1. 目录结构
        • 4.1.3.3.2.8.2. 示例内容
    • 4.1.3.3.3. 用户自定义OP示例
      • 4.1.3.3.3.1. 目录结构
      • 4.1.3.3.3.2. 示例介绍