4.1. 训练后量化（PTQ）

地瓜机器人为您提供了训练后量化 PTQ 方案，下面将以以下几个章节内容为您进行其使用方法指导。

PTQ 原理及步骤 章节，从 PTQ 原理、模型准备、模型验证、模型量化&编译、性能分析与调优、精度分析与调优等方面，为您进行使用指导。

PTQ 工具 章节，为您详细介绍算法工具链提供的 PTQ 工具包。

PTQ 示例 章节，为您介绍 horizon_model_convert_sample 模型转换示例包及其使用方法。提供了使用浮点模型转换工具链快速完成浮点模型转换定点模型的示例，同时包括单张推理和精度验证示例。

附录 章节，为您介绍 norm_type 相关参数、相关计算公式的说明与解析，图片缩放裁剪时使用的各个 transformer 的概念、参数说明及示例，常见异常故障现象通用解决建议。

• 4.1.1. PTQ 原理及步骤
  • 4.1.1.1. PTQ 转换的流程与步骤
  • 4.1.1.2. 算子约束
  • 4.1.1.3. 浮点模型准备
  • 4.1.1.4. 验证模型
    • 4.1.1.4.1. 使用 hb_mapper checker 工具验证模型
    • 4.1.1.4.2. 检查异常处理
    • 4.1.1.4.3. 检查结果解读
    • 4.1.1.4.4. 检查结果的调优指导
  • 4.1.1.5. 校准数据准备
  • 4.1.1.6. 模型量化与编译
    • 4.1.1.6.1. 使用 hb_mapper makertbin 工具转换模型
      • 4.1.1.6.1.1. 配置文件模板
      • 4.1.1.6.1.2. 配置文件具体参数信息
      • 4.1.1.6.1.3. param_value 配置
    • 4.1.1.6.2. 转换内部过程解读
    • 4.1.1.6.3. 转换结果解读
    • 4.1.1.6.4. 转换产出物解读
  • 4.1.1.7. 模型性能分析与调优
    • 4.1.1.7.1. 使用 hb_perf 工具估计性能
    • 4.1.1.7.2. 开发板实测性能
    • 4.1.1.7.3. 模型性能优化
  • 4.1.1.8. 模型精度分析与调优
    • 4.1.1.8.1. 模型精度分析
    • 4.1.1.8.2. 精度调优
    • 4.1.1.8.3. 使用 QAT 量化感知训练方案进一步提升模型精度
      • 4.1.1.8.3.1. 关于量化
      • 4.1.1.8.3.2. 关于模型转换
      • 4.1.1.8.3.3. 关于模型量化编译流程
      • 4.1.1.8.3.4. QAT 模型量化编译介绍
  • 4.1.1.9. 其他模型工具（可选）
    • 4.1.1.9.1. 模型打包
    • 4.1.1.9.2. 模型信息查看
    • 4.1.1.9.3. bin 模型节点修改
  • 4.1.1.10. 训练后量化（PTQ）常见问题
    • 4.1.1.10.1. 如何理解算子约束中提及的 BPU 加速和 CPU 计算两种形式？
    • 4.1.1.10.2. 如何理解模型分段的性能影响？
    • 4.1.1.10.3. 如何理解模型尾部部分 BPU 可加速算子运行在 CPU 上？
    • 4.1.1.10.4. 是否支持非对称量化？
    • 4.1.1.10.5. 如何理解地瓜机器人的 default 校准方式？
    • 4.1.1.10.6. 如何理解地瓜机器人的 mix 校准方式？
    • 4.1.1.10.7. 如何理解 yaml 文件中的编译器优化等级参数？
    • 4.1.1.10.8. 为何 nv12 模型 hb_perf 得出的输入大小和预测库不一致？
    • 4.1.1.10.9. 量化模型和上板 bin 模型的输入的数据排布是否一定一致？
    • 4.1.1.10.10. 如何编译得到多 batch 模型？
    • 4.1.1.10.11. 多输入模型在转换过程中，模型输入顺序发生变化，此种情况正常么？
    • 4.1.1.10.12. 如何理解 PTQ 模型转换过程中的主动量化和被动量化？
  • 4.1.1.11. 自定义算子开发
    • 4.1.1.11.1. 简介
    • 4.1.1.11.2. 含自定义算子的模型转换
      • 4.1.1.11.2.1. 模型文件修改
        • 4.1.1.11.2.1.1. Caffe 模型
        • 4.1.1.11.2.1.2. ONNX 模型
      • 4.1.1.11.2.2. 算子实现
    • 4.1.1.11.3. 含自定义算子的上板运行
      • 4.1.1.11.3.1. 自定义算子 C++模板
      • 4.1.1.11.3.2. 自定义算子注册
• 4.1.2. PTQ 工具文档
  • 4.1.2.1. 模型转换过程详解
    • 4.1.2.1.1. 模型检查（hb_mapper checker）
    • 4.1.2.1.2. 准备校准图片
    • 4.1.2.1.3. 模型转换(hb_mapper makertbin)
    • 4.1.2.1.4. 单张图片的模型推理
    • 4.1.2.1.5. 模型精度验证
    • 4.1.2.1.6. 模型性能验证
    • 4.1.2.1.7. [参考]支持的校准方法
    • 4.1.2.1.8. [参考]OP 列表
  • 4.1.2.2. hb_mapper 工具
    • 4.1.2.2.1. 模型检查命令（hb_mapper checker）
    • 4.1.2.2.2. 模型编译命令（hb_mapper makertbin）
    • 4.1.2.2.3. 模型推理命令（hb_mapper infer）
    • 4.1.2.2.4. 关键配置参数 calibration_parameters.preprocess_on 介绍
    • 4.1.2.2.5. 配置文件参考样例
      • 4.1.2.2.5.1. 参考配置文件以及说明
      • 4.1.2.2.5.2. 关于 input_type_rt/ input_type_train
  • 4.1.2.3. hb_perf 工具
    • 4.1.2.3.1. 使用方法
    • 4.1.2.3.2. 命令行参数
    • 4.1.2.3.3. 输出内容说明
  • 4.1.2.4. vec_diff 工具
    • 4.1.2.4.1. 使用方式
    • 4.1.2.4.2. 命令行参数
    • 4.1.2.4.3. 输出内容说明
  • 4.1.2.5. hb_model_info 工具
    • 4.1.2.5.1. 使用方法
    • 4.1.2.5.2. 命令行参数
    • 4.1.2.5.3. 输出内容说明
  • 4.1.2.6. hb_pack 工具
    • 4.1.2.6.1. 使用方法
    • 4.1.2.6.2. 命令行参数
    • 4.1.2.6.3. 输出内容说明
  • 4.1.2.7. hb_verifier 工具
    • 4.1.2.7.1. 使用方式
    • 4.1.2.7.2. 命令行参数
    • 4.1.2.7.3. 参考使用场景样例
    • 4.1.2.7.4. 输出内容说明
  • 4.1.2.8. hb_model_modifier 工具
    • 4.1.2.8.1. 使用方式
    • 4.1.2.8.2. 命令行参数
    • 4.1.2.8.3. 输出内容说明
  • 4.1.2.9. hb_custom_op 工具
    • 4.1.2.9.1. 使用方法
    • 4.1.2.9.2. 命令行参数
    • 4.1.2.9.3. 输出内容说明
  • 4.1.2.10. hb_eval_preprocess 工具
    • 4.1.2.10.1. 使用方法
    • 4.1.2.10.2. 命令行参数
    • 4.1.2.10.3. 输出内容说明
  • 4.1.2.11. HB_ONNXRuntime 推理库
    • 4.1.2.11.1. 使用方法
    • 4.1.2.11.2. 参数说明
  • 4.1.2.12. 精度 debug 工具
    • 4.1.2.12.1. 快速上手
      • 4.1.2.12.1.1. 校准模型与数据的保存
      • 4.1.2.12.1.2. 精度 debug 模块导入与使用
      • 4.1.2.12.1.3. 分析结果展示
    • 4.1.2.12.2. 功能说明文档
      • 4.1.2.12.2.1. get_sensitivity_of_nodes
      • 4.1.2.12.2.2. plot_acc_error
      • 4.1.2.12.2.3. plot_distribution
      • 4.1.2.12.2.4. get_channelwise_data_distribution
      • 4.1.2.12.2.5. sensitivity_analysis
      • 4.1.2.12.2.6. runall
• 4.1.3. PTQ 模型转换示例手册
  • 4.1.3.1. 发布物介绍
    • 4.1.3.1.1. 模型量化示例包 horizon_model_convert_sample
    • 4.1.3.1.2. 模型发布物 model_zoo
  • 4.1.3.2. 常见算法模型示例
    • 4.1.3.2.1. 位置路径
    • 4.1.3.2.2. 如何准备数据集
      • 4.1.3.2.2.1. 数据集下载地址
      • 4.1.3.2.2.2. 数据集参考结构
        • 4.1.3.2.2.2.1. ImageNet
        • 4.1.3.2.2.2.2. COCO
        • 4.1.3.2.2.2.3. VOC
        • 4.1.3.2.2.2.4. Cityscapes
        • 4.1.3.2.2.2.5. CIFAR-10
    • 4.1.3.2.3. 如何准备模型
      • 4.1.3.2.3.1. Fcos_efficientnetb0
      • 4.1.3.2.3.2. Fcos_efficientnetb1
      • 4.1.3.2.3.3. Fcos_efficientnetb2
      • 4.1.3.2.3.4. MobileNetv1/v2
      • 4.1.3.2.3.5. GoogleNet
      • 4.1.3.2.3.6. ResNet18
      • 4.1.3.2.3.7. Mobilenet_onnx
      • 4.1.3.2.3.8. EfficientNet_Lite0/1/2/3/4
      • 4.1.3.2.3.9. YOLOv2_Darknet19
      • 4.1.3.2.3.10. YOLOv3_Darknet53
      • 4.1.3.2.3.11. YOLOv5s
      • 4.1.3.2.3.12. SSD_MobileNetv1
      • 4.1.3.2.3.13. EfficientDetd0
      • 4.1.3.2.3.14. CenterNet_Resnet50
      • 4.1.3.2.3.15. Fcos_efficientnetb0
      • 4.1.3.2.3.16. UNet_mobilenet
      • 4.1.3.2.3.17. DeeplabV3plus_efficientnetb0
      • 4.1.3.2.3.18. Fastscnn_efficientnetb0
    • 4.1.3.2.4. 算法模型示例的使用演示
      • 4.1.3.2.4.1. 进入 Docker 容器
      • 4.1.3.2.4.2. 下载原始模型及校准数据集
      • 4.1.3.2.4.3. 验证模型是否能够执行
      • 4.1.3.2.4.4. 准备校准用的数据集
      • 4.1.3.2.4.5. build 异构模型
      • 4.1.3.2.4.6. 单张图片推理
      • 4.1.3.2.4.7. 精度测试
    • 4.1.3.2.5. 常见问题
      • 4.1.3.2.5.1. 如何对齐开源框架训练得到的 ONNX 原始浮点模型与使用 hb_mapper makertbin 工具得到的***_original_float_model.onnx 的结果？
      • 4.1.3.2.5.2. 复现的精度为什么与文档中提供的指标有细微差异？
      • 4.1.3.2.5.3. 定点模型精度为何与 ai_benchmark 示例中的 bin 文件上板精度无法对齐？
  • 4.1.3.3. 其他算法模型示例
    • 4.1.3.3.1. 如何使用
    • 4.1.3.3.2. 杂项示例
      • 4.1.3.3.2.1. lenet_gray
        • 4.1.3.3.2.1.1. 目录结构
        • 4.1.3.3.2.1.2. 示例内容
      • 4.1.3.3.2.2. resnet50_feature
        • 4.1.3.3.2.2.1. 目录结构
        • 4.1.3.3.2.2.2. 示例内容
      • 4.1.3.3.2.3. vector-diff
        • 4.1.3.3.2.3.1. 目录结构
        • 4.1.3.3.2.3.2. 输出内容
      • 4.1.3.3.2.4. multi_input_example
        • 4.1.3.3.2.4.1. 目录结构
        • 4.1.3.3.2.4.2. 示例内容
      • 4.1.3.3.2.5. model_verifier
        • 4.1.3.3.2.5.1. 目录结构
        • 4.1.3.3.2.5.2. 示例内容
      • 4.1.3.3.2.6. model_info
        • 4.1.3.3.2.6.1. 目录结构
        • 4.1.3.3.2.6.2. 示例内容
      • 4.1.3.3.2.7. mobilenet_bgr
        • 4.1.3.3.2.7.1. 目录结构
        • 4.1.3.3.2.7.2. 示例内容
      • 4.1.3.3.2.8. mobilenet_yuv444
        • 4.1.3.3.2.8.1. 目录结构
        • 4.1.3.3.2.8.2. 示例内容
    • 4.1.3.3.3. 用户自定义 OP 示例
      • 4.1.3.3.3.1. 目录结构
      • 4.1.3.3.3.2. 示例介绍
• 4.1.4. 附录
  • 4.1.4.1. norm_type 配置说明
    • 4.1.4.1.1. 参数说明解析
    • 4.1.4.1.2. 计算公式及示例说明
      • 4.1.4.1.2.1. 模型训练时的数据标准化处理计算公式
      • 4.1.4.1.2.2. 模型推理时的计算公式
  • 4.1.4.2. 图片处理 transformer 说明
    • 4.1.4.2.1. AddTransformer
    • 4.1.4.2.2. MeanTransformer
    • 4.1.4.2.3. ScaleTransformer
    • 4.1.4.2.4. NormalizeTransformer
    • 4.1.4.2.5. TransposeTransformer
    • 4.1.4.2.6. HWC2CHWTransformer
    • 4.1.4.2.7. CHW2HWCTransformer
    • 4.1.4.2.8. CenterCropTransformer
    • 4.1.4.2.9. PILCenterCropTransformer
    • 4.1.4.2.10. LongSideCropTransformer
    • 4.1.4.2.11. PadResizeTransformer
    • 4.1.4.2.12. ResizeTransformer
    • 4.1.4.2.13. PILResizeTransformer
    • 4.1.4.2.14. ShortLongResizeTransformer
    • 4.1.4.2.15. PadTransformer
    • 4.1.4.2.16. ShortSideResizeTransformer
    • 4.1.4.2.17. PaddedCenterCropTransformer
    • 4.1.4.2.18. BGR2RGBTransformer
    • 4.1.4.2.19. RGB2BGRTransformer
    • 4.1.4.2.20. RGB2GRAYTransformer
    • 4.1.4.2.21. BGR2GRAYTransformer
    • 4.1.4.2.22. RGB2GRAY_128Transformer
    • 4.1.4.2.23. RGB2YUV444Transformer
    • 4.1.4.2.24. BGR2YUV444Transformer
    • 4.1.4.2.25. BGR2YUV444_128Transformer
    • 4.1.4.2.26. RGB2YUV444_128Transformer
    • 4.1.4.2.27. BGR2YUVBT601VIDEOTransformer
    • 4.1.4.2.28. RGB2YUVBT601VIDEOTransformer
    • 4.1.4.2.29. YUVTransformer
    • 4.1.4.2.30. ReduceChannelTransformer
    • 4.1.4.2.31. BGR2NV12Transformer
    • 4.1.4.2.32. RGB2NV12Transformer
    • 4.1.4.2.33. NV12ToYUV444Transformer
    • 4.1.4.2.34. WarpAffineTransformer
    • 4.1.4.2.35. F32ToS8Transformer
    • 4.1.4.2.36. F32ToU8Transformer
  • 4.1.4.3. 常见故障处理
    • 4.1.4.3.1. hb_mapper checker 常见故障
    • 4.1.4.3.2. hb_mapper makertbin 常见故障
    • 4.1.4.3.3. hb_model_modifier 常见故障
    • 4.1.4.3.4. hb_verifier 常见故障
    • 4.1.4.3.5. hb_onnxruntime 常见故障
    • 4.1.4.3.6. libDNN 常见故障