4.2. 量化感知训练（QAT）

量化是指以低于浮点精度的比特宽度执行计算和存储张量的技术。量化模型使用整数而不是浮点值对张量执行部分或全部操作。与典型的FP32模型相比，horizon_plugin_pytorch支持INT8量化，从而使模型大小减少4倍，内存带宽需求减少4倍。对INT8计算的硬件支持通常比FP32计算快2到4倍。量化主要是一种加速推理的技术，量化运算只支持前向计算。

horizon_plugin_pytorch提供了适配BPU的量化操作，支持量化感知训练，该训练使用伪量化模块对前向计算和反向传播中的量化误差进行建模。请注意，量化训练的整个计算过程是使用浮点运算执行的。在量化感知训练结束时，horizon_plugin_pytorch提供转换函数，将训练后的模型转换为定点模型，在BPU上使用更紧凑的模型表示和高性能矢量化操作。

本章内容为您详细介绍地平线基于PyTorch开发的horizon_plugin_pytorch的量化训练工具。

• 4.2.1. Get Started
  • 4.2.1.1. 环境依赖
• 4.2.2. QUICK START
  • 4.2.2.1. 构建浮点模型
  • 4.2.2.2. 浮点模型预训练
  • 4.2.2.3. 算子融合
  • 4.2.2.4. 浮点模型转为量化模型
  • 4.2.2.5. 量化训练
  • 4.2.2.6. 量化模型转为定点模型
  • 4.2.2.7. 对定点预测模型进行检查和编译
• 4.2.3. TUTORIAL
  • 4.2.3.1. 浮点模型准备
    • 4.2.3.1.1. 算子替换
    • 4.2.3.1.2. 插入量化和反量化节点
    • 4.2.3.1.3. 设置量化参数
    • 4.2.3.1.4. 自定义浮点模型的例子
  • 4.2.3.2. 算子融合
    • 4.2.3.2.1. 为什么要做算子融合
    • 4.2.3.2.2. 加快计算速度
    • 4.2.3.2.3. 提高量化精度
    • 4.2.3.2.4. 可以融合的算子
    • 4.2.3.2.5. 吸收 BN 的目的
    • 4.2.3.2.6. 吸收 BN 的方法
    • 4.2.3.2.7. 算子融合示例
  • 4.2.3.3. 设置不同的 BPU 架构
  • 4.2.3.4. 异构模型QAT
    • 4.2.3.4.1. 异构模型与非异构模型的区别
    • 4.2.3.4.2. 主要接口参数说明
      • 4.2.3.4.2.1. horizon_plugin_pytorch.quantization.prepare_qat_fx
      • 4.2.3.4.2.2. horizon_plugin_pytorch.quantization.prepare_calibraiton_fx
      • 4.2.3.4.2.3. horizon_plugin_pytorch.quantization.convert_fx
      • 4.2.3.4.2.4. horizon_plugin_pytorch.utils.onnx_helper.export_to_onnx
    • 4.2.3.4.3. 使用流程
    • 4.2.3.4.4. 示例
  • 4.2.3.5. 基于 FX 的量化
    • 4.2.3.5.1. 限制
  • 4.2.3.6. 搭建量化友好的浮点模型
    • 4.2.3.6.1. 背景
    • 4.2.3.6.2. 不适合量化的现象
      • 4.2.3.6.2.1. 大量使用不适合量化的OP
      • 4.2.3.6.2.2. 输入不对称，分辨率要求高
        • 4.2.3.6.2.2.1. 解决方法
      • 4.2.3.6.2.3. 模型中间输出很大
        • 4.2.3.6.2.3.1. 解决方法
      • 4.2.3.6.2.4. 模型的weight范围很大
        • 4.2.3.6.2.4.1. 解决方法
    • 4.2.3.6.3. 一些说明
      • 4.2.3.6.3.1. 不适合量化，不代表不能量化
      • 4.2.3.6.3.2. int16量化
  • 4.2.3.7. QAT经验总结
    • 4.2.3.7.1. 超参
    • 4.2.3.7.2. 量化参数
  • 4.2.3.8. 模型精度DEBUG工具
    • 4.2.3.8.1. 相似度对比
      • 4.2.3.8.1.1. 使用示例
    • 4.2.3.8.2. 可视化
      • 4.2.3.8.2.1. 模型可视化
      • 4.2.3.8.2.2. PT文件可视化
    • 4.2.3.8.3. 统计量
      • 4.2.3.8.3.1. 使用示例
    • 4.2.3.8.4. 分步量化
      • 4.2.3.8.4.1. 使用示例
    • 4.2.3.8.5. 共享op检查
      • 4.2.3.8.5.1. 使用示例
    • 4.2.3.8.6. Fuse检查
      • 4.2.3.8.6.1. 使用示例
    • 4.2.3.8.7. 单算子转换精度调试
      • 4.2.3.8.7.1. 使用示例
    • 4.2.3.8.8. 量化配置检查
      • 4.2.3.8.8.1. 使用示例
    • 4.2.3.8.9. 模型weight比较
      • 4.2.3.8.9.1. 使用示例
  • 4.2.3.9. 量化精度DEBUG思路
    • 4.2.3.9.1. 基本的BaseLine
      • 4.2.3.9.1.1. 量化精度标准
    • 4.2.3.9.2. 常规的流程图
    • 4.2.3.9.3. NAN的情况
    • 4.2.3.9.4. QAT精度过低
    • 4.2.3.9.5. quantized精度过低
• 4.2.4. API REFERRENCE
  • 4.2.4.1. 量化 API
  • 4.2.4.2. Horizon 算子 API
  • 4.2.4.3. 支持的算子
    • 4.2.4.3.1. 支持的 torch 算子
    • 4.2.4.3.2. 支持的 torchvision 算子
• 4.2.5. NOTE
  • 4.2.5.1. 相比社区 QAT 接口使用异同
    • 4.2.5.1.1. 算子融合函数
    • 4.2.5.1.2. QConfig 参数设置
    • 4.2.5.1.3. 不同阶段间模型转换