4.2.3. TUTORIAL

本节为您带来包括 浮点模型准备 、 算子融合 、 设置不同的BPU架构 、 异构模型QAT 、 基于FX的量化 、 搭建量化友好的浮点模型 、 QAT经验总结 、 模型精度DEBUG工具 、 量化精度DEBUG思路 等内容的使用教学。

• 4.2.3.1. 浮点模型准备
  • 4.2.3.1.1. 算子替换
  • 4.2.3.1.2. 插入量化和反量化节点
  • 4.2.3.1.3. 设置量化参数
  • 4.2.3.1.4. 自定义浮点模型的例子
• 4.2.3.2. 算子融合
  • 4.2.3.2.1. 为什么要做算子融合
  • 4.2.3.2.2. 加快计算速度
  • 4.2.3.2.3. 提高量化精度
  • 4.2.3.2.4. 可以融合的算子
  • 4.2.3.2.5. 吸收 BN 的目的
  • 4.2.3.2.6. 吸收 BN 的方法
  • 4.2.3.2.7. 算子融合示例
• 4.2.3.3. 设置不同的 BPU 架构
• 4.2.3.4. 异构模型QAT
  • 4.2.3.4.1. 异构模型与非异构模型的区别
  • 4.2.3.4.2. 主要接口参数说明
    • 4.2.3.4.2.1. horizon_plugin_pytorch.quantization.prepare_qat_fx
    • 4.2.3.4.2.2. horizon_plugin_pytorch.quantization.prepare_calibraiton_fx
    • 4.2.3.4.2.3. horizon_plugin_pytorch.quantization.convert_fx
    • 4.2.3.4.2.4. horizon_plugin_pytorch.utils.onnx_helper.export_to_onnx
  • 4.2.3.4.3. 使用流程
  • 4.2.3.4.4. 示例
• 4.2.3.5. 基于 FX 的量化
  • 4.2.3.5.1. 限制
• 4.2.3.6. 搭建量化友好的浮点模型
  • 4.2.3.6.1. 背景
  • 4.2.3.6.2. 不适合量化的现象
    • 4.2.3.6.2.1. 大量使用不适合量化的OP
    • 4.2.3.6.2.2. 输入不对称，分辨率要求高
      • 4.2.3.6.2.2.1. 解决方法
    • 4.2.3.6.2.3. 模型中间输出很大
      • 4.2.3.6.2.3.1. 解决方法
    • 4.2.3.6.2.4. 模型的weight范围很大
      • 4.2.3.6.2.4.1. 解决方法
  • 4.2.3.6.3. 一些说明
    • 4.2.3.6.3.1. 不适合量化，不代表不能量化
    • 4.2.3.6.3.2. int16量化
• 4.2.3.7. QAT经验总结
  • 4.2.3.7.1. 超参
  • 4.2.3.7.2. 量化参数
• 4.2.3.8. 模型精度DEBUG工具
  • 4.2.3.8.1. 相似度对比
    • 4.2.3.8.1.1. 使用示例
  • 4.2.3.8.2. 可视化
    • 4.2.3.8.2.1. 模型可视化
    • 4.2.3.8.2.2. PT文件可视化
  • 4.2.3.8.3. 统计量
    • 4.2.3.8.3.1. 使用示例
  • 4.2.3.8.4. 分步量化
    • 4.2.3.8.4.1. 使用示例
  • 4.2.3.8.5. 共享op检查
    • 4.2.3.8.5.1. 使用示例
  • 4.2.3.8.6. Fuse检查
    • 4.2.3.8.6.1. 使用示例
  • 4.2.3.8.7. 单算子转换精度调试
    • 4.2.3.8.7.1. 使用示例
  • 4.2.3.8.8. 量化配置检查
    • 4.2.3.8.8.1. 使用示例
  • 4.2.3.8.9. 模型weight比较
    • 4.2.3.8.9.1. 使用示例
• 4.2.3.9. 量化精度DEBUG思路
  • 4.2.3.9.1. 基本的BaseLine
    • 4.2.3.9.1.1. 量化精度标准
  • 4.2.3.9.2. 常规的流程图
  • 4.2.3.9.3. NAN的情况
  • 4.2.3.9.4. QAT精度过低
  • 4.2.3.9.5. quantized精度过低