6.1. Horizon Algorithm Toolkit (海图)

Horizon Algorithm Toolkit是地平线提供基于Pytorch的深度学习训练 工具，由Pytorch plugin和HAT算法包两部分组成。

Pytorch plugin是基于Pytorch开发的一套量化算法工具，其量化算法与地平线芯片深度耦合，利用该工具训练得到的量化模型均可以正常编译和运行 在地平线BPU上。

HAT算法包是基于Pytorch和Pytorch plugin的接口开发的一套高效且用户友好的AI算法工具。同时它还可以提供包含分类，检测，分割等常见的图像 任务的SOTA(state-of-the-art)深度学习模型。

• 6.1.1. INTRODUCTION
  • 6.1.1.1. 简介
    • 6.1.1.1.1. 特性
    • 6.1.1.1.2. 示例模型
• 6.1.2. FRAMEWORK
  • 6.1.2.1. 框架
    • 6.1.2.1.1. HAT核心模块
    • 6.1.2.1.2. HAT构建训练流程
  • 6.1.2.2. 执行引擎
    • 6.1.2.2.1. Engine的执行流程
    • 6.1.2.2.2. Engine结构
• 6.1.3. TUTORIALS
  • 6.1.3.1. 如何进行量化训练
    • 6.1.3.1.1. 量化训练流程简介
      • 6.1.3.1.1.1. 添加自定义模型
      • 6.1.3.1.1.2. 添加 config 文件
    • 6.1.3.1.2. 训练
    • 6.1.3.1.3. 恢复训练
    • 6.1.3.1.4. qat_mode
      • 6.1.3.1.4.1. 作用
      • 6.1.3.1.4.2. 可选项定义
      • 6.1.3.1.4.3. 原理介绍
        • 6.1.3.1.4.3.1. fuse_bn
        • 6.1.3.1.4.3.2. with_bn
        • 6.1.3.1.4.3.3. with_bn_reverse_fold
      • 6.1.3.1.4.4. 用法
        • 6.1.3.1.4.4.1. 设置 qat_mode
        • 6.1.3.1.4.4.2. 查看当前 qat_mode
        • 6.1.3.1.4.4.3. 设置逐步吸收 BN
      • 6.1.3.1.4.5. qat_mode 总结
  • 6.1.3.2. set_qconfig 书写规范和自定义 qconfig 介绍
    • 6.1.3.2.1. set_qconfig 方法书写规范
    • 6.1.3.2.2. 自定义 QAT QConfig 参数
  • 6.1.3.3. 如何开启 AMP
  • 6.1.3.4. 如何编译模型
    • 6.1.3.4.1. 1. 输入为 config 文件
  • 6.1.3.5. 注册机制
    • 6.1.3.5.1. 自定义模块
      • 6.1.3.5.1.1. 1. 定义一个新的backbone（如MobileNet）：
      • 6.1.3.5.1.2. 2. 导入新定义的模块
      • 6.1.3.5.1.3. 3. 在config中使用新的backbone
  • 6.1.3.6. config 文件介绍
    • 6.1.3.6.1. 全局关键字
    • 6.1.3.6.2. 如何配置
  • 6.1.3.7. 通过命令行覆盖config参数
  • 6.1.3.8. 计算量工具
    • 6.1.3.8.1. 计算量的定义
    • 6.1.3.8.2. 计算量工具的使用方法
    • 6.1.3.8.3. 常见分类模型的计算量（输入大小为1x3x224x224）
  • 6.1.3.9. 数据校准
    • 6.1.3.9.1. 1. 如何定义 Calibration 模型
    • 6.1.3.9.2. 2. 浮点模型做 Calibration
    • 6.1.3.9.3. 3. 使用 Calibration 模型做 QAT 训练
  • 6.1.3.10. 启动方式
    • 6.1.3.10.1. 最简单的模式
    • 6.1.3.10.2. torchrun
    • 6.1.3.10.3. mpirun
• 6.1.4. EXAMPLES
  • 6.1.4.1. Docker 镜像说明
    • 6.1.4.1.1. 1. 如何启动
    • 6.1.4.1.2. 2. 获取执行脚本
  • 6.1.4.2. 执行脚本
    • 6.1.4.2.1. tools
  • 6.1.4.3. 多机使用说明
    • 6.1.4.3.1. 1. 环境准备
    • 6.1.4.3.2. 2. 启动docker
    • 6.1.4.3.3. 3. 使用mpirun启动多机多卡训练脚本
  • 6.1.4.4. MobileNetV1分类模型训练
    • 6.1.4.4.1. 1. 训练流程
      • 6.1.4.4.1.1. 数据集准备
      • 6.1.4.4.1.2. 模型训练
      • 6.1.4.4.1.3. 模型验证
      • 6.1.4.4.1.4. 模型推理
      • 6.1.4.4.1.5. 仿真上板精度验证
      • 6.1.4.4.1.6. 定点模型编译
    • 6.1.4.4.2. 2. 训练细节
      • 6.1.4.4.2.1. 训练条件
      • 6.1.4.4.2.2. 网络结构
      • 6.1.4.4.2.3. 数据增强
      • 6.1.4.4.2.4. 训练策略
      • 6.1.4.4.2.5. 量化训练
      • 6.1.4.4.2.6. 模型检查编译和仿真上板精度验证
    • 6.1.4.4.3. 3. 预训练模型
  • 6.1.4.5. RetinaNet检测模型训练
    • 6.1.4.5.1. 数据集准备
    • 6.1.4.5.2. 浮点模型训练
      • 6.1.4.5.2.1. 模型构建
      • 6.1.4.5.2.2. 数据增强
      • 6.1.4.5.2.3. 训练策略
    • 6.1.4.5.3. 量化模型训练
      • 6.1.4.5.3.1. model_convert_pipeline参数的值不同
      • 6.1.4.5.3.2. 训练策略不同
      • 6.1.4.5.3.3. 模型验证
      • 6.1.4.5.3.4. 仿真上板精度验证
        • 6.1.4.5.3.4.1. 结果可视化
      • 6.1.4.5.3.5. 模型检查和编译
  • 6.1.4.6. YOLOV3检测模型训练
    • 6.1.4.6.1. 训练流程
    • 6.1.4.6.2. 训练细节
      • 6.1.4.6.2.1. 网络结构
      • 6.1.4.6.2.2. 数据增强
      • 6.1.4.6.2.3. 训练策略
      • 6.1.4.6.2.4. 量化训练
      • 6.1.4.6.2.5. 模型检查和编译
  • 6.1.4.7. FCOS检测模型训练
    • 6.1.4.7.1. 数据集准备
    • 6.1.4.7.2. 浮点模型训练
      • 6.1.4.7.2.1. 模型构建
      • 6.1.4.7.2.2. 数据增强
      • 6.1.4.7.2.3. 训练策略
    • 6.1.4.7.3. 量化模型训练
      • 6.1.4.7.3.1. quantize参数的值不同
      • 6.1.4.7.3.2. 训练策略不同
      • 6.1.4.7.3.3. 模型验证
      • 6.1.4.7.3.4. 仿真上板精度验证
      • 6.1.4.7.3.5. 结果可视化
      • 6.1.4.7.3.6. 模型检查和编译
  • 6.1.4.8. UNet分割模型训练
    • 6.1.4.8.1. 1. 训练流程
      • 6.1.4.8.1.1. 数据集下载
      • 6.1.4.8.1.2. 数据集打包
      • 6.1.4.8.1.3. 模型训练
      • 6.1.4.8.1.4. 指标验证
      • 6.1.4.8.1.5. 仿真上板精度验证
      • 6.1.4.8.1.6. 模型推理
      • 6.1.4.8.1.7. 模型编译
    • 6.1.4.8.2. 2. 训练细节
      • 6.1.4.8.2.1. 模型结构
      • 6.1.4.8.2.2. 数据预处理
      • 6.1.4.8.2.3. 训练策略
      • 6.1.4.8.2.4. 量化训练策略
      • 6.1.4.8.2.5. 模型检查和编译
    • 6.1.4.8.3. 3. 预训练模型
  • 6.1.4.9. PwcNet光流预测模型训练
    • 6.1.4.9.1. 1. 训练流程
      • 6.1.4.9.1.1. 数据集准备
      • 6.1.4.9.1.2. 模型训练
      • 6.1.4.9.1.3. 模型验证
      • 6.1.4.9.1.4. 模型推理
      • 6.1.4.9.1.5. 仿真上板精度验证
      • 6.1.4.9.1.6. 定点模型检查和编译
    • 6.1.4.9.2. 1. 训练细节
      • 6.1.4.9.2.1. 模型构建
      • 6.1.4.9.2.2. 数据增强
      • 6.1.4.9.2.3. 训练策略
      • 6.1.4.9.2.4. 量化训练
      • 6.1.4.9.2.5. 模型检查编译和仿真上板精度验证
  • 6.1.4.10. PointPillars检测模型训练
    • 6.1.4.10.1. 数据集准备
    • 6.1.4.10.2. 浮点模型训练
      • 6.1.4.10.2.1. 模型构建
      • 6.1.4.10.2.2. 数据增强
      • 6.1.4.10.2.3. 训练策略
      • 6.1.4.10.2.4. 量化模型训练
      • 6.1.4.10.2.5. quantize参数的值不同
      • 6.1.4.10.2.6. 训练策略不同
      • 6.1.4.10.2.7. 模型验证
      • 6.1.4.10.2.8. 仿真上板精度验证
      • 6.1.4.10.2.9. 结果可视化
      • 6.1.4.10.2.10. 模型检查和编译
• 6.1.5. FLOAT EXAMPLES
  • 6.1.5.1. VargConvNet分类模型训练
    • 6.1.5.1.1. 1. 训练流程
      • 6.1.5.1.1.1. 数据集准备
      • 6.1.5.1.1.2. 模型训练
  • 6.1.5.2. Fastscnn分割模型训练
    • 6.1.5.2.1. 1. 训练流程
      • 6.1.5.2.1.1. 数据集下载
      • 6.1.5.2.1.2. 数据集打包
      • 6.1.5.2.1.3. 模型训练
  • 6.1.5.3. Deeplab分割模型训练
    • 6.1.5.3.1. 1. 训练流程
      • 6.1.5.3.1.1. 数据集下载
      • 6.1.5.3.1.2. 数据集打包
      • 6.1.5.3.1.3. 模型训练
• 6.1.6. MODELZOO
  • 6.1.6.1. Float ModelZoo
    • 6.1.6.1.1. Classification
    • 6.1.6.1.2. Segmentation
  • 6.1.6.2. ModelZoo
    • 6.1.6.2.1. Classification
    • 6.1.6.2.2. Detection
    • 6.1.6.2.3. Segmentation
    • 6.1.6.2.4. OpticalFlow
    • 6.1.6.2.5. Lidar
• 6.1.7. API REFERENCE
  • 6.1.7.1. hat.data
    • 6.1.7.1.1. Data
      • 6.1.7.1.1.1. collates
      • 6.1.7.1.1.2. dataloaders
      • 6.1.7.1.1.3. datasets
      • 6.1.7.1.1.4. samplers
      • 6.1.7.1.1.5. transforms
    • 6.1.7.1.2. API Reference
  • 6.1.7.2. hat.callbacks
    • 6.1.7.2.1. Callbacks
    • 6.1.7.2.2. API Reference
  • 6.1.7.3. hat.engine
    • 6.1.7.3.1. Engine
      • 6.1.7.3.1.1. processors
    • 6.1.7.3.2. API Reference
  • 6.1.7.4. hat.models
    • 6.1.7.4.1. Models
      • 6.1.7.4.1.1. backbones
      • 6.1.7.4.1.2. losses
      • 6.1.7.4.1.3. necks
      • 6.1.7.4.1.4. structures
        • 6.1.7.4.1.4.1. detectors
        • 6.1.7.4.1.4.2. opticalflow
        • 6.1.7.4.1.4.3. fcos
        • 6.1.7.4.1.4.4. lidar
        • 6.1.7.4.1.4.5. retinanet
        • 6.1.7.4.1.4.6. seg
        • 6.1.7.4.1.4.7. yolo
        • 6.1.7.4.1.4.8. deeplab
        • 6.1.7.4.1.4.9. fcn
        • 6.1.7.4.1.4.10. pwcnet
        • 6.1.7.4.1.4.11. pointpillars
    • 6.1.7.4.2. API Reference
  • 6.1.7.5. hat.metrics
    • 6.1.7.5.1. Metrics
    • 6.1.7.5.2. API Reference
  • 6.1.7.6. hat.profiler
    • 6.1.7.6.1. Profiler
    • 6.1.7.6.2. API Reference
  • 6.1.7.7. hat.visualize
    • 6.1.7.7.1. Visualize
    • 6.1.7.7.2. API Reference