1. OE 文档脉络

本文档适用于使用地瓜机器人 X5 计算平台的所有开发者,为您提供全方位的开发过程指导,为您能够充分了解整体的使用过程,地瓜机器人推荐您按照以下顺序进行阅读。

以下为各章节内容简述,您也可以根据需要进行对应章节的阅读。

1. OE 文档脉络 (当前章节)

本章节为您准备了整体文档中相关章节的内容简介及内容跳转,以及文档的推荐阅读顺序。

2. 产品简介

章节

简介

认识 Open Explorer

本章节为您进行 Open Explorer 的介绍,同时为您简单介绍 OE 包中的发布物内容以及文档在阅读过程中可能会反复提到的一些关键概念。

工具链概览

本章节地瓜机器人为您带来工具链简单描述及整体使用流程等内容的介绍。

3. 关键概念

本章节中为您提供了一些常用关键概念以及一些常用到的背景知识的介绍。

4. 环境安装

章节

简介

环境部署

本章节中,地瓜机器人将为您介绍开发环境和运行环境下,需要您提前进行的环境部署步骤及内容。

OE 包版本管理

本章节中,地瓜机器人为您介绍 OE 包版本管理工具 ddk_vc 的使用方法说明。

5. 快速上手

章节

简介

PTQ、QAT 简介

本章节中,地瓜机器人为您带来 PTQ、QAT 两种量化方法的简单介绍。

算法模型 PTQ 量化+上板 快速上手

本章节中,我们为您提供了一个算法模型使用 PTQ 方案量化+上板的一个快速入门示例,帮助您了解浮点转换工具链训练后量化(PTQ)的量化与上板的基本使用流程,帮助您实现快速上手。

算法模型 QAT 量化+部署 快速上手

本章节中,我们为您提供了算法模型通过 QAT 方式进行量化到部署的过程说明,帮助您了解量化感知训练(QAT)的量化与上板的基本使用流程,帮助您实现快速上手。

6. 训练后量化(PTQ)

章节

简介

PTQ 转换原理及流程

本章节为您介绍训练后量化 PTQ 模型转换的整体流程及全过程详解。

PTQ 转换工具

本章节为您详细介绍算法工具链提供的 PTQ 工具包中工具的使用方法。

PTQ 转换步骤

本章节从模型准备、模型验证、校准数据准备、模型量化&编译、性能分析、精度分析等方面,为您进行使用 PTQ 转换的指导。

PTQ 转换示例

本章节为您介绍 horizon_model_convert_sample 模型转换示例包及其使用方法。提供了使用浮点模型转换工具链快速完成浮点模型转换定点模型的示例,同时包括单张推理和精度验证示例。

自定义算子开发

如在进行 PTQ 转换时,您所使用的模型存在地瓜机器人工具链不支持的算子的情况,可参考本章节进行自定义算子的开发。

常见问题及故障处理

本章节为您提供 PTQ 转换过程一些常见问题的解答以及常见异常故障现象通用解决建议。

附录

本章节为您介绍 norm_type 相关参数、相关计算公式的说明与解析,图片缩放裁剪时使用的各个 transformer 的概念、参数说明及示例。

7. 量化感知训练(QAT)

章节

简介

术语约定

本章节为您介绍量化感知训练中会用到的一些专业术语。

环境依赖

本章节为您介绍量化感知训练的环境依赖要求。

快速入门

本章节为您提供了算法模型通过 QAT 方式进行量化到部署的过程说明,帮助您了解量化感知训练(QAT)的量化与上板的基本使用流程,帮助您实现快速上手。

开发指南

本章节为您提供量化感知训练开发过程中的指导说明。

深入探索

本章节为您提供自定义 qconfig、FX Quantization 原理介绍、RGB888 数据部署、模型分段部署及算子融合等内容,帮助您进一步理解量化感知训练。

API Reference

本章节提供了量化感知训练 QAT 的 API 接口介绍。

附录

本章节为您提供 Eager 模式的介绍,包括与 fx 模式的区别介绍以及使用流程介绍。

8. 模型性能/精度调优指导

章节

简介

模型性能调优

本章节为您介绍,当进行性能分析后,如果性能未达到您的预期情况,地瓜机器人对提升模型性能的建议与措施。

PTQ 模型精度调优

本章节为您介绍,当进行 PTQ 转换后,如果精度未达到您的预期情况,地瓜机器人对提升模型精度的建议与措施。

QAT 模型精度调优

本章节为您介绍,当进行 QAT 转换后,如果精度未达到您的预期情况,地瓜机器人对提升模型精度的建议与措施。

9. 嵌入式应用开发(runtime)手册

章节

简介

嵌入式应用开发指导

本章节中,为您介绍在地瓜机器人平台进行应用开发,将量化训练得到的模型部署到 X5 硬件平台上运行起来的方法步骤、需要您注意的相关注意事项、常用的多模型控制概念以及应用调优建议的相关说明。

BPU SDK API 手册

本章节中,为您介绍地瓜机器人天工开物工具链 Runtime 的 API、数据、结构体、排布及对齐规则等内容,方便您可以在地瓜机器人硬件平台上使用 API 实现模型的加载、释放、信息获取及推理等操作。

基础示例包使用说明

本章节中,地瓜机器人为您提供了 BPU SDK API 教学示例、自定义算子(custom OP)等特殊功能示例及非 NV12 输入模型的杂项示例供您参考,您可以体验并基于示例内容进行应用开发。

AI Benchmark 使用说明

本章节中,地瓜机器人为您提供了嵌入式应用开发常见分类、检测、分割和光流估计模型的性能和精度评测示例。示例包中预置了源码、可执行程序和评测脚本,您可以在地瓜机器人开发板上进行体验,并基于这些示例直接进行应用开发。

工具介绍

本章节中,地瓜机器人为您介绍模型的 layer dump 工具——hrt_bin_dump 工具的参数描述、使用方法及使用示例,模型执行工具——hrt_model_exec 工具的参数描述、使用方法及使用示例以及辅助工具和常用操作。

10. 模型性能 Benchmark

本章节内容,为您介绍在一定测试条件下,模型 Benchmark 相关各项数据,便于您清晰获知模型性能。

11. 附录

章节

简介

工具链算子支持约束列表

本章节内容,为您列出地瓜机器人支持的算子列表,并给出算子所属类型、算子约束条件以及通用使用限制等相关内容供您在使用过程中进行参考。

数据集下载

本章节内容,我们给出在使用示例模型时会使用到的数据集的下载链接供您参考。

常用缩略语

本章节内容,为您介绍您在阅读本文档时,常见的一些缩略词及其全称以及含义,方便您的阅读。

社区资源索引

本章节内容,为您提供地瓜机器人开发者社区中关于算法工具链的资源以及优质开发者文章的整合链接,方便您进行资料查找以及内容学习。