1.1. OE文档脉络¶
本文档适用于使用地平线J5芯片的所有开发者,为您提供全方位的开发过程指导, 为您能够充分了解整体的使用过程,地平线推荐您按照以下顺序进行阅读。以下为各章节内容简述,您也可以根据需要进行对应章节的阅读。
1.1.1. 产品简介¶
OE文档脉络 (当前章节)
本章节中,为你准备了整体文档中相关章节的内容简介及内容跳转,以及文档的推荐阅读顺序。
本章节为您进行Open Explorer的介绍,同时为您简单介绍发布包中的内容以及文档在阅读过程中可能会反复提到的一些关键概念。
本章节地平线为您带来工具链简单描述及整体使用流程等内容的介绍。
1.1.2. 环境安装¶
本章节中,地平线将为您介绍开发环境和运行环境下,需要您提前进行的环境部署步骤及内容。
本章节中,地平线为您介绍OE包版本管理工具ddk_vc的使用方法说明。
1.1.3. 快速上手¶
本章节中,地平线为您带来QAT、PTQ两种量化方法的简单介绍。
本章节中,我们为您提供了一个芯片算法模型使用PTQ方案量化+上板的一个快速入门示例,帮助您了解浮点转换工具链训练后量化(PTQ)的量化与上板的基本使用流程,帮助您实现快速上手。
1.1.4. 浮点模型转定点模型指导手册¶
本章节中,通过对PTQ原理及使用方法步骤、PTQ工具说明及使用方法、PTQ示例包说明及使用方法、附录说明等内容的介绍,为您进行训练后量化(PTQ)的使用方法指导。
本章节中,通过对环境依赖、快速上手、使用教学、API参考、与社区QAT异同等内容的介绍,为您 详细介绍地平线基于PyTorch开发的horizon_plugin_pytorch的量化训练工具。
1.1.5. 上板运行时(runtime)应用开发手册¶
本章节中,为您介绍在地平线平台进行应用开发,将量化训练得到的模型部署到J5开发板上运行起来的方法步骤、需要您注意的相关注意事项、常用的多模型控制概念以及应用调优建议的相关说明。
本章节中,为您介绍地平线天工开物工具链Runtime的API、数据、结构体、排布及对齐规则等内容,方便您可以在地平线开发板上使用API实现模型的加载、释放、信息获取及推理等操作。
本章节中,地平线为您提供了以下三方面示例供您参考,您可以体验并基于示例内容进行应用开发:
1.dnn API教学示例。
2.自定义算子(custom OP)等特殊功能示例。
3.非NV12输入模型的杂项示例。
本章节中,地平线为您提供了Runtime应用开发常见分类、检测、分割和光流估计模型的性能和精度评测示例。示例包中预置了源码、可执行程序和评测脚本,您可以在地平线开发板上进行体验,并基于这些示例直接进行应用开发。
本章节中,地平线为您介绍ptq debug模型的layer dump工具——hrt_bin_dump工具的参数描述、使用方法及使用示例,模型执行工具——hrt_model_exec工具的参数描述、使用方法及使用示例 以及辅助工具和常用操作。
1.1.6. 进阶内容¶
本章节为进阶内容,在本章节中将从特性、整体框架、使用教程、ModelZoo、API及示例等方面内容,为您介绍地平线基于Pytorch的深度学习训练工具Horizon Torch Samples。
本章节为进阶内容,在本章节中将为您介绍当您需要在J5芯片上进行高效模型设计时,地平线的通用指导建议。
本章节为进阶内容,在本章节中将从DSP简介、Linux环境下的安装方法、整体开发流程等方面,为您介绍DSP开发的步骤及注意事项。
本章节为进阶内容,由于DSP与ARM是相对独立的两个系统,两者通过RPC进行交互。为简化RPC的使用,地平线为您提供了相应的接口,本章节为您介绍相应接口说明。
本章节为进阶内容,DSP示例包展示了如何在J5上使用dsp进行任务处理。开发者可以体验并基于该示例进行应用开发,降低开发门槛,本章节为您提供DSP示例包的使用方法说明。
本章节为进阶内容,本章节为您提供了目标检测全链路示例说明,为您展示如何在J5上运行一个检测模型并展示结果。
1.1.7. 附录¶
本章节内容,为您介绍在一定测试条件下,模型Benchmark相关各项数据,便于您清晰获知模型性能。
本章节内容,为您列出地平线支持的Caffe、ONNX算子列表以及算子所属类型、算子约束条件以及通用使用限制等相关内容供您在使用过程中进行参考。
本章节内容,为您介绍您在阅读本文档时,常见的一些缩略词及其全称以及含义,方便您的阅读。
本章节内容,为您进行芯片的简单介绍,包括芯片提供的能力说明、功能框架、芯片规格以及片内外设等相关内容,方便您对芯片有一个大致的了解。
本章节内容,为您进行目前J5 OE版本适用的相应硬件环境的配置清单、规格参数、组装方法等内容的介绍,以及系统镜像升级相关内容、工具及常见问题,系统软件自带常用工具使用方法介绍。