5. 嵌入式应用开发（runtime）手册

本章内容包括 嵌入式应用开发指导手册 、 runtime BPU SDK API 手册 、 runtime 基础示例包使用说明 、 runtime ai_benchmark 使用说明 、 工具介绍 。 为您详细介绍在地瓜机器人平台进行应用开发的步骤，并提供 API、数据、结构体、排布、对齐规则、应用开发示例、工具介绍等内容， 供您进行参考。

• 5.1. 嵌入式应用开发指导
  • 5.1.1. 概述
  • 5.1.2. 工程创建
  • 5.1.3. 工程实现
  • 5.1.4. 工程编译和运行
  • 5.1.5. 多模型控制策略
    • 5.1.5.1. 模型优先级控制
  • 5.1.6. 应用调优建议
  • 5.1.7. 其他应用开发工具
  • 5.1.8. 常见问题
    • 5.1.8.1. 如何理解 BPU 内存 Cache？
    • 5.1.8.2. 理解 BPU 内存中的物理地址和虚拟地址？
    • 5.1.8.3. 如何将摄像头输出的 NV12 图片转换为 BGR 等格式？
• 5.2. BPU SDK API 手册
  • 5.2.1. 概述
  • 5.2.2. 数据类型和数据结构
    • 5.2.2.1. 版本信息类
      • 5.2.2.1.1. HB_DNN_VERSION_MAJOR
      • 5.2.2.1.2. HB_DNN_VERSION_MINOR
      • 5.2.2.1.3. HB_DNN_VERSION_PATCH
    • 5.2.2.2. 模型类
      • 5.2.2.2.1. HB_DNN_TENSOR_MAX_DIMENSIONS
      • 5.2.2.2.2. HB_DNN_INITIALIZE_INFER_CTRL_PARAM
      • 5.2.2.2.3. hbPackedDNNHandle_t
      • 5.2.2.2.4. hbDNNHandle_t
      • 5.2.2.2.5. hbDNNTaskHandle_t
      • 5.2.2.2.6. hbDNNTaskDoneCb
      • 5.2.2.2.7. hbDNNTensorLayout
      • 5.2.2.2.8. hbDNNDataType
      • 5.2.2.2.9. hbDNNTensorShape
      • 5.2.2.2.10. hbDNNQuantiShift
      • 5.2.2.2.11. hbDNNQuantiScale
      • 5.2.2.2.12. hbDNNQuantiType
      • 5.2.2.2.13. hbDNNTensorProperties
      • 5.2.2.2.14. hbDNNTaskPriority
      • 5.2.2.2.15. hbDNNTensor
      • 5.2.2.2.16. hbDNNRoi
      • 5.2.2.2.17. hbDNNInferCtrlParam
    • 5.2.2.3. 系统类
      • 5.2.2.3.1. hbBPUCore
      • 5.2.2.3.2. hbDSPCore
      • 5.2.2.3.3. hbSysMem
      • 5.2.2.3.4. hbSysMemFlushFlag
    • 5.2.2.4. 前处理类
      • 5.2.2.4.1. HB_DNN_INITIALIZE_RESIZE_CTRL_PARAM
      • 5.2.2.4.2. hbDNNResizeType
      • 5.2.2.4.3. hbDNNResizeCtrlParam
    • 5.2.2.5. 插件类
      • 5.2.2.5.1. hbDNNLayerCreator
  • 5.2.3. API 接口
    • 5.2.3.1. 版本信息
      • 5.2.3.1.1. hbDNNGetVersion()
    • 5.2.3.2. 模型加载/释放
      • 5.2.3.2.1. hbDNNInitializeFromFiles()
      • 5.2.3.2.2. hbDNNInitializeFromDDR()
      • 5.2.3.2.3. hbDNNRelease()
    • 5.2.3.3. 模型信息
      • 5.2.3.3.1. hbDNNGetModelNameList()
      • 5.2.3.3.2. hbDNNGetModelHandle()
      • 5.2.3.3.3. hbDNNGetInputCount()
      • 5.2.3.3.4. hbDNNGetInputName()
      • 5.2.3.3.5. hbDNNGetInputTensorProperties()
      • 5.2.3.3.6. hbDNNGetOutputCount()
      • 5.2.3.3.7. hbDNNGetOutputName()
      • 5.2.3.3.8. hbDNNGetOutputTensorProperties()
    • 5.2.3.4. 模型推理
      • 5.2.3.4.1. hbDNNInfer()
      • 5.2.3.4.2. hbDNNRoiInfer()
      • 5.2.3.4.3. hbDNNWaitTaskDone()
      • 5.2.3.4.4. hbDNNReleaseTask()
      • 5.2.3.4.5. hbDNNSetTaskDoneCb()
    • 5.2.3.5. 内存操作
      • 5.2.3.5.1. hbSysAllocMem()
      • 5.2.3.5.2. hbSysAllocCachedMem()
      • 5.2.3.5.3. hbSysFlushMem()
      • 5.2.3.5.4. hbSysFreeMem()
      • 5.2.3.5.5. hbSysWriteMem()
      • 5.2.3.5.6. hbSysReadMem()
      • 5.2.3.5.7. hbSysRegisterMem()
      • 5.2.3.5.8. hbSysUnregisterMem()
    • 5.2.3.6. 前处理
      • 5.2.3.6.1. hbDNNResize()
    • 5.2.3.7. 插件
      • 5.2.3.7.1. hbDNNRegisterLayerCreator()
      • 5.2.3.7.2. hbDNNUnregisterLayerCreator()
  • 5.2.4. 数据排布及对齐规则
    • 5.2.4.1. 数据排布
    • 5.2.4.2. BPU 对齐限制规则
      • 5.2.4.2.1. 模型输入要求
      • 5.2.4.2.2. stride 要求
    • 5.2.4.3. NV12 介绍
      • 5.2.4.3.1. YUV 格式
      • 5.2.4.3.2. NV12 排布
  • 5.2.5. 错误码
  • 5.2.6. 配置信息
  • 5.2.7. Trace 日志配置说明
  • 5.2.8. 模拟器使用注意事项
• 5.3. 基础示例包使用说明
  • 5.3.1. 前言
  • 5.3.2. 交付物说明
    • 5.3.2.1. 示例代码包
  • 5.3.3. 环境构建
    • 5.3.3.1. 开发板准备
    • 5.3.3.2. 编译
  • 5.3.4. 示例使用
    • 5.3.4.1. basic_samples 示例
      • 5.3.4.1.1. quick_start
      • 5.3.4.1.2. api_tutorial
      • 5.3.4.1.3. advanced_samples
      • 5.3.4.1.4. misc
  • 5.3.5. 辅助工具和常用操作
    • 5.3.5.1. 日志
      • 5.3.5.1.1. 示例日志
      • 5.3.5.1.2. dnn 日志
• 5.4. AI-Benchmark 使用说明
  • 5.4.1. 前言
  • 5.4.2. 交付物说明
    • 5.4.2.1. 示例代码包
    • 5.4.2.2. 示例模型
    • 5.4.2.3. 公共数据集
  • 5.4.3. 环境构建
    • 5.4.3.1. 开发板准备
    • 5.4.3.2. 编译
  • 5.4.4. 示例使用
    • 5.4.4.1. 评测示例
    • 5.4.4.2. 性能评测
      • 5.4.4.2.1. 使用说明
      • 5.4.4.2.2. 命令行参数说明
      • 5.4.4.2.3. 配置文件说明
    • 5.4.4.3. 精度评测
      • 5.4.4.3.1. 数据预处理
        • 5.4.4.3.1.1. PTQ 模型数据预处理
          • 5.4.4.3.1.1.1. VOC 数据集
          • 5.4.4.3.1.1.2. COCO 数据集
          • 5.4.4.3.1.1.3. ImageNet 数据集
          • 5.4.4.3.1.1.4. Cityscapes 数据集
      • 5.4.4.3.2. 数据挂载
      • 5.4.4.3.3. 生成 lst 文件
      • 5.4.4.3.4. 模型推理
        • 5.4.4.3.4.1. 命令行参数说明
        • 5.4.4.3.4.2. 配置文件说明
      • 5.4.4.3.5. 精度计算
        • 5.4.4.3.5.1. PTQ 模型精度计算
          • 5.4.4.3.5.1.1. 分类模型
          • 5.4.4.3.5.1.2. 检测模型
          • 5.4.4.3.5.1.3. 分割模型
  • 5.4.5. 模型集成
    • 5.4.5.1. 后处理文件添加
    • 5.4.5.2. 增加模型运行脚本及配置文件
  • 5.4.6. 辅助工具
    • 5.4.6.1. 日志
      • 5.4.6.1.1. 示例日志
      • 5.4.6.1.2. dnn 日志
    • 5.4.6.2. 算子耗时
      • 5.4.6.2.1. 概述
      • 5.4.6.2.2. 示例
    • 5.4.6.3. dump 工具
• 5.5. 工具介绍
  • 5.5.1. hrt_bin_dump 工具介绍
    • 5.5.1.1. 工具简介
    • 5.5.1.2. 输入参数描述
    • 5.5.1.3. 使用说明
      • 5.5.1.3.1. 示例
  • 5.5.2. hrt_model_exec 工具介绍
    • 5.5.2.1. 工具简介
    • 5.5.2.2. 输入参数描述
    • 5.5.2.3. 使用说明
      • 5.5.2.3.1. model_info
        • 5.5.2.3.1.1. 概述
        • 5.5.2.3.1.2. 示例
      • 5.5.2.3.2. infer
        • 5.5.2.3.2.1. 概述
        • 5.5.2.3.2.2. 示例
        • 5.5.2.3.2.3. 可选参数
      • 5.5.2.3.3. perf
        • 5.5.2.3.3.1. 概述
        • 5.5.2.3.3.2. 示例
        • 5.5.2.3.3.3. 可选参数
      • 5.5.2.3.4. 多线程 Latency 数据说明
      • 5.5.2.3.5. 多输入模型说明
      • 5.5.2.3.6. 输入参数补充说明
        • 5.5.2.3.6.1. input_file
        • 5.5.2.3.6.2. roi_infer
        • 5.5.2.3.6.3. dump_intermediate
        • 5.5.2.3.6.4. hybrid_dequantize_process
        • 5.5.2.3.6.5. profile_path
        • 5.5.2.3.6.6. enable_cls_post_process
        • 5.5.2.3.6.7. thread_num
    • 5.5.2.4. 常见问题
      • 5.5.2.4.1. Latency、FPS 数据是如何统计的？
      • 5.5.2.4.2. 通过 Latency 推算 FPS 与工具测出的 FPS 为什么不一致？
      • 5.5.2.4.3. 工具如何评测自定义算子模型？
  • 5.5.3. 常用操作
    • 5.5.3.1. 查看开发板镜像版本
    • 5.5.3.2. 查看系统日志
    • 5.5.3.3. 查看 BPU 使用率