地平线参考算法版本发布

1. 基础示例算法

发布版本： v1.6.16 + OE 1.1.40
发布时间： 2023/02
获取方式： 基础示例均集成于OE包的 ddk/samples/ai_toolchain/horizon_model_train_sample/ 下，获取方式参考：J5芯片算法工具链OpenExplorer 版本发布

版本信息：

版本 OE版本 主要更新
v1.6.16 1.1.40
  • 新增车道线检测模型GaNet
  • 新增分类模型MixVarGENet
  • 新增分类模型DETR-Efficientnetb3
  • 修复分割数据集可视化的bug
    		•
    v1.6.8 1.1.33
  • 新增分类模型DETR-Resnet50
  • 新增和社区逻辑对齐的swint模型
    		•

    1.1 检测算法

    Fcos

    算法介绍:
    Fcos为2D目标检测模型,其检测是anchor-free的，该模型在J3和J5中均有优异表现。
    性能/精度数据：

    数据集 backbone input_shape mAP J5 fps（双核）
    COCO Efficientnet-b0 512x512 0.3506 1730.16
    COCO Efficientnet-b2 768x768 0.4507 443.68
    COCO Efficientnet-b3 896x896 0.4771 282.52

    适配平台:
    【J3】【J5】

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/detection/fcos

    参考视频:
    开发者直播KE——FCOS算法详解

    Pointpillars

    算法介绍:
    Pointpillars为基于激光雷达的目标检测,该算法检测类别为“car”，输入为点云数据。
    性能/精度数据：

    数据集 backbone input_shape APDet fps（双核）
    Kitti3d SequentialBottleNeck 1x1x150000x4 0.7673 115.68

    适配平台:
    【J5】

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/detection/pointpillars

    参考文档:
    【参考算法】地平线 Pointpillars 参考算法-v1.1.0

    Retinanet

    算法介绍:
    Retinanet为一阶段2D目标检测模型。
    性能/精度数据：

    数据集 backbone input_shape mAP fps（双核）
    COCO Vargnetv2 1024x1024 0.3145 68.21

    适配平台:
    【J5】

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/detection/retinanet

    Yolov3

    算法介绍:
    Yolov3为2D目标检测模型。
    性能/精度数据：

    数据集 backbone input_shape mAP fps（双核）
    VOC Mobilenetv1 416x416 0.7616 489.31
    COCO Vargdarknet 416x416 0.3360 300.70

    适配平台:
    【J5】

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/detection/yolov3

    DETR

    算法介绍:
    DETR为2D目标检测模型,其核心为使用transformer机制提取特征。
    性能/精度数据：

    数据集 backbone input_shape mAP fps（双核）
    COCO Efficientnet-b3 800x1332 35.68 62.59
    COCO Resnet50 800x1332 31.21 47.52

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/detection/detr


    1.2 分割算法

    Deeplabv3+

    算法介绍:
    Deeplabv3+为2D分割模型。
    性能/精度数据：

    数据集 backbone input_shape MIOU-浮点
    Cityscapes EfficientNet-m0 1024x2048 0.7630
    Cityscapes EfficientNet-m1 1024x2048 0.7794
    Cityscapes EfficientNet-m2 1024x2048 0.7882

    适配平台:
    【J3】【J5】

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/segmentation/

    Unet

    算法介绍:
    Unet为常用到的2D分割模型，可以在小数据集中训练。
    性能/精度数据：

    数据集 backbone input_shape MeanIOU J5 fps（双核）
    Cityscapes MobileNetV1 1024x2048 0.6748 1066.50

    适配平台:
    【J3】【J5】

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/segmentation/

    1.3 车道线检测

    GANet

    算法介绍:
    GANet为车道线检测模型。
    性能/精度数据：

    数据集 backbone input_shape F1-Score fps（双核）
    CuLane MixVarGENet 320x800 0.7916 2403.21

    适配平台:
    【J5】

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/lane_pred/ganet


    1.4 光流估计

    PWCNet

    算法介绍:
    PWCNet为光流估计场景模型。 性能/精度数据：

    数据集 backbone input_shape EndPointError fps（双核）
    FlyingChairs PwcNet 1x384x512x6 1.4101 154.45

    适配平台:
    【J5】

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/opticalflow_pred/pwcnet


    1.5 Backbone

    Classification

    算法介绍:
    Classification下提供了一系列对地平线芯片设计较友好的网络结构和常用backbone结构，用户可以根据精度和性能需求选择合适的结构来搭建模型。
    性能/精度数据：

    model 数据集 input_shape Accuracy J5 fps（双核）
    Mobilenetv1 ImageNet 224x224 73.27 3579.03
    Mobilenetv2 ImageNet 224x224 71.67 4168.32
    Resnet18 ImageNet 224x224 70.98 1495.92
    Resnet50 ImageNet 224x224 76.40 686.2
    Mixvargenet ImageNet 224x224 70.23 5859.19
    VargNetv2 ImageNet 224x224 72.75 3521.14
    SwinTransformer ImageNet 224x224 79.97 133.54
    EfficientNet-b0 ImageNet 224x224 73.91 2865.51

    适配平台:
    【J3】【J5】:EfficientNet、Mobilenet、Resnet、VargNetv2
    【J5】：SwinTransformer、Mixvargenet

    示例路径：
    ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/classification/

    参考文档:
    MixVarGENet:
    【参考算法】地平线 MixVarGENet参考算法-V1.0.0

    2. BEV算法

    发布版本： v1.6.16
    运行环境： OE docker-1.1.40
    发布时间： 2023/02
    获取方式：
    python3.6：

    代码包：wget -c ftp://addition@vrftp.horizon.ai/bev_release_package/1.6.16/py36/bev_release_package-1.6.16.tgz --ftp-password=addition@123$%
    环境部署及交付物简介：wget -c ftp://addition@vrftp.horizon.ai/bev_release_package/1.6.16/README.txt --ftp-password=addition@123$%
    Docker镜像：wget -c ftp://j5ftp@vrftp.horizon.ai/OpenExplorer/v1.1.40_release/docker_openexplorer_centos_7_j5_v1.1.40_py36.tar.gz --ftp-password=j5ftp@123$%

    python3.8：

    代码包：wget -c ftp://addition@vrftp.horizon.ai/bev_release_package/1.6.16/py38/bev_release_package-1.6.16.tgz --ftp-password=addition@123$%
    环境部署及交付物简介：wget -c ftp://addition@vrftp.horizon.ai/bev_release_package/1.6.16/README.txt --ftp-password=addition@123$%
    Docker镜像：
    Ubuntu20.04+CPU：wget -c ftp://j5ftp@vrftp.horizon.ai/OpenExplorer/v1.1.40_release/docker_openexplorer_ubuntu_20_j5_cpu_v1.1.40_py38.tar.gz --ftp-password=j5ftp@123$%
    Ubuntu20.04+GPU：wget -c ftp://j5ftp@vrftp.horizon.ai/OpenExplorer/v1.1.40_release/docker_openexplorer_ubuntu_20_j5_gpu_v1.1.40_py38.tar.gz --ftp-password=j5ftp@123$%

    版本信息：

    版本 OE版本 主要更新
    v1.6.16 1.1.40
  • 独立的tools脚本，不依赖基础包
  • 新增detr3D，bev时序融合模块更名为TemporalFusion
  • 拆分bev_release_models，提供单独的下载链接的README
    		•
    v1.6.8 1.1.33
  • 新增bev系列参考模型：lss、ipm、gkt、ipm-temporal
  • 修复int_infer和align_bpu脚本问题
    		•

    2.1 BEV示例

    Bev_mt_ipm

    算法介绍:
    该模型为基于ipm方式转换为BEV视角的多任务模型。
    性能/精度数据：

    数据集 backbone input_shape grid_shape MeanIOU NDS fps（双核）
    Nuscenes Efficientnet-b0 6x3x512x960 128x128 51.47 30.70 213.85

    适配平台:
    【J5】

    示例路径：
    bev_release_package/configs/bev/bev_mt_ipm.py

    参考文档:
    【参考算法】地平线 Bev_mt_ipm 参考算法-v1.1.1

    Bev_mt_lss

    算法介绍:
    该模型为基于lss方式转换为BEV视角的多任务模型
    性能/精度数据：

    数据集 backbone input_shape grid_shape MeanIOU NDS fps（双核）
    Nuscenes Efficientnet-b0 6x3x256x704 128x128 51.63 29.76 278.19

    适配平台:
    【J5】

    示例路径：
    bev_release_package/configs/bev/bev_mt_lss.py

    参考文档:
    【参考算法】地平线 Bev_mt_lss 参考算法-v1.1.1

    Bev_mt_gkt

    算法介绍:
    该模型为基于gkt(Geometry-guided Kernel Transformer)方式转换为BEV视角的多任务模型
    性能/精度数据：

    数据集 backbone input_shape grid_shape MeanIOU NDS fps（双核）
    Nuscenes MixVarGENet 6x3x512x960 128x128 48.03 28.02 83.11

    适配平台:
    【J5】

    示例路径：
    bev_release_package/configs/bev/bev_mt_gkt.py

    参考文档:
    【参考算法】地平线 Bev_mt_gkt 参考算法-v1.1.1

    Bev_mt_ipm_temporal

    算法介绍:
    该模型为基于IPM 转换、添加时序特征方式的BEV多任务感知。
    性能/精度数据：

    数据集 backbone input_shape grid_shape MeanIOU NDS fps（双核）
    Nuscenes Efficientnet-b0 6x3x512x960 128x128 54.10 37.18 213.76

    适配平台:
    【J5】

    示例路径：
    bev_release_package/configs/bev/bev_mt_ipm_temporal.py

    Detr3d

    算法介绍:
    该模型为基于Detr3d transformer方式的BEV检测模型。
    性能/精度数据：

    数据集 backbone input_shape grid_shape NDS fps（双核）
    Nuscenes Efficientnet-b3 6x3x512x960 128x128 32.71 6.82

    适配平台:
    【J5】

    示例路径：
    bev_release_package/configs/bev/detr3d_efficientnetb3_nuscenes.py