Waymo Open Dataset 介绍

王 茂南
王 茂南
王 茂南
3468
文章
75
评论
2026年8月12日07:55:55
评论 6837字阅读22分47秒

简介

 

参考资料

Waymo Challenge 2022 -- Motion Prediction，轨迹预测的任务；

Waymo Open Motion Dataset 介绍

waymo数据集解析(motion)，介绍了 Scenario 的数据结构（主要是轨迹）；

waymo数据集解析(map)，详细介绍 Map 的数据（Lane，Road Edge）；

Waymo Open Dataset 介绍与应用（1），介绍数据结构，数据集内容；

 

 

Waymo Open Motion Dataset 介绍

这个数据集包含 object tracks（物体的轨迹）和 map data（地图信息）。每个信息被分为 10 Hz采样下 9s 的窗口，其中 1s 历史，8s 未来。也就是说，对于一个物体，有 10 个历史样本，1 个当前时刻样本和 80 个未来样本：

数据文件包含三种：

  • test（15%）：只包含1秒的历史数据；
  • training（70%）：包含用于模型开发的未来轨迹真值；
  • validation（15%）：包含用于模型开发的未来轨迹真值；

 

Scenario 介绍

Scenario 代表一个场景，也就是一段时间内的交通情况，包括自动驾驶车自身，其它的交通参与者（车辆、行人），以及交通灯在 20s 内的轨迹和状态，同时还包括了道路信息。也就是说 Scenario 是一条数据的最小单元，一个 tfrecord 文件包括多条 Scenario。

 

Scenario 具体的格式信息保存在 scenario.proto 文件中，这个文件可以参考 waymo 数据集官方github仓库下载。这里简单介绍下 protobuf，protobuf 是一种文件格式，类似于json，xml等，它的主要好处是压缩的效率高，速度快，通常用于数据传输的序列化和反序列化，也可以用于保存文件。

接下来我们详细介绍 scenario.proto 文件的具体内容，这里需要注意下面几个特征：

  • tracks 里面保存所有 object 的内容，包含每个时刻的坐标，加速度，类型等；
  • map_features 包含地图信息，地图上每个点的坐标，和点的类型（lane、road edge 等）；这个会在后面 Map 的部分详细介绍；
  • dynamic_map_state 包含信号灯的信息；
  1. message Scenario {
  2.   reserved 9;
  4.   // 场景唯一ID
  5.   optional string scenario_id = 5;
  7.   // 时间戳为一个数组，tracks[i].states的数量和时间戳数组大小相等
  8.   // dynamic_map_states（红绿灯的状态）的大小也和时间戳数组大小相等
  9.   repeated double timestamps_seconds = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15];
  11.   // 当前时间在时间戳数组中的ID
  12.   optional int32 current_time_index = 10;
  14.   // 对象的追踪信息，是一个数组，每个对象中保存了一段时间内对象的位置和速度，
  15.   // 这个时间对应上述时间戳数组的时间
  16.   repeated Track tracks = [xxx];
  18.   // 交通灯状态信息
  19.   repeated DynamicMapState dynamic_map_states = 7;
  21.   // 地图信息
  22.   repeated MapFeature map_features = [xxx];
  24.   // 自动驾驶车自身对应 tracks 数组中的 Index
  25.   optional int32 sdc_track_index = 6;
  27.   // 有交互对象的 ID 列表
  28.   repeated int32 objects_of_interest = [4, 5, 6];
  30.   // 需要预测的对象列表，这只是建议train对象，不是包含所有object
  31.   repeated RequiredPrediction tracks_to_predict = [11, 12];
  33. }

接下来我们对一些复杂的对象进行进一步介绍，主要包括 Tracks（物体信息和轨迹）、Map（道路信息）。

Track

每个 track 代表一段时间内对象的状态。包含对象的 id，类型，和状态。其中每个时刻的状态包含 10 个维度的特征，共有 timestep 个时间片。注意下面 ObjectState 里面的 10 个特征，表示某个时刻某个 object 包含的信息。

  1. message Track {
  2.   enum ObjectType {
  3.     TYPE_UNSET = 0;  // 初始化状态.
  4.     TYPE_VEHICLE = 1; // 汽车
  5.     TYPE_PEDESTRIAN = 2; // 行人
  6.     TYPE_CYCLIST = 3;  // 自行车
  7.     TYPE_OTHER = 4;  // 其它
  8.   }
  10.   // 对象唯一ID，非负
  11.   optional int32 id = 1;
  13.   // 对象类型，见上面的枚举类型
  14.   optional ObjectType object_type = 2;
  16.   // 对象状态数组
  17.   repeated ObjectState states = [x1,x2,...,x10];
  18. }
  20. // ObjectState介绍如下
  21. message ObjectState {
  22.   // 对象的中心坐标
  23.   optional double center_x = 2;
  24.   optional double center_y = 3;
  25.   optional double center_z = 4;
  27.   // 对象的长宽高
  28.   optional float length = 5;
  29.   optional float width = 6;
  30.   optional float height = 7;
  32.   // 对象的朝向 [-pi, pi).
  33.   optional float heading = 8;
  35.   // 对象的速度
  36.   optional float velocity_x = 9;
  37.   optional float velocity_y = 10;
  39.   // 数据是否有效
  40.   optional bool valid = 11;
  41. }

 

DynamicMapState

主要是交通灯状态，包含了带箭头的红绿灯、圆形红绿灯、闪烁的红绿灯（这里的闪烁实际上是常闪）

  1. // 某一时刻的交通灯状态信息
  2. message DynamicMapState {
  3.   // 观测到的所有交通灯状态信息
  4.   repeated TrafficSignalLaneState lane_states = 1;
  5. }
  7. // 交通灯状态信息
  8. message TrafficSignalLaneState {
  9.   // 交通对应的lane id
  10.   optional int64 lane = 1;
  12.   enum State {
  13.     LANE_STATE_UNKNOWN = 0;  // 未知状态
  15.     // 带箭头交通灯.
  16.     LANE_STATE_ARROW_STOP = 1;
  17.     LANE_STATE_ARROW_CAUTION = 2;
  18.     LANE_STATE_ARROW_GO = 3;
  20.     // 圆形交通灯.
  21.     LANE_STATE_STOP = 4;
  22.     LANE_STATE_CAUTION = 5;
  23.     LANE_STATE_GO = 6;
  25.     // 闪烁交通灯.
  26.     LANE_STATE_FLASHING_STOP = 7;
  27.     LANE_STATE_FLASHING_CAUTION = 8;
  28.   }
  30.   // 交通灯状态，值为上述的枚举类型.
  31.   optional State state = 2;
  33.   // 红绿灯的停止点
  34.   optional MapPoint stop_point = 3;
  35. }

 

MapFeature

地图对象，可以为车道（lane），道路（road_line），道路边沿（road_edge），停止标志（stop_sign），人行横道（crosswalk），减速带（speed_nump）。

地图由很多这样的对象组成，不同的对象包含的属性不同，这个会在后面 Map 中专门介绍。

  1. message MapFeature {
  2.   // 地图对象的唯一ID
  3.   optional int64 id = 1;
  5.   // Type specific data.
  6.   oneof feature_data {
  7.     LaneCenter lane = 3;  // 车道
  8.     RoadLine road_line = 4;  // 道路
  9.     RoadEdge road_edge = 5;  // 道路边沿
  10.     StopSign stop_sign = 7;  // 停止标志
  11.     Crosswalk crosswalk = 8;  // 人行横道
  12.     SpeedBump speed_bump = 9;  // 减速带
  13.   }
  14. }

 

RequiredPrediction

包含必须要预测的对象，和预测的难度（tracks_to_predict）。

  1. message RequiredPrediction {
  2.   // 预测的难度等级类型
  3.   enum DifficultyLevel {
  4.     NONE = 0;    // 无
  5.     LEVEL_1 = 1;  // 等级1
  6.     LEVEL_2 = 2;  // 等级2
  7.   }
  9.   // track对象tracks数组中的ID
  10.   optional int32 track_index = 1;
  12.   // 预测的难度等级
  13.   optional DifficultyLevel difficulty = 2;
  14. }

 

Map 介绍

这里对上面的 MapFeature 进行详细的介绍。上面提到，地图对象可以为车道（lane），道路（road_line），道路边沿（road_edge），停止标志（stop_sign），人行横道（crosswalk），减速带（speed_nump）。我们逐个分析各个类型。

 

LaneCenter

车道，包含了限速、车道类型、车道中心采样点，前序和后继车道ID，以及左右车道边界和左右相邻车道。

  1. // 1. 车道
  2. message LaneCenter {
  3.   // 道路限速，单位mph
  4.   optional double speed_limit_mph = 1;
  6.   // 道路类型
  7.   enum LaneType {
  8.     TYPE_UNDEFINED = 0;   // 未定义
  9.     TYPE_FREEWAY = 1;  // 高速公路
  10.     TYPE_SURFACE_STREET = 2;  // 地表街道
  11.     TYPE_BIKE_LANE = 3;  // 自行车道
  12.   }
  13.   optional LaneType type = 2;
  15.   // 车道插入2条车道之间则为真？
  16.   optional bool interpolating = 3;
  18.   // 车道采样点
  19.   repeated MapPoint polyline = 8;
  21.   // 前序车道IDs
  22.   repeated int64 entry_lanes = 9 [packed = true];
  24.   // 后继车道IDs
  25.   repeated int64 exit_lanes = 10 [packed = true];
  27.   // 车道左边界，车道边界类型不同会分段描述，注意一些车道没有边界（交叉口的车道）
  28.   repeated BoundarySegment left_boundaries = 13;
  30.   // 车道右边界
  31.   repeated BoundarySegment right_boundaries = 14;
  33.   // 左侧相邻车道列表，仅包括同向的车道
  34.   repeated LaneNeighbor left_neighbors = 11;
  36.   // 右侧相邻车道列表，仅包括同向的车道
  37.   repeated LaneNeighbor right_neighbors = 12;
  38. }
  40. // 2.车道边界分段
  41. message BoundarySegment {
  42.   // 车道边界起始序号
  43.   optional int32 lane_start_index = 1;
  45.   // 车道边界终点序号.
  46.   optional int32 lane_end_index = 2;
  48.   // 边界的 MapFeature 的相邻边界特征 ID，可以是RoadLine和RoadEdge
  49.   optional int64 boundary_feature_id = 3;
  51.   // 相邻边界类型。 如果边界是道路边缘而不是道路线，这将设置为未知类型。
  52.   optional RoadLine.RoadLineType boundary_type = 4;
  53. }
  55. // 3. 相邻车道
  56. message LaneNeighbor {
  57.   // 唯一ID
  58.   optional int64 feature_id = 1;
  60.   // 相邻车道？
  61.   optional int32 self_start_index = 2;
  62.   optional int32 self_end_index = 3;
  64.   // 变道只能从这里开始
  65.   optional int32 neighbor_start_index = 4;
  66.   optional int32 neighbor_end_index = 5;
  68.   // 相邻车道边界
  69.   repeated BoundarySegment boundaries = 6;
  70. }

 

RoadLine

车道线，主要包含车道线类型、ID、和形状。

  1. message RoadLine {
  2.   // 车道线类型
  3.   enum RoadLineType {
  4.     TYPE_UNKNOWN = 0;
  5.     TYPE_BROKEN_SINGLE_WHITE = 1;
  6.     TYPE_SOLID_SINGLE_WHITE = 2;
  7.     TYPE_SOLID_DOUBLE_WHITE = 3;
  8.     TYPE_BROKEN_SINGLE_YELLOW = 4;
  9.     TYPE_BROKEN_DOUBLE_YELLOW = 5;
  10.     TYPE_SOLID_SINGLE_YELLOW = 6;
  11.     TYPE_SOLID_DOUBLE_YELLOW = 7;
  12.     TYPE_PASSING_DOUBLE_YELLOW = 8;
  13.   }
  15.   // 车道线类型
  16.   optional RoadLineType type = 1;
  18.   // 车道边界采样点, 多边形的坐标
  19.   repeated MapPoint polyline = [xxx,xxx];
  20. }

 

RoadEdge

道路边界，和上面的 roadline 一样，包含类型、ID、和形状。

  1. message RoadEdge {
  2.   // 道路边沿类型.
  3.   enum RoadEdgeType {
  4.     TYPE_UNKNOWN = 0;
  5.     // 物理隔离，旁边不会走车
  6.     TYPE_ROAD_EDGE_BOUNDARY = 1;
  7.     // 物理隔离，旁边会走车（绿化带，隔离带）
  8.     TYPE_ROAD_EDGE_MEDIAN = 2;
  9.   }
  11.   // 道路边沿类型.
  12.   optional RoadEdgeType type = 1;
  14.   // 道路边缘采样点
  15.   repeated MapPoint polyline = [xxx, xxx];
  16. }

 

StopSign

停止标志。包含标志的 ID、控制的 lane ID、位置、形状（形状的中心就是位置）：

  1. message StopSign {
  2.   // 停止标志关联的车道id
  3.   repeated int64 lane = [id1, id2, id3, ];
  5.   // 位置
  6.   optional MapPoint position = [x, y, z];
  7. }

 

Crosswalk

人行横道，主要包含 ID 和形状：

  1. message Crosswalk {
  2.   // 假定是闭合的（第一个点和最后一个点连接起来）
  3.   repeated MapPoint polygon = [p1, p2, p3, ];
  4. }

 

SpeedBump

减速带，和上面的 crosswalk 相似，包含 ID 和形状：

  1. message SpeedBump {
  2.   // 假定是闭合的（第一个点和最后一个点连接起来）
  3.   repeated MapPoint polygon = 1;
  4. }

 

 

 

Motion Prediction

评价指标

 

Sim Agents

评价指标

 

Sim Agent 和 Motion Prediction 的区别

  • 微信公众号
  • 关注微信公众号
  • weinxin
  • QQ群
  • 我们的QQ群号
  • weinxin
王 茂南
  • 本文由 发表于 2026年8月12日07:55:55
  • 转载请务必保留本文链接：https://mathpretty.com/16124.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: