万达哈希,哈希游戏平台,哈希娱乐,哈希游戏，项目成员集结，联合2017年提出端到端的同事，以及CVPR 2023技术主席，攒局整了个大活：

　　将强化学习自博弈引入自动驾驶，10天生成16亿公里模拟数据，训练算法无需真实数据。

　　苹果最近将自博弈(Self-play)引入自动驾驶，获得了很好的鲁棒性。

　　所谓自博弈，思想有点像自对抗生成网络(GAN)，是指智能体在与自我的副本或历史版本博弈实现进化，这是强化学习领域的重要策略。

　　早前落地了游戏领域、机器人和生物工程领域，现在苹果将其用于自动驾驶，设计了极简的奖励函数，无需真实数据，而是生成“前所未有规模”的模拟数据，让若干智能体在地图上大乱斗，实现算法进化。

　　一个实例至多生成150个智能体(Agent)，智能体种类涵盖乘用车，重型卡车、自行车和行人，生成的环境信息包括停车线和交通信号灯等等。

　　依靠公共云上的8张A100，苹果每小时可模拟和学习44亿次状态转移，相当于720万公里的驾驶经验，速度比利用线万倍。

　　一轮完整的训练需要10天，就能学到16亿公里的驾驶里程，相当于从太阳到土星的距离。

　　苹果将该成果放在CARLA、nuPlan和Waymo开放数据集上进行零样本独立测试，均获得了SOTA表现。

　　这些基准涵盖不同地图、驾驶场景、交通密度和评分标准，证明了苹果工作的泛化性和鲁棒性。

　　苹果同时还强调，这些过去的SOTA成果都是使用特定数据集，专门针对某个基准进行训练。

　　苹果在论文中具体阐述了其原理，简单展望了在其他领域比如具身智能的应用前景，还指出了当前工作存在的不足。

　　GIGAFLOW是一个批量模拟器，目标是获得一个通才策略，生成了海量的GIGAFLOW World，可以说是极简版世界模型，长这样：

　　不需要编写场景脚本，不需要人类司机的驾驶数据，也不用设计复杂的奖励函数，奖励项只有到达目标、避免碰撞、居中行驶和对齐车道等，处罚项包括闯红灯、驶离道路。

　　简单的奖励函数，如何不断促进算法进化？苹果团队认为，大规模数据模拟可以弥补奖励函数简单的不足，复杂且拟人的驾驶行为能够从海量的自博弈中涌现出来。

　　具体实现上，GIGAFLOW同时生成3.84万个GIGAFLOW World，每个World模拟了多样的交通情况和交互场景，比如拥堵的环岛、无灯十字路口和拉链式同行车道。

　　1个“World”至多可容纳150个智能体，包含8种随机变动的地图，经过翻转、缩放和剪切等处理。

　　地图合计道路里程136公里，一路上会随机生成1到N个智能体，系统会要求智能体在自博弈中驶向各自的目的地。

　　智能体的驾驶策略采用参数化，可以指定智能体的类型，驾驶风格有激进和谨慎可选。这些参数可在测试时修改，无需训练。

　　智能体上路会通过观察局部环境，比如周边车辆的大小、位置和速度，优化自身驾驶策略，在自博弈中学会并道、无保护左转和绕过事故现场。

　　是的，智能体模拟训练依然会引起交通事故，据苹果介绍频率大概在300万公里1次。

　　作为对比，现实世界国内老司机的事故率大概在3.5万公里1次，当然现实世界的道路复杂度肯定要更高。

　　首先，GIGAFLOW在模拟过程中将大部分地图观测值预计算，并缓存在哈希空间，便于快速的查找和搜索。

　　然后，在模拟训练过程中，通过简单计算会发现GIGAFLOW会同时模拟4800~576万个智能体，这些智能体会共享同一个策略神经网络，架构类似Deep Sets，每个模拟步骤仅需一次批处理的前向传递，显著改善了系统整体的吞吐量。

　　最后，在更新参数时，GIGAFLOW采用了近端策略优化(PPO)算法，这是OpenAI在2017年提出的算法，限制了策略更新幅度，能够简化训练过程。

　　并且其中的奖励函数还比较简单，在复杂场景中可能不够灵活。面对更多样的现实世界，需要更复杂的奖励函数。

　　最后还有工程上的问题，团队认为大规模自博弈训练需要的资源极高，落地要考虑计算成本。

　　论文还展望该工作在其他领域应用的可能，比如消费级和工业机器人或者网络游戏。

　　Brody Huval，自动驾驶创业公司drive.ai联合创始人，drive.ai后来在2019年被苹果收购，他随之加入苹果的SPG团队，担任高级机器学习研究员。

　　Aleksei Petrenko，也是苹果SPG成员，曾在英伟达做机器人方面的实习生，2023年3月加入苹果任高级科学家。

　　Eugene Viningtsky，2016年至2022年在伯克利机器学习专业读研，期间从事自动驾驶研究。

　　离开苹果后，他一直在纽约大学坦登工程学院做助理教授，研究方向包括交通运输等。

　　比如Vladlen Koltun，在2017年10月便提出将端到端范式应用于自动驾驶，同年11月推出自动驾驶测试基准CARLA，前面提到过该基准。

　　2024年2月底，苹果被曝终止造车时，Cruise正在悬崖边苦苦挣扎，Waymo商业化进程尚未提速，马哥的Cybercab在车库里大改，文远和小马还是独角兽。

　　Waymo在Cruise轰然倒下后，扛起硅谷自动驾驶，无人车今年计划落地超10城，迅猛推进商业化。

　　马斯克计划6月落地Robotaxi，文远和小马先后敲钟，百度Apollo要把“萝卜”种到海外。

　　苹果在此时发布了一项SOTA成果，不仅指出一条新技术路径，或许还暗示着什么