Авторы проекта DrivingBench провели необычный эксперимент, подключив несколько современных языковых моделей к реальному автомобилю Toyota Corolla 2022 года выпуска и передав им управление рулем, педалями газа и тормоза.
Лучший результат показала модель GPT-6 Astra. Со второй попытки ей удалось полностью преодолеть трассу длиной 134,7 метра, размеченную конусами. На прохождение маршрута нейросети потребовалось 5 минут и 22 секунды.
Для управления автомобиль передавал модели изображения с камер и данные телеметрии. На основе этой информации ИИ рассчитывал действия: угол поворота руля, скорость движения, продолжительность маневров и моменты остановки.
Первая попытка оказалась менее успешной: Astra смогла пройти лишь 49% дистанции. Однако модель сохранила контекст предыдущего заезда, проанализировала ошибки и во втором заезде успешно добралась до финиша.
Другие участники теста показали более скромные результаты. Claude Fable 5.1 смогла пройти не более 45% маршрута, а Grok 4.6 и GPT-5.6 Sol не справились даже с первым поворотом.
Испытания проходили на пустой парковке в контролируемых условиях. Автомобиль двигался со скоростью, сопоставимой с медленной ходьбой, а на водительском месте постоянно находился человек, готовый в любой момент остановить машину.
Создатели DrivingBench ставили перед собой задачу проверить, способны ли универсальные большие языковые модели применять навыки планирования и взаимодействия с инструментами в реальном физическом мире. Результаты эксперимента, по мнению авторов, свидетельствуют о серьезном потенциале таких систем.
Руководитель прикладных исследований OpenAI Борис Пауэр даже назвал полученные результаты «гвоздем в крышку гроба» для специализированных моделей, которые создаются и обучаются исключительно под выполнение одной узкой задачи.