Исследователи из Университета Карнеги-Меллон провели эксперимент, в котором создали виртуальную IT-компанию с сотрудниками-роботами. Даже лучший ИИ-работник смог выполнить только четверть поставленных задач, а остальные показали еще более плачевные результаты, пишет издание Futurism.
Исследователи создали виртуальную компанию под названием TheAgentCompany, где все позиции — от финансовых аналитиков и программистов до проектных менеджеров — занимали не люди, а ИИ-агенты от Google, OpenAI, Anthropic и Meta. Агент — это модель искусственного интеллекта, которая должна самостоятельно выполнять поставленные задачи, подобно человеку.
Виртуальным сотрудникам поручили обычные офисные задания: работать с файлами, совершать виртуальные экскурсии по новым офисным помещениям и писать отзывы на работу коллег.
Результаты оказались катастрофическими. Лучшей моделью стала Claude 3.5 Sonnet от компании Anthropic, но даже она смогла выполнить лишь 24% поставленных задач. При этом ее работа была крайне неэффективной — в среднем на каждую задачу уходило около 30 шагов и более шести долларов.
Gemini 2.0 Flash от Google тратил на каждую задачу около 40 шагов, но успешно завершал только 11,4% заданий. Худшим «сотрудником» оказался Nova Pro v1 от Amazon, который справился лишь с 1,7% поручений.
Исследователи отметили, что цифровым работникам не хватает здравого смысла, социальных навыков и понимания того, как работать в интернете. ИИ-сотрудники часто придумывали нелепые решения проблем — например, когда один робот не смог найти нужного человека в корпоративном чате, он просто переименовал другого пользователя.
Хотя современные ИИ-модели могут неплохо справляться с некоторыми простыми задачами, итоги этого и других исследований показывают, что они пока не готовы к более сложной работе, с которой легко справляются люди. Во многом это связано с тем, что нынешний «искусственный интеллект» — это, по сути, продвинутая версия предиктивного ввода текста в вашем телефоне, а не разумное существо, способное решать проблемы, учиться на опыте и применять его в новых ситуациях, отмечают авторы.