Чат-бот опередил среднестатистического человека в IQ-тесте

Тест состоял из 35 вопросов, а каждая модель прошла его дважды для уменьшения погрешности.

Абсолютным лидером в противостоянии стала модель Claude-3 от компании Anthropic — она набрала 101 балл, ответив правильно на 18.5 из 35 вопросов теста. В то же время, актуальная модель ChatGPT-4 от OpenAI набрала на 16 баллов меньше, оказавшись примерно на уровне Claude-2 (85 баллов против 82).

Примечательно, что Bing Copilot, созданный на основе ChatGPT-4, оказался на 6 очков «глупее» своего прародителя, набрав 79 баллов. ИИ ответил правильно лишь на 11 из 35 вопросов.

Менее успешно справились с тестом Llama-2 от Meta (67 баллов) и Gemini от Google (77.5 баллов). Это меньше, чем IQ среднестатистического человека, который, как правило, равен 100 баллам (с отклонением в обе стороны ～15 баллов).

Интересно, как быстро генеративный ИИ добился когнитивных навыков обычного человека. Конечно, это все еще не позволяет подобным системам вести осмысленный диалог или самостоятельно рассуждать и задавать вопросы, однако с каждым новым обновлением эффективность моделей в прикладных задачах становится все выше.

Простая экстраполяция позволяет предположить, что уже через полтора-два года обычные языковые модели вроде Claude-5 или ChatGPT-6 (как бы они ни назывались) окажутся сообразительнее абсолютного большинства людей.

Это по-прежнему не гарантирует возможности появления у моделей нового поколения собственного «я» и не сделает их самостоятельными существами, поскольку для этого требуется нечто большее, чем просто совокупность данных и набор навыков для их обработки, однако однозначно изменит мир, в котором мы живем.