Нейросетевая модель GigaChat выполнила все задания единого государственного экзамена по обществознанию и набрала 67 баллов, что превышает минимальный балл для подачи в вуз (45 баллов) и средний балл по предмету в 2023 г. (56,4 балла). Об этом рассказал вице-президент по Цифровым поверхностям «Салют» Сбербанка Денис Филиппов.

В ходе испытаний проверялись способности обновленной версии GigaChat, в основе которой лежит одна из наиболее продвинутых моделей для русского языка с 29 млрд параметров.

Для проведения эксперимента был выбран предмет «Обществознание». Таким образом, успешная сдача этого экзамена свидетельствует о высокой степени зрелости модели в вопросах социальных норм, экономических и юридических законов. Об этом CNews сообщили представители НИУ ВШЭ.

Для проверки знаний GigaChat использовались только актуальные тестовые задания 2024 г., размещенные на сайте ФИПИ. Перед экспериментом команда удостоверилась, что эти задания не применялись для предварительного обучения модели. Ответы GigaChat сначала проверил независимый эксперт НИУ ВШЭ, а затем экспертная комиссия Института образования ВШЭ. Оценивались не только корректность постановки задач и достоверность фактологических ответов GigaChat, но и качество выполнения творческих (открытых) заданий.

«Наши эксперты оценивали знания GigaChat независимо от исследовательских и инженерных команд «Сбера». Мы проверяли ответы так же, как если бы их давал обычный выпускник школы. По результатам видно, что нейросетевая модель не только обладает достаточным уровнем фактических знаний, но также способна логически мыслить и выбирать лучшее решение из возможных», – сказал Евгений Терентьев, директор Института образования ВШЭ.

«Для нас важно оценивать эффективность GigaChat не только по техническим метрикам, но и с точки зрения обычного человека — способен ли сервис помочь в какой-то отдельной области знаний, насколько модель сообразительна, креативна. Для такой оценки хорошо подходят тесты, используемые в системе образования, включая ЕГЭ. Результаты экзамена говорят о том, что GigaChat хорошо эрудирован в области социальных наук. Значит, наш искусственный интеллект «понимает» основные законы общества и ориентируется в вопросах морали. Это еще одно свидетельство, что пользователи могут использовать наш сервис для решения реальных задач, связанных с фактологией — достаточно в естественной форме задать вопрос, и GigaChat выдаст точный ответ или поможет разобраться в сложной теме», – отметил Денис Филиппов, вице-президент по Цифровым поверхностям «Салют» Сбербанка.

Эксперимент, аналогичный проведенному совместно с ВШЭ, скоро сможет повторить каждый желающий — разработчики GigaChat готовят к публикации на GitHub специальный скрипт. Он позволит «одной кнопкой», без необходимости вручную вбивать тексты заданий, протестировать, как нейросетевая модель Сбербанка сдает ЕГЭ.

Источник