Компания Google DeepMind представила новые решения
Британская компания Google DeepMind совместно с учеными из Стэнфордского университета разработала систему SAFE. Решение предназначено для оценивания ответов, предоставляемых искусственным интеллектом. Программа анализирует информацию и выявляет в ней неточности и ошибки.
Решение от Google DeepMind и ученых Стэнфорда
Команда исследователей опубликовала подробности своей работы на платформе arXiv. Согласно заявленной информации, SAFE упрощает процедуру проверки достоверности сведений. Кроме того, программа демонстрирует лучшую эффективность по сравнению с другими методами анализа.
Исследование включало в себя проверку 13 языковых моделей. Среди них:
- Gemini;
- GPT;
- Claude.
Для каждой модели ИИ система применяла индивидуальный глубокий анализ для идентификации ошибок. Команда Google DeepMind учитывала представленную информацию, особенности поиска нужных сведений и их обработку.
Результатом проделанного исследования стал набор данных, состоящий из 16 тысяч фактов. Все они отдельно проверены с помощью поиска Google. Кроме того, разработчики учитывали соответствие представленных ответов первоначальному запросу. В результате 72% оценок SAFE совпали с оценками людей-аннотаторов.
Дополнительно ученые провели проверку 100 фактов, которые изначально выделили как противоречивые. В этом случае 76% сведений SAFE оказались достоверными.
Решение от Google DeepMind и ученых Стэнфорда важно для повышения точности ИИ. Например, в процессе анализа фактическая ценность языковой модели GPT-4-Turbo достигла 95%.
Выявление ошибок — это не единственный плюс системы. Сервис позволяет:
- повысить контроль над достоверностью данных ИИ-моделей;
- по сравнению со стандартными аннотаторами система требует в 20 раз меньше затрат на анализ;
- эффективно справляется с массивами данных.
Разработчики надеются, что SAFE станет полезным инструментом для повышения качества работы языковых моделей.
Другие интересные решения
DeepMind, принадлежащая Google, занимается разработкой ИИ с 2010 года. За это время она представила множество интересных решений. Одно из последних — агент SIMA, предназначенный для использования в компьютерных играх. Система умеет идентифицировать сюжет и распознает естественный язык. Кроме того, она отлично ориентируется в игре и может восприниматься как полноценный геймер. Следует отметить, что ИИ чрезвычайно сложно научить играть в видеоигры. В то же время SIMA прошла обучение на 9 играх с различными сюжетными линиями. Поэтому решение можно рассматривать как прорыв в новой для искусственного интеллекта сфере.
Агент пока находится на стадии разработки, но его испытания показывают отличный потенциал. Компания рассматривает продукт как основу для создания ИИ-платформ различного уровня. Игровые агенты позволяют взаимодействовать с геймерами во время их пребывания в виртуальном пространстве.
