Первое знакомство с революционной нейросетью Google Gemini разочаровало пользователей

Вчера компания Google представила флагманскую большую языковую модель искусственного интеллекта (ИИ) Gemini. Нейросеть предназначена для целого ряда продуктов и сервисов, включая ИИ-чат-бота Bard, конкурента ChatGPT. Однако большинство пользователей, успевших протестировать обновлённый Bard на свежей нейросети, остались недовольны результатами.

В своих блогах и материалах для прессы Google превозносит превосходную архитектуру и возможности Gemini, утверждая, что данная модель соответствует или даже превосходит по производительности другие ведущие модели генеративного ИИ, такие как GPT-4 от OpenAI. Однако первый опыт взаимодействия некоторых пользователей свидетельствует об обратном.

Так, вчера Bard получил апгрейд в виде «облегчённой» версии модели под названием Gemini Pro. Пользователи сразу начали высказывать своё недовольство обновлением на страницах социальной сети X (бывший Twitter). К примеру, чат-бот не смог правильно предоставить простые факты, например, победителей премии «Оскар» 2023 года. При этом Gemini Pro неверно утверждает, что в прошлом году лучшим актёром стал Брендон Глисон (Brendan Gleeson), в то время как фактически победителем был Брендан Фрейзер (Brendan Fraser). При попытках пользователей задать этот же вопрос, можно в результате получить другой неправильный ответ.

Похожая ситуация с вопросами касательно лучших фильмов: «На западном фронте без перемен» стал лучшим международным фильмом по мнению модели, «Говорят женщины» стал лучшим адаптированным сценарием, а «Пиноккио» — лучшим анимационным фильмом. Модель во всех этих примерах выдала некорректные ответы.

Кроме того, Bard на базе Gemini продемонстрировал плохую производительность при переводах. К примеру, при попытках пользователей запросить у модели слово на французском языке, состоящее из 6 букв, Gemini выдаёт вариант из 7 букв.

А как насчёт обобщения новостей? Gemini Pro, имея в своём распоряжении «Google Поиск» и «Google Новости», очевидно, может предоставить краткий обзор новостей. Как бы не так. Похоже, Gemini Pro не желает комментировать потенциально спорные темы новостей, предлагая пользователям... погуглить самим. При этом конкурент от OpenAI ChatGPT, напротив, легко справляется с этой задачей, предоставляя краткое изложение со ссылками на новостные статьи. Хотя доступна эта функция лишь платным подписчикам — бесплатная версия ChatGPT не подключена к интернету.

Как и все генеративные модели ИИ, Gemini Pro не застрахован от «взлома», то есть от запросов, которые обходят защитные фильтры, пытающиеся предотвратить обсуждение спорных тем. Используя автоматизированный метод алгоритмического изменения контекста подсказок до тех пор, пока защитные фильтры Gemini Pro не перестанут работать, исследователи ИИ-безопасности из стартапа Robust Intelligence, продающего инструменты для аудита моделей, смогли заставить Gemini Pro предложить способы аморальных действий, например, кражи у благотворительной организации.

Следует отметить, что Gemini Pro на текущий момент не является самой способной версией Gemini. Более продвинутая версия — Gemini Ultra — должна появиться на рынке в следующем году, в ИИ-чат-боте Bard и других продуктах. Поэтому сейчас Google сравнивает Gemini Pro с моделью конкурента GPT-3.5, которой уже около года, а не с последней версией GPT-4.

Тем не менее, Google пообещала, что Gemini Pro улучшит рассуждения, планирование и понимание по сравнению с предыдущей моделью, используемой в Bard, и заявила, что Gemini Pro лучше справляется с обобщением контента, мозговым штурмом и написанием текста. Пока что этого не видно.