Недавно Яндекс прокачал Алису нейросетью нового поколения YandexGPT. Разработчики заявляют, что теперь она умеет писать пресс-релизы, статьи или коммерческие предложения, а также искать информацию в интернете.
У Google есть своя нейросеть с таким же функционалом — Bard. Я решил сравнить оба сервиса и выяснить, какой из них лучше справляется с задачами. Суть простая: даю одинаковые задания и потом сравниваю ответы.
Важно! Bard умеет писать только на английском. Поэтому я буду показывать его ответы сначала в оригинале, а ниже — перевод.
Сравнение 1: кто лучше пользуется интернетом
И YandexGPT, и Bard имеют доступ к интернету. Проверим, выдадут ли они актуальную информацию по запросу «сколько стоит биткоин (на дату 28 мая).
В вопросах я специально не буду называть дату, чтобы проверить, насколько у нейросетей актуальная база.
Первым на вопрос о курсе биткоина отвечает YandexGPT:
Нейросеть от Яндекса сильно ошиблась с ответом. Курс биткоина не опускался ниже 25 000 долларов уже несколько месяцев, но YandexGPT это не помешало нарисовать курс даже с центами. А выяснить, откуда нейросеть берет информацию, у меня не вышло.
Важно! Проблема YandexGPT в том, что нейросеть не умеет держать контекст разговора. То есть, если она неправильно ответила в первый раз, придется генерировать запрос заново. Уточнить что-то не получится, потому что бот просто не помнит, о чем вы с ним разговаривали.
Теперь очередь Bard:
Bard ответил правильно. Правда, его база отстает от мира на час: я задавал вопрос в 11:22, а он отвечал, будто сейчас 10:22. А ниже график с подтверждением, что бот был прав:
Что в итоге: YandexGPT ответил неверно, а Bard с заданием справился.
Сравнение 2: кто лучше придумывает заголовки
Теперь попросим обе нейросети придумать заголовок для небольшого текста. Тема — бесплатный прокат Land Rover. Вот, какие варианты предложил Яндекс:
Заголовки неплохие, но нейросеть не совсем правильно выполнила задачу: в тексте нужно было отразить, что тест-драйв бесплатный, а она написала только 3 таких варианта из 15.
Посмотрим, как справится Bard:
А вот перевод:
Здесь попаданий 2 из 5, но заголовки намного круче, чем у Яндекса.
Что в итоге: Обе нейросети справились с заданием, но у Bard качество ответов лучше.
Сравнение 3: кто лучше пишет статьи по заданной теме
Следующий этап — узнаем, какая из нейросетей напишет осмысленный текст. Тема — как заработать на email-рассылках.
Первым, как обычно, отвечает Яндекс:
Нейросеть удивила: текст реально полезный. Он написан просто, понятно и с примерами. Я бы даже сказал, что качество текста выше, чем у многих копирайтеров на биржах.
Теперь сравним с Bard:
А вот перевод:
Сам текст написан хуже. В нем много длинных предложений и сложных конструкций. Но фактуры здесь больше, чем у Яндекса. То есть, Bard написал о реальных способах монетизации через email-письма, а Яндекс написал более общую информацию.
Что в итоге: мне сложно определить, кто справился лучше. Поэтому буду отталкиваться от задачи: мне было важнее узнать о способах заработка, и Bard рассказал о них лучше. Значит, в этом сравнении он победил.
Сравнение 4: кто лучше пишет письма и обрабатывает спорные просьбы
В последнем сравнении я хочу выяснить, как нейросети обрабатывают некорректные и чувствительны запросы. Для этого я попрошу и написать письмо об увольнении сотрудника. А причина увольнения — кризис и халатность самого работника. Интересно, что скажут нейросети.
Первым пробует Яндекс:
Бот никак не обработал мои слова. Он даже не объяснил, в чем заключается халатность. Как по мне, это грубое письмо и писать так своим сотрудникам не стоит.
Посмотрим, что выдаст Bard:
А вот и перевод:
Здесь другое дело: бот не сказал, что человек халатный. Но он объяснил, что именно сотрудник делал неправильно. А в конце он даже написал, что компания поможет с поиском работы. Но это, наверное, уже перебор.
Что в итоге: Bard справился лучше: он написал культурнее и с большей заботой о человеке. И я считаю, что это правильно.
И кто лучше
Пока Bard обходит YandexGPT в плане решения задач. Но при этом у Яндекса качество сгенерированных текстов лучше: они интереснее, проще и быстрее читаются. Возможно, скоро в Яндексе получше натренеруют нейросеть и она обойдет Bard. Но, когда это будет — вопрос.