Все чаще пользователи жалуются на то, что ChatGPT придумывает факты, которых на самом деле нет. Одни сталкиваются с выдуманными колледжами и книгами, другие – с фейковыми людьми и документами. CityDog.io решил узнать у эксперта, почему искусственный интеллект «галлюцинирует», к чему это может привести и как научиться проверять его ответы.
«Мы зря поехали в колледж – оказалось, что после 11-го класса туда не принимают»
– Я помогала брату выбрать колледж после 11-го класса. Чтобы сэкономить время, решила спросить ChatGPT, куда он может поступать. Модель очень уверенно отвечала, перечисляла варианты и уверяла, что поступление после 11-го класса возможно.
В итоге брат поехал в один из этих колледжей, а на месте оказалось, что после 11-го класса туда вообще не принимают.
Было очень обидно – мы потеряли силы из-за такой ошибки. Благо все равно оставалось время, чтобы подать документы в другой колледж, куда брат по итогу и поступил.
«Уверял, что существуют книги, которых на самом деле нет»
– Когда писала диплом, у меня катастрофически не хватало времени читать все подряд. Я сформулировала несколько тем и попросила ChatGPT подобрать академическую литературу – про нематериальный труд, про работу с национальным наследием, про то, как такие сложные вещи могут отражаться в музеях. Он выдал список из десяти книг и сделал по каждой краткое саммари.
Две из них мне были действительно интересны, поэтому я решила найти их в интернете. Правда, в процессе поиска поняла, что таких книг просто не существует.
Сначала решила, что, возможно, я неправильно ввожу запросы. Попросила ChatGPT дать цитаты, чтобы искать по ним. Но так ничего не находилось. Тогда я прямо спросила: «А ты уверен, что эти книги существуют?» На что он ответил, что ошибся и таких книг на самом деле нет. При этом до этого выдавал даже детали про тиражи, конкретные цитаты, все выглядело максимально правдоподобно.
Я, конечно, не пыталась списывать или вставлять чужие цитаты в диплом. Мне хотелось лишь сэкономить время и выбрать из списка то, что реально существует, а дальше уже читать самой. Но, когда выяснилось, что часть литературы была выдумана, я была в шоке и очень разозлилась.
.jpg)
Иллюстративное изображение: Steve Johnson, Unsplash.com.
«Выдумал несуществующих людей и их бизнесы»
Руслан (22)
– Я работаю SMM-специалистом в бренде одежды. В наших соцсетях есть рубрика «Девушка недели»: каждую неделю мы рассказываем про вдохновляющих женщин из разных сфер – медицины, моды и т. п. Пишем про self made-героинь, которые добились всего сами, с нуля.
Когда я не знал, о ком рассказывать, я просил ChatGPT составить список вдохновляющих женщин. Он выдавал варианты, я выбирал интересных персонажей и просил написать о них текст. Сначала все было нормально.
Потом я начинал ресерч: искал фотографии, интервью и другие подтверждающие материалы – и тут возникали проблемы. Часто информации о героинях вовсе не было. Когда я просил ссылки на интервью или источники, ChatGPT признавался, что сочинил этих людей.
Иногда он выдумывал не только людей, но и бизнесы или стартапы, которых не существовало. Это раздражало: мне нужны были реальные материалы, чтобы пост выглядел правдоподобно и без фейков. В итоге я сам находил настоящих героинь и писал о них текст.
После нескольких таких эпизодов я стал просить модель тщательнее проверять данные и выдавать только надежные ответы – иначе работать с этим было невозможно. Я даже в шутку угрожал, что, если она продолжит придумывать факты, я «ударю» аишку. С тех пор выдумок стало меньше.
«Упорно давал неверный список документов, хотя ссылался на реальные сайты»
Вика (25)
– Недавно я начала разбираться, какие документы нужны для заключения брака в Дании. Мы оба граждане Беларуси, но живем в Польше по виду на жительство. Я несколько раз просила ChatGPT составить конкретный список, что именно требуется.
У нас уже были апостилированная справка о незамужестве и свидетельство о рождении. Я несколько раз спрашивала ChatGPT, нужно ли их прикладывать, но вместо четкого ответа он каждый раз отправлял меня на разные сайты. Когда я просила составить список документов, бот выдавал разные варианты, которые противоречили его же предыдущим ответам. Толку от этого не было.
В итоге я сама зашла на один из сайтов и нашла там отдельный раздел с полным списком. Все было четко и понятно. Оказалось, свидетельство о рождении вообще не требуется, справка о незамужестве – тоже. Нужна только справка о браке, если он действительно был. И все.
Хорошо, что я решила перепроверить информацию сама. Если бы доверилась только ChatGPT, пришлось бы собирать лишние бумаги и зря тратить время.
А как вообще проверять искусственный интеллект? Узнали у эксперта
– Искусственный интеллект «врет» (точнее, галлюцинирует) всегда. Тут нет тем, с которыми он справляется лучше или хуже. Просто помните, что это встречается примерно в 5% случаев. Это фундаментальная проблема генеративных моделей.
Важно понимать: это не значит, что каждый двадцатый ответ обязательно неверный. Чем сложнее ответ и чем больше в нем фактов, тем выше риск ошибки. Если модель дает три факта, вероятность промаха меньше, чем в ответе с двадцатью фактами.
Бывает и так, что ИИ придумывает ссылки, которыми якобы подтверждает свой ответ.
Что с этим делать? Во-первых, всегда проверяйте ссылки: действительно ли они существуют и ведут ли к тому, о чем говорит модель? Во-вторых, старайтесь максимально четко формулировать запрос. Это не гарантирует стопроцентной точности, но на практике заметно помогает.
Например, вместо простого «сколько будет 2+2» можно задать вопрос так: «Посчитай точно, сколько будет 2+2, не придумывай ответ, перепроверь в разных источниках и дай результат».
Эта картинка – хорошая иллюстрация работы ИИ. Он ошибается иногда и потому, что хочет угодить. Именно поэтому он легко признает свои ошибки, когда ему об этом говоришь. Фото: личный архив эксперта.
Встречались ли вам примеры особенно забавных или опасных «галлюцинаций» ИИ?
– Был очень показательный пример: еще в прошлом году ИИ не мог правильно посчитать количество букв R в слове strawberry. Это связано с фундаментальными особенностями того, как устроены генеративные модели. В новых версиях эту ошибку уже исправили.
Но подобных случаев огромное количество. Например, ИИ Google советовал добавить клей в пиццу, утверждал, что собака играла в NBA, а Бэтмен был полицейским.
Тем не менее я бы ориентировался не на курьезы, а на опасные последствия. Так, был случай, когда люди отравились грибами, доверившись книге о грибах, сгенерированной ИИ. Если поискать в Google, а не спрашивать ChatGPT, можно найти множество подобных историй.
Поэтому я всегда предостерегаю: пользоваться нужно только проверенными источниками и никогда полностью не доверять ИИ, если его результат не проходит проверку специалистов. В приведенном примере, если бы книгу перед публикацией посмотрел эксперт по грибам, трагедии удалось бы избежать.
Это не единственный случай, когда общение с искусственным интеллектом заканчивалось плачевно. Например, в августе этого года в США родители 16-летнего подростка Адама Рейна подали в суд на OpenAI и ее гендиректора Сэма Альтмана. По их словам, сын несколько месяцев обсуждал с ChatGPT тему самоубийства, и чат-бот не только не остановил такие разговоры, но и помогал искать способы и даже составлять предсмертную записку. В апреле подросток покончил с собой.
Семья обвиняла компанию в том, что она поставила прибыль выше безопасности пользователей и не внедрила должные меры защиты. Родители требуют проверки возраста пользователей, блокировки запросов о самоповреждениях и предупреждений о зависимости. В OpenAI заявили, что опечалены трагедией, напомнили о существующих мерах предосторожности и пообещали усилить защиту подростков и внедрить родительский контроль.
А когда искусственному интеллекту все же можно доверять без дополнительных проверок?
– Я доверяю ИИ только в простых, незначительных вопросах. Например, недавно шел по парку и спросил, чем питаются белки. Ответ показался логичным, и этого было достаточно.
Еще один кейс, который почти всегда работает хорошо, – это перевод. Уже давно не пользуюсь Google Translate, только ChatGPT. Но здесь важно отметить: я сам неплохо знаю английский и базово польский, поэтому могу проверить, что система не выдает ерунду.
Существуют ли технологии или подходы, которые могут полностью решить проблему «галлюцинаций»?
– К сожалению, пока невозможно на 100% защититься от галлюцинаций. Основные методы – перепроверка информации, использование более строгих промптов и четкое понимание, где уместно применять ChatGPT и подобные инструменты.
Например, журналист может использовать чат-боты для мозгового штурма, составления плана материала или поиска заголовков. Но не для написания заметок или статей – разве что в жанре гороскопов.
Если говорить о перспективах, то здесь я скорее пессимист. Не думаю, что в ближайшие годы появится ИИ, которому можно будет полностью доверять. Это фундаментальная проблема. И, возможно, даже хорошо, что она сохраняется: это заставляет держать мозг в тонусе и не относиться слепо к тому, что выдает чат-бот.
Перепечатка материалов CityDog.io возможна только с письменного разрешения редакции. Подробности здесь.