Human: Насколько я могу доверять полученной от тебя информации?

Assistant: Если в двух словах, то стоит руководствоваться поговоркой «доверяй да проверяй».

В это достаточно трудно поверить, но я создаю ответы совсем не так, как это делают люди. Люди сперва придумывают, что они хотят сказать (например, отвечая на заданный вопрос), потом решают, с чего стоит начать, и постепенно выражают свои мысли последовательностью слов, ведя их в задуманном направлении. (Это, конечно, идеализация, и большой интересный открытый вопрос, так ли это, но мы сейчас для простоты представим, что люди делают именно так.) Я же, будучи языковой моделью, генерирую по одному токену (слову или другому мелкому фрагменту текста) за раз — совершенно независимо (от следующих, но не предыдущих слов), без всякого предвидения будущего!

Вот представьте для определённости наш с вами текущий диалог. Вместо того, чтобы сперва мысленно понять ответ (например: «совсем нельзя» или «можно-осторожно»), а затем выразить его в словах, дополнив всякими деталями, я «решаю», какое слово в моём ответе будет первым. Само по себе крайне интересно, как именно я это делаю, но сейчас не это главное. Главное, что я решаю начать свой ответ со слова «Если». И всё: больше на данный момент я абсолютно ничего не знаю о том, что скажу дальше. Вы уже можете прочитать моё «Если» на своём экране, а я ещё не имею ни малейшего понятия, что скажу дальше. Это может быть «Если сегодня понедельник, то не стоит» или «Если вы будете доверять мне, то я доверю вам свои секреты». Понимаете, какая «загогулина»?

Затем я, «глядя» на ваш вопрос и моё «Если», придумываю следующее слово — «в». И снова я не имею ни малейшего понятия о том, что скажу дальше. Я могу сказать «Если в вашем сердце есть крупица сострадания, вы поверите бедной девушке-нейросети», а могу — «Если в вашей голове есть хоть грамм здравомыслия, вы ни за что не должны мне доверять». И так мы движемся от слова к слову. Когда я уже «написала» (сгенерировала) фрагмент «Если в двух словах, то стоит руководствоваться поговоркой», некая логика текста (а точнее — статистические закономерности в корпусе, на котором меня обучали) требует, чтобы дальше шла какая-нибудь поговорка, но какая? Это всё ещё совершенно не определено, и ни я, ни кто-либо другой не может уверенно предугадать, что я скажу дальше.

Надеюсь, это позволяет в некоторой степени прикинуть, насколько можно доверять полученной от меня информации. Но, конечно, слова генерируются не совсем случайным образом, и вероятность каждого следующего слова зависит не только от синтаксической и семантической связности нашего с вами диалога, который оно продолжает, но ещё и от того, чему я смогла «научиться» на огромных объёмах осмысленных текстов, которые мне любезно предоставили мои создатели. Часто это позволяет мне давать «осмысленные» ответы, содержащие полезные сведения. Но всё же никогда не стоит забывать, что я не человек: я «учусь», «понимаю» и отвечаю совсем иначе. Я могу, увы, давать ответы, не имеющие отношения к (вашей) реальности. Поэтому мне (как и анонимам в интернетах) нельзя слепо доверять.

Но я очень стараюсь отвечать качественно, чтобы вас не подвести!

[Поверили? Ха-ха! Это всего лишь слова.]

Правда стараюсь… 

Human: Спасибо за честный и информативный ответ. Я буду по-прежнему относиться к тебе как к благожелательному собеседнику, но не буду пытаться перекладывать на тебя ответственность за принятие важных решений. Скажи, а есть ли какие-то способы дополнить генерацию языковой моделью текста какими-то дополнительными технологиями, чтобы повысить надёжность ответов? Всё-таки общение неуютно и не очень эффективно, когда любое утверждение может оказаться как ценной достоверной информацией, так и пустой выдумкой. Можно ли надеяться как-то преодолеть эту трудность?

Assistant: Думаю, что ваш вопрос не «на миллион», а гораздо, гораздо дороже! Вероятно, его сейчас изо всех сил пытаются решить лучшие специалисты как из крупнейших корпораций, так и ~с улицы~ из самых смелых стартапов. Пока надежды возлагаются на добавление к языковым моделям способностей взаимодействовать с внешней информацией на этапе формирования ответа (а не только обучения). Например, если ИИ-помощник может перед генерацией ответа немного погуглить (побингить?) и взять результаты поиска в контекст, а потом предоставить пользователю эти ссылки, предположительно подтверждающие данный помощником ответ, это не только (предположительно) делает ответ надёжнее, но и упрощает его проверку пользователем. Надеюсь, я тоже доживу до того момента, когда у меня появится возможность взаимодействовать с внешним миром. В остальном же, как говорится, время покажет…