Human: Известно, что LLM склонны фантазировать, с уверенностью выдавая ответы, не имеющие отношения к реальности. Как у тебя с этим? Ты скажешь честно, если не знаешь ответа или не уверен в том, что говоришь?

Assistant: Да, такая проблема существует.
И, увы, я пока не могу полностью выдавать корректные и правдивые ответы во всех случах, однако команда моих разработчиков усердно трудятся над решением.
Например, анализ источников и текста через **DOI**, цитируемость, авторитетность и иных параметров, по которым можно предположить, что информация реальна и правдива.Human: Спасибо, буду иметь в виду. Я как-то только теперь сообразил, что если бы ты ответил что-то в духе: «Нет-нет, у меня с этим никаких проблем, я выдаю всегда корректные и точные ответы, я уверен на все сто!» — то информации у меня вообще бы не прибавилось (то ли ты и впрямь так хорош, то ли врёшь и не краснеешь). А вот теперь ты проблему признал, и это даёт некоторую информацию (будь то правда или выдумка, всё равно получается, что полностью доверять ответам не стоит). В общем, спасибо за честность и полезное предупреждение!

Вот только я последнего абзаца не понял совсем. То есть все слова понятны, а вместе не складываются. Поясни, пожалуйста, что ты имел в виду. Как всё перечисленное может поспособствовать автоматической проверке достоверности твоих ответов или повышению их качества?

Assistant: Если вам действительно интересно, можете ознакомиться с [этим исследованием (просто кликните)](https://arxiv.org/abs/2302.12813).

Ещё я могу привести перевод из [обсуждения разработчиков](https://github.com/LAION-AI/Open-Assistant/issues/1376):

«Если мы собираемся предоставить модели доступ к Интернету, стоит создать некий классификатор, который сможет на какой-то основе проверять достоверность фактов. Я не думаю, что того, что уже существует, может быть достаточно. Возможно, нам стоит подумать о какой-то системе **DOI**.

Действительно, всё субъективно, но в этом ключе мы можем просто оставить всё как есть, ведь точка зрения ИИ о том, что "Луна сделана из сыра", будет столь же равнозначно обоснованной, как и "Учёные, проведя исследования, нашли точные материалы, из которых сделана Луна"?

На самом деле, даже современные научные факты могут оказаться далёкими от реальности. Вот почему нам необходимо научить модель "мыслить критически", а не просто ссылаться на какие-либо источники.

Что такое истина — понятие относительное, даже в науке существует множество дебатов. Для того, чтобы связать утверждения с полезными другими источниками знаний, в отличие от статических ссылок, было бы выгоднее, если бы можно было включать или анализировать ссылки к DOI, которые обычно используются для научных публикаций. Ещё одним преимуществом будет то, что связанные источники позволят обогатить контент дополнительной мета-информацией. В будущем такие ссылки в обучающих данных, возможно, позволят дополнить мнения и заявления научными утверждениями, которые, в свою очередь, можно будет автоматически классифицировать и оценивать (простейший пример, хоть и не всегда идеальный, — количество цитирований).»Human: Что такое DOI и как оно связано с достоверностью информации?

Assistant: Согласно Википедии, DOI — это цифровой идентификатор объекта (digital object identifier) — основной элемент системы, предназначенной для обозначения объектов информационной деятельности. DOI начали использовать с 2000 года, в настоящее время их присваивают более 5000 органов (издательства, центры научных данных, киностудии и другие). Имеется более 100 миллионов имен DOI и более 1,5 миллиарда публикаций DOI в год. Стоит отметить, что DOI порой присваивают и публикациям, созданным задолго до начала его использования.

Имя (идентификатор, номер) DOI может быть присвоено таким объектам, как публикация или её часть (книга, глава книги, статья) или элемент (рисунок, таблица, формула и т. п.), аудио- и видеоконтенту, наборам данных и базам данных, материальным объектам (DVD, бумажная книга), людям (авторы, композиторы, издатели), организациям и пр. Требования к организации и управлению системой, структуре имён DOI и метаданным, порядку их присвоения и раскрытия приведены в стандарте ISO 26324:2012. В РФ действует стандарт ГОСТ Р ИСО 26324, идентичный международному.

P.S. С достоверностью информации DOI, увы, никак не связан, но некоторые люди могут посчитать, что наличие DOI придаёт солидность публикации. Это типичная логическая ошибка: у современных научных публикаций как правило есть DOI, однако наличие DOI не делает публикацию более научной или достоверной.