Wikipedia‐ノート:大規模言語モデルの利用

message: 昨今のChatGPTなど、大規模言語モデルの普及を念頭に、これを活用したWikipedia記事の執筆についてのルールについてコメントを募集いたします。先行する議論についてはWikipedia‐ノート:信頼できる情報源#AIアルゴリズムが生成した文章の取り扱いについてもご確認いただきたいのですが、提案者のあずきごはんは一定の規制が必要と考えていることは予めお断りしておきます。取り急ぎ、たたき台として英語版の:en:Wikipedia:Large language modelsをに翻訳していただきました。この場を借りて感謝いたします。日本語版へのローカライズなど文面も含めたコメントをお願いいたします。なおこの文章のガイドライン化も念頭に置いていることも考慮していただけるとありがたいです。ひとまず1月程度を目途にコメントを募集したいと思います。--あずきごはん（会話） 2023年5月30日 (火) 11:34 (UTC)
* 文面について、さんはご意見等ございますでしょうか。もしそうであれば、共有していただければ幸いです。--YellowSmileyFace（会話） 2023年5月30日 (火) 12:07 (UTC)
replies: text: * ありがとうございます。しっかりと考えを纏めてからコメントさせていただきたく思っています。よろしくお願いいたします。--あずきごはん（会話） 2023年5月30日 (火) 12:09 (UTC)
replies: text: :* ご返信ありがとうございます。承知致しました。--YellowSmileyFace（会話） 2023年5月30日 (火) 12:29 (UTC)
----

text: 翻訳お疲れ様でした。ガイドラインにすべきかどうかは、特段意見はないのでおまかせしたいと思います。

text: その一方で、英語版からの問題でもあるのですが、「AI生成の文章をどのように使うことができるのか」という具体的な指針に踏みこめておらず、この基準を別途定めないと利用者の混乱が解消できないと思われます。

text: * 転記部分の長短、事実の有無にかかわらず、AIが生成した文章をそのまま転記することは一切禁じる

text: * AIが生成した文章から、Wikipediaに利用できる情報を抽出し、必要な出典を伴って編集することは容認される

text: 例えば上のように、基準を言語化することはできますでしょうか。 --Tamago915（会話） 2023年5月30日 (火) 18:21 (UTC)

text: * コメントありがとうございます。ご指摘の部分は「基本的な指針節」に相当すると考えますが、もっと具体的に踏み込んだ表記が必要という御意見でよろしいでしょうか？--あずきごはん（会話） 2023年6月1日 (木) 14:53 (UTC)
replies: text: :*  - 「具体的に踏みこんだ表記が必要」という表現に含まれているかわかりませんが、Wikipedia:大規模言語モデルの利用#基本的な指針の文章、とくに1番と2番が、持って回った言い方で意味が取りづらいです。「LLMに（略）文章や出典の生成を求める」「LLMに（略）感想を求める」というのを、「LLMが生成した文章や出典を利用者が○○する」「LLMが生成した感想（この言葉も言い換えられるかも）を利用者が△△する」のように言い換えられないでしょうか。自分も最適な表現が見つけられず、伏せ字状態で提案してしまいすみませんが、ご検討お願いします。 --Tamago915（会話） 2023年6月1日 (木) 15:25 (UTC)
*（実質はへのご返信になります）1番と2番を要約すると「LLMの使用は避けてほしい。だけど、新聞社のデスクみたいなポジションでLLMを使うのは構わないよ」みたいな意味だと私は解釈しております。1番をご提示の言い方に置き換えればストレートに「LLMが生成した文章や出典を、そのままウィキペディアに投稿しないでください」のような感じになると思います（英語版の表記も翻訳開始後に変更されたようです）が、2番については私もあいにく適切な表現が思い浮かびませんでした。なお、具体的な指針に関しましては「LLMを使う場合」という説が設けられているのでどちらかと言えば「AIが生成した文章から、Wikipediaに利用できる情報を抽出し、必要な出典を伴って編集することは容認される」側になると考えますが、同時にLLM生成っぽい内容は疑ってかかるべきとも書いてあります（「LLMによって生成されたとみられるコンテンツは、事実であることが証明されない限り、捏造された情報として扱われます」）。この辺の表現をもっと直接的にできたら良いかもしれません。--YellowSmileyFace（会話） 2023年6月2日 (金) 12:47 (UTC)
replies: text: ::* Tamago915さん・YellowSmileyFaceさん　- ご意見ありがとうございます。「基本的な指針節」についてのご懸念については同意いたしますが、その部分は全体の要約になりますので、先に内容の精査を進めた方が良いように思います。--あずきごはん（会話） 2023年6月2日 (金) 21:58 (UTC)
* Tamago915さん・YellowSmileyFaceさんへ。随分とお待たせして申し訳ありませんでした。Tamago915さんからお寄せいただいたご意見について、いったん本文の内容の精査をさせていただきたく保留とさせていただきましたが、これ以上の大きな変更もなさそうなので、変更案を提案させていただきます。

text: ご意見をお待ちしております。--あずきごはん（会話） 2023年7月11日 (火) 13:19 (UTC)

text: * 特にご意見がなかったので、提案通り変更を実施しました。--あずきごはん（会話） 2023年7月30日 (日) 13:55 (UTC)
----
* おおまかな方針は良いと思いますが、一部気になる点がありました。
# 「建設的に節」に「百科事典の作成へ貢献する意思をもって、利用者名前空間にてLLMに関する実験を行うことを禁止するものではありません」とありますが、LLMのテストって具体的にどういうものなんでしょうか？ちょっと想像できないのですが、プロジェクト:ウィキ技術部関連でコード作成などでしょうか？私が保守的なのかもしれませんが、具体的な要望が上がるまではいったんは禁止の方針にして運用を始めても良いように思います。
# 上に関連するかもしれませんが、最新の英語版ではボット利用の禁止が明記されています。これも取り入れるべきと思います。
# 「記事の執筆節」にLLMを利用した編集をする場合の出典表記について記述すべきと思います。例えば最後の文を「LLMが出力した文章などを無出典で記事に書いてはいけません。LLMが出典を提示する場合は、その資料が実在し信頼できることを確認して出典を明記してください。LLMが出典を提示しない場合は、利用者が適切な資料を探し出し、出典をつけてください」などに変更してはどうでしょうか。

text: その他、体裁に関わる部分です。
# 「LLMを使う場合節」の冒頭文にあるLLMを利用できる利用者について、小節に分けた方が良いように思います。「編集者は、LLM固有の制限を理解し（中略）特定の名前空間への編集をブロックされます。」までです。
# 「除去と削除節」ですが、将来的には削除の方針に「LLMの利用に問題がある場合」などの項目で「ケースH」を作るべきだと思いますが、取り急ぎケースZでの削除依頼を案内した方が良いように思います。
# 「記事の執筆節」に、「要約欄にLLMを利用したことを明記してください。」を付け加えた方が良いと思います。

text: 以上になります。--あずきごはん（会話） 2023年6月2日 (金) 23:00 (UTC)

text: * ご返信遅れたことお詫び申し上げます。そのうえで、

text: #私も英語版からそのまま持ってきただけなので何とも言えないのですが、いったん禁止とすることに賛成します。

text: #実は、その箇所は日本語版に:en:WP:MEATBOTに類似したページが無かったので翻訳を飛ばしましたが、「LLMを使って編集間隔を縮めるようなことはあってはなりません」にBotについての文言を入れることは可能と思います。

text: #「記事の執筆」節の文言の変更については賛成ですが、最後の文の後に「資料とLLMが生成した文章の内容に関連性があるかを確認してください」などを入れられたら良いと思います。

text: #「LLMを使う場合」節の冒頭について。例えば「LLMを濫用する場合」節を作り、そこにLLMを間違った形で使っている利用者への対応について記述することが良いかもしれません。

text: #「除去と削除」節については、ご指摘の通りケースZの案内が必要だと思います。

text: #「記事の執筆」節に「要約欄で、LLMを利用したことを明記してください。この際、どのモデルを試用したかも明記してください。」を付け加えることに賛成します。--YellowSmileyFace（会話） 2023年6月14日 (水) 11:46 (UTC)
replies: text: :* ご返信ありがとうございます。私が議論を進行しないことを返信待ちと思われ、気を悪くされていたのならば申し訳ありません。ゆっくり進めていこうと思っているだけなのでお気になさらないでください。これからも無理のない範囲で、議論に参加いただければありがたいです。いただいたご意見を加味して近日中に文案を提示いたします。よろしくお願いいたします。--あずきごはん（会話） 2023年6月16日 (金) 09:30 (UTC)
replies: text: ::* いえいえ、あずきごはんさんに非は全くありませんので、どうか謝らないでください。私も特に議論を急ぐ気はないので、気長に行きましょう。--YellowSmileyFace（会話） 2023年6月16日 (金) 13:33 (UTC)
* お待たせしておりましたが、2023年6月2日 (金) 23:00 (UTC)にて私が提案させていただいた内容の具体的な修正案になります。10日間程度様子を見て、御意見がなければ本文を修正したいと思っています。

text: 1.LLMに関する実験　および　2.ボット利用の禁止　について除去と加筆。

text: 3.出典表記　について解説を加筆。

text: 4.「LLMを使う場合」節の冒頭部を小節に分ける　LLMを利用するユーザーに求められる能力について「必要とされる知識と経験」節を追加。文章に変化はありません。

text: 5.削除依頼の案内　ケースZへの案内を加筆。

text: 6.要約欄での記述　要約欄での明記について加筆。

text: 以上になります。--あずきごはん（会話） 2023年6月23日 (金) 11:05 (UTC)YellowSmileyFaceさんの提案を受けて修正--あずきごはん（会話） 2023年6月25日 (日) 14:34 (UTC)

text: *あずきごはんさんの修正例にいずれも賛成します。ただ、3.の言い方だとLLMの情報は変えるべきでない、という風にも見えるため「信頼できる情報源とLLM生成の情報が矛盾している場合は、常に信頼できる情報源が発信している情報を優先してください」などの文言の追加が必要だと考えます。他については異論ありません。--YellowSmileyFace（会話） 2023年6月24日 (土) 12:37 (UTC)
replies: text: :* ご確認ありがとうございます。仰る通りです。ご提案を反映しました。--あずきごはん（会話） 2023年6月25日 (日) 14:34 (UTC)
replies: text: ::* 提案を修正したのち、他のご意見がなかったため、修正案を反映させました。--あずきごはん（会話） 2023年7月11日 (火) 12:42 (UTC)
----
*「LLMを使って編集間隔を縮める」だと対象範囲が広すぎるように思います。気にするべきなのは相対的に「縮める」かどうかより、限度を越えた高速な編集 (high-speed editing) や、自分で内容をチェックせずに次々と投稿していそうかどうかではないでしょうか。英語版のYou must not use LLMs for unapproved bot-like editing以下も、どちらかというとそういう意味だと思います。たとえば、通常10週間に1回のペースで編集する人が5週間に1回まで「編集間隔を縮め」たとしても、縮めたこと自体に特に問題はないように思います。 --whym（会話） 2023年6月22日 (木) 11:48 (UTC)

text: * コメントありがとうございます。コメントいただきました趣旨については賛同します。ただ、具体的に〇〇回/日のような具体的・絶対的な数値化には反対します。これはWhymさんの仰ることと矛盾しないと思うのですが、ルールの趣旨は「ウィキペディアのコミュニティが許容できる範囲を超える頻度の編集は受け入れられない」という意味であり、許容できる範囲はさまざまな要因によって変動すると思うからです。たとえば「LLMを使ってコミュニティが精査できるキャパシティを超える編集をしてはいけません」ぐらいの変更で如何でしょうか？--あずきごはん（会話） 2023年6月23日 (金) 11:20 (UTC)
* Whymさんから頂いたご意見に対して、変更案を提示いたします。

text: ご意見をお待ちしております。--あずきごはん（会話） 2023年7月11日 (火) 13:55 (UTC)

text: * 特にご意見がなかったので、提案通り変更を実施しました。--あずきごはん（会話） 2023年7月30日 (日) 13:55 (UTC)
----
* 議論提起から相当の時間が経過しました。いただいたご意見の反映も済みましたので、議論を終了したいと思います。しかるのちに改めてガイドライン化を提案したいと思います。ご意見いただき感謝いたします。--あずきごはん（会話） 2023年7月30日 (日) 13:55 (UTC)
thread_title:  ガイドライン化を目指した議論 

message: 皆様こんにちは。本文中に紹介されている『OpenAIが提供しているAI Classifier』ですが、もう利用できないようです。リンク先のページ冒頭には『2023年7月20日の時点で、AI分類器は精度が低いため利用できなくなった』(原文は英語)と記述があったことから、おそらく撤回されたものと思います。そこで本来なら、このWikipediaのガイドのために代わりのサービスを紹介したいのですが、あいにく役に立つ代替品が見つからなかったので、本ノートで共有します。--YasuakiH（会話） 2023年12月29日 (金) 12:15 (UTC)
thread_title:  OpenAIのAI Classifier(判別用ツール)が利用できなくなった件