ChatGPTって危ないんでしょ？っていう質問向けの回答メモ

以下は自分が100万回聞かれる質問に回答するためのメモです。内容を逐次アップデートするようにしています。記事の更新日をご確認ください。
一部は自分の感想・意見であり、必ずしも真実とは限らない点に留意してください。

自分なりの結論として、リスクをしっかり理解した上で活用しましょう。
ChatGPTを恐れて、利用しない方が事業発展の観点でリスクが高いと考えます。

# Q.ChatGPTを使うと、攻撃者が簡単にサイバー攻撃できちゃうんでしょ？
## A. Yes
* フィッシングメール、フィッシングサイト、マルウェアの作成など、ChatGPTに質問することで的確な回答が得られる場合が多く、攻撃者にとって時間短縮、攻撃の質が向上できる
* OpenAI社は上記に対して、非倫理的な回答、違法性の高い回答は出さないようにしているものの、それを回避する[JailBreak](https://www.jailbreakchat.com/)手法がたくさん出ている。
* フィッシングメールややり取りが発生するようなビジネスメール詐欺では利用される可能性が高く、日本語話者が攻撃者グループにいなくても、ターゲットとのメールの会話は成り立ってしまう。

# Q.ChatGPTに聞いた内容は漏洩しちゃうんでしょ？
## A. Yes & No 
サマリ：リスクは一般的なクラウドサービスと同じである。唯一違うのは入力データがデータサイエンティストにレビューされたり、学習されること可能性があること。ただし、オプトアウトが可能。

* 以下の点はWebUIおよびAPIのいずれのサービスにも当てはまる
* 入力内容は当然ながらOpenAI社に送信される。（サーバはアメリカ）
  * これはいかなるクラウドサービスでも言えること。
  * Azureのサービスを利用することでOpenAI社ではなく、Microsoft社に送信させることができる。
     * サーバはアメリカまたは欧州から選択可能
     * 可用性、セキュリティの観点で実績があるMicrosoftのほうが信頼できるかもしれない（感想）
  * ユーザが送信した内容は30日間保存され、セキュリティの観点でOpenAI社の社員が中身を確認する可能性がある
    * Microsoft Azureも30日間保存される点は変わらないが、オプトアウトができる
  * ただし、それらの情報は明示的にオプトインしない限り、学習されることはない

* OpenAI社から情報がさらに洩れる可能性は以下のシナリオが考えられる
* ChatGPTの脆弱性により、情報が漏洩する。
  * これはすでに発生している。(https://openai.com/blog/march-20-chatgpt-outage)
  * これはいかなるクラウドサービスでも言えること。
* OpenAI社が侵害され、情報が洩れる。
  * ただし、攻撃者目線、プロンプトの内容そのものよりかは決済に利用されているクレジットカード、個人情報を優先して盗むと思われれる。
  * これはいかなるクラウドサービスでも言えること。
* 入力した内容をもとに再学習が行われ、その結果、第三者に対するChatGPTの回答に情報が含まれる。
  * 現時点(2023年4月)で学習データは2021年までとされていることからすぐにこのような事態が発生することはない。
  * そのまま再学習用のデータとして利用されるかは不明だが、OpenAI社のデータサイエンティストがレビューするのは明言されている。https://help.openai.com/en/articles/6783457-what-is-chatgpt
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/325297/b0fcb395-2aa5-131e-5c85-a6b89cd48583.png)
  * ただし、学習やレビューについてOpt-Out申請することも可能である。
  * 会社単位でオプトアウト：https://help.openai.com/en/articles/5722486-how-your-data-is-used-to-improve-model-performance
> You can request to opt-out of having your data used to improve our non-API services by filling out this form with your organization ID and email address associated with the owner of the account.
  * 個人単位でオプトアウト
  * chat.openai.comの`Settings`から`Chat History & Training`が選択できます。
  * ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/325297/f90f047c-0d0d-239c-1e9c-eade59a474b0.png)


> あなたは、このフォームに組織IDとアカウントの所有者に関連するメールアドレスを記入することで、私たちの非APIサービスの改善のためにあなたのデータが使用されることをオプトアウトするよう要求できます。
### API
  * 詳細はすべて https://openai.com/policies/api-data-usage-policies に記載されいています。
  * ユーザが送信した内容は30日間保存され、セキュリティの観点でOpenAI社の社員が中身を確認する可能性がある
    * Microsoft Azureも30日間保存される点は変わらないが、オプトアウトができる
  * ただし、それらの情報は明示的にオプトインしない限り、学習されることはない



# Q. ChatGPTって嘘つくんでしょ？
## A. Yes
* ハルシネーションと呼ばれる現象で、事実と異なる回答をする場合がある。
* 原因は学習データが2021年であり、インターネットにアクセスすることができないため、それ以降に発生した出来事については知らない。
https://help.openai.com/en/articles/6783457-what-is-chatgpt
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/325297/d4eb76e2-022d-fda1-8713-43327a3a2841.png)
* ChatGPTの仕組みは文書の補完であり、次に来るべき言葉をひとつずつ確率論的に紡いでいるだけであり、防ぐのは難しそう（感想）。
  * 語弊もあるが、わかりやすくいうと学習データで田中一郎、田中次郎、田中三郎、田中四郎、田中五郎全員の血液型がAB型であった場合、「田中花子の血液型は」と聞いたら、実際の因果関係とは関係なく「AB型」と回答するようなものである。
* 以下はとある商用のチャットボットで生地に関する情報が商品情報にないのに、コットンと答えてしまうChatGPTの例。
* ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/325297/a69075a6-0506-8777-4d07-5e8fbf27addd.png)

* ハルシネーションのおすすめ動画
<iframe width="560" height="315" src="https://www.youtube.com/embed/tqqaLsN6zPo" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

# Q. ChatGPTで仕事が奪われる人がたくさん出ちゃうんでしょ？
## A. Yes
* ChatGPTやAIエージェントの技術によって、たくさんの仕事が効率化でき、人件費を大きく削ることができます。
* プロンプトエンジニアという新たな職業もできるが、プロンプトそのものをChatGPTにつくらせることもできるので、それもいらなくなる可能性もある。
* 仕事のみならず、人間とはなんなのか、人間にしかできないことはなんなのか、もっと深い話になっていくと思います。