(57)【要約】【課題】学習知識の不正取得を防止しながら攻撃手法を分析するためのデータを効率的に収集する。【解決手段】第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御する出力制御部、を備え、前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記知的処理結果を品質が低下するよう加工し、加工後の前記知的処理結果を出力させる、情報処理装置が提供される。【選択図】図１１
2019181099.tif 000002
【特許請求の範囲】
【請求項１】
第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御する出力制御部、
を備え、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記知的処理結果を品質が低下するよう加工し、加工後の前記知的処理結果を出力させる、
情報処理装置。
【請求項２】
前記出力制御部は、前記第三者による入力が前記学習知識の不正取得を目的とするものであると判定された場合、前記第三者にとって品質低下の知覚が困難な程度に前記知的処理結果の品質が低下するよう加工し、加工後の前記知的処理結果を出力させる、
前記加工後の知的処理結果を出力させる、
請求項１に記載の情報処理装置。
【請求項３】
前記出力制御部は、前記第三者による入力が前記学習知識の蒸留を目的とするものであると判定された場合、蒸留先モデルによる知的処理の品質が蒸留元モデルによる知的処理の品質と比較して低下するよう前記知的処理結果を加工し、加工後の前記知的処理結果を出力させる、
請求項１に記載の情報処理装置。
【請求項４】
前記知的処理結果は、クラス分類結果を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記クラス分類結果の少なくとも一部のラベルまたは信頼度を加工し、加工後の前記クラス分類結果を出力させる、
請求項１に記載の情報処理装置。
【請求項５】
前記知的処理結果は、セグメンテーション結果を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記セグメンテーション結果の少なくとも一部の領域、クラス、または信頼度を加工し、加工後の前記セグメンテーション結果を出力させる、
請求項１に記載の情報処理装置。
【請求項６】
前記知的処理結果は、自然言語処理結果を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記自然言語処理結果の少なくとも一部の文字列を加工し、加工後の前記自然言語処理結果を出力させる、
請求項１に記載の情報処理装置。
【請求項７】
前記知的処理結果は、行動計画情報を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記行動計画情報の少なくとも一部を加工し、加工後の行動計画情報を出力させる、
請求項１に記載の情報処理装置。
【請求項８】
前記行動計画情報は、ゲームにおける次アクション情報を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記ゲーム内において次に実施するアクションが最適解でなくなるよう前記次アクション情報を加工し、加工後の前記次アクション情報を出力させる、
請求項７に記載に情報処理装置。
【請求項９】
前記行動計画情報は、動作体の制御情報を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記動作体の動作が変化するよう前記制御情報の少なくとも一部を加工し、加工後の前記制御情報を出力させる、
請求項７に記載の情報処理装置。
【請求項１０】
前記知的処理結果は、創作物を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記創作物の品質が低下するように前記創作物の少なくとも一部を加工し、加工後の前記創作物を出力させる、
請求項１に記載の情報処理装置。
【請求項１１】
前記知的処理結果は、認識結果または予測結果の複数の要素から成り、
前記出力制御部は、前記複数の要素のうち少なくとも１つを加工し、加工後の前記知的処理結果を出力させる、
請求項１に記載の情報処理装置。
【請求項１２】
前記出力制御部は、前記複数の要素のうち公開者により指定された要素を加工し、加工後の前記知的処理結果を出力する、
請求項１１に記載の情報処理装置。
【請求項１３】
前記出力制御部は、前記第三者による前記学習知識の不正取得に対する防御策を公開者が設定するためのユーザインタフェースの出力を制御する、
請求項１に記載の情報処理装置。
【請求項１４】
前記出力制御部は、前記ユーザインタフェースにおいて設定された前記防御策に基づいて前記知的処理結果を加工する、
請求項１３に記載の情報処理装置。
【請求項１５】
前記出力制御部は、前記入力データの種別および生成手法と、前記学習知識に基づく知的処理の種別およびドメインに対応する防御策に基づいて、前記知的処理結果を加工する、
請求項１４に記載の情報処理装置。
【請求項１６】
前記出力制御部は、前記第三者により入力された前記入力データを公開者が確認するためのチェックツールの提供を制御する、
請求項１に記載の情報処理装置。
【請求項１７】
前記第三者による非正規利用行為を検出する攻撃検出部、
をさらに備える、
請求項１に記載の情報処理装置。
【請求項１８】
前記攻撃検出部は、前記入力データの種別および生成手法と、前記学習知識に基づく知的処理の種別およびドメインに対応する攻撃検出器を用いて、前記非正規利用行為を検出する、
請求項１７に記載の情報処理装置。
【請求項１９】
入力されるデータと前記学習知識とに基づく知的処理を実行する知的処理部、
をさらに備える、
請求項１に記載の情報処理装置。
【請求項２０】
プロセッサが、第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御すること、
を含み、
前記制御することは、前記第三者による入力が正規の利用用途ではないと判定された場合、前記知的処理結果を品質が低下するよう加工し、加工後の前記知的処理結果を出力させること、
をさらに含む、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
近年、ニューラルネットワークを用いた種々の機能が開発されている。また、ニューラルネットワークの性能や効率を向上させるための技術が盛んに研究されている。例えば、非特許文献１には、学習済のモデルにおける入力と出力との関係を新規のモデルに新たに学習させる「蒸留」という技術が開示されている。【０００３】
上記の蒸留技術を用いれば、複雑なネットワークを用いて学習した知識を、シンプルなネットワークに移行することなどが可能となり、ネットワークの小型化や計算コストの削減などが期待される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Geoffrey Hinton、外２名、「Distilling theKnowledge in a Neural Network」、２０１５年３月９日、［Online］、［平成３０年３月１１日検索］、インターネット<https://arxiv.org/pdf/1503.02531.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、例えば、学習済モデルをインターネット上などにおいて第三者に公開する場合、当該第三者は、用意した入力データに対する学習済モデルの出力データを取得することで、学習済モデルの学習知識を別の新たなモデルに蒸留することが可能である。このため、蒸留などによる学習知識の不正取得に対する有効な防御策の確立が望まれている。【０００６】
そこで、本開示では、学習知識の不正取得を防止しながら攻撃手法を分析するためのデータを効率的に収集することが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御する出力制御部、を備え、前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記知的処理結果を品質が低下するよう加工し、加工後の前記知的処理結果を出力させる、情報処理装置が提供される。【０００８】
また、本開示によれば、プロセッサが、第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御すること、を含み、前記制御することは、前記第三者による入力が正規の利用用途ではないと判定された場合、前記知的処理結果を品質が低下するよう加工し、加工後の前記知的処理結果を出力させること、をさらに含む、情報処理方法が提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、学習知識の不正取得を防止しながら攻撃手法を分析するためのデータを効率的に収集することが可能となる。【００１０】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】本開示の一実施形態に係る情報処理システムの構成例を示すブロック図である。
【図２】同実施形態に係る情報処理端末の機能構成例を示すブロック図である。
【図３】同実施形態に係る情報処理サーバの機能構成例を示すブロック図である。
【図４】同実施形態に係る入力データと知的処理との関係を示す図である。
【図５】同実施形態に係るクラス分類結果の加工について説明するための図である。
【図６】同実施形態に係るセグメンテーション処理結果の加工について説明するための図である。
【図７】同実施形態に係る自然言語処理結果の加工について説明するための図である。
【図８】同実施形態に係る行動計画情報の加工について説明するための図である。
【図９】同実施形態に係る創作物の加工について説明するための図である。
【図１０】同実施形態に係る複数の要素を含む知的処理結果の加工について説明するための図である。
【図１１】同実施形態に係る情報処理サーバの処理の流れを示す概念図である。
【図１２】同実施形態に係る防御策ＤＢが記憶する防御策設定の一例を示す図である。
【図１３】本開示の一実施形態に係るハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．実施形態
１．１．概要
１．２．システム構成例
１．３．情報処理端末１０の機能構成例
１．４．情報処理サーバ２０
１．５．加工の詳細
１．６．処理の流れ、および防御策の設定
２．ハードウェア構成例
３．まとめ
【００１４】
＜１．実施形態＞
＜＜１．１．概要＞＞
まず、本開示の一実施形態の概要について説明する。上述したように、近年においては、ニューラルネットワークの性能や効率を向上させるための技術が盛んに研究されている。上記のような技術には、例えば、上述の蒸留が挙げられる。
【００１５】
蒸留によれば、複雑なモデルで学習した知識を簡素なモデルへと転移することで、同等の機能をより小型のネットワークで実現し、計算コストなどを削減する効果が期待される。
【００１６】
一方で、蒸留は、入力データと当該入力データに対する学習済モデルの出力データがあれば実現可能なことから、学習知識の不正取得に利用されることも想定される。例えば、近年では、学習済のモデルの入出力に係るＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍ  Ｉｎｔｅｒｆａｃｅ）をインターネット上で公開している種々のサービスが実存する。
【００１７】
このため、例えば、蒸留などによる学習知識の不正取得を目的とする第三者（攻撃者、とも称する）は、上記のＡＰＩを介して入力データに対する学習済モデルの出力データを取得することで、当該学習済モデルの学習知識を新規のモデルに容易にコピーすることが可能である。
【００１８】
上記のような学習知識の不正取得を防止するためには、攻撃者による攻撃（学習知識の不正取得を目的とする入力）を検出した場合には単純に出力を返さない、などの対策も想定される。一方、このような対策を用いる場合、攻撃者は攻撃検知アルゴリズムによる攻撃検知を回避するために、入力データを偽装するなどの手段を講じることが容易に想定される。これに対し、防御者は、攻撃手段に応じて攻撃検知アルゴリズムを更新するなどして対策を行い、結果として攻撃者と防御者とによるいたちごっこが半永久的に継続することにもなりかねない。
【００１９】
本開示に係る技術思想は、上記の点に着目して発想されたものであり、学習知識の不正取得を防止しながら攻撃手法を分析するためのデータを効率的に収集することを可能とする。このために、本開示の一実施形態に係る情報処理方法は、プロセッサが、第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御すること、を含む。また、上記制御することは、第三者による入力が規定される正規の利用用途ではないと判定された場合、知的処理結果を品質が低下するように加工し、加工後の知的処理結果を出力させること、をさらに含むことを特徴の一つとする。
【００２０】
さらには、本開示の一実施形態に係る情報処理方法において、プロセッサは、第三者による入力が学習知識の不正取得を目的するものであると判定された場合、当該第三者にとって品質低下の知覚が困難な程度に知的処理結果の品質が低下するよう加工し、加工後の知的処理結果を出力させてよい。
【００２１】
すなわち、本開示の一実施形態に係る情報処理方法は、単に攻撃をリジェクトするのではなく、本来の出力結果よりも品質を低下させた代替データを出力として返すことで、学習済モデルの完全な蒸留を防止することを特徴の一つとする。また、本開示の一実施形態に係る情報処理方法は、攻撃者が気付かない程度の品質劣化を加えた代替データを出力することで、攻撃者に防御策の存在を気取られることなく、学習知識の不正取得行為に用いられる入力データを継続的に入力させ続けることができる。
【００２２】
本開示の一実施形態に係る情報処理方法が有する上記の特徴によれば、攻撃者が用いる入力データを大量に入手し、当該入力データを分析することで、攻撃検出アルゴリズムを常に攻撃者に先回りして改良することが可能となる。以下、本開示の一実施形態に係る情報処理方法を実現する情報処理装置の特徴について詳細に説明する。
【００２３】
＜＜１．２．システム構成例＞＞
まず、本開示の一実施形態に係る情報処理システムの構成例について説明する。図１は、本実施形態に係る情報処理システムの構成例を示すブロック図である。図１を参照すると、本実施形態に係る情報処理システムは、情報処理端末１０および情報処理サーバ２０を備える。また、情報処理端末１０と情報処理サーバ２０とは、互いに通信が行えるように、ネットワーク３０を介して接続される。
【００２４】
（情報処理端末１０）
本実施形態に係る情報処理端末１０は、情報処理サーバ２０による制御に基づいて、学習済モデルに係るＡＰＩを第三者に提供する情報処理装置である。なお、上記の第三者には、正規の利用用途に基づいてＡＰＩを利用する利用者と、学習知識の不正取得を目的としてＡＰＩを利用する攻撃者が含まれる。
【００２５】
本実施形態に係る情報処理端末１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット、スマートフォンなどであってもよい。
【００２６】
（情報処理サーバ２０）
本実施形態に係る情報処理サーバ２０は、上記ＡＰＩを介して入力された入力データに基づいて知的処理を実行し、当該知的処理の結果に係る出力の制御を行う情報処理装置である。本実施形態に係る情報処理サーバ２０が有する機能については、別途詳細に説明する。
【００２７】
（ネットワーク３０）
ネットワーク３０は、情報処理端末１０と情報処理サーバ２０とを接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）など無線通信網を含んでもよい。
【００２８】
以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
【００２９】
＜＜１．３．情報処理端末１０の機能構成例＞＞
次に、本開示の一実施形態に係る情報処理端末１０の機能構成例について説明する。図２は、本実施形態に係る情報処理端末１０の機能構成例を示すブロック図である。図２を参照すると、本実施形態に係る情報処理端末１０は、入力部１１０、センサ部１２０、表示部１３０、制御部１４０、およびサーバ通信部１５０を備える。
【００３０】
（入力部１１０）
本実施形態に係る入力部１１０は、利用者などを含む第三者による入力操作を受け付ける機能を有する。このために、本実施形態に係る入力部１１０は、キーボード、タッチパネル、マウス、各種のボタンなどを備える。
【００３１】
（センサ部１２０）
本実施形態に係るセンサ部１２０は、学習済モデルに対する入力データとして用いられ得る種々の情報をセンシングする機能を有する。このために、本実施形態に係るセンサ部１２０は、撮像センサ、マイクロフォン、加速度センサ、ジャイロセンサ、地磁気センサなどの各種のセンサを備える。
【００３２】
（表示部１３０）
本実施形態に係る表示部１３０は、画像やテキストなどの視覚情報を出力する機能を有する。本実施形態に係る表示部１３０は、例えば、情報処理サーバ２０による制御に基づいて、学習済モデルに係るＡＰＩを表示する。
【００３３】
このために、本実施形態に係る表示部１３０は、視覚情報を提示する表示デバイスなどを備える。上記の表示デバイスには、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置、タッチパネルなどが挙げられる。また、本実施形態に係る表示部１３０は、プロジェクション機能により視覚情報を出力してもよい。
【００３４】
（制御部１４０）
本実施形態に係る制御部１４０は、情報処理端末１０が備える各構成を制御する機能を有する。制御部１４０は、例えば、各構成の起動や停止を制御する。また、制御部１４０は、情報処理サーバ２０により生成される制御信号を表示部１３０に入力する。また、本実施形態に係る制御部１４０は、後述する情報処理サーバ２０の出力制御部２３０と同等の機能を有してもよい。
【００３５】
（サーバ通信部１５０）
本実施形態に係るサーバ通信部１５０は、ネットワーク３０を介して情報処理サーバ２０との情報通信を行う機能を有する。具体的には、サーバ通信部１５０は、入力部１１０が検出した第三者の操作に基づいて、学習済モデルに対する入力データを情報処理サーバ２０に送信する。また、サーバ通信部１５０は、情報処理サーバ２０から、上記入力データに対する出力データ（知的処理結果）や、当該知的処理結果の出力に係る制御信号などを受信する。
【００３６】
以上、本実施形態に係る情報処理端末１０の機能構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理端末１０の機能構成は係る例に限定されない。例えば、本実施形態に係る情報処理端末１０は、図２に示す構成のすべてを必ずしも備えなくてもよい。例えば、情報処理端末１０は、センサ部１２０などを備えない構成をとることもできる。また、上述したように、本実施形態に係る制御部１４０は、情報処理サーバ２０の出力制御部２３０と同等の機能を有してもよい。本実施形態に係る情報処理端末１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【００３７】
＜＜１．４．情報処理サーバ２０＞＞
次に、本開示の一実施形態に係る情報処理サーバ２０の機能構成例について説明する。図３は、本実施形態に係る情報処理サーバ２０の機能構成例を示すブロック図である。図３を参照すると、本実施形態に係る情報処理サーバ２０は、攻撃検出部２１０、知的処理部２２０、出力制御部２３０、防御策ＤＢ２４０、および端末通信部２５０を備える。
【００３８】
（攻撃検出部２１０）
本実施形態に係る攻撃検出部２１０は、情報処理端末１０から送信された入力データに基づいて、攻撃者による非正規利用行為を検出する機能を有する。上記の非正規利用行為には、蒸留をはじめとする学習知識の不正取得行為が含まれる。
【００３９】
蒸留を目的とする攻撃者は、通常、学習済モデルに入力すべき大量の入力データを有していないため、なんらかの手段により蒸留に必要な入力データを用意することが想定される。
【００４０】
入力データを大量に確保する手段としては、例えば、ランダムデータを用いる方法が挙げられる。このため、攻撃検出部２１０は、学習済モデルが想定するドメインを無視した入力データや乱数生成器により生成されたと予測される入力データが入力される場合には、当該入力データが学習知識の不正取得を目的としたものであると判定してよい。なお、攻撃検出部２１０は、例えば、ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎの出力結果において、平均が０、分散が１とならない場合に、入力データがランダムデータであると予測することができる。
【００４１】
また、入力データを大量に確保する手段としては、例えば、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）などによるデータ生成も想定される。例えば、近年では、ＧＡＮにより顔画像などを生成する生成器も開発されている。このため、攻撃検出部２１０は、入力データがＧＡＮにより生成されたことが予測される場合には、当該入力データが学習知識の不正取得を目的としたものであると判定してよい。
【００４２】
また、入力データを大量に確保する手段としては、例えば、インターネット上から取得可能なデータセットを用いる方法が挙げられる。このため、攻撃検出部２１０は、入力データが、上記のようなデータセットであると予測される場合、当該入力データが学習知識の不正取得を目的としたものであると判定してよい。
【００４３】
（知的処理部２２０）
本実施形態に係る知的処理部２２０は、情報処理端末１０から送信される入力データと学習済モデルが有する学習知識に基づいて種々の知的処理を実行する。本実施形態に係る知的処理部２２０が実行し得る知的処理の例については、別途後述する。
【００４４】
（出力制御部２３０）
本実施形態に係る出力制御部２３０は、知的処理部２２０が出力する知的処理結果の出力を制御する機能を有する。ここで、本実施形態に係る出力制御部２３０は、攻撃検出部２１０が際三者による有力が正規の利用用途、すなわち、蒸留などの学習知識の不正取得を目的とするものであると判定した場合、知的処理結果を品質が低下するように加工し、加工後の知的処理結果を情報処理端末１０に出力させること、を特徴の一つとする。
【００４５】
この際、本実施形態に係る出力制御部２３０は、蒸留などの学習知識の不正取得が検出された場合、第三者にとって品質低下の知覚が困難な程度に知的処理結果を加工し、加工後の知的処理結果を情報処理端末１０に出力させてよい。
【００４６】
本実施形態に係る出力制御部２３０が有する上記の機能によれば、第三者に防御策を講じていることを悟らせずに、その後も継続して入力データを入力させることができる。これによれば、入手した入力データから、用いられる乱数生成器やＧＡＮなどによるデータ生成器、またインターネット上で入手可能なデータセットなどの特徴を分析し、攻撃検出部２１０による攻撃検出アルゴリズムを先回りで強化することが可能となる。
【００４７】
また、本実施形態に係る出力制御部２３０は、蒸留を目的とする入力データが検出された場合、蒸留先モデルによる知的処理の品質が蒸留元モデル（上述の学習済モデル）による知的処理の品質と比較して低下するよう知的処理部２２０の知的処理結果を加工し、加工後の知的処理結果を情報処理端末１０に出力させてよい。
【００４８】
本実施形態に係る出力制御部２３０が有する上記の機能によれば、学習済モデルの学習知識が完全な状態でコピーされることを防止し、学習済モデルの価値を保護することが可能となる。
【００４９】
（防御策ＤＢ２４０）
本実施形態に係る防御策ＤＢ２４０は、攻撃種別や入力データの生成に用いられる生成器ごとに対応する攻撃検出器や防御策を関連付けて記憶するデータベースである。本実施形態に係る攻撃検出部２１０は、防御策ＤＢ２４０に記憶される攻撃検出器を用いて、種々の攻撃を検出することが可能である。
【００５０】
（端末通信部２５０）
本実施形態に係る端末通信部２５０は、ネットワーク３０を介して、情報処理端末１０との情報通信を行う。具体的には、端末通信部２５０は、情報処理端末１０から、入力データを受信する。また、端末通信部２５０は、出力制御部２３０による制御に基づいて、知的処理結果（未加工または加工済）や当該知的処理結果の出力に係る制御信号を情報処理端末１０に送信する。
【００５１】
以上、本開示の一実施形態に係る情報処理サーバ２０の機能構成例について説明した。なお、図３を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理サーバ２０の機能構成は係る例に限定されない。例えば、上記に示した構成は、複数の装置により分散されて実現されてもよい。また、上述したように、出力制御部２３０が有する機能は、情報処理端末１０の制御部１４０の機能として実現されてもよい。本実施形態に係る情報処理サーバ２０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
【００５２】
＜＜１．５．加工の詳細＞＞
次に、本実施形態に係る出力制御部２３０による知的処理結果の加工について具体例を挙げながら説明する。まず、図４を参照して、本実施形態に係る知的処理部２２０が実行し得る知的処理の一例について説明する。図４は、本実施形態に係る入力データと知的処理との関係を示す図である。
【００５３】
図４に示すように本実施形態に係る知的処理部２２０は、種々の入力データに基づいて、種々の知的処理を実行し得る。本実施形態に係る知的処理部２２０は、例えば、静止画像や動画像に基づいてクラス分類を実行し、当該クラス分類に係る判定結果を出力してもよい。
【００５４】
また、本実施形態に係る知的処理部２２０は、例えば、静止画像や動画像に基づいてセグメンテーション処理を実行し、当該セグメンテーション処理に係る判定結果や判定領域を出力してもよい。
【００５５】
また、本実施形態に係る知的処理部２２０は、例えば、音声やテキストに基づく自然言語処理を行ってもよい。知的処理部２２０は、例えば、音声に基づく音声認識を実行し、当該音声認識の結果を出力することができる。また、知的処理部２２０は、例えば、音声やテキストに基づく機械翻訳を実行し、翻訳結果を出力してもよい。
【００５６】
また、本実施形態に係る知的処理部２２０は、静止画像、動画像、音声、テキスト、センサ情報などに基づく行動計画を実行し、当該行動計画に係る情報を出力してもよい。ここで、上記の行動計画には、ゲームにおける動作主体や、実空間における動作体に係る行動計画が含まれる。知的処理部２２０は、例えば、入力データに基づいて、ゲームにおいて次に実施すべき最適のアクションを計画し、当該次アクションの情報を出力することができる。また、知的処理部２２０は、例えば、入力データに基づいて、上記動作体が行うべき動作を決定し、当該動作を実現するための制御信号を出力してもよい。
【００５７】
また、本実施形態に係る知的処理部２２０は、例えば、静止画像や動画像、音声やテキストなどに基づいて創作を実行し、生成した創作物を出力してもよい。知的処理部２２０は、例えば、画像の生成や加工、楽曲の生成や加工、小説の執筆などを行うことが可能である。
【００５８】
以上、本実施形態に係る知的処理部２２０が実行し得る知的処理の一例について説明した。続いて、上記の各知的処理結果に対し、本実施形態に係る出力制御部２３０が実行し得る加工について具体例を挙げながら説明する。
【００５９】
まず、知的処理部２２０がクラス分類を行う場合における出力制御部２３０の加工処理について具体例を挙げて説明する。図５は、本実施形態に係るクラス分類結果の加工について説明するための図である。
【００６０】
図５に示す一例の場合、ロバを被写体とする画像が入力データＩ１として知的処理部２２０に入力されている。また、知的処理部２２０は、入力データＩ１に基づいてクラス分類を実行し、知的処理結果ＴＯ１として、クラス部類結果「ロバ」を出力している。
【００６１】
ここで、攻撃検出部２１０が入力データＩ１の入力が学習知識の不正取得を目的とする入力であると判定した場合、出力制御部２３０は、知的処理部２２０が出力した知的処理結果ＴＯ１を加工し、加工後の知的処理結果ＦＯ１を情報処理端末１０に出力させる。図５に示す一例の場合、出力制御部２３０は、クラス分類結果を「ロバ」から「ウマ」に加工した加工後の知的処理結果ＦＯ１を生成している。
【００６２】
このように、本実施形態に係る出力制御部２３０は、第三者による入力が正規の利用用途ではないと判定された場合、クラス分類結果の少なくとも一部のラベルまたは信頼度などを加工し、加工後のクラス分類結果を情報処理端末１０に出力させてよい。
【００６３】
なお、出力制御部２３０は、例えば、予めクラス間の近さを算出しておき、知的処理部２２０が出力したクラスと近い別のクラスのラベルにクラス分類結果を加工してもよいし、知的処理部２２０によるクラス分類処理において信頼度が２番目や３番目に高かったクラスのラベルにクラス分類結果を加工してもよい。上記のような加工によれば、まったく異なるクラスにラベルを加工するのとは違い、攻撃者に加工が気付かれづらいことから、当該攻撃者からの入力データを継続的に収集できる可能性が向上することが予測される。
【００６４】
次に、知的処理部２２０がセグメンテーション処理を行う場合における出力制御部２３０の加工処理について具体例を挙げて説明する。図６は、本実施形態に係るセグメンテーション処理結果の加工について説明するための図である。
【００６５】
図６に示す一例の場合、人の手を被写体とする画像が入力データＩ２として知的処理部２２０に入力されている。また、知的処理部２２０は、入力データＩ２に基づいて手に係るセグメンテーション処理を実行し、知的処理結果ＴＯ２として、検出された手の領域を出力している。
【００６６】
ここで、攻撃検出部２１０が入力データＩ２の入力が学習知識の不正取得を目的とする入力であると判定した場合、出力制御部２３０は、知的処理部２２０が出力した知的処理結果ＴＯ２を加工し、加工後の知的処理結果ＦＯ２を情報処理端末１０に出力させる。図６に示す一例の場合、出力制御部２３０は、検出された手の領域に係る精度を劣化させた知的処理結果ＦＯ２を生成している。
【００６７】
このように、本実施形態に係る出力制御部２３０は、第三者による入力が正規の利用用途ではないと判定された場合、セグメンテーション処理結果の少なくとも領域やクラス、また信頼度などを加工し、加工後のセグメンテーション処理結果を情報処理端末１０に出力させてよい。
【００６８】
なお、図６に示す加工後の知的処理結果ＦＯ２においては、説明のために領域の検出精度が大きく劣化した状態で示されているが、実際には、攻撃者による目視では加工前の領域と区別ができない程度の劣化程度であってよい。例えば、領域を単にノイズ処理するだけでも、加工後のセグメンテーション処理結果を教師データとして学習する場合、認識器の認識精度が大きく低下することが予想される。
【００６９】
次に、知的処理部２２０が自然言語処理を行う場合における出力制御部２３０の加工処理について具体例を挙げて説明する。図７は、本実施形態に係る自然言語処理結果の加工について説明するための図である。
【００７０】
図７に示す一例の場合、人の音声が入力データＩ３として知的処理部２２０に入力されている。また、知的処理部２２０は、入力データＩ３に基づいて音声認識処理を実行し、知的処理結果ＴＯ３として、認識された文字列を出力している。
【００７１】
ここで、攻撃検出部２１０が入力データＩ３の入力が学習知識の不正取得を目的とする入力であると判定した場合、出力制御部２３０は、知的処理部２２０が出力した知的処理結果ＴＯ３を加工し、加工後の知的処理結果ＦＯ３を情報処理端末１０に出力させる。図７に示す一例の場合、出力制御部２３０は、「ｆｒｉｓｔ」、「ａｌｗｙａｓ」、「ｈａｒｄｓｅｔ」など一部の単語における文字の順序を入れ替えた知的処理結果ＦＯ３を生成している。
【００７２】
このように、本実施形態に係る出力制御部２３０は、第三者による入力が正規の利用用途ではないと判定された場合、自然言語処理結果の少なくとも一部の文字列を加工し、加工後の自然言語処理結果を情報処理端末１０に出力させてよい。なお、文字列の加工例としては、図示したような順序の入れ替えの他、同音異義語への変換や脱字などが挙げられる。
【００７３】
次に、知的処理部２２０が行動計画を行う場合における出力制御部２３０の加工処理について具体例を挙げて説明する。図８は、本実施形態に係る行動計画情報の加工について説明するための図である。
【００７４】
図８に示す一例の場合、チェスにおける戦局の状況が入力データＩ４として知的処理部２２０に入力されている。また、知的処理部２２０は、入力データＩ４に基づいて次アクションの探索を実行し、「ナイト」を「ｆ６」に移動させる次アクションの情報を知的処理結果ＴＯ４として、認識された文字列を出力している。
【００７５】
ここで、攻撃検出部２１０が入力データＩ４の入力が学習知識の不正取得を目的とする入力であると判定した場合、出力制御部２３０は、知的処理部２２０が出力した知的処理結果ＴＯ４を加工し、加工後の知的処理結果ＦＯ４を情報処理端末１０に出力させる。図８に示す一例の場合、出力制御部２３０は、「ナイト」を「ｈ６」に移動させるよう次アクションの情報を加工した知的処理結果ＦＯ４を生成している。
【００７６】
このように、本実施形態に係る出力制御部２３０は、第三者による入力が正規の利用用途ではないと判定された場合、行動計画情報の少なくとも一部を加工し、加工後の行動計画情報を情報処理端末１０に出力させてよい。なお、上述したように、本実施形態に係る行動計画には、ゲームにおける次アクションの情報や、動作体の制御情報が含まれる。出力制御部２３０は、例えば、ゲーム内において次に実施するアクションが最適解でなくなるよう次アクションの情報を加工したり、動作体の動作が変化するよう制御情報の少なくとも一部を加工することができる。
【００７７】
次に、知的処理部２２０が創作を行う場合における出力制御部２３０の加工処理について具体例を挙げて説明する。図９は、本実施形態に係る創作物の加工について説明するための図である。なお、図９においては、知的処理部２２０が、入力される画像を所定の画風に変換する処理を行う場合を例に説明する。
【００７８】
図９に示す一例の場合、加工対象となる人物画像が入力データＩ５として、知的処理部２２０に入力されている。また、知的処理部２２０は、入力された入力データＩ５を所定の画風に変換した知的処理結果ＴＯ５を出力している。なお、図９では、上記所定の画風が、画像中の構成要素を矩形で表現する画風であるとする。
【００７９】
ここで、攻撃検出部２１０が入力データＩ５の入力が学習知識の不正取得を目的とする入力であると判定した場合、出力制御部２３０は、知的処理部２２０が出力した知的処理結果ＴＯ５を加工し、加工後の知的処理結果ＦＯ５を情報処理端末１０に出力させる。図９に示す一例の場合、出力制御部２３０は、画像中の矩形を角の丸い四角形に加工した知的処理結果ＦＯ５を生成している。このように変化の少ない加工であっても、本来の所定の画風に対しては品質が劣化していると捉えることができ、蒸留先モデルが生成する創作物の価値を低下させることが可能である。
【００８０】
このように、本実施形態に係る出力制御部２３０は、第三者による入力が正規の利用用途ではないと判定された場合、創作物の少なくとも一部を加工し、加工後の創作物を情報処理端末１０に出力させてよい。
【００８１】
次に、知的処理部２２０が複数の認識や予測を含む複合的な知的処理を実行する場合について説明する。本実施形態に係る知的処理部２２０は、単一の入力データに対し、複数の認識結果や予測結果を含む知的処理結果を出力することも可能である。
【００８２】
図１０は、本実施形態に係る複数の要素を含む知的処理結果の加工について説明するための図である。なお、図１０においては、知的処理部２２０が、入力される人物画像に基づいて、顔領域の認識、目領域の認識、表情（感情）推定、顔の傾き認識を行う場合を例に説明する。
【００８３】
図１０に示す一例の場合、人物の顔を含む画像が入力データＩ６として知的処理部２２０に入力されている。また、知的処理部２２０は、入力データＩ６に基づいて上記の要素を含む複合的な知的処理を実行し、顔領域、目領域、および顔の傾きの認識結果と、表情推定の結果を含む複合的な知的処理結果ＴＯ６を出力している。
【００８４】
ここで、攻撃検出部２１０が入力データＩ６の入力が学習知識の不正取得を目的とする入力であると判定した場合、出力制御部２３０は、知的処理部２２０が出力した知的処理結果ＴＯ６が含む複数の要素のうち少なくとも１つを加工し、加工後の知的処理結果ＦＯ６を情報処理端末１０に出力させる。
【００８５】
なお、この際、本実施形態に係る出力制御部２３０は、複数の要素のうち、学習済モデルの公開者により指定された要素を加工してよい。学習済モデルの公開者は、後述するユーザインタフェースにおいて、複数の要素のうち学習知識の不正取得を特に防止したい要素を指定することが可能である。図１０に示す一例の場合、出力制御部２３０は、上記のような指定に基づいて、４つの要素のうち、目領域の認識結果と顔の傾きに係る認識結果とを加工している。本実施形態に係る出力制御部２３０が有する上記の機能によれば、知的処理が複数の処理から複合的に成る場合において、公開者が特に重視する処理の学習知識を効果的に保護することが可能となる。
【００８６】
＜＜１．６．処理の流れ、および防御策の設定＞＞
次に、図１１および図１２を参照して、本実施形態に係る情報処理サーバ２０の処理の流れ、および防御策の設定について詳細に説明する。図１１は、本実施形態に係る情報処理サーバ２０の処理の流れを示す概念図である。また、図１２は、本実施形態に係る防御策ＤＢ２４０が記憶する防御策設定の一例を示す図である。
【００８７】
図１１を参照すると、まず、情報処理端末１０から送信された入力データＩが、攻撃検出部２１０に入力される。
【００８８】
次に、攻撃検出部２１０は、入力された入力データＩが学習知識の不正取得を目的とするものか否かを判定する。すなわち、攻撃検出部２１０は、攻撃者による攻撃の検出を試みる。この際、攻撃検出部２１０は、防御策ＤＢ２４０を参照し、対応する攻撃検出器を用いて攻撃の検出を試みる。
【００８９】
図１２を参照すると、本実施形態に係る防御策ＤＢ２４０には、例えば、入力データ種別、知的処理種別、ドメイン、攻撃種別ごとに、対応する攻撃検出器および防止策が設定されている。
【００９０】
本実施形態に係る攻撃検出部２１０は、例えば、入力された入力データＩが生成器「Ｒａｎｄｏｍ−Ａ」により生成された「画像」であり、知的処理部２２０が実行する知的処理がドメイン「動物」の「クラス分類」である場合、条件に対応する攻撃検出器「Ｒａｎｄｏｍ−Ａ−ｄｅｔｅｃｔｏｒ」を用いて攻撃の検出を試みてよい。
【００９１】
このように、本実施形態に係る攻撃検出部２１０は、入力データＩや知的処理部２２０が実行する知的処理の特性ごとに適した攻撃検出器を選択することで、攻撃者による攻撃を精度高く検出することが可能である。
【００９２】
また、学習済モデルを公開する公開者Ｐは、上述したような条件に応じた防御策を自由に設定できてよい。このために、本実施形態に係る出力制御部２３０は、第三者による学習知識の不正取得に対する防御策を公開者Ｐが設定するためのユーザインタフェースの出力を制御する機能を有する。
【００９３】
公開者Ｐは、例えば、出力制御部２３０により提供されるチェックツールＣＴを利用して、第三者により入力された入力データＩを確認し、攻撃の手段を把握したうえで、当該攻撃に対する防御策を防御策ＤＢ２４０に設定することが可能である。
【００９４】
図１２に示す一例の場合、公開者Ｐは、例えば、入力された入力データＩが生成器「Ｒａｎｄｏｍ−Ａ」により生成された「画像」であり、知的処理部２２０が実行する知的処理がドメイン「動物」の「クラス分類」である場合の防御策として、「信頼度３位のラベルを出力」する防御策を設定している。
【００９５】
また、公開者Ｐは、例えば、入力された入力データＩが生成器「ＧＡＮ−Ａ」により生成された「画像」であり、知的処理部２２０が実行する知的処理がドメイン「顔」の「セグメンテーション」である場合の防止策として「ノイズ付与・小」に係る防御策を、ドメイン「目」の「セグメンテーション」である場合の防御策として「ノイズ付与・大」と「領域の拡大」を設定している。
【００９６】
このように、例えば、「顔」と「目」のセグメンテーションを同時に実行する複合的な知的処理が行われる場合には、公開者Ｐは、上述した要素ごとに異なるレベルの防御策を設定することができてよい。これによれば、公開者Ｐが特に重視する学習知識を攻撃から保護することが可能となる。
【００９７】
再び、図１１を参照して、本実施形態に係る情報処理サーバ２０の処理の流れについて説明を続ける。攻撃検出部２１０による攻撃検出が実行された後、知的処理部２２０は、入力された入力データＩに基づく知的処理を実行し、知的処理結果ＴＯを出力する。
【００９８】
ここで、攻撃検出部２１０により入力データＩが学習知識の不正取得を目的とするものであると判定されている場合、出力制御部２３０は、対策ＤＢ２４０を参照し、公開者Ｐにより設定された防御策に基づいて知的処理結果ＴＯを加工し、加工後の知的処理結果ＦＯを生成する。すなわち、本実施形態に係る出力制御部２３０は、入力データＩの種別および生成手法と、知的処理の種別およびドメインに対応する防御策に基づいて、知的処理結果ＴＯを加工し、加工後の知的処理結果ＦＯを情報処理端末１０に出力させることが可能である。
【００９９】
本実施形態に係る出力制御部２３０が有する上記の機能によれば、公開者Ｐによる設定に基づいて学習知識を保護しながらも、第三者に防御策を講じていることを悟らせずに、その後も継続して入力データを入力させることができる。これによれば、入手した入力データから、用いられる乱数生成器やＧＡＮなどによるデータ生成器、またインターネット上で入手可能なデータセットなどの特徴を分析し、攻撃検出部２１０による攻撃検出アルゴリズムを先回りで強化することが可能となる。
【０１００】
本実施形態に係る情報処理サーバ２０の処理の流れ、および防御策の設定について詳細に説明した。なお、図１２では、攻撃検出部２１０による攻撃検出が、知的処理部２２０による知的処理に先んじて実行される場合を例に述べたが、本実施形態に係る攻撃検出は、知的処理部２２０による知的処理の実行後に行われてもよい。また、本実施形態に係る攻撃検出は、知的処理部２２０による知的処理の一部として実行されてもよい。
【０１０１】
また、上記では本実施形態に係る学習知識の不正取得が主に蒸留を目的とするものとして説明したが、本実施形態に係る不正取得は係る例に限定されない。例えば、攻撃者が転移学習に利用するための学習知識を公開される学習済モデルから不正取得することも想定される。通常、転移学習では、あるドメインにおいて学習された学習知識に係る重み等を捨て、別のドメインでの再学習が行われるが、この場合であっても、公開される学習モデルが土台となる元の学習知識として不正に利用されることを防ぐことで、公開者の資産を適切に保護することが可能である。
【０１０２】
＜２．ハードウェア構成例＞
次に、本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例について説明する。図１３は、本開示の一実施形態に係る情報処理サーバ２０のハードウェア構成例を示すブロック図である。図１３を参照すると、情報処理サーバ２０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１０３】
（プロセッサ８７１）
プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１０４】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１０５】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１０６】
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
【０１０７】
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
【０１０８】
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１０９】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１１０】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１１１】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１１２】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１１３】
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１１４】
＜３．まとめ＞
以上説明したように、本開示の一実施形態に係る情報処理サーバ２０は、第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御する出力制御部２３０を備える。また、本開示の一実施形態に係る出力制御部２３０は、第三者による入力が正規の利用用途ではないと判定された場合、知的処理結果を品質が低下するよう加工し、加工後の知的処理結果を出力させること、を特徴の一つとする。係る構成によれば、学習知識の不正取得を防止しながら攻撃手法を分析するためのデータを効率的に収集することが可能となる。
【０１１５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１７】
また、本明細書の情報処理サーバ２０処理の流れは、必ずしも図示した順序に沿って時系列に処理される必要はない。例えば、情報処理サーバ２０の各処理は、図示された順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１１８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御する出力制御部、
を備え、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記知的処理結果を品質が低下するよう加工し、加工後の前記知的処理結果を出力させる、
情報処理装置。
（２）
前記出力制御部は、前記第三者による入力が前記学習知識の不正取得を目的とするものであると判定された場合、前記第三者にとって品質低下の知覚が困難な程度に前記知的処理結果の品質が低下するよう加工し、加工後の前記知的処理結果を出力させる、
前記加工後の知的処理結果を出力させる、
前記（１）に記載の情報処理装置。
（３）
前記出力制御部は、前記第三者による入力が前記学習知識の蒸留を目的とするものであると判定された場合、蒸留先モデルによる知的処理の品質が蒸留元モデルによる知的処理の品質と比較して低下するよう前記知的処理結果を加工し、加工後の前記知的処理結果を出力させる、
前記（１）または（２）に記載の情報処理装置。
（４）
前記知的処理結果は、クラス分類結果を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記クラス分類結果の少なくとも一部のラベルまたは信頼度を加工し、加工後の前記クラス分類結果を出力させる、
前記（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記知的処理結果は、セグメンテーション結果を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記セグメンテーション結果の少なくとも一部の領域、クラス、または信頼度を加工し、加工後の前記セグメンテーション結果を出力させる、
前記（１）〜（４）のいずれかに記載の情報処理装置。
（６）
前記知的処理結果は、自然言語処理結果を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記自然言語処理結果の少なくとも一部の文字列を加工し、加工後の前記自然言語処理結果を出力させる、
前記（１）〜（５）のいずれかに記載の情報処理装置。
（７）
前記知的処理結果は、行動計画情報を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記行動計画情報の少なくとも一部を加工し、加工後の行動計画情報を出力させる、
前記（１）〜（６）のいずれかに記載の情報処理装置。
（８）
前記行動計画情報は、ゲームにおける次アクション情報を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記ゲーム内において次に実施するアクションが最適解でなくなるよう前記次アクション情報を加工し、加工後の前記次アクション情報を出力させる、
前記（７）に記載に情報処理装置。
（９）
前記行動計画情報は、動作体の制御情報を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記動作体の動作が変化するよう前記制御情報の少なくとも一部を加工し、加工後の前記制御情報を出力させる、
前記（７）または（８）に記載の情報処理装置。
（１０）
前記知的処理結果は、創作物を含み、
前記出力制御部は、前記第三者による入力が正規の利用用途ではないと判定された場合、前記創作物の品質が低下するように前記創作物の少なくとも一部を加工し、加工後の前記創作物を出力させる、
前記（１）〜（９）のいずれかに記載の情報処理装置。
（１１）
前記知的処理結果は、認識結果または予測結果の複数の要素から成り、
前記出力制御部は、前記複数の要素のうち少なくとも１つを加工し、加工後の前記知的処理結果を出力させる、
前記（１）〜（１０）のいずれかに記載の情報処理装置。
（１２）
前記出力制御部は、前記複数の要素のうち公開者により指定された要素を加工し、加工後の前記知的処理結果を出力する、
前記（１１）に記載の情報処理装置。
（１３）
前記出力制御部は、前記第三者による前記学習知識の不正取得に対する防御策を公開者が設定するためのユーザインタフェースの出力を制御する、
前記（１）〜（１１）のいずれかに記載の情報処理装置。
（１４）
前記出力制御部は、前記ユーザインタフェースにおいて設定された前記防御策に基づいて前記知的処理結果を加工する、
前記（１３）に記載の情報処理装置。
（１５）
前記出力制御部は、前記入力データの種別および生成手法と、前記学習知識に基づく知的処理の種別およびドメインに対応する防御策に基づいて、前記知的処理結果を加工する、
前記（１４）に記載の情報処理装置。
（１６）
前記出力制御部は、前記第三者により入力された前記入力データを公開者が確認するためのチェックツールの提供を制御する、
前記（１）〜（１５）のいずれかに記載の情報処理装置。
（１７）
前記第三者による非正規利用行為を検出する攻撃検出部、
をさらに備える、
前記（１）〜（１６）のいずれかに記載の情報処理装置。
（１８）
前記攻撃検出部は、前記入力データの種別および生成手法と、前記学習知識に基づく知的処理の種別およびドメインに対応する攻撃検出器を用いて、前記非正規利用行為を検出する、
前記（１７）に記載の情報処理装置。
（１９）
入力されるデータと前記学習知識とに基づく知的処理を実行する知的処理部、
をさらに備える、
前記（１）〜（１８）のいずれかに記載の情報処理装置。
（２０）
プロセッサが、第三者により入力された入力データとニューラルネットワークにより学習された学習知識とに基づく知的処理結果の出力を制御すること、
を含み、
前記制御することは、前記第三者による入力が正規の利用用途ではないと判定された場合、前記知的処理結果を品質が低下するよう加工し、加工後の前記知的処理結果を出力させること、
をさらに含む、
情報処理方法。
【符号の説明】
【０１１９】
１０      情報処理端末
１１０    入力部
１２０    センサ部
１３０    表示部
１４０    制御部
１５０    サーバ通信部
２０      情報処理サーバ
２１０    攻撃検出部
２２０    知的処理部
２３０    出力制御部
２４０    防御策ＤＢ
２５０    端末通信部
ＣＴ      チェックツール
【図１】
2019181099.tif 000003
【図２】
2019181099.tif 000004
【図３】
2019181099.tif 000005
【図４】
2019181099.tif 000006
【図５】
2019181099.tif 000007
【図６】
2019181099.tif 000008
【図７】
2019181099.tif 000009
【図８】
2019181099.tif 000010
【図９】
2019181099.tif 000011
【図１０】
2019181099.tif 000012
【図１１】
2019181099.tif 000013
【図１２】
2019181099.tif 000014
【図１３】
2019181099.tif 000015
【国際調査報告】
2019181099.tif 000016
2019181099.tif 000017