(57)【要約】【課題】  ニューラルネットワークを用いて、データから所望の性質を表す特徴を選択的に抽出する。その特徴を利用して各種用途のデータ処理を行う。【解決手段】  データ処理システム１は、データセットDS#1の共通特徴Fu#1と、データセットDS#1の個々のデータレコードD#1の固有特徴Fiを抽出する固有特徴抽出関数αと、固有特徴FiからデータレコードD＃１を復元するデータ復元関数δと、固有特徴Fiからデータレコードが由来するデータセットを識別する由来識別関数ηを備える。関数α、δ、ηはそれぞれニューラルネットワークにより構成され得る。共通特徴Fu#1と関数α、δ、ηは、データセットDE#1を用いたディープラーニングにより最適化される。【選択図】  図１
2019061512.tif 000002
【特許請求の範囲】
【請求項１】
所与のデータセットからデータレコードを入力して処理するシステムにおいて、
前記データセットに内在する共通特徴と、前記データセット内の前記データレコードに個別に内在する固有特徴とを分離して得るために、
前記共通特徴を提供する共通特徴提供手段と、
前記共通特徴提供手段からの前記共通特徴と、前記データセットからの前記データレコードとを入力して、前記データレコードから前記固有特徴を抽出する固有特徴抽出手段と、
を備え、
前記固有特徴抽出手段が、前記共通特徴と前記データレコードとを入力して前記入力されたデータレコードから前記固有特徴を抽出する固有特徴抽出関数として用いられるための第１のニューラルネットワークを有し、
前記共通特徴提供手段が、前記共通特徴として用いられるための設定値、または、前記データセットを入力して前記共通特徴を抽出する共通特徴抽出関数として用いられるための第２のニューラルネットワークを有する、
データ処理システム。
【請求項２】
請求項１記載のデータ処理システムにおいて、
前記固有特徴抽出手段により前記データレコードから抽出される前記固有特徴が、前記データセットの前記共通特徴から独立である、
データ処理システム。
【請求項３】
請求項１乃至２のいずれか一項記載のデータ処理システムにおいて、
所与の異種の複数の前記データセットからの異種の複数の前記データレコードを統一的に処理するために、
前記異種の複数のデータセットにそれぞれ内在する異なる複数の前記共通特徴をそれぞれ出力する複数の前記共通特徴抽出手段と、
前記複数の共通特徴提供手段からの前記異なる複数の共通特徴と、前記異種の複数のデータセットからの前記異種の複数の前記データレコードとを、それぞれ入力して、前記異種の複数のデータレコードから前記固有特徴をそれぞれ抽出する複数の前記固有特徴抽出手段と、
前記複数の固有特徴抽出手段からそれぞれ出力される前記固有特徴を入力して統一的に処理する統一的データ処理手段と
を備えたデータ処理システム。
【請求項４】
請求項３記載のデータ処理システムにおいて、
前記異種の複数のデータセットがデータ構造において相違するデータ処理システム。
【請求項５】
請求項３記載のデータ処理システムにおいて、
前記異種の複数のデータセットがデータ取得の場所、環境またはシチュエーションにおいて相違するデータ処理システム。
【請求項６】
請求項１乃至２のいずれか一項記載のデータ処理システムにおいて、
前記データセットからの前記データレコードを、固有特徴においては共通するが共通特徴においては相違する異種のデータレコードに変換するために、
前記共通特徴提供手段からの前記共通特徴とは異なる第２の共通特徴を提供する第２の共通特徴提供手段と、
前記第２の共通特徴提供手段からの前記第２の共通特徴と、前記固有特徴抽出手段からの前記固有特徴とを入力して、前記第２の共通特徴と前記固有特徴とを内包する第２のデータレコードを復元するデータ復元手段と、
をさらに備えたデータ処理システム。
【請求項７】
請求項１乃至２のいずれか一項記載のデータ処理システムにおいて、
前記データセットからの前記データレコードを、固有特徴においては共通するが共通特徴においては相違する異種のデータレコードに変換するために、
前記共通特徴提供手段からの前記共通特徴を入力して、前記入力された共通特徴をそれとは異なる第２の共通特徴に編集して出力する共通特徴編集手段と、
前記共通特徴編集手段からの前記第２の共通特徴と、前記固有特徴抽出手段からの前記固有特徴とを入力して、前記固有特徴と前記第２の共通特徴とを内包する第２のデータレコードを復元するデータ復元手段と
を備えたデータ処理システム。
【請求項８】
請求項６乃至７のいずれか一項記載のデータ処理システムにおいて、
前記データ復元手段が、前記第２の共通特徴と前記固有特徴とを入力して前記第２のデータレコードを復元するデータ復元関数として用いられるための第３のニューラルネットワークを有する、
データ処理システム。
【請求項９】
請求項２記載のデータ処理システムにおいて、
データ処理に不要な情報を前記データセットが共通にもつ場合、前記不要情報から前記データ処理の結果を隔離するために、
前記共通特徴提供手段が、前記データセットに内在する前記不要情報を表した前記共通情報を提供し、
前記固有情報抽出手段が、前記入力されたデータレコードから、前記共通情報から独立な前記固有情報を抽出し、
前記固有情報抽出手段からの前記固有情報を入力して、前記入力された固有情報に所定の処理を行うデータ処理手段をさらに備えた、
データ処理システム。
【請求項１０】
請求項１乃至２のいずれか一項記載のデータ処理システムにおいて、
前記データセットを圧縮して保存するために、
前記データセットの前記共通特徴と、前記データレコードの前記固有特徴とを保存するストレージ手段をさらに備えたデータ処理システム。
【請求項１１】
請求項１０記載のデータ処理システムにおいて、
前記ストレージ手段から前記共通特徴と前記固有特徴とを入力して、前記データレコードを復元するデータ復元手段をさらに備えたデータ処理システム。
【請求項１２】
請求項１乃至２のいずれか一項記載のデータ処理システムにおいて、
機械学習を行うことで、前記共通特徴および前記固有特徴抽出手段の性能を高めるために、
前記共通特徴提供手段からの前記共通特徴と、前記固有特徴抽出手段からの前記固有特徴とを入力して、前記データレコードを復元するデータ復元手段をさらに備え、
前記共通特徴提供手段は、前記共通特徴として用いられるための設定値を有し、
前記固有特徴抽出手段は、前記固有特徴抽出関数として用いられるための前記第１のニューラルネットワークを有し、
前記データ復元手段は、前記データセットの前記共通特徴と前記データレコードの前記固有特徴とを入力して前記データレコードを復元するためのデータ復元関数、として用いられるための第３のニューラルネットワークを有し、
前記データセットからの多数のデータレコードを前記データ処理システムに入力して前記固有特徴抽出手段および前記データ復元手段を動作させ、そして、前記データ復元手段の復元誤差が減少するように、前記共通特徴の設定値、前記第１のニューラルネットワーク、および第３のニューラルネットワークのそれぞれを調整する、ことを繰り返す第１のプロセスを含む機械学習プロセスを行うことができる、
データ処理システム。
【請求項１３】
請求項１２記載のデータ処理システムにおいて、
前記固有特徴抽出手段からの前記固有特徴を入力して、前記データレコードが由来する由来データセットを識別する由来識別手段をさらに備え、
前記由来識別手段は、前記固有特徴から前記由来データセットを識別する由来識別関数、として用いられるための第４のニューラルネットワークを有し、
前記機械学習プロセスは、前記第１のプロセスに加えて、第２のプロセスをさらに含み、
前記第１のプロセスは、前記データセットからの多数のデータレコードを前記データ処理システムに入力して前記固有特徴抽出手段、前記データ復元手段、および前記由来識別手段を動作させ、そして、前記データ復元手段の復元誤差が減少し、かつ前記由来識別手段の正解確率が減少するように、前記共通特徴の設定値、前記第１のニューラルネットワーク、および第３のニューラルネットワークのそれぞれ調整する、ことを繰り返し、
前記第２のプロセスは、前記データセットからの多数のデータレコードを前記データ処理システムに入力して前記固有特徴抽出手段、前記データ復元手段、および前記由来識別手段を動作させ、そして、前記由来識別手段の正解確率が上昇するように、前記第４のニューラルネットワークを調整する、ことを繰り返し、
前記機械学習プロセスは、前記第１のプロセスと前記第２のプロセスを交互に繰り返すことを含む、
データ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般には、ニューラルネットワークを用いて、画像、音声または文字列などの任意の種類のデータを処理する技術に関し、特に、データに内在する何らかの特徴を利用してデータの記憶、出力、変換、編集、加工、学習、推論、計算または復元など、所望の処理を行うための技術に関する。
【背景技術】
【０００２】
ニューラルネットワークを用いて、データの特徴を抽出する技術が知られている。例えば特許文献１には、心電図信号を用いてユーザ認証を行うために、ニューラルネットワークを用いてユーザの心電図信号からセマンティック特徴を抽出し、抽出されたセマンティック特徴を用いてユーザを認証するか否かを判断することが開示されている。
【０００３】
画像や音声から特徴を抽出する手法として、スパースコーディングという方法が知られている。スパースコーディングによれば、複雑な画像が、単純な基底画像の重み付き和によって再構成され得る。例えば特許文献２には、画像を分類するために、スパースコーディング法を用いて、視覚辞書内の複数の視覚単語によって画像の特徴を定量化することが開示されている。
【０００４】
画像から抽出した特徴がどの属性に対応するかを分析し、特徴から画像を逆に生成することを可能としたニューラルネットワークモデルとして、Variational Autoencoder（VAE）というモデルが知られている。例えば非特許文献１には、画像とテキストのような異なるモーダル情報を入力して学習を行うマルチモーダル学習にVAEを適用したモデルが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2017-123170号公報
【特許文献２】特開2015-506026号公報
【０００６】
【非特許文献１】鈴木雅大および松尾豊「深層生成モデルを用いたマルチモーダル学習」(https://kaigi.org/jsai/webprogram/2016/pdf/727.pdf), The 30th Annual Conference of the Japanese Society for Artificial Intelligence, 2016, 1A3-OS-27a-3
【発明の概要】
【発明が解決しようとする課題】
【０００７】
多数のIoT機器が接続し合い多種多様なデータが収集され活用される今後のデータ利用社会において、データが持つ様々な性質を表す特徴の中から、データ利用目的に適した特徴を選択的に抽出可能にする技術の開発が望まれている。
【０００８】
従来技術は、データから所望の性質を表す特徴を選択的に抽出する性能において、実用的なレベルにまだ達していない。
【０００９】
本発明の一つの目的は、ニューラルネットワーク技術を応用して、データから所望の性質を表す特徴を選択的に抽出する性能を高めることにある。
【００１０】
本発明の他の目的は、データから抽出された特徴を利用した新規なデータ処理技術を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一実施形態に従う、所与のデータセットからデータレコードを入力して処理するシステムは、そのデータセットに内在する共通特徴と、データセット内のデータレコードに個別に内在する固有特徴とを分離して得る用途に利用できる。
【００１２】
この共通特徴と固有特徴を分離して得る用途に利用されたデータ処理システムは、前記共通特徴を提供する共通特徴提供手段と、その共通特徴提供手段からの共通特徴と、前記データセットからのデータレコードとを入力して、その入力データレコードからその固有特徴を抽出する固有特徴抽出手段とを備える。
【００１３】
前記固有特徴抽出手段は、共通特徴とデータレコードとを入力してその入力データレコードから固有特徴を抽出する固有特徴抽出関数、として用いられるための第１のニューラルネットワークを有する。
【００１４】
前記共通特徴提供手段は、共通特徴として用いられるための設定値を有する。または、前記共通特徴提供手段は、前記データセットを入力してその共通特徴を抽出する共通特徴抽出関数、として用いられるための第２のニューラルネットワークを有する。
【００１５】
このように構成されたデータ処理システムによれば、前記データセットを用いた機械学習を行って、前記固有特徴抽出手段の第１のニューラルネットワークと、前記共通特徴提供手段の共通特徴としての設定値または第２のニューラルネットワークとを訓練または最適化することにより、データセットに内在する共通特徴と、個々のデータレコードに個別に内在する固有特徴とを分離して得る性能が獲得できる。
【００１６】
このデータ処理システムでは、好ましくは、前記固有特徴抽出手段により個々のデータレコードから抽出される固有特徴が、データセットの共通特徴から独立である。ここで、固有特徴が共通特徴から「独立」であるとは、各データレコードの固有特徴のみからでは、そのデータレコードが由来するデータセットが何であるかを識別することが実用上できない、（換言すれば、そのデータレコードに内在する共通特徴が何であるかを特定することが実用上できない）ことを意味する。共通特徴から独立な固有特徴を利用することにより、データセットがもつ共通の性質の影響から隔離されたデータ処理が可能であり、それは、後に複数の例を挙げて説明するように、様々な用途において有益である。
【００１７】
このように共通特徴から独立な固有特徴を抽出する性能を前記固有特徴抽出手段に獲得させるために、上述した機械学習が利用できる。
【００１８】
本発明の一実施形態に従うデータ処理システムは、所与の異種の複数のデータセットからの異種の複数のデータレコードを統一的に処理する用途に利用することができる。
【００１９】
ここで、「異種」のデータセットまたはデータレコードとは、そこに内在する共通特徴が相互に異なるということである。例えば、画像データセット、音声データセット、テキストデータセットは、データ構造に関する共通特徴において相互に異なる。また、A地点の設置カメラからの画像データセットと、B地点の設置カメラからの画像データセットとは、データ取得の場所、環境またはシチュエーションに関わる共通特徴おいて相違する。
【００２０】
このような異種データの統一的処理に応用され得る一実施形態にかかるデータ処理システムは、異種の複数のデータセットにそれぞれ内在する異なる複数の共通特徴をそれぞれ出力する複数の前記共通特徴抽出手段と、それら複数の共通特徴提供手段からの異なる複数の共通特徴と、前記異種の複数のデータセットからの異種の複数のデータレコードとを、それぞれ入力して、入力された前記異種の複数のデータレコードからそれぞれの固有特徴をそれぞれ抽出する複数の固有特徴抽出手段と、それら複数の固有特徴抽出手段からそれぞれ出力される固有特徴を入力して統一的に処理する統一的データ処理手段とを備える。
【００２１】
本発明の一実施形態に従うデータ処理システムは、データレコードを固有特徴にて共通するが共通特徴にて異なる異種のデータレコードに変換する用途に利用することができる。例えば、男性人物の顔画像を、その人物の個性や表情を維持しつつ、女性の顔画像に変換する、あるいは、日本語のテキストデータをその意味内容は維持しつつ英語のテキストデータに変換する、というような応用があり得る。
【００２２】
このような異種データへの変換に応用され得る本発明の一実施形態に従うデータ処理システムは、前記共通特徴提供手段からの共通特徴とは異なる第２の共通特徴を提供する第２の共通特徴提供手段と、その第２の共通特徴提供手段からの第２の共通特徴と、前記固有特徴抽出手段からの各データレコードの固有特徴とを入力して、各データレコードの第２の共通特徴と前記固有特徴とを内包する第２のデータレコードを復元するデータ復元手段とをさらに備える。
【００２３】
あるいは、異種データへの変換に応用され得る本発明の一実施形態に従うデータ処理システムは、前記共通特徴提供手段からの前記共通特徴を入力して、その入力共通特徴をそれとは異なる第２の共通特徴に編集して出力する共通特徴編集手段と、その共通特徴編集手段からの第２の共通特徴と、前記固有特徴抽出手段からの各データレコードの固有特徴とを入力して、各データレコードの固有特徴と上記第２の共通特徴とを内包する第２のデータレコードを復元するデータ復元手段とを備える。
【００２４】
ここで、前記データ復元手段は、第２の共通特徴と固有特徴とを入力してそれらを内包した第２のデータレコードを復元するデータ復元関数、として用いられるための第３のニューラルネットワークを有してよい。この第３のニューラルネットワークは、上記第２の共通特徴をもつ第２のデータセットを用いた機械学習を行うことで、上記復元関数として動作し得る性能を獲得することができる。
【００２５】
本発明の一実施形態に従うデータ処理システムは、前記データセットがデータ処理に不要な情報を共通に内包する場合に、その不要情報の影響からデータ処理を隔離する用途に利用できる。例えば、個人情報を内包するデータセットの処理結果からその個人情報が盗み取られないようにするために、個人情報からデータ処理を隔離する、あるいは、データ処理に障害を与えるノイズ情報からデータ処理を隔離する、などの応用があり得る。
【００２６】
このような不要情報からの隔離に応用され得る一実施形態に従うデータ処理システムは、前記共通特徴提供手段が、前記データセットに内在する不要情報を表した共通情報を提供し、前記固有情報抽出手段が、入力されたデータレコードから、前記共通情報から独立な固有情報を抽出する。そして、このデータ処理システムは、前記固有情報抽出手段からの固有情報を入力して、その入力固有情報に所定の処理を行うデータ処理手段をさらに備える。
【００２７】
本発明の一実施形態に従うデータ処理システムは、データセットを圧縮して保存する用途に利用することができる。このデータ圧縮保存に応用され得る一実施形態に従うデータ処理システムは、データセットの共通特徴と、個々のデータレコードの固有特徴とを保存するストレージ手段をさらに備える。
【００２８】
このデータ圧縮保存に応用され得るデータ処理システムは、さらに、前記ストレージ手段から共通特徴と各データレコードの固有特徴とを入力して、各データレコードを復元するデータ復元手段を備えてもよい。このデータ復元手段は、機械学習によってデータ復元性能を獲得できるニューラルネットワークを備えてよい。
【００２９】
本発明の一実施形態に従うデータ処理システムは、機械学習を行うことで、前記共通特徴および前記固有特徴抽出手段の性能を高めるために、以下のように構成されてよい。
【００３０】
すなわち、この機械学習により性能を向上させ得る一実施形態に従うデータ処理システムは、前記共通特徴提供手段からの共通特徴と、前記固有特徴抽出手段からの各データレコードの固有特徴とを入力して、各データレコードを復元するデータ復元手段をさらに備える。そして、前記共通特徴提供手段は、前記共通特徴として用いられるための設定値を有する。前記固有特徴抽出手段は、前記固有特徴抽出関数として用いられるための第１のニューラルネットワークを有する。前記データ復元手段は、データセットの共通特徴と各データレコードの固有特徴とを入力して各データレコードを復元するためのデータ復元関数、として用いられるための第３のニューラルネットワークを有する。
【００３１】
そして、この機械学習により性能を向上させ得る一実施形態に従うデータ処理システムは、前記データセットからの多数のデータレコードを入力して前記固有特徴抽出手段および前記データ復元手段を動作させ、そして、前記データ復元手段の復元誤差が減少するように、前記共通特徴の設定値、前記第１のニューラルネットワーク、および第３のニューラルネットワークのそれぞれを調整する、ことを繰り返す第１のプロセスを含む機械学習プロセスを行うことができる。
【００３２】
この機械学習プロセスを実行することにより、このデータ処理システムの前記共通特徴と前記固有特徴抽出手段の性能を高めて実用可能な性能を獲得することができる。
【００３３】
このように構成された、機械学習により性能が高め得るデータ処理システムは、さらに、次のような追加の構成を備えてよい。
【００３４】
すなわち、このデータ処理システムは、前記固有特徴抽出手段からの各データレコードの固有特徴を入力して、各データレコードが由来する由来データセットを識別する由来識別手段を、さらに備える。この由来識別手段は、前記固有特徴から前記由来データセットを識別する由来識別関数、として用いられるための第４のニューラルネットワークを有する。
【００３５】
そして、前記機械学習プロセスは、前記第１のプロセスに加えて、第２のプロセスをさらに含む。
【００３６】
さらに、前記第１のプロセスでは、このデータ処理システムは、前記データセットからの多数のデータレコードを前記固有特徴抽出手段、前記データ復元手段、および前記由来識別手段を動作させ、そして、前記データ復元手段の復元誤差が減少し、かつ前記由来識別手段の正解確率が減少するように、前記共通特徴の設定値、前記第１のニューラルネットワーク、および第３のニューラルネットワークのそれぞれ調整する、ことを繰り返す。
【００３７】
加えて、前記第２のプロセスでは、このデータ処理システムは、前記データセットからの多数のデータレコードを入力して前記固有特徴抽出手段、前記データ復元手段、および前記由来識別手段を動作させ、そして、前記由来識別手段の正解確率が上昇するように、前記第４のニューラルネットワークを調整する、ことを繰り返す。
【００３８】
前記機械学習プロセスでは、このデータ処理システムは、前記第１のプロセスと前記第２のプロセスを交互に繰り返す。これにより、データセットに内在する共通特徴を抽出する性能と、その共通特徴からは独立した固有特徴を個々のデータレコードから抽出する性能が、向上する。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【図２】図１のシステムのディープラーニングのプロセスを示すフローチャート。
【図３】本発明の第２の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【図４】本発明の第３の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【図５】本発明の第４の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【図６】本発明の第5の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【図７】本発明の第6の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【図８】本発明の第７の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【図９】本発明の第８の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【図１０】本発明の第９の実施形態にかかるデータ処理システムの構成を示すブロックダイヤグラム。
【発明を実施するための形態】
【００４０】
以下、本発明の幾つか好適な実施形態を図面を参照して説明する。なお、それらの実施形態において、互いに同一または相当する構成要素には同一あるいは類似の符号を付し、重複した説明は省略する。
【００４１】
以下に説明するそれぞれの実施形態にかかるデータ処理システムは、典型的には、以下に説明する各種の関数を実行したり、あるいは、各種の特徴を記録するために設計された、コンピュータソフトウェア、専用ハードウェア回路および／またはそれらの組み合わせを含んだ、コンピュータシステムを用いて実現することができる。以下では、それぞれのデータ処理システムの機能的構成が詳細に説明される。しかし、それらの機能的構成を実装するために、具体的にどのようなハードウェア構成およびソフトウェア構成を採用するかについては、格別の制限はなく、その実装設計には当業者にとり既知の設計法を用いることができることが理解できるはずなので、本明細書ではその詳細な説明を省略する。
【００４２】
以下の説明において、処理対象のデータの基本単位を「データレコード」と呼び、複数のデータレコードの集合を「データセット」と呼ぶ。例えば、一枚または複数枚の画像を処理する場合、一枚一枚の画像をデータレコードとして扱うことができる。あるいは、物体を前後左右の方向からそれぞれ見た４枚の画像のセットをデータレコードとして扱うこともできる。具体的に何をデータレコードとするかはシステムの設計者の任意である。
【００４３】
図１は、本発明の第１の実施形態にかかるデータ処理システムの構成を示す。
【００４４】
このシステム１は、ある性質において共通性をもつデータセットDS#1を入力する。すなわち、そのデータセットDS#1は、その性質において互いに共通するデータレコードD#1の集合である。
【００４５】
例えば、男性である多くの人物の顔画像のデータレコードD#1の集合がそのデータセットDS#1である場合、そのデータセットDS#1は、それらのデータレコードD#1がそれぞれ表現する「人物の性別」という性質において「男性」という共通性を有する。このように、ある性質において共通性を有するデータセットDS#1が存在する場合、その性質を本明細書では、そのデータセットDS#1（または、それに所属するデータレコードD#1）の「共通性質」とよぶ。そして、そのデータセットDS#1に内在するその共通性質を表す特徴を本明細書では、そのデータセットDS#1（または、それに所属するデータレコードD#1）の「共通特徴（Universal Feature）」Fu#1とよぶ。
【００４６】
また、この場合、そのデータセットDS#1に所属する個々のデータレコードD#1は、共通性質以外の固有の性質（例えば、上記例では、各画像に写っている人の個人的な髪形や目鼻立ちや表情など）も持っており、その共通性質以外の性質を本明細書では、そのデータレコードD#1の「固有性質」とよぶ。そして、各データレコードD#1に内在するその固有性質を表す特徴を本明細書では、そのデータレコードD#1の「固有特徴（independent Feature）」Fiとよぶ。
【００４７】
さて、図１に示すように、データ処理システム１は、データセットDS#1を入力して、そのデータセットDS#1の共通特徴Fu#1と、そのデータセットDS#1内の各データレコードD#1の固有特徴Fiとを分離して生成または抽出する。
【００４８】
共通特徴Fu#1と個別特徴Fiは、それぞれ、例えば多次元ベクトルの変数であり、共通特徴Fu#1と個別特徴Fiのベクトル次元数はそれぞれに適した数に選ばれてよい。
【００４９】
共通特徴Fu#1は、予め何らかの多次元ベクトル値に設定されることができ、データ処理システム１内の記憶装置に記憶されてよい。その設定値は、初期的には共通特徴Fu#1としての実用性能を備えている（つまり、データセットDS#1の共通性質を適切に表している）必要はなく、図２を参照して後述するディープラーニングプロセスを経て共通特徴Fu#1としての実用性能を習得してよい。
【００５０】
データ処理システム１は、データセットDS#1の各データレコードD#1から固有特徴Fiを抽出するために、幾つかの関数、すなわち、固有特徴抽出関数α#1、データ復元関数γ#1、復元誤差関数δ、および由来識別関数η#1を有する。
【００５１】
固有特徴抽出関数α#1は、“Fi＝α#1（Fu#1, D#1）”と表記することができる。すなわち、固有特徴抽出関数α#1は、データセットDS#1の共通特徴Fu#1と、データセットDS#1内の各データレコードD#1とを入力して、入力された各データレコードD#1の固有特徴Fiを出力する。
【００５２】
固有特徴抽出関数α#1は、１以上のディープニューラルネットワークを用いて構成され得る。このディープニューラルネットワークは、初期的には固有特徴抽出関数αとしての実用性能を備えている（つまり、各データレコードD#1から適切な固有特徴を抽出できる能力をもつ）必要はなく、図２を参照して後述するディープラーニングプロセスを経て固有特徴抽出関数αとしての実用性能を習得してよい。
【００５３】
データ復元関数γ#1は、“D#1´＝γ#1（Fu#1, Fi）”と表記することができる。すなわち、データ復元関数γ#1は、データセットDS#1の共通特徴Fu#1とその各データレコードD#1の固有特徴Fiとを入力して、そのデータレコードD#1を復元するためのものである。ここで、符号D#1´は、データ復元関数γ#1により復元されたデータレコードを指し、これは元のデータレコードD#1と同じであることが理想であるが、実際には、元のデータレコードD#1からある程度の誤差を持たざるを得ない近似データレコードである。
【００５４】
データ復元関数γ#1は、１以上のディープニューラルネットワークを用いて構成され得る。このディープニューラルネットワークは、初期的にはデータ復元関数γ#1としての実用性能を備えている（つまり、各データレコードD#1 を適切に復元できる）必要はなく、図２を参照して後述するディープラーニングプロセスを経てデータ復元関数γ#1としての実用性能を習得してよい。
【００５５】
復元誤差関数δは、“E#1＝δ（D#1´, D#1）”と表記することができる。すなわち、復元誤差関数δは、データ復元関数γ#1により復元されたデータレコードD#1´と、その元のデータレコードD#1とを入力し、それらのデータレコードD#1´, D#1間の相違、つまり復元誤差E#1を算出する。復元誤差関数δは、データレコード（一般に多次元ベクトル）相互間の二乗誤差、他の種類の誤差、または、その誤差のレベル若しくは評価値を計算する公知の算術関数であってよい。
【００５６】
由来識別関数η#1は、“P#1＝η#1（Fi, DS#1, DS#2, DS#3）”と表記することができる。すなわち、由来識別関数η#1は、固有特徴抽出関数α#1により生成された各データレコードD#1の固有特徴Fiと、予め用意された複数のデータセットDS#1、DS#2、DS#3とを入力して、各データレコードD#1が由来するデータセットが、それら複数のデータセットDS#1、DS#2、DS#3の中のどれであるかを推定的に識別し、その識別結果が正解DS#1に該当する正解確率P#1を出力する。
【００５７】
ここで、予め用意される複数のデータセットDS#1、DS#2、DS#3には、各データレコードD#1が実際に由来する（つまり正解の）データセットDS#1と、そうでない他のデータセットDS#2、DS#3とが含まれる。他のデータセットDS#2、DS#3の数は、ここに例示した２つである必要はなく、任意の数でよい。
【００５８】
由来識別関数η#1は、1以上のディープニューラルネットワークを用いて構成され得る。このディープニューラルネットワークは、初期的には由来識別関数ηとしての実用性能を備えている（つまり、もしデータセットDS#1 に共通に内在する何らかの共通性質が固有特徴Fiに多少なりとも表されていたならば、その固有特徴Fiに基づいて各データレコードD#1がそのデータセットDS#1に由来することを見抜くことができる）必要はなく、図２を参照して後述するディープラーニングプロセスを経て由来識別関数η#1としての実用性能を習得してよい。
【００５９】
以上のように構成されたデータ処理システム１は、以下に図２を参照して説明するディープラーニングのプロセスを実行することにより、次の条件1）、2）および3）を満たす性能を持つシステムに仕上がることができる。
【００６０】
1）  データセットDS#1に内在する共通特徴Fu#1が抽出される。
【００６１】
2）  データセットDS#1内の各データレコードD#1に内在する固有特徴Fiが、学習済みの固有特徴抽出関数α#1により、共通特徴Fu#1から分離された形で抽出される。
【００６２】
3）  抽出されたデータセットDS#1の共通特徴Fu#1と、抽出された各データレコードD#1の固有特徴Fiは、次の条件A)とB)を満たす。
【００６３】
A)  共通特徴Fu#1と各データレコードD#1の固有特徴Fiとから、学習済みのデータ復元関数γ#1により、実用上要求される精度で、各データレコードD#1が復元され得る。換言すれば、復元されたデータレコードD#1´と元のデータレコードD#1との間の復元誤差E#1が、実用上許容できる程度に小さい。
【００６４】
B)  各データレコードD#1の固有特徴Fiのみからでは、学習済みの由来識別関数η#1を用いても、そのデータレコードD#1が正解のデータセットDS#1に由来するという事実を推定する（つまり見抜く）ことが実用上できない。換言すれば、由来識別関数η#1からの正解確率P#1が実用上乱数的となる（つまり、選択肢たる複数のデータセットDS#1、DS#2、DS#3がそれぞれ由来として識別される確率が実用上一様となる）。この条件B)が満たされた状態を本明細書では、「固有特徴Fiが共通特徴Fu#1から『独立』である」という。
【００６５】
図２は、データ処理システム１のディープラーニングのプロセスの流れを示す。
【００６６】
図２に示すように、ディープラーニングの開始前に、共通特徴Fu、固有特徴抽出関数α#1、データ復元関数γ#1、および由来識別関数η#1が所定の初期値に設定される（ステップS1）。
【００６７】
その後、プロセスはステップS2へ進む。ステップS2は、ステップS3の判断結果がYesになるまで、何度も（典型的には非常に多数回）繰り返して実行される。
【００６８】
各回のステップS2では、データセットDS#1内から所定順序で選ばれた一つのデータレコードD#1が固有特徴抽出関数αに入力されて、データ処理システム１内のすべての関数α#1、γ#1、δおよびη#1が動作する。そして、復元誤差関数δからの復元誤差E#1と由来識別関数η#1からの正解確率P#1が、過去回のステップS２でのそれより減少するように、共通特徴Fu#1、固有特徴抽出関数α#1およびデータ復元関数γ#1の設定が調整される。ただし、由来識別関数η#1の設定は固定される（つまり、現設定のままに維持され、調整されない）。
【００６９】
ステップS2の繰り返しに伴って、共通特徴Fu#1、固有特徴抽出関数α#1およびデータ復元関数γ#1の設定は、より最適なものに近づいていき、結果として、復元誤差E#1と正解確率P#1が減少していく。
【００７０】
各回のステップS2の後に、ステップS3の判断が行われる。ステップS3では、設定調整の結果得られた復元誤差E#1と正解確率P#1のそれぞれの減少率（または、復元誤差Eと正解確率Pを統合した値の減少率）が所定の閾値未満になったか否かが判断される。すなわち、共通特徴Fu#1、固有特徴抽出関数α#1およびデータ復元関数γ#1の設定をこれ以上調整しても、復元誤差E#1と正解確率P#1の有意な減少がこれ以上は期待できないという状態に達したか否かが判断される。
【００７１】
ステップS3の判断結果がNoであれば、ステップS2はさらに繰り返されるが、その判断結果がYesであれば、プロセスはステップS4へ進む。
【００７２】
ステップS4は、このディープラーニングプロセスを終了するか否かを判断するステップであり、その判断結果がNoである限り、上述したステップS2〜S3の繰り返しループが終わった後、以下に説明するステップS5〜S6の繰り返しループが実行される。
【００７３】
各回のステップS5では、前述のステップS2と同様に、データセットDS#1内から所定順序で選ばれた一つのデータレコードD#1が固有特徴抽出関数α#1に入力されて、データ処理システム１内のすべての関数α#1、γ#1、δおよびη#1が動作する。そして、上述のステップS2とは逆に、ステップS5では、共通特徴Fu#1、固有特徴抽出関数α#1およびデータ復元関数γ#1の設定は現設定に固定された（つまり、調整されない）上で、由来識別関数η#1の設定だけが調整される。その調整は、由来識別関数η#1からの正解確率P#1が過去回のステップS5のときのそれよりも増加するように行われる。
【００７４】
ステップS5の後、ステップS6の判断が行われ、その判断結果がYesにならない限り、ステップS5は何度も（典型的には非常に多数回）繰り返される。この繰り返しにより、由来識別関数η#1の設定はより最適に近づいていき、正解確率P#1が最大値“1”に向かって増加していく。つまり、もし、固有特徴Fiに由来のデータセットDS#1に共通する何らかの情報が多少なりとも含まれていたなら、由来識別関数η#1によってそのデータセットDS#1が由来であると見抜かれることになる可能性（要するに、由来識別関数η#1の識別性能）が上昇していく。
【００７５】
各回のステップS6では、設定調整の結果得られた正解確率P#1の増加率（または、復元誤差E#1と正解確率P#1を統合した値の増加率）が所定の閾値未満になったか否かが判断される。すなわち、由来識別関数η#1の設定をこれ以上調整しても、由来識別の正解確率P#1の有意な増加がそれ以上は期待できないという状態に達したか否かが判断される。
【００７６】
ステップS6の判断結果がNoであれば、ステップS5はさらに繰り返されるが、その判断結果がYesであれば、プロセスは前述したステップS2〜S3のループへ再び戻る。
【００７７】
ステップS5〜S6の繰り返しループが実行されることにより、由来識別関数η#1の正解を識別する性能が、よりいっそう向上する。その後に、再びステップS2〜S3のループへ戻ってステップS2を多数回繰り返すことで、共通特徴Fu#1、固有特徴抽出関数α#1およびデータ復元関数γ#1の設定は、前サイクルでのステップS2の繰り返しで得た設定より、いっそう最適なものに近づいていく。
【００７８】
このように、ステップS2〜S3のループを繰り返し、その後に、テップS5〜S6のループを繰り返すという、図２に示されるステップS2〜S6のサイクルが、予め設定された回数まで繰り返されたときに、ステップS4の判断結果がYesとなり、このディープラーニングプロセスが終了する。そのサイクルの繰り返し回数を適切に選ぶことにより、ディープラーニングの終了時点で、実用上要求される精度まで最適化された、共通特徴Fu#1、固有特徴抽出関数α#1およびデータ復元関数γ#1が得られる。
【００７９】
このディープラーニングを終了した学習済みデータ処理システム１では（図１参照）、共通特徴Fu#1は、実用上要求される精度でデータセットDS#1の共通性質を表したデータになると期待される。そして、固有特徴抽出関数α#1は、データセットDS#1内の任意のデータレコードD#1から固有特徴Fiを抽出することができ、抽出された固有特徴FiはデータレコードD#1の固有性質を実用上要求される精度で表すことが期待される。さらに、データセットDS#1の任意のデータレコードD#1から抽出された固有特徴Fiは、データセットDS#1の共通特徴Fu#1から、実用上要求される精度で独立であることが期待される。さらにまた、データ復元関数γ#1は、データセットDS#1の共通特徴Fu#1と、データセットDS#1内の任意のデータレコードD#1の固有特徴Fiとを用いて、そのデータレコードD#1を、実用上要求される精度で復元することができると期待される。
【００８０】
図３は、本発明の第２の実施形態にかかるデータ処理システムの構成を示す。
【００８１】
この第２の実施形態かかるデータ処理システム１１は、その大部分において図１に示した第１の実施形態にかかるデータ処理システム１と共通するが、次の点で、それとは異なっている。
【００８２】
すなわち、第１の実施形態にかかるデータ処理システム１は、共通特徴Fu#1として、ある初期値をもつ多次元ベクトルを設定して、ディープラーニングの過程でその設定を調整して最適化する。これに対し、図３に示す第２の実施形態にかかるデータ処理システム１１は、データセットDS#1からその共通特徴Fu#1を抽出する共通特徴抽出関数β#1を追加で備える。
【００８３】
共通特徴抽出関数β#1は、“Fu#1＝β#1（DS#1）”と表記することができる。すなわち、共通特徴抽出関数β#1は、データセットDS#1を入力して、データセットDS#1の共通特徴Fu#1を出力する。共通特徴抽出関数β#1は、１以上のディープニューラルネットワークを用いて構成され得る。そのディープニューラルネットワークは、初期的には共通特徴抽出関数β#1としての実用性能を持つ（つまり、データセットDS#1から適切な共通特徴Fu#1を抽出できる）必要はないが、ディープラーニングを経ることで、共通特徴抽出関数β#1としての実用性能を習得することができる。
【００８４】
データ処理システム１１のディープラーニングのプロセスは、図２に示したフローチャートにおいて、共通特徴Fu#1を共通特徴抽出関数β#1に置き換えことで、これを説明することができる。
【００８５】
図４は、本発明の第３の実施形態にかかるデータ処理システムの構成を示す。
【００８６】
図４に示された第３の実施形態にかかるデータ処理システム２１は、予め用意されたデータセットDS#1に関する抽出済みの共通特徴Fu#1と学習済みの固有特徴抽出関数α#1を備える。抽出済みの共通特徴Fu#1と学習済みの固有特徴抽出関数α#1は、例えば、図１に示した第１の実施形態にかかるデータ処理システム１でディープラーニングを実行することにより用意することができる。
【００８７】
このデータ処理システム２１は、図１に示されたデータ処理システム１に設けられるようなディープラーニングを行うために必要な構成要素、例えば、データ復元関数γ#1、復元誤差関数δおよび由来識別関数η#1を備える必要はない。
【００８８】
このデータ処理システム２１では、学習済みの固有特徴抽出関数α#1が、データセットDS#1の抽出済み共通特徴Fu#1と、データセットDS#1の各データレコードD#1とを入力し、その入力データレコードD#1の固有特徴Fiを出力する。
【００８９】
図５は、本発明の第４の実施形態にかかるデータ処理システムの構成を示す。
【００９０】
図５に示された第４の実施形態にかかるデータ処理システム３１は、予め用意されたデータセットDS#1に関する学習済みの共通特徴抽出関数β#1と学習済みの固有特徴抽出関数α#1とを備える。学習済みの共通特徴抽出関数β#1と学習済みの固有特徴抽出関数α#1は、例えば、図３に示した第２の実施形態にかかるデータ処理システム１１で前述したディープラーニングプロセスを実行することにより用意することができる。
【００９１】
このデータ処理システム３１は、図２に示されたデータ処理システム１１に設けられるようなディープラーニングを行うために必要な構成要素、例えば、データ復元関数γ#1、復元誤差関数δおよび由来識別関数η#1を備える必要はない。
【００９２】
このデータ処理システム３１では、学習済みの共通特徴抽出関数β#1が、データセットDS#1の全データレコードD#1を入力して、データセットDS#1の共通特徴Fu#1を出力する。学習済みの固有特徴抽出関数α#1が、その共通特徴Fu#1と、データセットDS#1の各データレコードD#1とを入力し、その入力データレコードD#1の固有特徴Fiを出力する。
【００９３】
図６は、本発明の第５の実施形態にかかるデータ処理システムの構成を示す。
【００９４】
図６に示される第５の実施形態にかかるデータ処理システム４１は、異種の複数のデータセットを統一的に扱うことができる。
【００９５】
ここで、「異種」とは、それらのデータセットが共通性質において相違するという意味である。例えば、画像データセット、音声データセットおよびテキストデータセットは、「データ構造」という共通性質において相違する。例えば、A地点に設置されたカメラからの画像データセットとB地点に設置されたカメラからの画像データセットは、データ取得の「場所、環境またはシチュエーション」という共通性質において相違する。また、日本語のテキストデータセットと英語のテキストデータセットは、意味表現のための「言語」という共通性質において相違する。
【００９６】
図６に示すように、異種データを統一的に扱うためのデータ処理システム４１は、異種の複数のデータセットDS#1、DS#2、DS#3からそれぞれのデータレコードD#1、D#2、D#3を入力する。ここでは、３つのデータセットDS#1、DS#2、DS#3が示されているが、３つという数は単なる例示であり、その数に格別の制限はない。
【００９７】
データ処理システム４１は、複数のデータセットDS#1、DS#2、DS#3のそれぞれから予め抽出された複数の共通特徴Fu#1、Fu#2、Fu#3と、複数のデータセットDS#1、DS#2、DS#3のそれぞれを用いて予めディープラーニングを行って作成された複数の学習済みの固有特徴抽出関数α#1、α#2、α#3とを有する。
【００９８】
抽出済み共通特徴Fu#1、Fu#2、Fu#3および学習済みの固有特徴抽出関数α#1、αS#2、α#3は、例えば、図１に示された第１の実施形態にかかるデータ処理システム１または図３に示された第２の実施形態にかかるデータ処理システム１において、それぞれのデータセットDS#1、DS#2、DS#3を入力として前述したディープラーニングプロセスを行うことで、用意することができる。
【００９９】
学習済みの固有特徴抽出関数α#1、αS#2、α#3は、それぞれ、データセットDS#1、DS#2、DS#3の抽出済み共通特徴Fu#1、Fu#2、Fu#3と、データセットDS#1、DS#2、DS#3の各データレコードD#1、D#2、D#3とを入力して、入力されたデータレコードD#1、D#2、D#3のそれぞれ固有特徴Fiを出力する。ここで、入力されるデータレコードD#1、D#2、D#3からそれぞれ抽出される固有特徴Fiは、データセットDS#1、DS#2、DS#3の種類つまり共通特徴Fu#1、Fu#2、Fu#3から独立であるから、同種類のデータとして統一的に処理することができる。
【０１００】
例えば、データセットDS#1、DS#2、DS#3がそれぞれ画像、音声、テキストのデータセットである場合、抽出された各データレコードの固有特徴Fiには、画像、音声、テキストというデータ構造の違い起因する情報は含まれておらず、例えば各データレコードに表現された意味のようなデータ構造に依存しない情報しか含まれていないので、これは統一的に処理することができる。
【０１０１】
データ処理システム４１は、固有特徴抽出関数α#1、α#2、α#3からそれぞれ出力された固有特徴Fiを入力して、その固有特徴Fiについて所望の処理を実行する統一処理関数φを有する。統一処理関数φが行う所望処理は、記憶、出力、変換、編集、加工、学習、推論、計算または復元など、任意の処理であり得る。
【０１０２】
なお、図６に示されたデータ処理システム４１の変形例として、一点鎖線枠で囲んだデータセット毎の処理部分４３#1、４３#2、４３#3の各々を、前述した第１、第２、第３または第４の実施形態のシステム１、１１、２１または３１に置き換えてもよい。
【０１０３】
図７は、本発明の第６の実施形態にかかるデータ処理システムの構成を示す。
【０１０４】
図７に示された第６の実施形態にかかるデータ処理システム５１は、第１のデータセットDS#1の各データレコードD#1を、その第１のデータレコードD#1の固有性質を維持しつつ、異種の（つまり、元の共通性質とは異なる共通性質を持つ）データレコードD#2´に変えることができる。
【０１０５】
その応用具体例を次にいくつか示す。
【０１０６】
例えば、第１のデータセットDS#1が人の男性（元の共通性質）の顔画像データレコードD#1の集合である場合、各男性の顔画像データレコードD#1を、その人の顔の個性（固有性質）を維持しつつ、女性（別の共通性質）の顔画像データレコードD#2´に変換することができる。
【０１０７】
例えば、第１のデータセットDS#1が画像（元の共通性質）のデータレコードD#1の集合である場合、各画像データレコードD#1を、画像が表現する意味（固有性質）を維持しつつ、テキスト（別の共通性質）のデータレコードD#2´に変換することができる。
【０１０８】
例えば、第１のデータセットDS#1が日本語（元の共通性質）のテキストデータレコードD#1の集合である場合、各日本語テキストデータレコードD#1を、それが表現する意味（固有性質）を維持しつつ、他言語（別の共通性質）のテキストデータレコードD#2に変換する（つまり言語翻訳を行う）ことができる。
【０１０９】
図７に示されるように、データ処理システム５１は、第１の性質において共通性をもつ第１のデータセットDS#1から各データレコードD#1を入力する。データ処理システム５１は、データセットDS#1に関して抽出済みの共通特徴Fu#1と学習済みの固有特徴抽出関数α#1を有する。抽出済みの共通特徴Fu#1と学習済み固有特徴抽出関数α#1は、例えば、第１または第２の実施形態にかかるデータ処理システム１または１１において、第１のデータセットDS#1を用いた前述のディープラーニングプロセスによって用意することができる。
【０１１０】
データ処理システム５１はまた、第２のデータセットDS#2に関して抽出済みの共通特徴Fu#2と学習済みのデータ復元関数γ#2を有する。抽出済みの共通特徴Fu#2と学習済みのデータ復元関数γ#2は、例えば、第１または第２の実施形態にかかるデータ処理システム１または１１において、第２の性質において共通性のある第２のデータセットDS#2（図示せず）を用いて、前述したディープラーニングプロセスを行うことによって用意することができる。
【０１１１】
データ処理システム５１において、学習済みの固有特徴抽出関数α#1は、第１のデータセットDS#1の共通特徴Fu#1と、第１のデータセットDS#1の各データレコードD#1を入力して、そのデータレコードD#1の固有特徴Fiを出力する。学習済みのデータ復元関数γ#2は、固有特徴抽出関数α#1からの固有特徴Fiと、第２のデータセットDS#2の共通特徴Fu#2とを入力して、その固有特徴Fiと共通特徴Fu#2を内包したデータレコードD#2´を復元する。
【０１１２】
復元されたデータレコードD#2´は、元のデータレコードD#1において、元の固有性質は生かしつつ、元の共通性質を別の共通性質に転換したと実質的に同等に近いデータレコードとなる。例えば、元のデータレコードD#1が男性A氏の顔画像であり、第１の共通特徴Fu#1が男性の顔画像の特徴であり、第２の共通特徴Fu#2が女性の顔画像の特徴である場合、復元されたデータレコードD#2´は、その男性A氏の顔の個性は残っているが、女性に見える顔画像となる。
【０１１３】
第１のデータセットDS#1内の複数のデータレコードD#1に上記の処理を行うことで、第１のデータセットDS#1の共通性質を別の共通性質に置き換えられた第２のデータセットDS#2´が得られる。
【０１１４】
なお、データ処理システム５１の変形例として、図７において一点鎖線枠で囲んだ部分５３を、前述した第１、第２、第３または第４の実施形態のシステム１、１１、２１または３１に置き換えてもよい。
【０１１５】
図８は、本発明の第７の実施形態にかかるデータ処理システムの構成を示す。
【０１１６】
図８に示された第７の実施形態にかかるデータ処理システム６１は、図７に示した第６の実施形態にかかるデータ処理システム５１の変形である。すなわち、この第７の実施形態７にかかるデータ処理システム６１では、第１のデータセットDS#1がもつ第１の共通特徴Fu#1を編集する（つまり、共通特徴Fu#1の設定を操作して変更する）ことにより、第２の共通特徴Fu#2を生成する。
【０１１７】
この編集を行うために、データ処理システム６１は特徴編集関数θを備えることができる。特徴編集関数θは、“Fu#2＝θ（Fu#1）”と表記することができ、Fu#1を入力して、これを編集し第２の共通特徴Fu#2に変更する。
【０１１８】
特徴編集関数θにより、どのようにまたはどの程度に特徴を変化させるかについては、格別の制限はない。例えば、第１の共通特徴Fu#1が男性の顔画像の共通性質を表しているならば、第１の共通特徴Fu#1を、女性風の顔画像がもつ共通性質を表した共通特徴Fu#2に変更することができる。
【０１１９】
上記の点以外の構成と動作においては、データ処理システム６１は、図７に示されたデータ処理システム５１と同様である。
【０１２０】
なお、データ処理システム６１の変形例として、図８において一点鎖線枠で囲んだ部分６３を、前述した第１、第２、第３または第４の実施形態のシステム１、１１、２１または３１に置き換えてもよい。
【０１２１】
図９は、本発明の第８の実施形態にかかるデータ処理システムの構成を示す。
【０１２２】
図９に示された第８の実施形態にかかるデータ処理システム７１は、データレコードD#1に対して所望の処理を行う場合に、共通特徴Fu#1から独立な固有特徴FiだけをデータレコードD#1から抽出し、その固有特徴Fiを用いて所望の処理を行う。
【０１２３】
その応用例の一つは、データ処理に不要な情報からデータ処理を隔離することである。不要情報とは、例えば、特定の秘密情報の漏洩を防ぐ（例えば個人情報を保護する）必要がある場合のその秘密情報（例えば、その個人情報）、あるいは、データ処理に有害作用をおよぼすおそれのあるノイズ情報などがある。
【０１２４】
ここでは、個人情報保護に応用する場合を例にとり、このデータ処理システム７１を説明する。
【０１２５】
図９に示されるように、例えば、特定の個人に関するデータセットDS#1から、その個人を特定することが可能な個人情報（守秘情報）を共通特徴Fu#1として予め抽出することができる。その個人に関するデータセットDS#1内の各データレコードD#1を処理する場合、個人情報である共通特徴Fu#1と、各データレコードD#1とを、その個人に関して学習済みの固有特徴抽出関数α#1に入力することで、個人情報から共通特徴Fu#1から独立な（つまり、個人情報が除去されて、個人の特定に利用できないようになった）固有特徴Fiを分離抽出することができる。
【０１２６】
その分離抽出された固有特徴Fiを、固有特徴処理関数ψに入力する。固有特徴処理関数ψは、その固有特徴Fiを用いて所望の処理を行う。
【０１２７】
ここで、固有特徴処理関数ψが行うことができる処理の種類に格別の制限はない。例えば、記憶、出力、変換、編集、加工、学習、推論、計算または復元など、任意の種類の処理が採用できる。
【０１２８】
なお、データ処理システム７１の変形例として、図９において一点鎖線枠で囲んだ部分７３を、前述した第１、第２、第３または第４の実施形態のシステム１、１１、２１または３１に置き換えてもよい。
【０１２９】
図１０は、本発明の第９の実施形態にかかるデータ処理システムの構成を示す。
【０１３０】
図１０に示される第９の実施形態にかかるデータ処理システム８１は、データセットDS#1を圧縮して保存し、その圧縮保存データからデータセットDS#1を近似的に復元することができる。
【０１３１】
すなわち、データ処理システム８１は、図４に示された第３の実施形態にかかるデータ処理システム２１と同様の構成部分８３を有し、それにより、データセットDS#1内の各データレコードD#1の固有特徴Fiを抽出することができる。データセットDS#1から予め抽出された共通特徴Fu#1と、各データレコードD#1から抽出された固有特徴Fiは、データストレージST#1に保存される。したがって、データセットDS#1は、よりデータ量の小さい圧縮された状態でデータストレージST#1保存されることになる。
【０１３２】
データセットDS#1内の各データレコードD#1を復元する場合には、前述したディープラーニングプロセスにより予め用意された学習済みデータ復元関数γ#1が、データストレージST#1から共通特徴Fu#1と各固有特徴Fiを入力して、対応する元のデータレコードD#1を復元するための処理を行う。その結果、復元された各データレコードD#1´の集合である復元データセットDS#1が得られる。
【０１３３】
なお、データ処理システム８１の変形例として、図１０において一点鎖線枠で囲んだ部分８３を、前述した第１、第２、第３または第４の実施形態のシステム１、１１、２１または３１に置き換えてもよい。
【０１３４】
以上説明した本発明の幾つかの実施の形態は、本発明の説明のための単なる例示であり、本発明の範囲をそれらの実施の形態のみに限定する趣旨ではない。本発明は、その趣旨を逸脱しない範囲で、上記の実施の形態とは違うさまざまな形態で、実施することができる。
【符号の説明】
【０１３５】
１、１１、２１、３１、４１、５１、６１、７１、８１：データ処理システム
DS#1、DS#2、DS#3：データセット
D#1、D#2、DS#3：データレコード
Fu#1、Fu#2、Fu#3：共通特徴
α#1、α#2、α#3：固有特徴抽出関数
β#1：共通特徴抽出関数
Fi：固有特徴
γ#1：データ復元関数
δ：復元誤差関数
E#1：復元誤差
η#1：由来識別関数
P#1：正解確率
【図１】
2019061512.tif 000003
【図２】
2019061512.tif 000004
【図３】
2019061512.tif 000005
【図４】
2019061512.tif 000006
【図５】
2019061512.tif 000007
【図６】
2019061512.tif 000008
【図７】
2019061512.tif 000009
【図８】
2019061512.tif 000010
【図９】
2019061512.tif 000011
【図１０】
2019061512.tif 000012