(57)【要約】【課題】学習済みモデルによる表現精度を向上させること。【解決手段】実施形態に係るデータ処理装置は、解像度が異なる複数の前段ニューラルネットワーク（ＮＮ）と、解像度が異なる複数の後段ＮＮと、複数の前段ＮＮと複数の後段ＮＮとの間に設けられた解像度変換層とを有する学習済みモデルに、少なくとも一つの解像度に対応する処理対象データを入力することにより、少なくとも一つの解像度に対応する出力データを出力するデータ処理部を有する。解像度変換層は、複数の前段ＮＮ各々から出力された前段データに基づき、前段データの解像度を複数の後段ＮＮ各々に関する解像度に変換することにより解像度変換データを生成し、生成された解像度変換データを解像度に応じて複数の後段ＮＮ各々に出力する。【選択図】      図３
2020119312.tif 000002
【特許請求の範囲】
【請求項１】
解像度が異なる複数の前段ニューラルネットワークと、解像度が異なる複数の後段ニューラルネットワークと、前記複数の前段ニューラルネットワークと前記複数の後段ニューラルネットワークとの間に設けられた解像度変換層とを有する学習済みモデルに、少なくとも一つの解像度に対応する処理対象データを入力することにより、少なくとも一つの解像度に対応する出力データを出力するデータ処理部を具備し、
前記解像度変換層は、
前記複数の前段ニューラルネットワーク各々から出力された前段データに基づき、前記前段データの解像度を前記複数の後段ニューラルネットワーク各々に関する解像度に変換することにより解像度変換データを生成し、
前記解像度変換データを、解像度に応じて前記複数の後段ニューラルネットワーク各々に出力する、
データ処理装置。
【請求項２】
前記学習済みモデルにおいて、前記解像度変換層と前記複数の後段ニューラルネットワークとの組み合わせが、処理順序に沿って直列的に複数接続される、
請求項１に記載のデータ処理装置。
【請求項３】
前記解像度変換層は、解像度に応じて前記複数の後段ニューラルネットワークよりさらに後段に位置する少なくとも一つのニューラルネットワークに、前記解像度変換データを出力する、
請求項１または２に記載のデータ処理装置。
【請求項４】
前記データ処理部は、
前記複数の前段ニューラルネットワーク各々よりさらに前段に位置する複数のニューラルネットワーク各々から出力されたデータを、前記複数の後段ニューラルネットワーク各々に入力する、
請求項１乃至３のうちいずれか一項に記載のデータ処理装置。
【請求項５】
前記解像度変換層は、前記前段データにおける自己相似性に基づいて前記前段データの一部を用いた自己相似処理を実行することにより、前記前段データの解像度を変換する、
請求項１乃至４のうちいずれか一項に記載のデータ処理装置。
【請求項６】
前記解像度変換層は、前記前段データに対するアップサンプリング処理と前記前段データに対するダウンサンプリング処理とのうち少なくとも一つの処理と前記自己相似処理とを用いて、前記前段データの解像度を変換する、
請求項５に記載のデータ処理装置。
【請求項７】
前記複数の前段ニューラルネットワークと前記複数の後段ニューラルネットワークとのうち少なくとも一方における重み係数は、複数の解像度に亘って共有される、
請求項１乃至６のうちいずれか一項に記載のデータ処理装置。
【請求項８】
前記学習済みモデルは、前記複数の前段ニューラルネットワークと前記複数の後段ニューラルネットワークとのうち少なくとも一方における少なくとも一つのニューラルネットワークに関して再帰結合を有する、
請求項１乃至７のうちいずれか一項に記載のデータ処理装置。
【請求項９】
前記複数の前段ニューラルネットワークに関する解像度の総数は、前記複数の後段ニューラルネットワークに関する解像度の総数と異なる、
請求項１乃至８のうちいずれか一項に記載のデータ処理装置。
【請求項１０】
前記複数の前段ニューラルネットワークにおける少なくとも一つに関する解像度と、前記複数の後段ニューラルネットワークにおける少なくとも一つに関する解像度とは相違する、
請求項１乃至９のうちいずれか一項に記載のデータ処理装置。
【請求項１１】
前記処理対象データの解像度と前記出力データの解像度とは、同一または異なる、
請求項１乃至１０のうちいずれか一項に記載のデータ処理装置。
【請求項１２】
前記出力データは、前記複数の解像度のうち２つ以上の解像度各々に対応する、
請求項１乃至１０のうちいずれか一項に記載のデータ処理装置。
【請求項１３】
前記解像度変換層は、
前記前段ニューラルネットワークのうち全てのニューラルネットワークからの前記前段データの入力に応答して、処理順序が同一の複数の解像度において前記前段データの解像度を並列的に変換する、
請求項１乃至１２のうちいずれか一項に記載のデータ処理装置。
【請求項１４】
前記データ処理部は、
前記前段データのうち所定の解像度より高い解像度に対応する前記前段データを前記複数の後段ニューラルネットワークより後段の解像度変換層に入力する、
請求項１乃至１２のうちいずれか一項に記載のデータ処理装置。
【請求項１５】
前記複数の前段ニューラルネットワーク各々と前記複数の後段ニューラルネットワーク各々とのうち少なくとも一方において、畳み込みニューラルネットワークと、全結合ニューラルネットワークと、局所的な接続性を有するニューラルネットワークとのうち少なくとも一つが用いられる、
請求項１乃至１４のうちいずれか一項に記載のデータ処理装置。
【請求項１６】
解像度が異なる複数の前段ニューラルネットワークと、解像度が異なる複数の後段ニューラルネットワークと、前記複数の前段ニューラルネットワークと前記複数の後段ニューラルネットワークとの間に設けられた解像度変換層とを有する学習済みモデルに、少なくとも一つの解像度に対応する処理対象データを入力し、
前記複数の前段ニューラルネットワーク各々から出力された前段データに基づき、前記前段データの解像度を前記複数の後段ニューラルネットワーク各々に関する解像度に変換することにより解像度変換データを生成し、
前記解像度変換データを、解像度に応じて前記複数の後段ニューラルネットワーク各々に出力することにより、少なくとも一つの解像度に対応する出力データを、前記学習済みモデルから出力すること、
を具備するデータ処理方法。
【請求項１７】
コンピュータに、
解像度が異なる複数の前段ニューラルネットワークと、解像度が異なる複数の後段ニューラルネットワークと、前記複数の前段ニューラルネットワークと前記複数の後段ニューラルネットワークとの間に設けられた解像度変換層とを有する学習済みモデルに、少なくとも一つの解像度に対応する処理対象データを入力し、
前記複数の前段ニューラルネットワーク各々から出力された前段データに基づき、前記前段データの解像度を前記複数の後段ニューラルネットワーク各々に関する解像度に変換することにより解像度変換データを生成し、
前記解像度変換データを、解像度に応じて前記複数の後段ニューラルネットワーク各々に出力することにより、少なくとも一つの解像度に対応する出力データを、前記学習済みモデルから出力すること、
を実現させるデータ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、データ処理装置、データ処理方法、およびデータ処理プログラムに関する。
【背景技術】
【０００２】
従来、ディープニューラルネットワークにおいて情報の利用効率が悪いため、当該ディープニューラルネットワークの性能を出すために、チャネル数を増加させて、学習カーネルの係数を増加させる必要がある。このため、多くの学習用データが必要となり、無駄な学習が多い問題がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１２５９８０号
【特許文献２】特開２０１８−７７８４２号公報
【特許文献３】特表平８−５０５２４８号公報
【非特許文献】
【０００４】
【非特許文献１】“Ｕ−Ｎｅｔ：  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｂｉｏｍｅｄｉｃａｌ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ”，  Ｏｌａｆ  Ｒｏｎｎｅｂｅｒｇｅｒ，  Ｐｈｉｌｉｐｐ  Ｆｉｓｃｈｅｒ，  ａｎｄ  Ｔｈｏｍａｓ  Ｂｒｏｘ，  ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５０５．０４５９７
【非特許文献２】“Ｄｅｎｓｅｌｙ  Ｃｏｎｎｅｃｔｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ”，  Ｇａｏ  Ｈｕａｎｇ，  Ｚｈｕａｎｇ  Ｌｉｕ，  Ｌａｕｒｅｎｓ  ｖａｎ  ｄｅｒ  Ｍａａｔｅｎ，  Ｋｉｌｉａｎ  Ｑ．  Ｗｅｉｎｂｅｒｇｅｒ，  ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０８．０６９９３
【非特許文献３】“Ｄｅｅｐ  Ｒｅｓｉｄｕａｌ  Ｌｅａｒｎｉｎｇ  ｆｏｒ  Ｉｍａｇｅ  Ｒｅｃｏｇｎｉｔｉｏｎ”，  Ｋａｉｍｉｎｇ  Ｈｅ，  Ｘｉａｎｇｙｕ  Ｚｈａｎｇ，  Ｓｈａｏｑｉｎｇ  Ｒｅｎ，  Ｊｉａｎ  Ｓｕｎ，  ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５１２．０３３８５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、学習済みモデルによる表現精度を向上させることである。
【課題を解決するための手段】
【０００６】
実施形態に係るデータ処理装置は、データ処理部を有する。  
前記データ処理部は、解像度が異なる複数の前段ニューラルネットワークと、解像度が異なる複数の後段ニューラルネットワークと、前記複数の前段ニューラルネットワークと前記複数の後段ニューラルネットワークとの間に設けられた解像度変換層とを有する学習済みモデルに、少なくとも一つの解像度に対応する処理対象データを入力することにより、少なくとも一つの解像度に対応する出力データを出力する。  
前記解像度変換層は、前記複数の前段ニューラルネットワーク各々から出力された前段データに基づき、前記前段データの解像度を前記複数の後段ニューラルネットワーク各々に関する解像度に変換することにより解像度変換データを生成し、前記解像度変換データを、解像度に応じて前記複数の後段ニューラルネットワーク各々に出力する。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態におけるデータ処理装置の構成の一例を示す図である。
【図２】図２は、本実施形態において、学習済みモデルにおける順伝播に関する構成の概要の一例を示す図である。
【図３】図３は、本実施形態において、第ｉ連係ＬＫｉの処理内容の概要の一例を示す図である。
【図４】図４は、本実施形態において、解像度１に対応する前段第１ＣＮＮから出力された前段第１データに対して解像度変換が実行される概要の一例を示す図である。
【図５】図５は、本実施形態において、解像度２に対応する前段第２ＣＮＮから出力された前段第２データに対して解像度変換が実行される概要の一例を示す図である。
【図６】図６は、本実施形態において、解像度３に対応する前段第３ＣＮＮから出力された前段第３データに対して解像度変換が実行される概要の一例を示す図である。
【図７】図７は、本実施形態において、第１結合層ＣＯＮ１，ｉにおいて結合処理が実行される概要の一例を示す図である。
【図８】図８は、本実施形態において、第２結合層ＣＯＮ２，ｉにおいて結合処理が実行される概要の一例を示す図である。
【図９】図９は、本実施形態において、第３結合層ＣＯＮ３，ｉにおいて結合処理が実行される概要の一例を示す図である。
【図１０】図１０は、本実施形態において、学習済みモデルを用いて実行されるデータ処理機能の手順の一例を示す図である。
【図１１】図１１は、本実施形態において、学習済みモデルを用いて実行されるデータ処理機能の手順の一例を示す図である。
【図１２】図１２は、本実施形態の第１変形例に関する学習済みモデル２０３の一例を示す図である。
【図１３】図１３は、本実施形態の第２変形例に係り、解像度の総数が３である場合における学習済みモデルの一例を示す図である。
【図１４】図１４は、本実施形態の第３変形例において、処理対象データの解像度が出力データの解像度より低い場合の学習済みモデルの構成の一例を示す図である。
【図１５】図１５は、本実施形態の第４変形例において、処理対象データの解像度が出力データの解像度より高い場合の学習済みモデルの構成の一例を示す図である。
【図１６】図１６は、本実施形態の第７変形例において、再帰結合を有する学習済みモデルの一例を示す図である。
【図１７】図１７は、本実施形態の第８変形例において、処理順序の段階において解像度が異なる学習済みモデルの一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、データ処理装置の実施形態について詳細に説明する。
【０００９】
図１は、実施形態におけるデータ処理装置１の構成の一例を示す図である。図１に示すように、データ処理装置１は、入出力インタフェース１０と、メモリ（記憶部）２０と、処理回路（処理部）３０と、ディスプレイ（表示部）４０とを有する。
【００１０】
入出力インタフェース１０は、入力インタフェースと出力インタフェースとを有する。入力インタフェースは、例えば、マウス等のポインティングデバイス、あるいはキーボード等の入力デバイスに関する回路、不図示の通信ネットワークからの入力端子等を有する。なお、入力インタフェースが有する回路は、マウス、キーボードなどの物理的な操作部品に関する回路に限定されない。例えば、入力インタフェースは、本データ処理装置１とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、受け取った電気信号を種々の回路へ出力するような電気信号の処理回路を有していてもよい。なお、入力インタフェースは、制御機能３０１による制御のもとで、通信ネットワークを介して処理対象データ２０１を取得する通信インタフェースとして機能してもよい。このとき、入力インタフェースは、取得された処理対象データ２０１をメモリ２０に出力する。
【００１１】
出力インタフェースは、通信ネットワークなどへの出力端子等である。出力端子は、例えば、通信ネットワークなどに接続される。出力インタフェースは、制御機能３０１による制御のもとで、データ処理機能３０３により学習済みモデル２０３から出力された出力データ２０５を、通信ネットワークを介して外部の各種装置に出力する。
【００１２】
メモリ２０は、処理対象データ２０１と、学習済みモデル２０３と、出力データ２０５と、処理回路３０で実行される各種機能に対応するプログラムを記憶する。メモリ２０は、例えば、フラッシュメモリ等の半導体メモリ素子である。なお、データ処理装置１は、メモリ２０の代わりに、記憶装置を搭載してもよい。このとき、記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ハードディスクドライブ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、光ディスク等で実現される。また、記憶装置は、ＣＤ−ＲＯＭドライブやＤＶＤドライブ、フラッシュメモリ等の可搬型記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。処理対象データ２０１、学習済みモデル２０３、および出力データ２０５については、後程説明する。
【００１３】
処理回路３０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、或いは、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ：ＦＰＧＡ））等で実現される。
【００１４】
処理回路３０は、制御機能３０１およびデータ処理機能３０３などを有する。制御機能３０１およびデータ処理機能３０３にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態でメモリ２０に記憶されている。処理回路３０は、これら各種機能に対応するプログラムをメモリ２０から読み出し、読み出したプログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路３０は、図１の処理回路３０内に示された複数の機能等を有する。
【００１５】
処理回路３０は、制御機能３０１によりデータ処理装置１を制御する。具体的には、処理回路３０は、メモリ２０に記憶された制御プログラムを読み出して自身のメモリ上に展開し、展開された制御プログラムに従って本データ処理装置１における各種回路を制御する。また、処理回路３０は、入出力インタフェース１０を介して操作者から入力された指示に従って、データ処理機能３０３に対応するプログラム（以下、データ処理プログラムと呼ぶ）を、メモリ２０から読み出して実行することで、データ処理機能３０３を実現する。データ処理機能３０３については後程詳述する。
【００１６】
なお、図１においては単一の処理回路３０にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。なお、処理回路３０が有する制御機能３０１およびデータ処理機能３０３は、それぞれ制御部およびデータ処理部の一例である。上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ或いは、ＡＳＩＣ、プログラマブル論理デバイス（ＳＰＬＤ、ＣＰＬＤ、及びＦＰＧＡ）等の回路を意味する。
【００１７】
ディスプレイ４０は、制御機能３０１による制御のもとで、データ処理機能３０３に関する各種設定・選択項目を入力するための各種ユーザインタフェース、およびデータ処理機能３０３により学習済みモデル２０３から出力された出力データ２０５などを表示する。ディスプレイ４０は、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイ、モニタ等の表示デバイスである。
【００１８】
以上が本実施形態におけるデータ処理装置１の全体構成についての説明である。以下、本実施形態におけるデータ処理機能３０３について説明する。本実施形態におけるデータ処理機能３０３は、学習済みモデル２０３に処理対象データ２０１を入力して順伝播処理を実行し、表現精度を向上させた、すなわち出力誤差を低減させた出力データ２０５を生成することにある。
【００１９】
以下、データ処理機能３０３の説明に先立って、学習済みモデル２０３について説明する。
【００２０】
学習済みモデル２０３は、不図示のモデル学習装置により生成される。具体的には、モデル学習装置は、不図示の学習データ保管装置に記憶された学習データに基づいて、モデル学習プログラムに従い機械学習前のモデルに機械学習を行わせることにより、学習済みモデル２０３を生成する。モデル学習装置は、ＣＰＵ及びＧＰＵ等のプロセッサを有するワークステーション等のコンピュータである。モデル学習装置と学習データ保管装置とはケーブル又は通信ネットワークを介して通信可能に接続されてもよい。この場合、ケーブル又は通信ネットワーク等を介して、学習データ保管装置からモデル学習装置に学習データが供給される。また、モデル学習装置と学習データ保管装置とは通信可能に接続されてなくてもよい。この場合、学習データが記憶された可搬型記憶媒体を介して、学習データ保管装置からモデル学習装置に、学習データが供給される。なお、学習データ保管装置がモデル学習装置に搭載されてもよい。
【００２１】
本実施形態における学習済みモデル２０３は、複数のニューラルネットワークと解像度変換層２０３１とを有する。モデル学習装置により生成された学習済みモデル２０３は、例えば、解像度変換層２０３１と複数のニューラルネットワークとにおける処理を処理回路３０に実行させるデータ処理プログラムである。このとき、学習済みモデル２０３は、用途および処理対象データの種別に応じて、メモリ２０にデータ処理プログラムとして記憶される。複数のニューラルネットワーク各々は、例えば、生物の脳の神経細胞をモデルとしたアルゴリズムである「ニューラルネットワーク」の階層を深めたもの（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：以下、ＤＮＮと呼ぶ）である。複数のニューラルネットワーク各々において、例えば、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：以下、ＣＮＮと呼ぶ）と、全結合（Ｆｕｌｌ  ｃｏｎｎｅｃｔｅｄ）ニューラルネットワークと、局所的な接続性（Ｌｏｃａｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）を有するニューラルネットワークとのうち少なくとも一つが用いられる。
【００２２】
以下、説明を具体的にするために、学習済みモデル２０３における複数のニューラルネットワークは、複数の解像度各々に対応する複数のＣＮＮ２０３３として説明する。複数のＣＮＮ２０３３は、少なくとも一つのコンボリューション層をそれぞれ有する。コンボリューション層は、例えば、コンボリューション処理に関する少なくとも一つのフィルタを有する。なお、ＣＮＮ２０３３が複数のコンボリューション層を有する場合、複数のコンボリューション層各々は、ＲｅｓＮｅｔまたはＤｅｎｓｅＮｅｔとして構成されてもよい。
【００２３】
解像度変換層２０３１は、複数の解像度各々に対応する複数のＣＮＮ２０３３において処理順序が隣接する複数の隣接ニューラルネットワーク（以下、隣接ＣＮＮと呼ぶ）の間に設けられる。解像度変換層２０３１は、隣接ＣＮＮのうち処理順序が前段に位置する複数の前段ニューラルネットワーク（以下、前段ＣＮＮと呼ぶ）各々から出力されたデータ（以下、前段データと呼ぶ）の解像度を、隣接ＣＮＮのうち後段に位置する複数の後段ニューラルネットワーク（以下、後段ＣＮＮと呼ぶ）各々に関する解像度に変換する。すなわち、解像度変換層２０３１は、複数の前段ＣＮＮと複数の後段ＣＮＮとの間に設けられる。また、複数のＣＮＮ２０３３は、データ処理の処理順序に応じて、解像度が異なる複数の前段ＣＮＮと、解像度が異なる複数の後段ＣＮＮとを有する。
【００２４】
好適には、学習済みモデル２０３において、解像度変換層２０３１と複数の後段ＣＮＮとの組み合わせが、処理順序に沿って直列的に複数接続される。学習済みモデル２０３は、複数の解像度のうち少なくとも一つの解像度に対応する処理対象データ２０１の入力により、複数の解像度のうち少なくとも一つの解像度に対応する出力データ２０５を出力するように機能づけられている。すなわち、処理回路３０は、データ処理機能３０３により、学習済みモデル２０３に、少なくとも一つの解像度に対応する処理対象データ２０１を入力することにより、少なくとも一つの解像度に対応する出力データ２０５を出力する。学習済みモデル２０３は、解像度変換層２０３１を介して、複数の解像度各々に対応する前段データを複数の解像度に対して横断的に後段ＣＮＮ各々に入力することにより、出力データ２０５を生成する。すなわち、処理回路３０は、データ処理機能３０３により、複数の前段ＣＮＮ各々から出力された前段データに基づき、前段データの解像度を複数の後段ＣＮＮ各々に関する解像度に変換することにより解像度変換データを生成し、生成された解像度変換データを、解像度に応じて複数の後段ＣＮＮ各々に出力する。
【００２５】
図２は、学習済みモデル２０３における順伝播に関する構成の概要の一例を示す図である。図２において、複数の解像度の総数は、ｍ（ｍは、２以上の自然数）であるものとする。以下、説明の便宜上、解像度ｍは最大の解像度、解像度１は最小の解像度として説明する。隣接する解像度の間隔、すなわち解像度の差は、任意に設定可能である。例えば、ｍが３である場合、解像度１に対する解像度２の比をＡ、解像度２に対する解像度３の比をＢとする場合、比Ａおよび比Ｂは、Ａ＝Ｂ＝２のような同一の値でもよいし、Ａ＝１．５およびＢ＝２のように異なる値であってもよい。
【００２６】
図２において、処理対象データ２０１の解像度は、学習済みモデル２０３における最大の解像度ｍであるものとする。また、図２において、出力データ２０５の解像度は、処理対象データ２０１の解像度と同様であるものとする。このとき、学習済みモデル２０３は、例えば、処理対象データ２０１に対するデノイズまたはセグメンテーション（切り出し）を目的とした学習後に、これらを目的として、処理対象データ２０１に対して適用される。学習済みモデル２０３から出力される出力データ２０５は、処理対象データ２０１に対するデノイズ結果、またはセグメンテーション結果に相当するデータとなる。
【００２７】
図２におけるｎは、好適には２以上の自然数であって、例えば、処理順序の最終段階を示す。図２に示すように、学習済みモデル２０３は、処理順序が初段の解像度変換層ＲＴＬ０と、ｍ×（ｎ＋１）個の複数のＣＮＮ（ＣＮＮ１，０、・・・、ＣＮＮｍ，ｎ）と、複数の連係（ＬＫ１、・・・、ＬＫｎ）と、段階ｎの処理順序に属する複数のＣＮＮ（以下、第ｎＣＮＮと呼ぶ）（ＣＮＮｍ，ｎ、・・・、ＣＮＮ１，ｎ）各々からの出力を所定の解像度に変換する第（ｎ＋１）解像度変換層ＲＴＬｎ＋１と、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１から出力された複数チャネルの出力（以下、チャネルデータと呼ぶ）に対して１チャネルのデータを出力させる１×１のコンボリューション層ＣＮＮ１×１とを有する。
【００２８】
図２において、第１連係ＬＫ１と段階１の処理順序に属する複数のＣＮＮ（ＣＮＮｍ，１、ＣＮＮｍ−１，１、・・・、ＣＮＮ１，１）との組み合わせを第１連係・ＮＮブロックＬＮＢ１と呼ぶ。同様に、第ｉ連係ＬＫｉと段階ｉの処理順序に属する複数のＣＮＮ（ＣＮＮｍ，ｉ、ＣＮＮｍ−１，ｉ、・・・、ＣＮＮ１，ｉ）との組み合わせを第ｉ連係・ＮＮブロックＬＮＢｉと呼ぶ。ここで、ｉは、データ処理機能３０３における処理順序の段階（１≦ｉ≦ｎ）を示すサフィックスである。すなわち、サフィックスｉは、連係の処理回数を規定する自然数（以下、連係処理回数と呼ぶ）に相当する。以下、学習済みモデル２０３における順伝播の説明の便宜上、サフィックスｉを導入する。
【００２９】
なお、所定の解像度より低い解像度に属する複数のニューラルネットワークとして、例えば図２に示す解像度１に属する複数のＣＮＮ（ＣＮＮ１，０、・・・、ＣＮＮ１，ｎ）の代わりに、局所的な接続性（Ｌｏｃａｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）を有するニューラルネットワークが用いられてもよい。
【００３０】
なお、図２に示す学習済みモデル２０３の構成は、一例であって、種々の変形が可能である。例えば、学習済みモデル２０３は、初段の解像度変換層ＲＴＬ０の前段の処理として、１×１のコンボリューション層を有してもよいし、隣接ＣＮＮの間に各種プーリング層、活性化層、コントラスト正規化層等が適宜設けられてもよい。図２に示す学習済みモデル２０３の構成に関する変形例については、後程説明する。
【００３１】
初段の解像度変換層ＲＴＬ０には、処理回路３０におけるデータ処理機能３０３により、処理対象データ２０１が入力される。初段の解像度変換層ＲＴＬ０は、処理対象データ２０１の解像度と、学習済みモデル２０３における複数の解像度とに基づいて、処理対象データ２０１に対して解像度変換を実行する。初段の解像度変換層ＲＴＬ０は、解像度変換の実行により、複数の解像度各々に対応する解像度変換データ（以下、初段解像度変換データと呼ぶ）を生成する。
【００３２】
図２に示すように、処理対象データ２０１の解像度がｍである場合、初段の解像度変換層ＲＴＬ０は、複数の解像度各々に応じて、ダウンサンプリング処理を処理対象データ２０１に対して実行する。これにより、初段の解像度変換層ＲＴＬ０は、解像度に応じた初段解像度変換データを生成する。ダウンサンプリング処理としては、例えば、マックスプーリングや平均値を出力するような各種プーリング処理、ガウシアンフィルタなどの各種フィルタの適用、１を超えるストライド（ステップサイズ）を用いたコンボリューション処理などの任意の手法が適用可能である。
【００３３】
初段の解像度変換層ＲＴＬ０は、解像度ごとに生成された初段解像度変換データを、第０段階の複数のＣＮＮ（ＣＮＮｍ，０、ＣＮＮｍ−１，０、・・・、ＣＮＮ１，０）（以下、第０ＣＮＮと呼ぶ）に、解像度に応じて出力する。例えば、初段の解像度変換層ＲＴＬ０は、処理順序が初段であって解像度ｍに対応するＣＮＮｍ，０に、処理対象データ２０１そのもの、すなわち処理対象データ２０１に対してダウンサンプリング処理が実行されずに、処理対象データ２０１を出力する。また、初段の解像度変換層ＲＴＬ０は、処理対象データ２０１に対してダウンサンプリング処理を１回実行し、解像度変換が実行された解像度（ｍ−１）の処理対象データ２０１を、処理順序が初段であって解像度（ｍ−１）に対応するＣＮＮｍ−１，０に出力する。以下同様に、初段の解像度変換層ＲＴＬ０は、処理対象データ２０１に対してダウンサンプリング処理が（ｍ−１）回実行し、解像度変換が実行された解像度１の処理対象データ２０１を、処理順序が初段であって解像度１に対応するＣＮＮ１，０に出力する。
【００３４】
第０ＣＮＮ（ＣＮＮｍ，０、ＣＮＮｍ−１，０、・・・、ＣＮＮ１，０）各々は、自身が有するコンボリューション層により初段解像度データに対してコンボリューション処理を実行する。第０ＣＮＮ（ＣＮＮｍ，０、ＣＮＮｍ−１，０、・・・、ＣＮＮ１，０）各々は、コンボリューション処理が実行された初段解像度データ（以下、第０ＣＮＮ出力データと呼ぶ）を、第１連係ＬＫ１に出力する。以下、第ｉ連係ＬＫｉを例にとり、連係における処理内容について、図３を用いて説明する。
【００３５】
図３は、第ｉ連係ＬＫｉの処理内容の概要の一例を示す図である。なお、図３において連係処理回数ｉ＝１の場合、ＬＫ０は、初段の解像度変換層ＲＴＬ０に対応する。第ｉ連係ＬＫｉは、第ｉ解像度変換層ＲＴＬｉと複数の解像度にそれぞれ対応する複数の結合（ｃｏｎｃａｔｅｎａｔｉｏｎ）層（ＣＯＮｍ，ｉ、ＣＯＮｍ−１，ｉ、・・・、ＣＯＮ１，ｉ）とを有する。結合層は、連結層とも称される。
【００３６】
第ｉ解像度変換層ＲＴＬｉは、隣接ＣＮＮの間、すなわち前段ＣＮＮ（ＣＮＮｍ，ｉ−１、ＣＮＮｍ−１，ｉ−１、・・・、ＣＮＮ１，ｉ−１）と後段ＣＮＮ（ＣＮＮｍ，ｉ＋１、ＣＮＮｍ−１，ｉ＋１、・・・、ＣＮＮ１，ｉ＋１）との間であって、複数の結合層（ＣＯＮｍ，ｉ、ＣＯＮｍ−１，ｉ、・・・、ＣＯＮ１，ｉ）の前段に設けられる。第ｉ解像度変換層ＲＴＬｉは、前段ＣＮＮ（第（ｉ−１）ＣＮＮ）各々から出力された前段データの解像度を、後段ＣＮＮ（第ｉＣＮＮ）各々に関する解像度に変換する。このとき、第ｉ解像度変換層ＲＴＬｉは、前段ＣＮＮのうち全てのＣＮＮからの前段データの入力に応答して、すなわち全ての前段ＣＮＮからの前段データの出力に同期して、処理順序が同一の複数の解像度において前段データの解像度を並列的に変換する。以下、解像度の総数が３である場合（ｍ＝３）を例にとり、図４乃至図６を用いて、第ｉ解像度変換層ＲＴＬｉにおいて実行される解像度変換処理について説明する。
【００３７】
図４は、解像度１に対応する前段ＣＮＮ１，ｉ−１（以下、前段第１ＣＮＮと呼ぶ）から出力された前段データ（以下、前段第１データと呼ぶ）に対して解像度変換が実行される概要の一例を示す図である。第ｉ連係ＬＫｉにおける第ｉ解像度変換層ＲＴＬｉに前段第１データが入力されると、第ｉ解像度変換層ＲＴＬｉは、前段第１データに対するアップサンプリング処理（以下、第１アップサンプリングと呼ぶ）ＵＳ１→２により、解像度２に対応する前段データ（以下、第１ＵＳ前段データと呼ぶ）を生成する。第ｉ解像度変換層ＲＴＬｉは、第２ＵＳ前段データを、解像度２に対応する結合層（以下、第２結合層とよぶ）ＣＯＮ２，ｉに出力する。
【００３８】
アップサンプリング処理としては、例えば、アップサンプリング処理の対象のデータ（例えば前段第１データ）のコピー、双一次（ｂｉｌｉｎｅａｒ）補間およびバイキュービック（ｂｉｃｕｂｉｃ）補間などの各種補間、フラクショナルストライドを用いた畳み込み（ｆｒａｃｔｉｏｎａｌ−ｓｔｒｉｄｅ  ｃｏｎｖｏｌｕｔｉｏｎ）、コンボリューション層における演算の逆演算などの任意の手法が適用可能である。なお、アップサンプリング処理は、必ずしも上述のダウンサンプリング処理の逆演算でなくてもよく、任意に設定可能である。また、アップサンプリング処理およびダウンサンプリング処理は、対応づいている必要はなく、任意に設定可能である。また、アップサンプリング処理およびダウンサンプリング処理は、すべての解像度変換層において同一の手法を用いる必要もなく、任意に設定可能である。
【００３９】
第ｉ解像度変換層ＲＴＬｉは、第１ＵＳ前段データに対するアップサンプリング処理（以下、第２アップサンプリングと呼ぶ）ＵＳ２→３により、解像度３に対応する前段データ（以下、第２ＵＳ前段データと呼ぶ）を生成する。第ｉ解像度変換層ＲＴＬｉは、第２ＵＳ前段データを、解像度３に対応する結合層（以下、第３結合層とよぶ）ＣＯＮ３，ｉに出力する。第１アップサンプリングＵＳ１→２と、第２アップサンプリングＵＳ２→３とにおけるアップサンプリングの割合は、それぞれ異なっていてもよいし、同一であってもよい。
【００４０】
図５は、解像度２に対応する前段ＣＮＮ２，ｉ−１（以下、前段第２ＣＮＮと呼ぶ）から出力された前段データ（以下、前段第２データと呼ぶ）に対して解像度変換が実行される概要の一例を示す図である。第ｉ連係ＬＫｉにおける第ｉ解像度変換層ＲＴＬｉに前段第２データが入力されると、第ｉ解像度変換層ＲＴＬｉは、前段第２データに対する第２アップサンプリングＵＳ２→３により、解像度３に対応する前段データ（以下、第３ＵＳ前段データと呼ぶ）を生成する。第ｉ解像度変換層ＲＴＬｉは、第３ＵＳ前段データを、解像度３に対応する結合層（以下、第３結合層とよぶ）ＣＯＮ３，ｉに出力する。
【００４１】
第ｉ解像度変換層ＲＴＬｉは、前段第２データに対するダウンサンプリング処理（以下、第１ダウンサンプリングと呼ぶ）ＤＳ２→１により、解像度１に対応する前段データ（以下、第１ＤＳ前段データと呼ぶ）を生成する。第ｉ解像度変換層ＲＴＬｉは、第１ＤＳ前段データを、第１結合層ＣＯＮ１，ｉに出力する。
【００４２】
図６は、解像度３に対応する前段ＣＮＮ３，ｉ−１（以下、前段第３ＣＮＮと呼ぶ）から出力された前段データ（以下、前段第３データと呼ぶ）に対して解像度変換が実行される概要の一例を示す図である。第ｉ連係ＬＫｉにおける第ｉ解像度変換層ＲＴＬｉに前段第３データが入力されると、第ｉ解像度変換層ＲＴＬｉは、前段第３データに対するダウンサンプリング処理（以下、第２ダウンサンプリングと呼ぶ）ＤＳ３→２により、解像度２に対応する前段データ（以下、第２ＤＳ前段データと呼ぶ）を生成する。第ｉ解像度変換層ＲＴＬｉは、第２ＤＳ前段データを、第２結合層ＣＯＮ２，ｉに出力する。第ｉ解像度変換層ＲＴＬｉは、第２ＤＳ前段データに対する第１ダウンサンプリングＤＳ２→１により、解像度１に対応する前段データ（以下、第３ＤＳ前段データと呼ぶ）を生成する。第ｉ解像度変換層ＲＴＬｉは、第３ＤＳ前段データを、第１結合層ＣＯＮ１，ｉに出力する。
【００４３】
第１アップサンプリングＵＳ１→２と第１ダウンサンプリングＤＳ２→１とは、それぞれ解像度を変換する演算であり、予め関連付けられる。また、第２アップサンプリングＵＳ２→３と第２ダウンサンプリングＤＳ３→２とは、それぞれ解像度を変換する演算であり、予め関連付けられる。一般的には、ｊを１≦ｊ≦ｍ−１に含まれる自然数とすると、第ｊアップサンプリングＵＳｊ→ｊ＋１と第ｊダウンサンプリングＤＳｊ＋１→ｊとは、それぞれ解像度を変換する演算であり、予め関連付けられる。
【００４４】
なお、上記アップサンプリング処理および上記ダウンサンプリング処理は一例であり、アップサンプリング処理およびダウンサンプリング処理は、前段データの解像度を、所望の解像度に直接変換してもよい。一般的なアップリング処理ＧＵＳは、ｑをｊ＜ｑ≦ｍに含まれる自然数とすると、ＧＵＳｊ→ｑと表すことができる。また、一般的なダウンサンプリング処理ＧＤＳは、ｒを１≦ｒ＜ｊに含まれる自然数とすると、ＧＤＳｊ→ｒと表すことができる。
【００４５】
例えば、図４において、前段第１データの解像度は、不図示のアップサンプリング処理ＵＳ１→３により、直接、解像度３に変換されてもよい。すなわち、第ｉ解像度変換層ＲＴＬｉは、前段第１データから、第１ＵＳ前段データの生成を介さずに、第２ＵＳ前段データを生成してもよい。また、図６において、前段第３データの解像度は、ダウンサンプリング処理により、直接、解像度１に変換されてもよい。すなわち、第ｉ解像度変換層ＲＴＬｉは、前段第３データから、第２ＤＳ前段データの生成を介さずに、第３ＤＳ前段データを生成してもよい。
【００４６】
複数の結合層（ＣＯＮｍ，ｉ、ＣＯＮｍ−１，ｉ、・・・、ＣＯＮ１，ｉ）は、前段ＣＮＮ（ＣＮＮｍ，ｉ−１、ＣＮＮｍ−１，ｉ−１、・・・、ＣＮＮ１，ｉ−１）から出力された前段データと、第ｉ解像度変換層ＲＴＬｉから出力された（解像度が変換された）前段データとを、同一の解像度に関して結合する。複数の結合層各々におけるデータの結合は、例えば、チャネル方向に沿って、前段ＣＮＮから出力された前段データに、解像度が変換された前段データを付け加えることに対応する。以下、解像度の総数が３である場合を例にとり、図７乃至図９を用いて、第１乃至第３結合層において実行される結合処理について説明する。
【００４７】
図７は、第１結合層ＣＯＮ１，ｉにおいて結合処理が実行される概要の一例を示す図である。第１ＤＳ前段データと第３ＤＳ前段データと前段第１データとが第１結合層ＣＯＮ１，ｉに入力されると、第１結合層ＣＯＮ１，ｉは、当該３つのデータを３つのチャネルにそれぞれ割り当てることにより、結合データ（以下、第１結合データと呼ぶ）を生成する。第１結合層ＣＯＮ１，ｉは、第１結合データを、解像度１に対応する後段ＣＮＮ１，ｉに出力する。
【００４８】
図８は、第２結合層ＣＯＮ２，ｉにおいて結合処理が実行される概要の一例を示す図である。第２ＤＳ前段データと第１ＵＳ前段データと前段第２データとが第２結合層ＣＯＮ２，ｉに入力されると、第２結合層ＣＯＮ２，ｉは、当該３つのデータを３つのチャネルにそれぞれ割り当てることにより、結合データ（以下、第２結合データと呼ぶ）を生成する。第２結合層ＣＯＮ２，ｉは、第２結合データを、解像度２に対応する後段ＣＮＮ２，ｉに出力する。
【００４９】
図９は、第３結合層ＣＯＮ３，ｉにおいて結合処理が実行される概要の一例を示す図である。第３ＵＳ前段データと第２ＵＳ前段データと前段第３データとが第３結合層ＣＯＮ３，ｉに入力されると、第３結合層ＣＯＮ３，ｉは、当該３つのデータを３つのチャネルにそれぞれ割り当てることにより、結合データ（以下、第３結合データと呼ぶ）を生成する。第３結合層ＣＯＮ３，ｉは、第３結合データを、解像度３に対応する後段ＣＮＮ３，ｉに出力する。
【００５０】
第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、第ｎ連係・ＣＮＮブロックＬＮＢｎにおける第ｎＣＮＮ（ＣＮＮｍ，ｎ、・・・、ＣＮＮ１，ｎ）各々からの出力データを、所望の解像度（図２の例では解像度ｍ）のデータに変換する。第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、解像度が変換されたデータを、１×１のコンボリューション層ＣＮＮ１×１に出力する。例えば、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、図２に示すように、解像度ｍに属するＣＮＮｍ，ｎから出力されたデータを、解像度を変換することなく、そのまま１×１のコンボリューション層ＣＮＮ１×１に出力する。また、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、解像度（ｍ−１）に属するＣＮＮｍ，ｎから出力されたデータに対してアップサンプリング処理を１回実行し、解像度（ｍ−１）から解像度ｍに変換されたデータを、１×１のコンボリューション層ＣＮＮ１×１に出力する。以下同様に、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、解像度１に属するＣＮＮ１，０から出力されたデータに対してアップサンプリング処理を（ｍ−１）回実行し、解像度１から解像度ｍに変換されたデータを、１×１のコンボリューション層ＣＮＮ１×１に出力する。
【００５１】
１×１のコンボリューション層ＣＮＮ１×１は、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１から出力されたｍチャネルのチャネルデータに対して１×１のフィルタでコンボリューションを実行する。これにより、１×１のコンボリューション層ＣＮＮ１×１は、学習済みモデル２０３から出力データ２０５を生成する。なお、学習済みモデル２０３は、出力データの用途に応じて、例えば、１×１のコンボリューション層ＣＮＮ１×１の後段にシグモイド関数などの各種レイヤーを有していてもよい。
【００５２】
以下、学習済みモデル２０３を用いて処理回路３０により実行されるデータ処理機能３０３の処理手順について、図１０および図１１を参照して説明する。図１０および図１１は、学習済みモデル２０３（または学習済みモデル２０３に対応するプログラム）を用いて実行されるデータ処理機能３０３の処理手順の一例を示す図である。本実施形態におけるデータ処理機能３０３は、学習済みモデル２０３におけるデータの順伝播に対応する。
【００５３】
以下、データ処理機能３０３の処理手順の説明の便宜上、連係処理回数ｉを導入する。なお、学習済みモデル２０３を用いた処理手順において、連係処理回数の最終値は、図２に示すように処理の最終段階ｎとして予め設定される。このため、実際には、データ処理機能は、連係処理回数ｉが１からｎまでの一連の順伝播処理として実施されるものとなる。
【００５４】
（データ処理機能）  
（ステップＳａ１）  
学習済みモデル２０３における初段の解像度変換層ＲＴＬ０に処理対象データが入力される。具体的には、処理回路３０は、制御機能３０１により、メモリ２０に記憶された学習済みモデル２０３を読み出す。処理回路３０は、データ処理機能３０３により、メモリ２０に記憶された処理対象データ２０１を読み出す。処理回路３０は、読み出された処理対象データ２０１を、学習済みモデル２０３における初段の解像度変換層ＲＴＬ０に入力する。
【００５５】
（ステップＳａ２）  
初段の解像度変換層ＲＴＬ０により、処理対象データ２０１の解像度は変換され、複数の解像度各々に対応する初段解像度変換データが生成される。具体的には、初段の解像度変換層ＲＴＬ０は、複数の解像度各々に応じてダウンサンプリング処理とアップサンプリング処理とのうち少なくともひとつを処理対象データ２０１に対して実行することで、解像度に応じた初段解像度変換データを生成する。
【００５６】
（ステップＳａ３）  
初段の解像度変換層ＲＴＬ０は、複数の解像度各々において、初段解像度変換データを第０ＣＮＮに入力する。第０ＣＮＮは、複数の解像度各々に対応する第０ＣＮＮ出力データを生成する。
【００５７】
（ステップＳａ４）  
連係処理回数を規定する自然数ｉが１に設定される。
【００５８】
（ステップＳａ５）  
第ｉ連係ＬＫｉにおける第ｉ解像度変換層ＲＴＬｉは、後段のＣＮＮ（第ｉＣＮＮ）に関する複数の解像度各々に一致するように、第（ｉ−１）ＣＮＮ出力データの解像度を変換する。第ｉ解像度変換層ＲＴＬｉは、第（ｉ−１）ＣＮＮ出力データの解像度を変換することで、複数の解像度各々に対応する第ｉ解像度変換データを生成する。本ステップにおける処理内容は、解像度の総数ｍが３（ｍ＝３）である場合、図４乃至図９に関する説明に対応する。
【００５９】
（ステップＳａ６）  
第ｉ連係ＬＫｉは、複数の解像度各々において、結合層により結合された第ｉ解像度変換データを第ｉＣＮＮに入力する。第ｉＣＮＮは、複数の解像度各々に対応する第ｉＣＮＮ出力データを生成する。
【００６０】
（ステップＳａ７）  
連係処理回数ｉが連係処理回数の最終値ｎに等しくなければ（ステップＳａ７のＮｏ）、ステップＳａ８の処理が実行される。連係処理回数ｉが連係処理回数の最終値ｎに等しければ（ステップＳａ７のＹｅｓ）、ステップＳａ９の処理が実行される。
【００６１】
（ステップＳａ８）  
連係処理回数ｉの数値がインクリメントされる。次いで、ステップＳａ５およびステップＳａ６の処理が繰り返される。ステップＳａ５乃至ステップＳａ８の処理は、図２に示すように、第ｉ連係・ＮＮブロックＬＮＢｉについて、ｉ＝１からｉ＝ｎまで、一連の順伝播処理を実行することに対応する。
【００６２】
（ステップＳａ９）  
第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、出力データの解像度に合わせるように第ｎＣＮＮ出力データの解像度を変換することで、複数のチャネル各々に対応するチャネルデータを生成する。第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、ｍチャネルのチャネルデータを、１×１のコンボリューション層ＣＮＮ１×１に出力する。
【００６３】
図２において、出力データ２０５の解像度は、処理対象データ２０１の解像度（高解像度）と同様であるものとして記載しているが、これに限定されない。例えば、解像度１乃至ｍのうち中間の解像度、すなわち解像度２乃至（ｍ−１）または解像度ｍ／２や、低解像度、すなわち解像度１または解像度１近傍の解像度などが所望される場合、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、これらの解像度に合わせて第ｎＣＮＮ出力データの解像度を変換することで、チャネルデータを生成する。
【００６４】
（ステップＳａ１０）  
１×１のコンボリューション層ＣＮＮ１×１は、複数のチャネル各々に対応するチャネルデータに基づいて、処理対象データ２０１に対応する出力データ２０５を生成する。具体的には、１×１のコンボリューション層ＣＮＮ１×１は、チャネルデータに対して１×１のフィルタでコンボリューションを実行することにより、出力データ２０５を生成する。処理回路３０は、ステップＳａ１乃至ステップＳａ１０の処理を実行させるデータ処理機能３０３により、解像度変換層を介して、複数の解像度各々に対応する前段データを複数の解像度に対して横断的に複数の後段ＣＮＮ各々に入力することにより、学習済みモデル２０３から出力データ２０５を出力する。処理回路３０は、出力データ２０５をメモリ２０に記憶させる。処理回路３０は、出力データ２０５を、ディスプレイ４０に出力する。なお、処理回路３０は、出力データ２０５を、入出力インタフェースを１０と通信ネットワークとを介して外部の各種装置に出力する。ディスプレイ４０は、出力データ２０５を表示する。
【００６５】
以下、本実施形態で適用可能な処理対象データ２０１の一例および出力データ２０５の一例について説明する。
【００６６】
処理対象データ２０１としては、医用画像（ＤＩＣＯＭ（Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｉｎ  Ｍｅｄｉｃｉｎｅ）データ）などの各種画像、時系列に沿った生体信号などの時系列信号（１次元信号）、各種モダリティにより取得された生データ、画像に非画像軸が付与された多次元画像などである。
【００６７】
医用画像は、例えば、（ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）画像、ＭＲ（Ｍａｇｎｅｔｉｃ  ｒｅｓｏｎａｎｃｅ）画像、超音波（ＵｌｔｒａＳｏｕｎｄ）画像、Ｘ線（ＸＲ（Ｘ−ｒａｙ））画像などのＤＩＣＯＭデータである。なお、各種画像は、医用画像に限定されず、任意の画像であってもよい。また、１次元信号は、例えば、音声データ、脳波波形、脈波波形、呼吸波形、ＥＣＧ（ＥｌｅｃｔｒｏＣａｒｄｉｏＧｒａｍ）波形などである。
【００６８】
生データは、例えば、ＣＴ装置により収集されたサイノグラムデータ（投影データ）、超音波診断装置により取得されたＩＱ信号、磁気共鳴イメージング装置により取得されたｋ空間データ、陽電子放射断層撮影装置により取得されたリストモードデータなどである。
【００６９】
多次元画像とは、例えば、フォトンカウンティングＣＴ（ＰＣＣＴ）装置により生成されたエネルギービンごとの複数のＣＴ画像をＰＣＣＴのエネルギースペクトラムの昇順（非画像軸）に沿って配列させた画像群、ｂ値が異なる複数の拡散強調画像をｂ値の昇順（非画像軸）に沿って配列させた画像群、Ｔ１値の昇順（非画像軸）またはＴ２値の昇順（非画像軸）に沿って複数のＭＲ画像を配列させた画像群、ＡＤＣ（Ａｐｐａｒｅｎｔ  Ｄｉｆｆｕｓｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ：見かけの拡散係数）の値の昇順（非画像軸）に沿って複数のＭＲ画像を配列させた画像群、流速方向に沿って複数の医用画像を配列させた画像群などである。
【００７０】
なお、学習済みモデル２０３に入力される処理対象データ２０１は、１つに限定されない。学習済みモデル２０３へのマルチ入力の例として、学習済みモデル２０３の入力層、例えば初段の解像度変換層ＲＴＬ０における複数のチャネル（以下、入力チャネルと呼ぶ）各々に、同種または異種の処理対象データ２０１を複数入力してもよい。また、入力チャネル各々に入力される処理対象データ２０１は、入力チャネルごとに解像度が異なっていてもよい。例えば、初段の解像度変換層ＲＴＬ０における解像度ｍの第ｍチャネルにＣＴ画像が高解像度の処理対象データとして入力され、初段の解像度変換層ＲＴＬ０における解像度１の第１チャネルにＰＥＴ画像が低解像度の処理対象データとして入力されてもよい。
【００７１】
他の例として、初段の解像度変換層ＲＴＬ０における第ｍチャネルに高線量のＸ線撮影画像が高解像度の処理対象データとして入力され、初段の解像度変換層ＲＴＬ０における第（ｍ／２）チャネルに低線量のＸ線透視画像（ダイナミック画像）が低解像の処理対象データとして入力されてもよい。これらの場合、メモリ２０は、学習済みモデル２０３に入力される処理対象データの数だけ、処理対象データを記憶する。
【００７２】
また、解像度の総数ｍ各々に対応する処理対象データ２０１が学習済みモデル２０３に入力される場合、複数の解像度各々に対応する初段解像度変換データは、解像度の総数ｍ各々に対応する処理対象データ２０１に対応する。このとき、初段の解像度変換層ＲＴＬ０は不要となる。また、処理対象データ２０１は、解像度の総数ｍに応じた数だけ、メモリ２０に記憶される。例えば、複数の解像度各々に対応する再構成データが解像度に応じて入力チャネルに入力されてもよい。このとき、解像度が異なる再構成データは、解像度に応じて再構成条件を変更させて投影データを再構成した再構成画像に相当する。
【００７３】
処理対象データ２０１の解像度がｍであって出力データ２０５が解像度ｍなどの高解像度で出力される場合、出力データ２０５は、例えば、処理対象データ２０１に対するデノイズ結果のデータ、処理対象データ２０１に対するセグメンテーション結果のデータなどである。このとき、処理対象データ２０１の解像度と出力データ２０５の解像度とは同一となる。また、処理対象データ２０１が生データである場合、出力データ２０５は、生データに基づく再構成画像であってもよい。
【００７４】
また、出力データ２０５が中間の解像度で出力される場合、出力データ２０５は、例えば、処理対象データ２０１における複数の領域に関する複数の尤度などである。処理対象データ２０１が医用画像である場合、複数の領域とは、例えば、医用画像に含まれる臓器・疾患等の領域に対応する。また、出力データ２０５が低解像度で出力される場合、出力データ２０５は、例えば、処理対象データ２０１における複数の領域に関する検出結果（例えば、領域の検出精度）または認識結果（例えば、症例らしさを示す尤度）である。このとき、処理対象データ２０１の解像度と出力データ２０５の解像度とは異なる。
【００７５】
なお、図２において、出力データ２０５は、１つとして記載されているが解像度に応じて複数出力されてもよい。このとき、出力データ２０５は、複数の解像度のうち２つ以上の解像度各々に対応する。また、処理回路３０は、データ処理機能３０３により、ｋを１≦ｋ≦ｎに含まれる自然数として、第ｋ連係・ＮＮブロックＬＮＢｋにおける第ｋ解像度変換層ＲＴＬｋからの出力を１×１のコンボリューション層ＣＮＮ１×１に入力することにより出力データを生成してもよい。
【００７６】
学習済みモデル２０３からのマルチ出力の例として、例えば、処理対象データ２０１が医用画像である場合、処理回路３０は、データ処理機能３０３により、医用画像に含まれる複数のセグメンテーション結果各々を、出力に関する複数のチャネル（以下、出力チャネルと呼ぶ）各々における出力データ２０５として、学習済みモデル２０３から出力してもよい。このとき、学習済みモデル２０３は、複数の出力チャネルにそれぞれ対応する複数の１×１のコンボリューション層ＣＮＮ１×１を有する。なお、出力チャネル各々における出力データ２０５は、同種のデータに限定されない。例えば、処理回路３０は、データ処理機能３０３により、２つの出力チャネルにおいて、セグメンテーション結果とセグメンテーションの種類（例えば、臓器などの名称など）とを、それぞれ出力データ２０５として出力してもよい。
【００７７】
以上に述べた構成および処理動作によれば、以下に示す効果を得ることができる。  
本実施形態におけるデータ処理装置１によれば、解像度が異なる複数の前段ニューラルネットワーク（前段ＣＮＮ）と、解像度が異なる複数の後段ニューラルネットワーク（後段ＣＮＮ）と、複数の前段ニューラルネットワーク（前段ＣＮＮ）と複数の後段ニューラルネットワーク（後段ＣＮＮ）との間に設けられた解像度変換層２０３１とを有する学習済みモデル２０３に、少なくとも一つの解像度に対応する処理対象データ２０１を入力することにより、少なくとも一つの解像度に対応する出力データ２０５を出力することができる。このとき、本データ処理装置１によれば、解像度変換層２０３１は、複数の前段ニューラルネットワーク（前段ＣＮＮ）各々から出力された前段データに基づき、前段データの解像度を複数の後段ニューラルネットワーク（後段ＣＮＮ）各々に関する解像度に変換することにより解像度変換データを生成し、解像度変換データを、解像度に応じて複数の後段ニューラルネットワーク（後段ＣＮＮ）各々に出力することができる。
【００７８】
また、本データ処理装置１によれば、学習済みモデル２０３において、解像度変換層２０３１と後段ニューラルネットワーク（後段ＣＮＮ）との組み合わせを、処理順序に沿って直列的に複数接続することができる。また、本データ処理装置１によれば、処理対象データ２０１の解像度と出力データ２０５の解像度とは、同一または異ならせることができる。また、本データ処理装置１によれば、出力データ２０５は、複数の解像度のうち２つ以上の解像度各々に対応させることができる。また、本データ処理装置１によれば、データ処理機能３０３により、解像度変換層２０３１は、前段ニューラルネットワーク（前段ＣＮＮ）のうち全てのニューラルネットワークからの前段データの入力に応答して、処理順序が同一の複数の解像度において前段データの解像度を並列的に変換することができる。
【００７９】
以上のことから、本データ処理装置１によれば、前段データを当該前段データの解像度とは異なる他の解像度における後段ＣＮＮに入力することができる。これにより、本データ処理装置１に搭載された本学習済みモデル２０３によれば、後段ＣＮＮにおいて、異なる解像度の前段データの利用効率、すなわち解像度間の情報の利用効率を向上させることができ、学習済みモデル２０３による表現精度を向上させることができる。
【００８０】
例えば、学習済みモデル２０３において処理対象データ２０１として画像を用いて出力データ２０５としてデノイズ画像が出力される場合、学習済みモデル２０３に入力された画像に対するデノイズの精度を向上させることができる。また、学習済みモデル２０３において処理対象データ２０１として画像を用いて出力データ２０５としてセグメンテーション結果が出力される場合、学習済みモデル２０３に入力された画像に対するセグメンテーションの精度を向上させることができる。また、学習済みモデル２０３において処理対象データ２０１として画像を用いて出力データ２０５として識別結果または検出結果が出力される場合、学習済みモデル２０３に入力された画像に対する識別の精度または検出の精度を向上させることができる。また、学習済みモデル２０３において処理対象データ２０１として画像を用いて出力データ２０５として関数近似が出力される場合、学習済みモデル２０３に入力された画像に対する関数近似の精度を向上させることができる。
【００８１】
（第１変形例）  
本変形例と実施形態との相違は、学習済みモデル２０３において複数の連係・ＮＮブロック各々の後段に加算層をさらに有し、処理順序において、後段ＣＮＮよりさらに後段に位置する少なくとも一つのＣＮＮに、複数の解像度にそれぞれ対応する複数の加算層各々を介して前段データをさらに入力することにある。換言すると、処理回路３０は、データ処理機能３０３により、複数の加算層各々において、後段ＣＮＮ各々に入力される前段データを後段ＣＮＮ各々から出力されたデータ（以下、後段データと呼ぶ）と加算して、後段の連係・ＮＮブロックに出力する（以下、ショートカットと呼ぶ）。なお、後段データのチャネル数と前段データのチャネル数とが異なる場合、加算層の前段において不足しているチャネル数を０で埋めること（ｚｅｒｏ−ｐａｄｄｉｎｇ）または１×１の畳み込みによりチャネル数を調整すること（ｐｒｏｊｅｃｔｉｏｎ）を実行する調整層が、加算層の前段に設けられる。
【００８２】
図１２は、本変形例に関する学習済みモデル２０３の一例を示す図である。図１２に示すように、例えば、第１連係・ＮＮブロックＬＮＢ１に含まれる複数のＣＮＮ各々に入力される前段データは、複数の解像度各々において、第１連係・ＮＮブロックＬＮＢ１を跨いで、第１連係・ＮＮブロックＬＮＢ１に含まれる段階１の複数のＣＮＮ（ＣＮＮｍ，１、ＣＮＮｍ−１，１、・・・、ＣＮＮ１，１）各々から出力されたデータと加算層ＳＬにおいて加算されて、後段の第２連係・ＮＮブロックＬＮＢ２に出力される。
【００８３】
なお、連係・ＮＮブロックに対する前段データのショートカットＳＣは、図１２に示すような構成に限定されない。すなわち、前段データは複数の連係・ＮＮブロックに対してショートカットされてもよいし、ショートカットＳＣは適宜省略されてもよい。また、第０ＣＮＮに含まれる複数のＣＮＮに関して、初段解像度変換データは、第０ＣＮＮ出力データと加算層ＳＬにおいて加算されて前段第１ＣＮＮへ出力されてもよい。
【００８４】
また、連係・ＮＮブロックを跨ぐショートカットＳＣは、図１２に示すように、解像度ごとに実行されることに限定されない。例えば、第ｉ前段データは、第ｉ連係・ＮＮブロックＬＮＢｉに加えて解像度を跨いで、第ｉ前段データの解像度とは異なる解像度の後段データ（以下、相違後段データと呼ぶ）と、加算層ＳＬにおいて加算されてもよい。このとき、第ｉ前段データの解像度は、相違後段データの解像度に一致するように、不図示の解像度変換層における解像度変換処理により、適宜変換される。また、第ｉ前段データは、複数の連係・ＮＮブロックを跨いで、第ｉ前段データが跨いだ複数の連係・ＮＮブロックのさらに後段に配置された加算層ＳＬに入力されてもよい。なお、データ処理機能における他の処理は、実施形態における説明と同様なため、説明は省略する。
【００８５】
以上に述べた構成および処理動作によれば、本実施形態に記載の効果に加えて、以下に示す効果を得ることができる。  
本変形例におけるデータ処理装置１によれば、解像度変換層２０３１は、データ処理機能３０３により、処理順序において、後段ニューラルネットワーク（後段ＣＮＮ）よりさらに後段に位置する少なくとも一つのニューラルネットワークに前段データに出力することができる。これにより、本データ処理装置１によれば、データ処理機能３０３により、学習済みモデル２０３における複数のＣＮＮ各々より処理順序が前段の情報（以下、過去特徴と呼ぶ）を直接的に利用することができる。このため、データ処理装置１によれば、後段ＣＮＮにおいて異なる解像度の前段データの利用効率を向上させることができることに加えて、過去特徴を効率的に利用することができる。以上のことから、データ処理装置１によれば、学習済みモデル２０３による表現精度を向上させることができる。
【００８６】
（第２変形例）  
本変形例と実施形態との相違は、学習済みモデル２０３において複数の連係・ＮＮブロック各々の後段に結合層（以下、後段結合層と呼ぶ）をさらに有し、処理順序において、前段ＣＮＮ各々よりさらに前段に位置する複数のＣＮＮ各々から出力されたデータを、複数の解像度にそれぞれ対応する複数の後段結合層を介して後段ＣＮＮよりさらに後段に位置する少なくとも一つのＣＮＮに入力することにある。換言すると、処理回路３０は、データ処理機能３０３により、複数の後段結合層各々において、後段ＣＮＮ各々に入力される前段データと、前段データよりさらに前段に位置する複数のＣＮＮから出力されたデータとを結合して（以下、デンス（Ｄｅｎｓｅ）結合と呼ぶ）、後段の連係・ＮＮブロックに出力する。
【００８７】
図１３は、解像度の総数が３である場合（ｍ＝３）において、本変形例に関する学習済みモデル２０３の一例を示す図である。図１３に示すように、例えば、第１乃至第３連係・ＮＮブロックに含まれる複数のＣＮＮ各々に入力される前段データは、複数の解像度各々において、複数の連係・ＮＮブロック（ＬＮＢ１乃至ＬＮＢ３）のうち少なくとも一つを跨いで、第３連係・ＮＮブロックＬＮＢ３に含まれる段階３の複数のＣＮＮ（ＣＮＮ３，３、ＣＮＮ２，３、ＣＮＮ２，３）各々から出力されたデータと、複数の後段結合層（ＣＯＮ３３、ＣＯＮ２３、ＣＯＮ１３）各々において結合されて、後段の第４連係・ＮＮブロックＬＮＢ４に出力される。
【００８８】
なお、少なくとも一つの連係・ＮＮブロックに対する前段データのショートカットＳＤは、図１３に示すような構成に限定されない。すなわち、前段データに関するデンス結合は、ショートカットＳＤの始点を任意に設定することで、任意に設定可能である。例えば、デンス結合に関する後段結合層へのショートカットＳＤの入力は、適宜省略されてもよい。図１３に示すデンス結合は、段階３の複数の後段結合層（ＣＯＮ３３、ＣＯＮ２３、ＣＯＮ１３）各々では、４つであって、このデンス結合が繰り返されることを示しているが、これに限定されない。例えば、ｎ以下の自然数ｐを用いて、後段結合層によるデンス結合は、ｐ個であってもよい。また、デンス結合の繰り返しは、少なくとも一つの連係・ＮＮブロックを挟んで行われてもよい。また、学習済みモデルにおけるデンス結合は、１つであってもよい。
【００８９】
また、連係・ＮＮブロックを跨ぐショートカットＳＤは、図１３に示すように、解像度ごとに実行されることに限定されない。例えば、第ｉ前段データは、第ｉ連係・ＮＮブロックＬＮＢｉに加えて解像度を跨いで、第ｉ前段データの解像度とは異なる解像度の後段データ（以下、相違後段データと呼ぶ）とデンス結合されてもよい。このとき、第ｉ前段データの解像度は、相違後段データの解像度に一致するように、不図示の解像度変換層における解像度変換処理により、適宜変換される。なお、データ処理機能における他の処理は、実施形態における説明と同様なため、説明は省略する。
【００９０】
以上に述べた構成および処理動作によれば、本実施形態に記載の効果に加えて、以下に示す効果を得ることができる。  
本変形例におけるデータ処理装置１によれば、データ処理機能３０３により、処理順序において、前段ニューラルネットワーク（前段ＣＮＮ）各々よりさらに前段に位置する複数のニューラルネットワーク各々から出力されたデータを、後段ニューラルネットワーク（後段ＣＮＮ）各々に入力することができる。これにより、本データ処理装置１によれば、データ処理機能３０３により、学習済みモデル２０３における過去特徴を直接的に利用することができる。このため、データ処理装置１によれば、後段ＣＮＮにおいて異なる解像度の前段データの利用効率を第２変形例よりさらに向上させることができることに加えて、過去特徴を効率的に利用することができる。以上のことから、データ処理装置１によれば、学習済みモデル２０３による表現精度をさらに向上させることができる。
【００９１】
（第３変形例）  
本変形例と実施形態との相違は、処理対象データ２０１の解像度が出力データ２０５の解像度より低い場合の学習済みモデル２０３の構成にある。
【００９２】
図１４は、処理対象データ２０１の解像度が出力データ２０５の解像度より低い場合の学習済みモデル２０３の構成の一例を示す図である。本変形例における学習済みモデル２０３には、出力データ２０５の解像度より低い解像度を有する処理対象データ２０１が、データ処理機能３０３により入力される。図１４において、処理対象データ２０１の解像度は、解像度１に相当する。なお、本変形例における処理対象データ２０１の解像度は、解像度１に限定されず、出力データ２０５の解像度より低い解像度を有する処理対象データ２０１であれば、いかなる解像度であってもよい。
【００９３】
図１４において、初段の解像度変換層ＲＴＬ０は、アップサンプリング処理を適宜繰り返すことにより、複数の解像度各々に対応する初段解像度変換データを生成する。以降の処理は、実施形態におけるデータ処理機能のステップＳａ３以降の処理と同様なため、説明は省略する。本変形例に関する学習済みモデル２０３は、例えば、出力データ２０５として超解像の画像を生成することを目的として用いられる。なお、データ処理機能３０３における他の処理は、実施形態における説明と同様なため、説明は省略する。また、本変形例における効果は、実施形態と同様なため、説明は省略する。
【００９４】
（第４変形例）  
本変形例と実施形態との相違は、処理対象データ２０１の解像度が出力データ２０５の解像度より高い場合の学習済みモデル２０３の構成にある。
【００９５】
図１５は、処理対象データ２０１の解像度が出力データ２０５の解像度より高い場合の学習済みモデル２０３の構成の一例を示す図である。本変形例における学習済みモデル２０３には、出力データ２０５の解像度より高い解像度を有する処理対象データ２０１が、データ処理機能３０３により入力される。図１５において、出力データ２０５の解像度は、解像度１に相当する。なお、本変形例における出力データ２０５の解像度は、解像度１に限定されず、処理対象データ２０１の解像度より低い解像度を有する出力データ２０５であれば、いかなる解像度であってもよい。
【００９６】
図１５において、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、第ｎ連係・ＣＮＮブロックＬＮＢｎにおける第ｎＣＮＮ（ＣＮＮｍ，ｎ、・・・、ＣＮＮ１，ｎ）各々からの出力データを、所望の低解像度（図１５では解像度１）のデータに変換する。第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、解像度が変換されたデータを、１×１のコンボリューション層ＣＮＮ１×１に出力する。例えば、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、図１５に示すように、解像度１に属するＣＮＮｍ，ｎから出力されたデータの解像度を変換することなく、そのまま１×１のコンボリューション層ＣＮＮ１×１に出力する。また、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、解像度２に属するＣＮＮｍ，ｎから出力されたデータに対してダウンサンプリング処理を１回実行し、解像度２から解像度１に変換されたデータを、１×１のコンボリューション層ＣＮＮ１×１に出力する。
【００９７】
以下同様に、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１は、解像度ｍに属するＣＮＮ１，０から出力されたデータに対してダウンサンプリング処理を（ｍ−１）回実行し、解像度ｍから解像度１に変換されたデータを、１×１のコンボリューション層ＣＮＮ１×１に出力する。データ処理機能３０３における他の処理は、ステップＳａ１乃至ステップＳａ７の処理と同様なため、説明は省略する。本変形例に関する学習済みモデル２０３は、例えば、処理対象データ２０１に対する認識結果または検出結果を生成することを目的として用いられる。本変形例における効果は、実施形態と同様なため、説明は省略する。
【００９８】
（第５変形例）  
本変形例と実施形態との相違は、解像度変換層が前段データにおける自己相似（ｓｅｌｆ−ｓｉｍｉｌａｒｉｔｙ）性に基づいて前段データの一部を用いた自己相似処理を実行することにより前段データの解像度を変換することにある。例えば、解像度変換層は、前段データに対するアップサンプリング処理と前段データに対するダウンサンプリング処理とのうち少なくとも一つの処理と自己相似処理とを用いて前段データの解像度を変換する。
【００９９】
具体的には、初段の解像度変換層ＲＴＬ０と、複数の連係各々における第ｉ解像度変換層ＲＴＬｉと、第（ｎ＋１）解像度変換層ＲＴＬｎ＋１とのうち少なくとも一つの解像度変換層は、自己相似処理を用いる。例えば、解像度変換層２０３１は、ダウンサンプリング処理において、前段データの一部（以下、一部データと呼ぶ）を後段ＣＮＮにおける解像度に応じて抽出し、すなわち前段データの一部をコピーすること（以下、部分コピー処理と呼ぶ）により抽出された一部データを、解像度変換データとして後段ＣＮＮに出力する。
【０１００】
なお、自己相似処理は、上記手法に限定されず、例えば、処理対象データ２０１および前段データにおいて、レジストレーション処理などにより、相似度が高い領域を抽出し、抽出された領域に関して上記コピーを用いたダウンサンプリング処理を実行してもよい。また、自己相似処理は、処理対象データ２０１および前段データにおいて、予め設定された領域について上記抽出を実行することにより、ダウンサンプリング処理を実行してもよい。また、自己相似処理は、処理対象データ２０１および前段データにおいて、ランダムで上記抽出を実行することにより、ダウンサンプリング処理を実行してもよい。
【０１０１】
また、解像度変換層２０３１は、例えば、アップサンプリング処理において、前段データをコピーすることにより、後段ＣＮＮにおける解像度に対応する解像度変換データを生成する。すなわち、解像度変換層２０３１は、上記ダウンサンプリング処理とは逆の処理を実行することで、アップサンプリング処理を実行する。
【０１０２】
なお、自己相似処理は上記手法に限定されない。例えば、解像度変換層２０３１は、処理対象データ２０１および前段データにおいて、レジストレーション処理などによりテクスチャが比較的少ない部分領域（例えば、骨の領域など）を検出し、検出された領域に関して自己相似処理を実行することにより、解像度変換を実行してもよい。なお、データ処理機能３０３における他の処理は、実施形態における説明と同様なため、説明は省略する。
【０１０３】
以上に述べた構成および処理動作によれば、本実施形態に記載の効果に加えて、以下に示す効果を得ることができる。  
本変形例におけるデータ処理装置１によれば、データ処理機能３０３により、解像度変換層２０３１は、前段データにおける自己相似性に基づいて前段データの一部を用いた自己相似処理を実行することにより、前段データの解像度を変換することができる。これにより、本データ処理装置１によれば、高解像度の情報を低解像における後段ＣＮＮに取り込むことができるため、低解像度におけるＣＮＮから出力されたデータを精細（ｆｉｎｅ）にすることができる。本データ処理装置１によれば、解像度変換層２０３１において本変形例による自己相似処理を組み込んだ機械学習前のモデルに対して学習を実行することにより、自己相似性が高い領域、例えば超解像の画像においてエッジ付近の領域において、エッジがつぶれることなく画質を向上させた画像を出力データ２０５として生成することができる。
【０１０４】
また、本データ処理装置１によれば、解像度変換層２０３１は、前段データに対するアップサンプリング処理と前段データに対するダウンサンプリング処理とのうち少なくとも一つの処理と自己相似処理とを用いて前段データの解像度の変換を実行することができる。すなわち、本データ処理装置１によれば、少なくとも一つの解像度変換層において本変形例による自己相似処理を組み込んだ機械学習前のモデルに対して、部分コピー処理とアップサンプリング処理とダウンサンプリング処理とを併用して、学習を実行することができる。これにより、自己相似性が低い領域においても効率よく学習でき、表現精度をさらに向上させた、すなわち出力誤差をさらに低減させた出力データ２０５を生成することができる。
【０１０５】
（第６変形例）  
本変形例と実施形態との相違は、学習済みモデル２０３における複数のニューラルネットワークのうち少なくとも一つにおける重み係数は、処理順序が同一の複数の解像度に亘って共有されることにある。すなわち、複数の前段ＣＮＮと複数の後段ＣＮＮとのうち少なくとも一方における重み係数は、複数の解像度に亘って共有される。具体的には、処理順序の同一の段階において解像度が異なる複数のＣＮＮでそれぞれ用いられる複数のフィルタに関する複数の重み係数は、解像度間で共有することができる。なお、複数の重み係数は、処理順序および解像度が異なる複数のＣＮＮに対して共有されてもよい。また、局所的な接続性（Ｌｏｃａｌｌｙ  Ｃｏｎｎｅｃｔｅｄ）を有するニューラルネットワークにおける重み係数などにおいても、解像度に合わせた調整を適宜実行することで、局所領域ごとに解像度間の重み係数を供することができる。
【０１０６】
以上に述べた構成および処理動作によれば、本実施形態に記載の効果に加えて、以下に示す効果を得ることができる。  
本変形例におけるデータ処理装置１によれば、学習済みモデル２０３において、複数の前段ニューラルネットワーク（前段ＣＮＮ）と複数の後段ニューラルネットワーク（後段ＣＮＮ）とのうち少なくとも一方における重み係数は、複数の解像度に亘って共有するこれにより、解像度に非依存で前段データ等における各種特徴を学習することができ、解像度に依存せずに、表現精度をさらに向上させた、すなわち出力誤差をさらに低減させた出力データ２０５を生成することができる。
【０１０７】
（第７変形例）  
本変形例と実施形態との相違は、学習済みモデル２０３において、複数のニューラルネットワークのうち少なくとも一つに対して再帰結合を有することにある。すなわち、本変形例における学習済みモデル２０３は、複数の前段ＣＮＮと複数の後段ＣＮＮとのうち少なくとも一方における少なくとも一つのニューラルネットワークに関して再帰結合を有する。図１６は、再帰（ｒｅｃｕｒｒｅｎｔ）結合を有する学習済みモデル２０３の一例を示す図である。図１６に示すように、第１処理対象データ２０１１、第２処理対象データ２０１２等は、上述の処理対象データ２０１と同様にメモリ２０に記憶されてもよいし、入出力インタフェース１０を介して、他の外部装置から取得されてもよい。
【０１０８】
第１処理対象データ２０１１に対するデータ処理機能３０３は実施形態と同様なため、説明は省略する。図１６に示すように、第１処理対象データ２０１１に対する順伝播の処理において、第ｉ連係・ＮＮブロックＬＮＢｉにおける複数のＣＮＮ（ＣＮＮｍ，ｉ、ＣＮＮｍ−１，ｉ、・・・、ＣＮＮ１，ｉ）各々からの第ｉＣＮＮ出力データ（以下、第ｉ再帰データと呼ぶ）は、複数の解像度ごとに、処理回路３０におけるメモリに一時的に記憶される。
【０１０９】
第２処理対象データ２０１２が初段の解像度変換層ＲＴＬ０に入力されると、第（ｉ−１）連係・ＮＮブロックＬＮＢｉ−１までは、データ処理機能３０３は、実施形態と同様な順伝播の処理を実行する。また、第ｉ連係・ＮＮブロックＬＮＢｉにおける第ｉ解像度変換層ＲＴＬｉにおける処理内容も、実施形態と同様なため説明は省略する。以下、第ｉ連係・ＮＮブロックＬＮＢｉにおける複数の結合層（ＣＯＮｍ，ｉ、ＣＯＮｍ−１，ｉ、・・・、ＣＯＮ１，ｉ）（以下、第ｉ結合層と呼ぶ）における処理について、説明する。
【０１１０】
第ｉ結合層（ＣＯＮｍ，ｉ、ＣＯＮｍ−１，ｉ、・・・、ＣＯＮ１，ｉ）各々は、前段ＣＮＮ（ＣＮＮｍ，ｉ−１、ＣＮＮｍ−１，ｉ−１、・・・、ＣＮＮ１，ｉ−１）から出力された前段データと、第ｉ解像度変換層ＲＴＬｉから出力された（解像度が変換された）前段データと、メモリに記憶された第ｉ再帰データとを、同一の解像度に関して結合する（再帰結合）。第ｉ結合層各々におけるデータの結合は、例えば、チャネル方向に沿って、前段ＣＮＮから出力された前段データに、解像度が変換された前段データと、第ｉ再帰データとを付け加えることに対応する。第ｉ結合層各々は、後段ＣＮＮ（ＣＮＮｍ，ｉ、ＣＮＮｍ−１，ｉ、・・・、ＣＮＮ１，ｉ）に、解像度ごとに、結合されたデータを出力する。以降の処理は、実施形態における処理と同様なため、説明は省略する。また、第２処理対象データ２０１２に続いて次の処理対象データが学習済みモデル２０３に入力された場合、前回の処理対象データに対するデータ処理機能３０３により記憶された第ｉ再帰データが、解像度ごとに第ｉ結合層に入力される。
【０１１１】
なお、結合層への第ｉ再帰データの入力および再帰結合は、上記説明に限定されない。例えば、再帰結合は、処理順序および解像度が対応する段階において、任意に実行されてもよい。また、第ｉ再帰データは、解像度を跨いで他の結合層に入力されてもよい。このとき、第ｉ再帰データの解像度は、入力される結合層の解像度に応じて、不図示の解像度変換層における解像度変換処理により、適宜変換されて、他の解像度の結合層へ入力される。また、第ｉ再帰データは、処理順序を跨いで他の結合層に入力されてもよい。
【０１１２】
以上に述べた構成および処理動作によれば、本実施形態に記載の効果に加えて、以下に示す効果を得ることができる。  
本変形例におけるデータ処理装置１によれば、データ処理機能３０３により、学習済みモデル２０３は、複数の前段ニューラルネットワーク（前段ＣＮＮ）と複数の後段ニューラルネットワーク（後段ＣＮＮ）とのうち少なくとも一方における少なくとも一つのニューラルネットワークに関して再帰結合を有することができる。これにより、例えば、ダイナミック撮像または超音波撮像により得られた医用画像および時系列に沿って取得されたＥＣＧ信号などの時系列データが処理対象データとして用いられる場合においても、本学習済みモデル２０３を適用でき、学習済みモデル２０３における表現精度を向上させることができる。
【０１１３】
（第８変形例）  
本変形例と実施形態との相違は、前段ＣＮＮに関する解像度の総数は、後段ＣＮＮに関する解像度の総数と異なることにある。すなわち、複数の連係・ＮＮブロック各々に含まれる複数のＣＮＮの解像度の総数は、他の連係・ＮＮブロックに含まれる複数のＣＮＮの解像度の総数と異なることにある。換言すれば、本変形例において、複数の前段ＣＮＮに関する解像度の総数は、後段ＣＮＮに関する解像度の総数と異なる。なお、複数の前段ＣＮＮにおける少なくとも一つに関する解像度と、複数の後段ＣＮＮにおける少なくとも一つに関する解像度とは相違してもよい。このとき、前段ＣＮＮと後段ＣＮＮとの間に位置する解像度変換層２０３１は、前段データの解像度を、後段ＣＮＮにおける解像度に合わせるように、解像度変換を実行する。複数の連係・ＮＮブロック各々に含まれるＣＮＮの解像度は、機械学習前において、予め任意に設定可能である。なお、データ処理機能３０３における他の処理は、実施形態における説明と同様なため、説明は省略する。
【０１１４】
以下、説明を具体的にするために、解像度ｍは３であるものとする。図１７は、処理順序の段階において解像度が異なる学習済みモデル２０３の一例を示す図である。なお、解像度の総数の変更は、図１７に限定されない。例えば、連係・ＮＮブロックに含まれるＣＮＮは、一つの任意の解像度であってもよい。
【０１１５】
図１７に示すように、第（ｉ−１）連係・ＮＮブロックにおける前段ＣＮＮの解像度の種類は、解像度２．５と解像度１．５である。このとき、第（ｉ−１）連係・ＮＮブロックにおける連係ＬＫｉ−１における第（ｉ−１）解像度変換層ＲＴＬｉ−１は、１乃至３の解像度各々に対応する前段データに対して、後段ＣＮＮ（ＣＮＮ２．５，１、ＣＮＮ１．５，１）各々の解像度に合わせるように、適宜ダウンサンプリング処理とアップサンプリング処理とのうち少なくとも一つの処理を実行する。
【０１１６】
また、第ｉ連係・ＮＮブロックにおける連係ＬＫｉにおける解像度変換層ＲＴＬｉは、２つの解像度２．５にそれぞれ対応する前段データに対して、後段ＣＮＮ（ＣＮＮ３，２、ＣＮＮ２，２、ＣＮＮ１，２）各々の解像度に合わせるように、適宜ダウンサンプリング処理とアップサンプリング処理とのうち少なくとも一つの処理を実行する。
【０１１７】
以上に述べた構成および処理動作によれば、本実施形態に記載の効果に加えて、以下に示す効果を得ることができる。  
本変形例におけるデータ処理装置１によれば、複数の前段ニューラルネットワーク（前段ＣＮＮ）に関する解像度の総数は、複数の後段ニューラルネットワーク（後段ＣＮＮ）に関する解像度の総数と異ならせることができる。また、データ処理装置１によれば、複数の前段ニューラルネットワーク（前段ＣＮＮ）における少なくとも一つに関する解像度と、複数の後段ニューラルネットワーク（後段ＣＮＮ）における少なくとも一つに関する解像度とを相違させることができる。他の効果については、実施形態と同様なため説明は省略する。
【０１１８】
（第９変形例）  
本変形例と実施形態との相違は、前段データのうち所定の解像度より高い解像度に対応する前段データを複数の後段ＣＮＮより後段の解像度変換層に入力することにある。すなわち、処理回路３０は、データ処理機能３０３により、前段ＣＮＮからの前段データの出力に非同期で、前段データのうち所定の解像度より高い解像度に対応する前段データを、後段ＣＮＮより後段の解像度変換層２０３１に入力する。
【０１１９】
解像度が異なる複数のＣＮＮにおける処理は、解像度が低いほど処理時間は短くなる。換言すれば、ＣＮＮにおける処理時間は、前段データの解像度に依存する。例えば、図３に示す第（ｉ−１）連係・ＮＮブロックＬＮＢｉ−１に含まれる複数のＣＮＮ（ＣＮＮｍ，ｉ−１、ＣＮＮｍ−１，ｉ−１、・・・、ＣＮＮ１，ｉ−１）において、ＣＮＮｍ，ｉ−１での処理時間は、ＣＮＮ１，ｉ−１での処理時間より多くの時間を有する。すなわち、ＣＮＮｍ，ｉ−１からのデータの出力時刻は、ＣＮＮ１，ｉ−１からのデータの出力時刻より遅くなる。このため、本変形例においては、所定の解像度より高い解像度（例えば、解像度ｍ）の前段データは、データ処理機能３０３により、図１２に示すように、後段の連係・ＮＮブロックを跨いで、さらに後段の連係・ＮＮブロックにおける解像度変換層２０３１に入力される。なお、前段データが連係・ＮＮブロックを跨ぐ数は、１に限定されず、２以上であってもよい。なお、データ処理機能３０３における他の処理は、実施形態における説明と同様なため、説明は省略する。
【０１２０】
以上に述べた構成および処理動作によれば、本実施形態に記載の効果に加えて、以下に示す効果を得ることができる。  
本変形例におけるデータ処理装置１によれば、データ処理機能３０３により、前段データのうち所定の解像度より高い解像度に対応する前段データを、後段ニューラルネットワーク（後段ＣＮＮ）より後段の解像度変換層に入力することができる。すなわち、本データ処理装置１によれば、前段データの解像度に応じて、前段データが入力される連係・ＮＮブロックを異ならせることができる。これにより、本変形例の学習済みモデル２０３は、解像度に応じたＣＮＮの処理時間の遅延（ラグ）を考慮して前段データの入力先の連係・ＮＮブロックが設定されるため、学習済みモデル２０３による処理の総時間を短縮することができる。
【０１２１】
本実施形態および第１乃至第９変形例の適用例として、処理対象データが医用データである場合、本データ処理装置１は、ＣＴ装置、ＭＲＩ装置、超音波診断装置、Ｘ線診断装置、核医学診断装置等の各種モダリティ、医用データ処理装置、心電計などの生体信号収集装置などに搭載されてもよい。また、データ処理装置１の技術的思想をクラウド等で実現する場合には、インタネット上のサーバーは、例えば図１における処理回路３０およびメモリ２０などを有するものとなる。この場合、データ処理機能３０３等は、当該機能を実行するデータ処理プログラムをサーバーの処理回路にインストールし、これらをメモリ上で展開することによって実現される。また、データ処理機能３０３を実行するデータ処理プログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。コンピュータにデータ処理機能３０３を実行させることのできるプログラムは、磁気ディスク、光ディスク、半導体メモリなどの各種可搬型記憶媒体に格納して頒布することも可能である。
【０１２２】
以上に説明した実施形態および複数の変形例等に関するデータ処理装置１によれば、学習済みモデルによる表現精度を向上させることができる。
【０１２３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１２４】
１…データ処理装置
１０…入出力インタフェース
２０…メモリ
３０…処理回路
４０…ディスプレイ
２０１…処理対象データ
２０３…学習済みモデル
２０５…出力データ
３０１…制御機能
３０３…データ処理機能
２０３１…解像度変換層
２０３３…複数のＣＮＮ
【図１】
2020119312.tif 000003
【図２】
2020119312.tif 000004
【図３】
2020119312.tif 000005
【図４】
2020119312.tif 000006
【図５】
2020119312.tif 000007
【図６】
2020119312.tif 000008
【図７】
2020119312.tif 000009
【図８】
2020119312.tif 000010
【図９】
2020119312.tif 000011
【図１０】
2020119312.tif 000012
【図１１】
2020119312.tif 000013
【図１２】
2020119312.tif 000014
【図１３】
2020119312.tif 000015
【図１４】
2020119312.tif 000016
【図１５】
2020119312.tif 000017
【図１６】
2020119312.tif 000018
【図１７】
2020119312.tif 000019