(57)【要約】【課題】画質の劣化を抑制しつつ、画像データの復元に要する時間を短縮する。【解決手段】実施形態によれば、画像データ復元装置は、取得部、記憶装置、演算部、判定部、及び選択部を備える。取得部は、対象について、複数のチャネルに対応する観測データを取得する。記憶装置は、取得された観測データと対象を視覚的に復元する復元画像データとを対応付ける復元モデル、及び復元画像データに関する事前知識を示す事前知識モデルを記憶する。演算部は、復元モデルに基づく復元画像データの観測データに対する適合度を示すデータ適合度と、事前知識モデルに対する復元画像データの適合度を示す事前知識適合度と、を最適化するための演算を繰り返し実行する。判定部は、演算が実行されるたびに、所定の条件が満たされるか否かを判定する。選択部は、判定部による判定結果に応じて、次に繰り返される演算に使用される観測データのチャネルを選択する。【選択図】図２
2019021258.tif 000002
【特許請求の範囲】
【請求項１】
対象について、複数のチャネルに対応する観測データを取得する取得部と、
前記取得された観測データと前記対象を視覚的に復元する復元画像データとを対応付ける復元モデルと、前記復元画像データに関する事前知識を示す事前知識モデルと、を記憶する記憶装置と、
前記復元モデルに基づく前記復元画像データの前記観測データに対する適合度を示すデータ適合度と、前記事前知識モデルに対する前記復元画像データの適合度を示す事前知識適合度と、を最適化するための演算を繰り返し実行する演算部と、
前記演算が実行されるたびに、所定の条件が満たされるか否かを判定する判定部と、
前記判定部による判定結果に応じて、前記実行された演算の次に繰り返される演算に使用される観測データのチャネルを選択する選択部と、
を備える、画像データ復元装置。
【請求項２】
前記演算部は、前記選択部によって選択されたチャネルの数と、前記取得された観測データに対応する前記複数のチャネルの数との割合に応じて、前記データ適合度をスケーリングする、請求項１記載の画像データ復元装置。
【請求項３】
前記演算部は、前記選択部によって選択されたチャネルに対応する観測データのノルムと、前記取得された観測データのノルムとの割合に応じて、前記データ適合度をスケーリングする、請求項１記載の画像データ復元装置。
【請求項４】
前記取得された観測データに対応する複数のチャネルを、直交変換を適用することによって、複数の仮想チャネルに変換する変換部を更に備え、
前記選択部は、前記複数の仮想チャネルに対応する観測データの固有値の大きさに基づいて、前記実行された演算の次に繰り返される演算に使用される観測データの仮想チャネルを選択する、
請求項１記載の画像データ復元装置。
【請求項５】
前記演算は、前記復元画像データを最適化する第１演算と、内部データを最適化する第２演算と、を含み、
前記演算部は、前記第１演算と、前記第２演算とを交互に実行することにより、前記演算を繰り返し実行する、
請求項１記載の画像データ復元装置。
【請求項６】
前記複数のチャネルの各々は、ＭＲＩ装置におけるコイルごとに観測された観測データに対応し、
前記データ適合度は、前記復元画像データに対して前記復元モデルを適用したデータと、前記観測データと、の差のＬ２ノルム又はフロベニウスノルムを評価する項を含む、
請求項１記載の画像データ復元装置。
【請求項７】
前記複数のチャネルの各々は、マルチスペクトルカメラ又はスペクトラルＸ線装置におけるスペクトルごとに観測された観測データに対応し、
前記データ適合度は、前記復元画像データに対して前記復元モデルを適用したデータと、前記観測データと、の差のＬ２ノルムを評価する項を含む、
する、請求項１記載の画像データ復元装置。
【請求項８】
前記取得部は、前記対象を複数の時刻にわたって観測した時系列の観測データを取得し、
前記事前知識適合度は、第１時刻における前記復元画像データと、前記第１時刻と異なる第２時刻における前記復元画像データと、の差のＬ１ノルムを評価する項を含む、
請求項１記載の画像データ復元装置。
【請求項９】
対象の観測データと前記対象を視覚的に復元する復元画像データとを対応付ける復元モデルと、前記復元画像データに関する事前知識を示す事前知識モデルと、を記憶する記憶装置を備える装置が実行する画像データ復元方法であって、
前記対象について、複数のチャネルに対応する前記観測データを取得する過程と、
前記復元モデルに基づいて前記復元画像データの前記観測データに対する適合度を示すデータ適合度と、前記事前知識モデルに対する前記復元画像データの適合度を示す事前知識適合度と、を最適化するために、演算を繰り返し実行する過程と、
前記演算が実行されるたびに、所定の条件が満たされるか否かを判定する過程と、
前記判定された判定結果に応じて、前記実行された演算の次に繰り返される演算に使用される観測データのチャネルを選択する過程と、
を備える、画像データ復元方法。
【請求項１０】
請求項１乃至８のいずれか１項に記載の画像データ復元装置が備える各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、複数のチャネルに対応する観測データに基づいて画像データを復元する装置に関する。
【背景技術】
【０００２】
観測対象に対して複数のチャネルで観測された観測データを取得し、当該取得された観測データを利用することによって観測対象の画像データを復元する画像復元問題は、社会の様々な場面で現れる。画像復元問題を解く装置の例としては、マルチスペクトルカメラ（ハイパースペクトルカメラ）、ＣＴ（Computed Tomography）及びＸ線非破壊検査等を対象としたスペクトラルＸ線装置、並びにＭＲＩ（Magnetic Resonance Imaging）装置等が挙げられる。
【０００３】
画像復元問題では、画像データを高精度に復元するために、事前知識モデルがしばしば用いられる。事前知識モデルは、閉じた形の解（Closed - form solution）が存在しない、又は閉じた解の算出が困難な非線形モデルが用いられる場合が多い。事前知識モデルとしては、例えば、圧縮センシング（Compressed sensing）、エラスティックネット（Elastic net）、及び低ランク拘束モデル（Low rank constraint model）等が挙げられる。このような画像復元問題は、例えば、マルチスペクトルカメラにおけるノイズ除去問題、スペクトラルＸ線装置におけるラドン変換を含む再構成問題、及びＭＲＩ装置におけるフーリエ変換を含む再構成問題として定式化される。
【０００４】
非線形な事前知識モデルが用いられる画像復元問題の多くは、収集されたデータに対する適合度（データ適合度）、及び事前知識モデルに対する適合度（事前知識適合度）の加重和を、繰り返し解法によって最適化する手法が用いられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１１／００８９９４９号明細書
【特許文献２】国際公開第２０１７／０２９７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的に、上述の繰り返し解法では、十分な数のチャネルで観測されたデータを用いることによって、高精度に対象の画像データを復元できる。しかしながら、データ適合度の算出にはチャネル数に比例する処理量を要する。このため、画像データの復元には、データ適合度及び事前知識適合度を繰り返し計算する必要上、チャネル数が多いほど長い時間がかかる。一方、チャネル数を減らした場合、画像データの復元に要する時間は短縮できるものの、復元される画像データの画質は、全てのチャネルで観測されたデータを用いる場合よりも劣化する。
【０００７】
本発明が解決しようとする課題は、上記事情を考慮してなされたものであって、画質の劣化を抑制しつつ、画像データの復元に要する時間を短縮することができる画像データ復元装置及び画像データ復元方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態によれば、画像データ復元装置は、取得部と、記憶装置と、演算部と、判定部と、選択部と、を備える。上記取得部は、対象について、複数のチャネルに対応する観測データを取得する。上記記憶装置は、上記取得された観測データと上記対象を視覚的に復元する復元画像データとを対応付ける復元モデルと、上記復元画像データに関する事前知識を示す事前知識モデルと、を記憶する。上記演算部は、上記復元モデルに基づく上記復元画像データの上記観測データに対する適合度を示すデータ適合度と、上記事前知識モデルに対する上記復元画像データの適合度を示す事前知識適合度と、を最適化するための演算を繰り返し実行する。上記判定部は、上記演算が実行されるたびに、所定の条件が満たされるか否かを判定する。上記選択部は、上記判定部による判定結果に応じて、上記実行された演算の次に繰り返される演算に使用される観測データのチャネルを選択する。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像データ復元システムの構成の一例を説明するためのブロック図。
【図２】実施形態に係る画像データ復元装置の構成の一例を説明するためのブロック図。
【図３】実施形態に係る画像データ復元装置における画像データ復元動作の一例を説明するためのフローチャート。
【図４】実施形態の第１変形例に係る画像データ復元装置における画像データ復元動作の一例を説明するためのフローチャート。
【図５】実施形態の第２変形例に係る画像データ復元装置における画像データ復元動作の一例を説明するためのフローチャート。
【図６】実施形態の第３変形例に係る画像データ復元装置の構成の一例を説明するためのブロック図。
【図７】実施形態の第３変形例に係る画像データ復元装置における画像データ復元動作の一例を説明するためのフローチャート。
【発明を実施するための形態】
【００１０】
以下、図面を参照して実施形態について説明する。なお、以下の説明において、同一の機能及び構成を有する構成要素については、共通する参照符号を付す。
【００１１】
１．  実施形態
本実施形態に係る画像データ復元システムについて説明する。本実施形態に係る画像データ復元システムは、マルチスペクトルカメラにおける画像のノイズ除去、スペクトラルＸ線装置における画像の再構成、及びＭＲＩ装置における画像の再構成等を行うシステムに広く適用可能である。
【００１２】
１．１  構成について
１．１．１  画像データ復元システムの構成について
まず、本実施形態に係る画像データ復元システムの構成について図１を用いて説明する。
【００１３】
図１は、本実施形態に係る画像データ復元システム１の構成の一例を示すブロック図である。図１に示すように、画像データ復元システム１は、センサ２と、画像データ復元装置３と、を備えている。
【００１４】
センサ２は、図示しない観測対象に対する観測を行う。センサ２は、画像データ復元装置３に対して、当該観測の結果として得られた信号を観測データｙとして出力する機能を備えている。
【００１５】
センサ２は、複数のチャネルに対応する観測データｙを出力し得る。チャネルとは、例えば、センサ２が複数のセンサの集合として構成される場合における、当該複数のセンサの各々を意味し得る。より具体的には、例えば、センサ２がＭＲＩ装置に実装された複数のコイルに相当する場合、チャネルとは、当該複数のコイルの各々に相当する。また、チャネルとは、例えば、センサ２が複数のスペクトルにおいて観測を行う場合における、当該複数のスペクトルの各々を意味し得る。より具体的には、例えば、センサ２がマルチスペクトルカメラに実装されたセンサに相当する場合、チャネルとは、当該センサにおいて観測される複数のスペクトルの各々に相当する。なお、センサ２は、同一の観測対象について、複数のチャネルに対応する観測データｙを、複数回にわたって出力してもよい。
【００１６】
画像データ復元装置３は、観測データ取得部１１と、記憶部１２と、画像データ復元部１３と、復元画像出力部１４と、を備えている。観測データ取得部１１、記憶部１２、画像データ復元部１３、及び復元画像出力部１４の各々は、例えば、以下に個別に示される機能構成を実現するための回路によって構成される。観測データ取得部１１、記憶部１２、画像データ復元部１３、及び復元画像出力部１４の各々に対応する回路は、例えば、図示しないプロセッサ等によって制御されることによって協働して動作し、後述の画像データ復元動作を実現可能に構成される。
【００１７】
観測データ取得部１１は、センサ２で観測された複数のチャネルに対応する観測データｙを取得する。観測データ取得部１１は、例えば、観測データｙを記憶部１２に記憶させる。
【００１８】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶媒体を含む。記憶部１２は、例えば、観測データ取得部１１及び画像データ復元部１３から読出し／書込み可能な記憶媒体であり、観測データｙを一時的に記憶する。記憶部１２は、同一の観測対象を対象として観測された複数個の観測データｙが存在する場合、当該複数個の観測データｙを、１つの観測データフルセットｙｆｕｌｌとして集約して記憶する。観測データフルセットｙｆｕｌｌは、画像データ復元部１３において使用され得る全てのチャネルに対応する観測データｙを含む。観測データフルセットｙｆｕｌｌは、例えば、列ベクトルであり、複数のチャネルをまとめて１列にしたベクトルである。
【００１９】
画像データ復元部１３は、記憶部１２から観測データフルセットｙｆｕｌｌを読出し、当該観測データフルセットｙｆｕｌｌに基づいて、観測対象に係る画像データ（例えば中間画像データ）を生成する。画像データとは、観測対象についての観測データｙに何らかのマッピングを施すことにより、２次元又は３次元で可視化することが可能な、２次元以上のデータである。画像データ復元部１３は、画像データを最適化することによって復元画像データｘを復元し、復元画像出力部１４に出力する。画像データ復元部１３における復元画像データｘを復元する処理の詳細については後述する。
【００２０】
復元画像出力部１４は、例えば、画像データ復元部１３から復元画像データｘを受けると、当該復元画像データｘに基づいて、観測対象の復元画像を出力する。復元画像出力部１４は、例えば、表示画面（例えば、ＬＣＤ（Liquid Crystal Display）又はＥＬ（Electroluminescence）ディスプレイ等）等を含み、当該表示画面を介してユーザに観測対象に係る画像を視覚的に提供する。なお、復元画像出力部１４は、上述の例に限らず、画像データを可視化可能な機能構成を有する図示しない外部機器に対して、復元画像データｘを出力してもよい。
【００２１】
１．１．２  画像データ復元部の構成について
次に、本実施形態に係る画像データ復元部の構成について図２を用いて説明する。
【００２２】
図２は、本実施形態に係る画像データ復元部１３の構成の一例を示すブロック図である。図２に示すように、画像データ復元部１３は、チャネル選択部１３１と、復元モデル１３２と、事前知識モデル１３３と、最適化演算部１３４と、判定部１３５と、を備えている。
【００２３】
チャネル選択部１３１は、記憶部１２から読み出された観測データフルセットｙｆｕｌｌに対応する複数のチャネルのうち、最適化演算部１３４に入力される観測データに対応するチャネルを選択する。チャネル選択部１３１は、全てのチャネルを選択する場合、観測データフルセットｙｆｕｌｌを最適化演算部１３４に出力する。また、チャネル選択部１３１は、全てのチャネルのうちの一部を選択する場合、当該一部のチャネルに対応する観測データを観測データサブセットｙｓｕｂとして抽出し、最適化演算部１３４に出力する。観測データサブセットｙｓｕｂは、例えば、観測データフルセットｙｆｕｌｌを構成する列ベクトルのうち、チャネルサブセットに対応するデータを含む新たな列ベクトルとして抽出される。
【００２４】
以下の説明では、観測データフルセットｙｆｕｌｌに対応する複数のチャネルを「チャネルフルセット」とも言い、観測データサブセットｙｓｕｂに対応する１又は複数のチャネルを「チャネルサブセット」とも言う。
【００２５】
また、チャネル選択部１３１は、最適化演算部１３４において繰り返し実行される最適化演算を打切るか否かを判定した結果を含む判定結果を、判定部１３５から受信する。チャネル選択部１３１は、例えば、当該判定結果に応じて、チャネルフルセットを選択するか、又はチャネルサブセットを選択するかを決定する。具体的には、チャネル選択部１３１は、最適化演算を打切る旨の判定結果を受けると、チャネルフルセットを選択し、最適化演算部１３４に対して観測データフルセットｙｆｕｌｌを出力する。また、チャネル選択部１３１は、最適化演算を続行する（打切らない）旨の判定結果を受けると、チャネルサブセットを選択し、最適化演算部１３４に対して観測データサブセットｙｓｕｂを出力する。
【００２６】
なお、チャネル選択部１３１がチャネルフルセットの中からいずれのチャネルをチャネルサブセットとして選択するかは、種々の手法が適用可能である。
【００２７】
例えば、チャネル選択部１３１は、チャネルサブセットをランダムに選択してもよい。この場合、チャネルサブセットは、最適化演算部１３４に観測データサブセットｙｓｕｂが出力されるたびにランダムに選択されてもよいし、一旦チャネルサブセットが選択された後は固定されてもよい。このような選択方法は、チャネルサブセットの選択に要する負荷を抑えることができる。
【００２８】
また、例えば、チャネル選択部１３１は、予め定められたチャネルの組をチャネルサブセットとして選択してもよい。この場合、当該チャネルの組は、例えば、事前学習結果に基づき、最も復元画像データへの寄与率が高いと判定されたチャネルの組が選択される。このような選択方法は、最適化演算部１３４の最適化演算を開始する前に事前に行うことができるため、最適化演算に要する時間を短縮することができる。また、このような選択方法は、チャネルサブセットを事前に選択しておくという性質上、事前学習時と、最適化演算の実行時と、でチャネルの性質が変化しない場合に特に有効である。
【００２９】
また、例えば、チャネル選択部１３１は、観測データフルセットｙｆｕｌｌに基づいて、チャネルサブセットを選択してもよい。具体的には、例えば、チャネル選択部１３１は、観測データフルセットｙｆｕｌｌのＳＮＲ（Signal to Noise Ratio）を演算し、ＳＮＲの高いチャネルをチャネルサブセットとして選択してもよい。このような選択方法は、最適化演算部１３４の最適化演算に際して新たな演算を行う必要が生じるため、最適化演算に要する時間が上述の例と比較して増加する。しかしながら、チャネルサブセットを実際に観測されたデータに応じて選択できるため、事前学習時と、最適化演算の実行時と、でチャネルの性質が変化し得る場合においても有効である。
【００３０】
復元モデル１３２及び事前知識モデル１３３は、最適化演算部１３４において実行される最適化演算に用いられる数学モデルである。復元モデル１３２及び事前知識モデル１３３は、例えば、記憶部１２内にデータベースとして記憶され、最適化演算部１３４によって適宜読み出される。
【００３１】
復元モデル１３２は、真の画像データ（「ｘｔｒｕｅ」と呼ぶ）で表現される観測対象について、誤差のない真の観測データ（「ｙｔｒｕｅ」と呼ぶ）が観測された場合に、当該真の観測データｙｔｒｕｅと、真の画像データｘｔｒｕｅとを相互に変換可能な線形変換である。復元モデル１３２は、例えば、線形変換Ａを含む。すなわち、線形変換Ａは、ｙｔｒｕｅ−Ａｘｔｒｕｅ＝０を満たす。
【００３２】
なお、センサ２によって実際に観測された観測データｙには、観測誤差が含まれる。また、復元画像データｘは、真の画像データｘｔｒｕｅに必ずしも一致しない。このため、演算ｙ−Ａｘは、必ずしも“０”とはならないが、“０”に近づくほど、復元画像データｘが観測データｙに対して適合していると考えられる。以下の説明では、復元画像データｘが観測データｙに対して適合しているか否かを示す指標を「データ適合度」と言い、Ｅｄ（ｘ）と表す。データ適合度Ｅｄ（ｘ）は、例えば、その値が小さいほど、復元画像データｘが観測データｙに対して適合していることを示す。
【００３３】
事前知識モデル１３３は、真の画像データｘｔｒｕｅに関する既知の情報をモデル化したものである。例えば、真の画像データｘｔｒｕｅの画素は、完全にランダムに分布しているわけではなく、特定の特徴を有するパターンにしたがって分布している場合があることが経験的に知られている。具体的には、例えば、隣接画素同士の輝度の変化率に着目すると、真の画像データｘｔｒｕｅは、平坦な場合と部分のはっきりした部分とが比較的多く、ノイズ状の部分は全体的に少ない、等の特徴を有する場合がある。事前知識モデル１３３は、学習データを用いることによって上述のような真の画像データｘｔｒｕｅに関する特徴を事前に学習し、復元画像データｘの関数Ｐ（ｘ）としてモデル化したものである。関数Ｐ（ｘ）は、実数の関数である。
【００３４】
なお、関数Ｐ（ｘ）は、例えば、線形変換Ｔを用いて、Ｐ（ｘ）＝Ｔｘのように更にモデル化されることができる。以下の説明では、復元画像データｘが事前知識に対して適合しているか否かを示す指標を「事前知識適合度」と言い、Ｅｐ（ｘ）と表す。事前知識適合度Ｅｐ（ｘ）は、例えば、その値が小さいほど、復元画像データｘが事前知識に対して適合していることを示す。
【００３５】
最適化演算部１３４は、チャネル選択部１３１から観測データフルセットｙｆｕｌｌ又は観測データサブセットｙｓｕｂを受信すると、記憶部１２から復元モデル１３２及び事前知識モデル１３３を読み出す。最適化演算部１３４は、復元モデル１３２及び事前知識モデル１３３に基づいて、データ適合度Ｅｄ（ｘ）及び事前知識適合度Ｅｐ（ｘ）を最適化（最小化）するための最適化演算を繰り返し実行する。最適化演算部１３４は、当該繰り返し実行される最適化演算の過程において生成される中間画像データｘｋを生成する。中間画像データｘｋは、最適化演算がｋ回目（ｋは、自然数）に繰り返された際に生成される画像データを示す。最適化演算部１３４は、中間画像データｘｋを判定部１３５に送信してもよい。
【００３６】
すなわち、最適化演算部１３４は、ｋ回目の最適化演算の後に判定部１３５から繰り返し演算要求を受けると、チャネル選択部１３１から観測データフルセットｙｆｕｌｌ又は観測データサブセットｙｓｕｂのいずれかを受信する。そして、最適化演算部１３４は、（ｋ＋１）回目の最適化演算を実行して、中間画像データｘｋ＋１を生成し、判定部１３５に送信する。なお、最適化演算部１３４において繰り返し実行される最適化演算の詳細については、後述する。
【００３７】
判定部１３５は、中間画像データｘｋを受けるたびに、最適化演算部１３４による最適化演算の繰り返しの打切り条件を満たすか否かを判定する。打ち切り条件は、例えば、中間画像データｘｋが算出された際における評価関数Ｅ（ｘｋ）が所定の閾値に達するか否かに基づいて設定される。この場合、判定部１３５は、中間画像データｘｋについて評価関数Ｅ（ｘｋ）を算出し、評価関数Ｅ（ｘｋ）が所定の閾値を下回った場合、打切り条件を満たすと判定し、下回らなかった場合、打切り条件を満たさないと判定する。
【００３８】
なお、打切り条件は、上述の例に限らず、最適化演算の繰り返し回数の上限値として設定されてもよい。この場合、判定部１３５は、最適化演算の繰り返し回数が所定の上限値に達した場合、打切り条件を満たすと判定し、所定の上限値に達していない場合、打切り条件を満たさないと判定する。なお、打ち切り条件が繰り返し回数の上限値として設定される場合、判定部１３５は、必ずしも評価関数Ｅ（ｘｋ）を算出しなくてもよい。
【００３９】
判定部１３５は、ｋ回目の最適化処理の結果、打切り条件を満たさないと判定した場合、当該判定結果をチャネル選択部１３１に送信すると共に、（ｋ＋１）回目の最適化演算についての繰り返し演算要求を最適化演算部１３４に送信する。一方、判定部１３５は、ｋ回目の最適化処理の結果、打切り条件を満たすと判定した場合、（ｋ＋１）回目の最適化演算が最後の最適化演算であると判定する。すなわち、判定部１３５は、打切り条件を満たす旨の判定結果をチャネル選択部１３１に送信すると共に、最後の最適化演算についての繰り返し演算要求を最適化演算部１３４に送信する。
【００４０】
また、判定部１３５は、最適化演算部１３４から最後の最適化演算の結果として中間画像データｘｋを受け取ると、当該中間画像データｘｋを復元画像データｘとして復元画像出力部１４に出力する。
【００４１】
１．１．３  最適化演算部における最適化演算について
次に、本実施形態に係る最適化演算部１３４において繰り返し実行される最適化演算の詳細について説明する。
【００４２】
１．１．３．１  繰り返し解法について
最適化演算部１３４は、以下の式（１）に示す評価関数Ｅ（ｘ）を最小化することにより、最終的に復元画像データｘを算出する。すなわち、最適化演算部１３４における最適化演算の繰り返しは、以下の式（１）を最小化する最小化問題として定式化される。
【００４３】
Ｅ（ｘ）＝Ｅｄ（ｘ）＋Ｅｐ（ｘ）                                  （１）
なお、画像復元問題がＭＡＰ（Maximum A Posteriori）推定における確率の最大化問題として定式化されている場合、最大化問題における評価関数は、その対数に“−１”を乗ずることによって式（１）に示す評価関数Ｅ（ｘ）の形に変形できる。このため、いずれにしても、画像復元問題は、式（１）の最小化問題に帰着できる。
【００４４】
また、評価関数Ｅ（ｘ）の各項のうち、データ適合度Ｅｄ（ｘ）は、以下の式（２）で定式化される。
【００４５】
【数１】
2019021258.tif 000003
【００４６】
仮に事前知識適合度Ｅｐ（ｘ）がデータ適合度Ｅｄ（ｘ）と同様にＬ２ノルムで定式化される場合、式（１）に示される最小化問題は、評価関数Ｅ（ｘ）の微分が“０”となるような復元画像データｘを求める線形計画問題に帰着できる。このような線形計画問題は、例えば、共役勾配法等を用いることによって閉じた解を得ることができる。
【００４７】
しかしながら、自然界に存在するものを観測対象とする場合、真の画像データｘｔｒｕｅは、スパース性を有することが事前知識として知られている場合が多い。この場合、上述の線形計画問題の解は、真の画像データｘｔｒｕｅを精度よく復元できない場合がある。したがって、復元精度を向上させるため、事前知識適合度Ｅｐ（ｘ）には、スパース性を表現可能なＬ１ノルム又はトレースノルムの項を含むものが用いられることが多い。事前知識適合度Ｅｐ（ｘ）は、例えば、Ｌ１ノルムを用いて、以下の式（３）のように定式化される。
【００４８】
【数２】
2019021258.tif 000004
【００４９】
この場合、式（１）に示される最小化問題は、Ｌ２ノルムの場合と同様の手法で閉じた解を得ることは困難となる。一方、Ｌ１ノルムを含む最小化問題は、限定された条件を満たす形に変形することによって、閉じた解を得ることができることが知られている。
【００５０】
具体的には、例えば、Ｌ１ノルムを含む最小化問題は、軟判定閾値法（Soft Thresholding）を適用することによって解くことができる。軟判定閾値法は、以下の式（４）で示される最小化問題に対して閉じた解を与える演算である。
【００５１】
【数３】
2019021258.tif 000005
【００５２】
ここで、ベクトルｐ及びｐ０は列ベクトルである。設計変数αは、０以上の実数である。なお、式（４）の解を与えるベクトルｐの各要素は、上付き添え字をベクトルの要素番号として、以下の式（５）で与えられる。
【００５３】
【数４】
2019021258.tif 000006
【００５４】
そこで、一般的に、式（１）に示される最小化問題は、補助変数を導入することにより、軟判定閾値法等が適用可能な最適化問題を含む２つ以上の最小化問題に分割する手法が用いられる。
【００５５】
最適化演算部１３４は、上述の２つ以上に分割された最小化問題の各々を１回ずつ解く処理を１回の最適化演算として実行する。そして、最適化演算部１３４は、当該２つ以上に分割された最小化問題を交互に解くことを繰り返すことによって、最終的に式（１）を最小化する復元画像データｘを算出することができる。
【００５６】
上述した繰り返し解法としては、例えば、ペナルティ法（Penalty Method）、ＡＤＭＭ法（Alternating Direction Method of Multipliers）、Split Bregman Method等、種々の解法が知られている。本実施形態における最適化演算部１３４は、上述の例に限らず、データ適合度Ｅｄ（ｘ）の項を含む最適化問題を繰り返し解法によって解く任意の解法に対して適用可能である。
【００５７】
１．１．３．２  ペナルティ法を適用した場合
以下では、最適化演算を繰り返し実行して復元画像データｘを得るための繰り返し解法の一例として、最適化演算部１３４にペナルティ法を適用した場合について説明する。
【００５８】
ペナルティ法は、内部データとして補助変数ｚを導入することによって、式（１）をＬ２ノルムにより構成される最小化問題と、Ｌ１ノルムを含む最小化問題と、の２つの最小化問題に分離する。具体的には、最適化演算部１３４は、（ｋ＋１）回目の最適化演算において、以下の式（６）〜（８）に示す最小化問題を解く。
【００５９】
【数５】
2019021258.tif 000007
【００６０】
ここで、設計変数ｃは１以上の実数であり、設計変数δｋは０以上の実数である。式（８）に示す通り、設計変数δｋは、最適化処理の繰り返し数がインクリメントされるたびに小さな値から徐々に大きな値に増加していく。最適化処理の繰り返しによって設計変数δｋが十分な大きさの値になると、式（６）〜（８）によって得られる解は、式（１）の解と等価となる。
【００６１】
なお、設計変数ｃ及びδｋは、上述の例に限らず、種々の変形が可能である。例えば、設計変数ｃは、式（８）では、繰り返し数によらない定数として設定されているが、これに限らず、繰り返し数に応じて動的に設定されてもよい。また、設計変数δｋは、設計変数ｃに対して、以下の式（９）を満たすように設定されてもよい。
【００６２】
【数６】
2019021258.tif 000008
【００６３】
１．１．３．３  ＡＤＭＭ法を適用した場合
次に、ペナルティ法に代えてＡＤＭＭ法を最適化演算部１３４に適用した場合について説明する。
【００６４】
ＡＤＭＭ法は、内部データとして補助変数ｚ及びｄを導入することによって、式（１）をＬ２ノルムにより構成される最小化問題と、Ｌ１ノルムを含む最小化問題と、の２つの最小化問題に分離する。具体的には、最適化演算部１３４は、（ｋ＋１）回目の最適化演算において、以下の式（１０）〜（１２）に示す最小化問題を解く。
【００６５】
【数７】
2019021258.tif 000009
【００６６】
ここで、設計変数δは正の実数であり、設計変数γは実数である。
【００６７】
なお、最適化演算部１３４において繰り返し実行される最適化演算にＡＤＭＭ法が適用される場合、ＡＤＭＭ法は、上述の式（１０）〜（１２）に限らず、より高速に演算可能な形に変形されてもよい。ＡＤＭＭ法の高速化手法については、例えば、以下に示す文献（［AADMM］）に示される手法が適用可能である。
【００６８】
［AADMM］ Mojtaba Kadkhodaie et al., “Accelerated Alternating Direction Method of Multipliers”, Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 497-506.
１．２  動作について
次に、本実施形態に係る画像データ復元装置における画像データ復元動作について説明する。図３は、本実施形態に係る画像データ復元装置の動作の一例を示すフローチャートである。
【００６９】
図３に示すように、ステップＳＴ１０において、観測データ取得部１１は、センサ２において観測された、複数のチャネルに対応する観測データｙを取得する。記憶部１２は、取得された観測データｙを同一の観測対象について集約し、チャネルフルセットに対応する観測データフルセットｙｆｕｌｌとして記憶する。
【００７０】
ステップＳＴ２０において、チャネル選択部１３１は、チャネルフルセットのうち、チャネルサブセットとして使用するチャネルを選択する。
【００７１】
以降のステップＳＴ３０〜ステップＳＴ７０において、最適化演算部１３４及び判定部１３５における最適化演算の繰り返し処理が実行される。以下の説明では、ステップＳＴ３０〜ステップＳＴ５０では、繰り返し処理が打ち切られていないｋ回目の最適化演算が実行され、ステップＳＴ６０及びステップＳＴ６０では、最後の最適化演算が実行されるものとして説明する。
【００７２】
ステップＳＴ３０において、チャネル選択部１３１は、ｋ回目の最適化演算に際して使用する観測データｙとして、観測データサブセットｙｓｕｂを適用する。具体的には、チャネル選択部１３１は、ステップＳＴ２０において選択されたチャネルサブセットに対応する観測データサブセットｙｓｕｂを抽出し、最適化演算部１３４に送信する。
【００７３】
ステップＳＴ４０において、最適化演算部１３４は、観測データサブセットｙｓｕｂを用いて、復元モデル１３２に基づくデータ適合度Ｅｄ（ｘｋ）と、事前知識モデル１３３に基づく事前知識適合度Ｅｐ（ｘｋ）と、を最適化するためのｋ回目の最適化演算を実行し、中間画像データｘｋを生成する。最適化演算部１３４は、中間画像データｘｋを判定部１３５に送信する。
【００７４】
ステップＳＴ５０において、判定部１３５は、ｋ回目の最適化演算が終了した後、最適化演算の繰り返しについて、打切り条件を満たすか否かを判定する。
【００７５】
打ち切り条件を満たさないと判定した場合（ステップＳＴ５０；ｎｏ）、判定部１３５は、当該判定結果をチャネル選択部１３１に送信すると共に、（ｋ＋１）回目の最適化演算についての繰り返し演算要求を最適化演算部１３４に送信し、ステップＳＴ３０に戻る。ステップＳＴ３０において、チャネル選択部１３１は、判定結果に基づき、（ｋ＋１）回目の最適化演算に観測データサブセットｙｓｕｂを適用する。
【００７６】
一方、打ち切り条件を満たすと判定した場合（ステップＳＴ５０；ｙｅｓ）、判定部１３５は、当該判定結果をチャネル選択部１３１に送信すると共に、最後の最適化演算についての繰り返し演算要求を最適化演算部１３４に送信し、ステップＳＴ６０に進む。ステップＳＴ６０において、チャネル選択部１３１は、判定結果に基づき、（ｋ＋１）回目の最適化演算に観測データフルセットｙｆｕｌｌを適用する。具体的には、チャネル選択部１３１は、チャネルフルセットに対応する観測データフルセットｙｆｕｌｌを抽出し、最適化演算部１３４に送信する。
【００７７】
ステップＳＴ７０において、最適化演算部１３４は、観測データフルセットｙｆｕｌｌを用いて、復元モデル１３２に基づくデータ適合度と、事前知識モデル１３３に基づく事前知識適合度と、を最適化するための（ｋ＋１）回目の最適化演算を実行し、中間画像データｘｋ＋１を生成する。最適化演算部１３４は、中間画像データｘｋ＋１を判定部１３５に送信する。判定部１３５は、中間画像データｘｋ＋１を復元画像データｘとして復元画像出力部１４に送信する。
【００７８】
ステップＳＴ８０において、復元画像出力部１４は、復元画像データｘを用いて復元画像をユーザに出力する。
【００７９】
以上で、画像データ復元動作が終了する。
【００８０】
１．３  本実施形態に係る効果
本実施形態によれば、画質の劣化を抑制しつつ、画像データの復元に要する時間を短縮することが出来る。本効果につき、以下説明する。
【００８１】
本実施形態に係る画像データ復元装置３の最適化演算部１３４は、データ適合度Ｅｄ（ｘ）及び事前知識適合度Ｅｐ（ｘ）を最適化するための最適化演算を繰り返し実行する。そして、判定部１３５は、当該最適化演算の繰り返し処理が実行されるたびに、繰り返しを打切るか否かを判定し、その判定結果をチャネル選択部１３１に送信する。チャネル選択部１３１は、当該判定結果に応じて、最後の最適化演算に対してはチャネルフルセットに対応する観測データフルセットｙｆｕｌｌを適用し、それ以外の最適化演算に対してはチャネルサブセットに対応する観測データサブセットｙｓｕｂを適用する。
【００８２】
これにより、最適化演算が繰り返される間は、観測された情報のうちの一部を用いることで、最適化演算の処理量を低減することができ、ひいては処理速度を早めることができる。また、最後の最適化演算では観測された全ての情報を用いることにより、最適化演算の繰り返しの途中で一部の情報しか用いないことによる画質の劣化を抑制することができる。
【００８３】
また、最適化演算部１３４は、内部データとして補助変数ｚを導入することによって、ペナルティ法又はＡＤＭＭ法を実行する。これにより、最適化演算部１３４は、復元画像データｘを最適化する演算と、内部データを最適化する演算とを交互に実行することができる。このため、最適化演算部１３４は、当該交互に実行される演算を繰り返すことにより、最終的にデータ適合度Ｅｄ（ｘ）及び事前知識適合度Ｅｐ（ｘ）を最適化することができる。
【００８４】
２．  変形例
なお、本実施形態に係る画像データ復元装置は、上述の例に限らず、種々の変形が適用可能である。
【００８５】
２．１  第１変形例
上述の通り、データ適合度Ｅｄ（ｘ）は、復元画像データｘの観測データｙに対する適合度を示し、事前知識適合度Ｅｐ（ｘ）は、復元画像データｘの事前知識に対する適合度を示す。データ適合度Ｅｄ（ｘ）及び事前知識適合度Ｅｐ（ｘ）を最適化するためには、最適化演算の繰り返し毎に、各々の適合度の大きさのバランスが保たれることが望ましい。
【００８６】
本実施形態のように最適化演算の繰り返し回数に応じて使用するチャネル数を変化させる場合、データ適合度Ｅｄ（ｘ）の値は、観測データサブセットｙｓｕｂを用いた場合と、観測データフルセットｙｆｕｌｌを用いた場合とで、データセットの違いにより変化し得る。一方、事前知識適合度Ｅｐ（ｘ）の値は、観測データフルセットｙｆｕｌｌ又は観測データサブセットｙｓｕｂのどちらを用いても、データ適合度Ｅｄ（ｘ）ほど大きく変化しない。このため、観測データサブセットｙｓｕｂを用いた場合と、観測データフルセットｙｆｕｌｌを用いた場合とでデータ適合度Ｅｄ（ｘ）及び事前知識適合度Ｅｐ（ｘ）の大きさのバランスが変化してしまう可能性がある。
【００８７】
したがって、各々の適合度のバランスを保つため、データ適合度Ｅｄ（ｘ）の値は、観測データフルセットｙｆｕｌｌ又は観測データサブセットｙｓｕｂのどちらを用いても、大きく変化しないようにスケーリングされることが望ましい。
【００８８】
具体的には、例えば、最適化演算部１３４は、観測データサブセットｙｓｕｂを適用する場合、式（２）に代えて、以下の式（１３）を用いて、データ適合度Ｅｄ（ｘ）をスケーリングしてもよい。
【００８９】
【数８】
2019021258.tif 000010
【００９０】
ここで、係数βＭは正の実数であり、データ適合度のスケーリングファクタを示す。
【００９１】
より具体的には、例えば、最適化演算部１３４は、例えば、以下の式（１４）に示すように、チャネルサブセットの数と、チャネルフルセットの数との割合に応じて、データ適合度Ｅｄ（ｘ）をスケーリングしてもよい。
【００９２】
【数９】
2019021258.tif 000011
【００９３】
ここで、Ｍｓｕｂはチャネルサブセットのチャネル数であり、Ｍｆｕｌｌはチャネルフルセットのチャネル数である。
【００９４】
また、最適化演算部１３４は、例えば、以下の式（１５）に示すように、観測データサブセットｙｓｕｂのノルムの大きさと、観測データフルセットｙｆｕｌｌのノルムの大きさとに応じて、データ適合度Ｅｄ（ｘ）をスケーリングしてもよい。
【００９５】
【数１０】
2019021258.tif 000012
【００９６】
なお、観測データｙがベクトルではなく、行列の場合は、式（１０）におけるＬ２ノルムは、フロベニウスノルムとすればよい。
【００９７】
図４は、本実施形態の第１変形例に係る画像データ復元動作の一例を示すフローチャートである。図４では、本実施形態に係る図３に対して、更にステップＳＴ３５が追加されている。図４の動作は、ステップＳＴ３５以外の動作については、図３と同様である。以下では、最適化演算部１３４による最適化演算に係る部分の動作（ステップＳＴ３０、ＳＴ３５、及びＳＴ４０）について説明し、その他の動作（ステップＳＴ１０、ＳＴ２０、及びＳＴ５０以降）を省略する。
【００９８】
ステップＳＴ３０において、チャネル選択部１３１は、ｋ回目の最適化演算に際して使用する観測データｙとして、観測データサブセットｙｓｕｂを適用する。具体的には、チャネル選択部１３１は、ステップＳＴ２０において選択されたチャネルサブセットに対応する観測データサブセットｙｓｕｂを抽出し、最適化演算部１３４に送信する。
【００９９】
ステップＳＴ３５において、最適化演算部１３４は、データ適合度Ｅｄ（ｘ）をスケーリングする。これにより、データ適合度Ｅｄ（ｘ）及び事前知識適合度Ｅｐ（ｘ）の値のバランスは、観測データフルセットｙｆｕｌｌを適用した際と同等となる。
【０１００】
ステップＳＴ４０において、最適化演算部１３４は、観測データサブセットｙｓｕｂを用いて、復元モデル１３２に基づくデータ適合度Ｅｄ（ｘｋ）と、事前知識モデル１３３に基づく事前知識適合度Ｅｐ（ｘｋ）と、を最適化するためのｋ回目の最適化演算を実行し、中間画像データｘｋを生成する。最適化演算部１３４は、中間画像データｘｋを判定部１３５に送信する。
【０１０１】
以上のように動作させることにより、観測データサブセットｙｓｕｂを適用した場合と、観測データフルセットｙｆｕｌｌを適用した場合とで、データ適合度Ｅｄ（ｘ）及び事前知識適合度Ｅｐ（ｘ）のバランスが大きく変化することを抑制することができる。このため、観測データサブセットｙｓｕｂを適用した最適化問題は、観測データフルセットｙｆｕｌｌを適用した最適化問題に近似した問題とみなすことができる。したがって、最適化演算を繰り返し実行する際に、適用する観測データのチャネル数を動的に変更した場合においても、収束性を損なうことなく最適化演算を実行することができ、ひいては、繰り返し演算を安定して動作させることができる。
【０１０２】
２．２  第２変形例
また、本実施形態では、最適化演算の繰り返しの最後の１回に観測データフルセットｙｆｕｌｌを適用し、残りの最適化演算について観測データサブセットｙｓｕｂを適用する場合について説明したが、これに限られない。例えば、観測データフルセットｙｆｕｌｌは、最適化演算の繰り返しの任意の回数において、適宜適用されてもよい。より具体的には、判定部１３５は、最適化演算が実行されるたびに、打切り条件を満たすか否かに加えて、チャネルサブセットを用いるか否かを更に判定してもよい。
【０１０３】
判定部１３５は、例えば、チャネルサブセットを用いるか否かを、最適化演算の繰り返し数に応じて判定してもよい。より具体的には、例えば、判定部１３５は、繰り返し演算の１回目には、チャネルサブセットを用いない（チャネルフルセットを用いる）旨を判定し、以降の繰り返しの際には、チャネルサブセットを用いる旨を判定してもよい。このように、繰り返し回数の初期にチャネルフルセットを用いることによって、最適化演算の初期値として復元画像データｘと適合していないデータが入力された場合においても、初期に生成される中間画像データｘｋの精度を高めることができる。これにより、最適化演算の収束性を安定させることができる。
【０１０４】
なお、判定部１３５は、上述の例に限らず、任意の繰り返し数における最適化演算に対して、チャネルフルセットを用いる旨を判定してもよい。具体的には、例えば、判定部１３５は、最初の数回の最適化演算に対してチャネルフルセットを用いるように判定を行っても良いし、最後の数回の最適化演算に対してチャネルフルセットを用いるように判定を行っても良い。
【０１０５】
図５は、本実施形態の第２変形例に係る画像データ復元装置における画像データ復元動作の一例を示すフローチャートである。図５では、本実施形態に係る図３に対して、ステップＳＴ３０に代えて、ステップＳＴ３２、ＳＴ３４、及びＳＴ３６が追加されている。図５の動作は、ステップＳＴ３２、ＳＴ３４、及びＳＴ３６以外の動作については、図３と同様である。以下では、最適化演算部１３４による最適化演算に係る部分の動作（ステップＳＴ３２、ＳＴ３４、ＳＴ３６、及びＳＴ４０）について説明し、その他の動作（ステップＳＴ１０、ＳＴ２０、及びＳＴ５０以降）を省略する。
【０１０６】
ステップＳＴ３２において、判定部１３５は、ｋ回目の最適化演算に際して、チャネルサブセットを用いるか否かを判定する。
【０１０７】
判定部１３５は、チャネルサブセットを用いると判定した場合（ステップＳＴ３２；ｙｅｓ）、（ｋ＋１）回目の最適化演算に際して、チャネルサブセットを用いる旨の判定結果をチャネル選択部１３１に送信し、ステップＳＴ３４に進む。ステップＳＴ３４において、チャネル選択部１３１は、ステップＳＴ３２における判定部１３５の判定結果に基づき、（ｋ＋１）回目の最適化演算に際して、観測データサブセットｙｓｕｂを適用する。
【０１０８】
一方、判定部１３５は、チャネルサブセットを用いないと判定した場合（ステップＳＴ３２；ｎｏ）、（ｋ＋１）回目の最適化演算に際して、チャネルフルセットを用いる旨の判定結果をチャネル選択部１３１に送信し、ステップＳＴ３６に進む。ステップＳＴ３６において、チャネル選択部１３１は、ステップＳＴ３２における判定部１３５の判定結果に基づき、（ｋ＋１）回目の最適化演算に際して、観測データフルセットｙｆｕｌｌを適用する。
【０１０９】
ステップＳＴ４０において、最適化演算部１３４は、観測データサブセットｙｓｕｂ又は観測データサブセットｙｆｕｌｌを用いて、復元モデル１３２に基づくデータ適合度Ｅｄ（ｘｋ＋１）と、事前知識モデル１３３に基づく事前知識適合度Ｅｐ（ｘｋ＋１）と、を最適化するための（ｋ＋１）回目の最適化演算を実行し、中間画像データｘｋ＋１を生成する。最適化演算部１３４は、中間画像データｘｋ＋１を判定部１３５に送信する。
【０１１０】
以上のように動作させることにより、最適化演算部１３４は、任意の繰り返し回数における最適化演算に対して、チャネルフルセットを用いるか、チャネルサブセットを用いるかを使い分けることができる。これにより、最適化演算部１３４は、復元画像データｘの画質に大きな影響を与える最適化演算に対してはチャネルフルセットを用い、軽微な影響しか与えない最適化演算に対してはチャネルサブセットを用いることができる。
【０１１１】
より具体的には、例えば、繰り返しの序盤にチャネルフルセットを用いることにより、復元画像データｘの初期値の精度が低い場合においても、収束性を高めることができる。また、例えば、繰り返しの終盤にチャネルフルセットを用いることにより、復元画像データｘの最終的な画質の劣化を抑制することができる。
【０１１２】
２．３  第３変形例
また、本実施形態では、センサ２からの観測データｙについて、実際のチャネル（センサ又はスペクトル）に基づいて最適化演算を行う場合について説明したが、これに限られない。例えば、画像データ復元部１３は、実際のチャネルに対応付けられた観測データｙを、仮想のチャネル（仮想チャネル）に対応付けられた観測データｙ’にチャネル変換し、当該観測データｙ’を用いて最適化演算を行ってもよい。
【０１１３】
図６は、本実施形態の第３変形例に係る画像データ復元部の構成の一例を示すブロック図である。図６に示すように、画像データ復元部１３は、チャネル変換部１３６を更に備えている。
【０１１４】
チャネル変換部１３６は、記憶部１２から観測データフルセットｙｆｕｌｌを読み出すと、当該観測データフルセットｙｆｕｌｌの実際のチャネルを仮想チャネルに変換し、観測データフルセットｙ’ｆｕｌｌを生成する。具体的には、例えば、チャネル変換部１３６は、観測データフルセットｙｆｕｌｌに対して主成分分析、又は特異値分解に基づく直交変換を含む線形変換を施す。これにより、観測データフルセットｙｆｕｌｌは、固有値が比較的大きいチャネルと、ほぼ“０”に近い値となるチャネルとに分かれるような仮想チャネルに対応する観測データフルセットｙ’ｆｕｌｌに変換される。チャネル変換部１３６は、変換された観測データフルセットｙ’ｆｕｌｌをチャネル選択部１３１に送信する。
【０１１５】
チャネル選択部１３１は、観測データフルセットｙ’ｆｕｌｌに対応する複数の仮想チャネルのうち、最適化演算部１３４に入力される観測データに対応する仮想チャネルを選択する。チャネル選択部１３１は、複数の仮想チャネルの全て（仮想チャネルフルセット）を選択する場合、観測データフルセットｙ’ｆｕｌｌを最適化演算部１３４に送信する。また、チャネル選択部１３１は、仮想チャネルフルセットのうちの一部（仮想チャネルサブセット）を選択する場合、当該仮想チャネルサブセットに対応する観測データを観測データサブセットｙ’ｓｕｂとして抽出し、最適化演算部１３４に送信する。観測データサブセットｙ’ｓｕｂは、例えば、観測データフルセットｙ’ｆｕｌｌを構成する列ベクトルのうち、固有値の比較的大きい仮想チャネルに対応する列を含む新たな列ベクトルとして抽出される。
【０１１６】
このように構成することにより、チャネル数を削減した最適化演算を行うことによる画像データの復元精度の劣化を抑制することができる。
【０１１７】
図７は、本実施形態の第３変形例に係る画像データ復元装置における画像データ復元動作の一例を示すフローチャートである。図７では、本実施形態に係る図３に対して、ステップＳＴ１５が追加されている。以下では、図３と同様な動作については説明を適宜省略しつつ、全体の動作について説明する。
【０１１８】
図７に示すように、ステップＳＴ１０において、観測データ取得部１１は、センサ２において観測された、複数のチャネルに対応する観測データｙを取得し、記憶部１２に記憶させる。
【０１１９】
ステップＳＴ１５において、チャネル変換部１３６は、観測データフルセットｙｆｕｌｌに対して線形変換を施し、実際のチャネルから仮想チャネルへの変換を行う。これにより、チャネル変換部１３６は、観測データフルセットｙ’を生成し、チャネル選択部１３１に送信する。
【０１２０】
ステップＳＴ２０Ａにおいて、チャネル選択部１３１は、仮想チャネルフルセットのうち、仮想チャネルサブセットとして使用する仮想チャネルを選択する。
【０１２１】
ステップＳＴ３０Ａにおいて、チャネル選択部１３１は、ｋ回目の最適化演算に際して使用する観測データｙとして、観測データサブセットｙ’ｓｕｂを適用する。具体的には、チャネル選択部１３１は、ステップＳＴ２０Ａにおいて選択された仮想チャネルサブセットに対応する観測データサブセットｙ’ｓｕｂを抽出し、最適化演算部１３４に送信する。
【０１２２】
ステップＳＴ４０及びＳＴ５０に係る動作は、図３と同様であるため、その説明を省略する。
【０１２３】
ステップＳＴ６０において、チャネル選択部１３１は、ｋ回目の最適化演算に対する判定結果に基づき、（ｋ＋１）回目の最適化演算に観測データフルセットｙ’ｆｕｌｌを適用する。具体的には、チャネル選択部１３１は、仮想チャネルフルセットに対応する観測データフルセットｙ’ｆｕｌｌを抽出し、最適化演算部１３４に送信する。
【０１２４】
ステップＳＴ７０及びＳＴ８０に係る動作は、図３と同様であるため、その説明を省略する。
【０１２５】
以上で、画像データ復元動作が終了する。
【０１２６】
このように、チャネル変換部１３６は、観測データｙの実際のチャネルを仮想チャネルに変換する。これにより、チャネル選択部１３１は、有意な情報を有するチャネルの数を絞り込むことができる。チャネル選択部１３１は、例えば、固有値の大きい仮想チャネルを優先的に選択することにより、観測データｙが本来有する情報を大きく損なうことなく、最適化演算に用いるチャネル数を減らすことができる。したがって、画質の劣化を抑制しつつ、画像データの復元に要する時間を短縮することができる。
【０１２７】
３．  適用例
上記実施形態及び各変形例は、種々の装置に適用することが可能である。以下に、いくつかの具体的な適用例について説明する。
【０１２８】
３．１  ＭＲＩ装置への適用例
まず、ＭＲＩ装置への適用例について説明する。
【０１２９】
上述の通り、本実施形態をＭＲＩ装置に適用する場合、最適化演算部１３４による最適化演算の繰り返しは、ｋ空間データから再構成画像を再構成する処理に相当する。すなわち、観測データｙ及び復元画像データｘはそれぞれ、ｋ空間データ及び再構成画像に相当し、チャネルは、ｋ空間データを観測するためのコイルに相当する。
【０１３０】
データ適合度Ｅｄ（ｘ）に用いられる線形変換Ａは、例えば、コイル感度行列Ｓと、フーリエ変換行列Ｆと、を乗じて得られる行列を含む。
【０１３１】
コイル感度行列Ｓは、復元画像データに対するコイルごとの感度を示す。コイル感度行列Ｓは、コイル間でＳＮＲが一致しない場合や、コイル間の相関がある場合には、その補正項を含んでもよい。
【０１３２】
フーリエ変換行列Ｆは、センサ２がｋ空間データをCartesian Scanと呼ばれる手法を用いて観測する場合、離散フーリエ変換（Discrete Fourier Transform）として定義される。また、フーリエ変換行列Ｆは、センサ２がｋ空間データをNon-Cartesian Scanと呼ばれる手法を用いて観測する場合、非等方離散フーリエ変換（Nonequispaced Discrete Fourier Transform）として定義される。
【０１３３】
事前知識適合度Ｅｐ（ｘ）に用いられる線形変換Ｔは、例えば、Total Variation項を含む。Total Variation項は、例えば、隣接画素間の輝度差又は微分に関する情報を含む。すなわち、事前知識適合度Ｅｐ（ｘ）は、復元画像データｘの空間的な滑らかさを示す制約項として機能する。
【０１３４】
なお、ＭＲＩ装置が複数の時刻にわたって時系列に観測を行う場合、観測データｙ及び復元画像データｘは、時刻情報を含んでもよい。具体的には、或る時刻における観測データｙ及び復元画像データｘが列ベクトルで表現される場合、時系列の観測データｙ及び復元画像データｘは、行列の形式で表現されてもよい。
【０１３５】
時系列の観測データｙ及び復元画像データｘが行列の形式で表現される場合、データ適合度Ｅｄ（ｘ）及び事前知識適合度Ｅｐ（ｘ）はそれぞれ、以下の式（１６）及び式（１７）ように定式化することができる。
【０１３６】
【数１１】
2019021258.tif 000013
【０１３７】
事前知識適合度Ｅｐ（ｘ）に対してトレースノルムを用いる場合、トレースノルムを含む式に対して最適化問題を解くことになる。これにより、事前知識適合度Ｅｐ（ｘ）は、時間的な滑らかさを示す制約項としても機能する。
【０１３８】
トレースノルムを含む式に関する最適化問題は、特異値判定法（Singular Value Thresholding）を適用することにより、閉じた解を得ることができることが知られている。特異値判定法は、以下の手順（i）〜（iii）によって算出される行列を出力する演算である。
【０１３９】
（i）行列で表現される復元画像データｘに対して、特異値分解ｘ＝ＵΛＶ＊を行う。
【０１４０】
(ii)対角行列Λの対角成分をベクトル化したデータに対して軟判定閾値法を適用し、係数Λ’を得る。
【０１４１】
(iii)係数Λ’に演算ＵΛ’Ｖ＊を適用することによって求められた行列を出力する。
【０１４２】
３．２  マルチスペクトルカメラへの適用例
次に、マルチスペクトルカメラへの適用例について説明する。
【０１４３】
上述の通り、本実施形態をマルチスペクトルカメラに適用する場合、最適化演算部１３４による最適化演算の繰り返しは、可視化に用いるチャネルに混入するノイズ除去処理に相当する。すなわち、観測データｙ及び復元画像データｘは、ノイズを含む画像データ、及びノイズ除去された画像データに相当し、チャネルは、スペクトルに相当する。
【０１４４】
この場合、データ適合度Ｅｄ（ｘ）に用いられる線形変換Ａは、例えば、恒等変換行列を含む。
【０１４５】
事前知識適合度Ｅｐ（ｘ）に用いられる線形変換Ｔは、例えば、事前学習によって得られる基底行列を含む。基底行列は、例えば、同一のマルチスペクトルカメラで事前に撮像した画像データに対して主成分分析を適用することにより算出される。事前知識適合度Ｅｐ（ｘ）は、例えば、復元画像データｘを事前学習によって得られた低ランク直交基底に射影した際の誤差として定式化される。
【０１４６】
３．３  スペクトラルＸ線装置への適用例
次に、スペクトラルＸ線装置への適用例について説明する。スペクトラルＸ線装置は、ＣＴ装置、デュアルエナジー装置、及びフォトンカウンティング装置等を含む。
【０１４７】
上述の通り、本実施形態をＸ線スペクトラム装置に適用する場合、最適化演算部１３４による最適化演算の繰り返しは、生データ（raw data）から物質弁別画像を再構成する処理に相当する。すなわち、観測データｙ及び復元画像データｘはそれぞれ、生データ及び再構成画像に相当し、チャネルは、スペクトルに相当する。
【０１４８】
データ適合度Ｅｄ（ｘ）に用いられる線形変換Ａは、例えば、物質弁別画像と生データとの変換行列を含む。当該変換行列は、生データがサイノグラムである場合、ラドン変換を含む。
【０１４９】
事前知識適合度Ｅｐ（ｘ）に用いられる線形変換Ｔは、例えば、Total Variation項を含む。
【０１５０】
４．  その他
また、上述の実施形態は、以下に示す変更が適宜可能である。
【０１５１】
例えば、上述の実施形態では、最適化演算部１３４は、１つの機能ブロックとして示されているが、当該１つの機能ブロックは、複数の演算プロセッサを実装することによって実現されてもよい。具体的には、最適化演算部１３４は、データ適合度Ｅｄ（ｘ）を評価するための演算部分について、当該複数の演算プロセッサによる分散処理を行うように構成されてもよい。
【０１５２】
すなわち、データ適合度Ｅｄ（ｘ）を評価するための演算は、複数のチャネルごとに独立して行い得る。このため、複数の演算プロセッサの各々は、データ適合度Ｅｄ（ｘ）の評価の際に、各々に均等に配分されたチャネルに対応する部分についての演算を担当するように構成されてもよい。これにより、データ適合度Ｅｄ（ｘ）の評価に要する演算時間を短縮すると共に、１つの演算プロセッサにかかる負荷を低減することができる。
【０１５３】
また、上述した実施形態における画像データ復元動作で示された各ステップは、プログラムとして記述されたソフトウェアに基づいて実行されることが可能である。当該プログラムは、汎用の計算機システムに予め記憶され、画像データ復元装置３が当該プログラムを読み込むことにより、上述した実施形態における画像データ復元動作を実現してもよい。
【０１５４】
なお、上述したプログラムは、画像データ復元装置３が読み取り可能な任意の記録媒体に予め記憶されていてもよい。任意の記録媒体としては、例えば、磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ等）、半導体メモリ、又はこれに類する記録媒体等が挙げられる。また、記録媒体は、画像データ復元装置３と独立した媒体に限らず、ＬＡＮ（Local Area Network）及びインターネット等を介してダウンロードしたプログラムを記憶可能な画像データ復元装置３内の記憶媒体も含まれる。画像データ復元装置３は、当該記録媒体から上述したプログラムを読み込むことによって、画像データ復元動作の各ステップを画像データ復元装置３内のプロセッサに実行させることができる。なお、画像データ復元装置３は、当該記録媒体から読み込まれたプログラムの一部を、画像データ復元装置３上で稼働しているＯＳ（オペレーティングシステム）、データベース管理ソフト、及びＭＷ（ミドルウェア）等に実行させてもよい。
【０１５５】
なお、画像データ復元装置３は、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【０１５６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１５７】
１…画像データ復元システム、２…センサ、３…画像データ復元装置、１１…観測データ取得部、１２…記憶部、１３…画像データ復元部、１４…復元画像出力部、１３１…チャネル選択部、１３２…復元モデル、１３３…事前知識モデル、１３４…最適化演算部、１３５…判定部、１３６…チャネル変換部。
【図１】
2019021258.tif 000014
【図２】
2019021258.tif 000015
【図３】
2019021258.tif 000016
【図４】
2019021258.tif 000017
【図５】
2019021258.tif 000018
【図６】
2019021258.tif 000019
【図７】
2019021258.tif 000020