(57)【要約】  画像形成装置（１）は、多視点の入力画像群から、入力画像よりも多い周波数情報を持つ高解像度画像を出力画像として出力する処理を実行するための画像処理部（３）に、入力画像を分割して部分領域を設定し、複数の入力画像について対応する部分領域の間の類似度を算出して、類似度に基づいて部分領域ごとに超解像処理の要否を判定するための判定部（３４１）を含んだ超解像前処理部（３４）と、入力画像の超解像処理を行なうと判定された部分領域について超解像処理を実行するための超解像処理部（３６）と、入力画像の超解像処理を行なわないと判定された部分領域に対して解像度を出力画像の解像度に変換する処理を含んだ処理を行なうための画像合成部（３８）とを含む。
2014077024.tif 000002
【特許請求の範囲】
【請求項１】
多視点の入力画像群から、前記入力画像よりも多い周波数情報を持つ高解像度画像を出力画像として出力する処理を実行する画像処理装置であって、
前記入力画像を分割して部分領域を設定し、複数の前記入力画像について対応する部分領域の間の類似度を算出して、前記類似度に基づいて前記部分領域ごとに超解像処理の要否を判定するための判定手段と、
前記入力画像の、前記判定手段において超解像処理を行なうと判定された部分領域について超解像処理を実行するための第１の処理手段と、
前記入力画像の、前記判定手段において超解像処理を行なわないと判定された部分領域の解像度を、前記出力画像の解像度に変換する処理を実行するための第２の処理手段とを備える、画像処理装置。
【請求項２】
前記判定手段は、前記類似度の算出に、前記部分領域の濃度、色値、鮮鋭度のうちの少なくとも１つを用いる、請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、テンプレートマッチングを行なって前記類似度を算出する、請求項１に記載の画像処理装置。
【請求項４】
前記第２の処理手段は、複数の前記入力画像の、超解像処理を行なわないと判定された部分領域を合成する、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２の処理手段は、超解像処理を行なわないと判定された部分領域に、前記入力画像群のうちの１つの入力画像の当該部分領域を用いる、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項６】
前記判定手段は、前記部分領域の特定画素ごとに前記部分領域についての超解像処理の要否を判定する、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記入力画像は、複数の色チャンネルから構成されるカラー画像であり、
前記判定手段は、前記複数の色チャンネルのうちの１チャンネルについて超解像処理の要否を判定する、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項８】
前記入力画像は、複数の色チャンネルから構成されるカラー画像であり、
前記判定手段は、前記複数の色チャンネルから１チャンネルに変換した画像について、超解像処理の要否を判定する、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項９】
前記判定手段は、前記入力画像を縮小した画像を用いて超解像処理の要否を判定する、請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記判定手段は、前記入力画像群のうちから規定枚数を選択し、選択した入力画像のそれぞれを分割して前記部分領域を設定する、請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記入力画像群は時間的に連続するものであり、前記判定手段は、前記連続の順に従って特定画像ごとに前記入力画像を選択する、請求項１０に記載の画像処理装置。
【請求項１２】
多視点の入力画像群から、前記入力画像よりも多い周波数情報を持つ高解像度画像を出力画像として生成する方法であって、
前記入力画像を分割して部分領域を設定するステップと、
複数の前記入力画像について対応する部分領域の間の類似度を算出するステップと、
前記類似度に基づいて前記部分領域ごとに超解像処理の要否を判定するステップと、
前記入力画像の、超解像処理を行なうと判定された部分領域について超解像処理を実行するステップと、
前記入力画像の、超解像処理を行なわないと判定された部分領域の解像度を、前記出力画像の解像度に変換する処理を実行するステップとを備える、画像処理方法。
【請求項１３】
コンピューターに、多視点の入力画像群から前記入力画像よりも多い周波数情報を持つ高解像度画像を出力画像として生成する処理を実行させるプログラムであって、
前記入力画像を分割して部分領域を設定するステップと、
複数の前記入力画像について対応する部分領域の間の類似度を算出するステップと、
前記類似度に基づいて前記部分領域ごとに超解像処理の要否を判定するステップと、
前記入力画像の、超解像処理を行なうと判定された部分領域について超解像処理を実行するステップと、
前記入力画像の、超解像処理を行なわないと判定された部分領域の解像度を、前記出力画像の解像度に変換する処理を実行するステップとを前記コンピューターに実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理装置、画像処理方法および画像処理プログラムに関し、特に、解像度を向上させる処理を行なう画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
低解像度である多視点の入力画像群から１枚の高解像度画像を生成する画像処理技術がある。このような処理は、超解像処理とも呼ばれる。【０００３】
たとえば、特開２０１１−１７１８４３号公報（以下、特許文献１）は、低画質画像から高画質画像を生成する際に、入力された復元対象の低画質画像の高周波成分を抽出して高周波低画質画像を生成し、超高周波成分を補間する補間演算処理を実行するか否かを部分的に判断して切り替えて補間演算処理を実行することで、補間処理における処理速度を高速化する技術を開示している。【０００４】
また、特開２０１０−１０８１６１号公報（以下、特許文献２）は、高解像度画像を取得する装置として、複数枚の低解像度の画像を取得し、その少なくとも一部に基づいて高解像度画像を生成する高解像化処理を実施する高解像度画像生成手段と、解像度の拡大率、および高解像化処理が施される低解像度画像の枚数を設定可能な設定手段と、生成された高解像度画像に応じて、拡大率および枚数の少なくとも一方の変更が必要か否かを判定する判定手段と、拡大率および枚数の少なくとも一方の変更が必要と判定されたことを条件に、拡大率および枚数の少なくとも一方を変更するように設定手段を制御する制御手段とを備えることで、処理時間を短縮しつつ、目標とする画質を有する高解像度画像を取得することができる画像処理装置を開示している。【０００５】
また、特開２００７−３０５１１３号公報（以下、特許文献３）は、低解像度である代表画像および複数の参照画像を用いて高解像度画像を生成する画像処理装置であって、参照画像を切り換えながら位置合わせ処理を繰り返し、求めるべき高解像度画像の画素推定値を更新する更新処理を繰り返し、位置合わせ処理または更新処理の結果から終了条件を満たす画素を判定して、終了条件を満たすと判定された画素を位置合わせ処理または更新処理から除外することで、超解像後の画質を低下させることなく、演算量を削減することのできる画像処理装置を開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１７１８４３号公報
【特許文献２】特開２０１０−１０８１６１号公報
【特許文献３】特開２００７−３０５１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１〜３に開示された技術を採用した場合、画像のすべての位置において超解像処理が行なわれる。すなわち、画像においてピントのあっていないぼける位置についても超解像処理が行なわれるため、その位置の処理分、無駄な処理となり、高解像度画像を生成するための処理に時間がかかるという問題がある。【０００８】
本発明はこのような問題に鑑みてなされたものであって、高解像度画像を生成する処理を高速化できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のある局面に従うと、画像処理装置は、多視点の入力画像群から、入力画像よりも多い周波数情報を持つ高解像度画像を出力画像として出力する処理を実行する画像処理装置であって、入力画像を分割して部分領域を設定し、複数の入力画像について対応する部分領域の間の類似度を算出して、類似度に基づいて部分領域ごとに超解像処理の要否を判定するための判定手段と、入力画像の、判定手段において超解像処理を行なうと判定された部分領域について超解像処理を実行するための第１の処理手段と、入力画像の、判定手段において超解像処理を行なわないと判定された部分領域の解像度を、出力画像の解像度に変換する処理を実行するための第２の処理手段とを備える。【００１０】
好ましくは、判定手段は、類似度の算出に、部分領域の濃度、色値、鮮鋭度のうちの少なくとも１つを用いる。【００１１】
好ましくは、判定手段は、テンプレートマッチングを行なって類似度を算出する。
好ましくは、第２の処理手段は、複数の入力画像の、超解像処理を行なわないと判定された部分領域を合成する。【００１２】
好ましくは、第２の処理手段は、超解像処理を行なわないと判定された部分領域に、入力画像群のうちの１つの入力画像の当該部分領域を用いる。【００１３】
好ましくは、判定手段は、部分領域の特定画素ごとに当該部分領域についての超解像処理の要否を判定する。【００１４】
好ましくは、入力画像は、複数の色チャンネルから構成されるカラー画像であり、判定手段は、複数の色チャンネルのうちの１チャンネルについて超解像処理の要否を判定する。【００１５】
好ましくは、入力画像は、複数の色チャンネルから構成されるカラー画像であり、判定手段は、複数の色チャンネルから１チャンネルに変換した画像について、超解像処理の要否を判定する。【００１６】
好ましくは、判定手段は、入力画像を縮小した画像を用いて超解像処理の要否を判定する。【００１７】
好ましくは、判定手段は、入力画像群のうちから規定枚数を選択し、選択した入力画像のそれぞれを分割して部分領域を設定する。【００１８】
より好ましくは、入力画像群は時間的に連続するものであり、判定手段は、連続の順に従って特定画像ごとに入力画像を選択する。【００１９】
本発明の他の局面に従うと、画像処理方法は多視点の入力画像群から入力画像よりも多い周波数情報を持つ高解像度画像を出力画像として生成する方法であって、入力画像を分割して部分領域を設定するステップと、複数の入力画像について対応する部分領域の間の類似度を算出するステップと、類似度に基づいて部分領域ごとに超解像処理の要否を判定するステップと、入力画像の、超解像処理を行なうと判定された部分領域について超解像処理を実行するステップと、入力画像の、超解像処理を行なわないと判定された部分領域の解像度を、出力画像の解像度に変換する処理を実行するステップとを備える。【００２０】
本発明のさらに他の局面に従うと、画像処理プログラムは、コンピューターに多視点の入力画像群から入力画像よりも多い周波数情報を持つ高解像度画像を出力画像として生成する処理を実行させるプログラムであって、入力画像を分割して部分領域を設定するステップと、複数の入力画像について対応する部分領域の間の類似度を算出するステップと、類似度に基づいて部分領域ごとに超解像処理の要否を判定するステップと、入力画像の、超解像処理を行なうと判定された部分領域について超解像処理を実行するステップと、入力画像の、超解像処理を行なわないと判定された部分領域の解像度を、出力画像の解像度に変換する処理を実行するステップとをコンピューターに実行させる。
【発明の効果】
【００２１】
この発明によると、リフォーカス処理などの超解像処理を含む高解像度画像を生成する処理において、画質を落とすことなく処理を高速化することができる。
【図面の簡単な説明】
【００２２】
【図１】実施の形態にかかる画像処理装置の構成の基本的構成を示すブロック図である。
【図２】画像処理装置を具現化したデジタルカメラの構成を示すブロック図である。
【図３】画像処理装置を具現化したパーソナルコンピューターの構成を示すブロック図である。
【図４】カメラに含まれるレンズの配置の具体例を表わした図である。
【図５】第１のリフォーカス処理の流れを表わした図である。
【図６】撮影状況の具体例を表わした図である。
【図７】図６の被写体をカメラで撮影したときの、カメラからの入力画像の一部を表わした図である。
【図８】図５のステップ＃１１での動作を表わした図である。
【図９】図８の入力画像群の合成画像を表わす図である。
【図１０】図５のステップ＃１１での動作を表わした図である。
【図１１】図１０の入力画像群の合成画像を表わす図である。
【図１２】図５のステップ＃１１の処理を行なうことなく図７の入力画像群を合成したときの合成画像を表わす図である。
【図１３】第２のリフォーカス処理の流れを表わした図である。
【図１４】図１３のステップ＃２２での超解像処理の流れを表わした図である。
【図１５】図１４のステップ＃３３での処理の詳細を表わした図である。
【図１６】劣化情報を説明するための図である。
【図１７】劣化情報の具体例を表わした図である。
【図１８】超解像処理の前後での、入力画像（ａ）と高解像度画像（ｂ）との具体例を表わした図である。
【図１９】画像処理装置での動作の流れを表わすフローチャートである。
【図２０】図１９のステップＳ１０５での前処理の流れを表わすフローチャートである。
【図２１】図２０のステップＳ２０９での判定結果を表わした図である。
【発明を実施するための形態】
【００２３】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。
【００２４】
＜システム構成＞
図１は、本実施の形態にかかる画像処理装置１の構成の基本的構成を示すブロック図である。
【００２５】
図１を参照して、画像処理装置１は、撮像部２と、画像処理部３と、画像出力部４とを含む。図１に示す画像処理装置１においては、撮像部２が被写体を撮像することで画像（以下、「入力画像」とも称する）を取得し、画像処理部３がこの取得された入力画像に対して後述するような画像処理を行なうことで、入力画像よりも周波数情報の多い高解像度の出力画像（以下、「高解像度画像」とも称する）を生成する。そして、画像出力部４は、この高解像度画像を表示デバイスなどへ出力する。
【００２６】
撮像部２は、対象物（被写体）を撮像して入力画像を生成する。より具体的には、撮像部２は、カメラ２２と、カメラ２２と接続されたＡ／Ｄ（Analog  to  Digital）変換部２４とを含む。Ａ／Ｄ変換部２４は、カメラ２２により撮像された被写体を示す入力画像を出力する。
【００２７】
カメラ２２は、被写体を撮像するための光学系であって、アレイカメラである。すなわち、カメラ２２は、格子状に配置された視点の異なるＮ個のレンズ２２ａ−１〜２２ａ−ｎ（これらを代表させて、レンズ２２ａとも称する）と、レンズ２２ａにより集光された光を電気信号に変換するデバイスである撮像素子２２ｂとを含む。Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、各部分を制御するための制御処理回路などを含み得る。
【００２８】
画像処理部３は、撮像部２によって取得された入力画像に対して、本実施の形態に従う画像処理方法を実施することで高解像度画像を生成する。より具体的には、画像処理部３は、リフォーカス処理部３２と、超解像度前処理部３４と、超解像処理部３６と、画像合成部３８とを含む。
【００２９】
リフォーカス処理部３２は、カメラ２２からの複数の入力画像に対して後述するリフォーカス処理を実行する。
【００３０】
超解像処理部３６は、上記リフォーカス処理の際に、入力画像に対して後述する超解像処理を行なう。超解像処理とは、入力画像が持つナイキスト周波数を超える周波数情報を生成する処理である。その際に、超解像度前処理部３４は、後述する判定処理を含む前処理を行なって、入力画像のうち、超解像処理を行なう対象の領域と行なわない領域とを区別する。超解像度前処理部３４は、上記判定処理を行なうための判定部３４１を含む。
【００３１】
画像合成部３８は、入力画像または入力画像のうちの超解像処理を行なわない領域を合成する処理を行なう。
【００３２】
画像出力部４は、画像処理部３によって生成される高解像度画像を表示デバイスなどへ出力する。
【００３３】
図１に示す画像処理装置１は、各部を独立の装置で具現化したシステムとして構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理装置１の具現化例として、デジタルカメラでの具現化例とＰＣ（パーソナルコンピューター）での具現化例とについて説明する。
【００３４】
図２は、図１に示す画像処理装置１を具現化したデジタルカメラ１００の構成を示すブロック図である。図２において、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。
【００３５】
図２を参照して、デジタルカメラ１００は、ＣＰＵ（Central  Processing  Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、カメラ部１１４とを含む。
【００３６】
ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＬＳＩ（Large  Scale  Integration）、ＦＰＧＡ（Field-Programmable  Gate  Array）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。
【００３７】
画像表示部１０８は、カメラ部１１４により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される出力画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical  User  Interface）画面などを表示する。
【００３８】
カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメーターや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリー、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。
【００３９】
カメラ部１１４は、被写体を撮像することで入力画像を生成する。
図２に示すデジタルカメラ１００は、本実施の形態に従う画像処理装置１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において高解像度の画像を視認することができる。
【００４０】
図３は、図１に示す画像処理装置１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図３に示すパーソナルコンピューター２００では、入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された入力画像が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う画像処理装置１に含まれ得る。なお、図３においても、図１に示す画像処理装置１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。
【００４１】
図３を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。
【００４２】
パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ−ＲＯＭ（Compact  Disk-Read  Only  Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。
【００４３】
このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理装置１の趣旨を逸脱するものではない。
【００４４】
もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。
【００４５】
モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。
【００４６】
マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。
【００４７】
外部記憶装置２１２は、何らかの方法で取得された入力画像を格納しており、この入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。
【００４８】
図３に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理装置１の一部を単体の装置として実装したものである。
【００４９】
＜動作概要＞
画像処理装置１では、アレイカメラであるカメラ２２で撮影されることで得られる、それぞれ異なる視点の複数の入力画像をリフォーカス処理して、高解像度画像を得る。このとき、画像処理装置１は、リフォーカス処理後の高解像度の画像（画素数の多い画像）においてピントの合う領域について超解像処理を行なう領域、ピントの合わない領域については行なわない領域と区別することで、高速に超解像処理を行なう。
【００５０】
（リフォーカス処理１）
リフォーカスの第１の例として、第１のリフォーカス処理について説明する。第１のリフォーカス処理は、超解像処理を含まない。
【００５１】
図４は、カメラ２２に含まれるレンズ２２ａの配置の具体例を表わした図である。図４の例では、一例として、カメラ２２が、格子状に配置された１６個のレンズ２２ａ−１〜２２ａ−１６（レンズＡ〜Ｐ）を含むアレイカメラであるものとする。図４のレンズＡ〜Ｐの間隔（基線長）は、縦方向および横方向ともに均一であるものとする。
【００５２】
図５は、第１のリフォーカス処理の流れを表わした図である。図５を参照して、第１の例では、図４のカメラ２２から得られた１６枚の入力画像のそれぞれが、入力画像のうちの基準となる画像からの基線長に比例した長さ分、平行に移動され（ステップ＃１１）、これらが画像合成されて（ステップ＃１２）、合成後の画像が出力される。第１のリフォーカス処理は超解像処理を含まないため、入力画像の解像度と出力画像の解像度とが等しい。
【００５３】
図６は、撮影状況の具体例を表わした図である。図６を参照して、一例として、カメラ２２の正面（Ｚ方向）に、カメラ２２から近い位置に配置された１つの第１の被写体（りんご）と、カメラ２２から遠い位置であってカメラ２２からの距離が同じ位置に配置された同一種類の２つの第２の被写体（みかん）とをカメラ２２で撮影したものとする。
【００５４】
図７は、図６の被写体をカメラ２２で撮影したときの、カメラ２２からの入力画像であって、１６個のレンズＡ〜Ｐのうち、縦横３個の格子状の配列分であるレンズＡ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋからの入力画像を表わした図である。入力画像Ａ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋは、それぞれ、レンズＡ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｉ，Ｊ，Ｋからの入力画像であることを表わしている。レンズＡ，Ｂ，Ｃ、レンズＥ，Ｆ，Ｇ、およびレンズＩ，Ｊ，Ｋは、図６の被写体との位置関係ではＸ方向にその順に等間隔で配置され、レンズＡ，Ｅ，Ｉ、レンズＢ，Ｆ，Ｊ、およびレンズＣ，Ｇ，ＫはＹ方向にその順に等間隔で配置されている。
【００５５】
図７を参照して、レンズ２２ａからの距離が無限遠にある被写体の視差を０とすると、レンズＡの視点からの入力画像Ａにおける第１の被写体（りんご）と第２の被写体（みかん）とそれぞれの位置を基準位置とすると、第１の被写体であるりんごの画像の入力画像における位置は、Ｘ方向に配置されたレンズからの入力画像ではレンズの配置順に距離ｃずつ基準位置から−Ｘ方向にずれる。Ｙ方向に配置されたレンズからの入力画像ではレンズの配置順に距離ｄずつ基準位置から−Ｙ方向にずれる。第２の被写体であるみかんの画像の入力画像における位置は、Ｘ方向に配置されたレンズからの入力画像ではレンズの配置順に距離ａずつ基準位置から−Ｘ方向にずれる。Ｙ方向に配置されたレンズからの入力画像ではレンズの配置順に距離ｂずつ基準位置から−Ｙ方向にずれる。
【００５６】
フォーカス対象を第２の被写体であるみかんとすると、上記ステップ＃１１では、各入力画像におけるみかんの位置を一致させるよう入力画像が平行移動される。
【００５７】
図８は、フォーカス対象を第２の被写体であるみかんとしたときの上記ステップ＃１１での動作を表わした図である。図８を参照して、入力画像Ｂの移動距離が（ａ，０）である場合、入力画像Ｃの移動距離は、基準とする入力画像Ａからの基線長が入力画像Ｂのそれの２倍であるため（２ａ，０）となる。以降、他の入力画像も同様にして得られる移動距離分、移動させる。
【００５８】
基準とする入力画像Ａ以外の入力画像を上記のように平行移動すると、図８に示されたように、各入力画像でのみかんの位置が、基準とする入力画像Ａでの位置と一致するものの、りんごの位置はすべての入力画像で異なる。
【００５９】
すべての入力画像が基準とする入力画像からの基線長に比例した長さ分、平行移動された後、上記ステップ＃１２で合成される。具体的には、画素ごとに、１６枚分の画素値の平均値が出力される。
【００６０】
図９は、図８の入力画像群の合成画像を表わす図である。図９に示されるように、上記のようにみかんの位置を一致させるように平行移動させた後に合成すると、合成画像においてみかんはピントが合っているものの、りんごは各入力画像での位置（視差）が異なる分、ピントがぼける。つまり、この上記第１のリフォーカス処理では、視点の異なる入力画像が多いほど、各入力画像において位置の一致していない被写体は自然にぼけたように見えることになる。
【００６１】
同様に、フォーカス対象を第１の被写体であるりんごとすると、上記ステップ＃１１では、各入力画像におけるりんごの位置を一致させるよう入力画像が平行移動される。
【００６２】
図１０は、フォーカス対象を第１の被写体であるりんごとしたときの上記ステップ＃１１での動作を表わした図である。図１０を参照して、入力画像Ｂの移動距離が（ｃ，０）である場合、入力画像Ｃの移動距離は、基準とする入力画像Ａからの基線長が入力画像Ｂのそれの２倍であるため（２ｃ，０）となる。以降、他の入力画像も同様にして得られる移動距離分、移動させる。
【００６３】
基準とする入力画像Ａ以外の入力画像を上記のように平行移動すると、図１０に示されたように、各入力画像でのりんごの位置が、基準とする入力画像Ａでの位置と一致するものの、みかんの位置はすべての入力画像で異なる。
【００６４】
図１１は、図１０の入力画像群の合成画像を表わす図である。図１１に示されるように、上記のようにりんごの位置を一致させるように平行移動させた後に合成すると、合成画像においてりんごはピントが合っているものの、みかんは各入力画像での位置（視差）が異なる分、ピントがぼける。
【００６５】
なお、図１２は、上記ステップ＃１１の処理を行なうことなく図７の入力画像群を合成したときの合成画像を表わす図である。図１２を参照して、この場合、合成画像では、りんごにもみかんにもピントが合っていない。この例の場合、みかんの方がりんごよりもカメラ２２からの位置が遠いため、みかんの視差の方がりんごよりも小さい。そのため、図１２では、みかんのぼける具合に比べてりんごのぼける具合の方が大きくなる。
【００６６】
（リフォーカス処理２）
リフォーカスの第２の例として、第２のリフォーカス処理について説明する。第２のリフォーカス処理は、超解像処理を含む。
【００６７】
図１３は、第２のリフォーカス処理の流れを表わした図である。図１３を参照して、第２の例では、図４のカメラ２２から得られた１６枚の入力画像のそれぞれが第１の処理と同様に平行に移動された後（ステップ＃２１）、超解像処理される（ステップ＃２２）。第２のリフォーカス処理は超解像処理を含むため、出力画像の解像度が入力画像の解像度よりも高くなる。一例として、入力画像が８００×６００画素の解像度であるとき、出力画像の解像度が３２００×２４００画素の解像度となり得る。
【００６８】
なお、上記ステップ＃２１での平行移動では、第２のリフォーカス処理では、超解像処理にて後述するようにサブピクセル（小数画素）の情報を用いて解像度を向上させる処理を行なうため、整数画素、平行移動される。たとえば、図７の入力画像Ｂで移動量（ａ，０）が（１５．２５，０）であったとすると、上記ステップ＃２１では１５画素だけ平行移動され、残りの０．２５画素は後述する超解像での劣化情報の一部（図１６、図１７）として用いられる。
【００６９】
図１４は、上記ステップ＃２２での超解像処理の流れを表わした図である。図１４では、具体例として、論文「Fast  and  Robust  Multiframe  Super  Resolution」（IEEE  TRANSACTIONS  ON  IMAGE  PROCESSING,  VOL.  13,  NO.  10,  OCTOBER  2004  page.1327-1344）に記載された処理を行なう場合の超解像処理の流れが示されている。
【００７０】
図１４を参照して、ステップ＃３１で、入力画像のうちの１枚に対してバイリニア法等の補間処理を施して入力画像の解像度を超解像処理後の解像度である高解像度に変換することで、初期画像としての出力候補画像が生成される。
【００７１】
ステップ＃３２で、ノイズにロバストに収束させるためのＢＴＶ（Bilateral  Total  Variation）量が算出される。
【００７２】
ステップ＃３３で、上記生成された出力候補画像と１６枚分の入力画像とが比較されて、残差が算出される。図１５は、ステップ＃３３での処理の詳細を表わした図である。すなわち、図１５を参照して、ステップ＃３３では、上記生成された出力候補画像が、各入力画像とその劣化情報（超解像後の画像と入力画像との間の関係を示す情報）とに基づいて入力画像サイズに変換（低解像度化）されて（＃４１）、１６枚分の入力画像との差異が算出され、記録される（＃４２）。そして、その差異が、超解像処理後のサイズに戻され（＃４３）、残差とされる。
【００７３】
ステップ＃３４で、上記ステップ＃３１で生成された出力候補画像から算出された残差とＢＴＶ量とが減ぜられて次の出力候補画像が生成される。
【００７４】
上記ステップ＃３１〜＃３４の処理が、出力候補画像が収束するまで繰り返され、収束した出力候補画像が超解像処理後の出力画像として出力される。
【００７５】
繰り返しは、おおよそ充分に収束する回数（たとえば２００回）などの、予め規定された回数であってもよいし、一連の処理の都度、収束判定がなされ、その結果に応じて繰り返されてもよい。
【００７６】
図１６は、上記ステップ＃４１で用いられる劣化情報を説明するための図である。
劣化情報とは、超解像処理後の高解像度画像に対する入力画像それぞれの関係を表わす情報を指し、たとえば行列形式で表わされる。劣化情報には、入力画像それぞれのサブピクセルレベルでのずれ量（平行移動した残りの少数画素分）、ダウンサンプリング量、およびぼけ量などが含まれる。
【００７７】
図１６を参照して、劣化情報は、入力画像および超解像処理後の高解像度画像それぞれを１次元のベクトル表現した場合に、その変換を示す行列で規定される。
【００７８】
図１７は、劣化情報の具体例を表わした図である。
図１７を参照して、劣化情報として、画素のずれ量が０．２５画素、およびダウンサンプリング量が縦方向および横方向それぞれに１／４が規定されているものとする。入力画像の内の１画素に対応した１か所と、超解像処理後の高解像度画像の１６か所の１６画素とが対応しているときに、劣化情報には、１６か所に１／１６の係数が記載されている。そのため、画素のずれ量が０．２５画素である場合、高解像度画像の１６画素それぞれに対してはそのずれ量の１／１６分、寄与することになる。
【００７９】
図１８は、超解像処理の前後での、入力画像（ａ）と高解像度画像（ｂ）との具体例を表わした図である。図１８（ａ），図１８（ｂ）それぞれにおいて、左側から右側に向けて太い帯が広がって線状になる様が表わされた同じ図が表わされており、線として識別できる限界が太線で付加されている。
【００８０】
図１８に表わされたように、図１８（ａ）の入力画像において線として識別できる限界よりも、図１８（ｂ）の高解像度画像において線として識別できる限界の方が左側にあり、図１８（ｂ）の方が細部まで再現されていることが分かる。つまり、図１８（ｂ）の高解像度画像では、入力画像のナイキスト周波数を超えた周波数の情報が生成されている。このことで、入力画像では文字として読み取ることのできない部分であっても、超解像処理された高解像度画像では読み取れられるように再現されることになる。
【００８１】
なお、図１４に表わされた超解像処理の方法は一例であって、他の方法であっても、よい。たとえば、複数の入力画像から１枚の高解像度画像を生成する再構成型超解像処理である場合、ＢＴＶ量が別の項であってもよい。
【００８２】
（課題の説明）
超解像処理を含む第２のリフォーカス処理は、超解像処理によって、超解像処理を行なわない第１のリフォーカス処理よりも高画質の高解像度画像を得ることができる。しかしながら、上述のように超解像処理において繰り返しによる収束演算を行なうため、処理速度が第１のリフォーカス処理と比較して非常に遅くなる。
【００８３】
そこで、本実施の形態にかかる画像処理装置１は、部分領域ごとに、超解像処理を行なうか否かを判定する前処理を行なう。
【００８４】
なお、本例では、リフォーカス処理を行なう際の超解像処理について要否を事前に判定するものとしているが、超解像処理の要否の事前の判定はリフォーカス処理に含まれる超解像処理に限定されるものでなく、リフォーカス処理以外での超解像処理であっても同様に事前に要否を判定することができる。
【００８５】
＜動作フロー＞
図１９は、本実施の形態にかかる画像処理装置１での動作の流れを表わすローチャートである。ここでも、上記の例に従って、８００×６００画素の低解像度である１６枚の入力画像から、３２００×２４００画素の１枚の高解像度画像を生成するものとする。
【００８６】
図１９を参照して、まず、１６枚の入力画像を取得する処理が実行される（ステップＳ１０１）。ここでは、８００×６００画素の低解像度の画像が入力されるものとする。
【００８７】
次に、入力画像うちの基準となる画像以外のものについて、基準となる画像からの基線長に比例した長さ分、平行に移動する処理が行なわれる（ステップＳ１０３）。そして、超解像処理用の前処理が行なわれ（ステップＳ１０５）、部分領域ごとに、超解像処理の要否が判定される。
【００８８】
超解像処理を行なうと判定された部分領域については（ステップＳ１０７でＹＥＳ）、上述のような超解像処理が行なわれる（ステップＳ１０９）。
【００８９】
超解像処理を行なわないと判定された部分領域については（ステップＳ１０７でＮＯ）、解像度が高解像度画像の解像度（３２００×２４００画素）に変換された後（ステップＳ１１１）、画像合成処理が施される（ステップＳ１１３）。
【００９０】
なお、上記ステップＳ１１３では、画像合成処理に替えて、１枚または複数の入力画像からガウシアンフィルタなどで、ぼけが生成されてもよい。
【００９１】
そして、上記ステップＳ１０９で超解像処理された部分領域と、ステップＳ１１１で高解像度に変換された後にステップＳ１１３で画像合成処理がなされた（またはぼけが生成された）部分領域とが、３２００×２４００画素の高解像度画像として出力される（ステップＳ１１５）。
【００９２】
図２０は、上記ステップＳ１０５での前処理の流れを表わすフローチャートである。
図２０を参照して、まず、１６枚の入力画像うち判定用の所定枚数（たとえば、入力画像Ａ，Ｃ，Ｉ，Ｋの４枚、など）が選択される（ステップＳ２０１）。ここで入力画像のうちから判定用の所定枚数が選択されることで、判定処理自体を高速化することができる。一方で、１６枚の入力画像すべてを用いて以降の判定処理を行なうようにしてもよい。これにより、判定精度を向上させることができる。
【００９３】
好ましくは、それら判定用の画像が、たとえば縦横とも１／２画素（４００×３００画素）など、さらに低解像度に解像度変換される（ステップＳ２０３）。ここでの解像度変換は、バイリニア法などの補間処理が採用されてもよいし、高速に行なうために間引き処理に当たるニアレストネイバー法が採用されてもよい。
【００９４】
次に、解像度変換後のそれぞれの画像が、たとえば１０×１０画素などの、予め規定されたサイズの部分領域に分割され（ステップＳ２０５）、部分領域ごとに、類似度が算出される（ステップＳ２０７）。そして、類似度に基づいて、部分領域ごとに超解像処理の有無が判定される（ステップＳ２０９）。
【００９５】
ある部分領域について、判定用の画像群それぞれについて類似しておらず、明らかに異なっている場合、その部分領域は超解像処理を行なってもリフォーカス処理後にピントの合っていない、ぼける領域である。そのため、その部分領域に対する超解像処理は不要となる。従って、本実施の形態にかかる画像処理装置１では、算出された類似度が予め設定したしきい値以下で、判定用の画像の当該領域が明らかに異なっていれば（類似していなければ）、当該部分領域について超解像処理が不要と判定する。なお、本明細書では、比較対象が類似しているほど類似度が高いことを意味している。類似度算出には、たとえば、各部分領域の色値（平均色）、濃度、鮮鋭度、またはこれらのうちの少なくとも２つの組み合わせ、などが用いられ得る。
【００９６】
鮮鋭度を用いて類似度を判定する方法の一例としては、ソーベルなどの１次微分、ラプラシアンなどの２次微分などを用いてエッジ成分を抽出し、比較する画像間の部分領域内で、各画素の差分を加算した結果に基づく類似度がしきい値以下か否かで判定する方法が挙げられる。また、他の方法として、ＳＡＤ（Sum  of  Absolute  Difference）やＮＣＣ（Normalized  Cross  Correlation）などのテンプレートマッチングを行なってもよい。
【００９７】
また、類似度の判定は、２画素ごとなど特定画素ごとに行なわれてもよい。このようにすることで、判定処理をさらに高速化することができる。
【００９８】
また、画像がカラー画像の場合には、たとえばＲＧＢそれぞれのチャンネルごとに個別に超解像処理が行なわれる場合、類似度の判定は、いずれか１チャンネル（たとえばＧ）で行なわれてもよい。または、たとえば、輝度のようにＲＧＢのチャンネルに重み付けを行なって変換した１チャンネルのみを用いて行なわれてもよい。このようにすることで、判定処理をさらに高速化することができる。
【００９９】
また、入力画像が動画の場合には、類似度の判定は、フレームの連続順に従って所定間隔のフレーム（たとえば３フレームごと）に行なわれてもよい。この場合、類似度の判定に用いられていない入力画像であるフレームに対しては、判定に用いられた直近のフレームの結果が用いられてもよい。このようにすることで、判定処理をさらに高速化することができる。
【０１００】
図２１は、上記ステップＳ２０９での判定結果を表わした図である。図２１において、グレー領域は算出された類似度が予め設定したしきい値未満（または以下）であって判定用の画像の当該領域が類似しておらず、白領域は類似度がしきい値以上（またはしきい値を超える）で判定用の画像の当該領域が類似していると判定されたことを表わしている。
【０１０１】
このように判定されると、画像処理装置１では、図２１の白領域に対してのみ超解像処理が行なわれる。図２１のグレー領域に対しては、たとえば、バイキュービック法などが採用されて１６枚分すべての入力画像が高解像度画像の解像度に解像度変換が行なわれ、変換後の画像が合成される。すなわち、画素ごとに画素値が加算され、その平均値が出力される。
【０１０２】
＜実施の形態の効果＞
画像処理装置１では、超解像前処理として上述の判定を行なうことで、リフォーカス処理などの超解像処理を含む高解像度画像を生成する処理において、画質を落とすことなく処理を高速化することができる。
【０１０３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０４】
１  画像処理装置、２  撮像部、３  画像処理部、４  画像出力部、２２  カメラ、２２ａ  レンズ、２２ｂ  撮像素子、２４  変換部、３２  リフォーカス処理部、３４  前処理部、３６  超解像処理部、３８  画像合成部、１００  デジタルカメラ、１０４  デジタル処理回路、１０６  画像処理回路、１０８  画像表示部、１１２  記憶部、１１４  カメラ部、２００  パーソナルコンピューター、２０２  パーソナルコンピューター本体、２０４  画像処理プログラム、２０６  モニター、２０８  マウス、２１０  キーボード、２１２  外部記憶装置、３４１  判定部。
【図１】
2014077024.tif 000003
【図２】
2014077024.tif 000004
【図３】
2014077024.tif 000005
【図４】
2014077024.tif 000006
【図５】
2014077024.tif 000007
【図６】
2014077024.tif 000008
【図７】
2014077024.tif 000009
【図８】
2014077024.tif 000010
【図９】
2014077024.tif 000011
【図１０】
2014077024.tif 000012
【図１１】
2014077024.tif 000013
【図１２】
2014077024.tif 000014
【図１３】
2014077024.tif 000015
【図１５】
2014077024.tif 000016
【図１６】
2014077024.tif 000017
【図１７】
2014077024.tif 000018
【図１９】
2014077024.tif 000019
【図２０】
2014077024.tif 000020
【図２１】
2014077024.tif 000021
【図１４】
2014077024.tif 000022
【図１８】
2014077024.tif 000023
【国際調査報告】
2014077024.tif 000024
2014077024.tif 000025
2014077024.tif 000026
2014077024.tif 000027