(57)【要約】【課題】より高精度な奥行き推定を可能とすることにある。【解決手段】画像処理装置１１０の超解像処理ユニット１０４は、複数の画像取得装置１０２より取得される被写体の画像データを高解像画像データに変換する。そして、画像処理装置１１０の奥行き計算ユニット１０８は、上記高解像画像データに基づいて被写体の奥行き情報を算出する。【選択図】図１
2011113527.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段より取得される被写体の画像データを高解像画像データに変換する変換手段と、
前記変換手段により生成された高解像画像データに基づいて、前記被写体の奥行き情報を算出する第１の算出手段とを有することを特徴とする画像処理装置。
【請求項２】
前記変換手段は、前記撮像手段の特性を加味して、前記被写体の画像データを高解像画像データに変換することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変換手段は、
前記撮像手段より取得される前記被写体の画像データから高解像画像データを生成する第１の生成手段と、
前記第１の生成手段によって生成される高解像画像データから前記撮像手段の特性を加味して低解像画像データを生成する第２の生成手段と、
前記第２の生成手段により生成される低解像画像データと前記撮像手段により取得される画像データとの差分を算出する第２の算出手段とを有し、
前記第２の算出手段により算出される差分が所定の条件を満たす場合における、前記第１の生成手段により生成された高解像画像データを出力することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記変換手段は、
前記第２の算出手段により算出される差分が所定の条件を満たさない場合、当該差分に応じた修正量を算出する第３の算出手段を更に有し、
前記第１の生成手段は、前記第３の算出手段により算出された修正量に応じて高解像画像データを更新することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の算出手段により算出される差分が所定の閾値以下となる場合に前記所定の条件を満たすことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記撮像手段の特性は、前記撮像手段における光学系の特性、及び、前記撮像手段のダウンサンプリング処理に係る特性のうちの少なくとも何れか一方を含むことを特徴とする請求項２乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記光学系の特性は、点拡がり関数であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記変換手段は、１枚の画像データから１枚の高解像画像データを生成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記変換手段は、複数の画像データから１枚の高解像画像データを生成することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項１０】
複数の撮像手段より取得される被写体の画像データを高解像画像データに変換する変換ステップと、
前記変換ステップにより生成された高解像画像データに基づいて、前記被写体の奥行き情報を算出する算出ステップとを含むことを特徴とする画像処理方法。
【請求項１１】
複数の撮像手段より取得される被写体の画像データを高解像画像データに変換する変換ステップと、
前記変換ステップにより生成された高解像画像データに基づいて、前記被写体の奥行き情報を算出する算出ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置によって撮影される被写体の奥行き情報を算出するための技術に関するものである。
【背景技術】
【０００２】
画像認識における特徴抽出や、柔軟且つ効率よく映像を合成、製作、加工、編集するための映像部品データベースの構築においては、撮影された画像データから被写体の奥行き情報を抽出することが行われる。被写体の奥行き情報を得るための方法としては、２つのカメラを平行に配置したステレオマッチング法がよく知られている。
【０００３】
ここで、図２０を用いてステレオマッチング法について簡単に説明する。図２０において、１６０１は被写体であって、１６０２は被写体１６０１上にある一点である。被写体表面は波の形になっている。ステレオマッチング法を用いる２台のカメラは全く性能が同じカメラである。カメラは、光学中心を通る光線で投影面への結像を実現する。図２０では、１６０３、１６０４は左右カメラの光学中心である。１６１２、１６１３は左右カメラの投影面である。左の投影面中心を座標原点とする直交座標系は（ｕ，ｖ）である。光学中心と投影面座標原点と連接するラインは投影面に対して垂直に交わっており、その間の距離は焦点距離ｆである。右の投影面中心を座標原点とする直交座標系は（ｕ´，ｖ´）である。三次元空間の被写体１６０１上の座標（Ｘ，Ｙ，Ｚ）は両カメラの光学中心と連接し、投影面との接点は左右ステレオ画像上の画素になる。図２０の１６０６、１６０７は左右投影面との接点を示している。１６０６の座標は（ｕx，ｖy）である。１６０７の座標は（ｕx´，ｖy´）である。１６１１と１６０９は左右投影面上のライン１６１０、１６０８を拡大した画素配列である。両カメラの光学中心を連接したラインは基線と呼ばれ、ｂはその基線の長さである基線長１６０５である。被写体１６０１上の座標（Ｘ，Ｙ，Ｚ）は左のカメラ座標系を基準にしている。被写体１６０１の奥行き値はＺとする。Ｚについて下記の式を用いてステレオマッチング法により計算する。なお、特許文献１には、複数の撮像装置で撮像した画像データを超解像画像データに変換して仮想視点画像データを生成する技術が開示されている。
【０００４】
【数１】
2011113527.tif 000003
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１１９８４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、カメラ、又はビデオカメラ等で取得した画像データはセンササイズの制限等により十分な解像度で表現できない場合がある。画素数が不足すると、ステレオマッチング法による奥行き推定精度が高くても、密で且つシャープな奥行き情報を得ることができない。
【０００７】
図２１、図２２を用いて上記の課題について詳しく説明する。図２１は、拡大表示された画素配列（図２０の１６１１、１６０９）と撮影対象の対応関係を示す図である。図２１の１７０１は被写体１６０１の断面図である。１６１１は左カメラの投影面上にある１ラインの一部であり、左カメラで撮影された画像データを奥行き推定時の基準画像データとして扱う。１６０９は右カメラの投影面上にある１ラインの一部である。撮影対象に含まれる点Ａ、Ｂ、Ｃ、Ｄは基準画像データにある画素ａ１、ｂ１、ｃ１、ｄ１と、右カメラの投影面上の画素ａ２、ｂ２、ｃ２、ｄ２とにそれぞれに対応している。画素ａ１、ｂ１、ｃ１、ｄ１は基準画像データ上に連続して並んでいる画素である。画素ａ２、ｂ２、ｃ２、ｄ２は右カメラの投影面上にあって、基準画像データ上の画素ａ１、ｂ１、ｃ１、ｄ１に対応する画素である。画素ａ２、ｂ２、ｃ２、ｄ２は、右カメラの投影面の１ライン上に配置されるが、必ずしも連続的に配置されるわけではない。１７０２は上記式１を用いて得られる点Ａ、Ｂ、Ｃ、Ｄの奥行き値Ｚの結果を示している。横軸は点Ａ、Ｂ、Ｃ、Ｄの画素位置である。縦軸は奥行き値を示している。画像解像度の制限により、被写体上にある点Ａ、Ｂ、Ｃ、Ｄの間の奥行き変化を正確に表現できていないことが確認できる。
【０００８】
図２２は、同じく図２０の画素１６１１、１６０９と被写体１８０１上の点との対応関係を示す図である。図２１と相違する点は、左右カメラの投影面における１ライン上の画素数が増加した点である。図２２にある１８０１は被写体１６０１の断面図である。１６１１は基準画像データ上にある１ラインの一部である。撮影対象に含まれる点Ａ、Ｅ、Ｂ、Ｆ、Ｃ、Ｇ、Ｄは基準画像データ上にある画素ａ１、ｅ１、ｂ１、ｆ１、ｃ１、ｇ１、ｄ１と、右カメラの投影面上にある画素ａ２、ｅ２、ｂ２、ｆ２、ｃ２、ｇ２、ｄ２にそれぞれ対応している。被写体１８０１上の点Ｅ、Ｆ、Ｇはそれぞれ点Ａ、Ｂ、Ｃ、Ｄの間に位置する点である。画素ａ１、ｅ１、ｂ１、ｆ１、ｃ１、ｇ１、ｄ１は基準画像データ上に連続して並んでいる画素である。画素ａ２、ｅ２、ｂ２、ｆ２、ｃ２、ｇ２、ｄ２は右カメラの投影面上にあって、基準画像データ上の画素ａ１、ｅ１、ｂ１、ｆ１、ｃ１、ｇ１、ｄ１に対応する画素である。画素ａ２、ｅ２、ｂ２、ｆ２、ｃ２、ｇ２、ｄ２は、投影面の１ライン上に配置されるが、必ずしも連続的に配置されるわけではない。１８０２は上記式１を用いて得られる画素Ａ、Ｅ、Ｂ、Ｆ、Ｃ、Ｇ、Ｄの奥行き値Ｚの結果を示している。横軸は点Ａ、Ｅ、Ｂ、Ｆ、Ｃ、Ｇ、Ｄに対応する画素位置である。縦軸は奥行き値を示している。取得する画像データの画素数が増えた結果、図２１で説明した低画素数の画像データからの奥行き値計算では獲得できなかった点Ｅ、Ｆ、Ｇの奥行き値を正確に得ることができ、点Ａ〜Ｄの間の奥行き変化を表現できるようになる。
【０００９】
このように、奥行き値の取得数を増加させる手段として、撮像系のセンサ素子の微小化によって、画像データの解像度を向上させることが挙げられる。しかしながら、センサ素子の高密度化は製造コストの向上に直結する。更に、撮像素子を小さくすると、１個の撮像素子が受光できる光量が減少し、画像データ上に印加されるノイズ量が増加する問題点がある。
【００１０】
そこで、本発明の目的は、より高精度な奥行き推定を可能とすることにある。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、複数の撮像手段より取得される被写体の画像データを高解像画像データに変換する変換手段と、前記変換手段により生成された高解像画像データに基づいて、前記被写体の奥行き情報を算出する第１の算出手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明においては、複数の撮像手段より取得される被写体の画像データを高解像画像データに変換し、変換された高解像画像データに基づいて被写体の奥行き情報を算出するようにしている。従って、本発明によれば、より高精度な奥行き推定が可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】図１の超解像処理ユニットの詳細を示すブロック図である。
【図３】図１の画像取得装置の劣化モデルを示す図である。
【図４】ＨＲ画像データとＨＲ画像データを表す行列Ｘとの関係を示す図である。
【図５】光学系劣化処理を行う正方形行列Ｂの構成を示す図である。
【図６】ダウンサンプリング処理の画像縮小の倍率を反映した行列Ｄの構成を示す図である。
【図７】図１に示す超解像処理ユニットの処理を示すフローチャートである。
【図８】ステレオ撮影によりカメラの配置と撮影された画像データを示す図である。
【図９】図８に示した対応点の対応付け方法を説明するための図である。
【図１０】奥行き計算処理を示すフローチャートである。
【図１１】本発明の第２の実施形態における図１の超解像処理ユニットの詳細を示すブロック図である。
【図１２】図１の画像取得装置の劣化モデルを示す図である。
【図１３】ステレオ画像について左右画像データを複数枚ずつ取得する場合、画像データ間の位置関係を示す図である。
【図１４】図１１の超解像処理ユニットの処理を示すフローチャートである。
【図１５】図１９に示した行列Ｍkの構成を示す図である。
【図１６】式３に記載される各行列サイズを示す図である。
【図１７】式１に示すＸ、Ｙ、Ｄ、Ｂの行列サイズを示す図である。
【図１８】式１０に記載される各行列サイズを示す図である。
【図１９】式１０に記載されるＸ、Ｙk、Ｄ、Ｂ、Ｍkの行列サイズを示す図である。
【図２０】ステレオマッチング法について説明するための図である。
【図２１】拡大表示された画素配列と撮影対象の対応関係を示す図である。
【図２２】図２０の画素と被写体上の点との対応関係を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１５】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。１１０は、本実施形態に係る画像処理装置であり、画像取得装置（撮像手段）１０２で撮像された被写体の画像データが入力され、被写体までの奥行き情報マップを出力する。画像取得装置１０２は複数のカメラ（カメラ１、カメラ２）から構成されるステレオカメラである。画像取得装置１０２で取得された複数の画像データはメモリ１０３に一時的に格納される。メモリ１０３で記憶された複数の画像データは超解像処理ユニット１０４に入力され、高解像画像データが作成される。また、高解像画像データの生成に必要となる画像取得装置１０２の劣化条件が劣化条件入力部１０５から超解像度処理ユニット１０４に入力される。本実施形態で扱う劣化条件には光学的な劣化を表すPoint Spread Function（ＰＳＦ、点拡がり関数）とダウンサンプリング処理とがある。ダウンサンプリング処理は、限られた画素数に被写体が収まるように画像データの変換を行う処理である。また、閾値が閾値入力部１０６より超解像処理ユニット１０４に入力される。ステレオマッチング部１０７は、超解像処理ユニット１０４によって生成された高解像画像データに基づいて、複数の高解像画像データ間の特徴点の対応付けを行い、奥行き計算ユニット１０８に出力する。奥行き計算ユニット１０８は奥行き情報マップを算出する。求められた奥行き情報マップは情報出力端子１０９から出力される。奥行き情報マップとは、撮影された画像データの全ての画素位置における奥行き値が格納されたデータ群や、その奥行き値を利用して作り上げる濃淡画像等である。１１１はインタフェースである。奥行き情報マップと超解像処理ユニット１０４で生成された高解像画像データは、インタフェース１１１を介してメモリカード１１２に保存される。なお、超解像処理ユニット１０４は本発明の変換手段の適用例となる構成であり、奥行き計算ユニット１０８は本発明の第１の算出手段の適用例となる構成である。
【００１６】
図２は、図１の超解像処理ユニット１０４の詳細を示すブロック図である。以下では、高解像（High Resolution）画像データをＨＲ画像データと、低解像（Low Resolution）画像データをＬＲ画像データと略称する。図２において、画像入力端子２０１から画像取得装置１０２で得られた画像データが超解像処理ユニット１０４に入力される。本実施形態で扱う画像入力端子２０１から入力される画像データは８ビットのグレイスケール画像データとする。初期ＨＲ画像作成部２０２は、入力された画像データを用いてＨＲ画像データの初期値を作成する。本実施形態では、線形補間手法を使用してＨＲ画像データの初期値を生成する。ＨＲ画像生成部２０５は、後述するMaximum A Posterior(ＭＡＰ)推定法によって計算される修正量をＨＲ画像データに加えることによりＨＲ画像データを更新する。ＬＲ画像作成部２０６は、劣化条件入力端子２０９から与えられる劣化条件に従ってＨＲ画像データを劣化させ、ＬＲ画像データを生成する。劣化条件は、撮影用カメラの光学系の劣化ＰＳＦとセンサ画素数の制限による劣化過程のダウンサンプリングである。本実施形態で扱うダウンサンプリングの劣化条件は、ダウンサンプリング時の縮小倍率（１／Ｍ，１／Ｎ）で与えられる。尚、Ｍ、Ｎは自然数であるとする。これらの劣化条件は超解像処理に先立って計測されるデータ、あるいは、既知のデータであるとする。差分演算部２１０は、画像入力端子２０１から入力された画像データとＬＲ画像作成部２０６で作成されたＬＲ画像データとの差分演算を実施する。ここでは、画像入力端子２０１から入力された画像データとＬＲ画像データとの差分の平均値を計算する。終了判定部２０７は、当該差分の平均値を用いて、ＨＲ画像データの生成が十分に実施されたかどうかを判定する。判定に用いられる閾値は閾値入力端子２０８により与えられ、０から２５５までの任意の値とする。終了判定部２０７は差分演算部２１０の演算結果と閾値とを比較することにより、ＨＲ画像データの生成が十分に実施されたかどうかを判定する。差分演算部２１０の演算結果が閾値以下の場合、終了判定部２０７は０を出力する。一方、差分演算部２１０の演算結果が閾値より大きい場合、終了判定部２０７は１を出力する。また、差分演算部２１０の演算結果は修正量計算部２０４にも入力される。
【００１７】
終了判定部２０７から１が出力された場合、修正計算部２０４は修正量を計算し、出力する。一方、終了判定部２０７から０が出力された場合、修正計算部２０４は修正量０を出力する。ＨＲ画像作成部２０５は、修正量計算部２０４から出力された修正量に基づいてＨＲ画像データを更新する。具体的には、修正量計算部２０４から得た修正量をＨＲ画像データに加算することでＨＲ画像データを更新する。なお、修正量計算の詳細については後述する。修正量計算部２０４により計算された修正量が０である場合、ＨＲ画像生成部２０５は既に生成しているＨＲ画像データをそのままＨＲ画像出力端子２０３から出力する。一方、修正量計算部２０４により計算された修正量が０ではない場合、ＨＲ画像生成部２０５は既に生成しているＨＲ画像データに修正量を加算して更新し、ＬＲ画像作成部２０６による処理に進む。その後、差分演算部２１０の演算結果が閾値以下となると、ＨＲ画像出力端子２０３よりＨＲ画像データが出力され、ＨＲ画像データの生成が完了する。なお、ＨＲ画像作成部２０５は本発明の第１の生成手段の適用例となる構成である。また、ＬＲ画像作成部２０６は第２の生成手段の適用例となる構成である。また、差分演算部２１０は第２の算出手段の適用例となる構成である。修正量計算部２０４は本発明の第３の算出手段の適用例となる構成である。
【００１８】
図３は、図１の画像取得装置１０２の劣化モデルを示す図であり、本実施形態における撮像系の劣化過程を線形モデルで表している。図３において、３０１は劣化過程前のＨＲ画像データを示している。３０２は光学系ＰＳＦによる劣化過程である光学系処理を示している。３０３はダウンサンプリングを行うセンサ処理を示している。ダウンサンプリング劣化条件は画像縮小の倍率として提供される。３０４は劣化過程後のカメラで撮影した画像データを示している。光学ＰＳＦの劣化は（２Ｃ＋１，２Ｃ＋１）のサイズの線形フィルタＦとする。なお、Ｃは自然数である。本実施形態で扱うＰＳＦ劣化された画像データＹPSFは、コンボリューション演算により以下の式２にて表現できる。ｉ、ｊは２次元画像データＸ、ＹPSFの画素位置である。
【００１９】
【数２】
2011113527.tif 000004
【００２０】
後述する超解像処理で扱う都合上、式２のコンボリューション演算は式３で定義される線形演算の形式に変更する。式２から式３への変換方法については後述する。線形演算の形式によるとカメラの劣化モデルは、以下の式３で表示できる。
【００２１】
【数３】
2011113527.tif 000005
【００２２】
Ｘは元となるＨＲ画像データを表すベクトルである。Ｙは撮影された画像データ（ＬＲ画像データ）である。行列Ｂは光学系劣化処理を行う正方形行列である。行列Ｄはダウンサンプリング処理の画像縮小の倍率を反映した行列である。行列Ｂと行列Ｄのサイズは入力画像サイズによって変化する。入力画像サイズをＷ（横画素数）、Ｈ（縦画素数）とする。ダウンサンプリング条件は画像縮小の倍率を１／Ｍ、１／Ｎとする。その場合、式３に記載した各行列サイズは図１６の通りとなる。
【００２３】
図１６に示す行列Ｘ、行列Ｂ及び行列Ｄの構成を図４、図５及び図６を用いて説明する。図４は、ＨＲ画像データと行列Ｘとの関係を示している。ＨＲ画像データの横と縦のサイズはＷとＨとする。図４（ａ）はＨＲ画像データを示しており、（ｉ，ｊ）はＨＲ画像データの画素番号である。図４（ｂ）は横から縦へと画素データを一列の行列Ｘを作成したものである。
【００２４】
図５は、行列Ｂの構成を示す図である。線形フィルタのサイズは（２Ｎ＋１，２Ｎ＋１）になっており、式２を示したように全ての画素について線形フィルタと積和する。図５に示したように、画素（ｉ，ｊ）が線形フィルタの中心にある場合、行列ｉ×ｊ行目にフィルタの値を行列の対応する位置に値を代入する。代入される以外のところは０を代入する。
【００２５】
図６は、行列Ｄの構成を示す図である。行列Ｄの作用は、縮小サイズを用いて、画像の画素位置は間引いて画素値を取得するための行列である。行列の値について、画素値が存在する位置に１を代入し、その他の位置には０を代入する。ここで具体的な例を一つ挙げる。サイズ１０２４×１０２４の画像データをＨＲ画像データとして、ダウンサンプリング条件による縮小倍率は１／２、１／２とする。そうすると、撮影される画像データのサイズは５１２×５１２になる。上記式１に示すＸ、Ｙ、Ｄ、Ｂの行列サイズを図１７に示す。
【００２６】
本実施形態では、ＨＲ画像データはＭＡＰ法(Maximum A Posterior)を使用して求める。ＭＡＰ法とは、二乗誤差にＨＲ画像データの確率情報を付加した評価関数を最小化することで、ＨＲ画像データを推定する方法である。ＨＲ画像データに対するある事前情報を利用して、事後確率を最大化する最適化問題としてＨＲ画像データを推定する超解像処理方法である。本実施形態では、下記式４を用いてＨＲ画像データを生成する。なお、ＭＡＰ法は、IEEE SIGNAL PROCESSING MAGAZINE 2003/03“Super-Resolution Image Reconstruction: A technical Overview”著者 Sung Cheol Park , Min Kyu Park and Moon Gi Kangに記載されている。
【００２７】
【数４】
2011113527.tif 000006
【００２８】
右辺第一項は、隣接画素の画素値は類似した値を持つことが多いという事前情報を加味した拘束項である。右辺第一項によって画像データ全体に平滑化の効果がある。ラプラシアンフィルタを線形フィルタＣとして使用する。αは右辺第一項の画像データにおける平滑化度合いを調整するパラメータである。平滑化度合いの高い画像データを得たい場合にはαの値を大きくすることが有効である。右辺第二項は、画像データと劣化過程を経て推定された画像データ（ＬＲ画像データ）との差分値を演算する項である。σは画像取得装置１０２で取得されたＬＲ画像データＹのノイズの標準偏差である。式４の右辺部を抽出し、超解像処理時の評価関数として用いる数式が式５である。
【００２９】
【数５】
2011113527.tif 000007
【００３０】
図7は、図１に示す超解像処理ユニット１０４の処理を示すフローチャートである。ステップＳ７０１において、初期ＨＲ画像作成部２０２は、画像入力端子２０１から画像データＹを入力する。ステップＳ７０２において、ＬＲ画像作成部２０６は、劣化条件入力端子２０９からカメラの光学劣化条件である行列Ｂを入力する。ステップＳ７０３において、ＬＲ画像作成部２０６は、劣化条件入力端子２０９からカメラのダウンサンプリング行列Ｄを入力する。ステップＳ７０４において、初期ＨＲ画像作成部２０２は、ＨＲ画像データの初期値を生成する。ここで、ＨＲ画像データの初期値は線形補間により横サイズがＭ倍、縦サイズがＮ倍に拡大される。ステップＳ７０５において、終了判定部２０７は、超解像処理の達成度合いを判定する際に用いる閾値を閾値入力端子２０８から入力する。ステップＳ７０６において、ＬＲ画像作成部２０６は、初期ＨＲ画像作成部２０２又はＨＲ画像作成部２０５によって作成されたＨＲ画像データから光学劣化ＰＳＦとダウンサンプリングを加味したＬＲ画像データを作成する。ここでは、式６を用いてＬＲ画像データが生成される。
【００３１】
【数６】
2011113527.tif 000008
【００３２】
ここで、ｉ回目の演算で生成されたＨＲ画像データをＸiとする。ステップＳ７０７において、差分演算部２１０は、ステップＳ７０６で得られたＬＲ画像データと画像入力端子２０１から入力された画像データとの全ての画素について差分を計算し、終了判定部２０７は、その差分の平均値と閾値とを比較する。差分の平均値が閾値以下の場合にはステップＳ７１１に進む。差分の平均値が閾値より大きければステップＳ７０８に進み、修正量計算部２０４はＨＲ画像データの修正量を計算する更新項を求める。更新項の求め方は後述する。ステップＳ７０９において、ＨＲ画像作成部２０５はループ回数をカウントする。ステップＳ７１０において、ＨＲ画像作成部２０５はＨＲ画像データにステップＳ７０８で計算された更新項の結果を加えてＨＲ画像データを更新する。ステップＳ７０７において計算される差分の平均値が閾値以下となるまで、ステップＳ７０６〜Ｓ７１０の処理が繰り返し行われる。
【００３３】
なお、ステップＳ７１０においては、ＨＲ画像作成部２０５は、上記評価関数での評価結果を受けてＨＲ画像データを更新する。本実施形態では最急降下法を用いてＨＲ画像データを更新する。最急降下法は最小化したい関数の一次微分を使用した最適化手法である。最急降下法に必要となる更新項（関数の一次微分）は式７で表すことができる。
【００３４】
【数７】
2011113527.tif 000009
【００３５】
図８は、ステレオ撮影によりカメラの配置と撮影された画像データを示す図である。図８において、２台のカメラＡ８０２とカメラＢ８０１のカメラ光軸は平行である。このような状態にあるカメラを平行カメラと呼ぶ。カメラＡ８０２で撮影された画像データは８０７である。カメラＢ８０１で撮影された画像データは８０６である。画像データ８０７は後述するステレオマッチング処理時の基準画像データとして扱う。画像データ８０６は参照画像データとして扱う。基準画像データ８０７にある点８０５は、参照画像データ８０６にある点８０４と対応している点である。
【００３６】
図９は、上記図８に示した対応点の対応付け方法を説明するための図である。本実施形態では、ステレオマッチング法を使用して対応点の算出を行う。ステレオマッチング法は、一方の画像データを基準画像データとし、その基準画像データの中にある画素に対し、同じ被写体上の点を他方の参照画像データ中から探索して、画素位置を算出する手法である。図９において、左の画像はステレオマッチング時の基準画像データである。右の画像は参照画像データである。図９において、９０２はステレオマッチングの演算時に使用するブロックである。ブロックの横縦サイズはｎｘｎ画素である。ここで、対象点の検出にｎｘｎ画素のブロックを用いる理由は、画素ｋの周囲画素のパターンの特徴と、参照画像対象点ｋ´周囲画素のパターンの特徴との相関性を考慮して、好適な対応点の探索を達成するためである。平行ステレオの場合、基準画像データ上のある点の右画像上の対応点は基準画像データ上のある点と同じ高さの直線上に存在する。対応する直線上にある全ての画素位置において、ブロック９０２とブロック９０３で囲まれる画像領域内の相関を算出し、その相関が最大となる組合せを対応点とする。相関値は相関係数を用いる。最も高い相関係数を示す参照画像データのブロックの中心画素が画素ｋの対応点ｋ´として検出される。
【００３７】
図１０は、奥行き計算処理を示すフローチャートである。基準画像データと参照画像データとの対応点の探索は前述のステレオマッチング法を採用する。図１０において、ステップＳ１００１からステップＳ１００６まで基準画像データの全ての画素について、参照画像データ上の対応点を探す。ステップＳ１００２にて、ステレオマッチング部１０７は、左右ステレオ画像である基準画像データと参照画像データにおいてｎｘｎ画素ブロック単位での相関係数を求める。ステップＳ１００３にて、ステレオマッチング部１０７は、計算された相関係数が最大となる参照画像データ上の対応画素位置を求める。基準画像データ上の画素位置を（ｘi，ｙi）、参照画像データ上の対応画素位置を（ｘr，ｙr）とすると、両画素間での視差は｜ｘi−ｘr｜で表現できる。ステップＳ１００４において、奥行き計算ユニット１０８は視差情報を求める。ステップＳ１００５において、奥行き計算ユニット１０８は、奥行き値を計算する。奥行き値Ｚは、上記視差｜ｘi−ｘr｜、両カメラ間の距離ｂ及びカメラの焦点距離ｆにより式８で求められる。
【００３８】
【数８】
2011113527.tif 000010
【００３９】
本実施形態では、ＭＡＰ法を用いて画像データに対して超解像処理を実施していたが、その他のソフトウェア処理によって画像データの解像度を向上させても差し支えない。例えば、補間処理を行った後にエッジ強調する処理でも構わない。また、本実施形態で扱う画像データはグレイスケール画像データとして説明したが、カラーＲＧＢ画像データでも差し支えない。カラーＲＧＢ画像データを使用する場合には、任意の１チャンネルを使用して奥行き推定を行っても構わないし、ＲＧＢ情報から輝度、明度情報に変換した後、奥行き推定を行っても構わない。
【００４０】
以上説明したように、本発明の第１の実施形態によれば、ステレオカメラで撮影した左右２枚の画像データから生成されたＨＲ画像データを用いて奥行き値（奥行き情報マップ）を取得するようにしている。従って、空間的に情報量の多い奥行き値（奥行き情報マップ）を得ることが可能である。
【００４１】
次に本発明の第２の実施形態について説明する。上述した第１の実施形態においては、ステレオカメラで撮影した左右２枚の画像データからＨＲ画像データを生成した後、被写体の奥行き値の推定を実施していた。これに対し、第２の実施形態では、各撮像装置から取得される複数の画像データから１枚のＨＲ画像データを生成し、該ＨＲ画像データを用いて奥行き値を取得する。ステレオマッチングに用いるＨＲ画像データは複数枚の画像データから構成されることから、情報量の多い、すなわち解像度の高い画像データとなり、より高精度な奥行き値の推定が可能となる。以下、第１の実施形態と異なる点である、複数枚の画像データから１枚のＨＲ画像データを生成する部分についてのみ説明する。
【００４２】
図１１は、第２の実施形態における図１の超解像処理ユニット１０４の詳細を示すブロック図である。図１１において、画像入力端子１１０１からＮ枚の画像データが入力される。Ｎは２以上の整数である。本実施形態で扱う画像データは８ビットのグレイスケール画像データとする。初期ＨＲ画像作成部１１０２において、入力された画像データを用いてＨＲ画像データの初期値を作成する。本実施形態では、線形補間手法を使用してＨＲ画像データの初期値を作成する。図１１において、１１０５はＨＲ画像生成部である。ここでは、前述のＭＡＰ推定法によって計算される修正量をＨＲ画像データに加えることによりＨＲ画像データを更新する。１１０６はＬＲ画像作成部であり、劣化条件入力端子１１０９から与えられる劣化条件に従ってＨＲ画像データを劣化させ、ＬＲ画像データを生成する。劣化条件は撮影用カメラの光学系の劣化ＰＳＦとセンサ画素数の制限による劣化過程であるダウンサンプリングである。本実施形態では扱うダウンサンプリングの劣化条件は、ダウンサンプリング時の縮小倍率（１／Ｍ，１／Ｎ）で与えられる。なお、Ｍ、Ｎは自然数であるとする。更に、劣化条件入力端子１１０９から複数枚の画像データ間の位置ずれを示す情報が入力される。本実施形態では水平、垂直方向の位置ずれを扱う。取得されるＮ枚の画像データのうち、１枚目の画像データを基準画像データとし、基準画像データからの相対移動量を位置ずれの情報とする。基準画像データの中央画像位置を原点と定め、原点に対する水平、垂直の位置ずれ量（Δｘk，Δｙk）を算出する。なお、ｋ＝２、３、・・・、Ｎである。本実施形態では、基準画像データとのフレーム間マッチングにより位置ずれ量（Δｘk，Δｙk）を算出する。
【００４３】
本実施形態において、これらの劣化条件は超解像処理に先立って予め計測されるデータ、或いは既知のデータである。差分演算部１１１０は、画像入力端子１１０１で入力された画像データとＬＲ画像作成部１１０６で作成されたＬＲ画像データとの差分を演算する。そして、差分演算部１１１０は、上記得られた画像データ間の差分情報の和を画素数で割ることで差分の平均値を計算する。終了判定部１１０７は、その平均値を用いてＨＲ画像データが生成されたのかどうかを判断する。閾値は、閾値入力端子１１０８により与えられる、０から２５５までのある値とする。終了判定部１１０７は差分演算部１１１０の演算結果を閾値と比較する。差分演算部１１１０の演算結果が閾値以下の場合、終了判定部１１０７は０を出力する。一方、差分演算部１１１０の演算結果が閾値より大きい場合、終了判定部１１０７は１を出力する。また、差分演算部１１１０の演算結果は修正量計算部１１０４に入力される。終了判定部１１０７から１が出力された場合、修正量計算部１１０４は修正量を計算し、出力する。一方、終了判定部１１０７から０が出力された場合、修正量計算部１１０４は修正量０を出力する。ＨＲ画像作成部１１０５は、修正量計算部１１０４から出力される修正量に応じてＨＲ画像データを生成する。具体的には、修正量計算部１１０４で得た修正量をＨＲ画像データに加えることにより、ＨＲ画像データを更新する。なお、修正量計算の詳細については後述する。修正量計算部１１０４により計算された修正量が０である場合、ＨＲ画像生成部１１０５は既に作成しているＨＲ画像データをそのままＨＲ画像出力端子１１０３から出力する。一方、修正量計算部１１０４の修正量が０ではない場合、ＨＲ画像生成部１１０５は既に生成しているＨＲ画像データに修正量を加算して更新し、ＬＲ画像作成部１１０６による処理に進む。その後、差分演算部１１１０の演算結果が閾値以下となると、ＨＲ画像出力端子１１０３よりＨＲ画像データが出力され、ＨＲ画像データの生成が完了する。
【００４４】
図１２は、図１の画像取得装置１０２の劣化モデルを示す図であり、本実施形態における撮像系の劣化過程を線形モデルで表している。図１２において、１２０１は劣化過程前のＨＲ画像データを示している。１２０２は複数枚の画像データ間の位置ずれを示している。１２０３は光学系ＰＳＦによる劣化過程である光学系処理を示している。１２０４はダウンサンプリングを行うセンサ処理を示している。ダウンサンプリング劣化条件は画像縮小の倍率として提供される。１２０５はカメラで取得した画像データを示している。光学ＰＳＦの劣化は（２Ｎ＋１，２Ｎ＋１）のサイズの線形フィルタＦとする。なお、Ｎは自然数である。本実施形態で扱うＰＳＦ劣化された画像データＹPSFは、コンボリューション演算により以下の式９にて表現できる。ｉ、ｊは２次元画像データＸ、ＹPSFの画素位置である。
【００４５】
【数９】
2011113527.tif 000011
【００４６】
後述する超解像処理で扱う都合上、式９のコンボリューション演算は式１０で定義される。線形演算の形式に変更する。式９から式１０への変換方法については後述する。線形演算の形式によるとカメラの劣化モデルは下記の式１０で表示できる。
【００４７】
【数１０】
2011113527.tif 000012
【００４８】
Ｘは元となるＨＲ画像データを表すベクトルである。Ｙkは撮影された画像データ（ＬＲ画像データ）である。行列Ｍkは位置ずれ補正を行う正方形行列である。行列Ｂは光学系劣化処理を行う正方形行列である。行列Ｄはダウンサンプリング処理の画像縮小の倍率を反映した行列である。行列Ｍk、行列Ｂ、行列Ｄのサイズは入力画像サイズによって変化する。入力画像サイズをＷ（横画素数）、Ｈ（縦画素数）とする。ダウンサンプリング条件は画像縮小の倍率を１／Ｍ、１／Ｎとする。その場合、式１０に記載される各行列サイズは図１８に示す通りとなる。
【００４９】
Ｘは元となるＨＲ画像データを表すベクトルであって、横縦サイズはＷとＨとする。Ｙkは撮影されたＬＲ画像データである。ダウンサンプリング処理の画像縮小の倍率を１／Ｍ、１／Ｎとする。画像データ間の位置ずれは（Δｘk,Δｙk）とする。行列のサイズは画像サイズによって変わる。
【００５０】
ここで、具体的な例を一つ挙げる。サイズ１０２４×１０２４の画像データをＨＲ画像データとして、ダウンサンプリングによる縮小倍率は１／２、１／２とする。そうすると、ＬＲ画像データのサイズは５１２×５１２になる。位置ずれは（Δｘk,Δｙk）とする。上記式１０に記載されるＸ、Ｙk、Ｄ、Ｂ、Ｍkの行列サイズは図１９に示す。図１９に示した行列Ｍkの構成を図１５に示す。本実施形態では、ＨＲ画像データはＭＡＰ法を使用して求める。すなわち、本実施形態では、下記式１１を使ってＨＲ画像データを生成する。
【００５１】
【数１１】
2011113527.tif 000013
【００５２】
基準画像データとの位置ずれ情報は行列Ｍkで示す。光学系ＰＳＦによる劣化処理は行列Ｂで表す。ダウンサンプリング処理の画像縮小の倍率を反映した行列は行列Ｄで表す。式１１の右辺第二項は、入力画像データと劣化過程を経て推定されたＬＲ画像データとの差分値を演算する項である。σは画像取得装置１０２で取得された画像データＹのノイズの標準偏差である。式１１の右辺部を抽出し、超解像処理時の評価関数として用いる数式が式１２である。
【００５３】
【数１２】
2011113527.tif 000014
【００５４】
図１３は、ステレオ画像について左右画像データを複数枚ずつ取得する場合、画像データ間の位置関係を示す図である。本実施形態においては、基準画像データ及び参照画像データのそれぞれについて１枚目とｋ枚目の画像データ間の位置ずれは（Δｘk,Δｙk）の微小なものとし、ステレオカメラの手ぶれなどを想定した、微小制御されないずれを持つ複数の画像データを使う。
【００５５】
図１４は、図１１の超解像処理ユニット１１１１の処理を示すフローチャートである。ステップＳ１４０１において、初期ＨＲ画像作成部１１０２は、画像入力端子２０１から画像データＹkを入力する。Ｙkは入力画像データを表す。ステップＳ１４０２において、ＬＲ画像作成部１１０６は、取得された複数枚の画像データ間の位置ずれ情報を含む行列Ｍkを劣化条件入力端子１１０９から入力する。ステップＳ１４０３において、ＬＲ画像作成部１１０６は、カメラの光学劣化条件である行列Ｂを劣化条件入力端子１１０９から入力する。ステップＳ１４０４において、ＬＲ画像作成部１１０６は、カメラのダウンサンプリング行列Ｄを劣化条件入力端子１１０９から入力する。ステップＳ１４０５において、ＨＲ画像作成部２０５はＨＲ画像データの初期値を生成する。ＨＲ画像データの初期値は線形補間により横サイズＭ倍、縦サイズＮ倍に拡大される。ステップＳ１４０６において、終了判定部１１０７は閾値入力端子１１０８から閾値を入力する。ステップＳ１４０８において、ＬＲ画像作成部１１０７は式１３に従ってＬＲ画像データＹk´を作成する。ステップＳ１４０８は、ステップＳ１４０１で入力された画像データの枚数分だけ繰り返し実行される。従って、ステップＳ１４０７からステップＳ１４０９では、当該枚数分のＬＲ画像データＹk´が生成されることになる。
【００５６】
【数１３】
2011113527.tif 000015
【００５７】
ｉ回目の演算で生成されたＨＲ画像データをＸiとし、ＨＲ画像データＸiは、ステップＳ１４０７からの繰り返し演算によってステップＳ１４１２で生成される。ステップＳ１４１３において、差分演算部１１１０は、ステップＳ１４０８の計算で得られたＬＲ画像データと画像入力端子１１０１から入力された画像データとの差分の、全ての画素及び全ての入力画像データに対する平均値を求める。そして、終了判定部１１０７は、その平均値と閾値とを比較する。差分の平均値が閾値以下の場合にはステップＳ１４１４に進み、繰り返し演算が終わることになっている。差分の平均値が閾値より大きいのであれば、ステップＳ１４１０に進み、修正量計算部１１０４はＨＲ画像データの修正量を計算する更新項を求める。更新項の求め方については後述する。ステップＳ１４１１において、ＨＲ画像作成部１１０５はループ回数をカウントする。ステップＳ１４１２において、ＨＲ画像作成部１１０５はＨＲ画像データにステップＳ１４１０で計算された更新項の結果を加えてＨＲ画像データを更新する。ステップＳ１４１３において計算される差分の平均値が閾値以下となるまで、ステップＳ１４０７〜ステップＳ１４１３の処理を繰り返し行う。
【００５８】
ステップＳ１４１０において、修正量計算部１１０４は、ＨＲ画像データの更新項を計算する。ＨＲ画像作成部１１０５は、上記評価関数での結果を受けてＨＲ画像データを更新する。本実施形態では最急降下法を用いてＨＲ画像データを更新する。最急降下法は最小化する関数の一次微分のみを使用した最適化手法である。最急降下法を評価関数である式１２に適応すると、式１４によってＨＲ画像データの更新項ΔＸiが計算される。
【００５９】
【数１４】
2011113527.tif 000016
【００６０】
以上説明したように、本発明の第２の実施形態によれば、各撮像装置から取得される複数の画像データから１枚のＨＲ画像データを生成し、該ＨＲ画像データを用いて奥行き値（奥行き情報マップ）を取得することから、より高精度な奥行き推定が可能である。
【００６１】
以上説明したとおり、上述した実施形態では、複数の撮像装置が撮影した複数枚の画像データからＨＲ画像データを生成し、視差情報に基づいてより密な奥行き情報を算出することができる。特に第１実施形態によれば、ステレオカメラで撮影した左右２枚の画像データから生成されたＨＲ画像データを用いて奥行き値（奥行き情報マップ）を取得することにより、空間的に情報量の多い奥行き情報を得ることが可能である。また、第２の実施形態によれば、各撮像装置から取得される複数の画像データから１枚のＨＲ画像データを生成し、該ＨＲ画像データを用いて奥行き情報を取得することから、より高精度な奥行き推定が可能である。ステレオ画像の超解像画像と奥行きマップを基に加工することで背景がぼかしたり、３Ｄ表示をしたりする効果が得られる。
【００６２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６３】
１０３  メモリ、１０４  超解像処理ユニット、１０５  劣化条件入力部、１０６  閾値入力部、１０７  ステレオマッチング部、１０８  奥行き計算ユニット、１１０  画像処理装置、２０２  初期ＨＲ画像作成部、２０４  修正計算部、２０５  ＨＲ画像作成部、２０６  ＬＲ画像作成部、２０７  終了判定部、２１０  差分演算部
【図１】
2011113527.tif 000017
【図２】
2011113527.tif 000018
【図３】
2011113527.tif 000019
【図４】
2011113527.tif 000020
【図５】
2011113527.tif 000021
【図６】
2011113527.tif 000022
【図７】
2011113527.tif 000023
【図８】
2011113527.tif 000024
【図９】
2011113527.tif 000025
【図１０】
2011113527.tif 000026
【図１１】
2011113527.tif 000027
【図１２】
2011113527.tif 000028
【図１３】
2011113527.tif 000029
【図１４】
2011113527.tif 000030
【図１５】
2011113527.tif 000031
【図１６】
2011113527.tif 000032
【図１７】
2011113527.tif 000033
【図１８】
2011113527.tif 000034
【図１９】
2011113527.tif 000035
【図２０】
2011113527.tif 000036
【図２１】
2011113527.tif 000037
【図２２】
2011113527.tif 000038