(57)【要約】撮像装置は、撮像素子１２０と、撮像制御部１３０と、画像変換部１４０と、推定演算部と、画素値変換部を含む。撮像制御部１３０は、画素ピッチよりも小さいシフト量により、撮像素子１３０における被写体像の位置を順次シフトしながら撮像画像を取得する。画像変換部１４０は、撮像画像における複数色の画素値に基づいて輝度値と色差値を求め、求めた輝度値により構成される輝度画像と、求めた色差値により構成される色差画像とを出力する。推定演算部は、輝度画像に基づいて高解像画像の各画素における推定輝度値を求め、色差画像に基づいて高解像画像の各画素における推定色差値を求める。画素値変換部は、推定輝度値と推定色差値を、高解像画像の各画素におけるＲＧＢの画素値に変換する。
2013008517.tif 000002
【特許請求の範囲】
【請求項１】
複数色の画素が配列された撮像素子と、
前記撮像素子の画素ピッチよりも小さいシフト量により、前記撮像素子における被写体像の位置を順次シフトしながら撮像画像を取得する制御を行う撮像制御部と、
前記撮像画像における前記複数色の画素の画素値に基づいて、輝度値と色差値を求め、前記輝度値により構成される輝度画像と、前記色差値により構成される色差画像と、を出力する画像変換部と、
前記輝度画像に基づいて、前記撮像素子の前記画素ピッチによる解像度よりも高解像度である高解像画像の各画素における推定輝度値を求め、前記色差画像に基づいて、前記高解像画像の各画素における推定色差値を求める推定演算部と、
前記推定輝度値と前記推定色差値を、前記高解像画像の各画素におけるＲＧＢの画素値に変換する画素値変換部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記撮像素子の画素配列を構成する基本ブロックは、
前記複数色として第１〜第ｋの色（ｋは２以上（その値を含む）の自然数）の画素を有し、
前記画像変換部は、
前記撮像画像に基づく前記第１〜第ｋの色の画素値により構成される変換単位を設定し、前記変換単位に含まれる前記画素値を前記輝度値と前記色差値に変換し、
前記推定演算部は、
前記シフトにより得られる複数の前記輝度画像に基づいて前記推定輝度値を求め、前記シフトにより得られる複数の前記色差画像に基づいて前記推定色差値を求めることを特徴とする撮像装置。
【請求項３】
請求項２において、
前記画素配列は、
Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、
前記画像変換部は、
前記撮像画像の２×２画素により構成される前記変換単位を設定し、設定した前記変換単位のＲ、Ｇ、Ｂ画素値を前記輝度値と前記色差値に変換することを特徴とする撮像装置。
【請求項４】
請求項３において、
前記画像変換部は、
前記変換単位の２×２画素の位置が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位を設定することを特徴とする撮像装置。
【請求項５】
請求項２において、
前記画素配列は、
Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、
前記画像変換部は、
前記撮像画像の各画素におけるＲ、Ｇ、Ｂ画素値を補間により求め、前記各画素におけるＲ、Ｇ、Ｂ画素値を前記変換単位として設定し、設定した前記変換単位のＲ、Ｇ、Ｂ画素値を前記輝度値と前記色差値に変換することを特徴とする撮像装置。
【請求項６】
請求項２において、
前記画素配列は、
Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、
前記画像変換部は、
前記撮像画像の各画素におけるＲ、Ｇ、Ｂ画素値を補間により求め、前記撮像画像の２×２画素により構成される前記変換単位を設定し、前記変換単位の４つのＲ画素値の加算値と、前記変換単位の４つのＧ画素値の加算値と、前記変換単位の４つのＢ画素値の加算値とを求め、求めた前記Ｒ、Ｇ、Ｂ画素値の加算値を前記輝度値と前記色差値に変換することを特徴とする撮像装置。
【請求項７】
請求項６において、
前記画像変換部は、
前記変換単位の２×２画素の位置が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位を設定することを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記画素ピッチをｐとし、水平方向と垂直方向における前記シフト量をｐ／ｍ（ｍは２以上（その値を含む）の自然数）とする場合に、
前記撮像制御部は、
前記シフトとして、ｎ回で１巡する第１〜第ｎのシフト（ｎは２以上（その値を含む）の自然数）を行い、
前記推定演算部は、
前記第１〜第ｎのシフトに対応する第１〜第ｎの輝度画像又は第１〜第ｎの色差画像を第１〜第ｎの入力画像として受けて、前記第１〜第ｎの入力画像に基づいて、前記推定輝度値又は前記推定色差値を推定画素値として求め、
前記第１〜第ｎの入力画像の画素は、
前記高解像画像におけるｍ×ｍ画素に対応する画素であり、前記高解像画像上における位置が、前記シフト量ｐ／ｍのシフトに対応して順次画素シフトされた画素であることを特徴とする撮像装置。
【請求項９】
請求項８において、
前記撮像制御部は、
基準位置に設定する第１のシフトと、前記基準位置から水平方向にシフト量ｐ／２でシフトする第２のシフトと、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第３のシフトと、前記基準位置から垂直方向にシフト量ｐ／２でシフトする第４のシフトとを行い、
前記推定演算部は、
前記第１〜第４のシフトに対応する第１〜第４の入力画像から、前記撮像画像の２×２倍の画素数の前記推定画素値を求めることを特徴とする撮像装置。
【請求項１０】
請求項８において、
前記撮像制御部は、
基準位置に設定する第１のシフトと、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第２のシフトとを行い、
前記推定演算部は、
前記基準位置から水平方向へのシフト量ｐ／２のシフトに対応する第１の補間画像と、前記基準位置から垂直方向へのシフト量ｐ／２のシフトに対応する第２の補間画像とを、前記第１、第２の入力画像に基づいて補間により求め、
前記第１、第２の入力画像と前記第１、第２の補間画像から、前記撮像画像の２×２倍の画素数の前記推定画素値を求めることを特徴とする撮像装置。
【請求項１１】
請求項１乃至７のいずれかにおいて、
前記高解像画像の複数画素により構成される範囲を加算単位とし、第１、第２の加算単位に対応する画素値を第１、第２の画素値とし、前記第１、第２の加算単位が重畳する場合に、
前記推定演算部には、
前記輝度画像又は前記色差画像が入力画像として入力され、
前記第１、第２の画素値は、
前記入力画像の画素値、又は前記入力画像に基づく補間により得られた画素値であり、
前記推定演算部は、
前記第１の画素値と、前記第２の画素値との差分値を求め、前記差分値に基づいて、前記推定輝度値又は前記推定色差値を推定画素値として求めることを特徴とする撮像装置。
【請求項１２】
請求項１１において、
前記推定演算部は、
前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値に対応する第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値に対応する第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めることを特徴とする撮像装置。
【請求項１３】
請求項１２において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の画素値を用いて表し、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の画素値とを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１４】
複数色の画素が配列された撮像素子の画素ピッチよりも小さいシフト量により、前記撮像素子における被写体像の位置が順次シフトされた撮像画像を取得し、
前記撮像画像における前記複数色の画素値に基づいて輝度値と色差値を求め、求めた前記輝度値により構成される輝度画像と、求めた前記色差値により構成される色差画像とを出力し、
前記輝度画像に基づいて、前記画素ピッチによる解像度よりも高解像度である高解像画像の各画素における推定輝度値を求め、前記色差画像に基づいて、前記高解像画像の各画素における推定色差値を求め、
前記推定輝度値と前記推定色差値を、前記高解像画像の各画素における前記複数色の画素値に変換することを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関する。
【背景技術】
【０００２】
撮像画像を撮像時の解像度よりも高い解像度にする、所謂、高解像化する手法として、画素シフトの手法（例えば、特許文献１）がある。この手法では、撮像素子を機械的に順次シフトさせ、各シフトにおいて撮像動作を行う。そして、撮像された複数の画像から高解像画像を合成する（例えば特許文献２、３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１１５０７４号公報
【特許文献２】特開２００９−１２４６２１号公報
【特許文献３】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、カラー撮像素子を用いて画素シフトを行うと、高解像画像において色を高精度に推定することが困難であるという課題がある。例えばベイヤ撮像素子が備えるＲ(赤)、Ｇ(緑)、Ｂ（青）画素のうちのＲ画素の場合、Ｒ画素のシフトによりカバーされない被写体領域があると、その領域ではＲ色の情報が得られないためＲ色の推定精度が悪化してしまう。【０００５】
本発明の幾つかの態様によれば、高解像化処理において色の推定精度を向上可能な撮像装置及び画像生成方法等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、複数色の画素が配列された撮像素子と、前記撮像素子の画素ピッチよりも小さいシフト量により、前記撮像素子における被写体像の位置を順次シフトしながら撮像画像を取得する制御を行う撮像制御部と、取得された前記撮像画像における前記複数色の画素の画素値に基づいて、輝度値と色差値を求め、求めた前記輝度値により構成される輝度画像と、求めた前記色差値により構成される色差画像とを出力する画像変換部と、前記輝度画像に基づいて、前記撮像素子の前記画素ピッチによる解像度よりも高解像度である高解像画像の各画素における推定輝度値を求め、前記色差画像に基づいて、前記高解像画像の各画素における推定色差値を求める推定演算部と、前記推定輝度値と前記推定色差値を、前記高解像画像の各画素におけるＲＧＢの画素値に変換する画素値変換部と、を含む撮像装置に関係する。【０００７】
本発明の一態様によれば、画素ピッチよりも小さいシフト量により順次シフトされながら撮像が行われ、撮像画像に基づいて輝度画像と色差画像が求められる。その輝度画像、色差画像に基づいて、高解像画像の各画素における推定輝度値、推定色差値が求められ、その推定輝度値と推定色差値が、ＲＧＢの画素値に変換される。これにより、高解像化処理において色の推定精度を向上することが可能になる。【０００８】
また本発明の一態様では、前記撮像素子の画素配列を構成する基本ブロックは、前記複数色として第１〜第ｋの色（ｋは２以上（その値を含む）の自然数）の画素を有し、前記画像変換部は、前記撮像画像に基づく前記第１〜第ｋの色の画素値により構成される変換単位を設定し、前記変換単位に含まれる前記画素値を前記輝度値と前記色差値に変換し、前記推定演算部は、前記シフトにより得られる複数の前記輝度画像に基づいて前記推定輝度値を求め、前記シフトにより得られる複数の前記色差画像に基づいて前記推定色差値を求めてもよい。【０００９】
また本発明の一態様では、前記画素配列は、Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、前記画像変換部は、前記撮像画像の２×２画素により構成される前記変換単位を設定し、設定した前記変換単位のＲ、Ｇ、Ｂ画素値を前記輝度値と前記色差値に変換してもよい。【００１０】
また本発明の一態様では、前記画像変換部は、前記変換単位の２×２画素の位置が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位を設定してもよい。【００１１】
また本発明の一態様では、前記画素配列は、Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、前記画像変換部は、前記撮像画像の各画素におけるＲ、Ｇ、Ｂ画素値を補間により求め、前記各画素におけるＲ、Ｇ、Ｂ画素値を前記変換単位として設定し、設定した前記変換単位のＲ、Ｇ、Ｂ画素値を前記輝度値と前記色差値に変換してもよい。【００１２】
また本発明の一態様では、前記画素配列は、Ｒ画素と、２つのＧ画素と、Ｂ画素とから構成される２×２画素を、前記基本ブロックとするベイヤ配列であり、前記画像変換部は、前記撮像画像の各画素におけるＲ、Ｇ、Ｂ画素値を補間により求め、前記撮像画像の２×２画素により構成される前記変換単位を設定し、前記変換単位の４つのＲ画素値の加算値と、前記変換単位の４つのＧ画素値の加算値と、前記変換単位の４つのＢ画素値の加算値とを求め、求めた前記Ｒ、Ｇ、Ｂ画素値の加算値を前記輝度値と前記色差値に変換してもよい。【００１３】
また本発明の一態様では、前記画素ピッチをｐとし、水平方向と垂直方向における前記シフト量をｐ／ｍ（ｍは２以上（その値を含む）の自然数）とする場合に、前記撮像制御部は、前記シフトとして、ｎ回で１巡する第１〜第ｎのシフト（ｎは２以上（その値を含む）の自然数）を行い、前記推定演算部は、前記第１〜第ｎのシフトに対応する第１〜第ｎの輝度画像又は第１〜第ｎの色差画像を第１〜第ｎの入力画像として受けて、前記第１〜第ｎの入力画像に基づいて、前記推定輝度値又は前記推定色差値を推定画素値として求め、前記第１〜第ｎの入力画像の画素は、前記高解像画像におけるｍ×ｍ画素に対応する画素であり、前記高解像画像上における位置が、前記シフト量ｐ／ｍのシフトに対応して順次画素シフトされた画素であってもよい。【００１４】
また本発明の一態様では、前記撮像制御部は、基準位置に設定する第１のシフトと、前記基準位置から水平方向にシフト量ｐ／２でシフトする第２のシフトと、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第３のシフトと、前記基準位置から垂直方向にシフト量ｐ／２でシフトする第４のシフトとを行い、前記推定演算部は、前記第１〜第４のシフトに対応する第１〜第４の入力画像から、前記撮像画像の２×２倍の画素数の前記推定画素値を求めてもよい。【００１５】
また本発明の一態様では、前記撮像制御部は、基準位置に設定する第１のシフトと、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第２のシフトとを行い、前記推定演算部は、前記基準位置から水平方向へのシフト量ｐ／２のシフトに対応する第１の補間画像と、前記基準位置から垂直方向へのシフト量ｐ／２のシフトに対応する第２の補間画像とを、前記第１、第２の入力画像に基づいて補間により求め、前記第１、第２の入力画像と前記第１、第２の補間画像から、前記撮像画像の２×２倍の画素数の前記推定画素値を求めてもよい。【００１６】
また本発明の一態様では、前記高解像画像の複数画素により構成される範囲を加算単位とし、第１、第２の加算単位に対応する画素値を第１、第２の画素値とし、前記第１、第２の加算単位が重畳する場合に、前記推定演算部には、前記輝度画像又は前記色差画像が入力画像として入力され、前記第１、第２の画素値は、前記入力画像の画素値、又は前記入力画像に基づく補間により得られた画素値であり、前記推定演算部は、前記第１の画素値と、前記第２の画素値との差分値を求め、前記差分値に基づいて、前記推定輝度値又は前記推定色差値を推定画素値として求めてもよい。【００１７】
また本発明の一態様では、前記推定演算部は、前記第１の加算単位から重畳領域を除いた第１の領域の加算画素値に対応する第１の中間画素値と、前記第２の加算単位から前記重畳領域を除いた第２の領域の加算画素値に対応する第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記推定画素値を求めてもよい。【００１８】
また本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を前記第１、第２の画素値を用いて表し、前記中間画素値間の関係式で表された前記中間画素値パターンと前記第１、第２の画素値とを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように、前記中間画素値パターンに含まれる中間画素値を決定してもよい。【００１９】
また本発明の他の態様は、複数色の画素が配列された撮像素子の画素ピッチよりも小さいシフト量により、前記撮像素子における被写体像の位置が順次シフトされた撮像画像を取得し、前記撮像画像における前記複数色の画素値に基づいて輝度値と色差値を求め、求めた前記輝度値により構成される輝度画像と、求めた前記色差値により構成される色差画像とを出力し、前記輝度画像に基づいて、前記画素ピッチによる解像度よりも高解像度である高解像画像の各画素における推定輝度値を求め、前記色差画像に基づいて、前記高解像画像の各画素における推定色差値を求め、前記推定輝度値と前記推定色差値を、前記高解像画像の各画素におけるＲＧＢの画素値に変換する画像生成方法に関係する。
【図面の簡単な説明】
【００２０】
【図１】図１は、本実施形態の比較例。
【図２】図２は、第１の推定手法における画素シフトについての説明図。
【図３】図３は、第１の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。
【図４】図４は、第１の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。
【図５】図５は、第１の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。
【図６】図６は、第１の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。
【図７】図７（Ａ）〜図７（Ｄ）は、水平又は垂直方向に１／２画素シフトした輝度値の例。
【図８】図８は、ＹＣｒＣｂからＲＧＢへの変換手法についての説明図。
【図９】図９は、本実施形態の撮像装置の構成例。
【図１０】図１０は、第２の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。
【図１１】図１１は、第２の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。
【図１２】図１２は、ＹＣｒＣｂを高解像化する推定処理についての説明図。
【図１３】図１３は、第２の推定手法の変形例におけるＹＣｒＣｂへの変換手法についての説明図。
【図１４】図１４は、第２の推定手法の変形例におけるＹＣｒＣｂへの変換手法についての説明図。
【図１５】図１５は、第２の推定手法の変形例におけるＹＣｒＣｂへの変換手法についての説明図。
【図１６】図１６は、第３の推定手法における画素シフトについての説明図。
【図１７】図１７は、第３の推定手法におけるＹＣｒＣｂへの変換手法についての説明図。
【図１８】図１８は、超解像画素値復元推定部の詳細な構成例。
【図１９】図１９（Ａ）、図１９（Ｂ）は、推定画素値と中間画素値の説明図。
【図２０】図２０（Ａ）、図２０（Ｂ）は、第２の高解像化推定処理における画素シフトについての説明図。
【図２１】図２１は、第２の高解像化推定処理に用いる画素値についての説明図。
【図２２】図２２は、第２の高解像化推定処理における中間画素値についての説明図。
【図２３】図２３は、第２の高解像化推定処理における中間画素値の算出処理についての説明図。
【図２４】図２４は、第２の高解像化推定処理における中間画素値の算出処理についての説明図。
【図２５】図２５は、第２の高解像化推定処理において推定画素値の算出に用いる中間画素値についての説明図。
【図２６】図２６は、第２の高解像化推定処理における推定画素値についての説明図。
【図２７】図２７は、第２の高解像化推定処理における推定画素値の算出処理についての説明図。
【図２８】図２８は、第２の高解像化推定処理における推定画素値の算出処理についての説明図。
【図２９】図２９（Ａ）、図２９（Ｂ）は、第３の高解像化推定処理における画素シフトについての説明図。
【図３０】図３０は、第３の高解像化推定処理に用いる画素値についての説明図。
【図３１】図３１は、第３の高解像化推定処理における中間画素値についての説明図。
【図３２】図３２は、第３の高解像化推定処理における中間画素値の算出処理についての説明図。
【図３３】図３３は、第３の高解像化推定処理における中間画素値の算出処理についての説明図。
【図３４】図３４は、第３の高解像化推定処理において推定画素値の算出に用いる中間画素値についての説明図。
【図３５】図３５は、第３の高解像化推定処理における推定画素値についての説明図。
【図３６】図３６は、第３の高解像化推定処理における推定画素値の算出処理についての説明図。
【図３７】図３７は、第３の高解像化推定処理における推定画素値の算出処理についての説明図。
【発明を実施するための形態】
【００２１】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２２】
１．本実施形態の概要
まず、本実施形態の概要について説明する。本実施形態では、図２で後述するように、被写体像と撮像素子の位置関係を機械的にシフトし、そのシフトにより得られた複数の画像を用いて、撮像画像よりも高解像な画像を推定する。
【００２３】
高解像画像を推定する手法として、例えば特許文献２には、画素シフトにより得られた複数低解像画像を合成することにより高解像画像を仮定し、この仮定した高解像画像に対して超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。
【００２４】
しかしながら、この手法では、２次元フィルタを多用する繰り返し演算により推定精度を上げていく一般的な超解像処理（例えばＭＬ法、ＭＡＰ法、ＰＯＣＳ法、ＩＢＰ法等）を用いている。そのため、非常に処理の規模が大きくなり、例えばデジタルカメラ等の処理能力やコストの制限がある機器への適用は困難であるという課題がある。
【００２５】
また特許文献３には、求めたい高解像画像を構成する仮の画素を副画素とおき、その副画素の平均値が、撮影された低解像画像の画素値と一致するように副画素の画素値を推定する。この画素値の推定では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、それを順次隣接する画素に対して適用する。
【００２６】
しかしながら、この手法では、初期値の設定に適当な部分が撮影画像から見つけられないと、初期値の特定が上手くいかず、推定誤差が非常に大きくなるという課題がある。また、初期値の設定に適当な部分を探索する処理が必要になってしまう。
【００２７】
そこで本実施形態では、図１９（Ａ）で後述するように、撮像画像の画素値を用いて、推定画素値を関係式で表し、その関係式と画素値の誤差が最小となるように推定画素値を決定する。推定画素値は、求めたい高解像画像の画素値である。
【００２８】
このようにすれば、一般的な超解像処理や初期値の探索等が不要となり、簡素な処理でシフト画像から高解像画像を推定できる。また、動画像から事後的に高解像画像が得られるため、ユーザが好きなタイミングを指定することができ、決定的瞬間の画像を容易に得ることが可能になる。
【００２９】
さて、図１に本実施形態の比較例を示す。図１に示すように、ベイヤ（Bayer）配列のＲ画素ｖ００、ｖ４０を例にとり、最小の画素シフトにより得られたＲ画像をそのまま用いて本実施形態の推定処理を行ったとする。画素ｖ００は、推定により２×２画素ｖ’００、ｖ’１０、ｖ’１１、ｖ’０１に高解像化される。１／２画素ピッチのシフトの場合、シフトされた画素ｖ１０、ｖ１１、ｖ０１は高解像画像の３×３画素に相当する。隣のＲ画素ｖ４０まで４画素あるため、Ｒ色の情報が得られない領域（例えばｖ’３０）が生じる。この領域は、周辺のＲ画素から補間により求めることとなる。
【００３０】
このように、ベイヤ画像をそのまま用いて本実施形態の推定処理を行うと、推定後の高解像画像において補間を行う必要があるため、色成分の推定精度が悪くなり、例えば偽色等が発生するという課題がある。
【００３１】
そこで本実施形態では、図３等で説明するように、ベイヤ画像を水平又は垂直に１／２画素重畳シフトした４枚の画像を取得し、その各画像において、ベイヤ画像から輝度画像、色差画像を生成する。生成した４枚の輝度画像に対して復元推定処理を適用し、ベイヤ画像の４倍の解像度の輝度画像を復元推定する。色差画像においても同様にする。そして、復元推定した画像のＹ、Ｃｒ、Ｃｂ値をＲ、Ｇ、Ｂに逆変化し、高解像のＲＧＢ画像を求める。
【００３２】
このようにすれば、高解像画像の各画素についてＹ、Ｃｒ、Ｃｂ値が推定されるため、補間することなく色成分を求めることができる。これにより、ＲＧＢ画素値の推定精度を向上でき、偽色の発生等を抑制することが可能になる。
【００３３】
２．第１の推定手法
隣接４画素単位でＹＣｒＣｂの３値を求める第１の推定手法について説明する。まず図２を用いて、画素シフトについて説明する。
【００３４】
図２に示すように、第１フレームｆｘ〜第４フレームｆｘ＋３（ｘは自然数）において、画素シフトが順次行われる。画素シフトは、被写体像と撮像素子の相対的な位置を機械的にずらすことで行われる。撮像素子の画素ピッチをｐとすると、シフト量はｐ／２であり、シフトは水平方向と垂直方向に行われる。水平方向とは、例えば撮像素子の水平走査方向に沿った方向であり、垂直方向とは、例えば撮像素子の垂直走査方向に沿った方向である。
【００３５】
次に図３を用いて、ＲＧＢからＹＣｒＣｂに変換する手法について説明する。図３において、ｖｉｊは、Ｒ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）のいずれかの画素（又は画素値）を表す。また、ｖ’ｉｊは、仮想的に画素ｖｉｊを構成する２×２画素の超解像画素（又は超解像画素値）を表す。
【００３６】
図３に示すように、正方形の太線枠でグルーピングしている近接の｛Ｒ，Ｇｒ，Ｇｂ，Ｂ｝の４つの画素を処理単位ａｉｊとし、その処理単位内の画素値から輝度値Ｙ（ａｉｊ）、色差値Ｃｒ（ａｉｊ）、Ｃｂ（ａｉｊ）への変換を行う。下式（１）により、Ｙ（ａｉｊ）、Ｃｒ（ａｉｊ）、Ｃｂ（ａｉｊ）を算出する。
【数１】
2013008517.tif 000003
【００３７】
ここで、｛αｙ，βｙ，γｙ｝、｛αｒ，βｒ，γｒ｝、｛αｂ，βｂ，γｂ｝は変換のための係数であり、例えば一般的に知られているＲＧＢとＹＣｂＣｒの変換係数を用いればよい。また、Ｒ（ａｉｊ）、Ｇｒ（ａｉｊ）、Ｇｂ（ａｉｊ）、Ｂ（ａｉｊ）は、処理単位ａｉｊを構成する各色に対応した画素値｛ｖｉｊ｝を表す。
【００３８】
第１フレームｆｘの撮像画像から得られた輝度値Ｙ（ａｉｊ）により構成される画像を第１の輝度Ｙ画像とし、色差値Ｃｒ（ａｉｊ）により構成される画像を第１の色差Ｃｒ画像とし、色差値Ｃｂ（ａｉｊ）により構成される画像を第１の色差Ｃｂ画像とする。これらの輝度画像、色差画像を１組の画像として扱う。
【００３９】
図４〜図６に示すように、第２〜第４フレームｆｘ＋１〜ｆｘ＋３の撮像画像から得られた輝度値Ｙ（ａｉｊ）により構成される画像を第２〜第４の輝度Ｙ画像とし、色差値Ｃｒ（ａｉｊ）により構成される画像を第２〜第４の色差Ｃｒ画像とし、色差値Ｃｂ（ａｉｊ）により構成される画像を第２〜第４の色差Ｃｂ画像とする。
【００４０】
次に、得られた輝度画像、色差画像から高解像画像を推定する手法について説明する。図７（Ａ）〜（Ｄ）に示すように、水平又は垂直方向に１／２画素シフトした輝度値Ｙ（ａｉｊ）が求められる。
【００４１】
得られた輝度値Ｙ（ａｉｊ）を、仮想的な超解像画素ｖ’ｉｊの重畳シフト４画素加算値であるとみなす。この輝度値Ｙ（ａｉｊ）に対して、図１９（Ａ）等で後述する推定処理を適用し、元の画素ｖｉｊの１／２の画素サイズの輝度値Ｙ（ｖ’ｉｊ）を推定値として求める。例えば、輝度値Ｙ（ａ００）、Ｙ（ａ１０）、Ｙ（ａ０１）、Ｙ（ａ１１）を、図１９（Ａ）に示すａ００、ａ１０、ａ０１、ａ１１として推定処理を適用する。輝度値Ｙ（ａ００）は、高解像画像の輝度値Ｙ（ｖ’００）、Ｙ（ｖ’１０）、Ｙ（ｖ’０１）、Ｙ（ｖ’１１）の加算値であるとみなす。ここで、輝度値Ｙ（ａｉｊ）に対して、図２０（Ａ）等で後述する第２の高解像化推定処理、又は図２９（Ａ）等で後述する第３の高解像化推定処理を適用してもよい。この場合、撮像素子の画素開口の幅ｄよりも小さい任意のシフト量ｓで画素シフトが行われ、そのシフト量ｓに対応して、元の画素ｖｉｊのｓ／ｐの画素サイズの輝度値Ｙ（ｖ’ｉｊ）が推定値として求められる。
【００４２】
なお、色差値Ｃｒ（ａｉｊ）、Ｃｂ（ａｉｊ）についても図示しないが同様に推定処理を適用し、超解像画素ｖ’ｉｊの色差値Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）を求める。
【００４３】
図８に示すように、推定処理の結果として、超解像画素｛ｖ’ｉｊ｝の各画素に、輝度値Ｙ（ｖ’ｉｊ）、色差値Ｃｒ（ｖ’ｉｊ）、色差値Ｃｂ（ｖ’ｉｊ）の３つの値が求められる。下式（２）に示すように、これらのＹＣｒＣｂ値をＲＧＢ値に逆変換することにより、超解像画素｛ｖ’ｉｊ｝の各画素における３原色値Ｒ（ｖ’ｉｊ）、Ｇ（ｖ’ｉｊ）、Ｂ（ｖ’ｉｊ）を、最終的に算出する。
【数２】
2013008517.tif 000004
【００４４】
ここで、｛α’ｙ，β’ｙ，γ’ｙ｝、｛α’ｒ，β’ｒ，γ’ｒ｝、｛α’ｂ，β’ｂ，γ’ｂ｝は変換のための係数であり、例えば一般的に知られているＹＣｂＣｒとＲＧＢの変換係数を用いればよい。
【００４５】
３．撮像装置
図９に、本実施形態の推定処理を行う撮像装置の構成例を示す。撮像装置は、レンズ１１０（撮像光学系）、撮像素子１２０（撮像センサ）、撮像制御部１３０、画像変換部１４０、データ記録部１５０、超解像画素値復元推定部１６０（推定演算部）、輝度色差値ＲＧＢ値変換部１７０（画素値変換部）、ＲＧＢ３板画像出力部１８０（画像出力部）を含む。
【００４６】
レンズ１１０は、被写体１００を結像させる。撮像素子１２０は、結像された被写体像を撮像する。例えば、撮像素子１２０は、ＣＣＤやＣＭＯＳイメージセンサにより構成される。
【００４７】
撮像制御部１３０は、画素シフトの制御や撮像動作を行う。具体的には、撮像制御部１３０は、画素シフト駆動制御部１３１、重畳シフト画像生成部１３２（画像取得部）を含む。画素シフト駆動制御部１３１は、撮像素子１２０又はレンズ１１０の位置をシフトさせる駆動を制御し、画素シフトを行う。重畳シフト画像生成部１３２は、各シフトにおいて、撮像素子１２０から画像を読み出し、ＲＧＢのベイヤ画像を取得する。例えば、重畳シフト画像生成部１３２は、図示しないＡ／Ｄ変換部等により構成される。
【００４８】
画像変換部１４０は、ＲＧＢ値をＹＣｒＣｂ値に変換する処理を行う。具体的には、画像変換部１４０は、隣接異色画素抽出部１４１、輝度画像生成部１４２、色差画像生成部１４３を含む。隣接異色画素抽出部１４１は、ＹＣｒＣｂ値に変換するＲＧＢ値の組み合わせ（変換単位）Ｒ（ａｉｊ）、Ｇｒ（ａｉｊ）、Ｇｂ（ａｉｊ）、Ｂ（ａｉｊ）を抽出する。輝度画像生成部１４２は、抽出されたＲＧＢ値を輝度値Ｙ（ａｉｊ）に変換する。色差画像生成部１４３は、抽出されたＲＧＢ値を色差値Ｃｒ（ａｉｊ）、Ｃｂ（ａｉｊ）に変換する。
【００４９】
データ記録部１５０は、変換により得られた輝度画像、色差画像を記録する。例えばデータ記録部１５０は、撮像装置に内蔵されたメモリ等であってもよいし、撮像装置外部のメモリやハードディスクドライブ等であってもよい。
【００５０】
超解像画素値復元推定部１６０は、記録された輝度画像、色差画像に基づいて、高解像画像の輝度値Ｙ（ｖ’ｉｊ）、色差値Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）を推定する。輝度色差値ＲＧＢ値変換部１７０は、推定されたＹ（ｖ’ｉｊ）、Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）を、画素値Ｒ（ｖ’ｉｊ）、Ｇ（ｖ’ｉｊ）、Ｂ（ｖ’ｉｊ）に変換する。ＲＧＢ３板画像出力部１８０は、得られたＲＧＢの高解像画像に基づいて静止画や動画を出力する。例えば、ＲＧＢ３板画像出力部１８０は、ユーザにより指定されたタイミングの高解像静止画を出力する。あるいは、各フレームにおいて高解像画像を生成し、高解像動画を出力してもよい。
【００５１】
なお、上記では、カラーフィルタがＲＧＢのベイヤ配列である場合を例に説明したが、本実施形態はこれに限定されない。例えば、カラーフィルタはＣＭＹ等の補色フィルタであってもよいし、ベイヤ配列以外の配列であってもよい。また上記では、ベイヤ配列の２×２画素のＲＧＢをＹＣｒＣｂに変換する場合を例に説明したが、本実施形態はこれに限定されない。例えば、最小の配列単位が２×２画素でない場合、その配列単位内の色からＹＣｒＣｂに変換してもよい。また上記では、画素シフトのシフト量がｐ／２である場合を例に説明したが、本実施形態はこれに限定されない。例えば、シフト量はｐ／ｍ（ｍは２以上（その値を含む）の自然数）であってもよい。
【００５２】
ここで、本実施形態は図９の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、画像変換部１４０、超解像画素値復元推定部１６０、輝度色差値ＲＧＢ値変換部１７０を、ＰＣ等の画像処理装置として構成してもよい。この場合、別体の撮像装置により記録されたシフト画像を、撮影終了後に画像処理装置が取得して高解像化を行う。
【００５３】
以上の実施形態によれば、図９に示すように、撮像装置は、撮像素子１２０と撮像制御部１３０と画像変換部１４０と推定演算部（超解像画素値復元推定部１６０）と画素値変換部（輝度色差値ＲＧＢ値変換部１７０）とを含む。
【００５４】
撮像素子１２０には、複数色の画素が配列される。図２で説明したように、撮像制御部１３０は、撮像素子１２０の画素ピッチｐよりも小さいシフト量ｐ／２により、撮像素子１２０における被写体像の位置を順次シフトしながら撮像画像を取得する制御を行う。図３等で説明したように、画像変換部１４０は、取得された撮像画像における複数色の画素の画素値ｖｉｊに基づいて輝度値Ｙ（ａｉｊ）と色差値Ｃｒ（ａｉｊ）、Ｃｂ（ａｉｊ）を求め、求めた輝度値Ｙ（ａｉｊ）により構成される輝度画像と、求めた色差値Ｃｒ（ａｉｊ）、Ｃｂ（ａｉｊ）により構成される色差画像とを出力する。
【００５５】
図８で説明したように、推定演算部は、その輝度画像に基づいて、撮像素子１２０の画素ピッチｐによる解像度よりも高解像度である高解像画像の各画素における推定輝度値Ｙ（ｖ’ｉｊ）を求め、色差画像に基づいて、高解像画像の各画素における推定色差値Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）を求める。画素値変換部は、推定輝度値Ｙ（ｖ’ｉｊ）と推定色差値Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）を、高解像画像の各画素におけるＲＧＢの画素値Ｒ（ｖ’ｉｊ）、Ｇ（ｖ’ｉｊ）、Ｂ（ｖ’ｉｊ）に変換する。
【００５６】
このようにすれば、高解像化処理において色の推定精度を向上することが可能になる。即ち、図８に示すように、高解像画像の各画素における推定輝度値Ｙ（ｖ’ｉｊ）と推定色差値Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）を求めことができるため、高解像画像の全ての画素についてＲＧＢ値を推定できる。これにより、推定値から更に補間等を行って画質が劣化することがなくなり、画質を向上できる。
【００５７】
ここで、画素ピッチｐによる解像度よりも高解像度とは、同じ撮像範囲（撮像画像全体又は一部）において元の画素数よりも画素数が多いことである。例えばデジタルズームの画像を高解像化する場合、そのズーム領域の画素数が高解像化により増加する。
【００５８】
また本実施形態では、撮像素子１２０の画素配列を構成する基本ブロックは、複数色として第１〜第ｋの色（ｋは２以上（その値を含む）の自然数）の画素を有する。図３等で説明したように、画像変換部１４０は、撮像画像に基づく第１〜第ｋの色の画素値により構成される変換単位を設定し、その変換単位に含まれる画素値を輝度値Ｙ（ａｉｊ）と色差値Ｃｒ（ａｉｊ）、Ｃｂ（ａｉｊ）に変換する。図７（Ａ）等で説明したように、推定演算部は、シフトにより得られる複数の輝度画像に基づいて推定輝度値Ｙ（ｖ’ｉｊ）を求め、シフトにより得られる複数の色差画像に基づいて推定色差値Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）を求める。
【００５９】
このようにすれば、各変換単位を構成する第１〜第ｋの色の画素値を輝度値と色差値に変換することで、撮像画像を輝度画像と色差画像に変換できる。また、順次シフトされた撮像画像から、順次シフトされた複数の輝度画像、複数の色差画像が求められ、それらの画像により輝度画像、色差画像を高解像化できる。
【００６０】
ここで、基本ブロックとは、画素配列における繰り返し配列の最小構成単位である。また、変換単位とは、ＹＣｒＣｂに変換される画素値の組み合わせである。また、撮像画像に基づく画素値とは、撮像画像を構成する画素値自体であってもよいし、撮像画像を構成する画素値から補間等により求めた画素値であってもよい。
【００６１】
また本実施形態では、図２に示すように、画素配列は、Ｒ画素と、２つのＧ画素と、Ｂ画素と（ｋ＝４）から構成される２×２画素を基本ブロックとするベイヤ配列である。図３等で説明したように、画像変換部１４０は、撮像画像の２×２画素（例えばｖ００、ｖ２０、ｖ０２、ｖ２２）により構成される変換単位ａ００を設定し、設定した変換単位ａ００のＲ、Ｇ、Ｂ画素値Ｒ（ａ００）、Ｇｒ（ａ００）、Ｇｂ（ａ００）、Ｂ（ａ００）を輝度値Ｙ（ａ００）と色差値Ｃｒ（ａ００）、Ｃｂ（ａ００）に変換する。
【００６２】
より具体的には、図３に示すように、画像変換部１４０は、変換単位の２×２画素の位置（ｉ，ｊ）が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位ａｉｊを設定する。
【００６３】
このようにすれば、ベイヤ画像を構成する画素値により変換単位を構成し、ＲＧＢベイヤ画像をＹＣｒＣｂ画像に変換できる。また、１画素ずつシフトされた複数の変換単位を設定することで、撮像画像と同一画素数のＹＣｒＣｂ画像を得ることができるため、高解像化したときに全ての画素についてＹＣｒＣｂ値を推定できる。
【００６４】
また本実施形態では、図２に示すように、画素ピッチをｐとし、水平方向と垂直方向におけるシフト量をｐ／ｍ（ｍは２以上（その値を含む）の自然数）とする。この場合に、撮像制御部１３０は、ｎ回で１巡する第１〜第ｎのシフト（ｎは２以上（その値を含む）の自然数）を行う。図８等で説明したように、推定演算部は、その第１〜第ｎのシフトに対応する第１〜第ｎの輝度画像Ｙ（ａｉｊ）又は第１〜第ｎの色差画像Ｃｒ（ａｉｊ）（又はＣｂ（ａｉｊ））を第１〜第ｎの入力画像として受けて、その第１〜第ｎの入力画像に基づいて、推定輝度値Ｙ（ｖ’ｉｊ）又は推定色差値Ｃｒ（ｖ’ｉｊ）（又はＣｂ（ｖ’ｉｊ））を推定画素値として求める。図３〜図６に示すように、第１〜第ｎの入力画像の画素は、高解像画像におけるｍ×ｍ画素に対応する画素であり、高解像画像上における位置（ｉ，ｊ）が、シフト量ｐ／ｍのシフトに対応して順次画素シフトされた画素（例えばＹ（ａ００）、Ｙ（ａ１０）、Ｙ（ａ１１）、Ｙ（ａ０１））である。
【００６５】
より具体的には、図２で説明したように、撮像制御部１３０は、基準位置に設定する第１のシフト（フレームｆｘ）と、基準位置から水平方向にシフト量ｐ／２でシフトする第２のシフト（ｆｘ＋１）と、前記基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第３のシフト（ｆｘ＋２）と、前記基準位置から垂直方向にシフト量ｐ／２でシフトする第４のシフト（ｆｘ＋３）とを行う（ｍ＝２、ｎ＝４）。推定演算部は、第１〜第４のシフトに対応する第１〜第４の入力画像から、撮像画像の２×２倍の画素数の推定画素値を求める。
【００６６】
このようにすれば、シフト１巡分の画像を用いることで、シフト画像の高解像化を行うことができる。また、シフト量ｐ／ｍに対応して、画素数をｍ×ｍ倍にする高解像化を行うことができる。
【００６７】
なお、推定画素値は、上記第１の推定手法のように第１〜第ｎの入力画像のみから推定してもよいし、後述する第３の推定手法のように入力画像から求めた補間画像等の他の画像を更に加えて推定してもよい。
【００６８】
４．第２の推定手法
ベイヤ画像を補間して各画素のＲＧＢを求め、１画素単位でＲＧＢをＹＣｒＣｂに変換する第２の推定手法について説明する。
【００６９】
図１０に示すように、１／２画素シフトにより得られた４枚のベイヤカラー画像それぞれにおいて、ベイヤ補間により未検出画素値を求め、完備なＲ、Ｇ、Ｂ画像を生成する。下式（３）に示すように、生成したＲ、Ｇ、Ｂ画像の中の同一画素ｖｉｊを構成する｛Ｒ（ｖｉｊ），Ｇ（ｖｉｊ），Ｂ（ｖｉｊ）｝を、画素ｖｉｊの｛Ｙ（ｖｉｊ），Ｃｒ（ｖｉｊ），Ｃｂ（ｖｉｊ）｝に変換する。
【数３】
2013008517.tif 000005
【００７０】
図１１に示すように、各画素ｖｉｊのＹ（ｖｉｊ）が１／２画素水平又は垂直にシフトされた４枚の画像が得られる。Ｃｒ（ｖｉｊ）、Ｃｂ（ｖｉｊ）についても同様に、それぞれ４枚の画像が得られる。
【００７１】
図１２に示すように、得られた輝度値Ｙ（ｖｉｊ）を、仮想的超解像画素ｖ’ｉｊの重畳シフト４画素加算値（図１９（Ａ）の｛ａｉｊ｝）であるとみなし、推定処理を行う。この推定処理により、元の画素ｖｉｊの１／２の画素サイズの輝度値としての画素値Ｙ（ｖ’ｉｊ）が推定値として求められる。同様の手法を色差値についても適用すれば、超解像画素ｖ’ｉｊの色差値Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）が求められる。
【００７２】
このようにして求めた仮想的超解像画素ｖ’ｉｊの｛Ｙ（ｖ’ｉｊ），Ｃｒ（ｖ’ｉｊ），Ｃｂ（ｖ’ｉｊ）｝を上式（２）により逆変換し、仮想的超解像画像の構成画素値ｖ’ｉｊ全てのＲ、Ｇ、Ｂの値を求め、高解像画像を得る。
【００７３】
以上の実施形態によれば、図１０で説明したように、画像変換部１４０は、撮像画像の各画素ｖｉｊにおけるＲ、Ｇ、Ｂ画素値Ｒ（ｖｉｊ）、Ｇ（ｖｉｊ）、Ｂ（ｖｉｊ）を補間により求め、その各画素ｖｉｊにおけるＲ、Ｇ、Ｂ画素値を変換単位として設定する。図１１で説明したように、画像変換部１４０は、設定した変換単位のＲ、Ｇ、Ｂ画素値を輝度値Ｙ（ｖｉｊ）と色差値Ｃｒ（ｖｉｊ）、Ｃｂ（ｖｉｊ）に変換する。
【００７４】
このようにすれば、ベイヤ画像を補間して求めたＲＧＢ画素値の画素単位により変換単位を構成し、ＲＧＢベイヤ画像をＹＣｒＣｂ画像に変換できる。例えば、Ｒ画素値をベイヤ補間したＲ画像から、Ｒ高解像画像を推定するとする。例えば図１のｖ００が補間画素であるとすると、シフトにより得られるｖ１０、ｖ０１、ｖ１１も補間画素である。そうすると、推定画素ｖ’００等は補間画素のみから推定されることになり、推定精度が悪くなる。この点、本実施形態によれば、図１０に示すように、変換単位（例えばｖ００）には少なくとも１つの検出値（Ｇ（ｖ００））、つまり、補間値ではない画素値が含まれ、その検出値を含むＲＧＢをＹＣｒＣｂに変換するため、例えば、上記のＲのまま推定する場合よりも、推定精度を向上できると考えられる。
【００７５】
５．第２の推定手法の変形例
ベイヤ画像を補間して各画素のＲＧＢを求め、４画素単位でＲＧＢをＹＣｒＣｂに変換する第２の推定手法について説明する。
【００７６】
図１３に示すように、Ｒ画素値をベイヤ補間し、その補間値を求める。図１３では、検出画素をハッチング有りの実線四角で表し（例えばＲ２（ａ００））、補間画素をハッチング無しの実線四角で表す（例えばＲ１（ａ００））。下式（４）に示すように、近接する４画素の画素値｛Ｒ１（ａｉｊ），Ｒ２（ａｉｊ），Ｒ３（ａｉｊ），Ｒ４（ａｉｊ）｝から４画素加算値Ｒ（ａｉｊ）を求める。
【数４】
2013008517.tif 000006
【００７７】
図１４に示すように、Ｇ画素値をベイヤ補間し、画素値｛Ｇ１（ａｉｊ），Ｇ２（ａｉｊ），Ｇ３（ａｉｊ），Ｇ４（ａｉｊ）｝を求める。図１５に示すように、Ｂ画素値をベイヤ補間し、画素値｛Ｂ１（ａｉｊ），Ｂ２（ａｉｊ），Ｂ３（ａｉｊ），Ｂ４（ａｉｊ）｝を求める。上式（４）に示すように、これらの値から４画素加算値｛Ｇ（ａｉｊ），Ｂ（ａｉｊ）｝を求める。
【００７８】
下式（５）に示すように、同一位置（ｉ，ｊ）の４画素加算値のＲＧＢ成分｛Ｒ（ａｉｊ），Ｇ（ａｉｊ），Ｂ（ａｉｊ）｝を、４画素加算値ａｉｊのＹＣｒＣｂ成分｛Ｙ（ｖｉｊ），Ｃｒ（ｖｉｊ），Ｃｂ（ｖｉｊ）｝に変換する。
【数５】
2013008517.tif 000007
【００７９】
上記と同様にして、１／２画素重畳シフトされた４枚のベイヤカラー画像それぞれについて、画素値｛Ｒ（ａｉｊ），Ｇ（ａｉｊ），Ｂ（ａｉｊ）｝を求め、｛Ｙ（ｖｉｊ），Ｃｒ（ｖｉｊ），Ｃｂ（ｖｉｊ）｝を求める。そして、図１２で上述の手法により、超解像画素ｖ’ｉｊのＲ、Ｇ、Ｂ値を求める。
【００８０】
以上の実施形態によれば、図１３等で説明したように、画像変換部１４０は、撮像画像の各画素ｖｉｊにおけるＲ、Ｇ、Ｂ画素値Ｒ１（ａｉｊ）〜Ｒ４（ａｉｊ）、Ｇ１（ａｉｊ）〜Ｇ４（ａｉｊ）、Ｂ１（ａｉｊ）〜Ｂ４（ａｉｊ）、を補間により求め、撮像画像の４画素により構成される変換単位を設定する。画像変換部１４０は、その変換単位の４つのＲ画素値の加算値Ｒ（ａｉｊ）と、変換単位の４つのＧ画素値の加算値Ｒ（ａｉｊ）と、変換単位の４つのＢ画素値の加算値Ｒ（ａｉｊ）とを求め、求めたＲ、Ｇ、Ｂ画素値の加算値を輝度値Ｙ（ｖｉｊ）と色差値Ｃｒ（ｖｉｊ）、Ｃｂ（ｖｉｊ）に変換する。
【００８１】
より具体的には、画像変換部１４０は、変換単位の２×２画素の位置（ｉ，ｊ）が、水平方向又は垂直方向に１画素ずつ順次シフトされた複数の変換単位ａｉｊを設定する。
【００８２】
このようにすれば、ベイヤ画像を補間して求めたＲＧＢ画素値の４画素加算値により変換単位を構成し、ＲＧＢベイヤ画像をＹＣｒＣｂ画像に変換できる。また、Ｒ、Ｇ、Ｂの各加算値には検出値（補間値ではない画素値）が含まれるため、変換単位のＲＧＢ全てに検出値の情報を含むことができ、高解像画像における推定精度を向上できると考えられる。
【００８３】
６．第３の推定手法
以上の実施形態では、水平方向又は垂直方向に１／２画素シフトを行い、４回のシフトで１巡する場合を説明したが、本実施形態では、斜め方向に１／２画素シフトを行い、２回のシフトで１巡してもよい。
【００８４】
以下では、この斜め方向に１／２画素シフトを行う場合の第３の推定手法について説明する。図１６に示すように、フレーム毎に交互に１／２画素斜めシフトを行う。具体的には、第１フレームｆｘにおいて、基準位置における画像を第１の画像として取得する。第２フレームｆｘ＋１において、基準位置から水平方向に１／２画素及び垂直方向に１／２画素シフトされた位置における画像を、第２の画像として取得する。以降、第１、第２の２種類の画像をフレーム交互に生成する。
【００８５】
図１７に示すように、第１、第２の画像それぞれについて、ＲＧＢをＹＣｒＣｂに変換する。ＹＣｒＣｂへの変換手法は、上述の手法のいずれでもよい。例えば、輝度画像を例にとると、第１輝度値Ｙ（ａ２２）と第２輝度値Ｙ（ａ１１）は、それぞれ第１、第２画像の検出値から導出された輝度値である。輝度値Ｙ（ａ２１）、Ｙ（ａ１２）は、検出値からは直接には導出されない未検出輝度値である。
【００８６】
下式（６）に示すように、未検出輝度値Ｙ（ａ２１）、Ｙ（ａ１２）は、周囲の輝度値に基づく補間処理により求める。ここで、｛ｗ１，ｗ２，ｗ３，ｗ４｝は補間係数である。補間係数は補間精度が最も高くなるよう予め設定されたものである。補間手法は、例えば従来手法（バイリニア、バイキュービックなど）を用いてもよいし、最適な補間係数を独自に設定するものであっても良い。補間に用いる検出値は、近接の４つに限定されず、周辺近傍のより多くのパターンの値を使っても良いことは言うまでもない。
【数６】
2013008517.tif 000008
【００８７】
同様の手法により、色差値Ｃｒ、Ｃｂについても未検出値を周囲の値から補間により求める。
【００８８】
以上により、水平又は垂直に１／２画素重畳シフトした４つの輝度画像全てが揃う。上述した第１の推定手法と同様にして、この４つの輝度画像から超解像画素ｖ’ｉｊの輝度値Ｙ（ｖ’ｉｊ）を推定する。色差値Ｃｒ（ｖ’ｉｊ）、Ｃｂ（ｖ’ｉｊ）についても同様に推定する。得られたＹＣｒＣｂ値をＲＧＢ値に変換し、高解像画像の画素ｖ’ｉｊ全てについてのＲＧＢ画素値Ｒ（ｖ’ｉｊ）、Ｇ（ｖ’ｉｊ）、Ｂ（ｖ’ｉｊ）を求める。
【００８９】
図１８に、上記第３の推定手法を行う場合の超解像画素値復元推定部１６０の詳細な構成例を示す。超解像画素値復元推定部１６０は、補間部１６１、推定部１６２を含む。
【００９０】
本実施形態では、撮像制御部１３０は、斜め方向にシフト駆動する制御を行い、上述の第１、第２画像を取得する。画像変換部１４０は、第１、第２画像を輝度値、色差値に変換する。データ記録部１５０は、得られた輝度値、色差値を記録する。補間部１６１は、記録された輝度値、色差値に基づく補間処理を行い、未検出輝度値、未検出色差値を求める。推定部１６２は、データ記録部１５０からの輝度値、色差値と、補間部１６１からの未検出輝度値、未検出色差値に基づいて、高解像化推定処理を行う。
【００９１】
以上の実施形態によれば、図１６で説明したように、撮像制御部１３０は、基準位置に設定する第１のシフト（フレームｆｘ）と、基準位置から水平方向と垂直方向にシフト量ｐ／２でシフトする第２のシフト（ｆｘ＋１）とを行う（ｍ＝２、ｎ＝２）。図１７に示すように、推定演算部は、基準位置から水平方向へのシフト量ｐ／２のシフトに対応する第１の補間画像（例えば画素はＹ（ａ１２））と、基準位置から垂直方向へのシフト量ｐ／２のシフトに対応する第２の補間画像（Ｙ（ａ２１））とを、第１、第２の入力画像（Ｙ（ａ２２）、Ｙ（ａ１１））に基づいて補間により求める。その第１、第２の入力画像と第１、第２の補間画像から、撮像画像の２×２倍の画素数の推定画素値を求める。
【００９２】
このようにすれば、シフト１巡分の画像から、高解像化に必要な画像を補間により求め、これらの画像を用いて高解像化を行うことができる。また、図２のように補間を行わない場合（４回）に比べてシフト回数を減らす（２回）ことができるため、より短い期間の画像から高解像化でき、動体の画像ブレ等を軽減できる。
【００９３】
７．高解像化推定処理
次に、ＹＣｒＣｂ値を高解像化する推定処理について詳細に説明する。なお以下では、画素値｛ａ００、ａ１０、ａ１１、ａ０１｝を例に説明する（ｉ，ｊは０以上（その値を含む）の整数）が、他の画素値についても同様である。
【００９４】
図１９（Ａ）に示す画素値ａｉｊは、図３〜図６等で上述の輝度値Ｙ（ａｉｊ）、又は色差値Ｃｒ（ａｉｊ）、又は色差値Ｃｂ（ａｉｊ）に対応する。又は、画素値ａｉｊは、図１１等で上述の輝度値Ｙ（ｖｉｊ）、又は色差値Ｃｒ（ｖｉｊ）、又は色差値Ｃｂ（ｖｉｊ）に対応する。画素値ｖ’ｉｊは、図８等で上述の輝度値Ｙ（ｖ’ｉｊ）、又は色差値Ｃｒ（ｖ’ｉｊ）、又は色差値Ｃｂ（ｖ’ｉｊ）に対応する。
【００９５】
図１９（Ｂ）に示すように、まず加算画素値ａ００〜ａ１１から中間画素値ｂ００〜ｂ２１（中間推定画素値）を推定し、これらの中間画素値ｂ００〜ｂ２１から最終的な画素値ｖ’００〜ｖ’２２を推定する。
【００９６】
水平方向の最初の行の中間画素値ｂ００〜ｂ２０を例にとり、中間画素値を推定する処理について説明する。中間画素値ｂ００〜ｂ２０は、水平方向の最初の行の加算画素値ａ００、ａ１０に基づいて推定される。画素値ａ００、ａ１０は下式（７）で表される。
ａ００＝ｖ’００＋ｖ’０１＋ｖ’１０＋ｖ’１１，
ａ１０＝ｖ’１０＋ｖ’１１＋ｖ’２０＋ｖ’２１    （７）
【００９７】
下式（８）に示すように中間画素値ｂ００、ｂ１０、ｂ２０を定義する。
ｂ００＝ｖ’００＋ｖ’０１，
ｂ１０＝ｖ’１０＋ｖ’１１，
ｂ２０＝ｖ’２０＋ｖ’２１    （８）
【００９８】
次に、上式（８）を用いて上式（７）を変形すると、下式（９）が成り立つ。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０    （９）
【００９９】
上式（９）をｂ１０、ｂ２０について解くと、下式（１０）が成り立ち、中間画素値ｂ１０、ｂ２０はｂ００を未知数（初期変数）とする関数として表される。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋δｉ０＝ｂ００＋（ａ１０−ａ００）    （１０）
【０１００】
次に、画素値のパターン｛ａ００，ａ１０｝と中間画素値のパターン｛ｂ００，ｂ１０，ｂ２０｝を比較し、その類似性が最も高い場合の未知数ｂ００を求める。具体的には、下式（１１）に示す評価関数Ｅｊを求め、その評価関数Ｅｊが最小となる未知数ｂ００を導出する。得られたｂ００の値を上式（１０）に代入し、中間画素値ｂ１０、ｂ２０を求める。
【数７】
2013008517.tif 000009
【０１０１】
次に、垂直方向の最初の列を例にとり、中間画素値ｂｉｊを用いて推定画素値ｖ’ｉｊを求める手法について説明する。推定画素値ｖ’ｉｊは、中間画素値ｂｉｊを求めた手法と同様に求められる。即ち、上式（９）を下式（１２）に置き換えれば、以降の処理は同様である。
ｂ００＝ｖ’００＋ｖ’０１，
ｂ０１＝ｖ’０１＋ｖ’０２    （１２）
【０１０２】
以上の実施形態によれば、図１３（Ａ）に示すように、高解像画像の複数画素（例えば２×２画素）により構成される範囲を加算単位ａｉｊとし、第１、第２の加算単位（例えばａ００、ａ１０）に対応する画素値を第１、第２の画素値（例えばＹ（ａ００）、Ｙ（ａ１０））とする。第１、第２の加算単位ａ００、ａ１０は重畳する（共通の画素ｖ’１０、ｖ’１１を有する）。推定演算部には、輝度画像又は色差画像が入力画像として入力される。第１、第２の画素値は、入力画像の画素値、又は入力画像に基づく補間により得られた画素値である。上式（１０）に示すように、推定演算部は、第１の画素値ａ００と、第２の画素値ａ１０との差分値δｉ０＝ａ１０−ａ００を求め、その差分値に基づいて、推定輝度値又は推定色差値を推定画素値ｖ’ｉｊとして求める。
【０１０３】
より具体的には、図１３（Ｂ）に示すように、第１の中間画素値ｂ００は、加算単位ａ００から重畳領域（ｖ’１０、ｖ’１１）を除いた第１の領域（ｖ’００、ｖ’０１）の加算画素値である。第２の中間画素値ｂ２０は、加算単位ａ１０から重畳領域（ｖ’１０、ｖ’１１）を除いた第２の領域（ｖ’２０、ｖ’２１）の加算画素値である。上式（１０）に示すように、推定演算部は、第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表し、その関係式を用いて第１、第２の中間画素値ｂ００、ｂ２０を推定する。推定した第１の中間画素値ｂ００を用いて加算単位に含まれる各画素の画素値ｖ’ｉｊを求める。
【０１０４】
このようにすれば、重畳シフトされた加算単位の画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルタの繰り返し演算（特許文献１）や、初期値の設定に適当な部分を探索（特許文献２）する等の複雑な処理が不要となる。
【０１０５】
また本実施形態では、第１、第２の中間画素値（例えばｂ００、ｂ２０）を含む連続する中間画素値を中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）とする。上式（１０）に示すように、推定演算部は、中間画素値パターンに含まれる中間画素値の間の関係式を第１、第２の画素値ａ００、ａ１０を用いて表す。推定演算部は、中間画素値の間の関係式で表された中間画素値パターンと第１、第２の画素値ａ００、ａ１０とを比較して類似性を評価する。その類似性の評価結果に基づいて、類似性が最も高くなるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１０６】
このようにすれば、加算単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１０７】
ここで、中間画素値パターンとは、推定処理に用いられる範囲の中間画素値のデータ列（データの組み）である。また、加算画素値パターンとは、推定処理に用いられる範囲の加算画素値のデータ列である。
【０１０８】
また本実施形態では、上式（１１）に示すように、推定演算部は、中間画素値の間の関係式で表された中間画素値パターン（｛ｂ００、ｂ１０、ｂ２０｝）と加算画素値（ａ００、ａ１０）との誤差を表す評価関数Ｅｊを求める。評価関数Ｅｊの値が最小となるように中間画素値パターンに含まれる中間画素値ｂ００、ｂ１０、ｂ２０を決定する。
【０１０９】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。例えば、初期値設定に適当な画像部分の探索（特許文献２）が不要である。
【０１１０】
８．第２の高解像化推定処理
次に、ＹＣｒＣｂ値を高解像化する第２の高解像化推定処理について詳細に説明する。なお以下では簡単のため、画素ピッチｐの図示を省略する。
【０１１１】
図２０（Ａ）に示すように、撮像素子の受光面（センサ画素）と、受光面に結像する被写体像とが、撮像素子の画素開口の幅ｄよりも小さいシフト量ｓで相対的にシフトされる。図２で上述のように、このシフトは、撮像素子又は結像レンズを機械的にシフトさせることで行う。例えば、シフト量ｓ＝２ｐ／３の場合、水平方向及び垂直方向にシフト量ｓずつ３×３のシフトを行い、９枚の画像を撮像する。そして、その９枚の画像の中の、シフト量ｓずつずれた関係となっている２×２の画素値（例えばａ００、ａ１０、ａ０１、ａ１１）に基づいて、図２０（Ｂ）に示す推定画素値ｖｉｊ（例えば、ａ００、ａ１０、ａ０１、ａ１１からｖ００）を推定する。
【０１１２】
図２０（Ｂ）に示すように、この推定処理をシフト量ｓずつずらしながら行い、高解像画像の画素値ｖｉｊを順次求める。例えば、図２０（Ａ）の画素値ａ００、ａ１０、ａ０１、ａ１１から水平方向にｓずれた画素値ａ１０、ａ２０、ａ１１、ａ２１を用いて、図２０（Ｂ）のｖ００に対して水平方向にシフト量ｓずれたｖ１０を推定する。このようにして、実際の画素ピッチｐよりも小さい画素ピッチｓで撮像されたかのような高解像画像が取得される。画素数は、元の撮像画像の（ｐ／ｓ）２倍となる。
【０１１３】
なお、推定に用いる２×２の画素値は、同一画素から得られた画素値でなくともよい。即ち、図２０（Ａ）では、簡単のため、撮像素子の１画素を３×３シフトして得られる画素値のみを図示しているが、実際には、画素ピッチｐで画素が配置されており、それらの画素をシフトして得られた全ての画素値の中から、シフト量ｓずつずれた２×２の画素値を選択する。
【０１１４】
図２１に示すように、画素値ａ００、ａ１０、ａ０１、ａ１１から推定画素値ｖ００を推定する場合を例にとり説明する。なお以下では水平方向に高解像化した後に垂直方向に高解像化する場合を例に説明するが、垂直方向に高解像化した後に水平方向に高解像化してもよい。
【０１１５】
図２２に示すように、シフトされた画素の重なり部分及び非重なり部分に対して、水平方向に仮想的な中間画素値｛ｂ００，ｂ１０，ｂ２０｝を仮定する。ｂ１０は、ａ００とａ１０の重なり部分に対応しており、ｂ００、ｂ２０は、ａ００とａ１０の非重なり部分に対応している。ここで、重なり部分とは、撮像素子の画素の開口が重なる部分ということであり、具体的には、画素の開口と、その開口に対してシフト量ｓだけシフトされた開口とが重なる部分ということである。また、非重なり部分とは、撮像素子の画素の開口が重なっていない部分ということであり、具体的には、画素の開口と、その開口に対してシフト量ｓだけシフトされた開口とが重なっていない部分ということである。
【０１１６】
任意の水平方向のシフト量ｓにて重畳シフトサンプリングにより得られた画素値｛ａ００，ａ１０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０｝のうち隣接する画素値の加算値であると見なすことができ、検出画素値｛ａ００，ａ１０｝は下式（１３）で表される。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０    （１３）
【０１１７】
ｂ００を未知数（支配変数）として、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の関係式を下式（１４）のように導くことができる。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋（ａ１０−ａ００）    （１４）
【０１１８】
上式（１４）に示す中間画素値｛ｂ００，ｂ１０，ｂ２０｝の関係（組合せパターン）は複数存在するが、その中から尤もらしい組合せパターンを、検出画素値｛ａ００，ａ１０｝を手がかりに求める手法について説明する。
【０１１９】
図２２に示すように、中間画素値｛ｂ００，ｂ１０，ｂ２０｝は、撮像画像に対して、サンプリングの開口の大きさが異なっている。即ち、水平方向の開口幅は、ｂ００、ｂ２０ではｓであり、ｂ１０ではｄ−ｓである。例えば自然画像のような被写体の撮像画像では、一般的には、低周波では周波数成分は大きく、高周波になるほど周波数成分は低くなっていく。一方、サンプリングの開口が大きい場合に取得できる撮像画像の周波数成分は低周波成分が大きく高周波成分が小さくなる。逆にサンプリングの開口が小さい場合に取得できる撮像画像の周波数成分は相対的に低周波成分が小さくなり高周波成分がより大きくなる。したがって、中間画素値｛ｂ００，ｂ１０，ｂ２０｝として、平均的（確率的）には、サンプリング開口の大きさにより重み付けされた値が高い確率で得られると考えられる。つまり、検出画素値｛ａ００，ａ１０｝が与えられたとき、撮像素子の画素に対する中間画素値の開口占有率を考慮し、重み係数ｃ１、ｃ２を下式（１５）とする。ここで、０＜ｓ＜ｄ、０＜ｃ１＜１、０＜ｃ２＜１である。
ｃ１＝ｂ００／ａ００＝（ｓ×ｄ）／ｄ２    （＝ｂ２０／ａ１０），
ｃ２＝ｂ１０／ａ００＝［（ｄ−ｓ）×ｄ］／ｄ２            （１５）
【０１２０】
上式（１５）より、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の参照値（高確率で期待される発生値）｛ｂ００’，ｂ１０’，ｂ１０”，ｂ２０’｝は、下式（１６）と考えることができる。なお、厳密には、重み係数ｃ１、ｃ２は、検出画素値に対する中間画素値の感度比率として考えてもよい。この場合、使用する撮像素子の特性を調べて、重み係数ｃ１、ｃ２を予め求めておけばよい。
ｂ００’＝ｃ１・ａ００，
ｂ１０’＝ｃ２・ａ００，ｂ１０”＝ｃ２・ａ１０，
ｂ２０’＝ｃ１・ａ１０                    （１６）
【０１２１】
図２３に示すように、上式（１４）に示す中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンと、上式（１６）に示す参照値｛ｂ００’，ｂ１０’，ｂ１０”，ｂ２０’｝とを比較し、誤差が最小になる中間画素値｛ｂ００，ｂ１０，ｂ２０｝を尤もらしい推定値として特定する。つまり、下式（１７）に上式（１４）を代入して誤差の評価関数ｅｂを求め、その評価関数ｅｂが最小を取り得る未知数ｂ００を決定し、決定したｂ００を上式（１４）に代入して中間画素値｛ｂ１０，ｂ２０｝を求める。
ｅｂ＝（ｂ００−ｂ００’）２＋（ｂ１０−ｂ１０’）２＋
（ｂ１０−ｂ１０”）２＋（ｂ２０−ｂ２０’）２    （１７）
【０１２２】
検出画素値｛ａ００，ａ１０｝の各々の取り得る値は、例えば０＜ａ００＜Ｎ、０＜ａ１０＜Ｎのように、扱う量子化ビット数により予め決まっている。Ｎは自然数であり、検出画素値が取り得る最大値である。中間画素値｛ｂ００，ｂ１０，ｂ２０｝もゼロまたは正の値であるので、検出画素値｛ａ００，ａ１０｝が与えられると、上式（１４）を満足する中間画素値｛ｂ００，ｂ１０，ｂ２０｝の取り得る範囲も限定される。図２４に示すように、この取り得る範囲を満足し、且つ上式（１７）の評価関数ｅｂが最小になる中間画素値｛ｂ００，ｂ１０，ｂ２０｝を求めることは言うまでもない。
【０１２３】
なお、評価関数ｅｂを下式（１８）により求め、計算量の削減をしてもよい。
ｅｂ＝（ｂ００−ｂ００’）２＋（ｂ１０−ｂ１０’）２＋（ｂ２０−ｂ２０’）２
（１８）
【０１２４】
以上と同様の処理を、図２５の中間画素値｛ｂ０１，ｂ１１，ｂ２１｝に対しても適用し、検出画素値｛ａ０１，ａ１１｝から中間画素値｛ｂ０１，ｂ１１，ｂ２１｝を求める。
【０１２５】
次に、中間画素値｛ｂ００，ｂ１０，ｂ２０｝、｛ｂ０１，ｂ１１，ｂ２１｝から最終的な推定画素値を求める手法について説明する。図２６に示すように、中間画素の重なり部分または非重なり部分において、垂直方向に仮想的な最終推定画素値を仮定する。まず代表例として、１列目の中間画素値｛ｂ００，ｂ０１｝に着目し、最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝を求める手法について説明する。
【０１２６】
仮定した中間画素値｛ｂ００，ｂ０１｝は、垂直方向における任意のシフト量ｓでの重畳シフトサンプリングにより得られるものである。そのため、中間画素値｛ｂ００，ｂ０１｝は、最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝のうち隣接する画素値の加算値であると見なすことができ、下式（１９）のように表される。
ｂ００＝ｖ００＋ｖ０１，
ｂ０１＝ｖ０１＋ｖ０２    （１９）
【０１２７】
上式（１９）より、ｖ００を未知数（支配変数）として、最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝の関係式を下式（２０）のように導くことができる。
ｖ００＝未知数，
ｖ０１＝ｂ００−ｖ００，
ｖ０２＝ｖ００＋（ｂ０１−ｂ００）    （２０）
【０１２８】
上式（２０）に示す中間画素値｛ｂ００，ｂ１０，ｂ２０｝の関係（組合せパターン）は複数存在するが、その中から尤もらしい組合せパターンを、検出画素値｛ａ００，ａ１０｝を手がかりに求める手法について説明する。
【０１２９】
図２６に示すように、推定画素値｛ｖ００，ｖ０１，ｖ０２｝は、撮像画像に対して、サンプリングの開口の大きさが異なっている。即ち、ｖ００、ｖ０２の開口はｓ２であり、ｖ０１の開口はｓ×（ｄ−ｓ）である。図２２及び上式（１５）で説明したのと同様の理由により、推定画素値｛ｖ００，ｖ０１，ｖ０２｝として、平均的（確率的）には、サンプリング開口の大きさにより重み付けされた値が高い確率で得られると考えられる。つまり、中間画素値｛ｂ００，ｂ０１｝が与えられたとき、中間画素値に対する推定画素値の開口占有率を考慮し、重み係数をｃ３、ｃ４を下式（２１）とする。ここで、０＜ｓ＜ｄ、０＜ｃ３＜１、０＜ｃ４＜１である。
ｃ３＝ｖ００／ｂ００＝ｓ２／（ｓ×ｄ）  （＝ｖ０２／ｂ０１），
ｃ４＝ｖ０１／ｂ００＝［ｓ×（ｄ−ｓ）］／（ｓ×ｄ）    （２１）
【０１３０】
上式（２１）より、推定画素値｛ｖ００，ｖ０１，ｖ０２｝の参照値（高確率で期待される発生値）｛ｖ００’，ｖ０１’，ｖ０１”，ｖ０２’｝は、下式（２２）と考えることができる。なお、厳密には、重み係数ｃ３、ｃ４は、中間画素値に対する推定画素値の感度比率として考えてもよい。この場合、使用する撮像素子の特性を調べて、重み係数ｃ３、ｃ４を予め求めておけばよい。
ｖ００’＝ｃ３・ｂ００，
ｖ０１’＝ｃ４・ｂ００，ｖ０１”＝ｃ４・ｂ０１，
ｖ０２’＝ｃ３・ｂ０１                  （２２）
【０１３１】
図２７に示すように、上式（２０）に示す推定画素値｛ｖ００，ｖ０１，ｖ０２｝の組合せパターンと、上式（２２）に示す参照値｛ｖ００’，ｖ０１’，ｖ０１”，ｖ０２’｝とを比較し、誤差が最小になる推定画素値｛ｖ００，ｖ０１，ｖ０２｝を尤もらしい推定値として特定する。つまり、下式（２３）に上式（２０）を代入して誤差の評価関数ｅｖを求め、その評価関数ｅｖが最小を取り得る未知数ｖ００を決定し、決定したｖ００を上式（２０）に代入して推定画素値｛ｖ０１，ｖ０２｝を求める。
ｅｖ＝（ｖ００−ｖ００’）２＋（ｖ０１−ｖ０１’）２＋
（ｖ０１−ｖ０１”）２＋（ｖ０２−ｖ０２’）２    （２３）
【０１３２】
推定画素値｛ｖ００，ｖ０１，ｖ０２｝はゼロまたは正の値であるので、中間画素値｛ｂ００，ｂ０１｝が与えられると、上式（２０）を満足する推定画素値｛ｖ００，ｖ０１，ｖ０２｝の取り得る範囲も限定される。図２８に示すように、この取り得る範囲を満足し、且つ上式（２３）の評価関数ｅｖが最小になる推定画素値｛ｖ００，ｖ０１，ｖ０２｝を求めることは言うまでもない。
【０１３３】
なお、評価関数ｅｖを下式（２４）により求め、計算量の削減をしてもよい。
ｅｖ＝（ｖ００−ｖ００’）２＋（ｖ０１−ｖ０１’）２＋（ｖ０２−ｖ０２’）２
（２４）
【０１３４】
以上のようにして、最終推定画素値｛ｖ００，ｖ０１，ｖ０２｝が３つ同時に求められる。なお、図２０（Ｂ）に示すような画素開口がｓ×ｓで、水平垂直の画素ピッチがｓであるサンプリング値を得たいのであれば、求めた３つの値のうち、最終推定画素値｛ｖ００｝のみを採用してもよい。即ち、上記の推定手法を水平方向及び垂直方向に順次ずらしながら実施していくことにより、最終推定画素値｛ｖｉｊ｝（ｉ，ｊは任意の画素アドレス）を１つずつ順次求めてもよい。
【０１３５】
９．第３の高解像化推定処理
次に、ＹＣｒＣｂ値を高解像化する第３の高解像化推定処理について詳細に説明する。なお以下では簡単のため、画素ピッチｐの図示を省略する。
【０１３６】
図２９（Ａ）に示すように、撮像素子の受光面（センサ画素）と、受光面に結像する被写体像とが、撮像素子の画素開口の幅ｄよりも小さいシフト量ｓで相対的にシフトされる。例えば、シフト量ｓ＝２ｐ／３の場合、水平方向及び垂直方向にシフト量ｓずつ３×３のシフトを行い、９枚の画像を撮像する。なお図２９（Ａ）では、簡単のため、撮像素子上でピッチｐで並ぶ２×２画素（ａ００，ａ２０，ａ０２，ａ２２）と、その中の１画素（ａ００）を３×３シフトして得られた画素値（ａ００，ａ１０，ａ０１，ａ１１等）のみを図示している。
【０１３７】
図２９（Ｂ）に示すように、撮像した９枚の画像から、高解像画像の画素値ｖ００を求める。図３０に示すように、ｖ００は、８つの画素値｛ａ００，ａ１０，ａ２０，ａ３０，ａ０１，ａ１１，ａ２１，ａ３１｝から求められる。ａ１０、ａ３０は、撮像素子上で水平方向に画素ピッチｐで並ぶ画素の画素値である。そして、ａ１０、ａ３０は、ａ００、ａ２０の画素を水平方向にシフト量ｓでシフトした画素の画素値であり、ａ０１、ａ１１は、ａ００、ａ２０の画素を垂直方向にシフト量ｓでシフトした画素の画素値であり、ａ１１、ａ３１は、ａ００、ａ２０の画素を水平方向及び垂直方向にシフト量ｓでシフトした画素の画素値である。
【０１３８】
このような推定処理をシフト量ｓずつずらしながら行い、高解像画像の画素値ｖｉｊを順次求める。このようにして、実際の画素ピッチｐよりも小さい画素ピッチｓで撮像されたかのような高解像画像が取得される。画素数は、元の撮像画像の（ｐ／ｓ）２倍となる。
【０１３９】
以下では、図３０に示す画素値｛ａ００，ａ１０，ａ２０，ａ３０，ａ０１，ａ１１，ａ２１，ａ３１｝から推定画素値ｖ００を推定する場合を例にとり説明する。なお、ここでは水平方向に高解像化した後に垂直方向に高解像化する場合を例に説明するが、垂直方向に高解像化した後に水平方向に高解像化してもよい。
【０１４０】
図３１に示すように、シフトされた画素の重なり部分及び非重なり部分に対して、水平方向に仮想的な中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝を仮定する。ｂ００は、ａ００とａ１０の非重なり部分に対応しており、ｂ１０は、ａ００とａ１０の重なり部分に対応しており、ｂ２０は、ａ００とａ１０（又はａ２０とａ３０）の非重なり部分に対応しており、ｂ３０は、ａ２０とａ３０の重なり部分に対応しており、ｂ４０は、ａ２０とａ３０の非重なり部分に対応している。
【０１４１】
任意の水平方向のシフト量ｓにて重畳シフトサンプリングにより得られた画素値｛ａ００，ａ１０，ａ２０，ａ３０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝の加算値であると見なすことができ、検出画素値｛ａ００，ａ１０，ａ２０，ａ３０｝は下式（２５）で表される。
ａ００＝ｂ００＋ｂ１０，
ａ１０＝ｂ１０＋ｂ２０，
ａ２０＝ｂ２０＋ｂ３０，
ａ３０＝ｂ３０＋ｂ４０    （２５）
【０１４２】
ｂ００を未知数（支配変数）として、中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝の関係式を下式（２６）のように導くことができる。
ｂ００＝（未知数），
ｂ１０＝ａ００−ｂ００，
ｂ２０＝ｂ００＋（ａ１０−ａ００），
ｂ３０＝ａ２０−ｂ２０，
ｂ４０＝ａ３０−ｂ３０    （２６）
【０１４３】
上式（２６）に示す中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝の関係（組合せパターン）は複数存在するが、その中から尤もらしい組合せパターンを、検出画素値｛ａ００，ａ１０，ａ２０，ａ３０｝を手がかりに求める手法について説明する。
【０１４４】
図３１に示すように、中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝は、撮像画像に対して、サンプリングの開口の大きさが異なっている。図２２及び上式（１５）（第２の高解像化推定処理）で説明したのと同様の理由により、中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝として、平均的（確率的）には、サンプリング開口の大きさにより重み付けされた値が高い確率で得られると考えられる。つまり、検出画素値｛ａ００，ａ１０，ａ２０，ａ３０｝が与えられたとき、撮像素子の画素に対する中間画素値の開口占有率を考慮し、重み係数ｃ１、ｃ２を下式（２７）とする。ここで、０＜ｓ＜ｄ、０＜ｃ１＜１、０＜ｃ２＜１である。
ｃ１＝ｂ００／ａ００＝（ｓ×ｄ）／ｄ２，
ｃ２＝ｂ１０／ａ００＝［（ｄ−ｓ）×ｄ］／ｄ２    （２７）
【０１４５】
上式（２７）より、中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝の参照値（高確率で期待される発生値）｛ｂ００’，ｂ１０’，ｂ１０”，ｂ２０’，ｂ２０”，ｂ３０’，ｂ３０”，ｂ４０’｝は、下式（２８）と考えることができる。なお、厳密には、重み係数ｃ１、ｃ２は、検出画素値に対する中間画素値の感度比率として考えてもよい。この場合、使用する撮像素子の特性を調べて、重み係数ｃ１、ｃ２を予め求めておけばよい。
ｂ００’＝ｃ１・ａ００，
ｂ１０’＝ｃ２・ａ００，ｂ１０”＝ｃ２・ａ１０，
ｂ２０’＝ｃ１・ａ１０，ｂ２０”＝ｃ１・ａ２０，
ｂ３０’＝ｃ２・ａ２０，ｂ３０”＝ｃ２・ａ３０，
ｂ４０’＝ｃ１・ａ３０                    （２８）
【０１４６】
図３２に示すように、上式（２６）に示す中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝の組合せパターンと、上式（２８）に示す参照値｛ｂ００’，ｂ１０’，ｂ１０”，ｂ２０’，ｂ２０”，ｂ３０’，ｂ３０”，ｂ４０’｝とを比較し、誤差が最小になる中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝を尤もらしい推定値として特定する。つまり、下式（２９）に上式（２６）を代入して誤差の評価関数ｅｂを求め、その評価関数ｅｂが最小を取り得る未知数ｂ００を決定し、決定したｂ００を上式（２６）に代入して中間画素値｛ｂ００，ｂ１０，ｂ２０｝を求める。
ｅｂ＝（ｂ００−ｂ００’）２＋
（ｂ１０−ｂ１０’）２＋（ｂ１０−ｂ１０”）２＋
（ｂ２０−ｂ２０’）２＋（ｂ２０−ｂ２０”）２＋
（ｂ３０−ｂ３０’）２＋（ｂ３０−ｂ３０”）２＋
（ｂ４０−ｂ４０’）２                    （２９）
【０１４７】
図２４（第２の高解像化推定処理）で説明したのと同様の理由により、図３３に示すように、検出画素値｛ａ００，ａ１０，ａ２０，ａ３０｝が与えられたときに中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝の取り得る範囲を満足し、且つ上式（２９）の評価関数ｅｂが最小になる中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝を求めることは言うまでもない。
【０１４８】
なお、評価関数ｅｂを下式（３０）により求め、計算量の削減をしてもよい。
ｅｂ＝（ｂ００−ｂ００’）２＋（ｂ１０−ｂ１０’）２＋（ｂ２０−ｂ２０’）２＋
（ｂ３０−ｂ３０’）２＋（ｂ４０−ｂ４０’）２
（３０）
【０１４９】
以上と同様の処理により、図３１の中間画素値｛ｂ０１，ｂ１１，ｂ２１，ｂ３１，ｂ４１｝と、不図示の中間画素値｛ｂ０２，ｂ１２，ｂ２２，ｂ３２，ｂ４２｝、｛ｂ０３，ｂ１３，ｂ２３，ｂ３３，ｂ４３｝を求める。
【０１５０】
次に、中間画素値｛ｂ００，ｂ１０，ｂ２０，ｂ３０，ｂ４０｝、〜｛ｂ０３，ｂ１３，ｂ２３，ｂ３３，ｂ４３｝から最終的な推定画素値を求める手法について説明する。図３５に示すように、中間画素の重なり部分または非重なり部分において、垂直方向に仮想的な最終推定画素値を仮定する。まず代表例として、１列目の中間画素値｛ｂ００，ｂ０１，ｂ０２，ｂ０３｝に着目し、最終推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝を求める手法について説明する。
仮定した中間画素値｛ｂ００，ｂ０１，ｂ０２，ｂ０３｝は、垂直方向における任意のシフト量ｓでの重畳シフトサンプリングにより得られるものである。そのため、中間画素値｛ｂ００，ｂ０１，ｂ０２，ｂ０３｝は、最終推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝のうち隣接する画素値の加算値であると見なすことができ、下式（３１）のように表される。
ｂ００＝ｖ００＋ｖ０１，
ｂ０１＝ｖ０１＋ｖ０２，
ｂ０２＝ｖ０２＋ｖ０３，
ｂ０３＝ｖ０３＋ｖ０４    （３１）
上式（３１）より、ｖ００を未知数（支配変数）として、最終推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝の関係式を下式（３２）のように導くことができる。
ｖ００＝未知数，
ｖ０１＝ｂ００−ｖ００，
ｖ０２＝ｖ００＋（ｂ０１−ｂ００），
ｖ０３＝ｂ０２−ｖ０２，
ｖ０４＝ｂ０３−ｖ０３        （３２）
【０１５１】
上式（３２）に示す推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝の関係（組合せパターン）は複数存在するが、その中から尤もらしい組合せパターンを、中間画素値｛ｂ００，ｂ０１，ｂ０２，ｂ０３｝を手がかりに求める手法について説明する。
【０１５２】
図３５に示すように、推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝は、撮像画像に対して、サンプリングの開口の大きさが異なっている。図２２及び上式（１５）（第２の高解像化推定処理）で説明したのと同様の理由により、推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝として、平均的（確率的）には、サンプリング開口の大きさにより重み付けされた値が高い確率で得られると考えられる。つまり、中間画素値｛ｂ００，ｂ０１，ｂ０２，ｂ０３｝が与えられたとき、中間画素値に対する推定画素値の開口占有率を考慮し、重み係数をｃ３、ｃ４を下式（３３）とする。ここで、０＜ｓ＜ｄ、０＜ｃ３＜１、０＜ｃ４＜１である。
ｃ３＝ｖ００／ｂ００＝ｓ２／（ｓ×ｄ），
ｃ４＝ｖ０１／ｂ００＝［ｓ×（ｄ−ｓ）］／（ｓ×ｄ）    （３３）
【０１５３】
上式（３３）より、推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝の参照値（高確率で期待される発生値）｛ｖ００’，ｖ０１’，ｖ０１”，ｖ０２’，ｖ０２”，ｖ０３’，ｖ０３”，ｖ０４’｝は、下式（３４）と考えることができる。なお、厳密には、重み係数ｃ３、ｃ４は、中間画素値に対する推定画素値の感度比率として考えてもよい。この場合、使用する撮像素子の特性を調べて、重み係数ｃ３、ｃ４を予め求めておけばよい。
ｖ００’＝ｃ３・ｂ００，
ｖ０１’＝ｃ４・ｂ００，ｖ０１”＝ｃ４・ｂ０１，
ｖ０２’＝ｃ３・ｂ０１，ｖ０２”＝ｃ３・ｂ０２，
ｖ０３’＝ｃ４・ｂ０２，ｖ０３”＝ｃ４・ｂ０３，
ｖ０４’＝ｃ３・ｂ０３                  （３４）
【０１５４】
図３６に示すように、上式（３２）に示す推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝の組合せパターンと、上式（３４）に示す参照値｛ｖ００’，ｖ０１’，ｖ０１”，ｖ０２’，ｖ０２”，ｖ０３’，ｖ０３”，ｖ０４’｝とを比較し、誤差が最小になる推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝を尤もらしい推定値として特定する。つまり、下式（３５）に上式（３２）を代入して誤差の評価関数ｅｖを求め、その評価関数ｅｖが最小を取り得る未知数ｖ００を決定し、決定したｖ００を上式（３２）に代入して推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝を求める。
ｅｖ＝（ｖ００−ｖ００’）２＋
（ｖ０１−ｖ０１’）２＋（ｖ０１−ｖ０１”）２＋
（ｖ０２−ｖ０２’）２＋（ｖ０２−ｖ０２”）２＋
（ｖ０３−ｖ０３’）２＋（ｖ０３−ｖ０３”）２＋
（ｖ０４−ｖ０４’）２                      （３５）
【０１５５】
図２８（第２の高解像化推定処理）で説明したのと同様の理由により、図３７に示すように、中間画素値｛ｂ００，ｂ０１，ｂ０２，ｂ０３｝が与えられたときに推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝の取り得る範囲を満足し、且つ上式（３５）の評価関数ｅｖが最小になる推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝を求めることは言うまでもない。
【０１５６】
なお、評価関数ｅｖを下式（３６）により求め、計算量の削減をしてもよい。
ｅｖ＝（ｖ００−ｖ００’）２＋（ｖ０１−ｖ０１’）２＋（ｖ０２−ｖ０２’）２＋
（ｖ０３−ｖ０３’）２＋（ｖ０４−ｖ０４’）２
（３６）
【０１５７】
以上のようにして、最終推定画素値｛ｖ００，ｖ０１，ｖ０２，ｖ０３，ｖ０４｝が５つ同時に求められる。なお、図２９（Ｂ）に示すような画素開口がｓ×ｓで、水平垂直の画素ピッチがｓであるサンプリング値を得たいのであれば、求めた３つの値のうち、最終推定画素値｛ｖ００｝のみを採用してもよい。即ち、上記の推定手法を水平方向及び垂直方向に順次ずらしながら実施していくことにより、最終推定画素値｛ｖｉｊ｝（ｉ，ｊは任意の画素アドレス）を１つずつ順次求めてもよい。
【０１５８】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像制御部、画像変換部、推定演算部、画素値変換部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５９】
１００  被写体、１１０  レンズ、１２０  撮像素子、
１３０  撮像制御部、１３１  画素シフト駆動制御部、
１３２  重畳シフト画像生成部、１４０  画像変換部、
１４１  隣接異色画素抽出部、１４２  輝度画像生成部、
１４３  色差画像生成部、１５０  データ記録部、
１６０  超解像画素値復元推定部、１６１  補間部、
１６２  推定部、１７０  輝度色差値ＲＧＢ値変換部、
１８０  ＲＧＢ３板画像出力部、
Ｃｒ（ａｉｊ），Ｃｂ（ａｉｊ），Ｃｒ（ｖｉｊ），Ｃｂ（ｖｉｊ）  色差値、
Ｃｒ（ｖ’ｉｊ），Ｃｂ（ｖ’ｉｊ）  推定色差値、Ｅｊ  評価関数、
Ｒ（ｖｉｊ），Ｇｒ（ｖｉｊ），Ｇｂ（ｖｉｊ），Ｂ（ｖｉｊ）  画素値、
Ｙ（ａｉｊ），Ｙ（ｖｉｊ）  輝度値、Ｙ（ｖ’ｉｊ）  推定輝度値、
ａｉｊ  変換単位、ｂ００  未知数、ｂｉｊ  中間画素値、
ｆｘ  フレーム、ｐ  画素ピッチ、ｐ／２  シフト量、
ｖｉｊ  画素、ｖ’ｉｊ  推定画素、δｉ０  差分値
【図１】
2013008517.tif 000010
【図２】
2013008517.tif 000011
【図３】
2013008517.tif 000012
【図４】
2013008517.tif 000013
【図５】
2013008517.tif 000014
【図６】
2013008517.tif 000015
【図７】
2013008517.tif 000016
【図８】
2013008517.tif 000017
【図９】
2013008517.tif 000018
【図１０】
2013008517.tif 000019
【図１１】
2013008517.tif 000020
【図１２】
2013008517.tif 000021
【図１３】
2013008517.tif 000022
【図１４】
2013008517.tif 000023
【図１５】
2013008517.tif 000024
【図１６】
2013008517.tif 000025
【図１７】
2013008517.tif 000026
【図１８】
2013008517.tif 000027
【図１９】
2013008517.tif 000028
【図２０】
2013008517.tif 000029
【図２１】
2013008517.tif 000030
【図２２】
2013008517.tif 000031
【図２３】
2013008517.tif 000032
【図２４】
2013008517.tif 000033
【図２５】
2013008517.tif 000034
【図２６】
2013008517.tif 000035
【図２７】
2013008517.tif 000036
【図２８】
2013008517.tif 000037
【図２９】
2013008517.tif 000038
【図３０】
2013008517.tif 000039
【図３１】
2013008517.tif 000040
【図３２】
2013008517.tif 000041
【図３３】
2013008517.tif 000042
【図３４】
2013008517.tif 000043
【図３５】
2013008517.tif 000044
【図３６】
2013008517.tif 000045
【図３７】
2013008517.tif 000046
【国際調査報告】
2013008517.tif 000047
2013008517.tif 000048