(57)【要約】【課題】撮像画像からひずみを取り除くことができる撮像処理装置を提供すること。【解決手段】マトリックス状に配置された複数の画素を有する固体撮像素子部１１と、固体撮像素子部１１を水平方向に走査する水平走査回路部１２と、固体撮像素子部１１を垂直方向に走査する垂直走査回路部１３と、固体撮像素子部１１の奇数列の画素を選択し、垂直方向の一方端部側から順次走査して、奇数列の画素から信号を読み出し、固体撮像素子部１１の偶数列の画素を選択し、垂直方向の他方端部側から順次走査して、偶数列の画素から信号を読み出すように、水平走査回路部１２と垂直走査回路部１３を制御する制御部１４と、奇数列の画素から読み出した信号に基づいて生成した第１画像と、偶数列の画素から読み出した信号に基づいて生成した第２画像を合成処理する合成処理部１５を備える。【選択図】図１
2014093630.tif 000002
【特許請求の範囲】
【請求項１】
マトリックス状に配置された複数の画素を有する固体撮像素子部と、
前記固体撮像素子部を水平方向に走査する水平走査回路部と、
前記固体撮像素子部を垂直方向に走査する垂直走査回路部と、
前記固体撮像素子部の奇数列の画素を選択し、垂直方向の一方端部側から順次走査して、前記奇数列の画素から信号を読み出し、前記固体撮像素子部の偶数列の画素を選択し、垂直方向の他方端部側から順次走査して、前記偶数列の画素から信号を読み出すように、前記水平走査回路部と前記垂直走査回路部を制御する制御部と、
前記奇数列の画素から読み出した信号に基づいて生成した第１画像と、前記偶数列の画素から読み出した信号に基づいて生成した第２画像を合成処理する合成処理部を備える撮像処理装置。
【請求項２】
前記水平走査回路部は、前記奇数列の画素を選択する第１水平走査回路部と、前記偶数列の画素を選択する第２水平走査回路部とにより構成され、
前記垂直走査回路部は、垂直方向の一方端部側から順次走査して、前記奇数列の画素から信号を読み出す第１垂直走査回路部と、垂直方向の他方端部側から順次走査して、前記偶数列の画素から信号を読み出す第２垂直走査回路部とにより構成され、
前記制御部は、前記第１垂直走査回路部による走査と、前記第２垂直走査回路部による走査が同一のタイミングで行われるように制御する請求項１記載の撮像処理装置。
【請求項３】
前記合成処理部は、
前記第１画像と前記第２画像を比較して差異部分を検出する差異検出部と、
前記差異検出部により検出された差異部分が含まれている画像を前記第１画像及び前記第２画像のそれぞれから切り出す切出し部と、
前記切出し部により切出された前記第１画像の切出し画像と、前記第２画像の切出し画像を対比し、それぞれの画像の水平方向と垂直方向の傾きを調整しながら差異を最小化する処理部と、
前記処理部による処理後の前記第１画像の切出し画像を、前記切出し部により切り出された前記第１画像の対応箇所に嵌め込み、前記処理部による処理後の前記第２画像の切出し画像を、前記切出し部により切り出された前記第２画像の対応箇所に嵌め込む嵌込み部と、
前記嵌込み部により切出し画像が嵌めこまれた前記第１画像と前記第２画像を合成する合成部とを備える請求項１記載の撮像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像を処理する撮像処理装置に関する。
【背景技術】
【０００２】
現在、デジタルカメラやビデオカメラに搭載されるイメージセンサはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  ：電荷結合素子）とＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属−酸化物半導体）イメージセンサとに大別され、低消費電力や高速読み出し、オンチップでの信号処理のし易さ等から、最近はＣＭＯＳイメージセンサが主流となっている。
【０００３】
一般的なＣＭＯＳイメージセンサ１０１の構成を図１１に示す。２次元に配列された画素Ｐのそれぞれには、行を選択する行選択線ｘ１〜ｘｎと、画素内の信号を読み出す信号読み出し線ｙ１〜ｙｍが接続されている。行選択線ｘ１〜ｘｎは、垂直走査回路部１０２に、信号読み出し線ｙ１〜ｙｍは、水平走査回路部１０３に、それぞれ接続されている。また、各画素内には、入射した光を電荷に変換するフォトダイオードと信号増幅回路があり、通常、１画素内には３〜４個のトランジスタがある。また、水平走査回路部１０３の前段や後段には、ＡＤ変換器やノイズ抑制回路等が接続される。
【０００４】
ＣＭＯＳイメージセンサ１０１の基本的な走査について説明する。光が入射されると、フォトダイオードで光電変換が行われる。変換された信号電荷は、時間とともに各画素に蓄積される。
【０００５】
垂直走査回路部１０２により、例えば、最上段の行選択線ｘ１が選択され、水平方向の画素１ラインが選択された状態になる。次に、水平走査回路部１０３により、連続して、例えば、左から右に信号読み出し線が順次選択される。すると、選択された行選択線と信号読み出し線の交点に当たる画素の信号電荷が読み出される。
【０００６】
１ラインの信号を全て読み終わると、垂直走査回路部１０２が最上段から２番目の行選択線ｘ２を選択し、このラインの画素の信号読み出しが開始される。この動作を繰り返し、全画素の信号を読み出す。この例では水平方向を順次スイッチングして１画素ごとの信号を読み出す方式について説明したが、水平の１ラインに関しては同時に読み出すことも可能である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−３１１５１５号公報
【非特許文献】
【０００８】
【非特許文献１】電子情報通信学会編  現代電子情報通信選書「知識の森」画像入力とカメラ、オーム社、２０１２年６月、ｐ７４−７５
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、ＣＭＯＳイメージセンサ１０１では、信号蓄積時間の開始と終了の時間が１行ごとにずれており、最上段のライン（行選択線ｘ１）に配置されている画素と最下段のライン（行選択線ｘｎ）に配置されている画素とでは、ほぼ１フレーム期間のずれが生じることになる。
【００１０】
これは、水平１ラインごとに順次シャッターを切っていることに相当し、ローリングシャッター方式と呼ばれる。ローリングシャッター方式を採用した場合、原理的に、速く動いている被写体の像が歪んでしまうことがある。
【００１１】
ここで、高速で移動する被写体をローリングシャッター方式で撮像したときの撮像画像について図１２を用いて説明する。なお、ＣＭＯＳイメージセンサ１０１は、水平ラインを最上段から順次走査するものとする。
【００１２】
ＣＯＭＳイメージセンサ１０１は、図１２（ａ）に示すような高速で左方向に移動している被写体をローリングシャッター方式で撮像すると、図１２（ｂ）に示すように撮像画像がひずんでしまう。これは、水平ラインを順次読み出していく間に、被写体が左方向に進んでいくため、撮像画像が平行四辺形状にひずんでしまうからである。
【００１３】
これを解決するために、信号蓄積時間の開始及び終了を全画素で同時に行う、グローバルシャッター方式が提案されている（特許文献１、非特許文献１）。グローバルシャッター方式で撮像すると、水平ラインごとの遅延が生じないため、撮像画像のひずみは、生じなくなる。
【００１４】
しかし、ローリングシャッター方式からグローバルシャッター方式に変更すると、ＣＭＯＳイメージセンサ１０１は、各画素内に、信号電荷を一斉に転送し、保持するためのメモリが必要になる。さらに、グローバルシャッター方式の採用により、画素内のトランジスタの数が増加し、それに伴ってフォトダイオード部の開口率が下がるために感度が低下したり、リセットノイズの除去が困難になる等のデメリットがある。
【００１５】
本発明は、ローリングシャッター方式を採用しつつ、補正により撮像画像からひずみを取り除くことができる撮像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明に係る撮像処理装置は、マトリックス状に配置された複数の画素を有する固体撮像素子部と、前記固体撮像素子部を水平方向に走査する水平走査回路部と、前記固体撮像素子部を垂直方向に走査する垂直走査回路部と、前記固体撮像素子部の奇数列の画素を選択し、垂直方向の一方端部側から順次走査して、前記奇数列の画素から信号を読み出し、前記固体撮像素子部の偶数列の画素を選択し、垂直方向の他方端部側から順次走査して、前記偶数列の画素から信号を読み出すように、前記水平走査回路部と前記垂直走査回路部を制御する制御部と、前記奇数列の画素から読み出した信号に基づいて生成した第１画像と、前記偶数列の画素から読み出した信号に基づいて生成した第２画像を合成処理する合成処理部を備える構成である。
【００１７】
かかる構成によれば、撮像処理装置は、固体撮像素子部の奇数列の画素を選択し、垂直方向の一方端部側から順次走査して、奇数列の画素から信号を読み出して生成した第１画像と、固体撮像素子部の偶数列の画素を選択し、垂直方向の他方端部側から順次走査して、偶数列の画素から信号を読み出して生成した第２画像とを合成処理するので、高速で移動している被写体を撮像しても、撮像画像からひずみを取り除くことができる。
【００１８】
撮像処理装置では、前記水平走査回路部は、前記奇数列の画素を選択する第１水平走査回路部と、前記偶数列の画素を選択する第２水平走査回路部とにより構成され、前記垂直走査回路部は、垂直方向の一方端部側から順次走査して、前記奇数列の画素から信号を読み出す第１垂直走査回路部と、垂直方向の他方端部側から順次走査して、前記偶数列の画素から信号を読み出す第２垂直走査回路部とにより構成され、前記制御部は、前記第１垂直走査回路部による走査と、前記第２垂直走査回路部による走査が同一のタイミングで行われるように制御する構成でもよい。
【００１９】
かかる構成によれば、撮像処理装置は、同一のタイミングで生成した第１画像と第２画像を合成処理するので、高速で移動している被写体を撮像しても、撮像画像からひずみを取り除くことができる。
【００２０】
撮像処理装置では、前記合成処理部は、前記第１画像と前記第２画像を比較して差異部分を検出する差異検出部と、前記差異検出部により検出された差異部分が含まれている画像を前記第１画像及び前記第２画像のそれぞれから切り出す切出し部と、前記切出し部により切出された前記第１画像の切出し画像と、前記第２画像の切出し画像を対比し、それぞれの画像の水平方向と垂直方向の傾きを調整しながら差異を最小化する処理部と、前記処理部による処理後の前記第１画像の切出し画像を、前記切出し部により切り出された前記第１画像の対応箇所に嵌め込み、前記処理部による処理後の前記第２画像の切出し画像を、前記切出し部により切り出された前記第２画像の対応箇所に嵌め込む嵌込み部と、前記嵌込み部により切出し画像が嵌めこまれた前記第１画像と前記第２画像を合成する合成部とを備える構成でもよい。
【００２１】
かかる構成によれば、撮像処理装置は、差異検出部と、切出し部と、処理部と、嵌込み部と、合成部とを備える合成処理部により第１画像と第２画像を合成するので、高速で移動している被写体を撮像しても、撮像画像からひずみを取り除くことができる。
【発明の効果】
【００２２】
本発明によれば、撮像画像からひずみを取り除くことができる。
【図面の簡単な説明】
【００２３】
【図１】ＣＭＯＳイメージセンサの構成を示す図である。
【図２】合成処理部の動作についての説明に供する図である。
【図３】ＣＭＯＳイメージセンサの構成の概念を示す図である。
【図４】ＣＭＯＳイメージセンサの構成の一例を示す図である。
【図５】ＣＭＯＳイメージセンサの構成の一例を示す図である。
【図６】ＣＭＯＳイメージセンサの構成の一例を示す図である。
【図７】合成処理部の構成を示す図である。
【図８】ＣＭＯＳイメージセンサにより第１画像と第２画像を合成する処理の流れについて示すフローチャートである。
【図９】ＣＭＯＳイメージセンサにより第１画像と第２画像を合成する処理の流れについての説明に供する図である。
【図１０】一方の画像において被写体の陰に隠れた部分を、他方の画像によって補間する処理についての説明に供する図である。
【図１１】従来のＣＭＯＳイメージセンサの構成を示す図である。
【図１２】高速で移動する被写体をＣＭＯＳイメージセンサで撮像したときの撮像画像についての説明に供する図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態の一例について図を参照しながら説明する。以下では、撮像処理装置の一例として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサについて説明するが、これに限定されない。また、以下では、ＣＭＯＳイメージセンサにより高速で移動している被写体を撮像するものとする。
【００２５】
ＣＭＯＳイメージセンサ１は、図１に示すように、固体撮像素子部１１と、水平走査回路部１２と、垂直走査回路部１３と、制御部１４と、合成処理部１５と、を備える。
固体撮像素子部１１は、マトリックス状に配置された複数の画素Ｐを有する。
水平走査回路部１２は、固体撮像素子部１１を水平方向に走査する。
垂直走査回路部１３は、固体撮像素子部１１を垂直方向に走査する。
【００２６】
ここで、固体撮像素子部１１と、水平走査回路部１２と、垂直走査回路部１３の接続関係について説明する。
固体撮像素子部１１は、画素Ｐが２次元に複数個配列されており、各画素Ｐには、行を選択する行選択線ａ１〜ａｎと、各画素Ｐ内に蓄えられている信号を読み出す信号読み出し線ｂ１〜ｂｍが接続されている。
行選択線ａ１〜ａｎは、垂直走査回路部１３に接続され、信号読み出し線ｂ１〜ｂｍは、水平走査回路部１２に接続されている。
【００２７】
また、各画素Ｐ内には、入射した光を電荷に変換するフォトダイオードと信号増幅回路がある。通常、１画素Ｐ内には、３〜４個のトランジスタがある。また、水平走査回路部１２の前段や後段には、ＡＤ変換器やノイズ抑制回路等が接続される。
【００２８】
制御部１４は、固体撮像素子部１１の奇数列の画素を選択し、垂直方向の一方端部側から順次走査して、奇数列の画素から信号を読み出すように水平走査回路部１２と垂直走査回路部１３を制御する。また、制御部１４は、固体撮像素子部１１の偶数列の画素を選択し、垂直方向の他方端部側から順次走査して、偶数列の画素から信号を読み出すように水平走査回路部１２と垂直走査回路部１３を制御する。
【００２９】
合成処理部１５は、奇数列の画素から読み出した信号に基づいて生成した第１画像Ｇ１と、偶数列の画素から読み出した信号に基づいて生成した第２画像Ｇ２を合成処理する。
【００３０】
具体的には、垂直走査回路部１３は、制御部１４の制御に応じて、垂直方向の一方端部側（例えば、行選択線ａ１）から他方端部側（例えば、行選択線ａｎ）に向かって（図１に示す上から下へ向かう矢印Ａの方向）順次走査する。このとき、水平走査回路部１２は、固体撮像素子部１１の奇数列の画素、すなわち、奇数列の信号読み出し線ｂ１、ｂ３、ｂ５・・・を選択している。
【００３１】
水平走査回路部１２は、奇数列の画素から読み出した信号に基づいて生成した第１画像Ｇ１を合成処理部１５に送信する。なお、水平走査回路部１２からは、奇数列の画素から読み出した信号を合成処理部１５に送信する構成でもよい。このような構成の場合、合成処理部１５は、奇数列の画素から読み出した信号に基づいて第１画像Ｇ１を生成する。
【００３２】
また、垂直走査回路部１３は、制御部１４の制御に応じて、垂直方向の他方端部側（例えば、行選択線ａｎ）から一方端部側（例えば、行選択線ａ１）に向かって（図１に示す下から上へ向かう矢印Ｂの方向）順次走査する。このとき、水平走査回路部１２は、固体撮像素子部１１の偶数列の画素、すなわち、偶数列の信号読み出し線ｂ２、ｂ４、ｂ６・・・を選択している。
【００３３】
水平走査回路部１２は、偶数列の画素から読み出した信号に基づいて生成した第２画像Ｇ２を合成処理部１５に送信する。なお、水平走査回路部１２からは、偶数列の画素から読み出した信号を合成処理部１５に送信する構成でもよい。このような構成の場合、合成処理部１５は、偶数列の画素から読み出した信号に基づいて第２画像Ｇ２を生成する。
【００３４】
合成処理部１５は、第１画像Ｇ１（図２（ａ）を参照）と、第２画像（図２（ｂ）を参照）を合成処理し、図２（ｃ）に示すような撮像画像を生成する。
【００３５】
このようにして、ＣＭＯＳイメージセンサ１は、固体撮像素子部１１の奇数列の画素を選択し、垂直方向の一方端部側から順次走査して、奇数列の画素から信号を読み出して生成した第１画像Ｇ１と、固体撮像素子部１１の偶数列の画素を選択し、垂直方向の他方端部側から順次走査して、偶数列の画素から信号を読み出して生成した第２画像Ｇ２とを合成処理するので、高速で移動している被写体を撮像しても、撮像画像からひずみを取り除くことができる。
【００３６】
以下に、ＣＭＯＳイメージセンサ１の具体的な構成について説明するが、ＣＭＯＳイメージセンサ１は、図３に示すように、マトリックス状に配列された複数の画素Ｐを有する固体撮像素子部１１のうち、奇数列ではマトリックス状に配列された複数画素の一方端部の行から順次信号を読み出し（図３に示す例では、上端部の行から下端部の行に走査する）、偶数列ではマトリックス状に配列された複数画素の他方端部の行から順次信号を読み出す（図３に示す例では、下端部の行から上端部の行に走査する）構成であればよく、限定されない。なお、奇数列の読み出しタイミングと偶数列の読み出しタイミングは、同一であるものとする。
【００３７】
水平走査回路部１２は、図４に示すように、奇数列の画素Ｐを選択する第１水平走査回路部１２ａと、偶数列の画素を選択する第２水平走査回路部１２ｂとにより構成される。
垂直走査回路部１３は、垂直方向の一方端部側から順次走査して、奇数列の画素から信号を読み出す第１垂直走査回路部１３ａと、垂直方向の他方端部側から順次走査して、偶数列の画素から信号を読み出す第２垂直走査回路部１３ｂとにより構成される。
【００３８】
具体的には、第１垂直走査回路部１３ａは、制御部１４の制御に応じて、垂直方向の一方端部側（例えば、行選択線ａ１）から他方端部側（例えば、行選択線ａｎ）に向かって順次走査する。このとき、第１水平走査回路部１２ａは、固体撮像素子部１１の奇数列の画素、すなわち、奇数列の信号読み出し線ｂ１、ｂ３、ｂ５・・・を選択している。
【００３９】
第１水平走査回路部１２ａは、奇数列の画素から読み出した信号に基づいて生成した第１画像Ｇ１を合成処理部１５に送信する。なお、第１水平走査回路部１２ａからは、奇数列の画素から読み出した信号を合成処理部１５に送信する構成でもよい。このような構成の場合、合成処理部１５は、奇数列の画素から読み出した信号に基づいて第１画像Ｇ１を生成する。
【００４０】
また、第２垂直走査回路部１３ｂは、制御部１４の制御に応じて、垂直方向の他方端部側（例えば、行選択線ｃｎ）から一方端部側（例えば、行選択線ｃ１）に向かって順次走査する。このとき、第２水平走査回路部１２ｂは、固体撮像素子部１１の偶数列の画素、すなわち、偶数列の信号読み出し線ｂ２、ｂ４、ｂ６・・・を選択している。
【００４１】
第２水平走査回路部１２ｂは、偶数列の画素から読み出した信号に基づいて生成した第２画像Ｇ２を合成処理部１５に送信する。なお、第２水平走査回路部１２ｂからは、偶数列の画素から読み出した信号を合成処理部１５に送信する構成でもよい。このような構成の場合、合成処理部１５は、偶数列の画素から読み出した信号に基づいて第２画像Ｇ２を生成する。
【００４２】
制御部１４は、第１垂直走査回路部１３ａによる走査と、第２垂直走査回路部１３ｂによる走査が同一のタイミングで行われるように制御する。
【００４３】
このようにして、ＣＭＯＳイメージセンサ１は、同一のタイミングで生成した第１画像Ｇ１と第２画像Ｇ２を合成処理するので、高速で移動している被写体を撮像しても、撮像画像からひずみを取り除くことができる。
【００４４】
ここで、ＣＭＯＳイメージセンサ１の走査について説明する。
ＣＭＯＳイメージセンサ１は、光が入射されると、フォトダイオードで光電変換が行われる。変換された信号電荷は、時間とともに各画素に蓄積される。
【００４５】
第１垂直走査回路部１３ａは、最上段の行選択線ａ１を選択する。これにより、行選択線ａ１に接続されている水平方向の画素１ラインが選択された状態になる。第１垂直走査回路部１３ａによる行選択線ａ１の選択と同時に、第２垂直走査回路部１３ｂは、最下段の行選択線ｃｎを選択する。これにより、行選択線ｃｎに接続されている水平方向の画素１ラインが選択された状態になる。
【００４６】
つぎに、第１水平走査回路部１２ａは、左から右に向かって奇数番目の信号読み出し線ｂ１、ｂ３、ｂ５・・・を順次選択し、対応する画素から信号電荷を読み出す。第１水平走査回路部１２ａによる信号電荷の読み出しと同時に、第２水平走査回路部１２ｂは、左から右に向かって偶数番目の信号読み出し線ｂ２、ｂ４、ｂ６・・・を順次選択し、対応する画素から信号電荷を読み出す。
【００４７】
固体撮像素子部１１において、最左端から奇数番目の列に属する画素、すなわち、信号読み出し線ｂ１、ｂ３、ｂ５・・・に接続されている画素は、第１垂直走査回路部１３ａにより上から下に向かって走査される。また、固体撮像素子部１１において、最左端から偶数番目の列に属する画素、すなわち、信号読み出し線ｂ２、ｂ４、ｂ６・・・に接続されている画素は、第２垂直走査回路部１３ｂにより下から上に向かって走査される。
このようにして、ＣＭＯＳイメージセンサ１は、固体撮像素子部１１を構成する全画素の信号を読み出す。
なお、本実施例では、水平方向を順次スイッチングして１画素ごとの信号を読み出す方式について説明したが、水平の１ラインについては同時に読み出す方式でもよい。
【００４８】
また、第１水平走査回路部１２ａと第２水平走査回路部１２ｂが配置される位置は、固体撮像素子部１１の上方と下方に分けなくてもよく、例えば、図５に示すように、下方に集めてもよい。
【００４９】
また、第１垂直走査回路部１３ａと第２垂直走査回路部１３ｂが配置される位置は、固体撮像素子部１１の左側と右側に分けなくてもよく、例えば、図５に示すように、左側に集めてもよい。
【００５０】
また、ＣＭＯＳイメージセンサ１は、図６に示すように、水平走査回路部１２が一つで構成されてもよい。このような構成によれば、水平走査回路部１２は、奇数列の画素から読み出した信号と、偶数列の画素から読み出した信号とが交互に入力される。具体的には、水平走査回路部１２は、画素Ｐ１１の信号、画素Ｐ２ｎの信号、画素Ｐ３１の信号、画素Ｐ４ｎの信号・・・と、各画素の信号が点順次に入力される。
【００５１】
水平走査回路部１２は、奇数列の画素から読み出した信号に基づいて第１画像Ｇ１を生成し、偶数列の画素から読み出した信号に基づいて第２画像Ｇ２を生成する。水平走査回路部１２は、第１画像Ｇ１と第２画像Ｇ２を合成処理部１５に送信する。
【００５２】
なお、水平走査回路部１２は、点順次に入力される奇数列の画素から読み出した信号と、偶数列の画素から読み出した信号を合成処理部１５に送信する構成でもよい。このような構成の場合、合成処理部１５は、奇数列の画素から読み出した信号に基づいて第１画像Ｇ１を生成し、偶数列の画素から読み出した信号に基づいて第２画像Ｇ２を生成する。
【００５３】
合成処理部１５は、図７に示すように、差異検出部２１と、切出し部２２と、処理部２３と、嵌込み部２４と、合成部２５と、を備える。
差異検出部２１は、入力された第１画像Ｇ１と第２画像Ｇ２を比較して差異部分を検出する。
【００５４】
切出し部２２は、差異検出部２１により検出された差異部分が含まれている画像を第１画像Ｇ１及び第２画像Ｇ２のそれぞれから切り出す。
処理部２３は、切出し部２２により切出された第１画像Ｇ１の切出し画像と、第２画像Ｇ２の切出し画像を対比し、それぞれの画像の水平方向と垂直方向の傾きを調整しながら差異を最小化する。
【００５５】
嵌込み部２４は、処理部２３による処理後の第１画像Ｇ１の切出し画像を、切出し部２２により切り出された第１画像Ｇ１の対応箇所に嵌め込み、処理部２３による処理後の第２画像Ｇ２の切出し画像を、切出し部２２により切り出された第２画像Ｇ２の対応箇所に嵌め込む。
合成部２５は、嵌込み部２４により切出し画像が嵌めこまれた第１画像Ｇ１と第２画像Ｇ２を合成する。
【００５６】
ここで、１フレーム期間内での物体速度は、一定と考えてよい。よって、図２（ａ）、（ｂ）に示すように、画面の左右方向に高速に移動する物体では、物体が長方形であれば平行四辺形に変形する。すなわち、画面水平方向に剪断変形が生じていることと同等である。処理部２３は、第１画像Ｇ１及び第２画像Ｇ２から切り出した画像のそれぞれに、逆方向の剪断変形を連続的に加え、両物体の変化差分を最小化することによって、歪の補正を行う。
【００５７】
また、画面の上から下へ高速に移動する物体では、第１画像Ｇ１は、上下に延び、第２画像Ｇ２は、上下に圧縮した像が得られる。画面の下から上へ高速に移動する物体ではその逆となる。処理部２３は、第１画像Ｇ１及び第２画像Ｇ２から切り出した画像それぞれに、片方が圧縮処理のときにもう片方は延伸処理のように、逆方向の処理を連続的に加え、両物体の変化差分を最小化することによって、歪の補正を行う。
【００５８】
また、実際には、画面の斜め方向に高速で移動する場合が多いため、処理部２３は、上述した左右方向、及び上下方向の両方の処理を同時、又は逐次行うことで歪の補正を行う。
【００５９】
嵌込み部２４は、補正が完了したら、すなわち、第１画像Ｇ１と第２画像Ｇ２から切り出したそれぞれの画像の差分が最も小さくなったら、それぞれの切出し画像を元の第１画像Ｇ１と第２画像Ｇ２に嵌め込む処理を行う。
合成部２５は、欠損列を復元させ、第１画像Ｇ１と第２画像Ｇ２を合成することで処理が完了する。
【００６０】
このようにして、ＣＭＯＳイメージセンサ１は、高速で移動している被写体を撮像しても、撮像画像からひずみを取り除くことができる。
【００６１】
ここで、上述したＣＭＯＳイメージセンサ１により第１画像Ｇ１と第２画像Ｇ２を合成する処理の流れについて、図８に示すフローチャートと、図９を参照しながら説明する。なお、奇数番目の信号読み出し線ｂ１、ｂ３、ｂ５・・・に接続された画素から読み出した信号に基づいて生成した第１画像Ｇ１は、図９（ａ）に示すように、高速で移動するバスの画像のみがひずんでおり、遅延によりバスの屋根からタイヤ付近に掛けて斜め前方に傾いた画像になっている。また、偶数番目の信号読み出し線ｂ２、ｂ４、ｂ６・・・に接続された画素から読み出した信号に基づいて生成した第２画像Ｇ２は、図９（ｂ）に示すように、高速で移動するバスの画像のみがひずんでおり、遅延によりタイヤからバスの屋根付近に掛けて斜め前方に傾いた画像になっている。
【００６２】
また、行選択線の数をｎ本、すなわち、画素が垂直方向にｎ画素並んでいるとし、１フレーム時間をｔ秒とすれば、便宜的にブランキング期間を無視した連続読み出しをしたと仮定すると、１ラインの走査開始から終了までの時間はｔ／ｎと表すことができる。
【００６３】
第１画像Ｇ１における水平１ライン毎の走査時間は、上（バスの屋根付近）からｔ／ｎ、２ｔ／ｎ、３ｔ／ｎ、・・・、（ｎ‐１）ｔ／ｎ、ｎｔ／ｎ＝ｔ、となる。また、第２画像Ｇ２における水平１ライン毎の走査時間は、下（タイヤ付近）からｔ／ｎ、２ｔ／ｎ、３ｔ／ｎ、・・・、（ｎ‐１）ｔ／ｎ、ｎｔ／ｎ＝ｔ、となる。
【００６４】
つまり、水平ラインのｎ／２本目を走査し終わった時、すなわち、画面垂直方向での中央で同時刻の情報が得られ、ここを境に第１画像Ｇ１と第２画像Ｇ２は、画面垂直方向で時間が対象になっている。
【００６５】
ステップＳＴ１において、差異検出部２１は、第１画像Ｇ１と第２画像Ｇ２の欠損処理（補間処理）を行う。第１画像Ｇ１と第２画像Ｇ２は、実際には、１列ごとに飛び飛びの情報で生成されているため、欠損列が発生している。第１画像Ｇ１は、偶数番目の列に対応する画像が欠損している。第２画像Ｇ２は、奇数番目の列に対応する画像が欠損している。
【００６６】
差異検出部２１は、第１画像Ｇ１及び第２画像Ｇ２に対して、欠損している列に隣接している列の画像に基づいて、補間処理を行う。
【００６７】
ステップＳＴ２において、差異検出部２１は、第１画像Ｇ１と第２画像Ｇ２を比較して差異部分を検出する。
【００６８】
ステップＳＴ３において、差異検出部２１は、ステップＳＴ２の工程による比較により、差異部分が検出されたかどうかを判断する。差異部分が検出されたと判断された場合（Ｙｅｓ）には、ステップＳＴ４に進み、差異部分が検出されなかったと判断された場合（Ｎｏ）には、ステップＳＴ９に進む。なお、第１画像Ｇ１と第２画像Ｇ２に差異がない場合には、高速で移動する物体は含まれていない判断し、ステップＳＴ１で行った欠損列の補完処理を適宜復元した後に、第１画像Ｇ１と第２画像Ｇ２を合成して、ひずみ補正の処理は終了する。
【００６９】
ステップＳＴ４において、切出し部２２は、差異検出部２１により検出された差異部分が含まれている画像を第１画像Ｇ１及び第２画像Ｇ２のそれぞれから切り出す。例えば、切出し部２２は、第１画像Ｇ１（図９（ａ）を参照）と第２画像Ｇ２（図９（ｂ）を参照）を比較して、変化のない部分、すなわち１フレーム期間内では停止しているとみなすことのできる部分（例えば、背景等）から、変化のある部分、すなわち、高速で移動している被写体（バスの画像）を切り出す。
【００７０】
ステップＳＴ５において、処理部２３は、切出し部２２により切出された第１画像Ｇ１からの切出し画像Ｇ１１（図９（ｃ）を参照）と、第２画像Ｇ２からの切出し画像Ｇ２２（図９（ｄ）を参照）に対して、それぞれ補正処理を行う。具体的には、処理部２３は、それぞれの画像の水平方向又は垂直方向の傾きを変更する。
【００７１】
ステップＳＴ６において、処理部２３は、ステップＳＴ５の工程により補正処理を行った切出し画像Ｇ１１と切出し画像Ｇ２２の比較を行う。
【００７２】
ステップＳＴ７において、処理部２３は、ステップＳＴ６の工程による比較により、差異部分が検出されたかどうかを判断する。差異部分が検出されたと判断された場合（Ｙｅｓ）には、ステップＳＴ５に戻り、差異部分が検出されなかったと判断された場合（Ｎｏ）には、ステップＳＴ８に進む。
【００７３】
ここで、ステップＳＴ５からステップＳＴ７の工程における処理について、具体的に説明する。
処理部２３は、切出し画像Ｇ１１に対して、水平方向の傾きを変更する処理（例えば、３０度）を行い、切出し画像Ｇ２２に対して、水平方向の傾きを変更する処理（例えば、−３０度）を行う。つまり、処理部２３は、切出し画像Ｇ１１に対して行った処理の逆の処理を切り出し画像Ｇ２２に対して行う。
【００７４】
処理部２３は、切出し画像Ｇ１１と切出し画像Ｇ２２の差異が最小になるまで、それぞれの画像に対して、水平方向と垂直方向の傾きを変更する処理を行う。処理部２３は、処理後の切出し画像Ｇ１１（図９（ｅ）を参照）と切出し画像Ｇ２２（図９（ｆ）を参照）を比較し、差異部分が検出されなければ、ステップＳＴ８の工程に進む。
【００７５】
ステップＳＴ８において、嵌込み部２４は、処理部２３による処理後の切出し画像Ｇ１１を、ステップＳＴ４の工程で差異部分が切出された第１画像Ｇ１に嵌め込み、また、処理部２３による処理後の切出し画像Ｇ２２を、ステップＳＴ４の工程で差異部分が切出された第２画像Ｇ２に嵌め込む処理を行う。
【００７６】
ステップＳＴ９において、合成部２５は、それぞれの画像に対して、ステップＳＴ１の工程で行った欠損列の補正を復元する。具体的には、合成部２５は、ステップＳＴ８の工程により切出し画像Ｇ１１が嵌めこまれた第１画像Ｇ１に対して、ステップＳＴ１の工程で補間処理した箇所の欠損を復元する。また、合成部２５は、ステップＳＴ８の工程により切出し画像Ｇ２２が嵌めこまれた第２画像Ｇ２に対しても、同様に、ステップＳＴ１の工程で補間処理した箇所の欠損を復元する。
【００７７】
ステップＳＴ１０において、合成部２５は、第１画像Ｇ１と第２画像Ｇ２を合成し、合成画像（図９（ｇ）を参照）を生成する。
【００７８】
このようにして、ＣＭＯＳイメージセンサ１は、高速で移動している被写体を撮像しても、撮像画像からひずみを取り除くことができる。
【００７９】
なお、厳密には、ステップＳＴ８の工程による嵌め込む処理により、第１画像Ｇ１には、処理前の切出し画像Ｇ１１（図９（ｃ））と処理後の切出し画像Ｇ１１（図９（ｅ））の差分（図１０中のａとｂ）が生じる。当該差分は、バスの画像のひずみによって陰になった部分である。
【００８０】
また、同様に、第２画像Ｇ２には、処理前の切出し画像Ｇ２２（図９（ｄ））と処理後の切出し画像Ｇ２２（図９（ｆ））の差分（図１０中のｃとｄ）が生じる。
ところで、第１画像Ｇ１に生じている差分の位置に対応する画像は、第２画像Ｇ２に表示されている。また、第２画像Ｇ２に生じている差分の位置に対応する画像は、第１画像Ｇ１に表示されている。
【００８１】
ステップＳＴ１０の工程によって、第１画像Ｇ１と第２画像Ｇ２を合成することによって、第１画像Ｇ１に生じている差分を第２画像Ｇ２で補い、第２画像Ｇ２に生じている差分を第１画像Ｇ１で補うことができる。
このようにして、ＣＭＯＳイメージセンサ１は、一方の画像において被写体の陰に隠れた部分を、他方の画像によって補間することができる。
【００８２】
また、本実施例では、主に撮像処理装置の構成と動作について説明したが、これに限られず、各構成要素を備え、撮像画像からひずみを取り除くように補正する制御方法、及びプログラムとして構成されてもよい。
【００８３】
さらに、撮像処理装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【００８４】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８５】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【００８６】
１  ＣＭＯＳイメージセンサ
１１  固体撮像素子部
１２  水平走査回路部
１３  垂直走査回路部
１４  制御部
１５  合成処理部
２１  差異検出部
２２  切出し部
２３  処理部
２４  嵌込み部
２５  合成部
【図１】
2014093630.tif 000003
【図２】
2014093630.tif 000004
【図３】
2014093630.tif 000005
【図４】
2014093630.tif 000006
【図５】
2014093630.tif 000007
【図６】
2014093630.tif 000008
【図７】
2014093630.tif 000009
【図８】
2014093630.tif 000010
【図９】
2014093630.tif 000011
【図１０】
2014093630.tif 000012
【図１１】
2014093630.tif 000013
【図１２】
2014093630.tif 000014