(57)【要約】【課題】  情報欠落画素を除外した元画像に対してそのまま所要の処理を行うことができ、画像処理の負担を軽減して動作速度の向上を図る。【解決手段】  カラー撮像デバイスで作られた画像を取り込む取り込み工程（Ｓ１）と、前記取り込み工程で取り込まれた画像を所定方向に４５度回転させて新たな座標系の回転画像を生成する第一の座標変換工程（Ｓ２）と、前記回転画像に対して画像処理を行う画像処理工程（Ｓ３）と、前記画像処理後の画像を前記所定方向の逆方向に４５度回転させて元の座標系の画像に反映させる第二の座標変換工程（Ｓ４）とを含む。単板式のカラー撮像デバイスで作られた画像に含まれる情報欠落画素の補間処理を必要とせずに、所要の画像処理を実行できる。【選択図】  図７
2007049301.tif 000002
【特許請求の範囲】
【請求項１】
カラー撮像デバイスで作られた画像を取り込む取り込み手段と、
前記取り込み手段で取り込まれた画像を所定方向に４５度回転させて新たな座標系の回転画像を生成する第一の座標変換手段と、
前記回転画像に対して画像処理を行う画像処理手段と、
前記画像処理後の画像を前記所定方向の逆方向に４５度回転させて元の座標系の画像に反映させる第二の座標変換手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記取り込み手段はベイヤー配列のＧ信号を取り込む
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段で行われる画像処理は、前記カラー撮像デバイスで同一の被写体を連続して撮影した複数の画像間のオプティカルフロー推定処理を含むことを特徴とする請求項１記載の画像処理装置。
【請求項４】
カラー撮像デバイスで作られた画像を取り込む取り込み工程と、
前記取り込み工程で取り込まれた画像を所定方向に４５度回転させて新たな座標系の回転画像を生成する第一の座標変換工程と、
前記回転画像に対して画像処理を行う画像処理工程と、
前記画像処理後の画像を前記所定方向の逆方向に４５度回転させて元の座標系の画像に反映させる第二の座標変換工程と
を含むことを特徴とする画像処理方法。
【請求項５】
前記取り込み工程はベイヤー配列のＧ信号を取り込む
ことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記画像処理工程で行われる画像処理は、前記カラー撮像デバイスで同一の被写体を連続して撮影した複数の画像間のオプティカルフロー推定処理を含むことを特徴とする請求項４記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、詳しくは、単板式のカラー撮像デバイスで作られた画像の合成処理に適用する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮影感度（撮像デバイスの信号増幅ゲイン）を高めると、夜景等の暗い被写体の撮影性能が向上する反面、画像にノイズが乗って見苦しくなることがある。画像のフィルタ処理はノイズ対策手法の一つであるが、ノイズと一緒に画像情報の一部（高域成分）も失われてしまうため、画質の劣化を招きやすい。
【０００３】
そこで、例えば、特許文献１には、同一の被写体を連続して撮影した複数の画像を重ね合わせて合成すると、その合成画像内の被写体部分は画像枚数分だけ倍加されるのに対して、ランダムなノイズ成分は平均化されるという知見の元、連続して撮影された複数の画像を合成することによってノイズの抑制を図るようにした技術（以下、従来技術という）が記載されている。これによれば、画像の高域成分を失うことなく、ノイズを抑えて撮影感度を高めることができ、暗い被写体の撮影性能を向上できる。
【０００４】
ところで、暗い被写体を撮影する際のシャッター速度は一般的に遅いため、手ブレや被写体ブレの可能性があるし、また、同一の被写体を連続して撮影する際には、各々の撮影時点で構図（フレーミング）の微妙なズレが生じる可能性もある。
【０００５】
したがって、単に「同一の被写体を連続して撮影した複数の画像を重ね合わせて合成する」だけでは不十分であり、画像各部の重ね合わせの精度向上、すなわち、画像合成の対象となる各画像間のオプティカルフローを計算（推定）し、そのオプティカルフローに基づいて画像各部の位置合わせ（トラック処理等）を厳密に行う必要がある。
【０００６】
図８は、オプティカルフロー推定の説明図である。オプティカルフローの推定は、例えば、特許文献２に記載されたテンプレートマッチング法（ブロックマッチング法ともいう）によって行うことができる。この図に示すように、テンプレートマッチング法とは、画像１内の動きベクトルを推定したい小ブロック２（１６×１６画素程度のブロック）と最も似ている参照画像のブロック３を探索する方法のことである。探索範囲４は、例えば、小ブロック２の上下方向に±１６画素程度、左右方向に±１６画素程度の大きさであり、その探索範囲４の内部で画素総当たりの探索（全探索）を行い、予測誤差が最小となるときの動きベクトル５を求める。
【０００７】
【特許文献１】特開２００４−３５７０４０号公報
【特許文献２】特開２００２−３６９２２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の特許文献１や特許文献２などに記載された従来技術を、単板式のカラー撮像デバイスを備えたデジタルカメラ等の撮像装置に適用する場合、以下の不都合がある。
【０００９】
まず、多数の光電変換素子を二次元に配列し、被写体からの光に応じた画像信号を出力するＣＣＤ（Charge Coupled Device）に代表される撮像デバイスは、そのままでは色情報を含む画像信号を出力できない。光電変換素子が単に光の明暗強度に対応した信号しか発生しないからである。
【００１０】
色情報を得るために、３個の撮像デバイスを用い、その各々に赤、緑、青の色フィルタを装着して、それぞれの撮像デバイスから赤色、緑色、青色の画像信号を取り出すようにした３板式のカラー撮像デバイスが知られている。この撮像デバイスは専ら色再現性を重視するスタジオ用テレビカメラなどに用いられているが、家庭用のビデオカメラや普及型のデジタルカメラなどにあっては、サイズや重さ、価格及び電力消費の点から、１個の撮像デバイスとモザイク状の色フィルタとを組み合わせた単板式のカラー撮像デバイスが用いられることが一般的である。
【００１１】
図９は、１個のＣＣＤ６とそのＣＣＤ６に取り付けられる色フィルタ７を示す図である。ＣＣＤ６の桝目の一つ一つは各々１個の光電変換素子８を含む画素であり、各画素は色フィルタ７の桝目と一対一に対応している。色フィルタ７の桝目はそれぞれ特定の色を有しており、色の選び方や配列の仕方によって様々なタイプのものが使用されている。
【００１２】
図１０は、Ｂ．Ｅ．Ｂａｙｅｒによって考え出されたベイヤー方式（又は緑市松方式）と呼ばれる色フィルタ７（以下、ベイヤー型フィルタという）の原理図である。ベイヤー型フィルタは、色信号と輝度信号のＳ／Ｎバランスがよく、被写体の明るさに依存せずに良好な色再現性が得られることから、広く用いられている。
【００１３】
図示のベイヤー型フィルタにおいて、Ｙは輝度情報を得るためのフィルタ、Ｃ1、Ｃ2は色情報を得るためのフィルタである。ベイヤー型フィルタでは、Ｙフィルタを市松状に配置するとともに、奇数ラインの隙間にＣ1フィルタを配置し、偶数ラインの隙間にＣ2ラインを配置する。Ｙフィルタを多く配置する理由は、人間の視覚上、色情報よりも輝度情報の方が画像の解像度や輪郭のシャープさをよく知覚するからである。
【００１４】
図１１は、ベイヤー方式を用いた実際の色フィルタの構成図であり、Ｒは赤色のフィルタ、Ｇは緑色のフィルタ、Ｂは青色のフィルタである。赤（Ｒ）、緑（Ｇ）、青（Ｂ）は光の三原色であり、特に、緑色は被写体の明るさをよく表すから、Ｇフィルタは輝度情報を得るためのフィルタとしても用いられる。すなわち、Ｇフィルタは図１０のＹフィルタに相当し、ＲフィルタとＢフィルタは図１０のＣ1、Ｃ2フィルタに相当する。
【００１５】
図１２は、Ｇフィルタだけを抜き出したフィルタの構成図である。既述のとおり、ベイヤー方式の色フィルタはＧフィルタを市松状に配列して構成するので、この図（図１２）は、Ｇ画素信号で構成されたＧ画像を示す図でもある。このように、Ｇ画像は、縦横各々一つの「情報欠落画素」を間に挟みながら市松状に配列されたＧ画素信号で構成されている。
【００１６】
かかる情報欠落画素を含むＧ画像に対して前記のオプティカルフローの推定を行う場合は、まず、情報欠落画素の情報の補間、すなわち、例えば、対象となる情報欠落画素の周囲の４つの画素（Ｇ画素）の平均値を求め、その平均値を情報欠落画素の情報とする処理を全ての情報欠落画素に行って補間画像を生成した後、その補間画像に対して前記のオプティカルフローの推定を行っている。
【００１７】
しかしながら、そのようにすると、補間処理の負担により、とりわけ、高精細で且つ高解像度な画像を取り扱う撮像装置の動作遅れを招き、例えば、シャッターチャンスを逃したり、あるいは、連写撮影時の撮影枚数が減少したりするなどといった不都合をもたらすから、この点において、早急に解決しなければならない技術課題がある。
【００１８】
そこで、本発明の目的は、情報欠落画素を除外した元画像に対してそのまま所要の処理を行うことができ、画像処理の負担を軽減して、動作速度の向上を図ることができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１９】
請求項１記載の発明は、カラー撮像デバイスで作られた画像を取り込む取り込み手段と、前記取り込み手段で取り込まれた画像を所定方向に４５度回転させて新たな座標系の回転画像を生成する第一の座標変換手段と、前記回転画像に対して画像処理を行う画像処理手段と、前記画像処理後の画像を前記所定方向の逆方向に４５度回転させて元の座標系の画像に反映させる第二の座標変換手段とを備えたことを特徴とする画像処理装置である。
請求項２記載の発明は、前記取り込み手段はベイヤー配列のＧ信号を取り込むことを特徴とする請求項１記載の画像処理装置である。
請求項３記載の発明は、前記画像処理手段で行われる画像処理は、前記カラー撮像デバイスで同一の被写体を連続して撮影した複数の画像間のオプティカルフロー推定処理を含むことを特徴とする請求項１記載の画像処理装置である。
請求項４記載の発明は、カラー撮像デバイスで作られた画像を取り込む取り込み工程と、前記取り込み工程で取り込まれた画像を所定方向に４５度回転させて新たな座標系の回転画像を生成する第一の座標変換工程と、前記回転画像に対して画像処理を行う画像処理工程と、前記画像処理後の画像を前記所定方向の逆方向に４５度回転させて元の座標系の画像に反映させる第二の座標変換工程とを含むことを特徴とする画像処理方法である。
請求項５記載の発明は、前記取り込み工程はベイヤー配列のＧ信号を取り込むことを特徴とする請求項４記載の画像処理方法である。
請求項６記載の発明は、前記画像処理工程で行われる画像処理は、前記カラー撮像デバイスで同一の被写体を連続して撮影した複数の画像間のオプティカルフロー推定処理を含むことを特徴とする請求項４記載の画像処理方法である。
【発明の効果】
【００２０】
本発明によれば、単板式のカラー撮像デバイスで作られた画像に含まれる情報欠落画素の補間処理を必要とせずに、所要の画像処理、例えば、前記単板式のカラー撮像デバイスで同一の被写体を連続して撮影した複数の画像を重ね合わせる画像合成処理に必要なオプティカルフロー推定処理を行うことができる。このため、画像処理の負担を軽減して、動作速度の向上を図ることができ、シャッターチャンスを逃したり、あるいは、連写撮影時の撮影枚数が減少したりするなどといった不都合の回避を図ることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。
【００２２】
図１は、本発明の実施形態の全体構成図である。この図において、撮像面にベイヤー方式の色フィルタ１０（図９の色フィルタ７参照）が装着された、例えば、ＣＣＤで構成される単板式のカラー撮像デバイス１１は、撮影レンズ等の光学系１２を介して入力された被写体１３の像を電気信号に変換して出力する。カラー撮像デバイス１１の駆動制御は駆動回路１４によって行われ、カラー撮像デバイス１１から出力された電気的な画像信号はＡ／Ｄ変換器１５によりディジタル信号に変換された後、メモリコントローラ１６の制御の下でメモリ部１７の画像メモリ１８に記憶される。
【００２３】
メモリ部１７はさらに赤色専用メモリ（以下、Ｒ用メモリ）１９、緑色専用メモリ（以下、Ｇ用メモリ）２０、青色専用メモリ（以下、Ｂ用メモリ）２１、回転画像用メモリ２２及び作業用メモリ２３を含み、これらのメモリ１８〜２３の入出力はＣＰＵ２４によって制御される。
【００２４】
ＣＰＵ２４は、プログラムＲＯＭ２５にあらかじめ格納された処理プログラムに従って、画像メモリ１０、Ｒ用メモリ１９、Ｇ用メモリ２０、Ｂ用メモリ２１及び作業用メモリ２３の間のデータ入出力を制御しつつ、画像メモリ１０から光の三原色画像（Ｒ画像、Ｇ画像及びＢ画像）を順次に取り出して、それらの画像をＲ用メモリ１９、Ｇ用メモリ２０及びＢ用メモリ２１に展開するとともに、回転画像用メモリ２２や作業用メモリ２３を使用して所要の画像処理、例えば、冒頭で説明したオプティカルフローの推定、トラック処理及び合成画像（同一の被写体を連続して撮影した複数の画像を重ね合わせて合成した画像）の生成処理を実行する。
【００２５】
なお、データＲＯＭ２６は色フィルタ１０の画素配置情報を保持しており、この情報はＣＰＵ２４からのアクセスで適宜に利用される。
【００２６】
図２は、Ｇメモリ２０に展開されるＧ画像の簡略図である。この図において、横（行）方向をｘ軸、縦（列）方向をｙ軸とすると、被写体の情報画素はＧxyで表すことができる。前記のとおり、ベイヤー方式の撮像デバイスで撮影された画像は、情報画素Ｇxyの間に１個の情報欠落画素（ハッチングの画素）を含むので、情報画素Ｇxyは、行方向及び列方向に一つおきに配列されることになる。
【００２７】
図３は、Ｇ画像を所定方向（図では時計回り方向）に４５度回転させた回転画像の図であり、図４は、その回転画像に対して回転前の座標軸を重ねて表示した図である。図４において、点線で示す升目は、回転前の座標軸の各画素を表しており、この升目の縦横の間隔Ｄａは、回転前の座標軸の各画素の間隔Ｄｂ（図２参照）の√２倍である。
【００２８】
今、図４に示すように、回転前の座標軸の各画素と、回転画像の情報画素Ｇxyとを重ね合わせると、回転前の座標軸の各画素に情報画素Ｇxyが含まれることになる。つまり、情報画素Ｇ00がｘ＝２，ｙ＝０に位置し、情報画素Ｇ02がｘ＝１，ｙ＝１に位置し、情報画素Ｇ11がｘ＝２，ｙ＝１に位置し、情報画素Ｇ20がｘ＝３，ｙ＝１に位置し、情報画素Ｇ04がｘ＝０，ｙ＝２に位置し、情報画素Ｇ13がｘ＝１，ｙ＝２に位置し、情報画素Ｇ22がｘ＝２，ｙ＝２に位置し、情報画素Ｇ31がｘ＝３，ｙ＝２に位置し、情報画素Ｇ40がｘ＝４，ｙ＝２に位置し、情報画素Ｇ15がｘ＝０，ｙ＝３に位置し、情報画素Ｇ24がｘ＝１，ｙ＝３に位置し、情報画素Ｇ33がｘ＝２，ｙ＝３に位置し、情報画素Ｇ42がｘ＝３，ｙ＝３に位置し、情報画素Ｇ51がｘ＝４，ｙ＝３に位置し、情報画素Ｇ35がｘ＝１，ｙ＝４に位置し、情報画素Ｇ44がｘ＝２，ｙ＝４に位置し、情報画素Ｇ53がｘ＝３，ｙ＝４に位置し、情報画素Ｇ55がｘ＝２，ｙ＝５に位置することになる。
【００２９】
図５は、回転画像用メモリ２２に格納される回転画像の簡略図であり、Ｇ00〜Ｇ55までの情報画素は、図４の座標軸に従って並べ替えられたものである。すなわち、ｘ＝２，ｙ＝０の位置にＧ00を配置し、ｘ＝１，ｙ＝１の位置にＧ02を配置し、ｘ＝２，ｙ＝１の位置にＧ11を配置し、ｘ＝３，ｙ＝１の位置にＧ20を配置し、ｘ＝０，ｙ＝２の位置にＧ04を配置し、ｘ＝１，ｙ＝２の位置にＧ13を配置し、ｘ＝２，ｙ＝２の位置にＧ22を配置し、ｘ＝３，ｙ＝２の位置にＧ31を配置し、ｘ＝４，ｙ＝２の位置にＧ40を配置し、ｘ＝０，ｙ＝３の位置にＧ15を配置し、ｘ＝１，ｙ＝３の位置にＧ24を配置し、ｘ＝２，ｙ＝３の位置にＧ33を配置し、ｘ＝３，ｙ＝３の位置にＧ42を配置し、ｘ＝４，ｙ＝３の位置にＧ51を配置し、ｘ＝１，ｙ＝４の位置にＧ35を配置し、ｘ＝２，ｙ＝４の位置にＧ44を配置し、ｘ＝３，ｙ＝４の位置にＧ53を配置し、ｘ＝２，ｙ＝５の位置にＧ55を配置し直したものである。
【００３０】
なお、図示の回転画像において、Ｇ00〜Ｇ55までの情報画素に該当しない画素（ハッチングの画素）には、黒レベルに相当する暫定画素値“０”を格納する。
【００３１】
図６は、回転画像を対象にしたオプティカルフロー推定の概念図、図７は、そのオプティカルフロー推定処理を含む動作フローチャートを示す図である。これらの図において、単板式のカラー撮像デバイス１１で撮影され、Ｇメモリ２０に展開されたＧ画像２７は、所定方向（ここでは時計回り方向）に４５度回転させられた回転画像２８として回転画像メモリ２２に格納される。この回転画像２８は、図５の回転画像と同様に、Ｇ画像２７から情報欠陥画素を除外して座標変換したものである。特徴点抽出画像２９は、この回転画像２８からオプティカルフロー推定によって取り出された特徴点（黒丸印）を含む画像であり、この特徴点画像２９は、最終的に、元のＧ画像２７の座標系に対応させるために逆方向（ここでは反時計回り方向）に４５度回転させられ、元の座標系の特徴点抽出画像３０となる。
【００３２】
このように、本実施形態においては、単板式のカラー撮像デバイス１１で被写体を撮影し（ステップＳ１）、その撮影画像のＧ画像２７を４５度回転させて新しい座標系の画像（回転画像２８）に変換し（ステップＳ２）、その回転画像２８に対してオプティカルフローの推定やトラック処理等を実行して特徴点抽出画像２９を生成し（ステップＳ３）、その特徴点抽出画像２９の対応特徴点の位置を元の座標系に戻して元画素（Ｇ画像２７）の座標系に対応させた特徴点抽出画像３０を生成した後（ステップＳ４）、その特徴点抽出画像３０の情報に基づいて画像合成処理を行う（ステップＳ５）ので、ステップＳ３におけるオプティカルフローの推定やトラック処理に際しては、情報欠陥画素を含まないＧ画素のみを対象にした処理が可能になる。したがって、情報欠落画素の補間処理を不要とすることができる。その結果、従来の補間処理に相当する負担を軽減することができる。さらには、図２に示したような元のベイヤー配列を斜めにアクセスした場合には１画素毎に不連続なアドレスを参照するためにＲＡＭ読み出しの速度劣化という現象が生ずるが、本実施形態では４５度回転処理によりＲＡＭのアクセスは順次となるためＲＡＭアクセスは最高速を保てる。これらによりオプティカルフローの推定やトラック処理の動作速度を向上して、例えば、シャッターチャンスを逃したり、あるいは、連写撮影時の撮影枚数が減少したりするなどといった不都合の回避を図ることができるのである。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態の全体構成図である。
【図２】Ｇメモリ２０に展開されるＧ画像の簡略図である。
【図３】Ｇ画像を所定方向（図では時計回り方向）に４５度回転させた回転画像の図である。
【図４】その回転画像に対して回転前の座標軸を重ねて表示した図である。
【図５】回転画像用メモリ２２に格納される回転画像の簡略図である。
【図６】回転画像を対象にしたオプティカルフロー推定の概念図である。
【図７】オプティカルフロー推定処理を含む動作フローチャートを示す図である。
【図８】オプティカルフロー推定の説明図である。
【図９】１個のＣＣＤ６とそのＣＣＤ６に取り付けられる色フィルタ７を示す図である。
【図１０】ベイヤー型フィルタの原理図である。
【図１１】ベイヤー方式を用いた実際の色フィルタの構成図である。
【図１２】Ｇ画素信号で構成されたＧ画像を示す図である。
【符号の説明】
【００３４】
Ｓ１  ステップ（取り込み工程）
Ｓ２  ステップ（第一の座標変換工程）
Ｓ３  ステップ（画像処理工程）
Ｓ４  ステップ（第二の座標変換工程）
１１  カラー撮像デバイス
１６  メモリコントローラ（取り込み手段）
２４  ＣＰＵ（第一の座標変換手段、画像処理手段、第二の座標変換手段）
【図１】
2007049301.tif 000003
【図２】
2007049301.tif 000004
【図３】
2007049301.tif 000005
【図４】
2007049301.tif 000006
【図５】
2007049301.tif 000007
【図６】
2007049301.tif 000008
【図７】
2007049301.tif 000009
【図８】
2007049301.tif 000010
【図９】
2007049301.tif 000011
【図１０】
2007049301.tif 000012
【図１１】
2007049301.tif 000013
【図１２】
2007049301.tif 000014