(57)【特許請求の範囲】
【請求項１】
ステレオ視画像を生成するために、同一の被写体を撮像した２枚の画像について、両者の被写体の位置を一致させる画像処理を行う画像処理装置であって、
一方の画像の所定位置にて所定サイズの領域を切り出す手段と、
前記画像の切り出した領域に高域通過フィルタを施して、第１検査画像を得る手段と、
他方の画像の前記所定位置及びこれと異なる複数の位置であって予め入力された一定数の位置にて、前記切り出した領域と同一のサイズの領域を切り出し、前記画像の切り出した各領域に高域通過フィルタを施して、夫々の第２検査画像を得る手段と、
得られた第１検査画像と各第２検査画像との夫々の組について、位置が対応する画素間の輝度レベルの差の総和を演算する手段と、
演算した各総和を比較して、それが小さい組を特定する手段と、
特定した組に係る各領域の切り出し位置の差異に基づき、この差異が小さくなるように一方の画像の位置を補正する手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記高域通過フィルタは、
画像の切り出した領域に直交変換を施して、変換係数を得る手段と、
得られた変換係数の低域成分を除去する手段と、
低域成分を除去した変換係数に直交逆変換を施す手段とを備えることを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はステレオ視画像を生成する画像処理装置、特に２枚の画像の傾き及び位置の補正処理に特徴を有する画像処理装置に関する。
【０００２】
【従来の技術】
近年のコンピュータシステム、特にパーソナルコンピュータの急速な普及に伴って、種々の周辺装置の需要も拡大している。取り分け、パーソナルコンピュータに画像を取り込むための周辺装置として、撮像した写真画像を直接デジタルデータとして取り込めるデジタルスチルカメラが注目されている。
【０００３】
一般にデジタルスチルカメラによって撮像された画像は、何らかの画像処理を施された上でプリントアウトされる。
実開平９−416 号公報において提案されている画像処理装置は、互いの縁部が重複するように分割して撮像された複数の画像が与えられたとき、互いに隣接する画像の重なり位置を検出し、その位置において両者を継ぎ合わせて一つの画像としてプリントアウトすることにより、例えば一画像の撮像範囲に入りきらないような大きな被写体を複数の部分領域に分割し、複数の画像にわたって撮像する状況において、解像度の良い大きなプリント出力を得ることを目的とする。
【０００４】
ところで、同一の被写体について、一定の間隔を隔てて撮像された２枚の画像を並置し、各画像を右目又は左目のいずれか一方に対応付けて同時に直視したとき、人は画像中の被写体に奥行きを感じることが一般に知られている。以下、このような効果を与えるために２枚一組にしてある画像をステレオ視画像と呼ぶ。このステレオ視画像は、しばしば学習教材，玩具などに利用される。
ステレオ視画像を作成するための装置としては、右目及び左目に夫々対応付けた二つの対物レンズを一定の間隔を隔てて配置してあって、各対物レンズを透過した光線を反射鏡又はプリズムなどを用いて誘導し、それらが夫々画面の右半分及び左半分において結像するように構成したカメラが存在している。
【０００５】
また、このステレオ視画像と同一の原理に基づき、一定の間隔を隔てて設置された２台のビデオカメラにより撮像された２系統の動画像を、所定のタイミングにて交互にテレビジョン画面に表示し、この表示切り換えのタイミングと同期させて、視聴者が装着しているゴーグルにより前記視聴者の右目又は左目の視界を交互に遮ることで、視聴者に奥行き感を与える動画再生装置が既に商品化されている。
【０００６】
【発明が解決しようとする課題】
このようなステレオ視画像においては、その右目及び左目に夫々対応付けられた各画像の撮像範囲の間にズレが存在すると得られる効果が薄くなるため、その作成に際して、二つの撮像範囲を同一にするべく細心の注意を払う必要がある。特に、前述の動画再生装置の如く撮像系を二つ使用して、右目及び左目に対応付けた画像を別々に撮像する場合は、撮像の開始から終了までの間、互いの撮像範囲の中心位置及び傾きを一致させた状態を保つ必要があるため、取扱いが容易ではなかった。以下に、図面を用いて説明する。
【０００７】
図８は二つの撮像系の撮像範囲のズレを説明するための説明図である。図においてＣR 及びＣL は、夫々右目及び左目に対応付けてある撮像系であって、その撮像範囲を矩形領域Ｒ及びＬで表している。また、矩形領域Ｒ及びＬが重複する領域Ｘに、ハッチングを施して表している。
領域Ｘは、ステレオ視画像について期待の効果を得ることが可能な領域である。但し、矩形領域Ｒ及びＬのズレが大きい程、その効果が薄くなる。
【０００８】
また、前述の如きステレオ視画像を撮像するカメラにおいては、右目及び左目に夫々対応付けて一定の間隔を隔てて配置された二つの対物レンズ及びそれらを透過した光線を誘導する機構が、前記カメラの小型化の障害となるという問題があった。
【０００９】
本発明は斯かる事情に鑑みてなされたものであって、右目及び左目に夫々対応付けられた２系統の画像又は動画像の入力を個別に受け付けて、系統間の撮像範囲のズレを補正するように画像処理を行うことにより、撮像時のカメラの取扱いを容易にし、また装置の小型化に有利な画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１発明に係る画像処理装置は、同一の被写体を撮像した２枚の画像について、両者の被写体の傾きを一致させる画像処理を行う画像処理装置であって、各画像に直交変換を施して、夫々の変換係数を得る手段と、得られた各変換係数の強度分布画像について、所定方向の複数の走査線上にて輝度レベルのピーク位置を夫々検出する手段と、各強度分布画像について検出した複数のピーク位置の画素を結んだ線分同士がなす角度を求める手段と、求めた角度に基づき、これが小さくなるように一方の画像の傾きを補正する手段とを備えることを特徴とする。
【００１１】
図６はこの発明の概念を説明するための説明図である。図において、Ａは画像の一例を表しており、またＰは画像Ａに２次元離散的フーリエ変換（以下、ＤＦＴという）を施して得た周波数成分のパワースペクトル（強度分布）画像を表している。
パワースペクトル画像Ｐは、この画像の中心を原点とする極座標系を用いて周波数成分の強度に基づき階調表示された画像である。ここでパワースペクトル画像Ｐは、その特徴的な部分領域のみを略菱形形状をなす線分Ｕによって模式的に表し、各画素の輝度レベルの濃淡表現については省略してある。具体的には、線分Ｕは、輝度レベルが略同一である画素を結んだ線分であって、実際のパワースペクトル画像Ｐにおいては、その内側は原点に近づく程に輝度レベルが高くなり、またその外側は原点から離れる程に輝度レベルが低くなっている。
【００１２】
一方Ｂは、画像Ａと同一の被写体について撮像した他の画像の一例を表しており、その撮像範囲と画像Ａの撮像範囲とは傾きについて若干のズレを有している。またＱは画像ＢにＤＦＴを施して得た周波数成分のパワースペクトル画像を表しており、その濃淡表現についてはパワースペクトル画像Ｐに準じる。
【００１３】
このようにＤＦＴのパワースペクトルを極座標系に表示したとき、画像の方向性に関連する特徴が、パワースペクトル画像の前記方向性と対応する角度の近傍における輝度レベルの変化として表れることが一般に知られている。
例えば、屋外風景をその水平線が撮像範囲の水平方向と平行になるように調整し撮像した画像は、方向性について水平成分及び垂直成分が多くなっているという一般的特徴を有している。この場合、前記画像のＤＦＴのパワースペクトル画像においては、原点を通る水平方向及び垂直方向の線分に沿う形で輝度レベルのピークが表れる。
【００１４】
言い換えれば、屋外風景を撮像した画像について、そのＤＦＴのパワースペクトル画像において水平方向及び垂直方向とは異なる方向の線分に沿う形で輝度レベルのピークが表れているときには、撮像時に調整した撮像範囲の水平方向が屋外風景の水平線から傾いていたことが判別できる。
またその傾きについては、パワースペクトル画像を垂直方向に走査したときのピーク位置の画素を結んだ線分（撮像画像の水平成分と対応）又は水平方向に走査したときのピーク位置の画素を結んだ線分（撮像画像の垂直成分と対応）が、前記パワースペクトル画像の夫々水平方向又は垂直方向となす角度により求めることができる。
【００１５】
前述したパワースペクトル画像Ｑにおいて破線で表す線分ＤX 及び線分ＤY は、画像Ａのパワースペクトル画像Ｐを夫々垂直方向及び水平方向に走査したときのピーク位置の画素を結んだ線分を表しており、これと画像Ｂについて同等の線分とがなす角度を求めて、傾きの補正に利用する。
【００１６】
具体的には、パワースペクトル画像Ｑを、その垂直方向（矢印ＱY ）及び水平方向（矢印ＱX ）に夫々走査して輝度レベルのピーク位置を個別に検出し、検出したピーク位置の画素を結んだ線分ｄX 及び線分ｄY を求める。
次に、求めた線分ｄX 及び線分ｄY と夫々対応する線分ＤX 及び線分ＤY とがなす角度を求める。両者は必ずしも一致しないことから、線分ｄX 及び線分ＤX がなす角度と線分ｄY 及び線分ＤY がなす角度との平均を求め、これを目的の角度とすることにより一定の精度を確保する。
そして、前記角度が小さくなる方向へ画像Ｂの傾きを補正することにより、画像Ｂの傾きを画像Ａの傾きに一致させる。
【００１７】
この発明においては、系統間の撮像範囲の傾きのズレを画像処理によって補正するため、撮像時のカメラの取扱いが容易になる。また、個別に受け付けた各系統の画像又は動画像を処理対象とするため、右目及び左目に夫々対応付けた画像を一つの画面上に同時に結像させる機構を設ける必要をなくすることができる。
【００１８】
第２発明に係る画像処理装置は、同一の被写体を撮像した２枚の画像について、両者の被写体の傾きを一致させる画像処理を行う画像処理装置であって、各画像に直交変換を施して、夫々の変換係数を得る手段と、得られた各変換係数の強度分布画像について、所定方向の複数の走査線上にて輝度レベルのピーク位置を夫々検出する手段と、各強度分布画像について検出した複数のピーク位置の画素を結んだ線分同士がなす角度を求める手段と、求めた角度に基づき、これが小さくなるように一方の強度分布画像の傾きを補正する手段と、補正した強度分布画像に係る変換係数に直交逆変換を施して、画像を得る手段とを備えることを特徴とする。
【００１９】
この発明は、求めたなす角度に基づいて、この角度が小さくなる方向へパワースペクトル画像Ｑの傾きを補正し、これに２次元離散的フーリエ逆変換（以下、ＩＤＦＴという）を施すことにより、その傾きを画像Ａの傾きと一致させた画像Ｂを得ることができる。
【００２０】
この発明においては、系統間の撮像範囲の傾きのズレを画像処理によって補正するため、撮像時のカメラの取扱いが容易になる。また、個別に受け付けた各系統の画像又は動画像を処理対象とするため、右目及び左目に夫々対応付けた画像を一つの画面上に同時に結像させる機構を設ける必要をなくすることができる。
【００２１】
請求項１である第３発明に係る画像処理装置は、ステレオ視画像を生成するために、同一の被写体を撮像した２枚の画像について、両者の被写体の位置を一致させる画像処理を行う画像処理装置であって、一方の画像の所定位置にて所定サイズの領域を切り出す手段と、前記画像の切り出した領域に高域通過フィルタを施して、第１検査画像を得る手段と、他方の画像の前記所定位置及びこれと異なる複数の位置であって予め入力された一定数の位置にて、前記切り出した領域と同一のサイズの領域を切り出し、前記画像の切り出した各領域に高域通過フィルタを施して、夫々の第２検査画像を得る手段と、得られた第１検査画像と各第２検査画像との夫々の組について、位置が対応する画素間の輝度レベルの差の総和を演算する手段と、演算した各総和を比較して、それが小さい組を特定する手段と、特定した組に係る各領域の切り出し位置の差異に基づき、この差異が小さくなるように一方の画像の位置を補正する手段とを備えることを特徴とする。
【００２２】
請求項２である第４発明に係る画像処理装置は、前記高域通過フィルタは、画像の切り出した領域に直交変換を施して、変換係数を得る手段と、得られた変換係数の低域成分を除去する手段と、低域成分を除去した変換係数に直交逆変換を施す手段とを備えることを特徴とする。
【００２３】
図７はこの発明の他の概念を説明するための説明図である。図において、Ｅは画像の一例を表しており、またＲは画像Ｅの部分領域に高域通過フィルタを施して得たフィルタ画像を表している。ここでフィルタ画像Ｒは、その特徴のみを垂直方向の直線によって模式的に表し、各画素の輝度レベルの濃淡表現については省略してある。具体的には、前記部分領域は、その略中央を境界として左側の輝度レベルと右側の輝度レベルとが大きく変化している。すなわち、フィルタ画像Ｒにおける垂直方向の直線は、画像Ｅの斜線領域と他の領域とのエッジ部に対応している。
【００２４】
一方Ｆは、画像Ｅと同一の被写体について撮像した他の画像の一例を表しており、その撮像範囲と画像Ｅの撮像範囲とは位置について若干のズレを有している。またＳは画像Ｆに高域通過フィルタを施して得たフィルタ画像を表しており、その濃淡表現についてはフィルタ画像Ｒに準じる。
このようにして得られたフィルタ画像Ｒ及びフィルタ画像Ｓにおいて、両者の各画素について輝度レベルの差を演算し、その差の総和が最も小さくなる位置を求めて、その補正に利用する。
【００２５】
具体的には、最初に画像Ｅの中央付近において所定サイズの矩形領域を切り出し、これに高域通過フィルタを施してフィルタ画像Ｒを求める。次に、画像Ｆの中央付近において前記矩形領域を切り出し、これに高域通過フィルタを施してフィルタ画像Ｓを求める。また、フィルタ画像Ｒ及びフィルタ画像Ｓの位置が対応する画素間において輝度レベルの差を演算し、さらにその総和を演算する。
【００２６】
更にまた、画像Ｆの前回切り出しに係った位置からいずれかの方向に少し移動させた位置において前記矩形領域を切り出し、これに高域通過フィルタを施して新たなフィルタ画像Ｓを求め、フィルタ画像Ｒ及びフィルタ画像Ｓの位置が対応する画素間における輝度レベルの差の総和を演算する。
そして、求めた総和が最も小さくなる位置を特定し、その位置とフィルタ画像Ｒの位置との相対的な位置関係に基づき位置のズレを画像全体に対して補正することにより、画像Ｅと位置を一致させた画像を得ることができる。
【００２７】
請求項１である第３発明及び請求項２である第４発明においては、系統間の撮像範囲の位置のズレを画像処理によって補正するため、撮像時のカメラの取扱いが容易になる。また、個別に受け付けた各系統の画像又は動画像を処理対象とするため、右目及び左目に夫々対応付けた画像を一つの画面上に同時に結像させる機構を設ける必要をなくすることができる。
【００２８】
【発明の実施の形態】
図１は本発明に係る画像処理装置の実施の形態であるデジタルスチルカメラの信号処理系の構成を示すブロック図である。図において、１は対物レンズである。対物レンズ１から入射した光線は、撮像素子であるＣＣＤ２の受光面に結像し、その明るさに対応したアナログの電気信号に変換される。このＣＣＤ２により得られるアナログ電気信号は適宜のタイミングで周期的にスキャンされることにより１フレーム分の信号がアナログ／デジタル（Ａ／Ｄ）変換器３へシリアル転送される。Ａ／Ｄ変換器３ではこのシリアル入力されるアナログ信号をデジタル信号に変換して信号処理回路４へ送る。信号処理回路４ではシリアル入力されるデジタル信号に適宜の処理を施してビットマップ形式の画像データを生成し、セレクタ５へ送る。
【００２９】
セレクタ５には、上述の信号処理回路４の他にＶＲＡＭ６及びＣＰＵ７が接続されており、図示しないシステムコントローラから与えられる選択指示信号SSに応じて信号の供給元及び供給先を物理的に選択接続する。具体的には、カメラ画像をモニタへ表示する表示設定がなされている場合には、セレクタ５は信号処理回路４から送られてくる画像データをＶＲＡＭ６へ転送する。また、外部装置から入力された画像をモニタへ表示する表示設定がなされている場合には、セレクタ５はＣＰＵ７から送られてくる画像データをＶＲＡＭ６へ転送する。更にまた、シャッタが押された場合には、セレクタ５は信号処理回路４から送られてくる画像データをＣＰＵ７へ転送する。
【００３０】
このようなセレクタ５による画像データの転送操作により、ＶＲＡＭ６へ送られて格納された画像データは、ファインダとしての液晶モニタ８に表示される。また、ＶＲＡＭ６に格納されているビットマップ画像データはデジタル／アナログ（Ｄ／Ａ）変換器９によりアナログのＮＴＳＣ信号に変換されてテレビジョン（ＴＶ）端子10から出力される。従って、このＴＶ端子10にＴＶモニタ11が接続されている場合には、液晶モニタ８に表示されている画像と同一の画像がＴＶモニタ11にも表示される。
【００３１】
ＣＰＵ７は、シャッタが押された場合にセレクタ５から送られてくる１フレーム分のビットマップ形式の画像データを適宜の圧縮方式、例えばＪＰＥＧ方式でデータ圧縮して１フレーム分の圧縮画像データに変換する。変換されたデータは、フラッシュメモリ12の画像領域12a に格納される。画像領域12a に格納されたデータは、ＣＰＵ７により読み出され、原画像に伸張された上でセレクタ５からＶＲＡＭ６へ送られて格納され、液晶モニタ８又はＴＶモニタ11に表示される。またフラッシュメモリ12には、後述するプログラムを格納するプログラム領域12b を設けてあって、前記プログラムはＣＰＵ７により読み出されて実行される。
【００３２】
一方、フラッシュメモリ12の画像領域12a に格納されているデータは、例えば一般的なパーソナルコンピュータ用シリアル端子であるRS-232C インタフェース規格に準拠のＰＣ端子13からパーソナルコンピュータ（ＰＣ）14への転送が可能になしてある。またその反対に、前記圧縮方式（ＪＰＥＧ方式）によりデータ圧縮されたデータを、ＰＣ14からＰＣ端子13を介して送り込み、フラッシュメモリ12の画像領域12a に書き込むことも可能である。
【００３３】
図２は本発明に係る画像処理装置の傾きの補正に係る処理手順を示すフローチャートである。
２系統の画像の入力を個別に受け付ける(S1)。各画像にＤＦＴを施して夫々のパワースペクトルを得て、これらを極座標系に表したパワースペクトル画像を得る(S2)。各パワースペクトル画像の所定方向、具体的には垂直方向及び水平方向にその輝度レベルを走査してピーク位置を検出し、そのピーク位置を結んだ夫々の線分を設定する(S3)。両線分がなす角度を求める(S4)。求めた角度が小さくなるように、一方の画像を補正して(S5)、処理を終了する。
【００３４】
図３は本発明に係る画像処理装置の傾きの補正に係る他の処理手順を示すフローチャートである。
２系統の画像の入力を個別に受け付ける(S11) 。各画像にＤＦＴを施して夫々のパワースペクトルを得て、これらを極座標系に表したパワースペクトル画像を得る(S12) 。各パワースペクトル画像の所定方向、具体的には垂直方向及び水平方向にその輝度レベルを走査してピーク位置を検出し、そのピーク位置を結んだ夫々の線分を設定する(S13) 。両線分がなす角度を求める(S14) 。求めた角度が小さくなるように、一方のパワースペクトル画像を補正する(S15) 。補正後のパワースペクトル画像にＩＤＦＴを施すことで、傾きについてのズレを補正した画像を得て(S16) 、処理を終了する。
【００３５】
図４は本発明に係る画像処理装置の位置の補正に係る処理手順を示すフローチャートである。
２系統の画像及び反復回数の入力を個別に受け付ける(S21) 。一方の画像の中央付近にて矩形領域を切り出す(S22) 。前記画像の切り出した矩形領域に後述する処理手順により高域通過フィルタを施して、第１検査画像を得る(S23) 。他方の画像に切り出し位置を設定し、その切り出し位置にて前記矩形領域を切り出す(S24) 。前記画像の切り出した矩形領域に前記高域通過フィルタを施して、第２検査画像を得る(S25) 。
【００３６】
第１検査画像と第２検査画像の位置が対応する画素間の輝度レベルの差の総和を演算し(S26) 、反復回数をデクリメントする(S27) 。反復回数が０になったか否かを判定し、０になっていないとき、処理をＳ24へ移し、以降の手順を繰り返す。Ｓ28において、反復回数が０になっていると判定されたとき、総和が最小の組を特定する(S29) 。そして、特定した組に係る切り出した各領域間の距離が小さくなるように一方の画像を補正して(S30) 、処理を終了する。
【００３７】
図５は高域通過フィルタに係る処理手順の一例を示すフローチャートである。
切り出した矩形領域にＤＦＴを施してパワースペクトルを得る(S31) 。そして前記パワースペクトルの低域成分を除去してＩＤＦＴを施し、検査画像を得て  (S32) 、呼び出し元へリターンする。
【００３８】
なお、高域通過フィルタとしては、前述の如きＤＦＴを用いる方法に限定されるものではなく、画像処理の分野において多用される種々のエッジ検出用オペレータ、例えばラプラシアン・オペレータを用いて検査画像を得る構成になしても良い。
【００３９】
【発明の効果】
以上の如き請求項１である第３発明及び請求項２である第４発明の画像処理装置によっては、系統間の撮像範囲の夫々傾き及び位置についてのズレを画像処理によって補正するため、撮像時のカメラの取扱いの簡単化に優れた効果を奏する。
【００４０】
更にまた、個別に受け付けた各系統の画像又は動画像を処理対象とするため、右目及び左目に夫々対応付けた画像を一つの画面上に同時に結像させる機構を設ける必要をなくすることができ、装置の小型化に優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の信号処理系の構成を示すブロック図である。
【図２】本発明に係る画像処理装置の傾きの補正に係る処理手順を示すフローチャートである。
【図３】本発明に係る画像処理装置の傾きの補正に係る他の処理手順を示すフローチャートである。
【図４】本発明に係る画像処理装置の位置の補正に係る処理手順を示すフローチャートである。
【図５】高域通過フィルタに係る処理手順の一例を示すフローチャートである。
【図６】本発明の概念を説明するための説明図である。
【図７】本発明の他の概念を説明するための説明図である。
【図８】二つの撮像系の撮像範囲のズレを説明するための説明図である。
【符号の説明】
７  ＣＰＵ
12  フラッシュメモリ
12a   画像領域
12b   プログラム領域
【図１】
0004147656.tif 000002
【図２】
0004147656.tif 000003
【図３】
0004147656.tif 000004
【図４】
0004147656.tif 000005
【図５】
0004147656.tif 000006
【図６】
0004147656.tif 000007
【図７】
0004147656.tif 000008
【図８】
0004147656.tif 000009