(57)【要約】【課題】適切に、動き補償を行うことができる。【解決手段】  画像処理装置１は、一定の仰角で撮像された結果得られた画像（一定の肌理の勾配を有する画像）を、正面から撮像された画像（正対画像）に変換する。すなわち被写体の像が画像中でも等速直線運動となるように変換される。そして画像処理装置１は、正対画像全体に対して、例えば動き補償付きノイズリダクション処理を行う。すなわち正対画像中では被写体の像が等速直線運動になっているので、正確な動き補償を行うことができ、その結果ノイズリダクション等を適切に行うことができる。画像処理装置１は、処理の結果得られた画像を、元の肌理の勾配を有する画像に戻し、例えばそれを図示せぬ記録媒体や表示部等に出力する。【選択図】  図３
2006107407.tif 000002
【特許請求の範囲】
【請求項１】
撮像機器によって、所定の仰角で撮像された結果得られた入力画像を、正面から撮像された場合の正対画像に変換する第１の変換手段と、
前記第１の変換手段により変換された前記正対画像の動きに基づいて、前記正対画像に対して所定の処理を実行する実行手段と、
前記実行手段により前記処理が施された前記正対画像を、前記所定の仰角で撮像された場合の画像に変換する第２の変換手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の変換手段は、
前記入力画像の消失点を算出する消失点算出手段と、
前記消失点に基づいて、仰角を算出する仰角算出手段と、
前記仰角に基づいて、前記入力画像を、前記正対画像に変換する第３の変換手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記仰角算出手段は、前記消失点と前記撮像機器の焦点を通る直線と、前記撮像機器の結像面の中心と前記焦点を結ぶ直線からなる角度を、前記仰角とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記消失点算出手段は、
前記入力画像を、所定の特徴に基づいて量子化する量子化手段と、
前記量子化手段により量子化された前記入力画像に基づいて、前記消失点を算出する消失点算出手段と
を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特徴量は、肌理の勾配を形成する特徴である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
撮像機器によって、所定の仰角で撮像された結果得られた入力画像を、正面から撮像された場合の正対画像に変換する変換ステップと、
前記変換ステップにより変換された前記正対画像の動きに基づいて、前記正対画像に対して所定の処理を実行する実行ステップと、
前記実行ステップにより前記処理が施された前記正対画像を、前記所定の仰角で撮像された場合の画像に変換する第２の変換ステップと
を含むことを特徴とする画像処理方法。
【請求項７】
画像処理を行う画像処理装置を制御するプロセッサに実行させるプログラムにおいて、
撮像機器によって、所定の仰角で撮像された結果得られた入力画像を、正面から撮像された場合の正対画像に変換する変換ステップと、
前記変換ステップにより変換された前記正対画像の動きに基づいて、前記正対画像に対して所定の処理を実行する実行ステップと、
前記実行ステップにより前記処理が施された前記正対画像を、前記所定の仰角で撮像された場合の画像に変換する第２の変換ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、被写体像の動きを利用した画像処理に最適な画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば真上から見ると図１に示すような花畑を、ビデオカメラによって、一定の仰角で撮像すると、図２に示すように、所定の模様が手前になるほど粗く、遠ざかるほど細かくなる映像が得られる。なお以下において、一定の仰角で撮像された場合に、手前になる程粗く、遠ざかるほど細かくなる傾向を有する模様の単位を、肌理と称し、その傾向の程度を、肌理の勾配と称する。
【０００３】
ところでビデオカメラでは、通常、撮像の結果得られた画像について、被写体像の動きを利用したノイズリダクション等の処理を施して、録画等がなされる。
【０００４】
具体的には、図２に示したように一定の仰角を伴って、水平方向に直線運動するビデオカメラにより撮像された被写体の像は等速直線運動になっていないので、撮像画像の中の等速直線運動と近似し得る部分が適宜検出されて、その部分に対応する１つ前の画像の部分に動き補償がなされ、検出された部分と足し合わされることで行われる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら一定の仰角で撮像された画像上の被写体像は、等速直線運動していないので、結局、正確に動き補償を行うことができず、ノイズリダクション等の処理も適切に行うことができない問題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、被写体像の動きを利用した処理を適切に行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮像機器によって、所定の仰角で撮像された結果得られた入力画像を、正面から撮像された場合の正対画像に変換する第１の変換手段と、第１の変換手段により変換された正対画像の動きに基づいて、正対画像に対して所定の処理を実行する実行手段と、実行手段により処理が施された正対画像を、所定の仰角で撮像された場合の画像に変換する第２の変換手段とを備えることを特徴とする。
【０００８】
第１の変換手段は、入力画像の消失点を算出する消失点算出手段と、消失点に基づいて、仰角を算出する仰角算出手段と、仰角に基づいて、入力画像を、正対画像に変換する第３の変換手段とを備えることができる。
【０００９】
仰角算出手段は、消失点と撮像機器の焦点を通る直線と、撮像機器の結像面の中心と焦点を結ぶ直線からなる角度を、仰角とすることができる。
【００１０】
消失点算出手段は、入力画像を、所定の特徴に基づいて量子化する量子化手段と、
量子化手段により量子化された入力画像に基づいて、消失点を算出する消失点算出手段とを備えることができる。
【００１１】
特徴量は、肌理の勾配を形成する特徴であるようにすることができる。
【００１２】
本発明の画像処理方法は、撮像機器によって、所定の仰角で撮像された結果得られた入力画像を、正面から撮像された場合の正対画像に変換する変換ステップと、変換ステップにより変換された正対画像の動きに基づいて、正対画像に対して所定の処理を実行する実行ステップと、実行ステップにより処理が施された正対画像を、所定の仰角で撮像された場合の画像に変換する第２の変換ステップとを含むことを特徴とする。
【００１３】
本発明のプログラムは、撮像機器によって、所定の仰角で撮像された結果得られた入力画像を、正面から撮像された場合の正対画像に変換する変換ステップと、変換ステップにより変換された正対画像の動きに基づいて、正対画像に対して所定の処理を実行する実行ステップと、実行ステップにより処理が施された正対画像を、所定の仰角で撮像された場合の画像に変換する第２の変換ステップとを含むことを特徴とする。
【００１４】
本発明の画像処理装置および方法、並びにプログラムにおいては、撮像機器によって、所定の仰角で撮像された結果得られた入力画像が、正面から撮像された場合の正対画像に変換され、変換された正対画像の動きに基づいて、正対画像に対して所定の処理が実行され、処理が施された正対画像が、所定の仰角で撮像された場合の画像に変換される。
【発明の効果】
【００１５】
本発明によれば、被写体像の動きを利用した処理を適切に行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００１７】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００１８】
本発明の画像処理装置は、撮像機器によって、所定の仰角で撮像された結果得られた入力画像を、正面から撮像された場合の正対画像に変換する第１の変換手段（例えば、図３の仰角算出部１２、画像変換部１３）と、第１の変換手段により変換された正対画像の動きに基づいて、正対画像に対して所定の処理を実行する実行手段（例えば、処理部１４）と、実行手段により処理が施された正対画像を、所定の仰角で撮像された場合の画像に変換する第２の変換手段（例えば、仰角算出部１２、画像変換部１５）とを備えることを特徴とする。
【００１９】
第１の変換手段は、入力画像の消失点を算出する消失点算出手段（例えば、図４の量子化部２１、消失点算出部２２）と、消失点に基づいて、仰角を算出する仰角算出手段（例えば、仰角算出部２３）と、仰角に基づいて、入力画像を、正対画像に変換する第３の変換手段（例えば、画像変換部１５）とを備えることができる。
【００２０】
消失点算出手段は、入力画像を、所定の特徴に基づいて量子化する量子化手段（例えば、図４の量子化部２１）と、量子化手段により量子化された入力画像に基づいて、消失点を算出する消失点算出手段（例えば、消失点算出部２２）とを備えることができる。
【００２１】
特徴量は、肌理の勾配を形成する特徴（例えば、色差、エッジ強度）であるようにすることができる。
【００２２】
図３は、本発明を適用した画像処理装置１の構成例を示している。画像処理装置１は、図２に示したような一定の仰角を伴って水平方向に直線運動するビデオカメラにより撮像された結果得られた画像（一定の肌理の勾配を有する画像）を、正面から撮像された画像（図２の例では、真上から撮像された画像（図１））（肌理の勾配がない画像）（以下、正対画像と称する）に変換する。すなわち被写体の像が画像中でも等速直線運動となるように変換される。
【００２３】
そして画像処理装置１は、正対画像全体に対して、例えば動き補償付きノイズリダクション処理を行う。すなわち正対画像中では被写体の像が等速直線運動になっているので、正確な動き補償を行うことができ、その結果ノイズリダクション等を適切に行うことができる。
【００２４】
画像処理装置１は、処理の結果得られた画像を、元の肌理の勾配を有する画像に戻し、例えばそれを図示せぬ記録媒体や表示部等に出力する。
【００２５】
画像処理装置１の構成について説明する。
【００２６】
画像入力部１１は、図示せぬ撮像部によって撮像された結果得られた画像を入力する。例えば、図２に示すような、撮像部によって、一定の仰角を伴って水平方向に直線運動するビデオカメラにより撮像された画像が入力される。
【００２７】
画像入力部１１は、入力した入力画像を、仰角算出部１２および画像変換部１３に供給する。
【００２８】
仰角算出部１２は、画像入力部１１から供給された入力画像から、その画像の撮像時の撮像部の仰角を算出し（例えば、フレーム毎に算出し）、画像変換部１３および画像変換部１５に供給する。
【００２９】
仰角算出部１２は、図４に示すように構成されている。量子化部２１は、画像入力部１１から供給された入力画像をフレーム毎に量子化し、消失点算出部２２に供給する。
【００３０】
消失点算出部２２は、量子化部２１から供給された量子化データに基づいて消失点（撮像画像上の座標）を算出し、仰角算出部２３に供給する。
【００３１】
消失点とは、被写体の平面が無限遠方に収束する点であり、この例の場合、肌理の勾配から求められる。
【００３２】
仰角算出部２３は、消失点算出部２２から供給された消失点の座標を利用して、入力画像の撮像時の撮像部の仰角を算出し、その算出結果を画像変換部１３に供給する。
【００３３】
なお量子化部２１乃至仰角算出部２３の構成および処理の詳細については後述する。
【００３４】
図３に戻り画像変換部１３は、仰角算出部１２から供給された撮像部の仰角に基づいて、画像入力部１１から供給された入力画像を、正面から撮像した場合に得られる画像（正対画像）に変換する。すなわち被写体の像が等速直線運動する画像が生成される。画像変換部１３は、変換した正対画像を、処理部１４に供給する。
【００３５】
ここで画像変換部１３の画像変換の原理について説明する。
【００３６】
例えば図５に示すような等間隔に穴が空いた鉄板Ｔを、図６に示すように、カメラＣＡによって所定の仰角θで撮像すると、図７に示すような、穴の模様（肌理）が手前になるほどが粗く、遠ざかるほどが細かくなるような勾配を有する画像Ｄａが得られる。なお図７中の目盛りＭは、穴の模様の縦方向（肌理の勾配方向）の位置を表している。
【００３７】
このような肌理の勾配を有する画像Ｄａを、今度は、図８に示すように、プロジェクタＰＪを用いて、カメラＣＡの仰角θと同じ分だけ傾けられたスクリーンＳＣに表示すると、図９に示すように、実際の鉄板Ｔ（図５）と同様に、穴の模様が一定間隔で並ぶ鉄板Ｔの画像Ｄｂが映し出される。
【００３８】
なお図９の矢印の元は、画像Ｄａの所定の穴の模様の縦方向の位置を表し、矢印の先は、矢印の元の画像Ｄａの穴の模様に対応する画像Ｄｂの穴の模様の縦方向の位置を表している。
【００３９】
すなわち画像変換部１３は、図９に示すような正対画像（画像Ｄｂ）および入力画像（画像Ｄａ）の画素位置と仰角（θ）の幾何学的な関係を利用して、算出された仰角に基づいて、正対画像を構成する各画素に対応する入力画像の画素を検出し、検出した入力画像の画素の画像値を正対画像の画素に設定することで、正対画像を生成する。
【００４０】
なお消失点（正確には消失点の像）Ｒは、図７の例では、穴の模様の縦方向の間隔がなくなる図上、上方に存在する。また図９に示すように、消失点Ｒと焦点Ｑを結ぶ線は、被写体の面（図９の例では、スクリーンの面）と並行となることから、仰角（カメラ光軸と被写体の面の角度）は、消失点を求めることで得ることができる。すなわちこの理由から、仰角算出部１２では、はじめに消失点を求め（消失点算出部２２）、それを利用して仰角を算出する（仰角算出部２３）。
【００４１】
図３に戻り処理部１４は、画像変換部１３から得られた正対画像に対して、動き補償付きノイズリダクション処理を行い、その結果得られた画像を、画像変換部１５に供給する。
【００４２】
具体的には、動き補償付きフレームメモリ３１は、画像変換部１３から供給された正対画像を、所定フレーム分遅延させて、動きベクトル推定部３２に供給する。動き補償付きフレームメモリ３１はまた、アドレス制御部３３の制御に従って、入力された正対画像について動きベクトル推定部３２で推定された動きベクトルに応じた動き補償を行って記憶し、それを乗算器３４に供給する。
【００４３】
動きベクトル推定部３２は、画像変換部１３から供給された正対画像と、動き補償付きフレームメモリ３１から供給された正対画像（過去の画像）を利用してブロックマッチング等を行い、動きベクトルを推定し、アドレス制御部３３に供給する。
【００４４】
アドレス制御部３３は、動きベクトル推定部３２から供給された動きベクトルに応じて、動き補償付きフレームメモリ３１に記憶される正対画像をシフトさせる（動き補償）。
【００４５】
乗算部３４は、動き補償付きフレームメモリ３１から供給された正対画像（過去の正対画像）に係数ｋ（０＜ｋ＜１）を乗算し、その結果を加算器３６に供給する。
【００４６】
乗算器３５は、画像変換部１３から供給された正対画像に係数（１−ｋ）を乗算し、その結果得られた画像を加算器３６に供給する。なお係数ｋは、推定された動きベクトルに基づいて信頼性判断が適宜行われて決定される。
【００４７】
加算器３６は、乗算器３４から供給された画像と、乗算器３５から供給された画像を加算し、その結果得られた画像（ノイズが除去された画像）を画像変換部１５に供給する。
【００４８】
画像変換部１５は、処理部１４から供給された正対画像（ノイズが除去された正対画像）を、仰角算出部１２から供給された仰角に基づいて、入力画像と同様の肌理の勾配を有する画像（以下、出力画像と称する）に変換し、画像出力部１６に供給する。
【００４９】
画像出力部１６は、画像変換部１５から供給された出力画像を、例えば図示せぬ表示部に出力して表示させたり、記録媒体に出力して記録させる。
【００５０】
次に、図１０のフローチャートを参照して、画像処理装置１の動作を説明する。
【００５１】
ステップＳ１において、仰角算出部１２（図３）は、画像入力部１１から入力された入力画像から、撮像時の撮像部の仰角を算出する。ここでの処理を、図１１のフローチャートと図４を参照して説明する。
【００５２】
ステップＳ１１において、仰角算出部１２の量子化部２１（特徴量抽出部５１）は、入力画像の１フレーム毎にその各画素の特徴量を抽出する。例えば各画素の色差値やエッジ強度が抽出される。なおエッジ強度を特徴量とする場合、特徴量抽出部５１は、微分フィルタ（図示せず）を内蔵し、入力画像のエッジを強調してエッジ強度を抽出する。
【００５３】
ステップＳ１２において、量子化部２１の量子化部５２は、ステップＳ１１で抽出された各画素の特徴量に基づいて、入力画像を量子化する。
【００５４】
例えば特徴量が色差値である場合、所定の基準値と同じ色差値を有する画素の値が１とされ、それ以外の色差値を有する画素の値が０とされる。
【００５５】
例えば図２に示した入力画像は、図１２に示すように量子化される。なお図１２中、白点は、値１の画素を表し、黒点は、値０の画素を表している。
【００５６】
ここで基準値を決定するための処理を、図１３のフローチャートを参照して説明する。
【００５７】
ステップＳ２１において、入力画像（例えば、１フレーム）から、所定の特徴量（この例の場合、色差値）のヒストグラムが生成される。
【００５８】
ステップＳ２２において、ステップＳ２１で生成されたヒストグラムにおいて、度数の上位ｎ個の色差値が選択される。
【００５９】
ステップＳ２３において、ステップＳ２２で選択されたｎ個の色差値の中から１個の色差値が選択され、ステップＳ２４において、選択された色差値と同じ色差値を有する画素の位置が検出される。
【００６０】
次にステップＳ２５において、図１４乃至図１６に示す例のように、ステップＳ２４でその位置が検出された画素の、水平方向の位置（Ｘ軸座標）の最大値と最小値の差、および垂直方向の位置（Ｙ軸座標）の最大値と最小値の差がそれぞれ算出されるとともに、その合計値が算出される。
【００６１】
ステップＳ２６において、ステップＳ２２で選択されたｎ個の色差値のすべてがステップＳ２３で選択されたか否かが判定され、まだ選択されていない色差値があると判定された場合、ステップＳ２３に戻り、次の色差値が選択され、ステップＳ２４以降の処理が同様に行われる。
【００６２】
ステップＳ２６で、すべての色差値が選択されたと判定された場合、ステップＳ２７に進み、ステップＳ２５で算出された合計値の中で最大の合計値が得られた色差値が基準値として選択される。
【００６３】
このようにして基準値が決定される。すなわち入力画像に、例えば比較的多く存在する色であって、入力画像全体に分布している色の色差値が基準値となり、そのような色について量子化される。
【００６４】
なおここでは特徴量が色差値である場合を例として説明したが、エッジ強度等の他の特徴量についても同様にして基準値が決定される。
【００６５】
図１１に戻りステップＳ１３において、仰角算出部１２（消失点算出部２２）は、ステップＳ１２で得られた量子化データから消失点を算出する。
【００６６】
具体的には、消失点算出部２２の肌理勾配算出部６１は、ステップＳ１２で得られた量子化データ（図１２）から、ライン毎に、白点（肌理）の間隔の平均値（肌理勾配データ）を算出する。例えば図１７に示すように、所定のラインにおいて値が１の画素ａ１，ａ２，ａ３，ａ４が並んでいる場合、その間隔の平均値が算出される。
【００６７】
そして肌理勾配算出部６１は、算出したライン毎のこの平均値ＡＶ（図１８）に基づいて、図１９に示すように回帰直線を設定する。すなわちこの回帰直線が肌理の勾配に相当する。
【００６８】
次に消失点算出部６２は、設定された回帰直線と、そのＹ軸（入力画像上のＹ軸）との交点を消失点として算出する。
【００６９】
消失点Ｒは、入力画像（図２）を見た場合の被写体の平面が無限遠方に収束する点であるので、図２０に示すように入力画像を超えた位置に存在する場合もある。なお消失点ＲのＸ軸座標は、入力画像の中心点のＸ軸座標とする。
【００７０】
次にステップＳ１４において、仰角算出部１２（仰角算出部２３）は、ステップＳ１３で算出された消失点を利用して仰角を算出する。
【００７１】
仰角は、図２１に示すように、消失点Ｒと焦点Ｑを結ぶ直線と、結像面Ｚの中心点と焦点Ｑを結ぶ直線からなる角度と同値であるので、仰角は、式（１）に示すように算出される。
【００７２】
【数１】
2006107407.tif 000003
【００７３】
なお式中、ｐは、入力画像の中心点と消失点Ｒの距離（図２０）であり、ｈは、入力画像のＹ軸方向の大きさ（高さ）（図２０）であり、ｒは、ｐ／ｈである。またｋは所定の係数である（後述）。また図２１に示した幾何学関係は、図２２に示すこともできる。
【００７４】
このようして仰角が算出されると図１０のステップＳ２において、画像変換部１３は、その仰角を利用して、入力画像を正対画像に変換する。
【００７５】
具体的には、正対画像の画素（ｘ１，ｙ１）毎に、それに対応する入力画像の画素（ｘ０，ｙ０）が検出される（図２３）。
【００７６】
正対画像の画素（ｘ１，ｙ１）、入力画像の画素（ｘ０，ｙ０）、および仰角θは、図２４に示すような幾何学的な関係を有しているので、正対画像の画素（ｘ１，ｙ１）に対応する入力画像の画素（ｘ０，ｙ０）は、式（２）に示すように求められる。
これを用いて、入力画像が与えられたとき被写体平面上の実際の模様を推定することができる。
【００７７】
【数２】
2006107407.tif 000004
【００７８】
次にステップＳ３に進み、処理部１４は、画像変換部１３により変換された正対画像に対して、上述したような動き補償付きノイズリダクション処理を施する。
【００７９】
ステップＳ４において、画像変換部１５は、ステップＳ１で算出された仰角を利用して、処理部１４によりノイズリダクション処理が施された正対画像を、元の肌理の勾配を有する画像（出力画像）に変換する。
【００８０】
具体的には、出力画像の画素（ｘ０，ｙ０）毎に、それに対応する正対画像（ｘ１，ｙ１）の画素が検出される（図２５）。
【００８１】
出力画像の画素（ｘ０，ｙ０）、正対画像の画素（ｘ１，ｙ１）、および仰角θは、図２６に示すような幾何学的な関係を有しているので、出力画像の画素（ｘ０，ｙ０）に対応する正対画像の画素（ｘ１，ｙ１）は、式（３）に示すように求められる。これを用いればフィルムにどのように像が写るかを知ることができる。
【００８２】
【数３】
2006107407.tif 000005
【００８３】
次にステップＳ５において、画像出力部１６は、画像変換部１５から供給された出力画像を、表示部や記録媒体に供給する。
【００８４】
以上のような処理が１フレーム毎に繰り返し行われて、入力画像が処理される。
【００８５】
実際にカメラで撮影した画像から被写体平面上の模様を推定しようとする際、カメラの画角や原点からの距離は未知である場合が多い。正しいkおよびdの値を、それぞれk0, d0, 推定値をk1, d1とすると、推定した被写体平面上の点P(x1,y1)と実際の被写体平面上の点P(X1,Y1)との関係は、式(2)でk=k1, d=d1とし、これを式(3)でk=k0, d=d0としたものに代入することにより、式(17) となる。
【００８６】
【数１３】
2006107407.tif 000006
【００８７】
このことから、レンズの焦点距離 k h やカメラの原点からの距離 d が正確に求まっていなくても、推定した被写体平面上に描画した模様は、実際の被写体平面上の模様を x および y 方向に定数倍に拡大もしくは縮小したものとなる。このようにして求めた正対画像上では、多くの場合、物体は等速直線運動を行っていると考えることができる。
【００８８】
これは、簡単な作図によっても確認することが可能である（図２７乃至図２９）
【００８９】
例えば図２１を参照して説明すると、画角ｆｏｖは、式（４）に示すように、係数ｋで特定され、仰角は、式（１）に示したようにその係数を含んで求められるので、画角に応じて仰角は変化する。なお図２７乃至図２９の例において、縦方向の拡大率をｒとすると、式（５）が成立する。
【００９０】
【数４】
2006107407.tif 000007
【００９１】
【数５】
2006107407.tif 000008
【００９２】
また以上においては、水平被写体を撮像した場合を例として説明したが、図３０に示すように垂直被写体を撮像した場合においても、本発明を適用することができる。
【００９３】
この場合の画像処理装置１の構成例を図３１に示す。この画像処理装置には、図３に示す画像処理装置１に、画像回転部７１乃至スイッチ７３がさらに設けられている。
【００９４】
画像回転部７１は、画像入力部１１から供給された入力画像（垂直被写体像をも含む可能性のある画像）を９０度回転し、その結果得られた画像（以下、回転画像と称する）を、方向決定部７２およびスイッチ７３に供給する。
【００９５】
方向決定部７２は、仰角算出部１２から供給された信頼性情報に基づいて、スイッチ７３を制御して、画像回転部７１から供給される回転画像または画像入力部１１から供給される入力画像を選択させ、いずれか一方の画像を仰角算出部１２および画像変換部１３に供給させる。
【００９６】
仰角算出部１２は、仰角を算出する際に、はじめに、入力画像そのもの、および入力画像が９０度回転された画像（回転画像）のいずれを利用して仰角を算出すればよいかを表す信頼性情報を生成し、方向決定部７２に供給する。
【００９７】
具体的には仰角算出部１２は、１フレームの入力画像および回転画像のそれぞれから消失点を算出し、そのとき利用した回帰直線（図１９）に対して、各肌理勾配データ（図１９の例の場合、ライン毎の値が１の画素の間隔平均値）がどれだけ離れているかを算出し（分散や偏差を算出し）、それを（またはその逆数を）信頼性情報とする。
【００９８】
すなわち方向決定部７２は、入力画像から得られた信頼性情報と、回転画像から得られた信頼性情報を比較し、信頼性が高い方（分散や偏差が小さい方）の画像が仰角算出部１２および画像変換部１３に供給されるようにスイッチ７３を制御する。
【００９９】
上記の方向決定処理は、所定数のフレームにつき1回行うものとする。
【０１００】
以上のようにして、垂直被写体に対しても本発明を適用することができる。また、原理的には本発明は、水平と垂直以外の任意の角度のついた平面に対しても適用することが可能である。
【０１０１】
また以上においては、仰角算出部１２の量子化部２１（図４）において入力画像を量子化する際に、各画素について、１個の特徴の特徴量（例えば、色差値またはエッジ強度）を利用したが、複数の特徴の特徴量を利用することができる。
【０１０２】
この場合の仰角算出部１２の構成例を図３２に示す。この仰角算出部には、図４の仰角算出部１２の量子化部２１に代えて、量子化部８１が設けられている。この量子化部８１には、ｎ個の特徴量抽出部５１−１乃至５１−ｎと、特徴量評価部９１が設けられている。他の部分は、図４における場合と同様であるので、その説明は適宜省略する。
【０１０３】
ｎ個の特徴量抽出部５１それぞれには、入力画像が供給され、各特徴量抽出部５１は、１フレーム毎にその各画素の所定の特徴量を抽出する。例えば特徴量抽出部５１−１は、色差値を抽出し、特徴量抽出部５１−２は、エッジ強度を抽出する。各特徴量抽出部５１は、抽出した各画素の特徴量を特徴量評価部９１に供給する。
【０１０４】
特徴量評価部９１は、特徴量抽出部５１から供給された特徴量に基づいて各画素の評価値を算出し、量子化部５２に供給する。
【０１０５】
量子化部５２は、特徴量評価部９１から供給された各画素の評価値に基づいて、入力画像を量子化する。
【０１０６】
このようにして複数の特徴量を利用して入力画像を量子化することができる。
【０１０７】
また特徴量評価部９１は、各特徴Ｃに対して評価値Ｅを算出する。そして図３３に示すような、利用する特徴Ｃに応じた重み値Ｗを示すテーブルを保持しておき、評価値Ｅを算出する際に、式（６）に示すように重み付けを行って評価値Ｅを算出することができる。
Ｅ＝Ｗ１・Ｅ１＋Ｗ２・Ｅ２＋・・・＋Ｗｎ・Ｅｎ・・・（６）
ただし、Ｅ１乃至ＥｎはＣ１乃至Ｃｎの特徴量による評価値とする。
【０１０８】
また特徴量評価部９１は、図３４に示すような所定の特徴（利用する特徴の全部または一部）（図３４の例では、特徴Ｃ１乃至Ｃｊ）に応じた重み値Ｗ（Ｗ１乃至Ｗｊ）を示すテーブルを保持しておき、その特徴の特徴量から評価値Ｚを、式（７）に示すように算出する。
Ｚ＝Ｗ１・Ｅ１＋Ｗ１・Ｅ２＋・・・＋Ｗｊ・Ｅｊ・・・（７）
【０１０９】
そして特徴量評価部９１は、図３５に示すような、評価値Ｚに応じた、所定の特徴Ｃ（利用する特徴の全部または一部（図３５の例では、評価値Ｚを算出する際に利用されなかった特量Ｃ(j+1)乃至Ｃｎ）の重み値Ｗ（Ｗ(j+1)乃至Ｗｎ）を示すテーブルを保持しておき、その重み値Ｗの組みから、式（８）に示すように評価値Ｅを算出することもできる。
Ｅ＝Ｗ(j+1)・Ｅ（j+1）＋Ｗ(j+2)・Ｅ（j+2）＋・・・＋Ｗｎ・Ｅｎ・・・（８）
【０１１０】
図３６は、仰角算出部１２の他の構成例を示している。この仰角算出部には、図４に示す仰角算出部１２の量子化部２１および消失点算出部２２に代えて、消失点算出部１０１が設けられている。他の部分は、図４における場合と同様である。
【０１１１】
この仰角算出部１２の動作を、図３７のフローチャートを参照して説明する。
【０１１２】
ステップＳ５１において、消失点算出部１０１は、繰り返し回数Ａを設定する。
【０１１３】
ステップＳ５２において、消失点算出部１０１は、乱数 i, j, s を発生させる。
【０１１４】
ステップＳ５３において、消失点算出部１０１は、図３９に示すように、入力画像から所定の座標（ｉ，ｊ）を中心とした、一辺の長さがＳの正方形（以下、サブ画像と称する）を切り出す。
【０１１５】
サブ画像の中心座標（ｉ，ｊ）は、式（９）に示すように決められる。式中、ｗは、入力画像のＸ軸方向の長さであり、ｈは、Ｙ軸方向の長さである（図３８）。random()は、０以上１未満のランダムな実数を発生させる乱数発生器（図示せず）の出力で、計算の度に異なった値となる。すなわちｉの計算に利用される乱数とｊの計算に利用される乱数は異なる。
ｉ＝ｗ×random()
ｊ＝ｈ×random()・・・・（９）
【０１１６】
またサブ画像の一辺の長さｓは、式（１０）で算出される。式中、logは、自然対数であり、expは、指数関数であり、min(a,b)は、ａとｂの小さい方を示す関数である。
【０１１７】
【数６】
2006107407.tif 000009
【０１１８】
なおサブ画像が入力画像からはみ出る場合、はみ出なくなるまで別の乱数でｉ、ｊ、ｓが、それぞれが計算される。
【０１１９】
次に、ステップＳ５４において、消失点算出部１０１は、（i,j）を中心に入力画像から切り出した上下それぞれＳの幅の帯状の部分である、部分画像の各画素（ｐ，ｑ）について、サブ画像とマッチングを行う。具体的には、消失点算出部１０１は、部分画像の各画素（ｐ，ｑ）を中心に、一辺の長さＳの正方形と切り出し、サブ画像との間で、全画素についての、RGBそれぞれの画素値の差の絶対値の合計値Ｖ（ｐ，ｑ）を算出する。この処理では絶対値以外にも二乗値も用いられる。
【０１２０】
ステップＳ５５において、消失点算出部１０１は、ステップＳ５４で算出した各画素の合計値Ｖ（ｐ，ｑ）に基づいて、Ｙ座標毎の特徴量Ｕ（ｐ）を特定する。
【０１２１】
具体的には、Ｙ座標毎の合計値Ｖ（ｐ，ｑ）の最小値が特徴量Ｕ（ｐ）とされる（式（１１））。
【０１２２】
【数７】
2006107407.tif 000010
【０１２３】
またＹ座標毎の合計値Ｖ（ｐ，ｑ）の平均値が特徴量Ｕ（ｐ）とされる（式（１２））。
【０１２４】
【数８】
2006107407.tif 000011
【０１２５】
またＹ座標毎の合計値Ｖ（ｐ，ｑ）のうち、q=sにおける値が特徴量Ｕ（ｐ）とされる（式（１３））。
【０１２６】
【数９】
2006107407.tif 000012
【０１２７】
ステップＳ５６において、消失点算出部１０１は、ステップＳ５５で算出された特徴量Ｕから肌理勾配データａを算出する。
【０１２８】
例えば特徴量Ｕのアクティビティ値が（式（１４））、肌理勾配データａとされる。
【０１２９】
【数１０】
2006107407.tif 000013
【０１３０】
また特徴量Ｕの自己相関関数Ｘ（ｔ）を利用して、肌理勾配データａを算出することもできる。
【０１３１】
具体的には、式（１５）を満たすｔ１を自己相関の半値とし（図４０）、これが肌理勾配データａとされる。
【０１３２】
【数１１】
2006107407.tif 000014
【０１３３】
また自己相関関数Ｘ（ｔ）がゼロになる回数（ゼロクロス）の逆数が肌理勾配データａとされる（図４１）。ゼロクロス回数が0の場合は、a=0とする。
【０１３４】
また式（１６）により求められる相関アクティビティが肌理勾配データａとされる。
【０１３５】
【数１２】
2006107407.tif 000015
【０１３６】
以上のようにして、部分画像の肌理勾配データａが算出されると、ステップＳ５７に進む。
【０１３７】
ここでは、上記各試行毎に、部分画像に対してＸ軸座標毎の特徴量Ｕが算出されるとともに、その特徴量Ｕから肌理勾配データａが求められる。
【０１３８】
消失点算出部１０１は、図４２に示すような、肌理勾配データａを利用して、分割領域毎に、１つの点をプロットする。
【０１３９】
上記ステップＳＳ５２乃至Ｓ５７までの試行を１試行とする。この次にステップＳ５８に進み、上記試行が、所定回数Ａだけ繰り返されたかどうかが判定され、そうであればステップＳ５９に、そうでなければステップＳ５２に進む。
【０１４０】
ステップＳ５８で試行が所定の回数繰り返されたと判定された場合、ステップＳ５９において、消失点算出部１０１は、図４３に示すように、上記プロットの集合を、垂直方向にｎの区分に分け、それぞれの区分の中に含まれるプロットのみを対象として、肌理勾配データａの平均値やメディアンをＡ（ｎ）とし、ｊ方向の中間の中間値をｊ（ｎ）として、その座標で特定される点をプロットする。
【０１４１】
さらに消失点算出部１０１は、このプロットを利用して、回帰直線を設定し、そのＹ軸との交点を消失点とする。
【０１４２】
ステップＳ６０において、仰角算出部２３は、ステップＳ５９で算出された消失点を利用して、仰角を算出する。
【０１４３】
図４４乃至図４８は、上記処理の例を示している。
【０１４４】
図４９は、仰角算出部１２の他の構成例を示している。この仰角算出部には、図４に示す仰角算出部１２の量子化部２１および消失点算出部２２に代えて、ブロック化部１１１と消失点算出部１１２が設けられている。他の部分は、図４における場合と同様である。
【０１４５】
ブロック化部１１１は、入力画像を、肌理の勾配を利用してブロックサイズを決定する。
【０１４６】
ブロック化部１１１の構成について説明する。ブロック化メモリ１２１は、アドレス制御部１２５の制御に従って、入力画像の一部（ブロック）を切り出して、特徴量算出部１２２に供給する。
【０１４７】
特徴量算出部１２２は、ブロック化メモリ１２１から供給されたブロックから所定の特徴量を算出する。例えばブロック内の画素の輝度値やエッジ強度のヒストグラムの分布、RGBヒストグラムの各成分の差分、またはブロック内の画素の輝度値やエッジ強度の最大値、最小値、若しくはダイナミックレンジが特徴量として算出される。
【０１４８】
特徴量判定部１２３は、特徴量算出部１２２から供給されたブロックの特徴量に応じてブロック化メモリ１２１で切り出されるブロックのサイズを小さくさせたり、そのときのブロックの大きさを記憶部１２４に記憶させる。
【０１４９】
アドレス制御部１２５は、特徴量判定部１２３からの判定結果に基づいて、切り出されるブロックのサイズを変更させて、入力画像全体からブロックを切り出させる。
【０１５０】
消失点算出部１１２は、ブロック化部１１１で特定されたブロックのサイズを利用して、消失点を算出する。
【０１５１】
次に、この仰角算出部１２の動作を、図５０のフローチャートを参照して説明する。
【０１５２】
ステップＳ７１において、アドレス制御部１２５は、ブロックサイズを初期値に設定し、ステップＳ７２において、ブロック化メモリ１２１を制御して、ブロックをラスタ順の所定の位置に設定する。
【０１５３】
ステップＳ７３において、ブロック化メモリ１２１は、設定されたブロックを切り出す。ここで切り出されたブロックは特徴量算出部１２２に供給される。
【０１５４】
ステップＳ７４において、特徴量算出部１２２は、ブロック化メモリ１２１から供給されたブロックの特徴量を算出する。
【０１５５】
次にステップＳ７５において、特徴量判定部１２３は、特徴量算出部１２２により算出された特徴量と基準特徴量（初期ブロックサイズの特徴量もしくは直前ブロックサイズの特徴量）との差が所定の閾値より大きいか否かを判定し、それ以下であると判定した場合、ステップＳ７６に進み、その旨をアドレス制御部１２５に通知する。これにより、アドレス制御部１２５は、切り出すブロックのサイズを１サイズ分だけ小さくする。
【０１５６】
その後処理は、ステップＳ７３に戻り、それ以降の処理が行われる。
【０１５７】
ステップＳ７５で、閾値より大きいと判定された場合、ステップＳ７７に進み、特徴量判定部１２３は、そのときのブロックサイズを記憶部１２４に記憶する。
【０１５８】
次にステップＳ７８において、アドレス制御部１２５は、入力画像全体からブロックを切り出したか否かを判定し、切り出していないと判定した場合、ステップＳ７１に戻り、ブロックサイズを初期サイズに設定するとともに、ステップＳ７２において、ブロックを次のラスタ順の位置に移動させる。そしてそれ以降の処理が同様にして行われる。
【０１５９】
ステップＳ７８で、入力画像全体からブロックが切り出されたと判定された場合、ステップＳ７９に進む。
【０１６０】
ステップＳ７９において、消失点算出部１１２は、特定されたブロックについて、ライン毎にブロックサイズの平均値を算出する。
【０１６１】
次にステップＳ８０において、消失点算出部１１２は、算出した平均値を利用して回帰直線を設定し、消失点を算出する。
【０１６２】
ステップＳ８１において、仰角算出部２３は、ステップＳ８０で算出された消失点を利用して、仰角を算出する。
【０１６３】
その後処理は終了する。
【０１６４】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した画像処理装置１が機能的に実現される。
【０１６５】
図５１は、コンピュータ５０１の構成例を示している。CPU（Central Processing Unit）５１１にはバス５１５を介して入出力インタフェース５１６が接続されており、CPU５１１は、入出力インタフェース５１６を介して、ユーザから、キーボード、マウスなどよりなる入力部５１８から指令が入力されると、例えば、ROM（Read Only Memory）５１２、ハードディスク５１４、またはドライブ５２０に装着される磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、若しくは半導体メモリ５３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）５１３にロードして実行する。これにより、上述した各種の処理が行われる。さらに、CPU５１１は、その処理結果を、例えば、入出力インタフェース５１６を介して、LCD（Liquid Crystal Display）などよりなる出力部５１７に必要に応じて出力する。なお、プログラムは、ハードディスク５１４やROM５１２に予め記憶しておき、コンピュータ５０１と一体的にユーザに提供したり、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、半導体メモリ５３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部５１９を介してハードディスク５１４に提供することができる。
【０１６６】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１６７】
【図１】被写体の例を示す図である。
【図２】撮像画像の例を示す図である。
【図３】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図４】図３の仰角算出部の構成例を示すブロック図である。
【図５】被写体の他の例を示す図である。
【図６】画像変換の原理を説明する図である。
【図７】撮像画像の他の例を示す図である。
【図８】画像変換の原理を説明する他の図である。
【図９】画像変換の原理を説明する他の図である。
【図１０】画像処理装置の動作を説明するフローチャートである。
【図１１】図１０のステップＳ１の処理を説明するフローチャートである。
【図１２】肌理を説明する図である。
【図１３】肌理を特定する際の基準値を決定する処理を説明するフローチャートである。
【図１４】肌理を特定する際の基準値を決定する処理を説明する図である。
【図１５】肌理を特定する際の基準値を決定する処理を説明する他の図である。
【図１６】肌理を特定する際の基準値を決定する処理を説明する他の図である。
【図１７】回帰直線データを算出する方法を説明する図である。
【図１８】回帰直線データを算出する方法を説明する他の図である。
【図１９】回帰直線を設定する処理を説明する図である。
【図２０】消失点の算出方法を説明する図である。
【図２１】仰角を算出する方法を説明する図である。
【図２２】仰角を算出する方法を説明する他の図である。
【図２３】画像変換を説明する図である。
【図２４】画像変換を説明する他の図である。
【図２５】画像変換を説明する他の図である。
【図２６】画像変換を説明する他の図である。
【図２７】画像変換を説明する他の図である。
【図２８】画像変換を説明する他の図である。
【図２９】画像変換を説明する他の図である。
【図３０】撮像画像の他の例を示す図である。
【図３１】本発明を適用した画像処理装置の他の構成例を示すブロック図である。
【図３２】仰角算出部の他の構成例を示すブロック図である。
【図３３】重み値が設定されたテーブルの例を示す図である。
【図３４】重み値が設定された他のテーブルの例を示す図である。
【図３５】重み値が設定されたテーブルの例を示す図である。
【図３６】仰角算出部の他の構成例を示すブロック図である。
【図３７】図２６の仰角算出部の動作を説明するフローチャートである。
【図３８】図２６の仰角算出部の動作を説明する図である。
【図３９】図２６の仰角算出部の動作を説明する他の図である。
【図４０】図２６の仰角算出部の動作を説明する他の図である。
【図４１】図２６の仰角算出部の動作を説明する他の図である。
【図４２】図２６の仰角算出部の動作を説明する他の図である。
【図４３】図２６の仰角算出部の動作を説明する他の図である。
【図４４】図２６の仰角算出部の動作を説明する他の図である。
【図４５】図２６の仰角算出部の動作を説明する他の図である。
【図４６】図２６の仰角算出部の動作を説明する他の図である。
【図４７】図２６の仰角算出部の動作を説明する他の図である。
【図４８】図２６の仰角算出部の動作を説明する他の図である。
【図４９】仰角算出部の他の構成例を示すブロック図である。
【図５０】図４９の仰角算出部の動作を説明するフローチャートである。
【図５１】コンピュータ５０１構成例を示すブロック図である。
【符号の説明】
【０１６８】
１  画像処理装置，  １１  画像入力部，  １２  仰角算出部，  １３  画像変換部，  １４  処理部，  １５  画像変換部，  １６  画像出力部，  ２１  量子化部，  ２２  消失点算出部，  ２３  仰角算出部，  ５１  特徴量抽出部，  ５２  量子化部，  ６１  肌理勾配算出部，  ６２  消失点算出部，  ７１  画像回転部，  ７２  方向決定部，  ７３  スイッチ，  ８１  量子化部，  ９１  特徴量評価部，  １０１  特徴量抽出部，  １０２  消失点算出部，  １１１  ブロック化部，  １２１  ブロック化メモリ，  １２２  特徴量計算部，  １２３  特徴量判定部，  １２４  記憶部，  １２５  アドレス制御部，      １１  無線部，  １２  符号復号処理部，  １３  制御部，  １４  記憶部，  １５  データベース部，  １６  表示部，  １７  音声信号発生部，  １８  スピーカ
【図１】
2006107407.tif 000016
【図２】
2006107407.tif 000017
【図３】
2006107407.tif 000018
【図４】
2006107407.tif 000019
【図５】
2006107407.tif 000020
【図６】
2006107407.tif 000021
【図７】
2006107407.tif 000022
【図８】
2006107407.tif 000023
【図９】
2006107407.tif 000024
【図１０】
2006107407.tif 000025
【図１１】
2006107407.tif 000026
【図１２】
2006107407.tif 000027
【図１３】
2006107407.tif 000028
【図１４】
2006107407.tif 000029
【図１５】
2006107407.tif 000030
【図１６】
2006107407.tif 000031
【図１７】
2006107407.tif 000032
【図１８】
2006107407.tif 000033
【図１９】
2006107407.tif 000034
【図２０】
2006107407.tif 000035
【図２１】
2006107407.tif 000036
【図２２】
2006107407.tif 000037
【図２３】
2006107407.tif 000038
【図２４】
2006107407.tif 000039
【図２５】
2006107407.tif 000040
【図２６】
2006107407.tif 000041
【図２７】
2006107407.tif 000042
【図２８】
2006107407.tif 000043
【図２９】
2006107407.tif 000044
【図３０】
2006107407.tif 000045
【図３１】
2006107407.tif 000046
【図３２】
2006107407.tif 000047
【図３３】
2006107407.tif 000048
【図３４】
2006107407.tif 000049
【図３５】
2006107407.tif 000050
【図３６】
2006107407.tif 000051
【図３７】
2006107407.tif 000052
【図３８】
2006107407.tif 000053
【図３９】
2006107407.tif 000054
【図４０】
2006107407.tif 000055
【図４１】
2006107407.tif 000056
【図４２】
2006107407.tif 000057
【図４３】
2006107407.tif 000058
【図４４】
2006107407.tif 000059
【図４５】
2006107407.tif 000060
【図４６】
2006107407.tif 000061
【図４７】
2006107407.tif 000062
【図４８】
2006107407.tif 000063
【図４９】
2006107407.tif 000064
【図５０】
2006107407.tif 000065
【図５１】
2006107407.tif 000066