(57)【特許請求の範囲】
【請求項１】
複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置の動きを検出する動き検出手段と、
前記動き検出手段で検出された動きと前記複数フレームの入力画像信号に基づいて中間画像情報を生成する中間画像情報生成手段と、
前記中間画像情報生成手段で生成された中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手段とを備える画像処理装置。
【請求項２】
前記中間画像情報生成手段は、
前記所定位置の動きに基づいたレイヤ分類を行って、前記所定位置を複数レイヤのいずれかに分類するレイヤ分類手段と、
前記レイヤ分類手段での分類結果と前記入力画像信号と前記所定位置の動きに基づき、前記レイヤ毎の動き量と前記レイヤ毎の画像信号を前記中間画像情報として生成する情報生成処理手段を有する請求項１記載の画像処理装置。
【請求項３】
前記レイヤ分類手段は、
前記レイヤ分類を行う際に用いる閾値を、所定フレーム数の前記所定位置の動き量に基づいて決定する閾値設定手段を有する請求項２記載の画像処理装置。
【請求項４】
前記情報生成手段では、前記レイヤ毎の動き量に基づいて前記入力画像信号から信号の抽出をレイヤ毎に行い前記レイヤ毎の画像信号を生成する請求項２記載の画像処理装置。
【請求項５】
前記情報生成処理手段は、
前記レイヤ毎の画像信号に基づく画像を所定の順序で張り合わせたときに画像の無くなる領域がある場合は、前記画像の無くなる領域の周辺領域の画像信号を用いて補間処理を行い、前記画像の無くなる領域の画像信号を作成する中間画像補間処理手段を有する請求項２記載の画像処理装置。
【請求項６】
前記レイヤ分類手段でレイヤ分類を行う際の前記複数レイヤは、奥行きを示す請求項２記載の画像処理装置。
【請求項７】
前記動き検出手段では、前記注目フレームの所定位置の画像と、前記注目フレーム対する前フレームあるいは後フレームの画像との相関を検出して、前記注目フレームの所定位置と相関が最も高い画像の位置から動き方向と動き量を検出する請求項２記載の画像処理装置。
【請求項８】
前記レイヤ分類手段では、前記複数フレームの入力画像信号から、前記所定位置の動き方向に基づいて動きパターンの検出を行い、検出結果に応じて前記複数のレイヤを設定する請求項７記載の画像処理装置。
【請求項９】
前記レイヤ分類手段では、前記動き検出手段で検出された前記所定位置の動き量に基づき、前記複数レイヤへの分類を行う請求項８記載の画像処理装置。
【請求項１０】
入力画像信号に基づく画像を所定面に射影した射影画像の画像信号を生成する幾何変換手段を有し、
前記動き検出手段では、前記射影画像の画像信号を用いて前記注目フレームの所定位置の動きを検出し、
前記中間画像情報生成手段では、前記動き検出手段で検出された動きと前記射影画像の画像信号に基づいて前記中間画像情報を生成する請求項１記載の画像処理装置。
【請求項１１】
前記動き検出手段は、
前記射影画像の所定領域の画像信号をフレーム毎に抽出して動き判別画像の画像信号を生成する動き判別画像生成手段と、
前記射影画像の位置をフレーム毎にずらした画像信号を用いて所定フレーム分の平均値画像信号を順次生成すると共に、該平均値画像信号からフレーム毎に画像信号を抽出して積分画像の画像信号を生成し、さらに前記射影画像のずらし量を変えて前記積分画像の画像信号を複数生成する積分画像生成手段と、
前記動き判別画像生成手段で生成した前記動き判別画像の画像信号と、前記積分画像生成手段で生成した前記複数の積分画像の画像信号との相関を検出して、前記所定位置と最も相関が高いとされた積分画像の画像信号を生成したときのずらし量から前記所定位置の動き量を判別する動き量判別手段を有する請求項１０記載の画像処理装置。
【請求項１２】
前記レイヤ分類手段では、前記動き量判別手段で判別された動き量に応じて、レイヤ分類を行う請求項１１記載の画像処理装置。
【請求項１３】
前記周辺画像信号生成手段は、
前記周辺画像信号を前記入力画像信号に対応させて出力できるように、前記中間画像情報蓄積手段からの前記中間画像情報の読み出しと前記周辺画像信号の生成を制御する制御手段を有する請求項１記載の画像処理装置。
【請求項１４】
前記周辺画像信号生成手段は、
前記レイヤ毎の画像信号を所定のレイヤ順序で貼り付けて前記周辺画像信号を生成する画像信号生成処理手段を有する請求項２記載の画像処理装置。
【請求項１５】
前記周辺画像信号生成手段は、
前記レイヤ毎の画像信号を所定のレイヤ順序で貼り付けた画像信号に画像の無い領域がある場合は、前記画像の無い領域の周辺領域の画像信号を用いて補間処理を行い、前記画像信号が無い領域の画像信号を作成する周辺画像補間処理手段を有する請求項１４記載の画像処理装置。
【請求項１６】
前記周辺画像信号生成手段は、
前記レイヤ毎の動き量に基づき前記貼り付けた画像信号をレイヤ毎に移動してから、新たな画像信号を前記レイヤ毎に貼り付けて前記画像信号生成処理手段に供給するレイヤ画像生成処理手段を有する請求項１４記載の画像処理装置。
【請求項１７】
前記周辺画像信号生成手段は、
前記レイヤ画像生成処理手段で生成された画像信号の射影変換を行って前記画像信号生成処理手段に供給し、あるいは前記画像信号生成処理手段で生成された画像信号の射影変換を行って出力する射影変換手段を有する請求項１６記載の画像処理装置。
【請求項１８】
前記射影変換手段では、前記入力画像信号に基づく画像の画像表示面と前記周辺画像信号に基づく画像の画像表示面との位置関係に応じた射影変換を行って、前記周辺画像信号を生成する請求項１７記載の画像処理装置。
【請求項１９】
前記入力画像信号は蓄積されている信号である請求項１記載の画像処理装置。
【請求項２０】
複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置の動きを検出するものとし、
検出された動きと前記複数フレームの入力画像信号に基づいて中間画像情報を生成し、
生成された前記中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する画像処理方法。
【請求項２１】
画像信号を処理するコンピュータに、
複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置の動きを検出する動き検出手順と、
前記動き検出手順で検出された動きと前記複数フレームの入力画像信号に基づいて中間画像情報を生成する中間画像情報生成手順と、
前記中間画像情報生成手順で生成された中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手順を実行させる画像処理プログラム。
【請求項２２】
画像信号を処理するコンピュータに、
複数フレームの入力画像信号を用いて、前記入力画像信号おける注目フレームの所定位置の動きを検出する動き検出手順と、
前記動き検出手順で検出された動きと前記複数フレームの入力画像信号に基づいて中間画像情報を生成する中間画像情報生成手順と、
前記中間画像情報生成手順で生成された中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手順を実行させるためのプログラムを記録した情報記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像処理装置と画像処理方法と画像処理プログラム及び情報記録媒体に関する。詳しくは、複数フレームの入力画像信号を用いて、注目フレームの所定位置の動きを検出するものとし、検出された動きと複数フレームの入力画像信号に基づいて中間画像情報を生成し、この生成された中間画像情報に基づいて、注目フレームに存在しない画角の周辺画像信号を生成するものである。
【０００２】
【従来の技術】
近年、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。
【０００３】
ここで、上述のようなディスプレイを用いて臨場感を高めた画像表示を行うためには、例えばコンピュータグラフィックスで３次元の仮想空間を構築することが行われている。また、多数のビデオカメラを用いたり広角レンズをビデオカメラに取り付けて広範囲な空間を撮影し、この撮影画像を多面ディスプレイやヘッドマウントディスプレイなどの平面あるいは曲面に変換して表示することも行われている。
【０００４】
【発明が解決しようとする課題】
ところで、このように多面ディスプレイや広画角ディスプレイ等を用いて臨場感を高めた画像表示を行う場合、コンピュータグラフィックスで３次元の仮想空間を構築するためには、高速なコンピュータ装置を用いて演算処理を行う必要があるため、多大なコストと時間が必要となると共に、実写画像に比べて臨場感や現実感が少ない画像となってしまう。
【０００５】
また、実写画像を用いる場合には、広範囲な空間を提示するためには、提示する範囲を全て隙間無く撮影する必要があり、多数のビデオカメラや特殊レンズを備えたビデオカメラ等、大がかりな画像取込装置が必要となり、多額のコストが必要となる。
【０００６】
さらに、一般的なビデオカメラで撮影された画像ソースが既に存在するときには、同じシーンを複数のビデオカメラで撮り直さなければ、広画角な画像を提示することができない。
【０００７】
そこで、この発明では、複数のビデオカメラや特殊レンズを用いたビデオカメラを用いることなく、広画角な画像を容易に提示できる画像処理装置と画像処理方法と画像処理プログラム及び情報記録媒体を提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像処理装置は、複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置の動きを検出する動き検出手段と、前記動き検出手段で検出された動きと前記複数フレームの入力画像信号に基づいて中間画像情報を生成する中間画像情報生成手段と、前記中間画像情報生成手段で生成された中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手段とを備えるものである。
【０００９】
また画像処理方法は、複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置の動きを検出するものとし、検出された動きと前記複数フレームの入力画像信号に基づいて中間画像情報を生成し、生成された前記中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成するものである。
【００１０】
また、画像処理プログラムは、画像信号を処理するコンピュータに、複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置の動きを検出する動き検出手順と、前記動き検出手順で検出された動きと前記複数フレームの入力画像信号に基づいて中間画像情報を生成する中間画像情報生成手順と、前記中間画像情報生成手順で生成された中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手順を実行させるものである。
【００１１】
さらに、情報記録媒体は、コンピュータに、複数フレームの入力画像信号を用いて、前記入力画像信号における注目フレームの所定位置の動きを検出する動き検出手順と、前記動き検出手順で検出された動きと前記複数フレームの入力画像信号に基づいて中間画像情報を生成する中間画像情報生成手順と、前記中間画像情報生成手順で生成された中間画像情報に基づいて、前記注目フレームに存在しない画角の周辺画像信号を生成する周辺画像信号生成手順を実行させるためのプログラムを記録したものである。
【００１２】
この発明においては、蓄積されている入力画像信号を用いて、注目フレームの所定位置の画像と、この注目フレームに対する前フレームあるいは後フレームの画像との相関を検出して、注目フレームの所定位置と相関が最も高い画像の位置から、所定位置の画像の動き方向と動き量が検出される。この検出された動き方向に基づいて動きパターンの検出が行われて、検出結果に応じて奥行きを示す複数のレイヤが設定される。また検出された動き量に基づいて所定位置をレイヤ分類する際に用いる閾値が設定される。この閾値を用いてレイヤ分類が行われて、所定位置のレイヤ分類結果と入力画像信号と所定位置の動きに基づき、レイヤ毎の動き量とレイヤ毎の画像信号が中間画像情報として生成される。
【００１３】
また、入力画像信号に基づく画像を所定面に射影した射影画像の画像信号を生成して、射影画像の画像信号を用いて射影画像の所定領域の画像信号をフレーム毎に抽出して動き判別画像の画像信号が生成される。さらに、射影画像の位置をフレーム毎にずらした画像信号を用いて所定フレーム分の平均値画像信号を順次生成して、この平均値画像信号からフレーム毎に画像信号を抽出して積分画像の画像信号が生成される。この積分画像の画像信号は、射影画像のずらし量を変えることで複数生成される。さらに、動き判別画像の画像信号と複数の積分画像の画像信号との相関が検出されて、最も相関が高いとされた積分画像の画像信号を生成したときのずらし量から、動き判別画像の所定位置の動き量が判別される。この動き量から所定位置のレイヤ分類が行われて、動き量とレイヤ毎の画像信号が中間画像情報とされる。
【００１４】
レイヤ毎の画像信号を生成する際に、レイヤ毎の画像信号に基づく画像を所定の順序で張り合わせたときに画像が無くなる領域が生じているときには、画像の無くなる領域の周辺領域の画像信号を用いて補間処理が行われる。
【００１５】
周辺画像の画像信号を出力する場合には、中間画像情報が読み出されて、レイヤ毎の動き量に基づきレイヤ毎に画像信号が読み出されて所定のレイヤ順序で貼り付けられる。また貼り付けに用いられた画像信号はレイヤ毎に動き量に応じて移動されて、この移動された信号に新たな画像信号がレイヤ毎に貼り付けられる。この所定のレイヤ順序で貼り付けられた画像信号は、注目フレームに存在しない画角の周辺画像を示す画像信号として入力画像信号に対応して出力される。
【００１６】
また、レイヤ毎の画像信号を所定のレイヤ順序で貼り付けた画像信号に画像の無い領域がある場合は、画像の無い領域の周辺領域の画像信号を用いて補間処理が行われて、画像信号が無い領域の画像信号が作成される。さらに、入力画像信号に基づく画像の画像表示面と前記周辺画像の画像表示面との位置関係に応じてレイヤ毎に貼り付けが行われた画像信号に対しての射影変換、あるいはレイヤ毎に貼り付けが行われた画像信号をさらに所定のレイヤ順序で貼り付けた画像信号に対しての射影変換が行われる。
【００１７】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明に係る画像処理装置を用いた表示システムの全体構成を示している。この表示システムでは、例えば３つのスクリーンをユーザの前面および両側面に配置して、各スクリーン１０L，１０C，１０Rに対応したプロジェクタ１２L，１２C，１２Rから画像を投影する。このプロジェクタ１２L，１２C，１２Rは画像処理装置１５と接続されている。
【００１８】
画像処理装置１５には、撮影した画像信号、例えば車載カメラ等で撮影した正面画像の画像信号ＳＤCが蓄積されている。画像処理装置１５では、この蓄積している画像信号ＳＤCをプロジェクタ１２Cに供給して、図２に示すように画像信号ＳＤCに基づく正面画像を正面に位置するスクリーン１０Cに表示させる。また、画像処理装置１５では、蓄積している正面画像の画像信号ＳＤCから、車載カメラの視野範囲に含まれていない画角の周辺画像を示す画像信号、例えば正面画像と連続する左右の側面画像を示す画像信号である周辺画像信号ＳＤL，ＳＤRを生成するための中間画像情報を生成して蓄積する。スクリーン１０Cで正面画像を表示する際には、蓄積している中間画像情報を用いて正面画像と連続する周辺画像の周辺画像信号ＳＤL，ＳＤRを生成して、周辺画像信号ＳＤLをプロジェクタ１２Lに供給すると共に周辺画像信号ＳＤRをプロジェクタ１２Rに供給する。このため、左側に位置するスクリーン１０Lに正面画像と連続性を有する左側面画像が表示されると共に、右側に位置するスクリーン１０Rに正面画像と連続性を有する右側面画像が表示されて、広画角の画像提示を行うことができる。
【００１９】
図３は、画像処理装置１５の構成の概略を示している。蓄積部３０の正面画像信号蓄積領域３１に蓄積されている画像信号ＳＤCは、動き検出ブロック２０の１フレーム遅延処理部２１と動き検出処理部２２および中間画像情報生成ブロック２５の情報生成処理部２７に供給される。
【００２０】
１フレーム遅延処理部２１では、画像信号ＳＤCを１フレーム遅延させて画像信号ＳＤCaとして動き検出処理部２２に供給する。動き検出処理部２２では、正面画像の側端側に、図４の破線で示すように区切られた複数の検出領域を設定して、この検出領域の注目フレームの画像信号ＳＤCと１フレーム前の画像信号ＳＤCaとの比較を検出領域毎に行い、画像の動きを示す動きベクトルＭＶを検出領域毎に判別して中間画像情報生成ブロック２５のレイヤ分類部２６に供給する。
【００２１】
レイヤ分類部２６では、各検出領域の動きベクトルＭＶから正面画像の動きパターンを判定して、中間画像情報の生成する際に、例えば離れた被写体を撮影した遠景画像のレイヤ，近接した被写体を撮影した近景画像のレイヤ，遠景画像と近景画像との間に位置する中景画像のレイヤ、およびこれらのレイヤとは異なるレイヤをどのように設けるものとするかを判別してレイヤ設定を行う。例えば、車載カメラで正面画像を撮影する場合、一方向に直進する場合には、正面画像を順次ズームインした画像となる。また、車が後退しているときには、正面画像を順次ズームアウトした画像となる。さらに、追越し車両が撮影されたときには、ズームイン画像に追い越し車両がズームアウト画像として表示されることとなる。また、右折や左折をしたときには、例えば正面画像の上部側が水平方向に移動されると共に下部側はズームイン画像となる。このため、各検出領域の動きベクトルＭＶから正面画像の動きパターンを判定して、判定した動きパターンに基づいてレイヤ設定を行うものとする。例えば、一方向に直進する動きパターンでと判別されたときには、遠景，中景，近景の各画像のレイヤを生成し、右折や左折の動きパターンであると判別されたときには、遠景，中景，近景の各画像のレイヤだけでなく水平方向に移動される画像が含まれるレイヤも作成する。また、追越し車両がある動きパターンのときには、遠景，中景，近景の各画像のレイヤだけでなくズームアウト画像が含まれるレイヤも作成するようにレイヤ設定を行う。
【００２２】
また、レイヤ分類部２６では、動き検出処理部２２から供給された動きベクトルＭＶに基づき、正面画像の側端側に設定された各検出領域がいずれのレイヤに属するかレイヤ分類を行う。このレイヤ分類では、動きパターンに応じて設定されたレイヤを用いたレイヤ分類を行う。例えば、遠景，中景，近景の３つのレイヤ分けすると共に、水平方向に移動される画像が含まれるレイヤやズームアウト画像が含まれるレイヤが生成されているときには、これらのレイヤも含めてレイヤ分類を行う。このレイヤ分類によって、いずれの検出領域がいずれのレイヤに属するかを示すレイヤ分類情報ＬＢを生成すると共に、この生成されたレイヤ分類情報ＬＢは情報生成処理部２７に供給される。
【００２３】
情報生成処理部２７では、レイヤ分類部２６からのレイヤ分類情報ＬＢに基づき正面画像に設定された各検出領域をレイヤ分けして、この検出領域の画像信号をレイヤ毎にフレーム順に用いることでレイヤ毎の中間画像信号を生成する。さらに、レイヤ分けされた検出領域の動きベクトルＭＶの動き量からレイヤ毎に動き量の平均値を算出する。この情報生成処理部２７で生成された中間画像信号ＧＹvおよび算出したレイヤ毎の動き量（平均値）ＭＹvは、中間画像情報として蓄積部３０の中間画像情報蓄積領域３２に蓄積される。
【００２４】
スクリーン１０C，１０R，１０Lで画像を表示する場合には、蓄積されている画像信号ＳＤCを読み出して、この画像信号ＳＤCに基づく画像をスクリーン１０Cで表示する。また、蓄積部３０に接続された周辺画像信号生成ブロック４０からの読出制御信号ＲＣによって、中間画像情報蓄積領域３２に蓄積されている中間画像情報の読み出しを行い、レイヤ毎の動き量ＭＹvに応じた分だけ各レイヤの中間画像信号ＧＹvを順次使用して、遠景，中景，近景の順に各レイヤの画像を貼り付ける。さらに遠景，中景，近景の３つのレイヤに属しないレイヤが設けられているときには、これらのレイヤの画像貼り付け処理等も行い、周辺画像信号ＳＤL，ＳＤRを生成する。この周辺画像信号ＳＤLを正面画像の画像信号ＳＤCに対応させたタイミングでプロジェクタ１２Lに供給することで、正面画像に連続させて左側面画像をスクリーン１０Lに表示できると共に、周辺画像信号ＳＤRを正面画像の画像信号ＳＤCに対応させたタイミングでプロジェクタ１２Rに供給することで、正面画像に連続させて右側面画像をスクリーン１０Rに表示できる。
【００２５】
次に、動き検出ブロック２０を構成する各部について詳細に説明する。なお、説明を簡単とするため、以下の説明では右側面についてのみ説明するものとし、左側面についての説明は省略する。
【００２６】
動き検出ブロック２０では、上述したように動きベクトルＭＶを検出領域毎に判別する。ここで、正面画像に画像の移動中心がある場合、すなわち車載カメラで前方を撮影して正面画像としたとき、図５Ａに示す時刻Ｔの画像は、例えば１フレーム時間が経過した後の時刻Ｔ’で図５Ｂに示すものとなり、あたかも画像が涌き出てくるように見える位置ＣＰ（以下「画像基準位置」という）を中心としたズームイン動作画像と略等しくなる。
【００２７】
ここで、図５Ｃに示すように、拡大率Ｚを設定して注目フレームの検出領域を（１／Ｚ）に縮小すると共に、この縮小された検出領域の位置を移動しながら１フレーム前の画像信号との誤差和を算出する。さらに拡大率Ｚを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで注目フレーム毎に各検出領域の動きベクトルＭＶを判別できる。また、誤差和が最小値となるときの拡大率Ｚを動き量とする。
【００２８】
ところで、縮小処理を行ったときには、領域内の画素の座標値が整数値とならない画素が生ずる。一方、縮小処理が行われていない１フレーム前の画像では、領域内の画素の座標値が整数値である。このため、縮小された画像に対しては線形補間を行って、座標値が整数値となる位置の信号レベルを算出する。例えば、図６に示すようにＫa×Ｋa画素の画像に対して（１／Ｚ）に縮小処理を行ったことにより画像のサイズがＫb×Ｋb画素のサイズとなったときには、線形補間を行ってＫa×Ｋa画素の信号から画素数を「Ｋb×Ｋb」とした画像の信号レベルを算出する。この算出された信号レベルと、縮小された画像と対応する位置の１フレーム前の信号レベルの誤差和を算出することにより、精度良く動き量を判別できる。
【００２９】
画像基準位置ＣＰが明らかでないとき、図７に示すように検出領域ＡRaの中心が位置Ｐa1から位置Ｐa2とされたときに誤差和が最小値となり、検出領域ＡRbの中心が位置Ｐb1から位置Ｐb2とされたときに誤差和が最小値となる場合には、検出領域ＡRaの動きベクトルＭＶの方向と検出領域ＡRbの動きベクトルの方向が交差する点を検出することで画像基準位置ＣＰを検出できる。
【００３０】
また、右折時や左折時には、正面画像の例えば上部側画像が水平移動することとなる。このため、画像基準位置ＣＰを中心としてズームイン動作を行っても誤差和の最小値が検出されない場合には、検出領域の画像を横方向に移動させて誤差和の最小値を判別する。またこのとき、誤差和が最小値となるまでの検出領域の移動量を動きベクトルＭＶの動き量として設定することができる。
【００３１】
次に、後退時にはあたかも画像が画像基準位置ＣＰに吸い込まれてしまうように見えることから、後退時の画像は画像基準位置ＣＰを中心としたズームアウト動作画像と略等しくなる。このため、拡大率Ｚを「１」以下とする。すなわち、後退時には画像の動きが前進時とは逆となることから、前フレームの側端側に複数の検出領域を設定して、各検出領域を（１／Ｚ）に縮小すると共に、この縮小された領域の位置を移動しながら注目フレームの画像との誤差和を算出する。あるいは、注目フレームの各検出領域を（１／Ｚ）に縮小すると共に、この縮小された領域の位置を移動しながら１フレーム後の画像との誤差和を算出する。さらに拡大率Ｚを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで後退時の動きベクトルＭＶも判別できる。
【００３２】
以上のようにして動きベクトルＭＶの判別を行うと、遠景の画像は動きが少ないことから動きベクトルＭＶの動き量は小さくなり、近景の画像は動きが多いことから動きベクトルＭＶの動き量は大きくなる。
【００３３】
図８は、動き検出処理部２２の構成を示しており、画像信号ＳＤCはサイズ変換処理部２２１に供給されると共に、１フレーム遅延処理部２１から供給された画像信号ＳＤCaは誤差和算出部２２２に供給される。サイズ変換処理部２２１では、正面画像の側端部分を複数の検出領域、例えば１６×１６画素サイズの単位で複数の検出領域に分割して検出領域を設定する。さらに、サイズ変換処理部２２１には、後述する探索制御部２２５から拡大率Ｚが設定されて、検出領域の画像を（１／Ｚ）倍した画像信号ＦＥzと、画像基準位置ＣＰを基準として検出領域の画像を（１／Ｚ）倍したことにより変換された座標値Ｐzを誤差和算出部２２２に供給する。なお、画像信号ＦＥzは、上述の図６に示すように補間処理によって座標値を整数値に変換したときの信号であり、座標値Ｐzは補間処理によって座標値を整数値に変換したときの座標値、すなわち図６における「Ｋb×Ｋb」の画素位置である。
【００３４】
誤差和算出部２２２では、サイズ変換処理部２２１からの座標値Ｐzで示された位置の信号を画像信号ＳＤCaから選択する共に、この選択された信号と画像信号ＦＥzとの誤差和を算出して比較処理部２２３に通知する。
【００３５】
比較処理部２２３では、誤差和最小値と誤差和算出部２２２で算出された誤差和とを比較する。ここで誤差和最小値が設定されていないときには、最初に算出された誤差和を誤差和最小値として設定する。この算出された誤差和が誤差和最小値よりも小さいときには、この誤差和を新たな誤差和最小値として設定すると共に、誤差和最小値が更新されたことをデータ保持部２２４に通知する。また、誤差和最小値と誤差和算出部２２２で算出された誤差和との比較が完了したことを信号ＥＳによって探索制御部２２５に通知する。なお、誤差和最小値は算出される誤差和よりも大きい値に予め設定しておくものとしても良い。
【００３６】
データ保持部２２４には、探索制御部２２５から拡大率Ｚが通知されており、誤差和最小値が更新されたことが通知されたときには、通知された拡大率Ｚを記憶する。また、既に拡大率が記憶されているときには、記憶されている拡大率を通知された拡大率Ｚで更新する。また、探索制御部２２５から拡大率の変更処理の完了が信号ＥＴによって通知されたときには、記憶している拡大率を動き量とすると共に画像基準位置方向をベクトル方向とした動きベクトルＭＶをレイヤ分類部２６に供給する。
【００３７】
探索制御部２２５では、拡大率の下限値が「１」に設定されていると共に、上限値も予め設定されており、最初に下限値を拡大率Ｚとしてサイズ変換処理部２２１とデータ保持部２２４に通知する。その後、比較処理部２２３から誤差和最小値と誤差和算出部２２２で算出された誤差和との比較が完了したことが通知される毎に、拡大率Ｚを順次増加してサイズ変換処理部２２１とデータ保持部２２４に通知する。その後、拡大率Ｚが上限値に達したときには拡大率の変更処理の完了をデータ保持部２２４に通知する。
【００３８】
また、比較処理部２２３で得られた誤差和最小値が小さくないとき、すなわち正面画像の側端部分と等しい画像を検出できないとき、探索制御部２２５では、拡大率Ｚを「１」としてサイズ変換処理部２２１に通知して、検出領域の画像信号ＦＥzを誤差和算出部２２２に供給させる。また、制御信号ＲＰを誤差和算出部２２２に供給して、画像信号ＦＥzの検出領域を水平方向に所定量移動させた位置の信号を画像信号ＳＤCaから選択させる。その後、制御信号ＲＰによって画像信号ＳＤCaから選択する位置を水平方向に移動させて誤差和最小値を判別することにより、水平方向に移動させる画像の動きベクトルＭＶも求めることができる。さらに、図示せずも１フレーム後の信号を誤差和算出部２２２に供給したり、１フレーム前の画像に検出領域を設定して注目フレームの画像の信号を誤差和算出部２２２に供給することで、画像基準位置ＣＰに吸い込まれるような画像の動き量も判別できる。
【００３９】
このように、探索方向を画像基準位置ＣＰの方向や水平方向に移動させて、検出領域の画像と誤差和が最小となる他のフレームの画像位置を検出することで、検出領域の画像が右折や左折したときの画像、前を横切る車や人等の画像、あるいは追越し車両等の画像であっても正しく動きベクトルＭＶを求めることができる。
【００４０】
レイヤ分類部２６では、各検出領域の動きベクトルＭＶから正面画像がどのような動きパターンの画像であるかを判別すると共に、判別した動きパターンに基づいてレイヤを設定して、いずれの領域がいずれのレイヤに属するするかを示すレイヤ分類情報ＬＢを情報生成処理部２７に供給する。
【００４１】
図９は、レイヤ分類部２６の構成を示している。レイヤ分類部２６の動きパターン判定部２６１では、動き検出処理部２２から供給された各検出領域の動きベクトルＭＶをフレーム単位で蓄積すると共に、蓄積された動きベクトルＭＶに基づき動きパターンを判別する。
【００４２】
ここで、各検出領域の動きベクトルＭＶの方向が、画像基準位置ＣＰから放射方向とされて、全て画像が画像基準位置ＣＰから沸き出すズームイン動作方向であるか否かを判別して、全て画像が画像基準位置ＣＰから沸き出すズームイン動作方向であるときには直進動作と判別する。例えば、図１０Ａの矢印で示すように動きベクトルＭＶのベクトル方向が画像基準位置ＣＰから放射方向とされているときには直進動作と判別する。
【００４３】
次に、直進動作と判別されないときには、各検出領域の動きベクトルＭＶの方向が放射方向とは逆方向であり、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であるか否かを判別して、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であるときには後退動作と判別する。例えば、図１０Ｂの矢印で示すように画像基準位置ＣＰの方向とされて、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であることを検出したときには後退動作と判別する。
【００４４】
また、直進動作および後退動作と判別されないときには、一部のみがズームアウト動作方向であるか否かを判別して、一部のみがズームアウト動作方向であるときには、追越し車両があると判別する。例えば、図１０Ｃに示すように左右両側端部の検出領域の動きがズームイン動作方向であると共に、一部のみがズームアウト動作方向であることを検出したときには追越し車両があると判別する。さらに、直進動作，後退動作および追越し車両があるものと判別されないとき、正面画像の上部側の検出領域で、図１０Ｄに示すように動きベクトルＭＶのベクトル方向が水平方向とされているときには、ベクトル方向に応じて右折あるいは左折動作と判別する。また検出領域の一部で、図１０Ｅに示すように動きベクトルＭＶのベクトル方向が水平方向であるときには、横切り動作であると判別する。このようにして判別した動きパターンＭＰをレイヤ作成判定部２６２に通知する。
【００４５】
レイヤ作成判定部２６２では、動きパターン判定部２６１で判別された動きパターンＭＰに基づき、判別された動きパターンが所定のフレーム数以上連続したか否かを判別する。ここで、動きパターンが所定のフレーム数以上連続したとき判別された動きパターンに応じたレイヤパターン情報ＬＰを生成する。
【００４６】
ここで、前進動作のように全画面が拡大する動きパターンであることが連続して所定のフレーム数以上判別されたときには、例えば遠景，中景，近景のレイヤの作成を指示するレイヤパターン情報ＬＰを生成して分類処理部２６３に通知する。また、右折あるいは左折動作のように上部が水平方向に移動する動きパターンであることが連続して所定のフレーム数以上判別されたときには、遠景，中景，近景のレイヤだけでなく水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報ＬＰを生成して分類処理部２６３に通知する。また、追越し車両や後退時のように時間と共に縮小する画像が含まれている動きパターンであることが連続して所定のフレーム数以上連続して判別されたときには、遠景，中景，近景のレイヤだけでなく縮小する画像が含まれる後退レイヤの作成を指示するレイヤパターン情報ＬＰを生成する。また、横切り物体のように、一部が水平方向に移動する動きパターンであることが連続して所定のフレーム数以上判別されたときには、水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報ＬＰを生成する。このように、判別された動きパターンが所定のフレーム数以上連続したときに、判別された動きパターンＭＰに応じたレイヤパターン情報ＬＰが生成されるので、動きパターンが誤って判別されたフレームが生じても、正しい動きパターンに応じたレイヤパターン情報ＬＰを生成できる。
【００４７】
閾値設定部２６４では、所定時間範囲（例えば注目フレームの前後３０フレーム分）の動きベクトルＭＶを用いて、ベクトル方向が画像基準位置ＣＰから放射方向とされている動きベクトルＭＶの動き量の平均値Ｖavgや最大値Ｖmax，最小値Ｖminを求めると共に、この平均値Ｖavgや最大値Ｖmax，最小値Ｖminに基づき、レイヤパターン情報ＬＰで示されたレイヤに分類するための閾値Ｔhを設定して分類処理部２６３に供給する。
【００４８】
例えばレイヤパターン情報ＬＰによって遠景，中景，近景のレイヤに分けることが示された場合、遠景レイヤと中景レイヤとの区分位置を示す閾値Ｔh1を式（１）に基づいて算出する。また中景レイヤと近景レイヤの区分位置を示す閾値Ｔh2を式（２）に基づいて算出する。
【００４９】
【数１】
0004599775.tif 000002
【００５０】
この閾値の設定では、図１１に示すように動き量のヒストグラムを求めて、このヒストグラムの極小値を利用して閾値Ｔh1，Ｔh2を求めるものとしても良い。このように、動き量の分布に応じて閾値Ｔhが動的に変化されるので、画像が１つのレイヤだけに分類されてしまうことがなく、動き量の分布に応じて良好にレイヤ分類を行うことができる。
【００５１】
分類処理部２６３では、閾値設定部２６４からの閾値Ｔhと動きベクトルＭＶの動き量に基づいて、各フレームの各検出領域がレイヤパターン情報ＬＰで作成が指示されたレイヤのいずれに属するかを判別してレイヤ分類を行う。また、水平方向に移動する検出領域やズームアウト動作方向の検出領域は、それぞれ対応するレイヤへの割当てを行う。この分類処理部２６３で注目フレームの各検出領域のレイヤ分類が完了したときには、このレイヤ分類の結果を示すレイヤ分類情報ＬＡを分類補正部２６５に供給する。
【００５２】
ここで、分類処理部２６３では、遠景，中景，近景の３つのレイヤを作成する際には、動き検出処理部２２からの動きベクトルＭＶを用いて、検出領域毎に前ｍフレーム分と後ｎフレーム分の動き量の平均値を算出する。例えば、正面画像の右側端部に設けた検出領域において、動きベクトルＭＶの動き量が時間の経過と共に図１２Ａに示すように変化したとき（図の数字は動き量を示すものとする）には、Ｆpフレームでの検出領域ＡR1に対して、Ｆpフレームでの検出領域ＡR1の動き量と、Ｆp-１〜Ｆp-mフレームの検出領域ＡR1の動き量と、Ｆp+１〜Ｆp+nフレームの検出領域ＡR1の動き量から、動き量の平均値を算出する。さらに、検出領域ＡR1の動き量として算出された平均値と、上述のようにして設定された閾値Ｔh1，Ｔh2を比較することで、このＦpフレームでの検出領域ＡR1が遠景，中景，近景のいずれのレイヤに属するかを判別する。このように、注目フレームの検出領域ＡR1について、前フレームや後フレームの動き量も用いて動き量の平均値を算出して、この平均値を用いて検出領域ＡR1のレイヤ分けを行うので、検出領域ＡR1の動き量に誤りが生じても、この検出領域ＡR1のレイヤ分類することができると共に、被写体の大きさの差や被写体までの距離の差によってフレーム毎の動き量の変動が生じても、これらの変動の影響を防止できる。また、他の領域や他のフレームに対しても同様に処理することで、図１２Ｂに示すように各検出領域を遠景，中景，近景のいずれかのレイヤに分類して、レイヤ分類情報ＬＡを分類補正部２６５に通知する。なお図１２Ｂにおいて、クロスハッチで示す検出領域は近景、斜線で示す検出領域は中景、他の検出領域は遠景として分類されたことを示している。
【００５３】
分類補正部２６５では、各検出領域のレイヤ分類情報ＬＡを参照して、同じレイヤに属する領域の連結数が所定の数よりも少ない領域は周囲に合わせたレイヤに補正する。例えば図１２Ｂでは、Ｆp+4フレームの領域ＡR4-gやＦp-2フレームの領域ＡR6-hでは、同じレイヤに属する領域が連結していないので、これらの領域を図１２Ｃに示すように周囲に合わせた領域に補正して、いずれの領域がいずれのレイヤとされているかを示すレイヤ分類情報ＬＢを、情報生成処理部２７に供給する。
【００５４】
また、追越し車両があるときには、上述の遠景，中景，近景だけでなく、図１２Ｄに示すように追い越し車両の画像が含まれる後退レイヤが生成される。ここで、追越し車両は、遠景や中景および近景の画像とは動きベクトルＭＶの方向が逆であることから、後退レイヤの時間軸方向は、他のレイヤとは方向を逆として生成する。
【００５５】
図１３は情報生成処理部２７の構成を示している。レイヤ分類部２６から供給されたレイヤ分類情報ＬＢは、動き量平均値算出部２７１と画像読み込み部２７２に供給される。
【００５６】
動き量平均値算出部２７１では、各検出領域の動き量を用いて、レイヤ毎の動き量の平均値をフレーム毎に算出する。例えばＦeフレームのときに、遠景レイヤとされた検出領域がｎy個であるときには、このｎy個の検出領域の動き量を用いて平均値を算出して画像読み込み部２７２に供給すると共に、この算出した動き量ＭＹvを中間画像情報として蓄積部３０の中間画像情報蓄積領域３２に記憶させる。
【００５７】
画像読み込み部２７２では、レイヤ分類部２６から供給されたレイヤ分類情報ＬＢに基づき、側端部から動き量平均値算出部２７１で算出された動き量ＭＹvに応じてレイヤ毎に画像信号ＳＤCを抽出してレイヤ毎の中間画像信号ＧＦvを生成して、中間画像信号補間部２７３に供給する。
【００５８】
ここで、各レイヤの動き量ＭＹvに応じた信号量だけ画像信号ＳＤCを側端部から読み出して中間画像信号を生成すると、例えば中間画像信号に基づく画像は図１４に示すものとなる。なお、図１４Ａは遠景レイヤの中間画像信号に基づく画像、図１４Ｂは中景レイヤの中間画像信号に基づく画像、図１４Ｃは近景レイヤの中間画像信号に基づく画像を示している。
【００５９】
中間画像信号補間部２７３では、動き量ＭＹvの異なる各レイヤの画像を遠景，中景，近景の順に貼り付けても、画像のないアンカバード(Uncovered)領域が生ずることがないように中間画像信号ＧＦvの補正を行い、補正された信号を中間画像信号ＧＹvとして中間画像情報蓄積領域３２に記憶させる。この中間画像信号の補正では、手前のレイヤに対して全てを補間すると、奥のレイヤが隠れてしまうこととなる。したがって、最も奥のレイヤに対しては隙間全部を補間するものとし、中間に位置するレイヤではこのレイヤよりも手前のレイヤに属する領域によって生成された隙間に対してのみ、水平方向に隣接する信号を用いた補間処理を行い、画像の無い隙間領域の画像信号を作り出して中間画像信号に貼り付ける。このように補間処理を行うことで、図１４Ａに示す中間画像信号ＧＦvに基づく画像は、画像の無い部分（斜線で塗りつぶした領域）が水平方向に隣接する信号を用いて補間されて、図１５Ａに示すような画像となる。同様に、図１４Ｂに示す中間画像信号ＧＦvに基づく画像は図１５Ｂに示すように補正された画像となる。なお、最も手前に位置するレイヤが例えば図１４Ｃに示す近景レイヤであるものとしたとき、最も手前に位置するレイヤではアンカバード領域が生じないので、補間処理は不要となり、図１５Ｃに示す近景レイヤは図１４Ｃと等しいものである。
【００６０】
蓄積部３０の中間画像情報蓄積領域３２には、中間画像情報生成ブロック２５で生成されたレイヤ毎の動き量ＭＹvとレイヤ毎の中間画像信号ＧＹvをフレーム毎に関係付けて、中間画像情報として記憶される。ここで、中間画像情報蓄積領域３２に記憶された遠景レイヤの中間画像信号は、動き量が少ないことから図１５Ａに示すように画像信号の信号量は少なくなる。また近景レイヤの中間画像信号では、動き量が大きいことから図１５Ｃに示すように信号量も多くなる。また中景レイヤでは図１５Ｂに示すように遠景と中景の中間である信号量となる。なお、後退レイヤでは、動き方向が逆であることから後退レイヤの中間画像信号では、図１５Ａ〜図１５Ｃとはフレーム方向が逆となる。
【００６１】
レイヤパターン情報ＬＰに基づいて水平移動レイヤを作成するものと指示されたときには、動きベクトルの方向が水平方向とされている検出領域の画像信号を、この水平移動レイヤの中間画像信号に設定する。ここで、水平方向に移動する画像では、正面画像から外に移動する画像と中に入り込む画像が生じる。例えば、右折時には、正面画像の右側端部から画像が入り込み左側端部から画像が出ていく。このため、外に移動する画像の水平移動レイヤは遠景レイヤ等と時間軸方向を等しくすると共に、中に入り込む画像の水平移動レイヤは後退レイヤと同様に、遠景レイヤ等とは時間軸方向を逆方向とする。
【００６２】
このようにして、中間画像情報蓄積領域３２には、遠景，中景，近景の各レイヤの中間画像信号と後退レイヤや水平移動レイヤの中間画像信号が動き量に応じて生成されて記憶される。また、各レイヤの動き量も上述のように合わせて記憶される。
【００６３】
次に、蓄積部３０の中間画像情報蓄積領域３２に記憶された中間画像情報を用いて右側面の画像の周辺画像信号ＳＤRを生成する場合について説明する。このように、周辺画像信号ＳＤRを生成する場合、中間画像情報蓄積領域３２から中間画像情報として記憶されている動き量ＭＹvを読み出して、レイヤ毎の中間画像信号ＧＹvの信号読み出し量を動き量ＭＹvに基づいて決定する。さらに、この動き量ＭＹvに応じた信号量の中間画像信号をレイヤ毎に使用して、遠景レイヤ，中景レイヤ、近景レイヤの順に貼り付ける。また、遠景，中景，近景のレイヤとは異なるレイヤが設けられているときには、このレイヤの画像の貼り付け処理も行い、周辺画像信号ＳＤRを生成できる。この生成した周辺画像信号ＳＤRを正面画像の画像信号ＳＤCの出力タイミングに合わせてプロジェクタ１２Rに供給することで、正面画像だけでなく右側面の画像も連続的に表示させることができる。
【００６４】
図１６は、中間画像情報蓄積領域３２に記憶されている中間画像情報を読み出して周辺画像信号を生成する周辺画像信号生成ブロック４０の構成を示している。周辺画像信号生成ブロック４０の画像生成制御部４１では、中間画像情報蓄積領域３２に中間画像情報として記憶されているレイヤ毎の動き量ＭＹvをフレーム順に読み出して、この読み出した動き量ＭＹvに基づきレイヤ毎の中間画像信号の読み出し量を判別する。この画像生成制御部４１で判別された読み出し量に基づいて、中間画像情報蓄積領域３２から中間画像信号ＧＹvをレイヤ毎に読み出して、レイヤ画像生成処理部４２に設けられているレイヤ毎の貼り付け部４２１-1〜４２１-5に供給する。
【００６５】
ここで、右左折時に水平方向に移動する水平移動レイヤの中間画像信号は貼り付け部４２１-1に供給する。また、遠景レイヤの中間画像信号は貼り付け部４２１-2に供給すると共に、中景レイヤの中間画像信号および近景レイヤの中間画像信号は貼り付け部４２１-3，４２１-4に供給する。さらに追越し車両の画像が含まれる後退レイヤの中間画像信号は貼り付け部４２１-5に供給する。
【００６６】
貼り付け部４２１-1には、後述する画像シフト部４２３-1が接続されており、画像シフト部４２３-1から供給された画像信号に、中間画像情報蓄積領域３２から読み出した対応するレイヤの画像信号を貼り付ける。この貼り付け部４２１-1によって画像の貼り付けが行われて得られた水平移動レイヤの画像信号は、１フレーム遅延部４２２-1と画像信号生成部４４の遠景貼り付け部４４１に供給される。
【００６７】
１フレーム遅延部４２２-1では、貼り付け部４２１-1から供給された画像信号を１フレーム分だけ遅延させて画像シフト部４２３-1に供給する。画像シフト部４２３-1では、１フレーム遅延部４２２-1から供給された画像信号に基づく画像を、画像生成制御部４１から供給された水平移動レイヤの動き量ＭＹvに基づいて水平方向に移動させる。さらにこの水平方向に移動させた画像の画像信号を貼り付け部４２１-1に供給する。
【００６８】
このように１フレーム分遅延された画像信号に基づく画像を、画像生成制御部４１から供給された動き量ＭＹvに基づいて水平方向に移動させると共に、この水平方向に移動された画像に中間画像情報蓄積領域３２から動き量ＭＹv分だけ読み出した水平移動レイヤの中間画像信号ＧＹvを貼り付けることで、移動する画像の画像信号を生成できる。
【００６９】
同様に、１フレーム遅延部４２２-2〜４２２-5で１フレーム分遅延された画像信号に基づく画像を、画像シフト部４２３-2〜４２３-5で画像生成制御部４１から供給された各レイヤの動き量ＭＹvに基づいて水平方向に移動させると共に、この水平方向に移動された画像に対して、中間画像情報蓄積領域３２から各レイヤの動き量分だけ読み出した中間画像信号ＧＹvを貼り付け部４２１-2〜４２１-5に供給して、この読み出した中間画像信号ＧＹvに基づく画像を貼り付けることで、順次画像が移動する画像信号をレイヤ毎に生成できる。
【００７０】
また、中間画像信号は、正面画像信号から読み出した信号であることから、この中間画像信号に基づく画像は、スクリーン１０Cと同じ面上の画像となる。しかし、周辺画像を表示するスクリーン１０Rは正面のスクリーン１０Cに対して傾きを持って設けられている。このため、遠景，中景，近景レイヤや後退レイヤのように、動きベクトルの方向が画像基準位置ＣＰの方向あるいは逆方向であるレイヤの画像信号を用いて、各レイヤの画像の貼り付けを行い周辺画像信号ＳＤRを生成して画像表示を行うものとすると、スクリーン１０Rに表示される画像は、スクリーン１０Cに対するスクリーン１０Rの傾きによって正しい形状とならない。このため、動きベクトルの方向が画像基準位置ＣＰの方向あるいは逆方向であるレイヤの画像信号は、射影変換部４３の各変換処理部４３１〜４３４に供給して、この各レイヤの画像をスクリーン１０L，１０Rに表示したときに、動きベクトルＭＶのベクトル方向に画像が正しく移動するように射影変換を行う。また、水平移動レイヤの画像は、動きベクトルＭＶの方向が水平方向であることから、遠景，中景，近景レイヤ，後退レイヤのような射影変換は行わないものとする。
【００７１】
射影変換部４３の変換処理部４３１〜４３４では、貼り付け部４２１-2〜４２１-5から供給された画像信号に対して、画像がスクリーン１０Rの向きに対応した形状となるように射影変換を行う。ここで、正面画像から画像信号を順次読み出すと、読み出した画像の表示面１０CRとスクリーン１０Rは、図１７Ａおよび図１７Ｂに示すように同一面でないことから、正面画像から読み出した画像をスクリーン１０Rに表示したときには、表示面１０CRの画像をそのままスクリーン１０Rの面上に投射したものとなり、正しい形状とならない。
【００７２】
このため、射影変換を行って、垂直方向は画像のズームインあるいはズームアウトの中心Ｃzmから距離に比例した拡大率で拡大すると共に、水平方向はその速度がズームインあるいはズームアウトの中心Ｃzmからの距離に比例するような拡大率で拡大する。
【００７３】
ここで、図１７Ｃに示すように、右側面画像の画面前端から中心Ｃzmまでの長さをＬ、右側面画像の周辺方向の長さをＡ、正面画像と右側面画像とが成す角度「θs」に基づいた比例定数をαとすると、正面画面端からそのまま読み出した画像の位置（ｘa，ｙa）と右側面画像上に正しく画像表示できるように変換処理した後の位置（Ｘa，Ｙa）は、垂直方向については式（３）の関係となり、水平方向については式（４）の関係となる。このため、図１７Ｄに示すように、スクリーン１０R上の（Ｘa，Ｙa）の画像信号は、式（３），式（４）を満たす位置（ｘa，ｙa）の信号を用いることで、図１７Ｅに示すようにスクリーン１０R上に正しく右側面画像を表示できる。
【００７４】
0004599775.tif 000003
【００７５】
この変換処理部４３１で得られた射影変換後の遠景レイヤの画像信号は、画像信号生成部４４の遠景貼り付け部４４１に供給される。また、変換処理部４３２で得られた射影変換後の中景レイヤの画像信号は中景貼り付け部４４２に供給されると共に、変換処理部４３３で得られた射影変換後の近景レイヤの画像信号は近景貼り付け部４４３に供給される。さらに、変換処理部４３４で得られた後退レイヤの画像信号は縮小貼り付け部４４４に供給される。
【００７６】
遠景貼り付け部４４１では、貼り付け部４２１と変換処理部４３１から供給された画像信号に基づいて、水平移動レイヤの画像に遠景レイヤの画像を貼り付けた画像信号を生成して中景貼り付け部４４２に供給する。
【００７７】
中景貼り付け部４４２では、変換処理部４３２と遠景貼り付け部４４１から供給された画像信号に基づいて、遠景レイヤの画像が貼り付けた画像に中景レイヤの画像を貼り付けた画像信号を生成して近景貼り付け部４４３に供給する。
【００７８】
近景貼り付け部４４３では、変換処理部４３３と中景貼り付け部４４２から供給された画像信号に基づいて、中景レイヤの画像が貼り付けた画像に近景レイヤの画像を貼り付けた画像信号を生成して縮小貼り付け部４４４に供給する。
【００７９】
縮小貼り付け部４４４では、変換処理部４３４と近景貼り付け部４４３から供給された画像信号に基づいて、近景レイヤの画像が貼り付けた画像に、時間と共に画像が縮小する後退レイヤの画像を貼り付けた画像信号を生成する。この縮小貼り付け部４４４で生成された画像信号は、水平移動レイヤから縮小レイヤまでの各レイヤが貼り付けられた側面画像の画像信号となる。
【００８０】
このため、縮小貼り付け部４４４で生成された画像信号を周辺画像信号ＳＤRとしてプロジェクタ１２Rに供給することで、正面画像と連続した右側面の画像をスクリーン１０Rに表示することができる。
【００８１】
また、中間画像情報記憶領域３２に記憶された中間画像信号に対して、画像の無い部分を補間する処理が行われていないとき、あるいは縮小貼り付け部４４４で生成された画像信号に画像の無い部分が生ずるときには、前補間処理部を設けて、画像の無い部分と隣接する領域でどのようなレイヤの画像が貼り合わされたを判別して、奥行きの深いレイヤの画像を用いて補間処理を行う。例えば、中景レイヤと近景レイヤの画像が貼り合わされている領域と水平方向に隣接する部分で画像の無い部分が生じてときには、奥行きの深い中景レイヤの画像を用いて補間処理を行うことで、画像の欠落のない良好な周辺画像信号ＳＤRを生成できる。
【００８２】
また、周辺画像信号ＳＤRと同様にして周辺画像信号ＳＤLを生成してプロジェクタ１２Lに供給することで、正面画像と連続した左側面の画像をスクリーン１０Lに表示することができる。
【００８３】
さらに、蓄積部３０には、中間画像情報を蓄積するものであり、この中間画像情報は動き量とレイヤ毎の中間画像信号であることから、周辺画像の画像信号を蓄積する場合に比べて情報量を少なくできる。このため、大容量の記録媒体等を用いることなく広画角での画像表示を行うことができる。
【００８４】
ところで、上述の実施の形態では、正面画像の側端側に設けた検出領域の動きベクトルＭＶから、遠景，中景，近景等の画像のレイヤ分けや動き量の判別等を行い、中間画像情報を生成して中間画像情報蓄積領域３２に記憶させると共に、周辺画像を表示させる際には、中間画像情報蓄積領域３２に蓄積されている中間画像情報を用いて、各レイヤの動き量ＭＹvに応じて中間画像信号ＧＹvを読み出して画像の貼り付けを行うことで周辺画像信号を生成するものとしたが、周辺画像信号は動きベクトルＭＶを用いることなく生成することもできる。次に第２の実施の形態として、動きベクトルＭＶを用いることなく周辺画像信号を生成できる画像信号処理装置について説明する。
【００８５】
この第２の実施の形態の画像信号処理装置５５では、幾何変換によって正面画像から側面方向の射影画像を生成し、この射影画像を積分処理して積分画像を生成すると共に、この積分画像から画像のレイヤ分けを行い、レイヤ毎の動き量ＭＹsやレイヤ毎の中間画像信号を生成して、中間画像情報として中間画像情報蓄積領域３２に記憶させるものである。
【００８６】
図１８は、画像処理装置５５の構成を示している。正面画像の画像信号ＳＤCは、幾何変換部６１に供給される。幾何変換部６１では、正面画像の画像信号ＳＤCを用いて正面画像を進行方向の面である射影面に表示した画像の射影画像信号ＳＤPを幾何変換処理によって生成する。この幾何変換部６１によって生成された射影画像信号ＳＤPは、動き検出ブロック６２の動き判別画像生成処理部６３と積分画像生成処理部６４および中間画像情報生成ブロック７０の情報生成処理部７２に供給される。
【００８７】
動き判別画像生成処理部６３では、幾何変換部６１より供給された射影画像信号ＳＤPから、フレーム毎に正面画像と接する端部側から所定範囲の射影画像信号ＳＤPを抽出して順次貼り付けることにより動き判別画像信号ＳＭＤを生成する。この動き判別画像信号ＳＭＤは、動き量判別部６５に供給される。
【００８８】
積分画像生成処理部６４では、水平方向に位置をずらしながらｍsフレーム分の射影画像信号ＳＤPを足し込んで平均化することにより１つの積分画像信号を生成する。また、位置のずらし量をｎs個の異なる値としてｎs個の積分画像信号を生成する。この積分画像生成処理部６４で生成したｎs個の積分画像信号ＳＡは動き量判別部６５に供給される。
【００８９】
動き量判別部６５では、ｎs個の積分画像信号ＳＡと動き判別画像信号ＳＭＤとを比較して、動き判別画像信号ＳＭＤに基づく画像とマッチングする積分画像信号ＳＡに基づく画像を検出して、検出結果に基づき注目フレームの所定位置の動き量を判別する。ここで、積分画像では、位置のずらし量と画像の移動量が一致したときに、この被写体が積分画像に現れることとなる。また、ずらし量を異なるものとしてｎs個の積分画像が生成されていることから、ｎs個の移動量の異なる画像が積分画像信号ＳＡによって示されるものとなる。このため、ｎs個の積分画像信号ＳＡと動き判別画像信号ＳＭＤとの相関を判別して、この判別結果に基づき、動き判別画像を構成する被写体の移動量すなわち注目フレームの所定位置の動き量を判別できる。ここで、被写体の画像が遠景であるときには移動量が小さく、被写体の画像が近景であるときには移動量が大きいことから、この移動量は被写体の画像の奥行きを示すものである。このようにして、動き量判別部６５で射影画像の各位置の動き量を判別すると、判別結果を示す動き量情報ＭＦを生成して中間画像情報生成ブロック７０のレイヤ分類部７１と情報生成処理部７２に供給する。
【００９０】
レイヤ分類部７１では、供給された動き量情報ＭＦに基づき、注目フレームの所定位置が複数レイヤのいずれに属するかを示すレイヤ分類情報ＬＢを生成して情報生成処理部７２に供給する。
【００９１】
情報生成処理部７２では、各レイヤにおいて、フレーム毎に前後のフレームの移動量を用いて平均値を求めて、各レイヤの該当フレームの動き量ＭＹsとして蓄積部３０の中間画像情報蓄積領域３２に供給する。また、求めたレイヤ毎の動き量ＭＹsと、レイヤ分類部７１から供給されたレイヤ分類情報ＬＢに基づき、幾何変換部６１より供給された画像信号ＳＤPをレイヤ毎に分類して中間画像信号ＧＦsを生成する。すなわち、動き量分だけ画像信号を水平方向に読み出して該当するレイヤ毎に順次貼り付けることにより、図１４と同様なレイヤ毎の中間画像信号ＧＦsを生成する。
【００９２】
また、遠景レイヤや中景レイヤおよび近景レイヤの画像の動き方向を基準とすると、後退レイヤでは動き方向が逆方向となる。このため、動き量の絶対値分だけ正面画像と接する端部側から射影面画像信号を読み込み左右反転を行って貼り付けることで、後退レイヤの中間画像信号を生成できる。
【００９３】
さらに、作成したレイヤ毎の中間画像信号ＧＦsに対して、画像の無いアンカバード領域が生じないように補間処理を行って画像の無い部分の埋め込みを行う。この情報生成処理部７２で補間処理を行うことにより得られたレイヤ毎の中間画像信号ＧＹsは、各レイヤの動き量ＭＹsと関係付けられて中間画像情報として中間画像情報蓄積領域３２に記憶される。
【００９４】
このようにして生成された中間画像情報を中間画像情報蓄積領域３２から読み出して、上述の周辺画像信号生成ブロック４０と同様に処理することで、右側面画像の周辺画像信号を生成できる。
【００９５】
次に各ブロック等について詳細に説明する。図１９は幾何変換部６１での幾何変換処理を説明するための図である。この図１９において、位置Ｏは正面画像の撮影位置である。幾何変換部６１では、正面画像の位置ｐの画像を進行方向と平行な面上の位置ｑに射影して、正面画像から射影画像を生成する。ここで、射影面上の進行方向の位置ｘbと正面画像上の水平位置Ｘbの関係は、式（５）に示すものとなる。また、射影面上の高さ方向の位置ｙbと正面画像上の垂直位置Ｙbの関係は、式（６）に示すものとなる。
【００９６】
【数３】
0004599775.tif 000004
【００９７】
なお、式（５）（６）において、「θg」は正面画像の水平画角を半分とした角度を示しており、正面画像を撮影したカメラの水平画角が明らかであるときには、この水平画角の半分の角度を「θg」とする。また、カメラの水平画角が明らかでないときには、使用したレンズの焦点距離に応じて予め設定された値を用いるものとする。「ｄ」は正面画像の水平方向の長さ（画枠の水平方向の長さ）を１／２にした値である。
【００９８】
このように式（５）（６）を用いることで、正面画像の各フレームの画像信号から左右の射影画像の画像信号をフレーム単位で生成することができる。また、入力画像が車載前進系の正面画像の場合、左右の射影画像は側方画像となっており、この射影画像の動き量は車速に比例する。また、この射影画像の動き量は奥行きに反比例するものであり、射影画像が遠景の画像であって奥行きが大きいときには動き量が小さくなると共に、射影画像が近景の画像であって奥行きが小さいときには動き量が大きくなる。
【００９９】
図２０は、動き判別画像生成処理部６３の動作を説明するための図である。動き判別画像生成処理部６３では、図２０Ａに示すように、フレーム毎に射影面画像の正面画像側端部（右側射影面画像では右側端部）から水平方向に所定画素数ｗａ（例えば４画素）の幅で画像信号を切り出すと共に、この切り出した画像信号を図２０Ｂに示すようにフレーム順に所定フレーム分だけ貼り付けることで動き判別画像の画像信号ＳＭＤを生成する。なお、動き判別画像では、被写体の動き量が水平方向にｗａ画素／フレームで、画像信号の切り出し画素数ｗａと等しいとき（図２０では家）、被写体の画像は不連続点を有しない連続した画像となる。画像信号の切り出しよりも動きの遅い被写体（図２０では山）の画像では、繰り返し切り出される部分が生じるため切り出された画像信号の繋ぎ部分で画像の不連続を生じる。また、画像信号の切り出しよりも動きの速い被写体の画像（図２０では木）では、動きが速いために切り出されない部分が生じて繋ぎ部分で画像の不連続を生じる。
【０１００】
積分画像生成処理部６４では、動き判別画像の各画素の動き量を判別するために用いる積分画像信号ＳＡを生成する。ここで図２１を用いて積分画像について説明する。例えば右方向に移動する被写体Ｊaと被写体Ｊaの２倍の速度で右方向に移動する被写体Ｊbを撮影すると、撮影画像は図２１Ａに示すものとなる。ここで、最初のフレームＦ1に対して次のフレームＦ2の画像を被写体Ｊaの移動方向とは逆方向で被写体Ｊaの画素量ｄｘだけシフトさせる。また、次のフレームＦ３の画像も同様に、フレームＦ2に対して被写体Ｊaの移動方向とは逆方向で被写体Ｊaの画素量ｄｘだけシフトさせる。このように、シフトした各フレームの画像を加算して平均化した画像を積分画像とすると、被写体Ｊaの位置が一定であると共に被写体Ｊbの位置は移動することから、被写体Ｊbの画像信号の信号レベルは被写体Ｊaに比べて小さいものとなり、図２１Ｃに示すように積分画像によって被写体Ｊaのみを抽出できる。
【０１０１】
また、図２１Ｄに示すように、各フレームの画像のずらし量を２倍（２ｄｘ）として積分画像を生成したときには、被写体Ｊbの位置が一定となると共に被写体Ｊaの位置が移動することから、図２１Ｅに示すように積分画像によって被写体Ｊbのみを抽出できる。
【０１０２】
このように、各フレームの画像を所定量だけ移動させて加算して平均化することにより積分画像を形成すると共に、この各フレームの画像のずらし量を変えて複数の積分画像を生成すれば、いずれの積分画像で被写体が正しく表示されたかを判別することで、１つの画像に動き量の異なる被写体が含まれていても、積分画像を用いて各被写体の動き量を判別できる。すなわち、各フレームの画像を構成する被写体の動き量が判別できるので、注目フレームの所定位置の動き量を判別できる。
【０１０３】
図２２は、積分画像生成処理部６４の構成を示す図である。幾何変換部６１から供給された射影画像信号ＳＤPは積分画像生成処理部６４の演算処理部６４１-1〜６４１-nsに供給される。
【０１０４】
演算処理部６４１-1では、予め設定された画素数ＳＨ-1だけ前フレームよりも水平方向に移動させた射影面画像信号を、ｍsフレーム分（例えば１０フレーム分）加算して加算信号を順次算出する。さらに、この加算信号を１／ｍ倍して平均化した信号を画素切り出し部６４２-1に供給する。
【０１０５】
画素切り出し部６４２-1では、供給された画像信号からフレーム毎に正面画像側端部（右側射影面画像では右側端部）より水平方向に所定画素数分ｗｂの画像信号を切り出して、この切り出した画像信号を順次貼り付けることにより積分画像信号ＳＡ-1として出力する。この画像切り出し部６４２-1から出力された積分画像信号ＳＡ-1は、予め設定された画素数ＳＨ-1の動き量の被写体を示した画像信号となる。
【０１０６】
演算処理部６４１-2〜６４１-nsも演算処理部６４１-1と同様に、予め設定された画素数ＳＨ-2〜ＳＨ-nsだけ前フレームよりも水平方向に移動させた射影面画像信号を、ｍsフレーム分加算して加算信号を順次算出して、この加算信号を１／ｍ倍して平均化したのち画素切り出し部６４２-2〜６４２-nsに供給する。さらに、画素切り出し部６４２-2〜６４２-nsでは、所定画素数分ｗｂの画像信号を切り出して順次貼り付けて積分画像信号として出力する。この画素切り出し部６４２-2〜６４２-nsから出力された積分画像信号ＳＡ-2〜ＳＡ-nsは、それぞれ予め設定された画素数ＳＨ-2〜ＳＨ-3の動き量の被写体を示した画像信号となる。
【０１０７】
動き判別画像生成処理部６３と積分画像生成処理部６４の画素切り出し部６４２で切り出す画素数を等しいものとすると（ｗａ＝ｗｂ）、動き判別画像と積分画像における被写体の位置の整合性をとることができる。
【０１０８】
図２３は積分画像生成処理部６４の動作を示す図である。画像ずらし量を画素数ＳＨ-rとしたときには、図２３Ａに示すようにフレーム毎に画像が画素数ＳＨ-r（＜ｗｂ）だけ移動されて足し込まれて、図２３Ｂに示すように山の画像が抽出される。画像ずらし量を画素数ＳＨ-rよりも多い画素数ＳＨ-s（＝ｗｂ）としたときには、図２３Ｃに示すようにフレーム毎に画像が画素数ＳＨ-sだけ移動されて足し込まれて、図２３Ｄに示すように山よりも動き量の大きい家の画像が抽出される。また、画像ずらし量を画素数ＳＨ-sよりも多い画素数ＳＨ-t（＞ｗｂ）としたときには、図２３Ｅに示すようにフレーム毎に画像が画素数ＳＨ-tだけ移動されて足し込まれて、図２３Ｆに示すように山よりも動き量の大きい家の画像が抽出される。
【０１０９】
ここで、動き判別画像生成部６３で動き判別画像を生成する際に最初に切り出しを行ったフレームＦaを基準として切り出しを開始すると共に、動き判別画像と等しい切り出し量（ｗａ＝ｗｂ）で同じフレーム数だけ画像の切り出しを行い積分画像を生成すると、積分画像と動き判別画像は水平方向の画像の長さが等しくなると共に、被写体の位相が積分画像と動き判別画像とで一致する。
【０１１０】
また、動き判別画像では、切り出し量と動き量が等しくないときには被写体が不連続が形状となるが、積分画像の場合も同様に、画素数ＳＨ-rが画素数ｗｂよりも少ないときには、画像の切り出しが重なりを持って行われることから図２３Ｇに示すように、動き量に応じた不連続な画像となる。また、画素数ＳＨ-ｓが画素数ｗｂと等しいときには、図２３Ｈのように動き量に応じた連続した画像となる。さらに、画素数ＳＨ-tが画素数ｗｂよりも多いときには、画像の切り出しで欠落部分が生じて図２３Ｊのように、動き量に応じた不連続な画像となる。このため、次に述べる動き量判別部６５で動き判別画像と積分画像のマッチングを行い、マッチングすると判別された積分画像の画像ずらし量である画素数ＳＨに基づいて、被写体の動き量を判別することができる。
【０１１１】
動き量判別部６５では、動き判別画像の各画素と積分画像との相関値を求めて、この相関値に基づき、動き判別画像の各画素がいずれの積分画像と等しいか判別することで、動き判別画像の各画素の動き量を判別する。
【０１１２】
相関値の算出では、画像Ａの画素と画像Ｂとの相関値を算出する際に、画像Ａの注目画素（相関値を算出する画素）を中心とした所定範囲を設定して、この所定範囲の画像信号を用いて注目画素の相関値を求める。例えば注目画素を中心としてｘ方向に±ｍvc画素、ｙ方向に±ｎvc画素の矩形状範囲（注目画素を中心とした例えば水平３１画素，垂直５画素の矩形状範囲）を設定し、式（７）に基づいて相関値ＶＣを算出する。
【０１１３】
【数４】
0004599775.tif 000005
【０１１４】
なお、式（７）において、画像Ａの矩形状範囲内における各画素の信号レベルをＤＡｉ（ｉ＝１〜(ｍvc×ｎvc)）、画像Ｂの矩形状範囲内における各画素の信号レベルをＤＢｉ（ｉ＝１〜(ｍvc×ｎvc)）とし、矩形状範囲内における各画素の信号レベルの平均値をＤＡav，ＤＢavとする。
【０１１５】
例えば、式（７）に基づいて図２４Ａに示す動き判別画像における山の画像が図２４Ｂに示す積分画像とマッチングするものと判別されたときには、この山の画像を構成する各画素の動き量が画素数ＳＨ-rに対応した動き量であると判別できる。また、図２４Ａに示す動き判別画像におけるの家の画像が図２４Ｃに示す積分画像とマッチングするものと判別されたときには、この家の画像を構成する各画素の動き量が画素数ＳＨ-sに対応した動き量であることを判別できる。さらに、図２４Ａに示す動き判別画像おける木の画像が図２４Ｄに示す積分画像とマッチングするものと判別されたときには、この木の画像を構成する各画素の動き量が画素数ＳＨ-tに対応した動き量であることを判別できる。このようにして、動き量判別部６５で各画素に対して動き量を判別したときには、この判別結果を示す動き量情報ＭＦをレイヤ分類部７１と情報生成処理部７２に供給する。
【０１１６】
なお、図示せずも、積分画像生成処理部６４では、画像のずらし方向を図２３Ａ，図２３Ｃ，図２３Ｅとは逆方向も含むように設定（例えば画像のずらし量ＳＨを４８画素〜−２４画素に設定）すれば、木や家や山の画像に対して逆方向に移動する追越し車両等の画像を抽出できる。また、動き方向が遠景レイヤ等とは逆方向の画像の動き量を判別するため、図２５Ａに示すように、各フレームの画像から画像の切り出しを行い、この画像を左右反転してから貼り付けることにより図２５Ｂに示す動き判別画像を生成する。この場合、図２５Ｂに示す動き判別画像では、追越し車両のように動き方向が逆方向の画像が、遠景や中景および近景レイヤと同様な向きで正しく表示される。なお図２５Ｃは画像の左右反転を行わないで貼り付けた場合の動き判別画像である。このため、画像のずらし方向を逆方向とした積分画像の画像信号と、切り出した画像を反転させて貼り付けることにより生成された動き判別画像の画像信号を、基準となるフレームから順次比較することで、逆方向に移動する被写体の動き量を判別できる。
【０１１７】
レイヤ分類部７１では、動き量情報ＭＦに基づいて動き判別画像の各画素を奥行き方向にレイヤ化する。例えば、奥行きを予め遠景，中景，近景の３層と逆方向の動きを持つ層の４層にレイヤ化するものとして、各画素がいずれのレイヤに属するかレイヤ分類を行う。
【０１１８】
このレイヤ分類では、上述の閾値設定部２６４と同様にして閾値を設定すると共に、この閾値と各画素の動き量を比較して、各画素がいずれのレイヤに属するか判別してレイヤ分類情報ＬＢを生成する。この生成されたレイヤ分類情報ＬＢは情報生成処理部７２に供給される。
【０１１９】
図２６は、情報生成処理部７２の構成を示している。情報生成処理部７２の動き量平均値算出部７２１では、動き量判別部６５からの動き量情報ＭＦとレイヤ分類部７１から供給されたレイヤ分類情報ＬＢに基づき、それぞれのレイヤにおいて、注目フレーム毎に前後ｎzフレームの動き量の平均値を求め、そのレイヤの注目フレームの速度とする。この算出した各レイヤのフレーム毎の動き量ＭＹsは、画像読み込み部７２２に供給されると共に中間画像情報蓄積領域３２に記憶される。
【０１２０】
画像読み込み部７２２では、レイヤ分類情報ＬＢに基づき、射影画像の画像信号ＳＤPから動き量平均値算出部７２１で算出された動き量ＭＹsに応じてレイヤ毎に信号を抽出して、レイヤ毎の中間画像信号ＧＦsを生成する。この中間画像信号ＧＦsは、中間画像信号補間部７２３に供給される。このとき、遠景レイヤの動き量は小さく近景レイヤの動き量は大きいことから上述の図１４と同様に、遠景レイヤの中間画像は水平方向の長さが短く、近景レイヤの中間画像では長くなる。また、後退レイヤでは動きが逆方向であることから、動き量の絶対値分だけ側面画像から画像を読み込み左右反転して貼り付けていくことで、後退レイヤの中間画像を作成する。
【０１２１】
中間画像信号補間部７２３は、中間画像信号補間部２７３と同様に、動き量ＭＹsの異なる各レイヤの画像を遠景，中景，近景の順に貼り付けても、動き量の違いかかわらず画像のないアンカバード(Uncovered)領域が生ずることがないように中間画像信号ＧＦsの補正を行い、補正された信号を中間画像信号ＧＹsとして中間画像情報蓄積領域３２に記憶させる。
【０１２２】
また、追越し車両等の後退レイヤがあるときには、近景レイヤの手前のレイヤであることから補間処理を行わないものとする。また、右左折時に遠景に現れる建物等を示す水平移動レイヤが設けられているときには、遠景レイヤと同様に補間処理を行う。なお、後退レイヤや水平移動レイヤの被写体の判別は、右側射影画像と左側射影画像の動き判別画像の動き方向に基づいて図１０の場合と同様に動きパターンを判別して、判別された動きパターンから判別できる。例えば左側画像の画面上部と右側画像の画面上部での動きが異なる方向を示しているときには右折あるいは左折動作中であることを判別できる。また、左側画像と右側画像の画面上部の動きが同じ方向を示しており、これらとは逆方向の動きである被写体は、後退レイヤと判別できる。
【０１２３】
次に、各レイヤの中間画像情報を用いて周辺画像を生成する動作について説明する。この周辺画像の生成では、上述の周辺画像信号生成ブロック４０と同様にして、周辺画像信号を生成できる。すなわち、各レイヤの画像をその動き量分だけ読み出すと共に、遠景レイヤ、中景レイヤ、近景レイヤの順に貼り付ける。また水平移動レイヤや後退レイヤが設定されているときにも周辺画像信号生成ブロック４０と同様にして、周辺画像信号を生成できる。
【０１２４】
また、画像の貼り付けでは、例えば周辺画像として右側面画像を生成するときには、各レイヤの同一フレーム部分が、生成する右側面画像の左端で重なるように貼り付ける。また、最初に正面画像から変換した射影画像の右端と、生成した側面画像の左端が等しくなるようにする。その後、レイヤ毎に、レイヤ毎の動き量に基づいて画像を移動させて、この移動された画像に次の画像をレイヤ毎に貼り付けることで、図２７に示すように射影面画像と連続する側面画像を生成することができる。
【０１２５】
ところで、中間画像情報を用いてレイヤ毎の中間画像を貼り付けて生成された画像は、図２８に示すように射影面と等しい面上の画像である。一方周辺画像が表示されるスクリーン１０Rは、射影面とは傾きを持って設置されている。このため、各レイヤの画像を貼り付けてスクリーン１０Rに表示させたとき、画像が正しい形状で移動するように画像の変換処理を行う。
【０１２６】
ここで、図２８に示すように、正面画像の水平方向の長さの１／２を距離ｄ、正面画像の撮影位置である位置Ｏが、スクリーン１０Rの中心からの法線上となるようにスクリーン１０Rを傾けて設置した場合、スクリーン１０R上の位置（Ｘc，Ｙc）の画像信号は、式（８）（９）に基づいて算出された変換前の画像位置（ｘc，ｙc）の画像信号を抽出すれば、射影変換後の右側面画像の周辺画像信号ＳＤRを容易に生成できる。また、この画像信号ＳＤRを用いてスクリーン１０Rに右側面動画像を表示させることで、臨場感の高い右側面画像を表示できる。
【０１２７】
【数５】
0004599775.tif 000006
【０１２８】
なお、周辺画像信号ＳＤLも周辺画像ＳＤRと同様にして生成できることは勿論である。
【０１２９】
さらに、上述の各処理ブロックで行われる処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図２９に示す。
【０１３０】
コンピュータ９０は、図２９に示すようにＣＰＵ(Central Processing Unit)９０１を内蔵しており、このＣＰＵ９０１にはバス９２０を介してＲＯＭ９０２，ＲＡＭ９０３，ハード・ディスク・ドライブ９０４，入出力インタフェース９０５が接続されている。さらに、入出力インタフェース９０５には入力部９１１や記録媒体ドライブ９１２，通信部９１３，画像入出力部９１４が接続されている。
【０１３１】
キーボードやマウス等の操作入力手段あるいはマイク等の音声入力手段等を用いて構成された入力部９１１から、命令が入力されると、この命令が入出力インタフェース９０５を介してＣＰＵ９０１に供給される。
【０１３２】
ＣＰＵ９０１では、ＲＯＭ９０２やＲＡＭ９０３あるいはハード・ディスク・ドライブ９０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ９０２やＲＡＭ９０３あるいはハード・ディスク・ドライブ９０４には、上述の各ブロックでの処理を実行するためのプログラムも記憶させて、側面画像の生成も行う。
【０１３３】
ここで、中間画像情報の生成や中間画像情報から周辺画像信号を生成して出力する画像処理プログラムは、情報記録媒体であるＲＯＭ９０２やハード・ディスク・ドライブ９０４に予め記憶しておくことができる。
【０１３４】
あるいは、磁気や光を利用したリムーバブル記録媒体や半導体素子等を用いて構成されたリムーバブルの情報記録伝送媒体、例えばフロッピー（Ｒ）ディスクやＣＤ−ＲＯＭ等の光ディスク、ＭＯディスク等の光磁気ディスク、テープカートリッジ、あるいは半導体メモリ等に画像生成プログラムを記録するものとして、これらのリムーバブル情報記録伝送媒体を記録媒体ドライブ９１２に装着して記録されている画像処理プログラムを読み出し、読み出したプログラムを入出力インタフェース９０５やバス９２０を介してハード・ディスク・ドライブ９０４等に記憶させることでインストールしても良い。
【０１３５】
さらに、通信部９１３を設けて、有線や無線の伝送路、例えばＬＡＮやインターネット等のネットワーク、あるいは衛星放送波や地上放送波等を利用して供給された画像処理プログラムを受信して、この受信した画像処理プログラムを、入出力インタフェース９０５及びバス９２０を介してハード・ディスク・ドライブ９０４等にインストールすることもできる。
【０１３６】
ここで、画像処理プログラムが実行されて中間画像情報の生成が行われたときには、ハード・ディスク・ドライブ９０４あるいは記録媒体ドライブ９１２に装着された記録媒体に記録されている正面画像の画像信号ＳＤCが読み出されて、上述のような処理が行われて中間画像情報が、例えば画像信号ＳＤCと共にハード・ディスク・ドライブ９０４や記録媒体ドライブ９１２に装着された記録媒体に記録される。また、周辺画像の画像信号の出力が要求されたときには、中間画像情報が読み出されて左右側面画像の画像信号ＳＤR，ＳＤLが生成されると共に、この画像信号ＳＤR，ＳＤLが正面画像の画像信号ＳＤCとタイミングを合わせて出力される。このため、正面と左右のスクリーンを用いて、広画角の連続した画像を表示することができる。
【０１３７】
このように、上述の実施の形態によれば、正面画像の動きを判別して、正面画像から判別された動きに基づいて異方向の周辺画像を生成できる。このため、ビデオカメラ等で撮影された正面動画像から同時系列で異方向の動画像を生成できるので、臨場感が高く広画角である多画面の画像提示ができる。
【０１３８】
また、１つの入力画像から異方向の画像を生成できるので、複数のビデオカメラや広角レンズを用いたカメラ等を用いる必要がなく、撮影を容易に行うことができる。
【０１３９】
さらに、実写画像を用いて異方向の画像を生成するものであることから、コンピュータグラフィックスによる３次元仮想空間の画像よりもリアルで臨場感の高い画像を表示させることができると共に、奥行きを２次元平面の階層として表現するため、３次元の演算処理が不要となり、信号処理も容易である。
【０１４０】
また、入力画像信号として蓄積されている信号を用いることで、時間の経過と共に正面画像内に入り込む画像を、正面画像で表示される前に周辺画像で表示することができる。このようにリアルタイムの画像信号を用いたときには表示することができない画像を周辺画像で表示することができるので、より現実的で臨場感の高い広画角の画像表示を行うことができる。また、既に存在している莫大な画像ソースを入力画像信号として用いることで、これらの画像を臨場感が高く広画角で楽しむこともできる。
【０１４１】
なお、上述の実施の形態では、正面画像の側端部に複数の検出領域を設けて検出領域毎に動きベクトルを求めたり、射影画像から動き判別画像を生成して積分画像と比較することにより、注目フレームの所定位置の動きを判別して中間画像情報を生成し、この中間画像情報を利用して周辺画像信号を生成したが、動き検出は、注目フレームの所定位置の動きを判別できるものであれば良く、上述の方法は例示的なものであって、限定的なものではないことは勿論である。
【０１４２】
【発明の効果】
この発明によれば、複数フレームの入力画像信号を用いて、入力画像信号における注目フレームの所定位置の動きが検出されて、この検出された動きと複数フレームの入力画像信号に基づいて中間画像情報が生成される。さらに、この中間画像情報に基づいて、注目フレームに存在しない画角の周辺画像信号が生成される。このため、実写した入力画像信号を用いて注目フレームに存在しない画角の周辺画像信号を生成することにより、この周辺画像をリアルで臨場感の高い画像として表示させることができる。また、複数のビデオカメラや特殊レンズを用いたビデオカメラを用いることなく、１つの入力画像から異方向の周辺画像を生成して広画角の画像提示を容易に行うことができる。さらに、既に存在している莫大な画像ソースを利用して臨場感が高く広画角の画像提示を行うこともできる。
【０１４３】
また、所定位置の動きに基づいたレイヤ分類を行って、所定位置を複数レイヤのいずれかに分類するものとし、分類結果と入力画像信号と所定位置の動きに基づき、レイヤ毎の動き量とレイヤ毎の画像信号が中間画像情報とされる。このため、２次元平面上での動きに基づいて奥行き方向の階層化を行い、各階層の画像信号を貼り付けることで、３次元処理を行うことなく３次元での画像提示を行うことができる。
【図面の簡単な説明】
【図１】表示システムの構成を示す図である。
【図２】画像投影状態を示す図である。
【図３】画像処理装置の構成を示す図である。
【図４】各検出領域の動きベクトルを示す図である。
【図５】動きベクトルの判別方法を説明するための図である。
【図６】ズーム時の領域サイズの変化を説明するための図である。
【図７】画像基準位置の判別方法を示す図である。
【図８】動き検出処理部の構成を示す図である。
【図９】レイヤ分類部の構成を示す図である。
【図１０】ベクトル方向と動きパターンの関係を説明するための図である。
【図１１】閾値の設定方法を説明するための図である。
【図１２】レイヤ分類情報の生成動作を説明するための図である。
【図１３】情報生成処理部の構成を示す図である。
【図１４】レイヤ毎の中間画像を示す図である。
【図１５】補間処理後のレイヤ毎の中間画像を示す図である。
【図１６】周辺画像信号生成ブロックの構成を示す図である。
【図１７】画像変換処理を説明するための図である。
【図１８】画像信号処理装置の他の構成を示す図である。
【図１９】幾何変換処理を説明するための図である。
【図２０】動き判別画像生成部の動作を説明するための図である。
【図２１】積分画像の生成動作を説明するための図である。
【図２２】積分画像生成部の構成を示す図である。
【図２３】積分画像生成部の動作を説明するための図である。
【図２４】動き量判別部の動作を説明するための図である。
【図２５】後退レイヤの動き判別画像の生成動作を説明するための図である。
【図２６】情報生成処理部の構成を示す図である。
【図２７】射影面画像と生成した側面画像を示す図である。
【図２８】スクリーンで正しく画像表示を行うための画像変換処理を説明するための図である。
【図２９】コンピュータを用いたときの構成を示す図である。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、１５，５５・・・画像処理装置、２０，６２・・・動き検出ブロック、２１・・・フレーム遅延処理部、２２・・・動き検出処理部、２５，７０・・・中間画像情報生成ブロック、２６，７１・・・レイヤ分類部、２７，７２・・・情報生成処理部、３０・・・蓄積部、３１・・・正面画像信号蓄積領域、３２・・・中間画像情報蓄積領域、４０・・・周辺画像信号生成ブロック、４１・・・画像生成制御部、４２・・・レイヤ画像生成処理部、４３・・・射影変換部、４４・・・画像信号生成部、６１・・・幾何変換部、６３・・・動き判別画像生成処理部、６４・・・積分画像生成処理部、６５・・・動き量判別部、９０・・・コンピュータ、２２１・・・サイズ変換処理部、２２２・・・誤差和算出部、２２３・・・比較処理部、２２４・・・データ保持部、２２５・・・探索制御部、２６１・・・パターン判定部、２６２・・・レイヤ作成判定部、２６３・・・分類処理部、２６４・・・閾値設定部、２６５・・・分類補正部、２７１，７２１・・・動き量平均値算出部、２７２，７２２・・・画像読み込み部、２７３，７２３・・・中間画像信号補間部、４２１-1〜４２１-5・・・貼り付け部、４２２-1〜４２２-5・・・１フレーム遅延部、４２３-1〜４２３-5・・・画像シフト部、４３１〜４３４・・・変換処理部、４４１・・・遠景貼り付け部、４４２・・・中景貼り付け部、４４３・・・近景貼り付け部、４４４・・・縮小貼り付け部、６４１-1〜６４１-ns・・・演算処理部、６４２-1〜６４２-ns・・・画素切り出し部、９０１・・・ＣＰＵ、９０２・・・ＲＯＭ、９０３・・・ＲＡＭ、９０４・・・ハード・ディスク・ドライブ、９０５・・・入出力インタフェース、９１１・・・入力部、９１２・・・記録媒体ドライブ、９１３・・・通信部、９１４・・・画像入出力部、９２０・・・バス
【図１】
0004599775.tif 000007
【図２】
0004599775.tif 000008
【図３】
0004599775.tif 000009
【図４】
0004599775.tif 000010
【図５】
0004599775.tif 000011
【図６】
0004599775.tif 000012
【図７】
0004599775.tif 000013
【図８】
0004599775.tif 000014
【図９】
0004599775.tif 000015
【図１０】
0004599775.tif 000016
【図１１】
0004599775.tif 000017
【図１２】
0004599775.tif 000018
【図１３】
0004599775.tif 000019
【図１４】
0004599775.tif 000020
【図１５】
0004599775.tif 000021
【図１６】
0004599775.tif 000022
【図１７】
0004599775.tif 000023
【図１８】
0004599775.tif 000024
【図１９】
0004599775.tif 000025
【図２０】
0004599775.tif 000026
【図２１】
0004599775.tif 000027
【図２２】
0004599775.tif 000028
【図２３】
0004599775.tif 000029
【図２４】
0004599775.tif 000030
【図２５】
0004599775.tif 000031
【図２６】
0004599775.tif 000032
【図２７】
0004599775.tif 000033
【図２８】
0004599775.tif 000034
【図２９】
0004599775.tif 000035