(57)【特許請求の範囲】
【請求項１】
特定の平面上に形成した画像内における所定領域の動きを複数フレームの入力画像信号を用いて検出する動き検出手段と、
前記動き検出手段で検出された動きに基づいて、前記所定領域を分類して分類結果を示す情報を生成するレイヤ化処理手段と、
前記分類情報と前記複数フレームの入力画像信号に基づいて、前記入力画像信号中の注目フレームと同一時間であると共に、前記注目フレームの画像と画角の異なる周辺画像の画像信号を生成する周辺画像信号生成手段とを有する
ことを特徴とする画像処理装置。
【請求項２】
前記入力画像信号に基づく画像と前記特定の平面上に形成した画像は、同一平面上の画像である
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
少なくとも１つの拘束条件を満たす動きを生ずる基準動画像の画像信号を用いて、前記拘束条件を利用することにより前記基準動画像の画面毎に画面内の画像端部領域の動きを検出する動き検出手段と、
前記動き検出手段で検出された動きに基づいて、前記所定領域のレイヤを決定してレイヤ情報を生成するレイヤ化処理手段と、
前記レイヤ化処理手段で生成されたレイヤ情報と前記画像端部領域の画像信号を用いて信号処理を行い、前記基準動画像と同一時間であると共に、前記基準動画像に対応した周辺動画像の画像信号を生成する周辺画像生成手段とを備える
ことを特徴とする画像処理装置。
【請求項４】
前記動き検出手段では、前記画像端部領域に複数の動き検出領域を設定して、前記動き検出領域毎に動きを検出する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記１つの拘束条件は、前記画像の動きが所定位置を中心とした放射方向である
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記動き検出手段では、前記所定位置を中心として前記動き検出領域の画像をズームさせながら前画面の画像との誤差値を算出して、該算出された誤差値に基づいて動きを判別する
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記周辺画像生成手段では、前記信号処理は、画面順序に応じてなされる
ことを特徴とする請求項３記載の画像処理装置。
【請求項８】
前記周辺画像生成手段では、前記動き検出手段の検出結果に基づき、前記画像端部領域をレイヤ分けするものとして、レイヤ毎に画面順序に応じた信号処理を行うことにより周辺動画像の画像信号を生成する
ことを特徴とする請求項３記載の画像処理装置。
【請求項９】
前記周辺画像生成手段では、前記動き検出手段の検出結果に基づいて前記レイヤ毎に移動量を設定し、前記レイヤ分けされた画像端部領域の画像を、対応するレイヤの前記移動量に応じて抽出し、該抽出した画像をレイヤ単位で貼り付ける信号処理を行う
ことを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記周辺画像生成手段では、前記レイヤ単位の貼り付け処理として、移動量の少ないレイヤから移動量の大きいレイヤへと順に貼り付けを行う
ことを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記周辺画像生成手段では、既に貼り付けが行われた各レイヤの画像を前記レイヤ毎に設定された移動量に応じて移動させると共に、移動後の画像に前記抽出した画像を加えてから前記レイヤ単位で貼り付ける処理を画面順に行う
ことを特徴とする請求項９記載の画像処理装置。
【請求項１２】
前記周辺画像生成手段では、前記レイヤ単位での貼り付け処理によって画像に隙間部分を生じたときには、隙間部分の画像の画像信号を補間処理によって生成する
ことを特徴とする請求項９記載の画像処理装置。
【請求項１３】
前記周辺画像生成手段では、前記補間処理として、前記隙間部分の後方側に位置する画像をレイヤ移動方向に延長して前記隙間領域の画像の画像信号を生成する
ことを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記周辺画像生成手段では、前記抽出した画像をレイヤ単位で貼り付ける信号処理を行うことにより得られた信号に対して、前記周辺動画像の投影面の向きに応じた信号変換処理を行う
ことを特徴とする請求項９記載の画像処理装置。
【請求項１５】
特定の平面上に形成した画像内における所定領域の動きを複数フレームの入力画像信号を用いて検出するものとし、
前記検出された動きに基づいて、前記所定領域を分類して分類結果を示す情報を生成するものとし、
前記分類情報と前記複数フレームの入力画像信号に基づいて、前記入力画像信号中の注目フレームと同一時間であると共に、前記注目フレームの画像と画角の異なる周辺画像の画像信号を生成する
ことを特徴とする画像信号生成方法。
【請求項１６】
少なくとも１つの拘束条件を満たす動きを生ずる基準動画像を用いて、前記拘束条件を利用することにより前記基準動画像の画面毎に画像端部領域の動きを検出するものとし、
検出された動きに基づき、前記画像端部領域の画像信号を用いて信号処理を行い、前記基準動画像と同一時間であると共に、前記基準動画像に対応した周辺動画像の画像信号を生成する
ことを特徴とする画像信号生成方法。
【請求項１７】
前記信号処理は、画面順序に応じてなされる
ことを特徴とする請求項１６記載の画像信号生成方法。
【請求項１８】
コンピュータに、
特定の平面上に形成した画像内における所定領域の動きを複数フレームの入力画像信号を用いて検出する処理と、
前記検出された動きに基づいて、前記所定領域を分類して分類結果を示す情報を生成する処理と、
前記分類情報と前記複数フレームの入力画像信号に基づいて、前記入力画像信号中の注目フレームと同一時間であると共に、前記注目フレームの画像と画角の異なる周辺画像の画像信号を生成する処理とを実行させる
ことを特徴とする画像処理プログラム。
【請求項１９】
コンピュータに、
少なくとも１つの拘束条件を満たす動きを生ずる基準動画像を用いて、前記拘束条件を利用することにより前記基準動画像の画面毎に画像端部領域の動きを検出する第１の処理と、
検出された動きに基づき、前記画像端部領域の画像信号を用いて信号処理を行い、前記基準動画像と同一時間であると共に、前記基準動画像に対応した周辺動画像の画像信号を生成する第２の処理とを含む処理を実行させる
ことを特徴とする画像処理プログラム。
【請求項２０】
コンピュータに、
特定の平面上に形成した画像内における所定領域の動きを複数フレームの入力画像信号を用いて検出する処理と、
前記検出された動きに基づいて、前記所定領域を分類して分類結果を示す情報を生成する処理と、
前記分類情報と前記複数フレームの入力画像信号に基づいて、前記入力画像信号中の注目フレームと同一時間であると共に、前記注目フレームの画像と画角の異なる周辺画像の画像信号を生成する処理とを実行させるプログラムをコンピュータ読み取り可能に記録した
ことを特徴とする情報記録媒体。
【請求項２１】
コンピュータに、
少なくとも１つの拘束条件を満たす動きを生ずる基準動画像を用いて、前記拘束条件を利用することにより前記基準動画像の画面毎に画像端部領域の動きを検出する第１の処理と、
検出された動きに基づき、前記画像端部領域の画像信号を用いて信号処理を行い、前記基準動画像と同一時間であると共に、前記基準動画像に対応した周辺動画像の画像信号を生成する第２の処理とを含む処理を実行させるプログラムをコンピュータ読み取り可能に記録した
ことを特徴とする情報記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像処理装置と画像信号生成方法と画像処理プログラム及び情報記録媒体に関する。詳しくは、複数フレームの入力画像信号を用いて、この入力画像信号に基づく画像内における例えば画像端部領域の動きを検出し、この検出した動きと複数フレームの入力画像信号に基づいて、注目フレームと同一時間であると共に、注目フレームの画像と画角の異なる周辺動画像の画像信号を生成するものである。
【０００２】
【従来の技術】
近年、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。
【０００３】
ここで、上述のようなディスプレイを用いて臨場感を高めた画像表示を行うためには、例えばコンピュータグラフィックスで３次元の仮想空間を構築することが行われている。また、多数のビデオカメラを用いたり広角レンズをビデオカメラに取り付けて広範囲な空間を撮影し、この撮影画像を多面ディスプレイやヘッドマウントディスプレイなどの平面あるいは曲面に変換して表示することも行われている。
【０００４】
【発明が解決しようとする課題】
ところで、このように多面ディスプレイや広画角ディスプレイ等を用いて臨場感を高めた動画像表示を行う場合、コンピュータグラフィックスで３次元の仮想空間を構築するためには、高速なコンピュータ装置を用いて演算処理を行う必要があるため、多大なコストと時間が必要となると共に、実写画像に比べて臨場感や現実感が少ない画像となってしまう。
【０００５】
また、実写画像を用いる場合には、広範囲な空間を提示するためには、提示する範囲を全て隙間無く撮影する必要があり、多数のビデオカメラや特殊レンズを備えたビデオカメラ等、大がかりな画像取込装置が必要となり、多額のコストが必要となる。
【０００６】
さらに、一般的なビデオカメラで撮影された画像ソースが既に存在するときには、同じシーンを複数のビデオカメラで撮り直さなければ、広範囲の画像を提示することができない。
【０００７】
そこで、この発明では、基準となる動画像の画像信号を用いて、この動画像と同一時間であると共に、この動画像に対応した周辺動画像を生成できる画像処理装置と画像信号生成方法および情報伝送記録媒体を提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像処理装置は、特定の平面上に形成した画像内における所定領域の動きを複数フレームの入力画像信号を用いて検出する動き検出手段と、動き検出手段で検出された動きに基づいて、所定領域を分類して分類結果を示す情報を生成するレイヤ化処理手段と、分類情報と複数フレームの入力画像信号に基づいて、入力画像信号中の注目フレームと同一時間であると共に、注目フレームの画像と画角の異なる周辺画像の画像信号を生成する周辺画像信号生成手段とを有するものである。
【０００９】
また、画像処理装置は、少なくとも１つの拘束条件を満たす動きを生ずる基準動画像の画像信号を用いて、拘束条件を利用することにより基準動画像の画面毎に画面内の画像端部領域の動きを検出する動き検出手段と、動き検出手段で検出された動きに基づいて、前記所定領域のレイヤを決定してレイヤ情報を生成するレイヤ化処理手段と、レイヤ化処理手段で生成されたレイヤ情報と画像端部領域の画像信号を用いて信号処理を行い、基準動画像と同一時間であると共に、基準動画像に対応した周辺動画像の画像信号を生成する周辺画像生成手段とを備えるものである。
【００１０】
この発明に係る画像信号生成方法は、特定の平面上に形成した画像内における所定領域の動きを複数フレームの入力画像信号を用いて検出するものとし、検出された動きに基づいて、所定領域を分類して分類結果を示す情報を生成するものとし、分類情報と複数フレームの入力画像信号に基づいて、入力画像信号中の注目フレームと同一時間であると共に、注目フレームの画像と画角の異なる周辺画像の画像信号を生成するものである。
【００１１】
また、画像信号生成方法は、少なくとも１つの拘束条件を満たす動きを生ずる基準動画像を用いて、拘束条件を利用することにより基準動画像の画面毎に画像端部領域の動きを検出するものとし、検出された動きに基づき、画像端部領域の画像信号を用いて信号処理を行い、基準動画像と同一時間であると共に、基準動画像に対応した周辺動画像の画像信号を生成するものである。
【００１２】
この発明に係る画像処理プログラムは、コンピュータに、特定の平面上に形成した画像内における所定領域の動きを複数フレームの入力画像信号を用いて検出する処理と、検出された動きに基づいて、所定領域を分類して分類結果を示す情報を生成する処理と、分類情報と複数フレームの入力画像信号に基づいて、入力画像信号中の注目フレームと同一時間であると共に、注目フレームの画像と画角の異なる周辺画像の画像信号を生成する処理とを実行させるものである。
【００１３】
また、画像処理プログラムは、コンピュータに、少なくとも１つの拘束条件を満たす動きを生ずる基準動画像を用いて、拘束条件を利用することにより基準動画像の画面毎に画像端部領域の動きを検出する第１の処理と、検出された動きに基づき、画像端部領域の画像信号を用いて信号処理を行い、基準動画像と同一時間であると共に、基準動画像に対応した周辺動画像の画像信号を生成する第２の処理とを含む処理を実行させるものである。
【００１４】
この発明に係る情報記録媒体は、コンピュータに、特定の平面上に形成した画像内における所定領域の動きを複数フレームの入力画像信号を用いて検出する処理と、検出された動きに基づいて、所定領域を分類して分類結果を示す情報を生成する処理と、分類情報と複数フレームの入力画像信号に基づいて、入力画像信号中の注目フレームと同一時間であると共に、注目フレームの画像と画角の異なる周辺画像の画像信号を生成する処理とを実行させるプログラムをコンピュータ読み取り可能に記録したものである。
【００１５】
また、情報記録媒体は、コンピュータに、少なくとも１つの拘束条件を満たす動きを生ずる基準動画像を用いて、拘束条件を利用することにより基準動画像の画面毎に画像端部領域の動きを検出する第１の処理と、検出された動きに基づき、画像端部領域の画像信号を用いて信号処理を行い、基準動画像と同一時間であると共に、基準動画像に対応した周辺動画像の画像信号を生成する第２の処理とを含む処理を実行させるプログラムをコンピュータ読み取り可能に記録したものである。
【００１６】
この発明においては、例えば画像の動きが所定位置を中心とした放射方向である拘束条件を満たす動きを生ずる基準動画像に対して、この基準動画像の画像端部領域に複数の動き検出領域が設定されて、この動き検出領域の画像が所定位置を中心としてズームされながら前画面の画像との誤差値が算出されて、この算出された誤差値が最小となる位置を検出することで、動き検出領域の動きが判別される。
【００１７】
この動きの検出結果に基づき、画像端部領域がレイヤ分けされて、レイヤ毎に移動量が設定されて、レイヤ分けされた画像端部領域の画像が、対応するレイヤの移動量に応じて基準動画像から画像の抽出が行われて、移動量の少ないレイヤから移動量の大きいレイヤへと順に貼り付けられる。また、既に貼り付けが行われた各レイヤの画像はレイヤ毎に設定された移動量に応じて移動されて、移動後の画像に抽出した画像を加えてからレイヤ単位で画像の貼り付けが行われる。
【００１８】
ここで、レイヤ単位での貼り付け処理によって画像に隙間部分を生じたときには、隙間部分の後方側に位置する画像をレイヤの移動方向に延長して隙間領域の画像の画像信号が生成される。さらに、レイヤ単位で貼り付けられた画像の画像信号に対して、周辺動画像の投影面の向きに応じた信号変換処理が行われる。
【００１９】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明に係る画像処理装置を用いた表示システムの全体構成を示している。この表示システムでは、例えば３つのスクリーンをユーザの前面及び両側面に配置して、各スクリーン１０L，１０C，１０Rに対応したプロジェクタ１２L，１２C，１２Rから画像を投影することにより、広範囲の画像の提示が行われる。このプロジェクタ１２L，１２C，１２Rは画像処理装置１５Ａ（１５Ｂ，１５Ｃ）と接続されている。
【００２０】
この画像処理装置１５Ａ（１５Ｂ，１５Ｃ）では、複数フレームの入力画像信号を用いて特定の平面上に形成した画像内における所定領域の動きを検出して、この検出された動きに基づいて、所定領域を分類して分類結果を示す情報を生成する。さらに、分類情報と複数フレームの入力画像信号に基づいて、入力画像信号中の注目フレームと同一時間であると共に、注目フレームの画像と画角の異なる周辺画像の画像信号を生成する。
【００２１】
画像処理装置１５Ａには、移動しながら撮影した画像信号、例えば車載カメラで前方を撮影した動画像の画像信号ＳＤCが入力される。画像処理装置１５Ａは、この入力された画像信号ＳＤCを後述する側面動画像の周辺画像信号ＳＤL，ＳＤRの生成に要する時間だけ遅延させたのち画像信号ＳＤC’としてプロジェクタ１２Cに供給する。プロジェクタ１２Cは、画像信号ＳＤC’に基づく正面動画像ＵCを、図２に示すように正面に位置するスクリーン１０Cに投影する。また、画像処理装置１５Ａは、基準動画像である正面動画像ＵCの画像信号ＳＤCに基づいて、この正面動画像ＵCに対応した側面動画像、すなわち車載カメラの視野範囲（画角範囲）に隣接した周辺領域の動画像、例えば左右の側面動画像の周辺画像信号ＳＤL，ＳＤRを生成する。プロジェクタ１２Lには、生成した左側面動画像ＵLの周辺画像信号ＳＤLが入力されて、この周辺画像信号ＳＤLに基づき左側面動画像ＵLを左側に位置するスクリーン１０Lに投影する。プロジェクタ１２Lには、生成した右側面動画像ＵRの周辺画像信号ＳＤRを入力して、この周辺画像信号ＳＤRに基づき右側面動画像ＵRを右側に位置するスクリーン１０Rに投影する。
【００２２】
図３は、第１の実施の形態である画像処理装置１５Ａの構成を示している。画像信号ＳＤCは、画像処理装置１５Ａの遅延部１６と動き検出ブロック２０及び周辺画像信号生成ブロック２４に供給される。動き検出ブロック２０は、動画像の画像端部領域、例えば正面動画像ＵCの両側端側に図４に示すように複数の動き検出領域ＡRを設定して、各動き検出領域ＡRでの画像の動き量ＭＶを算出してレイヤ化処理ブロック２２に供給する。この動き量ＭＶは、この動き検出領域の画像信号ＳＤCと１フレーム前の画像信号ＳＤdに基づいて算出される。
【００２３】
レイヤ化処理ブロック２２は、各動き検出領域が離れた被写体を撮影した遠景画像の領域（遠景レイヤ）であるか、近接した被写体を撮影した近景画像の領域（近景レイヤ）であるか、又は、遠景画像と近景画像との間に位置する中景画像の領域（中景レイヤ）であるかを動き量ＭＶに基づいて判別する。さらに、判別結果に基づき各動き検出領域が遠景，中景，近景のいずれのレイヤに属するかを示すレイヤ識別情報ＬＳを生成して周辺画像信号生成ブロック２４に供給する。また、レイヤに含まれる動き検出領域の動き量を用いて算出した統計情報に基づきレイヤ毎のレイヤ移動量ＬＶをフレーム毎に算出して、このレイヤ移動量ＬＶを周辺画像信号生成ブロック２４に供給する。
【００２４】
周辺画像信号生成ブロック２４は、動き検出領域に対応して画像端部領域に設定したそれぞれの位置から、動き検出領域の該当するレイヤのレイヤ移動量ＬＶだけ正面動画像を抽出する。また、周辺画像信号生成ブロック２４は、この抽出した画像を移動量の少ない遠景のレイヤから移動量の大きい近景のレイヤへと順に重ね合わせることで画像合成を行ったのち、側面動画像の投影面の向きに応じた変換処理を行い、正面動画像と同一時間の側面動画像の周辺画像信号ＳＤL，ＳＤRを生成して出力する。
【００２５】
また、レイヤ毎の側面動画像の画像信号ＳＥL，ＳＥRを遅延部２６に供給することで、１フレーム遅延させてから周辺画像信号生成ブロック２４に供給する。ここで、周辺画像信号生成ブロック２４は、１フレーム遅延された側面動画像の画像信号ＳＥLd，ＳＥRdに基づく画像を、レイヤ毎に設定された移動量に応じてレイヤ毎に移動させる。また、周辺画像信号生成ブロック２４は、移動後の画像に正面動画像から抽出した画像を加えてからレイヤ単位で重ね合わせることで画像の合成を行い、側面動画像の周辺画像信号ＳＤL，ＳＤRを生成する。
【００２６】
さらに、遠景，中景，近景の画像を順に重ね合わせた画像を作成するときに、レイヤ移動量の違いによって、画像の無い隙間部分が生じた場合、周辺画像信号生成ブロック２４は、この隙間部分を補間処理によって補うことで、隙間部分の無い側面動画像の周辺画像信号ＳＤL，ＳＤRを生成する。
【００２７】
次に、各ブロックの構成及び動作について図を用いて詳細に説明する。なお、以下の説明では右側の側面動画像についてのみ説明するものとし、左側の側面動画像の生成については説明を省略する。
【００２８】
動き検出ブロック２０は、上述したように画像の動き量ＭＶを動き検出領域毎に判別する。ここで、上述したように車載カメラで前方を撮影することで、一点（以下「画像基準位置」という）ＣＰからあたかも画像が涌き出てくるように見える場合、動き検出ブロック２０は、正面動画像の動き方向が一点から放射方向であるという拘束条件を加えて動き量の判別を行う。この場合、図５Ａに示す時刻Ｔの正面動画像は、例えば１フレーム時間が経過した後の時刻Ｔ’では、図５Ｂに示すように、画像基準位置ＣＰを中心として時刻Ｔの正面動画像をズーム動作させた画像とほぼ等しくなる。このため、画像発生位置から動き検出領域の中心までの距離がズーム動作での拡大率に比例すると考えられる。そこで、動き検出ブロック２０は、図５Ｃに示すように、画像基準位置ＣＰを中心とした拡大率Ｚを設定して動き検出領域を（１／Ｚ）に縮小させて、この縮小された領域と１フレーム前の画像における対応位置の画像信号との誤差和を算出して、この誤差和が最小値となる拡大率Ｚを検出することにより、動き領域毎の動き量を算出する。
【００２９】
ここで、縮小処理を行ったとき、領域内の画素の座標値は整数値とならない画素が生ずる。一方、縮小処理が行われていない１フレーム前の画像は、領域内の画素の座標値が整数値である。このため、縮小された画像に対しては線形補間を行って、座標値が整数値となる位置の信号レベルを算出する。例えば、図６に示すようにＫa×Ｋa画素の動き検出領域を（１／Ｚ）倍としたことにより領域サイズがＫb×Ｋb画素のサイズとなったときには、線形補間を行ってＫa×Ｋa画素の信号レベルを用いて画素数を「Ｋb×Ｋb」とした信号レベルを算出する。この算出された信号レベルを用いて誤差和を算出することにより、精度良く動き量を判別できる。
【００３０】
図７は動き検出ブロック２０の構成を示しており、画像信号ＳＤcはサイズ変更部２０１に供給されると共に１フレーム前の画像信号ＳＤcdは誤差和算出部２０２に供給される。サイズ変更部２０１は、正面動画像の右側端部分を例えば１６×１６画素サイズ単位で区分して複数の動き検出領域を設定する。なお、以下の説明では、１つの動き検出領域に対する各部の動作を示すものとする。
【００３１】
このサイズ変更部２０１は、拡大率設定部２０５から供給された拡大率Ｚを用いることにより、画像基準位置ＣＰを中心として（１／Ｚ）倍した動き検出領域の画像信号ＳＤzを生成して誤差和算出部２０２に供給する。また、画像信号ＳＤzを誤差和算出部２０２に供給する際には、画像基準位置ＣＰを中心として（１／Ｚ）倍したことにより移動された動き検出領域の中心の座標値Ｐzも誤差和算出部２０２に供給する。なお、画像信号ＳＤzは、図６で説明したように補間処理によって画素位置毎の信号レベルに変換した信号である。
【００３２】
誤差和算出部２０２は、１フレーム前の画像信号ＳＤdから、サイズ変更部２０１によって示された座標値Ｐzを基準として、（１／Ｚ）倍した動き検出領域と対応する領域の画像信号を選択する。この選択した信号と（１／Ｚ）倍した動き検出領域の画像信号ＳＤzを用いて、画素毎の誤差を算出すると共に加算することで誤差和ＥＴを算出して比較部２０３に通知する。
【００３３】
比較部２０３は、誤差和最小値ＥＴLと誤差和算出部２０２で算出された誤差和ＥＴとを比較する。ここで誤差和最小値ＥＴLが設定されていないときには、最初に算出された誤差和ＥＴを誤差和最小値ＥＴLとして設定する。また、誤差和最小値ＥＴLは算出される誤差和よりも大きい値に予め設定しておくものとしても良い。誤差和最小値ＥＴLと誤差和ＥＴとの比較の結果、誤差和ＥＴが誤差和最小値ＥＴLよりも小さいときには、この誤差和ＥＴを新たな誤差和最小値ＥＴLとして設定すると共に、誤差和最小値ＥＴLが更新されたことを示す更新信号ＣＨをデータ格納部２０４に通知する。また、比較部２０３は、誤差和ＥＴと誤差和最小値ＥＴLとの比較が完了したことを示す信号ＣＥを拡大率設定部２０５に通知する。
【００３４】
データ格納部２０４には、拡大率設定部２０５から拡大率Ｚが通知されており、誤差和最小値ＥＴLが更新されたことが更新信号ＣＨで示されたときには、通知された拡大率Ｚを記憶する。また、既に拡大率が記憶されているときには、記憶されている拡大率を通知された拡大率Ｚで更新する。また、拡大率設定部２０５から拡大率の変更処理の完了を示す信号ＣＨＺが供給されたときには、記憶している拡大率Ｚを動き量ＭＶとしてレイヤ化処理ブロック２２に供給する。
【００３５】
拡大率設定部２０５は、拡大率の下限値と上限値を予め設定し（例えば下限値＝１．０，上限値＝１．１）、最初に下限値を拡大率Ｚとしてサイズ変更部２０１とデータ格納部２０４に通知する。その後、比較部２０３から誤差和ＥＴと誤差和最小値ＥＴLの比較が完了したことを示す信号ＣＥが供給される毎に、拡大率Ｚを所定量だけ順次増加させて（例えば０．００５のステップで増加させて）、サイズ変更部２０１とデータ格納部２０４に通知する。その後、拡大率Ｚが上限値に達したとき、拡大率設定部２０５は、拡大率の変更処理の完了を示す信号ＣＨＺをデータ格納部２０４に通知する。
【００３６】
このように、拡大率設定部２０５で順次拡大率を増加させることで動き検出領域の画像を順次縮小すると共に、この縮小された領域の画像と１フレーム前の画像と比較して、誤差の最も少なくなるときの拡大率をデータ格納部２０４に記憶させることで、サイズ変更部２０１での拡大率の変更処理が終了したときに、この動き検出領域の動き量ＭＶをデータ格納部２０４からレイヤ化処理ブロック２２に供給することができる。
【００３７】
また、設定された全ての動き検出領域についても、拡大率設定部２０５によって設定された拡大率Ｚを用いて同様な処理を行う。拡大率設定部２０５での拡大率の変更処理が終了したときには、図８の矢印の長さで示すように、各動き検出領域ＡRの動き量ＭＶが判別されて、それぞれの動き検出領域の動き量ＭＶをデータ格納部２０４からレイヤ化処理ブロック２２に通知することができる。
【００３８】
レイヤ化処理ブロック２２は、閾値を設定して動き量と比較することにより、各動き検出領域が複数レイヤのいずれに属するかを判別して、画像端部領域を複数のレイヤに分類する。ここで、遠景の画像は動き量が小さく、近景の画像は動き量が大きくなる。このため、レイヤ化処理ブロック２２は、閾値を設定して動き量と比較することにより、各動き検出領域が例えば遠景，中景，近景のいずれにレイヤに属するかを判別できる。
【００３９】
図９はレイヤ化処理ブロック２２の構成を示している。動き検出ブロック２０から供給された動き量ＭＶは、統計情報算出部２２１とレイヤ移動量算出部２２５に供給される。統計情報算出部２２１は、供給された領域毎の動き量に基づく統計情報ＭＳ、例えば動き量の平均値と最大値と最小値、あるいは動き量をクラス分けして求めた度数分布等を求めてレイヤ分割閾値設定部２２２に供給する。
【００４０】
レイヤ分割閾値設定部２２２は、統計情報算出部２２１で求めた統計情報ＭＳに基づいて閾値Ｔｈを設定して、レイヤ判定部２２３と遅延部２２４に供給する。また、レイヤ分割閾値設定部２２２には、遅延部２２４で１フレーム遅延した閾値である、１フレーム前の閾値Ｔｈdが供給されており、統計情報算出部２２１で求めた統計情報ＭＳに基づき１フレーム前の閾値Ｔｈdの修正を行って新たな閾値Ｔｈを設定する。
【００４１】
ここで、統計情報ＭＳとして動き量の最大値と最小値が示されたとき、閾値をｎ個設定する場合には、動き量の出現範囲である最大値と最小値の範囲を（ｎ−１）等分して閾値を設定する。例えば図１０Ａに示すように、最大値ＭＶmaxから最小値ＭＶminまでの範囲を３等分して境界値を閾値Ｔｈ-1，Ｔｈ-2に設定する。あるいは、平均値ＭＶavgも用いて式（１）と式（２）に基づき閾値Ｔｈ-1，Ｔｈ-2を設定する。
【００４２】
【数１】
0003823818.tif 000002
【００４３】
また、１フレーム前の閾値が供給されているときには、この閾値を統計情報算出部２２１で求めた統計情報に基づいて補正することにより新たな閾値を算出する。例えば、１フレーム前の閾値を「Ｔｈd-1」，「Ｔｈd-2」としたとき、式（３）と式（４）を用いて閾値Ｔｈ-1，Ｔｈ-2を算出する。なお「α」と「β」は係数である。
【００４４】
【数２】
0003823818.tif 000003
【００４５】
また、図１０Ｂに示すようなヒストグラムが統計情報として示されたときには、極小となる動き量を判別して、判別された極小となる動き量に基づいて閾値Ｔｈ-1，Ｔｈ-2を設定することもできる。さらに、ヒストグラムに基づいて既に設定されている閾値Ｔｈd-1，Ｔｈd-2を、上述の場合と同様にして統計情報算出部２２１で求めた統計情報に基づいて補正して新たな閾値Ｔｈ-1，Ｔｈ-2を求めるものとしても良い。このように、レイヤ分割閾値設定部２２２で設定された閾値は、レイヤ判定部２２３に供給される。
【００４６】
レイヤ判定部２２３は、各動き検出領域の動き量ＭＶとレイヤ分割閾値設定部で設定された閾値Ｔｈとを比較して、画像端部領域がいずれのレイヤに属しているかを決定する。また、この結果を示すレイヤ識別情報ＬＳを生成してレイヤ移動量算出部２２５と周辺画像信号生成ブロック２４に供給する。レイヤ移動量算出部２２５は、レイヤに含まれる動き検出領域の動き量に基づき平均値をレイヤ毎に算出して、レイヤ移動量ＬＶとして周辺画像信号生成ブロック２４に供給する。
【００４７】
ところで、動き検出領域が例えば青空の一部であるような場合、動き検出ブロック２０は、この動き検出領域を縮小して誤差和を算出しても拡大率に係らず誤差和が略一定となって動き量を精度良く判別できないおそれがある。このため、動き量ＭＶを判別できないとき、動き検出ブロック２０は、動き検出領域内の画像の色を示す情報をレイヤ化処理ブロック２２に供給する。また、レイヤ化処理ブロック２２は、色を示す情報を利用して、レイヤ分割を行う。例えば動き量を算出できない動き検出領域において、この領域内の画像の色が青空の色であるときには、この領域を遠景レイヤに割り当てることでレイヤ識別情報ＬＳを生成する。
【００４８】
次に、周辺画像信号生成ブロック２４は、レイヤ識別情報ＬＳとレイヤ移動量ＬＶに基づき、レイヤ分けされた画像端部領域から対応するレイヤ移動量分だけ画像を抽出する。また、周辺画像信号生成ブロック２４は、既に生成されている１フレーム前の側面動画像をレイヤ毎に移動させたのち、レイヤ移動量分だけ抽出された画像をレイヤ毎に重ね合わせることで画像合成を行い側面動画像を生成する。さらに、正面動画像の投影面と右側面動画像の投影面では向きが異なる。このため、周辺画像信号生成ブロック２４は、生成した側面動画像を投影面に応じた画像に変換処理することで、スクリーンに投影する側面動画像の画像信号を生成して出力する。
【００４９】
図１１は、周辺画像信号生成ブロック２４の構成を示している。この周辺画像信号生成ブロック２４は、レイヤ化処理ブロック２２で正面動画像の画像端部領域を遠景と中景と近景の３つのレイヤに分割した場合の構成である。
【００５０】
レイヤ化処理ブロック２２で生成されたレイヤ識別情報ＬＳ及びレイヤ移動量ＬＶは、信号抽出部２４１に供給される。この信号抽出部２４１は、正面動画像の画像信号ＳＤCに基づき、正面動画像の画像端部領域からレイヤ毎にレイヤ移動量分だけ画像信号を抽出する。例えば図１２Ａに示すように、動き検出領域の位置毎に、正面動画像の右側端から動き検出領域のレイヤに応じたレイヤ移動量分だけ画像ＵEを抽出する。ここで、動き検出領域が遠景レイヤと判別されているときには、この動き検出領域と対応する位置で正面動画像の右側端から遠景レイヤのレイヤ移動量に対応した画素数分の信号が抽出される。また、中景レイヤや近景レイヤと判別されたときには、中景レイヤや近景レイヤのレイヤ移動量に対応した画素数の信号が正面動画像の右側端から抽出される。この抽出した各レイヤの画像を重ね合わることで画像合成を行うものとすれば、図１２Ｂに示すように右側面動画像ＵRを生成できる。
【００５１】
このように、信号抽出部２４１によって抽出された遠景レイヤの画像信号ＳR-fは加算部２４２に供給される。また、抽出された中景レイヤの画像信号ＳR-mは加算部２４３に供給されると共に、抽出された近景レイヤの画像信号ＳR-nは加算部２４４に供給される。
【００５２】
画像シフト部２４５には、レイヤ化処理ブロック２２からレイヤ移動量が通知されると共に、遅延部２６から１フレーム前のレイヤ毎の画像信号ＳＥRd-f，ＳＥRd-m，ＳＥRd-nが供給される。この画像シフト部２４５は、画像信号ＳＥRd-fに基づく遠景レイヤの画像を遠景レイヤのレイヤ移動量分だけ移動させた画像信号ＳRd-fを生成して加算部２４２に供給する。同様に、画像シフト部２４５は、画像信号ＳＥRd-mに基づく中景レイヤの画像を中景レイヤのレイヤ移動量分だけ移動させた画像信号ＳRd-mを生成して加算部２４３に供給すると共に、画像信号ＳＥRd-nに基づく近景レイヤの画像を近景レイヤのレイヤ移動量分だけ移動させた画像信号ＳRd-nを生成して加算部２４４に供給する。
【００５３】
加算部２４２は、画像信号ＳR-fと画像信号ＳRd-fとの加算信号ＳRA-fを生成して補間部２４６に供給する。同様に、加算部２４３は、画像信号ＳR-mと画像信号ＳRd-mとの加算信号ＳRA-mを生成して補間部２４６に供給すると共に、加算部２４４は、画像信号ＳR-nと画像信号ＳRd-nとの加算信号ＳRA-nを生成して補間部２４６に供給する。
【００５４】
ここで、例えば画像信号ＳＥRd-f，ＳＥRd-m，ＳＥRd-nを重ね合わせることにより生成した右側面動画像ＵRが図１２Ｃに示すものであるときには、画像シフト部２４５によってレイヤ毎に、それぞれのレイヤ移動量ＭＲ1，ＭＲ2だけ画像が移動されるので、画像信号ＳRd-f，ＳRd-m，ＳRd-nを重ね合わせることにより生成した右側面動画像ＵRは図１２Ｄに示すものとなる。さらに、加算部２４２，２４３，２４４によって画像信号ＳRと画像信号ＳRdが加算されるので、加算信号ＳRA-f，ＳRA-m，ＳRA-nを重ね合わせることにより画像ＵEが合成されて、右側面動画像ＵRは図１２Ｅに示すものとなり、図１２Ｃに対して１フレーム期間経過後の右側面動画像を生成できる。またこのとき、画像シフト部２４５によってレイヤ毎に、それぞれのレイヤ移動量だけ画像が移動されると共に、正面動画像の右側端からは、レイヤ毎に、それぞれのレイヤ移動量分だけ画像が抽出されるので、移動された画像分だけ正面動画像から画像が重ね合わせられることとなり、各レイヤは画像が移動されても連続した画像となる。
【００５５】
補間部２４６は、加算部２４２，２４３，２４４から供給された加算信号に基づき、移動量の少ないレイヤの画像から順に重ね合わせることで画像合成を行うとき、レイヤの移動量の差によって画像の無い隙間部分が生じているか否かを判別して、隙間部分が生じているときには、この隙間領域の画像を補間によって生成する。例えば建物等の動きのない被写体を車載カメラで撮影したときには、遠景レイヤの移動量は小さく近景レイヤの移動量は大きくなる。このため、画像シフト部２４５によって右側面動画像の遠景画像と中景画像と近景画像を各レイヤ移動量分だけ移動した場合、例えば図１３Ａに示す右側面動画像おいて、中景レイヤの画像ＵR2と近景レイヤ画像ＵR2が隣接しており、近景レイヤのレイヤ移動量と中景レイヤの移動量が異なるときには、レイヤ毎に画像を移動させると図１３Ｂに示すように画像の無い隙間領域ＵＮが生じてしまう場合がある。なお隙間領域は、画像を重ね合わせた箇所にその旨を示すフラグを立てる等の方法を用いると判別できる。
【００５６】
このため、補間部２４６は、隙間領域の周辺画素を利用して補間を行い、この隙間領域の画像を創り出して重ね合わせる。例えば図１３Ｃに示すように隙間領域の後方側に位置する画像をレイヤの移動方向である隙間領域側に伸長させることにより隙間領域を補間する。このように、補間処理を行うことで、右側面動画像に隙間領域のない右側面動画像の画像信号を生成できる。また、後方側に位置する画像をレイヤの移動方向側に伸長させて補間を行うことにより、動き量の大きい画像が移動中に尾を引くように長くなってしまうことも防止できる。また、隙間領域側に周辺画像をシフトさせるものとしても良い。さらに、補間部２４６は、周辺の画像信号を用いて距離の重み付け平均、すなわち隙間領域に接する隣接領域内の画素の重み付け平均により、複数の画素を作成して隙間領域を埋めることで補間処理を行うものとしても良い。
【００５７】
この補間部２４６による補間処理後の加算信号ＳRA-fは、画像信号ＳＥR-fとして中景合成部２４７に供給されると共に遅延部２６に供給される。同様に、中景レイヤの加算信号ＳRA-mは、画像信号ＳＥR-mとして中景合成部２４７と遅延部２６に供給されると共に、近景レイヤの加算信号ＳRA-nは、画像信号ＳＥR-nとして近景合成部２４８と遅延部２６に供給される。
【００５８】
中景合成部２４７は、画像信号ＳＥR-fと画像信号ＳＥR-mを用いて、遠景レイヤの画像に中景レイヤの画像を重ね合わせた画像信号ＳＥR-fmを生成して近景合成部２４８に供給する。
【００５９】
近景合成部２４８は、画像信号ＳＥR-fmと画像信号ＳＥR-nを用いて、遠景画像に中景画像を重ね合わせた画像に対して更に近景画像を重ね合わせることで画像合成を行い右側面動画像の画像信号ＳＦRとして画像変換部２４９に供給する。
【００６０】
画像変換部２４９は、近景合成部２４８から供給された右側面動画像の画像信号ＳＥRを画像投影用の周辺画像信号ＳＤRに変換する。ここで、近景合成部２４８から供給された画像信号ＳＦRに基づく画像は、上述したように１フレーム前の画像をレイヤ移動量に応じて移動させると共に、正面動画像ＵCからレイヤ移動量分だけ抽出して、この移動された画像に抽出した画像を重ね合わせた画像である。このため、図１４Ａの実線で示す画像ＵR’となり、破線で示すような画像基準位置ＣＰから湧き出してくるような画像とならない。また、図１４Ｂに示すように、右側面動画像を投影するスクリーン１０Rと正面動画像を投影するスクリーン１０Cの投影面は同一の向きでない。このため、画像変換部２４９は、画像信号ＳＦRに基づく画像ＵR’を画像基準位置ＣＰから湧き出してくるような右側面動画像ＵRとする画像変換処理を行う。
【００６１】
すなわち、画像変換部２４９は、画像変換処理として、スクリーン１０Rに投影した右側面動画像に対応した画像基準位置ＣＰRからの距離に比例して画像信号ＳＦRに基づく画像を垂直方向に拡大する。また水平方向については、画像の動きが画像基準位置ＣＰRからの距離に比例するように拡大する。
【００６２】
ここで、図１４Ｃに示すように、右側面動画像の前端から画像基準位置ＣＰRまでの長さを「Ｌ」、右側面動画像の水平方向の長さを「Ａ」、更に正面動画像の投影面と右側面動画像の投影面とがなす角度θsに基づく比例定数γを設定すると、図１４Ｄに示すように、画像信号ＳＦRに基づく画像の位置（ｘ，ｙ）と、この位置に対応する画像変換後の位置（Ｘ，Ｙ）の関係は近似的に式（５）（６）で示すことができる。なお、長さ「Ｌ」「Ａ」及び比例定数γは、側面動画像を生成する前に予め設定する。
【００６３】
【数３】
0003823818.tif 000004
【００６４】
このため、画像変換後の位置（Ｘ，Ｙ）の信号として、式（５）（６）に基づき算出した画像信号ＳＦRに基づく画像上の位置（ｘ，ｙ）の信号を抽出すれば、画像変換された周辺画像信号ＳＤRを容易に生成できる。また、左側面動画像の周辺画像信号ＳＤLも同様にして生成することができる。このため、プロジェクタ１２Rは、この周辺画像信号ＳＤRを用いて右側面動画像をスクリーン１０Rに投影することで、図１４Ｅに示すように、より臨場感の高い右側面動画像を投影できる。また、プロジェクタ１２Lは、この周辺画像信号ＳＤLを用いて左側面動画像をスクリーン１０Lに投影することで、より臨場感の高い左側面動画像を投影できる。さらに、プロジェクタ１２Cは、周辺画像信号ＳＤL、ＳＤRの生成に要する時間だけ、画像信号ＳＤCを遅延させた画像信号である画像信号ＳＤC’に基づいてスクリーン１０Cに正面動画像を投影すれば、正面動画像の画像信号ＳＤCを用いるだけで、リアルタイムに正面動画像と良好な左右の側面動画像を投影することができる。上述の説明では、側面動画像を生成するものとしたが、上面側や底面側の動画像も同様にしてリアルタイムで表示できる。なお、上述の第１の実施の形態や後述する第２および第３の実施の形態におけるレイヤ分け，閾値設定，動き検出領域の数やサイズ及び位置等は例示的なものであって限定的なものでない。例えば、動き検出領域の動きの求め方では、ブロックマッチング方法等を用いることもできる。但し、前進画像や後退画像のズーム率によっては本手法が望ましい。また、レイヤ分けにおける閾値算出は、動き情報（動き量・方向）に基づいて適宜レイヤを決定することができれば、どのような手法でも良い。
【００６５】
さらに、上述の各ブロックで行われる処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１５に示す。
【００６６】
コンピュータ３０は、図１５に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドライブ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像入出力部３１４が接続されている。
【００６７】
外部装置から命令が入力されたり、キーボードやマウス等の操作入力手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から、命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【００６８】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータ３０で実行させるための画像処理プログラムを予め記憶させて、周辺画像である側面動画像の生成を行う。
【００６９】
図１６は、第１の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。図において、ステップＳＴ１では動き検出処理を行い、画像の動き量を検出する。次にステップＳＴ２ではレイヤ化処理で画像がいずれのレイヤに属するを示すレイヤ情報を生成すると共に、レイヤ毎の動き量を算出する。ステップＳＴ３では周辺画像生成処理を行い、レイヤ情報とレイヤ毎の動き量に基づき周辺画像を合成する。
【００７０】
図１７は、図１６のステップＳＴ１の動き量検出処理を示すフローチャートである。ステップＳＴ１１では、正面動画像に対して動き検出領域を設定してステップＳＴ１２に進む。ステップＳＴ１２では、動き検出領域の画像を縮小して誤差和を算出してステップＳＴ１３に進む。ステップＳＴ１３では既に算出されている誤差和を比較して誤差和が少なくなる動き量を検出してステップＳＴ１４に進む。ステップＳＴ１４では、予め設定された範囲内の画像サイズでステップＳＴ１２，ＳＴ１３の処理が完了したか否かを判別して、完了していないときにはステップＳＴ１１に戻り、完了したときにはステップＳＴ１５に進む。ステップＳＴ１５では、誤差和が最も少なくなる動き量を動き検出領域の動き量とする。
【００７１】
図１８は、図１６のステップＳＴ２のレイヤ化処理を示すフローチャートである。ステップＳＴ２１では、ステップＳＴ１の動き量検出処理で検出された動き量を用いて統計情報、例えば平均値を算出してステップＳＴ２２に進む。ステップＳＴ２２では、統計情報に基づき、画像を例えば遠景，中景，近景にレイヤ分けするための閾値を設定する。ステップＳＴ２３では設定された閾値と動き量を比較して、動き検出領域がいずれのレイヤに属するかを示すレイヤ情報を生成する。ステップＳＴ２４では、レイヤに含まれる動き検出領域の動き量に基づきレイヤ毎の動き量を算出する。
【００７２】
図１９は、図１６のステップＳＴ３の周辺画像生成処理を示すフローチャートである。ステップＳＴ３１では、レイヤ化処理で生成されたレイヤ毎の動き量とレイヤ情報に基づき、正面動画像からレイヤ毎に画像を抽出する。ステップＳＴ３２では、抽出した各レイヤの画像を所定の位置に合成を生成する。ステップＳＴ３３では、画像の合成を行ったときに画像の無い部分が生じて、この部分の画像を補う補間処理か必要か否かを判別する。ここで、画像の無い部分が生じるときにはステップＳＴ３４に進み、画像の無い部分が生じていないときにはステップＳＴ３５に進む。ステップＳＴ３４では補間処理を行いステップＳＴ３５に進む。例えば、画像の無い部分の周辺の画像を伸長して補間する。ステップＳＴ３５では、合成された画像を投影するスクリーンの向きに合わせて幾何変換処理を行い、この幾何変換が行われた画像の画像信号をステップＳＴ３６で周辺画像の画像信号として出力する。
【００７３】
このような画像処理プログラムは、磁気や光を利用したリムーバブル記録媒体や半導体素子等を用いて構成されたリムーバブルの情報記録伝送媒体、例えばフロッピー（Ｒ）ディスクやＣＤ−ＲＯＭ等の光ディスク、ＭＯディスク等の光磁気ディスク、テープカートリッジ、あるいは半導体メモリ等に記録するものとしても良い。この場合、これらのリムーバブル情報記録伝送媒体を記録媒体ドライブ３１２に装着して画像処理プログラムを読み出し、読み出したプログラムを入出力インタフェース３０５やバス３２０を介してＲＯＭ３０２やハード・ディスク・ドライブ３０４等に記憶させることによりインストールしても良い。
【００７４】
さらに、情報記録伝送媒体は、画像処理プログラムを伝送する有線や無線の伝送路、たとえばＬＡＮやインターネット等のネットワーク、あるいは衛星放送波や地上放送波等も含まれる。この場合、情報記録伝送媒体は通信部３１３と接続されて、情報記録伝送媒体を介して伝送された画像処理プログラムは、通信部３１３や入出力インタフェース３０５およびバス３２０を介してＲＯＭ３０２やハード・ディスク・ドライブ３０４等に記憶されて画像処理プログラムのインストールが行われる。
【００７５】
ここで、画像処理プログラムの実行中に正面動画像の画像信号が画像入出力部３１４に入力されると、上述の画像処理ブロックでの処理を行い、正面動画像の画像信号に基づき側面動画像の画像信号を生成する。この生成された側面動画像の画像信号を、画像入出力部３１４から出力してプロジェクタ１２L，１２Rに供給することにより、図２に示す画像表示を行うことができる。
【００７６】
このように、上述の実施の形態によれば、１つの車載カメラなどによる撮影によって得られた少なくとも１つの拘束条件を満たす動きの画像信号ＳＤCを入力するだけで、この画像信号ＳＤCに基づく動画像に存在しない周辺画像をリアルタイムで提示できるので、臨場感の高い多方向の画像提示が可能となる。
【００７７】
また、元々無い部分の画像を入力画像に基づいて創り出すため、無い部分の画像を得るために多数のカメラや特殊なカメラを用いる必要がなく、低コストであると共に表示範囲が広く奥行感のある画像を得ることができる。
【００７８】
さらに、実写画像を用いて画像を創り出すので、よりリアルな画像提示が可能となり、コンピュータグラフィクスで仮想空間を創るように３次元空間を再構築するものでないので、非常に簡単な処理で入力画像と異なる投影面の画像を得ることができる。
【００７９】
また、現存する莫大な画像ソースに対しても、それが少なくとも１つの拘束条件を満たす動きの画像であれば、上述の処理を行うことで、両側面や上下面の画像を入力された画像と同時に提示することができ、より臨場感が高く、広範囲な映像を表現することができる。
【００８０】
ところで、上述の画像処理装置１５Ａは、正面動画像の動き方向が一点から放射方向であるという拘束条件を加えることで、正面動画像と左側面動画像と右側面動画像を入力された画像信号ＳＤCに基づいてリアルタイムに表示するものとした。しかし、蓄積されて自由に読み出し可能な画像信号ＳＤCを用いるものとすれば、上述のような拘束条件を加えることなく、画像信号ＳＤCに基づいて正面動画像と左側面動画像と右側面動画像を表示させることができる。
【００８１】
このような処理を行う画像処理装置１５Ｂは、この蓄積されている例えば車載カメラ等で撮影した正面動画像の画像信号ＳＤCをプロジェクタ１２Cに供給して、画像信号ＳＤCに基づく正面動画像を図２に示す正面に位置するスクリーン１０Cに表示させる。また、画像処理装置１５Ｂは、蓄積されている正面動画像の画像信号ＳＤCに基づき、車載カメラの視野範囲に含まれていない画角の周辺画像を示す画像信号、例えば正面動画像と連続する左右の側面動画像を示す画像信号である周辺画像信号ＳＤL，ＳＤRを生成するための中間画像情報を生成して蓄積させる。スクリーン１０Cで正面動画像を表示する際には、蓄積させた中間画像情報を用いて正面動画像と連続する側面動画像の周辺画像信号ＳＤL，ＳＤRを生成して、周辺画像信号ＳＤLをプロジェクタ１２Lに供給すると共に周辺画像信号ＳＤRをプロジェクタ１２Rに供給する。このため、左側に位置するスクリーン１０Lに正面動画像と連続性を有する左側面動画像が表示されると共に、右側に位置するスクリーン１０Rに正面動画像と連続性を有する右側面動画像が表示されて、広画角の画像提示を行うことができる。なお、画像信号ＳＤCや中間画像情報の蓄積は画像処理装置１５Ｂで行っても良く、外部記憶手段に蓄積させるものとしても良い。
【００８２】
次に、この発明の第２の実施の形態として、画像処理装置１５Ｂで画像信号ＳＤCや中間画像情報を蓄積する場合について説明する。図２０は、画像処理装置１５Ｂの概略構成を示している。この画像処理装置１５Ｂは、蓄積された画像信号ＳＤCを用いて正面動画像と左側面動画像と右側面動画像を表示できるものである。画像信号ＳＤCは、蓄積部５０の正面動画像信号蓄積領域５１に蓄積されており、動き検出ブロック４０の遅延部４１と動き検出部４２およびレイヤ化処理ブロック４５の情報生成部４７に供給されるものである。
【００８３】
遅延部４１は、画像信号ＳＤCを１フレーム遅延させて画像信号ＳＤCaとして動き検出部４２に供給する。動き検出部４２は、正面動画像の側端側に、図２１の破線で示すように区切られた複数の動き検出領域を設定して、この動き検出領域の注目フレームの画像信号ＳＤCと１フレーム前の画像信号ＳＤCaとの比較を動き検出領域毎に行い、画像の動きを示す動きベクトルＭＶＥを動き検出領域毎に判別してレイヤ化処理ブロック４５のレイヤ分類部４６に供給する。
【００８４】
レイヤ分類部４６は、各動き検出領域の動きベクトルＭＶＥに基づいて正面動画像の動きパターンを判定して、中間画像情報を生成する際のレイヤ設定を行う。例えば、レイヤ分類部４６は、離れた被写体を撮影した遠景画像のレイヤ，近接した被写体を撮影した近景画像のレイヤ，遠景画像と近景画像との間に位置する中景画像のレイヤ、およびこれらのレイヤとは異なるレイヤをどのように設けるかを判別してレイヤ設定を行う。ここで、車載カメラで正面動画像を撮影したときの正面動画像は、一方向に直進する場合、正面動画像を順次ズームインした画像となる。また、車が後退しているときには、正面動画像を順次ズームアウトした画像となる。さらに、追越し車両が撮影されたときには、ズームイン画像に追い越し車両がズームアウト画像として表示されることとなる。また、右折や左折をしたときには、例えば正面動画像の上部側が水平方向に移動されると共に下部側はズームイン画像となる。このため、レイヤ分類部４６は、各動き検出領域の動きベクトルＭＶＥに基づいて正面動画像の動きパターンを判定して、判定した動きパターンに基づいてレイヤ設定を行うものとする。例えば、一方向に直進する動きパターンでと判別されたときには、遠景，中景，近景の各画像のレイヤを生成し、右折や左折の動きパターンであると判別されたときには、遠景，中景，近景の各画像のレイヤだけでなく水平方向に移動される画像が含まれるレイヤも作成する。また、追越し車両がある動きパターンのときには、遠景，中景，近景の各画像のレイヤだけでなくズームアウト画像が含まれるレイヤも作成するようにレイヤ設定を行う。
【００８５】
また、レイヤ分類部４６は、動き検出部４２から供給された動きベクトルＭＶＥに基づき、正面動画像の側端側に設定された各動き検出領域がいずれのレイヤに属するかレイヤ分類を行う。このレイヤ分類は、動きパターンに応じて設定されたレイヤを用いて行う。例えば、レイヤ分類部４６は、遠景，中景，近景の３つのレイヤ分けすると共に、水平方向に移動される画像が含まれるレイヤやズームアウト画像が含まれるレイヤが生成されているときには、これらのレイヤも含めてレイヤ分類を行う。このレイヤ分類によって、レイヤ分類部４６は、いずれの動き検出領域がいずれのレイヤに属するかを示すレイヤ分類情報ＬＢを生成すると共に、この生成したレイヤ分類情報ＬＢを情報生成部４７に供給する。
【００８６】
情報生成部４７は、レイヤ分類部４６からのレイヤ分類情報ＬＢに基づき正面動画像に設定された各動き検出領域をレイヤ分けして、この動き検出領域の画像信号をレイヤ毎にフレーム順に用いることでレイヤ毎の中間画像信号を生成する。さらに、レイヤ分けされた動き検出領域の動きベクトルＭＶＥの動き量に基づきレイヤ毎に動き量の平均値を算出する。この情報生成部４７で生成された中間画像信号ＧＹvおよび算出したレイヤ毎の動き量（平均値）ＭＹvは、中間画像情報として蓄積部５０の中間画像情報蓄積領域５２に蓄積される。
【００８７】
スクリーン１０C，１０R，１０Lで画像を表示する場合、プロジェクタ１２Cは、蓄積されている画像信号ＳＤCに基づく画像をスクリーン１０Cに表示する。また、画像処理装置１５Ｂは、蓄積部５０に接続された周辺画像信号生成ブロック６０からの読出制御信号ＲＣによって、中間画像情報蓄積領域５２に蓄積されている中間画像情報の読み出しを行い、レイヤ毎の動き量ＭＹvに応じた分だけ各レイヤの中間画像信号ＧＹvを順次使用して、遠景，中景，近景の順に各レイヤの画像を重ね合わせることで画像合成を行う。さらに遠景，中景，近景の３つのレイヤに属しないレイヤが設けられているときには、これらのレイヤの画像合成処理等も行い、周辺画像信号ＳＤL，ＳＤRを生成する。また、画像処理装置１５Ｂは、この周辺画像信号ＳＤLを正面動画像の画像信号ＳＤCに対応させたタイミングでプロジェクタ１２Lに供給すると共に、周辺画像信号ＳＤRを正面動画像の画像信号ＳＤCに対応させたタイミングでプロジェクタ１２Rに供給する。プロジェクタ１２Lは、正面動画像と連続した左側面動画像をスクリーン１０Lに表示する。またプロジェクタ１３Rは、正面動画像と連続した右側面動画像をスクリーン１０Rに表示する。
【００８８】
次に、動き検出ブロック４０を構成する各部について詳細に説明する。なお、説明を簡単とするため、以下の説明では右側面についてのみ説明するものとし、左側面についての説明は省略する。
【００８９】
動き検出ブロック４０は、上述したように動きベクトルＭＶＥを動き検出領域毎に判別する。ここで、正面動画像に画像の移動中心がある場合、すなわち車載カメラで前方を撮影して正面動画像としたとき、図５Ａに示す時刻Ｔの画像は、例えば１フレーム時間が経過した後の時刻Ｔ’で図５Ｂに示すものとなり、画像基準位置ＣＰを中心としたズームイン動作画像と略等しくなる。
【００９０】
ここで、図５Ｃに示すように、拡大率Ｚを設定して注目フレームの動き検出領域を（１／Ｚ）に縮小すると共に、この縮小された動き検出領域の位置を移動しながら１フレーム前の画像信号との誤差和を算出する。さらに拡大率Ｚを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで注目フレーム毎に各動き検出領域の動きベクトルＭＶＥを判別できる。また、誤差和が最小値となるときの拡大率Ｚを動き量とする。
【００９１】
ところで、縮小処理を行ったときには、領域内の画素の座標値が整数値とならない画素が生ずる。一方、縮小処理が行われていない１フレーム前の画像では、領域内の画素の座標値が整数値である。このため、縮小された画像に対しては線形補間を行って、座標値が整数値となる位置の信号レベルを算出する。例えば、上述の図６に示すようにＫa×Ｋa画素の画像に対して（１／Ｚ）に縮小処理を行ったことにより画像のサイズがＫb×Ｋb画素のサイズとなったときには、線形補間を行ってＫa×Ｋa画素の信号を用いて画素数を「Ｋb×Ｋb」とした画像の信号レベルを算出する。この算出された信号レベルと、縮小された画像と対応する位置の１フレーム前の信号レベルの誤差和を算出することにより、精度良く動き量を判別できる。
【００９２】
画像基準位置ＣＰが明らかでないとき、図２２に示すように動き検出領域ＡRaの中心が位置Ｐa1から位置Ｐa2とされたときに誤差和が最小値となり、動き検出領域ＡRbの中心が位置Ｐb1から位置Ｐb2とされたときに誤差和が最小値となる場合には、動き検出領域ＡRaの動きベクトルＭＶＥのベクトル方向と動き検出領域ＡRbの動きベクトルのベクトル方向が交差する点を検出することで画像基準位置ＣＰを検出できる。
【００９３】
また、右折時や左折時には、正面動画像の例えば上部側画像が水平移動することとなる。このため、画像基準位置ＣＰを中心としてズームイン動作を行っても誤差和の最小値が検出されない場合には、動き検出領域の画像を横方向に移動させて誤差和の最小値を判別する。またこのとき、誤差和が最小値となるまでの動き検出領域の移動量を動きベクトルＭＶＥの動き量として設定することができる。
【００９４】
次に、後退時にはあたかも画像が画像基準位置ＣＰに吸い込まれてしまうように見えることから、後退時の画像は画像基準位置ＣＰを中心としたズームアウト動作画像と略等しくなる。このため、拡大率Ｚを「１」以下とする。すなわち、後退時には画像の動きが前進時とは逆となることから、前フレームの側端側に複数の動き検出領域を設定して、各動き検出領域を（１／Ｚ）に縮小すると共に、この縮小された領域の位置を移動しながら注目フレームの画像との誤差和を算出する。あるいは、注目フレームの各動き検出領域を（１／Ｚ）に縮小すると共に、この縮小された領域の位置を移動しながら１フレーム後の画像との誤差和を算出する。さらに拡大率Ｚを変化させて、同様に位置を移動しながら誤差和を算出する。このようにして誤差和が最小値となる位置を検出することで後退時の動きベクトルＭＶＥも判別できる。
【００９５】
以上のようにして動きベクトルＭＶＥの判別を行うと、遠景の画像は動きが少ないため動きベクトルＭＶＥの動き量は小さくなり、近景の画像は動きが多いため動きベクトルＭＶＥの動き量は大きくなる。
【００９６】
図２３は、動き検出部４２の構成を示しており、画像信号ＳＤCはサイズ変換部４２１に供給されると共に、遅延部４１から供給された画像信号ＳＤCaは誤差和算出部４２２に供給される。サイズ変換部４２１は、正面動画像の側端部分を複数の動き検出領域、例えば１６×１６画素サイズの単位で複数の動き検出領域に分割して動き検出領域を設定する。さらに、サイズ変換部４２１は、後述する探索制御部４２５から供給された拡大率Ｚを用いて、動き検出領域の画像を（１／Ｚ）倍した画像信号ＦＥzを生成すると共に、画像基準位置ＣＰを基準として動き検出領域の画像を（１／Ｚ）倍したことにより変換された座標値Ｑzを設定して、この画像信号ＦＥzと座標値Ｑzを誤差和算出部４２２に供給する。なお、画像信号ＦＥzは、上述の図６に示すように補間処理によって座標値を整数値に変換したときの信号であり、座標値Ｑzは補間処理によって座標値を整数値に変換したときの座標値、すなわち図６における「Ｋb×Ｋb」の画素位置である。
【００９７】
誤差和算出部４２２は、サイズ変換部４２１からの座標値Ｑzで示された位置の信号を画像信号ＳＤCaから選択する共に、この選択された信号と画像信号ＦＥzとの誤差和を算出して比較部４２３に通知する。
【００９８】
比較部４２３は、誤差和最小値と誤差和算出部４２２で算出された誤差和とを比較する。ここで誤差和最小値が設定されていないとき、比較部４２３は、最初に算出された誤差和を誤差和最小値として設定する。算出された誤差和が誤差和最小値よりも小さいとき、比較部４２３は、この誤差和を新たな誤差和最小値として設定すると共に、誤差和最小値が更新されたことをデータ格納部４２４に通知する。また、比較部４２３は、誤差和最小値と誤差和算出部４２２で算出された誤差和との比較が完了したことを信号ＥＳによって探索制御部４２５に通知する。なお、誤差和最小値は算出される誤差和よりも大きい値に予め設定しておくものとしても良い。
【００９９】
データ格納部４２４は、比較部４２３から誤差和最小値が更新されたことが通知されたとき、探索制御部４２５から通知された拡大率Ｚを記憶する。また、既に拡大率を記憶されているとき、データ格納部４２４は、記憶されている拡大率を通知された拡大率Ｚで更新する。また、探索制御部４２５から拡大率の変更処理の完了が信号ＥＲによって通知されたとき、データ格納部４２４は、記憶している拡大率を動き量とすると共に画像基準位置方向をベクトル方向とした動きベクトルＭＶＥをレイヤ分類部４６に供給する。
【０１００】
探索制御部４２５は、拡大率の下限値が「１」に設定されていると共に、上限値も予め設定されており、最初に下限値を拡大率Ｚとしてサイズ変換部４２１とデータ格納部４２４に通知する。その後、比較部４２３から誤差和最小値と誤差和算出部４２２で算出された誤差和との比較が完了したことが通知される毎に、拡大率Ｚを順次増加してサイズ変換部４２１とデータ格納部４２４に通知する。その後、拡大率Ｚが上限値に達したとき、探索制御部４２５は、拡大率の変更処理の完了をデータ格納部４２４に通知する。
【０１０１】
また、比較部４２３で得られた誤差和最小値が小さくないとき、すなわち正面動画像の側端部分と等しい画像を検出できないとき、探索制御部４２５は、拡大率Ｚを「１」としてサイズ変換部４２１に通知して、動き検出領域の画像信号ＦＥzを誤差和算出部４２２に供給させる。また、制御信号ＲＰを誤差和算出部４２２に供給して、画像信号ＦＥzの動き検出領域を水平方向に所定量移動させた位置の信号を画像信号ＳＤCaから選択させる。その後、制御信号ＲＰによって画像信号ＳＤCaから選択する位置を水平方向に移動させて誤差和最小値を判別することにより、水平方向に移動させる画像の動きベクトルＭＶＥも求めることができる。さらに、図示せずも１フレーム後の信号を誤差和算出部４２２に供給したり、１フレーム前の画像に動き検出領域を設定して注目フレームの画像の信号を誤差和算出部４２２に供給することで、画像基準位置ＣＰに吸い込まれるような画像の動き量も判別できる。
【０１０２】
このように、探索方向を画像基準位置ＣＰの方向や水平方向に移動させて、動き検出領域の画像と誤差和が最小となる他のフレームの画像位置を検出することで、動き検出領域の画像が右折や左折したときの画像、前を横切る車や人等の画像、あるいは追越し車両等の画像であっても正しく動きベクトルＭＶＥを求めることができる。
【０１０３】
レイヤ分類部４６は、各動き検出領域の動きベクトルＭＶＥに基づき正面動画像がどのような動きパターンの画像であるかを判別すると共に、判別した動きパターンに基づいてレイヤを設定して、いずれの領域がいずれのレイヤに属するするかを示すレイヤ分類情報ＬＢを情報生成部４７に供給する。
【０１０４】
図２４は、レイヤ分類部４６の構成を示している。レイヤ分類部４６の動きパターン判定部４６１は、動き検出部４２から供給された各動き検出領域の動きベクトルＭＶＥをフレーム単位で蓄積すると共に、蓄積された動きベクトルＭＶＥに基づき動きパターンを判別する。
【０１０５】
ここで、動きパターン判定部４６１は、各動き検出領域の動きベクトルＭＶＥのベクトル方向が、画像基準位置ＣＰから放射方向とされて、全て画像が画像基準位置ＣＰから沸き出すズームイン動作方向であるか否かを判別して、全て画像が画像基準位置ＣＰから沸き出すズームイン動作方向であるときには直進動作と判別する。例えば、図２５Ａの矢印で示すように動きベクトルＭＶＥのベクトル方向が画像基準位置ＣＰから放射方向とされているときには直進動作と判別する。
【０１０６】
次に、動きパターン判定部４６１は、直進動作と判別しないとき、各動き検出領域の動きベクトルＭＶＥのベクトル方向が放射方向とは逆方向であり、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であるか否かを判別する。ここで、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であるときには後退動作と判別する。例えば、図２５Ｂの矢印で示すように画像基準位置ＣＰの方向とされて、全て画像が画像基準位置ＣＰに吸い込まれるズームアウト動作方向であることを検出したときには後退動作と判別する。
【０１０７】
また、動きパターン判定部４６１は、直進動作および後退動作と判別しないとき、一部のみがズームアウト動作方向であるか否かを判別して、一部のみがズームアウト動作方向であるときには、追越し車両があると判別する。例えば、図２５Ｃに示すように左右両側端部の動き検出領域の動きがズームイン動作方向であると共に、一部のみがズームアウト動作方向であることを検出したときには追越し車両があると判別する。さらに、直進動作，後退動作および追越し車両があるものと判別しないとき、正面動画像の上部側の動き検出領域で、図２５Ｄに示すように動きベクトルＭＶＥのベクトル方向が水平方向とされているときには、ベクトル方向に応じて右折あるいは左折動作と判別する。また動き検出領域の一部で、図２５Ｅに示すように動きベクトルＭＶＥのベクトル方向が水平方向であるときには、横切り動作であると判別する。このようにして判別した動きパターンＭＰをレイヤ確定部４６２に通知する。なお、動きパターンとしては、上述のパターンだけでなく、動きの停止や後退しながら右折や左折を行うパターン等も考えられる。
【０１０８】
レイヤ確定部４６２は、動きパターン判定部４６１で判別された動きパターンＭＰに基づき、判別された動きパターンが所定のフレーム数以上連続したか否かを判別する。ここで、レイヤ確定部４６２は、動きパターンが所定のフレーム数以上連続したとき、判別された動きパターンに応じたレイヤパターン情報ＬＰを生成して分類部４６３に通知する。
【０１０９】
ここで、レイヤ確定部４６２は、前進動作のように全画面が拡大する動きパターンであることを連続して所定のフレーム数以上判別したとき、例えば遠景，中景，近景のレイヤの作成を指示するレイヤパターン情報ＬＰを生成して分類部４６３に通知する。また、レイヤ確定部４６２は、右折あるいは左折動作のように上部が水平方向に移動する動きパターンであることを連続して所定のフレーム数以上判別したとき、遠景，中景，近景のレイヤだけでなく水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報ＬＰを生成して分類部４６３に通知する。また、追越し車両や後退時のように時間と共に縮小する画像が含まれている動きパターンであることを連続して所定のフレーム数以上連続して判別したとき、遠景，中景，近景のレイヤだけでなく縮小する画像が含まれる後退レイヤの作成を指示するレイヤパターン情報ＬＰを生成する。また、横切り物体のように、一部が水平方向に移動する動きパターンであることを連続して所定のフレーム数以上判別したとき、水平方向に移動する画像が含まれるレイヤの作成を指示するレイヤパターン情報ＬＰを生成する。このように、判別された動きパターンが所定のフレーム数以上連続したときに、判別された動きパターンＭＰに応じたレイヤパターン情報ＬＰが生成されるので、動きパターンが誤って判別されたフレームが生じても、正しい動きパターンに応じたレイヤパターン情報ＬＰを生成できる。
【０１１０】
閾値設定部４６４は、所定時間範囲（例えば注目フレームの前後３０フレーム分）の動きベクトルＭＶＥを用いて、ベクトル方向が画像基準位置ＣＰから放射方向とされている動きベクトルＭＶＥの動き量の平均値Ｖavgや最大値Ｖmax，最小値Ｖminを求めると共に、この平均値Ｖavgや最大値Ｖmax，最小値Ｖminに基づき、レイヤパターン情報ＬＰで示されたレイヤに分類するための閾値Ｔｈを設定して分類部４６３に供給する。
【０１１１】
例えばレイヤパターン情報ＬＰによって遠景，中景，近景のレイヤに分けることが示された場合、閾値設定部４６４は、遠景レイヤと中景レイヤとの区分位置を示す閾値Ｔｈ-1を上述の式（１）に基づいて算出する。また中景レイヤと近景レイヤの区分位置を示す閾値Ｔｈ-2を上述の式（２）に基づいて算出する。
【０１１２】
この閾値の設定は、上述の図１０に示す場合と同様に、動き量のヒストグラムを求めて、このヒストグラムの極小値を利用して閾値Ｔｈ-1，Ｔｈ-2を求めるものとしても良い。このように、閾値Ｔｈは、動き量の分布に応じて動的に変化されるので、画像が１つのレイヤだけに分類されてしまうことがなく、動き量の分布に応じて良好にレイヤ分類を行うことができる。
【０１１３】
分類部４６３は、閾値設定部４６４からの閾値Ｔｈと動きベクトルＭＶＥの動き量に基づいて、各フレームの各動き検出領域がレイヤパターン情報ＬＰで作成が指示されたレイヤのいずれに属するかを判別してレイヤ分類を行う。また、分類部４６３は、水平方向に移動する動き検出領域やズームアウト動作方向の動き検出領域を、それぞれ対応するレイヤに割当てる。この分類部４６３での注目フレームの各動き検出領域のレイヤ分類が完了したとき、分類部４６３はレイヤ分類の結果を示すレイヤ分類情報ＬＡを生成して分類補正部４６５に供給する。
【０１１４】
分類部４６３は、例えば遠景，中景，近景の３つのレイヤを作成する際には、動き検出部４２からの動きベクトルＭＶＥを用いて、動き検出領域毎に前ｍフレーム分と後ｎフレーム分の動き量の平均値を算出する。例えば、正面動画像の右側端部に設けた動き検出領域において、動きベクトルＭＶＥの動き量が時間の経過と共に図２６Ａに示すように変化したとき（図の数字は動き量を示すものとする）、分類部４６３は、Ｆpフレームでの動き検出領域ＡR1に対して、Ｆpフレームでの動き検出領域ＡR1の動き量と、Ｆp-１〜Ｆp-mフレームの動き検出領域ＡR1の動き量と、Ｆp+１〜Ｆp+nフレームの動き検出領域ＡR1の動き量を用いて、動き量の平均値を算出する。さらに、動き検出領域ＡR1の動き量として算出された平均値と、上述のようにして設定された閾値Ｔｈ-1，Ｔｈ-2を比較することで、このＦpフレームでの動き検出領域ＡR1が遠景，中景，近景のいずれのレイヤに属するかを判別する。このように、分類部４６３は、注目フレームの動き検出領域ＡR1について、前フレームや後フレームの動き量も用いて動き量の平均値を算出して、この平均値を用いて動き検出領域ＡR1のレイヤ分けを行うので、動き検出領域ＡR1の動き量に誤りが生じても、この動き検出領域ＡR1のレイヤ分類することができる。また、被写体の大きさの差や被写体までの距離の差によってフレーム毎の動き量の変動が生じても、これらの変動の影響を防止できる。さらに、分類部４６３は、他の領域や他のフレームに対しても同様に処理することで、図２６Ｂに示すように各動き検出領域を遠景，中景，近景のいずれかのレイヤに分類して、レイヤ分類情報ＬＡを分類補正部４６５に通知する。なお図２６Ｂにおいて、クロスハッチで示す動き検出領域は近景、斜線で示す動き検出領域は中景、他の動き検出領域は遠景として分類されたことを示している。
【０１１５】
分類補正部４６５は、各動き検出領域のレイヤ分類情報ＬＡを参照して、同じレイヤに属する領域の連結数が所定の数よりも少ない領域は周囲に合わせたレイヤに補正する。例えば図２６Ｂにおいて、Ｆp+4フレームの領域ＡR4-gやＦp-2フレームの領域ＡR6-hは、同じレイヤに属する領域が連結していない。このため、分類補正部４６５は、これらの領域を図２６Ｃに示すように周囲に合わせた領域に補正して、いずれの領域がいずれのレイヤとされているかを示すレイヤ分類情報ＬＢを、情報生成部４７に供給する。
【０１１６】
また、追越し車両があるときには、レイヤは、上述の遠景，中景，近景だけでなく、図２６Ｄに示すように追い越し車両の画像が含まれる後退レイヤも生成される。ここで、追越し車両は、遠景や中景および近景の画像とは動きベクトルＭＶＥのベクトル方向が逆であることから、後退レイヤの時間軸方向は、他のレイヤとは方向を逆として生成する。
【０１１７】
図２７は情報生成部４７の構成を示している。レイヤ分類部４６から供給されたレイヤ分類情報ＬＢは、動き量平均値算出部４７１と中間画像信号生成部４７２に供給される。
【０１１８】
動き量平均値算出部４７１は、各動き検出領域の動き量を用いて、レイヤ毎の動き量の平均値をフレーム毎に算出する。例えばＦeフレームにおいて、遠景レイヤとされた動き検出領域がｎy個であるとき、動き量平均値算出部４７１は、このｎy個の動き検出領域の動き量を用いて平均値を算出して中間画像信号生成部４７２に供給すると共に、この算出した動き量ＭＹvを中間画像情報として蓄積部５０の中間画像情報蓄積領域５２に記憶させる。
【０１１９】
中間画像信号生成部４７２は、レイヤ分類部４６から供給されたレイヤ分類情報ＬＢに基づき、側端部から動き量平均値算出部４７１で算出された動き量ＭＹvに応じてレイヤ毎に画像信号ＳＤCを抽出してレイヤ毎の中間画像信号ＧＦvを生成して、中間画像信号補間部４７３に供給する。
【０１２０】
中間画像信号補間部４７３は、各レイヤの動き量ＭＹvに応じた信号量分の画像信号ＳＤCを側端部から読み出して中間画像信号を生成する。例えば中間画像信号に基づく画像は、図２８に示すものとなる。なお、図２８Ａは遠景レイヤの中間画像信号に基づく画像、図２８Ｂは中景レイヤの中間画像信号に基づく画像、図２８Ｃは近景レイヤの中間画像信号に基づく画像を示しており、斜線で塗りつぶした部分は画像の無い領域である。
【０１２１】
この中間画像信号補間部４７３は、動き量ＭＹvの異なる各レイヤの画像を遠景，中景，近景の順に重ね合わせることで画像合成を行ったときに、画像の無い領域が生ずることがないように中間画像信号ＧＦvの補正を行い、補正された信号を中間画像信号ＧＹvとして中間画像情報蓄積領域５２に記憶させる。この中間画像信号の補正は、手前のレイヤに対して全てを補間すると、奥のレイヤが隠れてしまうこととなる。したがって、中間画像信号補間部４７３は、最も奥のレイヤに対しては隙間全部を補間するものとし、中間に位置するレイヤではこのレイヤよりも手前のレイヤに属する領域によって生成された隙間に対してのみ、水平方向に隣接する信号を用いた補間処理を行い、画像の無い隙間領域の画像信号を作り出して中間画像信号に重ね合わせる。例えば、中間に位置するレイヤが図２８Ｂの中景レイヤで、手前のレイヤが図２８Ｃの近景レイヤの場合、隙間とは、中景レイヤの中の木や車の領域である。このように補間処理を行うことで、中間画像信号ＧＦvに基づいた図２８Ａに示された画像は、画像の無い部分（斜線で塗りつぶした領域）が水平方向に隣接する信号を用いて補間されて、図２９Ａに示される画像となる。同様に、中間画像信号ＧＦvに基づいた図２８Ｂに示される画像は、図２９Ｂに示されるように補正された画像となる。なお、例えば図２８Ｃに示す近景レイヤが最も手前に位置するレイヤであるとき、最も手前に位置するレイヤでは、画像の無い領域が生じないので、最も手前に位置するレイヤに対する補間処理は不要となる。そのため、図２９Ｃに示す近景レイヤは図２８Ｃと等しいものである。
【０１２２】
蓄積部５０の中間画像情報蓄積領域５２は、レイヤ化処理ブロック４５で生成されたレイヤ毎の動き量ＭＹvとレイヤ毎の中間画像信号ＧＹvとをフレーム毎に関係付けて、中間画像情報として記憶する。ここで、中間画像情報蓄積領域５２に記憶された遠景レイヤの中間画像信号は、動き量が少ないため図２９Ａに示すように画像信号の信号量は少なくなる。また近景レイヤの中間画像信号では、動き量が大きいため図２９Ｃに示すように信号量も多くなる。また中景レイヤでは図２９Ｂに示すように遠景と中景の中間である信号量となる。なお、後退レイヤでは、動き方向が逆であることから後退レイヤの中間画像信号では、図２９Ａ〜図２９Ｃとはフレーム方向が逆となる。
【０１２３】
この中間画像情報蓄積領域５２は、レイヤパターン情報ＬＰに基づいて水平移動レイヤを作成するものと指示されたとき、動きベクトルの方向が水平方向とされている動き検出領域の画像信号を、この水平移動レイヤの中間画像信号に設定する。ここで、水平方向に移動する画像は、正面動画像から外に移動する画像と中に入り込む画像が生じる。例えば、右折時には、正面動画像の右側端部から画像が入り込み左側端部から画像が出ていく。このため、外に移動する画像の水平移動レイヤは遠景レイヤ等と時間軸方向を等しくする。また、中に入り込む画像の水平移動レイヤは後退レイヤと同様に、遠景レイヤ等とは時間軸方向を逆方向とする。
【０１２４】
このようにして、中間画像情報蓄積領域５２は、遠景，中景，近景の各レイヤの中間画像信号と後退レイヤや水平移動レイヤの中間画像信号を動き量に応じて生成して記憶する。また、各レイヤの動き量も上述のように合わせて記憶する。
【０１２５】
次に、蓄積部５０の中間画像情報蓄積領域５２に記憶された中間画像情報を用いて右側面の画像の周辺画像信号ＳＤRを生成する場合について説明する。
【０１２６】
周辺画像信号ＳＤRを生成する場合、周辺画像信号生成ブロック６０は、中間画像情報蓄積領域５２から中間画像情報として記憶されている動き量ＭＹvを読み出して、レイヤ毎の中間画像信号ＧＹvの信号読み出し量を動き量ＭＹvに基づいて決定する。さらに、この動き量ＭＹvに応じた信号量の中間画像信号をレイヤ毎に使用して、遠景レイヤ，中景レイヤ、近景レイヤの順に重ね合わせることで画像合成を行う。また、遠景，中景，近景のレイヤとは異なるレイヤが設けられているときには、このレイヤの画像合成処理も行い、周辺画像信号ＳＤRを生成できる。この生成した周辺画像信号ＳＤRを正面動画像の画像信号ＳＤCの出力タイミングに合わせてプロジェクタ１２Rに供給することで、正面動画像だけでなく右側面の画像も連続的に表示させることができる。
【０１２７】
図３０は、中間画像情報蓄積領域５２に記憶されている中間画像情報を読み出して周辺画像信号を生成する周辺画像信号生成ブロック６０の構成を示している。周辺画像信号生成ブロック６０の画像生成制御部６１は、中間画像情報蓄積領域５２に中間画像情報として記憶されているレイヤ毎の動き量ＭＹvをフレーム順に読み出して、この読み出した動き量ＭＹvに基づきレイヤ毎の中間画像信号の読み出し量を判別する。また、画像生成制御部６１は、判別した読み出し量に基づいて、中間画像情報蓄積領域５２から中間画像信号ＧＹvをレイヤ毎に読み出して、信号抽出部６２に設けられているレイヤ毎の合成部６２１-1〜６２１-5に供給する。
【０１２８】
ここで、右左折時に水平方向に移動する水平移動レイヤの中間画像信号は合成部６２１-1に供給する。また、遠景レイヤの中間画像信号は合成部６２１-2に供給すると共に、中景レイヤの中間画像信号および近景レイヤの中間画像信号は合成部６２１-3，６２１-4に供給する。さらに追越し車両の画像が含まれる後退レイヤの中間画像信号は合成部６２１-5に供給する。
【０１２９】
合成部６２１-1には、後述する画像シフト部６２３-1が接続されており、この合成部６２１-1は、画像シフト部６２３-1から供給された画像信号に、中間画像情報蓄積領域５２から読み出した対応するレイヤの画像信号を重ね合わせることで画像合成を行う。この合成部６２１-1によって画像合成が行われて得られた水平移動レイヤの画像信号は、遅延部６２２-1と画像信号生成部４４の遠景合成部６４１に供給される。
【０１３０】
遅延部６２２-1は、合成部６２１-1から供給された画像信号を１フレーム分だけ遅延させて画像シフト部６２３-1に供給する。画像シフト部６２３-1は、遅延部６２２-1から供給された画像信号に基づく画像を、画像生成制御部６１から供給された水平移動レイヤの動き量ＭＹvに基づいて水平方向に移動させる。さらにこの水平方向に移動させた画像の画像信号を合成部６２１-1に供給する。合成部６２１-1は、この水平方向に移動された画像に対して、中間画像情報蓄積領域５２から各レイヤの動き量ＭＹv分だけ読み出した中間画像信号ＧＹvに基づく画像を重ね合わせることで画像合成を行い、順次画像が移動する画像信号を生成する。
【０１３１】
同様に、遅延部６２２-2〜６２２-5は１フレーム分遅延された画像信号を生成すると共に、画像シフト部６２３-2〜６２３-5は、この１フレーム分遅延された画像信号を画像生成制御部６１から供給された各レイヤの動き量ＭＹvに基づいて水平方向に移動させる。さらに、合成部６２１-2〜６２１-5は、この水平方向に移動された画像に対して、中間画像情報蓄積領域５２から各レイヤの動き量分だけ読み出した中間画像信号ＧＹvに基づく画像を重ね合わせることで画像合成を行い、順次画像が移動する画像信号をレイヤ毎に生成する。
【０１３２】
また、中間画像信号は、正面動画像信号から読み出した信号であるので、この中間画像信号に基づく画像は、スクリーン１０Cと同じ面上の画像となる。しかし、周辺画像を表示するスクリーン１０Rは正面のスクリーン１０Cに対して傾きを持って設けられている。このため、遠景，中景，近景レイヤや後退レイヤのように、動きベクトルの方向が画像基準位置ＣＰの方向あるいは逆方向であるレイヤの画像信号を用いて、各レイヤの画像を重ね合わせることで画像合成を行い周辺画像信号ＳＤRを生成して画像表示を行うものとすると、スクリーン１０Rに表示される画像は、スクリーン１０Cに対するスクリーン１０Rの傾きによって正しい形状とならない。このため、動きベクトルの方向が画像基準位置ＣＰの方向あるいは逆方向であるレイヤの画像信号は、射影変換部６３の各変換部６３１〜６３４に供給して、この各レイヤの画像をスクリーン１０L，１０Rに表示したときに、動きベクトルＭＶＥのベクトル方向に画像が正しく移動するように射影変換を行う。また、水平移動レイヤの画像は、動きベクトルＭＶＥのベクトル方向が水平方向であるため、遠景，中景，近景レイヤ，後退レイヤのような射影変換は行わないものとする。
【０１３３】
射影変換部６３の変換部６３１〜６３４は、合成部６２１-2〜６２１-5から供給された画像信号に対して、画像がスクリーン１０Rの向きに対応した形状となるように射影変換を行う。ここで、正面動画像から画像を順次読み出すと、読み出した画像の表示面１０CRとスクリーン１０Rは、上述の図１４Ａおよび図１４Ｂに示すように同一面でないため、正面動画像から読み出した画像をスクリーン１０Rに表示したときには、表示面１０CRの画像をそのままスクリーン１０Rの面上に投射したものとなり、正しい形状とならない。
【０１３４】
このため、変換部６３１〜６３４は、画像の垂直方向に対してズームインあるいはズームアウトの中心Ｃzmから距離に比例した拡大率で拡大すると共に、画像の水平方向に対してその速度がズームインあるいはズームアウトの中心Ｃzmからの距離に比例するような拡大率で拡大する射影変換を行う。この処理は、上述したように、正面画面端からそのまま読み出した画像の位置（ｘ，ｙ）と右側面動画像上に正しく画像表示できるように変換処理した後の位置（Ｘ，Ｙ）が、垂直方向については上述の式（５）の関係となり、水平方向については上述の式（４）の関係となる。このため、図１４Ｄに示すように、スクリーン１０R上の（Ｘ，Ｙ）の画像信号は、式（５），式（６）を満たす位置（ｘ，ｙ）の信号を用いることで、図１４Ｅに示すようにスクリーン１０R上に正しく右側面動画像を表示できる。
【０１３５】
この変換部６３１で得られた射影変換後の遠景レイヤの画像信号は、画像信号合成部６４の遠景合成部６４１に供給される。また、変換部６３２で得られた射影変換後の中景レイヤの画像信号は中景合成部６４２に供給されると共に、変換部６３３で得られた射影変換後の近景レイヤの画像信号は近景合成部６４３に供給される。さらに、変換部６３４で得られた後退レイヤの画像信号は縮小画合成部６４４に供給される。
【０１３６】
遠景合成部６４１は、合成部６２１と変換部６３１から供給された画像信号に基づいて、水平移動レイヤの画像に遠景レイヤの画像を重ね合わることで画像合成を行い画像信号を生成して中景合成部６４２に供給する。
【０１３７】
中景合成部６４２は、変換部６３２と遠景合成部６４１から供給された画像信号に基づいて、遠景レイヤの画像が重ね合わされた画像に中景レイヤの画像を重ね合わせることで画像合成を行い画像信号を生成して近景合成部６４３に供給する。
【０１３８】
近景合成部６４３は、変換部６３３と中景合成部６４２から供給された画像信号に基づいて、中景レイヤの画像が重ね合わされた画像に近景レイヤの画像を重ね合わせることで画像合成を行い画像信号を生成して縮小画合成部６４４に供給する。
【０１３９】
縮小画合成部６４４は、変換部６３４と近景合成部６４３から供給された画像信号に基づいて、近景レイヤの画像が重ね合わされた画像に、時間と共に画像が縮小する後退レイヤの画像を重ね合わせることで画像合成を行い画像信号を生成する。この縮小画合成部６４４で生成された画像信号は、水平移動レイヤから縮小レイヤまでの各レイヤを重ね合わせる画像合成が行われた側面動画像の画像信号となる。
【０１４０】
このため、周辺画像信号生成ブロック６０は、縮小画合成部６４４で生成された画像信号を周辺画像信号ＳＤRとしてプロジェクタ１２Rに供給することで、プロジェクタ１２Rによって正面動画像と連続した右側面の画像をスクリーン１０Rに表示することができる。
【０１４１】
また、中間画像情報蓄積領域５２に記憶された中間画像信号に対して、画像の無い部分を補間する処理が行われていないとき、あるいは縮小画合成部６４４で生成された画像信号に画像の無い部分が生ずるとき、図示せずも画像信号合成部６４に補間部を設けて、補間部は画像の無い部分と隣接する領域でどのようなレイヤの画像が重ね合わされたかを判別して、奥行きの深いレイヤの画像を用いて補間処理を行うものとする。例えば、中景レイヤと近景レイヤの画像が重ね合わされている領域と水平方向に隣接する部分で画像の無い部分が生じてとき、補間部は、奥行きの深い中景レイヤの画像を用いて補間処理を行うことで、画像の欠落のない良好な周辺画像信号ＳＤRを生成できる。
【０１４２】
また、周辺画像信号生成ブロック６０は、周辺画像信号ＳＤRと同様にして周辺画像信号ＳＤLを生成してプロジェクタ１２Lに供給することで、プロジェクタ１２Lによって正面動画像と連続した左側面の画像をスクリーン１０Lに表示することができる。
【０１４３】
さらに、蓄積部５０は、中間画像情報を蓄積するものであり、この中間画像情報は動き量とレイヤ毎の中間画像信号である。このため、蓄積部５０に蓄積する情報量は、周辺画像の画像信号を蓄積する場合に比べて少なくなる。また、画像処理装置１５Ｂは、大容量の記録媒体等を用いることなく広画角での画像表示を行うことができる。
【０１４４】
さらに、上述の各ブロックで行われる処理はソフトウェアで実現するものとしても良い。この場合の構成は上述の図１５と同様であり説明は省略する。
【０１４５】
図３１は、第２の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。図において、ステップＳＴ４１では動き検出処理を行い、画像の動きベクトルを検出する。次にステップＳＴ４２では中間画像情報生成処理で動きベクトルに基づきレイヤ毎、例えば遠景レイヤ，中景レイヤ，近景レイヤ毎の画像情報と各レイヤの動き量を示す中間画像情報を生成する。ステップＳＴ４３では、周辺画像生成処理を行い、中間画像情報に基づき周辺画像を合成する。
【０１４６】
図３２は、図３１のステップＳＴ４１の動き検出処理を示すフローチャートである。ステップＳＴ５１では、正面動画像に対して動き検出領域を設定してステップＳＴ５２に進む。ステップＳＴ５２では、動き検出領域の画像の縮小や位置の変更を行い誤差和を算出しステップＳＴ５３に進む。ステップＳＴ５３では既に算出されている誤差和を比較して誤差和が少なくなる画像位置を検出してステップＳＴ５４に進む。ステップＳＴ５４では、予め設定された画像サイズや位置の範囲内での検討が完了したか否かを判別して、完了していないときにはステップＳＴ５１に戻り、完了したときにはステップＳＴ５５に進む。ステップＳＴ５５では、誤差和が最も少なくなる画像位置に基づき動き検出領域の動きを示す動きベクトルを決定する。
【０１４７】
図３３は、図３１のステップＳＴ４２の中間画像情報生成処理を示すフローチャートである。ステップＳＴ６１では、ステップＳＴ４１の動き検出処理で検出された動きベクトルに基づき動きパターン、例えば直進動作であるか後退動作であるかあるいは右折や左折動作等のいずれの動きパターンであるかを判別して、どのようなレイヤを設けるかを示すレイヤパターン情報を生成する。ステップＳＴ６２では、判別された動きパターンは、画面全体が拡大動きであるか否かを判別する。ここで拡大動きであるときにはステップＳＴ６３に進み、拡大動きでないときにはステップＳＴ６５に進む。ステップＳＴ６３では、動きベクトルの動き量を用いて統計情報、例えば平均値を算出してステップＳＴ６４に進む。ステップＳＴ６４では、統計情報に基づき、画像を例えば遠景，中景，近景にレイヤ分けするための閾値を設定する。ステップＳＴ６５では設定された閾値と動き量を比較して、動き検出領域がいずれのレイヤに属するかを示すレイヤ情報を生成する。また、画面全体が拡大動きでないときには、動き検出領域を動きパターンに応じたレイヤとしてレイヤ情報を生成する。
【０１４８】
ステップＳＴ６６では、レイヤに含まれる動き検出領域の動き量に基づきレイヤ毎の動き量を算出する。ステップＳＴ６７ではレイヤ情報とレイヤ毎の動き量に基づき、正面動画像からレイヤ毎に画像を抽出して中間画像を生成する。ステップＳＴ６８では、中間画像で孤立領域があるか否かを判別して、孤立領域があるときにはステップＳＴ６９に進み孤立領域がないときにはステップＳＴ７０に進む。ステップＳＴ６９では、補間処理を行い孤立領域を除去してステップＳＴ７０に進む。ステップＳＴ７０では孤立領域の無いレイヤ毎の中間画像とレイヤ毎の動き量を中間画像情報を生成する。
【０１４９】
図３４は、図３１のステップＳＴ４３の周辺画像生成処理を示すフローチャートである。ステップＳＴ８１では、中間画像情報で示されたレイヤ毎の動き量に基づいて、各レイヤ毎の中間画像からレイヤ毎に画像を抽出する。ステップＳＴ８２では、抽出した各レイヤの画像を所定の位置に合成を生成する。ステップＳＴ８３では、画像の合成を行ったときに画像の無い部分が生じて、この部分の画像を補う補間処理か必要か否かを判別する。ここで、画像の無い部分が生じるときにはステップＳＴ８４に進み、画像の無い部分が生じていないときにはステップＳＴ８５に進む。ステップＳＴ８４では補間処理を行いステップＳＴ８５に進む。例えば、画像の無い部分の周辺の画像を伸長して補間する。ステップＳＴ８５では、合成された画像を投影するスクリーンの向きに合わせて幾何変換処理を行い、この幾何変換が行われた画像の画像信号をステップＳＴ８６で周辺画像の画像信号として出力する。
【０１５０】
このような画像処理プログラムは、上述したようにリムーバブルの情報記録伝送媒体に記録したり、情報記録伝送媒体を介して伝送するものとしても良い。
【０１５１】
また、上述の第２の実施の形態において、画像処理プログラムが実行されて中間画像情報の生成が行われたときには、この中間画像情報が例えばハード・ディスク・ドライブ３０４あるいは記録媒体ドライブ３１２に装着された記録媒体に記録される。さらに、周辺画像の画像信号の出力が要求されたときには、中間画像情報が読み出されて左右側面動画像の周辺画像信号ＳＤL，ＳＤRが生成されると共に、この周辺画像信号ＳＤL，ＳＤRが正面動画像の画像信号ＳＤCとタイミングを合わせて出力される。このため、正面と左右のスクリーンを用いて、広画角の連続した画像を表示することができる。
【０１５２】
ところで、上述の第２の実施の形態は、正面動画像の側端側に設けた動き検出領域の動きベクトルＭＶＥに基づいて、遠景，中景，近景等の画像のレイヤ分けや動き量の判別等を行い、中間画像情報を生成して中間画像情報蓄積領域５２に記憶させると共に、周辺画像を表示させる際には、中間画像情報蓄積領域５２に蓄積されている中間画像情報を用いて、各レイヤの動き量ＭＹvに応じて中間画像信号ＧＹvを読み出して画像の重ね合わせを行うことで周辺画像信号を生成するものとした。しかし、周辺画像信号は、動きベクトルＭＶＥを用いることなく生成することもできる。
【０１５３】
次にこの発明の第３の実施の形態の画像処理装置について説明する。この画像処理装置１５Ｃは、動きベクトルＭＶＥを用いることなく周辺画像信号を生成するものである。
【０１５４】
画像処理装置１５Ｃは、幾何変換によって正面動画像に基づき側面方向の射影画像を生成し、この射影画像を積分処理して積分画像を生成すると共に、この積分画像を用いて画像のレイヤ分けを行い、レイヤ毎の動き量ＭＹsやレイヤ毎の中間画像信号を生成して、中間画像情報として中間画像情報蓄積領域５２に記憶させる。
【０１５５】
図３５は、画像処理装置１５Ｃの構成を示している。正面動画像の画像信号ＳＤCは、幾何変換部７１に供給される。幾何変換部７１は、正面動画像の画像信号ＳＤCを用いて正面動画像を進行方向の面である射影面に表示した画像の射影画像信号ＳＤPを幾何変換処理によって生成する。この幾何変換部７１によって生成された射影画像信号ＳＤPは、動き検出ブロック７２の動き判別画像生成部７３と積分画像生成部７４およびレイヤ化処理ブロック８０の情報生成部８２に供給される。
【０１５６】
動き判別画像生成部７３は、幾何変換部７１より供給された射影画像信号ＳＤPを用いて、フレーム毎に正面動画像と接する端部側から所定範囲の射影画像信号ＳＤPを抽出して順次重ね合わせることで画像合成を行うことにより動き判別画像信号ＳＭＤを生成する。この動き判別画像信号ＳＭＤは、動き判別部７５に供給される。
【０１５７】
積分画像生成部７４は、水平方向に位置をずらしながらｍsフレーム分の射影画像信号ＳＤPを足し込んで平均化することにより１つの積分画像信号を生成する。また、ｎs個の異なる位置のずらし量でｎs個の積分画像信号を生成する。この積分画像生成部７４で生成したｎs個の積分画像信号ＳＡは動き判別部７５に供給される。
【０１５８】
動き判別部７５は、ｎs個の積分画像信号ＳＡと動き判別画像信号ＳＭＤとを比較し、そして、動き判別画像信号ＳＭＤに基づく画像とマッチングする積分画像信号ＳＡに基づく画像を検出する。さらに動き判別部７５は、その検出結果に基づき注目フレームの所定位置の動き量を判別する。ここで、積分画像は、位置のずらし量と画像の移動量が一致したときに、この被写体が画像として現れるものである。また、積分画像は、ずらし量を異なるものとしてｎs個だけ生成されているので、ｎs個の移動量の異なる画像を積分画像信号ＳＡによって示すものとなる。このため、動き判別部７５は、ｎs個の積分画像信号ＳＡと動き判別画像信号ＳＭＤとの相関を判別して、この判別結果に基づき、動き判別画像を構成する被写体の移動量すなわち注目フレームの所定位置の動き量を判別する。ここで、被写体の画像が遠景であるとき、移動量は小さい。また、被写体の画像が近景であるとき、移動量は大きい。すなわち、この移動量は被写体の画像の奥行きを示すものである。このようにして、動き判別部７５は、射影画像の各位置の動き量を判別すると共に、判別結果を示す動き量情報ＭＦを生成してレイヤ化処理ブロック８０のレイヤ分類部８１と情報生成部８２に供給する。
【０１５９】
レイヤ分類部８１は、供給された動き量情報ＭＦに基づき、注目フレームの所定位置が複数レイヤのいずれに属するかを示すレイヤ分類情報ＬＢを生成して情報生成部８２に供給する。
【０１６０】
情報生成部８２は、各レイヤにおいて、フレーム毎に前後のフレームの移動量を用いて平均値を求めて、各レイヤの該当フレームの動き量ＭＹsとして蓄積部５０の中間画像情報蓄積領域５２に供給する。また、情報生成部８２は、求めたレイヤ毎の動き量ＭＹsと、レイヤ分類部８１から供給されたレイヤ分類情報ＬＢに基づき、幾何変換部７１より供給された画像信号ＳＤPをレイヤ毎に分類して中間画像信号ＧＦsを生成する。すなわち、情報生成部８２は、動き量分だけ画像信号を水平方向に読み出して該当するレイヤ毎に順次重ね合わせることで画像合成を行うことにより、図２８と同様なレイヤ毎の中間画像信号ＧＦsを生成する。
【０１６１】
また、遠景レイヤや中景レイヤおよび近景レイヤの画像の動き方向を基準としたとき、後退レイヤの動き方向は逆方向となる。このため、情報生成部８２は、動き量の絶対値分だけ正面動画像と接する端部側から射影面画像信号を読み込み左右反転を行って重ね合わせることで画像合成を行うことで、後退レイヤの中間画像信号を生成する。
【０１６２】
さらに、情報生成部８２は、作成したレイヤ毎の中間画像信号ＧＦsに対して、画像の無い領域が生じないように補間処理を行って画像の無い部分の埋め込みを行う。この情報生成部８２で補間処理を行うことにより得られたレイヤ毎の中間画像信号ＧＹsは、各レイヤの動き量ＭＹsと関係付けられて中間画像情報として中間画像情報蓄積領域５２に記憶される。
【０１６３】
周辺画像信号生成ブロック６０は、中間画像情報を中間画像情報蓄積領域５２から読み出して、上述と同様に処理することで、右側面動画像の周辺画像信号を生成できる。
【０１６４】
次に各ブロック等について詳細に説明する。図３６は幾何変換部７１での幾何変換処理を説明するための図である。この図３６において、位置Ｏは正面動画像ＵCの撮影位置である。理想的には、撮影位置と視聴者の位置は同じとするのが良い。ここでは、撮影位置と視聴者の位置は同じと考える。幾何変換部７１は、正面動画像の位置ｐの画像を進行方向と平行な射影面ＦＩ上の位置ｑに射影して、正面動画像に基づいて射影画像ＵIを生成する。ここで、射影面上の進行方向の位置ｘbと正面動画像上の水平位置Ｘbの関係は、式（７）に示すものとなる。また、射影面上の高さ方向の位置ｙbと正面動画像上の垂直位置Ｙbの関係は、式（８）に示すものとなる。
【０１６５】
【数４】
0003823818.tif 000005
【０１６６】
なお、式（７）（８）において、「θg」は正面動画像の水平画角を半分とした角度を示しており、正面動画像を撮影したカメラの水平画角が明らかであるときには、この水平画角の半分の角度を「θg」とする。また、カメラの水平画角が明らかでないときには、使用したレンズの焦点距離に応じて予め設定された値を用いるものとする。「ｄ」は正面動画像の水平方向の長さ（画枠の水平方向の長さ）を１／２にした値である。
【０１６７】
このように式（７）（８）を用いることで、幾何変換部７１は、正面動画像の各フレームの画像信号に基づいて左右の射影画像の画像信号をフレーム単位で生成できる。また、入力画像が車載前進系の正面動画像の場合、左右の射影画像は側方画像となっており、この射影画像の動き量は車速に比例する。また、この射影画像の動き量は奥行きに反比例するものである。そのため、射影画像が遠景の画像であって奥行きが大きいとき、動き量は小さくなる。また、射影画像が近景の画像であって奥行きが小さいとき、動き量は大きくなる。射影画像の大きさは、後の各処理に対して十分な大きさがあれば良い。例えば、提示する周辺画像と同じ大きさが良い。
【０１６８】
図３７は、動き判別画像生成部７３の動作を説明するための図である。動き判別画像生成部７３は、図３７Ａに示すように、フレーム毎に射影面画像の正面動画像側端部（右側射影面画像では右側端部）から水平方向に所定画素数ｗａ（例えば４画素）の幅で画像信号を切り出すと共に、この切り出した画像信号を図３７Ｂに示すようにフレーム順に所定フレーム分だけ重ね合わせることで画像合成を行い動き判別画像Ｕpの動き判別画像信号ＳＭＤを生成する。なお、動き判別画像Ｕpは、被写体の動き量が水平方向にｗａ画素／フレームで、画像信号の切り出し画素数ｗａと等しいとき（図３７では家）、被写体の画像は不連続点を有しない連続した画像となる。画像信号の切り出しよりも動きの遅い被写体（図３７では山）の画像は、繰り返し切り出される部分が生じるため切り出された画像信号の繋ぎ部分で画像の不連続を生じる。また、画像信号の切り出しよりも動きの速い被写体の画像（図３７では木）は、動きが速いために切り出されない部分が生じて繋ぎ部分で画像の不連続を生じる。
【０１６９】
積分画像生成部７４は、動き判別画像の各画素の動き量を判別するために用いる積分画像信号ＳＡを生成する。ここで図３８を用いて動き量の判別動作の原理について説明する。例えば右方向に移動する被写体Ｊaと被写体Ｊaの２倍の速度で右方向に移動する被写体Ｊbを撮影すると、撮影画像は図３８Ａに示すものとなる。ここで、最初のフレームＦ1に対して次のフレームＦ2の画像を被写体Ｊaの移動方向とは逆方向で被写体Ｊaの画素量ｄｘだけシフトさせる。また、次のフレームＦ3の画像も同様に、フレームＦ2に対して被写体Ｊaの移動方向とは逆方向で被写体Ｊaの画素量ｄｘだけシフトさせる。このように、各フレーム間で一定量ずつシフトした各フレームの画像を加算して平均化した平均値画像Ｕmを用いると、被写体Ｊaの位置が一定であると共に被写体Ｊbの位置は移動するので、被写体Ｊbの画像信号の信号レベルは被写体Ｊaに比べて小さいものとなり、図３８Ｃに示すように平均値画像Ｕmによって被写体Ｊaのみを抽出できる。
【０１７０】
また、図３８Ｄに示すように、各フレームの画像のずらし量を２倍（２ｄｘ）として平均値画像Ｕmを生成したとき、被写体Ｊbの位置は一定となると共に被写体Ｊaの位置は移動するので、図３８Ｅに示すように平均値画像Ｕmによって被写体Ｊbのみを抽出できる。
【０１７１】
このように、各フレームの画像を所定量だけ移動させて加算して平均化することにより得られた平均値画像を生成すると共に、この各フレームの画像のずらし量を変えて複数の平均値画像を生成する。そうすると、いずれの平均値画像で被写体が正しく表示されたかを判別することで、１つの画像に動き量の異なる被写体が含まれていても、平均値画像を用いて各被写体の動き量を判別できる。ここで、積分画像生成部７４は、動き判別画像生成部７３と同様に、複数の平均値画像に基づいてフレーム毎に水平方向に所定画素数の画像信号を切り出して積分画像を生成すると共に、この積分画像と動き判別画像を比較して、動き判別画像を構成する被写体と等しい画像がいずれの積分画像に現れたかを判別して、各フレームの所定位置の動き量を判別する。
【０１７２】
図３９は、積分画像生成部７４の構成を示す図である。幾何変換部７１から供給された射影画像信号ＳＤPは積分画像生成部７４の加算処理部７４１-1〜７４１-nsに供給される。
【０１７３】
加算処理部７４１-1は、予め設定された画素数ＳＨ-1だけ前フレームよりも水平方向に移動させた射影面画像信号を、ｍsフレーム分（例えば１０フレーム分）加算して加算信号を順次算出する。さらに、加算処理部７４１-1は、この加算信号を１／ｍ倍して平均値画像の画像信号を領域選択部７４２-1に供給する。
【０１７４】
領域選択部７４２-1は、供給された平均値画像の画像信号よりフレーム毎に正面動画像側端部（右側射影面画像では右側端部）より水平方向に所定画素数分ｗｂの画像信号を切り出して、この切り出した画像信号を順次重ね合わせることにより積分画像信号ＳＡ-1として動き判別部７５に出力する。この領域選択部７４２-1から出力された積分画像信号ＳＡ-1は、予め設定された画素数ＳＨ-1の動き量の被写体を示した画像信号となる。
【０１７５】
加算処理部７４１-2〜７４１-nsも加算処理部７４１-1と同様に、予め設定された画素数ＳＨ-2〜ＳＨ-nsだけ前フレームよりも水平方向に移動させた射影面画像信号を、ｍsフレーム分加算して加算信号を順次算出して、この加算信号を１／ｍ倍して平均化したのち領域選択部７４２-2〜７４２-nsに供給する。さらに、領域選択部７４２-2〜７４２-nsは、供給された画像信号より所定画素数分ｗｂの信号を切り出して順次重ね合わせて積分画像信号として動き判別部７５に出力する。この領域選択部７４２-2〜７４２-nsから出力された積分画像信号ＳＡ-2〜ＳＡ-nsは、それぞれ予め設定された画素数ＳＨ-2〜ＳＨ-3の動き量の被写体を示した画像信号となる。
【０１７６】
ここで、動き判別画像生成部７３と積分画像生成部７４の領域選択部７４２で切り出す画素数を等しいものとすると（ｗａ＝ｗｂ）、動き判別画像と積分画像における被写体の位置の整合性をとることができる。
【０１７７】
図４０は積分画像生成部７４の動作を示す図である。積分画像生成部７４は、画像ずらし量を画素数ＳＨ-rとしたとき、図４０Ａに示すようにフレーム毎に画像を画素数ＳＨ-r（＜ｗｂ）だけ移動して足し込む。このとき、足し込んだ画像は、図４０Ｂに示すように山の画像を示すものとなる。また、画像ずらし量を画素数ＳＨ-rよりも多い画素数ＳＨ-s（＝ｗｂ）としたとき、図４０Ｃに示すようにフレーム毎に画像を画素数ＳＨ-sだけ移動して足し込む。このとき、足し込んだ画像は、図４０Ｄに示すように山よりも動き量の大きい家の画像を示すものとなる。また、画像ずらし量を画素数ＳＨ-sよりも多い画素数ＳＨ-t（＞ｗｂ）としたとき、図４０Ｅに示すようにフレーム毎に画像を画素数ＳＨ-tだけ移動して足し込む。このとき、足し込んだ画像は、図４０Ｆに示すように山よりも動き量の大きい家の画像を示すものとなる。
【０１７８】
ここで、積分画像生成部７４は、動き判別画像生成部７３で動き判別画像を生成する際に最初に切り出しを行ったフレームＦaを基準として切り出しを開始すると共に、動き判別画像と等しい切り出し量（ｗａ＝ｗｂ）で同じフレーム数だけ画像の切り出しを行い積分画像を生成する。このとき、積分画像と動き判別画像は、水平方向の画像の長さが等しくなると共に被写体の位相が積分画像と動き判別画像とで一致する。
【０１７９】
また、動き判別画像は、切り出し量と動き量が等しくないとき被写体が不連続な形状となるが、積分画像も同様に、画素数ＳＨ-rが画素数ｗｂよりも少ないときには、画像の切り出しが重なりを持って行われる。このため、積分画像Ｕb-rは図４０Ｇに示すように、動き量に応じた不連続な画像となる。また、画素数ＳＨ-ｓが画素数ｗｂと等しいとき、積分画像Ｕb-sは図４０Ｈのように動き量に応じた連続した画像となる。さらに、画素数ＳＨ-tが画素数ｗｂよりも多いときには画像の切り出しで欠落部分が生じて、積分画像Ｕb-tは図４０Ｊのように動き量に応じた不連続な画像となる。このため、次に述べる動き判別部７５は、動き判別画像と積分画像のマッチングを行い、マッチングすると判別された積分画像の画像ずらし量である画素数ＳＨに基づいて、被写体の動き量を判別する。
【０１８０】
動き判別部７５は、動き判別画像の各画素と各画像ずらし量の積分画像との相関値を求めて、この相関値に基づき、動き判別画像の各画素がいずれの積分画像と等しいか判別して、判別結果に基づき動き判別画像の各画素の動き量を判別する。
【０１８１】
相関値の算出では、画像Ａの画素と画像Ｂとの相関値を算出する際に、画像Ａの注目画素（相関値を算出する画素）を中心とした所定範囲を設定して、この所定範囲の画像信号を用いて注目画素の相関値を求める。例えば注目画素を中心としてｘ方向に±ｍvc画素、ｙ方向に±ｎvc画素の矩形状範囲（注目画素を中心とした例えば水平３１画素，垂直５画素の矩形状範囲）を設定し、式（９）に基づいて相関値ＶＣを算出する。
【０１８２】
【数５】
0003823818.tif 000006
【０１８３】
なお、式（９）において、画像Ａの矩形状範囲内における各画素の信号レベルをＤＡｉ（ｉ＝１〜(ｍvc×ｎvc)）、画像Ｂの矩形状範囲内における各画素の信号レベルをＤＢｉ（ｉ＝１〜(ｍvc×ｎvc)）とし、矩形状範囲内における各画素の信号レベルの平均値をＤＡav，ＤＢavとする。
【０１８４】
例えば、動き判別部７５は、式（９）に基づいて図４１Ａに示す動き判別画像における山の画像が図４１Ｂに示す積分画像とマッチングするものと判別したとき、この山の画像を構成する各画素の動き量が画素数ＳＨ-rに対応した動き量であると判別する。また、図４１Ａに示す動き判別画像におけるの家の画像が図４１Ｃに示す積分画像とマッチングするものと判別したとき、この家の画像を構成する各画素の動き量が画素数ＳＨ-sに対応した動き量であると判別する。さらに、図４１Ａに示す動き判別画像おける木の画像が図４１Ｄに示す積分画像とマッチングするものと判別したとき、この木の画像を構成する各画素の動き量が画素数ＳＨ-tに対応した動き量であると判別する。このように動き判別部７５は、各画素に対して動き量を判別すると共に、この判別結果を示す動き量情報ＭＦを生成してレイヤ分類部８１と情報生成部８２に供給する。
【０１８５】
なお、図示せずも、積分画像生成部７４は、画像のずらし方向を図４１Ｂ，図４１Ｃ，図４１Ｄとは逆方向も含むように設定（例えば画像のずらし量ＳＨを４８画素〜−２４画素に設定）することで、木や家や山の画像に対して逆方向に移動する追越し車両等の画像を抽出できる。また、動き方向が遠景レイヤ等とは逆方向の画像の動き量を判別するため、図４２Ａに示すように、各フレームの画像より画像の切り出しを行い、この画像を左右反転してから重ね合わせることにより図４２Ｂに示す動き判別画像Ｕpを生成する。この場合、図４２Ｂに示す動き判別画像Ｕpでは、追越し車両のように動き方向が逆方向の画像が、遠景や中景および近景レイヤと同様な向きで正しく表示される。なお図４２Ｃは画像の左右反転を行わないで重ね合わせた場合の動き判別画像Ｕpである。このように、画像のずらし方向を逆方向とした積分画像の画像信号と、切り出した画像を反転させて重ね合わせることにより生成された動き判別画像の画像信号ＳＭＤを、基準となるフレームから順次比較することで、逆方向に移動する被写体の動き量を判別できる。
【０１８６】
レイヤ分類部８１は、動き量情報ＭＦに基づいて動き判別画像の各画素を奥行き方向にレイヤ化する。例えば、奥行きを予め遠景，中景，近景の３層と逆方向の動きを持つ層の４層にレイヤ化するものとして、各画素がいずれのレイヤに属するかレイヤ分類を行う。
【０１８７】
このレイヤ分類部８１は、上述の閾値設定部４６４と同様にして閾値を設定すると共に、この閾値と各画素の動き量を比較して、各画素がいずれのレイヤに属するか判別して各画素に対応するレイヤ分類情報ＬＢを生成する。この生成されたレイヤ分類情報ＬＢは情報生成部８２に供給される。
【０１８８】
図４３は、情報生成部８２の構成を示している。情報生成部８２の動き量平均値算出部８２１は、動き判別部７５からの動き量情報ＭＦとレイヤ分類部８１から供給されたレイヤ分類情報ＬＢに基づき、それぞれのレイヤにおいて、注目フレーム毎に前後ｎzフレームの動き量の平均値を求め、そのレイヤの注目フレームの速度とする。この算出した各レイヤのフレーム毎の動き量ＭＹsは、中間画像信号生成部８２２に供給されると共に中間画像情報蓄積領域５２に記憶される。
【０１８９】
中間画像信号生成部８２２は、レイヤ分類情報ＬＢに基づき、射影画像の画像信号ＳＤPから動き量平均値算出部８２１で算出された動き量ＭＹsに応じてレイヤ毎に信号を抽出して、レイヤ毎の中間画像信号ＧＦsを生成する。この中間画像信号ＧＦsは、中間画像信号補間部８２３に供給される。このとき、遠景レイヤの動き量は小さく近景レイヤの動き量は大きいので上述の図２８と同様に、遠景レイヤの中間画像は水平方向の長さが短く、近景レイヤの中間画像では長くなる。また、後退レイヤでは動きが逆方向であるので、中間画像信号生成部８２２は、動き量の絶対値分だけ側面動画像から画像を読み込み左右反転して重ね合わせていくことで、後退レイヤの中間画像を作成する。
【０１９０】
中間画像信号補間部８２３は、中間画像信号補間部４７３と同様に、動き量ＭＹsの異なる各レイヤの画像を遠景，中景，近景の順に重ね合わせることで画像合成を行っても、動き量の違いにかかわらず画像のない領域が生ずることがないように中間画像信号ＧＦsの補正を行い、補正された信号を中間画像信号ＧＹsとして中間画像情報蓄積領域５２に記憶させる。
【０１９１】
また、中間画像信号補間部８２３は、追越し車両等の後退レイヤがあるとき、この後退レイヤが近景レイヤの手前のレイヤであるので補間処理を行わないものとする。また、右左折時に遠景に現れる建物等を示す水平移動レイヤが設けられているときには、遠景レイヤと同様に補間処理を行う。なお、後退レイヤや水平移動レイヤの被写体の判別は、右側射影画像と左側射影画像の動き判別画像の動き方向に基づいて図２５の場合と同様に動きパターンを判別して、判別された動きパターンに基づいて判別できる。例えば左側画像の画面上部と右側画像の画面上部での動きが異なる方向を示しているときには右折あるいは左折動作中であることを判別できる。また、左側画像と右側画像の画面上部の動きが同じ方向を示しており、これらとは逆方向の動きである被写体は、後退レイヤと判別できる。
【０１９２】
次に、各レイヤの中間画像情報を用いて周辺画像を生成する動作について説明する。この周辺画像の生成は、上述の周辺画像信号生成ブロック６０と同様にして、周辺画像信号を生成できる。すなわち、各レイヤの画像をその動き量分だけ読み出すと共に、遠景レイヤ、中景レイヤ、近景レイヤの順に重ね合わせることで画像合成を行う。また水平移動レイヤや後退レイヤが設定されているときにも周辺画像信号生成ブロック６０と同様にして、周辺画像信号を生成できる。
【０１９３】
また、画像の合成では、例えば周辺画像として右側面動画像を生成するときには、各レイヤの同一フレーム部分が、生成する右側面動画像の左端で重なるように重ね合わせることで画像合成を行う。また、最初に正面動画像を変換して得た射影画像の右端と、生成した側面動画像の左端が等しくなるようにする。その後、レイヤ毎に、レイヤ毎の動き量に基づいて画像を移動させて、この移動された画像に次の画像をレイヤ毎に重ね合わせることで画像合成を行い、図４４に示すように射影面画像ＵＩと連続する側面の画像ＵRIを生成することができる。
【０１９４】
ところで、中間画像情報を用いてレイヤ毎の中間画像を重ね合わせて生成された画像は、図４５に示すように射影面ＦＩと等しい面上の画像である。一方周辺画像が表示されるスクリーン１０Rは、射影面ＦＩとは傾きを持って設置されている。このため、各レイヤの画像を重ね合わせることで画像合成を行ってスクリーン１０Rに表示させたとき、画像が正しい形状で移動するように画像の変換処理を行う。
【０１９５】
ここで、図４５に示すように、正面動画像ＵCの水平方向の長さの１／２を距離ｄとし、正面動画像の撮影位置である位置Ｏが、スクリーン１０Rの中心からの法線上となるようにスクリーン１０Rを傾けて設置した場合を考える。この場合、スクリーン１０R上の位置（Ｘc，Ｙc）の画像信号は、式（１０）（１１）に基づいて算出された変換前の画像ＵRI上の位置（ｘc，ｙc）の画像信号を抽出すれば、射影変換後の右側面動画像の周辺画像信号ＳＤRを容易に生成できる。また、この周辺画像信号ＳＤRを用いてスクリーン１０Rに右側面動画像を表示させることで、臨場感の高い右側面動画像を表示できる。
【０１９６】
【数６】
0003823818.tif 000007
【０１９７】
なお、周辺画像信号ＳＤLも周辺画像信号ＳＤRと同様にして生成できることは勿論である。
【０１９８】
さらに、上述の各ブロックで行われる処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合は、上述の図１５に示す構成とする。
【０１９９】
図４６は、第３の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。図において、ステップＳＴ９１では動き検出処理を行い、射影面画像を生成して、射影面画像の画素毎の動き量を検出する。次にステップＳＴ９２では動き量に基づき画素のレイヤ分けを行い、各レイヤの動き量を示す中間画像情報を生成する。ステップＳＴ９３では、周辺画像生成処理を行い、中間画像情報に基づき周辺画像を合成する。
【０２００】
図４７は、図４６のステップＳＴ９１の動き検出処理を示すフローチャートである。ステップＳＴ１０１では、幾何変換よって正面動画像に基づいて側面の射影画像を作成する。ステップＳＴ１０２では、射影画像に基づいて動き量毎の積分画像を作成すると共に、射影画像からの画像の切り出しを行って切出画像を作成する。ステップＳＴ１０３では、動き量毎の積分画像と切出画像のマッチングを行う。ステップＳＴ１０４では、マッチングの結果に基づき最も相関値の高い積分画像を検出することで画素毎の動き量を決定する。
【０２０１】
図４８は、図４６のステップＳＴ９２の中間画像情報生成処理を示すフローチャートである。ステップＳＴ１１１では、ステップＳＴ１０１の動き検出処理で検出された画素の動き量に基づき、動き量の統計量を算出する。ステップＳＴ１１２では、統計量に基づきレイヤ分けを行うための閾値を設定する。ステップＳＴ１１３では、設定された閾値と動き量を比較して、射影画像の各画素がいずれのレイヤに属するかを示すレイヤ分類情報を生成する。ステップＳＴ１１４では、レイヤに含まれる画素の動き量に基づきレイヤ毎の動き量を算出する。ステップＳＴ１１５ではレイヤ分類情報とレイヤ毎の動き量に基づき、射影画像からレイヤ毎に画像を抽出して中間画像を生成する。ステップＳＴ１１６では、中間画像で孤立領域があるか否かを判別して、孤立領域があるときにはステップＳＴ１１７に進み孤立領域がないときにはステップＳＴ１１８に進む。ステップＳＴ１１７では、補間処理を行い孤立領域を除去してステップＳＴ１１８に進む。ステップＳＴ１１８では孤立領域の無いレイヤ毎の中間画像とレイヤ毎の動き量を中間画像情報を生成する。
【０２０２】
図４９は、図４６のステップＳＴ９３の周辺画像生成処理を示すフローチャートである。ステップＳＴ１２１では、中間画像情報で示されたレイヤ毎の動き量に基づいて、各レイヤ毎の中間画像を用いてレイヤ毎に画像を抽出する。ステップＳＴ１２２では、抽出した各レイヤの画像を所定の位置に合成を生成する。ステップＳＴ１２３では、画像の合成を行ったときに画像の無い部分が生じて、この部分の画像を補う補間処理か必要か否かを判別する。ここで、画像の無い部分が生じるときにはステップＳＴ１２４に進み、画像の無い部分が生じていないときにはステップＳＴ１２５に進む。ステップＳＴ１２４では補間処理を行いステップＳＴ１２５に進む。例えば、画像の無い部分の周辺の画像を伸長して補間する。ステップＳＴ１２５では、合成された画像が射影面と等しい面上の画像であるので画像を投影するスクリーンの向きに合わせて画像変換処理を行い、この画像変換が行われた画像信号をステップＳＴ１２６で周辺画像の画像信号として出力する。
【０２０３】
このような画像処理プログラムは、上述したようにリムーバブルの情報記録伝送媒体に記録したり、情報記録伝送媒体を介して伝送するものとしても良い。
【０２０４】
また、上述の第３の実施の形態において、画像処理プログラムが実行されて中間画像情報の生成が行われたときには、この中間画像情報が例えばハード・ディスク・ドライブ３０４あるいは記録媒体ドライブ３１２に装着された記録媒体に記録される。さらに、周辺画像の画像信号の出力が要求されたときには、中間画像情報が読み出されて左右側面動画像の周辺画像信号ＳＤL，ＳＤRが生成されると共に、この周辺画像信号ＳＤL，ＳＤRが正面動画像の画像信号ＳＤCとタイミングを合わせて出力される。このため、正面と左右のスクリーンを用いて、広画角の連続した画像を表示することができる。
【０２０５】
なお、上述の各実施の形態は、車載カメラで得られた画像信号を用いて周辺画像の画像信号を生成する場合について説明したが、画像信号は動く船の上から撮影した風景動画像や人が歩きながら撮影した動画像の画像信号を用いるものとしても、同様に処理することで周辺画像の画像信号を生成できる。
【０２０６】
このように、上述の第１〜第３の実施の形態によれば、正面動画像の動きを判別して、この判別された動きに基づいて異方向の周辺画像を生成できる。このため、ビデオカメラ等で撮影された正面動画像に基づき同時系列で異方向の動画像を生成できるので、臨場感が高く広画角である多画面の画像提示ができる。
【０２０７】
また、１つの入力画像に基づき異方向の画像を生成できるので、複数のビデオカメラや広角レンズを用いたカメラ等を用いる必要がなく、撮影を容易に行うことができる。
【０２０８】
さらに、実写画像を用いて異方向の画像を生成するものであるため、コンピュータグラフィックスによる３次元仮想空間の画像よりもリアルで臨場感の高い画像を表示させることができると共に、奥行きを２次元平面の階層として表現するため、３次元の演算処理が不要となり、信号処理も容易である。
【０２０９】
また、画像処理装置やコンピュータは、入力画像信号として蓄積されている信号を用いることで、時間の経過と共に正面動画像内に入り込む画像を、正面動画像で表示される前に周辺画像で表示することができる。このようにリアルタイムの画像信号を用いたときには表示することができない画像を周辺画像として表示することができるので、より現実的で臨場感の高い広画角の画像表示を行うことができる。また、既に存在している莫大な画像ソースをこの発明の画像処理装置や画像信号生成方法を実行するコンピュータに入力することで、これらの画像を臨場感が高く広画角で楽しむこともできる。
【０２１０】
なお、上述の実施の形態は、正面動画像の側端部に複数の動き検出領域を設けて動き検出領域毎に動きベクトルを求めたり、射影画像を用いて動き判別画像を生成して積分画像と比較することにより、注目フレームの所定位置の動きを判別して中間画像情報を生成し、この中間画像情報を利用して周辺画像信号を生成したが、動き検出は、注目フレームの所定位置の動きを判別できるものであれば良いことは勿論である。
【０２１１】
【発明の効果】
この発明によれば、複数フレームの入力画像信号を用いて、この入力画像信号に基づく画像内における所定領域の動きを検出し、この検出した動きと複数フレームの入力画像信号に基づいて、注目フレームと同一時間であると共に、注目フレームの画像と画角の異なる周辺動画像の画像信号が生成される。このため、多数のカメラや特殊なカメラを用いることなく、表示範囲が広く奥行感のある画像を低コストで得ることができる。
【０２１２】
また、画像端部領域に複数の動き検出領域が設定されて、動き検出領域毎に動きが検出されるので、入力画像信号に基づく基準動画像に遠景や近景等の被写体が含まれていても、それぞれの被写体の動きを検出できる。さらに、画像の動きが所定位置を中心とした放射方向であるとの拘束条件を満たすときには、所定位置を中心として画像をズームさせながら前画面の画像との誤差値を算出することで動きを容易に判別できる。
【０２１３】
また、動きの検出結果に基づき、画像端部領域がレイヤ分けされてレイヤ毎に画面順序に応じた信号処理が行われるので、基準動画像に遠景や近景等の被写体が含まれていても、それぞれの被写体に応じた信号処理が行われて奥行感のある正しい周辺動画像の画像信号を生成できる。
【０２１４】
さらに、レイヤ毎の画像を貼り付けたときに隙間領域が生じたときには、隙間部分の画像の画像信号が補間処理によって生成されるので、良好な側面動画像の画像信号を生成できる。また、周辺動画像の投影面の向きに応じた信号変換処理が行われることから、奥行感のある周辺動画像をリアルに表示できる。
【図面の簡単な説明】
【図１】表示システムの構成を示す図である。
【図２】画像投影状態を示す図である。
【図３】第１の実施の形態の画像処理装置の構成を示す図である。
【図４】動き検出領域の設定を説明するための図である。
【図５】動き量の算出方法を説明するための図である。
【図６】ズーム時の領域サイズの変化を示す図である。
【図７】動き量算出ブロックの構成を示す図である。
【図８】各動き検出領域の動き量を示す図である。
【図９】レイヤ化処理ブロックの構成を示す図である。
【図１０】閾値の設定を説明するための図である。
【図１１】周辺画像信号生成ブロックの構成を示す図である。
【図１２】右側面動画像の生成動作を説明するための図である。
【図１３】隙間領域の発生と補間処理を説明するための図である。
【図１４】画像変換処理を説明するための図である。
【図１５】コンピュータを用いた構成を示す図である。
【図１６】第１の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。
【図１７】第１の実施の形態での動き検出を示すフローチャートである。
【図１８】第１の実施の形態でのレイヤ化処理を示すフローチャートである。
【図１９】第１の実施の形態での周辺画像信号生成を示すフローチャートである。
【図２０】第２の実施の形態の画像処理装置の構成を示す図である。
【図２１】各動き検出領域の動きベクトルを示す図である。
【図２２】画像基準位置の判別方法を示す図である。
【図２３】動き検出部の構成を示す図である。
【図２４】レイヤ分類部の構成を示す図である。
【図２５】ベクトル方向と動きパターンの関係を説明するための図である。
【図２６】レイヤ分類情報の生成動作を説明するための図である。
【図２７】情報生成部の構成を示す図である。
【図２８】レイヤ毎の中間画像を示す図である。
【図２９】補間処理後のレイヤ毎の中間画像を示す図である。
【図３０】周辺画像信号生成ブロックの構成を示す図である。
【図３１】第２の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。
【図３２】第２の実施の形態での動き検出を示すフローチャートである。
【図３３】第２の実施の形態でのレイヤ化処理を示すフローチャートである。
【図３４】第２の実施の形態での周辺画像信号生成を示すフローチャートである。
【図３５】第３の実施の形態の画像処理装置の構成を示す図である。
【図３６】幾何変換処理を説明するための図である。
【図３７】動き判別画像生成部の動作を説明するための図である。
【図３８】動き量の判別動作の原理を説明するための図である。
【図３９】積分画像生成部の構成を示す図である。
【図４０】積分画像生成部の動作を説明するための図である。
【図４１】動き量判別部の動作を説明するための図である。
【図４２】後退レイヤの動き判別画像の生成動作を説明するための図である。
【図４３】情報生成部の構成を示す図である。
【図４４】射影面画像と生成した側面動画像を示す図である。
【図４５】画像変換処理を説明するための図である。
【図４６】第３の実施の形態における画像処理プログラムの全体構成を示すフローチャートである。
【図４７】第３の実施の形態での動き検出処理を示すフローチャートである。
【図４８】第３の実施の形態でのレイヤ化処理を示すフローチャートである。
【図４９】第３の実施の形態での周辺画像信号生成を示すフローチャートである。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、１５Ａ，１５Ｂ，１５Ｃ・・・画像処理装置、１６，２６，４１，２２４、６２２-1〜６２２-5・・・遅延部、２０，４０・・・動き量算出ブロック、２２，４５，８０・・・レイヤ分割処理ブロック、２４，６０，７２・・・周辺画像信号生成ブロック、３０・・・コンピュータ、４２・・・動き検出部、４４・・・画像信号生成部、４６・・・レイヤ分類部、４７・・・情報生成部、５０・・・蓄積部、５１・・・正面動画像信号蓄積領域、５２・・・中間画像情報蓄積領域、６１・・・画像生成制御部、６２・・・信号抽出部、６３・・・射影変換部、６４・・・画像信号合成部、７１・・・幾何変換部、７３・・・判別画像生成部、７４・・・積分画像生成部、７５・・・動き判別部、８１・・・レイヤ分類部、８２・・・情報生成部、２０１・・・サイズ変更部、２０２，４２２・・・誤差和算出部、２０３，４２３・・・比較部、２０４，４２４・・・データ格納部、２０５・・・拡大率設定部、２２１・・・統計情報算出部、２２２・・・レイヤ分割閾値設定部、２２３・・・レイヤ判定部、２２５・・・レイヤ移動量算出部、２４１・・・信号抽出部、２４２，２４３，２４４・・・加算部、２４５・・・画像シフト部、２４６・・・補間部、２４７・・・中景貼り付け部、２４８・・・近景貼り付け部、２４９・・・画像変換部、４２１・・・サイズ変換部、４２５・・・探索制御部、４６１・・・パターン判定部、４６２・・・レイヤ確定部、４６３・・・分類部、４６４・・・閾値設定部、４６５・・・分類補正部、４７１，８２１・・・動き量平均値算出部、４７２，８２２・・・中間画像信号生成部、４７３，８２３・・・中間画像信号補間部、６２１-1〜６２１-5・・・合成部、６２３-1〜６２３-5・・・画像シフト部、６３１〜６３４・・・変換部、６４１・・・遠景合成部、６４２・・・中景合成部、６４３・・・近景合成部、６４４・・・縮小画合成部、７４１-1〜７４１-ns・・・加算処理部、７４２-1〜７４２-ns・・・領域選択部
【図１】
0003823818.tif 000008
【図２】
0003823818.tif 000009
【図３】
0003823818.tif 000010
【図４】
0003823818.tif 000011
【図５】
0003823818.tif 000012
【図６】
0003823818.tif 000013
【図７】
0003823818.tif 000014
【図８】
0003823818.tif 000015
【図９】
0003823818.tif 000016
【図１０】
0003823818.tif 000017
【図１１】
0003823818.tif 000018
【図１２】
0003823818.tif 000019
【図１３】
0003823818.tif 000020
【図１４】
0003823818.tif 000021
【図１５】
0003823818.tif 000022
【図１６】
0003823818.tif 000023
【図１７】
0003823818.tif 000024
【図１８】
0003823818.tif 000025
【図１９】
0003823818.tif 000026
【図２０】
0003823818.tif 000027
【図２１】
0003823818.tif 000028
【図２２】
0003823818.tif 000029
【図２３】
0003823818.tif 000030
【図２４】
0003823818.tif 000031
【図２５】
0003823818.tif 000032
【図２６】
0003823818.tif 000033
【図２７】
0003823818.tif 000034
【図２８】
0003823818.tif 000035
【図２９】
0003823818.tif 000036
【図３０】
0003823818.tif 000037
【図３１】
0003823818.tif 000038
【図３２】
0003823818.tif 000039
【図３３】
0003823818.tif 000040
【図３４】
0003823818.tif 000041
【図３５】
0003823818.tif 000042
【図３６】
0003823818.tif 000043
【図３７】
0003823818.tif 000044
【図３８】
0003823818.tif 000045
【図３９】
0003823818.tif 000046
【図４０】
0003823818.tif 000047
【図４１】
0003823818.tif 000048
【図４２】
0003823818.tif 000049
【図４３】
0003823818.tif 000050
【図４４】
0003823818.tif 000051
【図４５】
0003823818.tif 000052
【図４６】
0003823818.tif 000053
【図４７】
0003823818.tif 000054
【図４８】
0003823818.tif 000055
【図４９】
0003823818.tif 000056