(57)【要約】【課題】臨場感が高く理解しやすい画像表示を行う。【解決手段】入力画像の画像信号に基づいて入力画像のシーン切り替えを検出する。検出されたシーンＣＮ１〜ＣＮ４を表示する際に、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する。画像表示領域がスクリーン１０Ｌ，１０Ｃ，１０Ｒで構成されているとき、シーンＣＮ１をスクリーン１０Ｌに表示する。またシーンＣＮ２をスクリーン１０Ｃに表示する。このとき、シーンＣＮ１の最後の画像を静止画として引き続き表示する。シーンＣＮ３をスクリーン１０Ｒに表示するときには、シーンＣＮ１，ＣＮ２を静止画として表示する。シーンＣＮ２とシーンＣＮ４が関連シーンであるときには、シーンＣＮ４をシーンＣＮ２の位置に表示する。【選択図】　　　　図２
2004015549.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するシーンチェンジ検出手段と、
前記シーンチェンジ検出手段での検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する表示位置制御手段と、
前記表示位置制御手段で設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させる表示制御手段とを有する
ことを特徴とする画像処理装置。
【請求項２】
前記表示制御手段では、前記静止画として前記シーン切り替え前の複数シーンの画像を表示するものとし、
前記表示位置制御手段は、前記シーン切り替え後の画像と前記複数の静止画とのと差分を検出して、該差分の最も小さい静止画の画像表示位置を前記シーン切り替え後の画像表示位置に設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記表示位置制御手段は、シーン間の相関値を算出する相関値算出手段と、
前記相関値に基づいて関連するシーンを判別する関連シーン判別手段とを有し、
前記シーン切り替え後の画像表示位置を、関連するシーンの画像表示位置に設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像信号に基づいて前記入力画像の動きを検出する動き検出手段を設け、
前記表示位置手段では、前記静止画が表示されていない表示領域にシーン切り替え後の最初の画像の画像表示位置を設定すると共に、その後前記動き検出手段での動き検出結果に基づいて画像表示位置を移動させる
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記表示位置手段では、前記静止画が表示されていない表示領域の中央に、前記シーン切り替え後の最初の画像の画像表示位置を設定する
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記表示位置制御手段は、
前記動き検出結果をシーン内で累積する動き累積手段と、
前記静止画が表示されていない表示領域の大きさを判別する領域判別手段を有し、
前記シーン切り替え後の最初の画像の画像表示位置は、前記動き累積手段で得られた動き累積結果と前記領域判別手段で得られた領域判別結果に基づいて設定する
ことを特徴とする請求項４記載の画像処理装置。
【請求項７】
前記表示位置制御手段は、
前記シーン切り替え後の画像の画像表示位置を前記動き検出結果に基づいて移動させたとき、前記静止画が表示されていない表示領域を前記入力画像が越えてしまうと前記動き累積結果と前記領域判別結果に基づいて判別されたとき、前記入力画像が前記静止画が表示されていない表示領域を超えないように、画像表示位置の移動を補正する移動補正手段を有する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出し、
前記シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定し、
前記設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させる
ことを特徴とする画像処理方法。
【請求項９】
前記静止画として、前記シーン切り替え前の複数シーンの画像を表示するものとし、
前記シーン切り替え後の画像と前記複数の静止画とのと差分を検出して、該差分の最も小さい静止画の画像表示位置を前記シーン切り替え後の画像表示位置に設定する
ことを特徴とする請求項８記載の画像処理方法。
【請求項１０】
シーン間の相関値を算出し、
前記相関値に基づいて関連するシーンを判別し、
前記シーン切り替え後の画像表示位置を、関連するシーンの画像表示位置に設定する
ことを特徴とする請求項８記載の画像処理方法。
【請求項１１】
前記画像信号に基づいて前記入力画像の動きを検出し、
前記静止画が表示されていない表示領域にシーン切り替え後の最初の画像の画像表示位置を設定すると共に、その後前記動き検出結果に基づいて画像表示位置を移動させる
ことを特徴とする請求項８記載の画像処理方法。
【請求項１２】
前記静止画が表示されていない表示領域の中央に、前記シーン切り替え後の最初の画像の画像表示位置を設定する
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１３】
前記シーン切り替え後の最初の画像の画像表示位置は、前記動き検出結果をシーン内で累積した動き累積結果と、前記静止画が表示されていない表示領域の大きさを判別した領域判別結果に基づいて設定する
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１４】
前記シーン切り替え後の画像の画像表示位置を前記動き検出結果に基づいて移動させたとき、前記静止画が表示されていない表示領域を前記入力画像が越えてしまうと前記動き累積結果と前記領域判別結果に基づいて判別されたとき、前記入力画像が前記静止画が表示されていない表示領域を越えないように、画像表示位置の移動を補正する
ことを特徴とする請求項１３記載の画像処理方法。
【請求項１５】
コンピュータに、
入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する手順と、
前記シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する手順と、
前記設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させる手順を
実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置と画像処理方法及び画像処理プログラムに関する。詳しくは、入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出し、シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定し、設定された位置に、シーン切り替え後の画像を表示させると共に、シーン切り替え前の画像を静止画として合わせて表示させるものである。
【０００２】
【従来の技術】
従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、１つの固定された画枠が用いられており、この画枠に合わせた画像サイズで画像提示が行われている。
【０００３】
また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００４】
さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。このような多画面表示システム等では、画枠を広げて広画角の画像表示を行うことにより、臨場感を高めるものである。
【０００５】
【発明が解決しようとする課題】
ところで、このように固定された画枠に順次画像を表示する場合、表示画像でのシーンの切り替えを正しく把握しないと、放送番組や映画等の内容を簡単に理解することが困難な場合が生じてしまう。また、シーン切り替えが繰り返し行われると、各シーンの関連性を把握することも困難となる。さらに、前のシーンの画像を見ていないと、次のシーンの内容を理解することが出来ない場合も考えられる。
【０００６】
そこで、この発明では、臨場感が高く理解しやすい画像表示を行うことができる画像処理装置と画像処理方法及び画像処理プログラムを提供するものである。
【０００７】
【課題を解決するための手段】
この発明に係る画像処理装置は、入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出するシーンチェンジ検出手段と、前記シーンチェンジ検出手段での検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する表示位置制御手段と、前記表示位置制御手段で設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させる表示制御手段とを有するものである。
【０００８】
また、画像処理方法は、入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出し、前記シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定し、前記設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させるものである。
【０００９】
また、画像処理プログラムは、コンピュータに、入力画像の画像信号に基づいて前記入力画像のシーン切り替えを検出する手順と、前記シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置をシーン切り替え前の画像表示位置と異なる位置に設定する手順と、前記設定された位置に、前記シーン切り替え後の画像を表示させると共に、前記シーン切り替え前の画像を静止画として合わせて表示させる手順を実行させるものである。
【００１０】
この発明においては、入力画像の画像信号に基づいて入力画像のシーン切り替えが検出される。ここで、シーン切り替えが検出されたときには、シーン切り替え前の画像を静止画として表示すると共に、シーン切り替え前の画像表示位置と異なる位置、例えばシーン切り替え前の複数シーンの画像が静止画として表示されているときには、シーン切り替え後の画像との差分が最も小さい静止画の画像表示位置がシーン切り替え後の画像表示位置に設定される。あるいは、シーン間の相関値を算出して、この相関値に基づいて関連するシーンが判別されて、シーン切り替え後の画像表示位置が関連するシーンの画像表示位置に設定される。
【００１１】
また、画像信号に基づいて入力画像の動きが検出されて、静止画が表示されていない表示領域にシーン切り替え後の最初の画像の画像表示位置が設定されるとと共に、その後動き検出結果に基づいて画像表示位置が移動される。ここで、シーン切り替え後の最初の画像の画像表示位置は、例えば静止画が表示されていない表示領域の中央に設定される。あるいは、動き検出結果をシーン内で累積した動き累積結果と、静止画が表示されていない表示領域の大きさを判別した領域判別結果に基づき、次のシーンを表示する際の表示領域が大きくなるように設定される。また、画像表示位置を動き検出結果に基づいて移動させても、静止画が表示されていない表示領域を入力画像が越えてしまうことが無いように画像表示位置の移動が行われる。
【００１２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における画像処理装置を用いた画像表示システムの全体構成を示している。この画像表示システムは、複数の表示領域例えば３つのスクリーンをユーザの前面と両側面側に配置して、１つの画像表示領域を構成する。また、各スクリーン１０Ｌ，１０Ｃ，１０Ｒに対応させて、プロジェクタ１２Ｌ，１２Ｃ，１２Ｒを設けている。プロジェクタ１２Ｌは、画像処理装置２０からの出力信号ＳＤＬに基づいてスクリーン１０Ｌに画像を投影する。同様に、プロジェクタ１２Ｃ，１２Ｒは、画像処理装置２０からの出力信号ＳＤＣ，ＳＤＲに基づいてスクリーン１０Ｃ，１０Ｒに画像を投影する。
【００１３】
画像処理装置２０は、入力画像の画像信号ＳＤｉｎに基づいてシーンチェンジ検出を行うことによりシーン切り替えを判別して、判別結果に基づきシーン毎に画像表示位置を切り替える。また、画像表示位置を切り替える場合、内容が同一であるシーンや内容が連続しているシーン（以下「関連シーン」という）は、関連シーン間に存在する他のシーンの数が少ないとき、関連シーンであることを容易に把握できるよう等しい位置に表示する。
【００１４】
図２は、画像表示動作を示している。入力画像のシーンが例えば図２Ａに示す順番とされており、シーン２とシーン４は関連シーンである。この場合、図２Ｂに示すように、例えばシーンＣＮ１の画像をスクリーン１０Ｌに表示する。次のシーンＣＮ２の画像はスクリーン１０Ｃに表示すると共に、シーンＣＮ３の画像はスクリーン１０Ｒに表示する。シーンＣＮ４はシーンＣＮ２と関連するシーンであることから、シーンＣＮ２の画像が表示されているスクリーン１０ＣにシーンＣＮ４の画像を表示する。また、各シーンＣＮの最後の画像を、次のシーンが表示されるまで静止画として表示する。
【００１５】
ここで、上述のように、シーン毎に表示位置を切り替える場合、画像処理装置２０は、リアルタイム処理あるいはオフライン処理で表示位置の切り換えを行う。リアルタイム処理の場合、画像処理装置２０は、入力画像の画像信号ＳＤｉｎに基づいてシーンチェンジ検出を行うと共に、過去のシーンから関連シーンを判別する。このシーンチェンジ検出結果と関連シーン判別結果に基づいて、入力画像の表示位置をリアルタイムで切り替える。さらに、切り替えられた表示位置に入力画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して出力する。
【００１６】
また、オフライン処理の場合、画像処理装置２０は、蓄積されている画像信号ＳＤｉｎを読み出してシーンチェンジ検出を行う。また、シーンチェンジ検出によって検出された各シーンの関連性を判別して、過去や未来のシーンから現シーンの表示位置を決定する。さらに、決定した表示位置を示す表示位置情報ＪＰを画像信号ＳＤｉｎと関係付けて保持する。その後、画像表示を行う場合には、入力画像の画像信号ＳＤｉｎと表示位置情報ＪＰを読み出して、この画像信号ＳＤｉｎと表示位置情報ＪＰに基づき、切り替えられた表示位置に入力画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して出力する。
【００１７】
図３は、リアルタイム処理を行う場合の画像処理装置２０ａの構成を示している。入力画像の画像信号ＳＤｉｎは、シーンチェンジ検出部２１と表示位置制御部２２ａの位置設定部２２１および表示制御部２４ａの位置切替部２４１に供給される。
【００１８】
シーンチェンジ検出部２１は、画像信号ＳＤｉｎに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとのつなぎ目部分である画像の不連続位置を検出する。図４は、シーンチェンジ検出部２１の構成を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【００１９】
シーンチェンジ検出部２１の遅延部２１１は、画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤｄａとして差分平均算出部２１２に供給する。差分平均算出部２１２は、画像信号ＳＤｉｎと遅延画像信号ＳＤｄａに基づき、２フレーム間の差分平均値Ｄａｖを算出して正規化部２１４に供給する。この差分平均値Ｄａｖの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄａｖとして正規化部２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、画像信号ＳＤｉｎに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤｄａに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄａｖは式（１）に基づいて算出できる。
【００２０】
【数１】
2004015549.tif 000003
【００２１】
ここで、差分平均値Ｄａｖは、画像の輝度レベルによって大きく変化する。例えば画像が明るい場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄａｖが大きくなってしまう。一方、画像が暗い場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄａｖは大きくならない。このため、シーンチェンジ検出部２１に正規化部２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄａｖの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００２２】
輝度平均算出部２１３は、画像信号ＳＤｉｎに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙａｖとして正規化部２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で画像信号ＳＤｉｎに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙａｖは式（２）に基づいて算出できる。
【００２３】
【数２】
2004015549.tif 000004
【００２４】
正規化部２１４は、画像の明るさに応じた差分平均値Ｄａｖの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙａｖに応じて差分平均値Ｄａｖを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄａｖ／Ｙａｖ　　　　・・・（３）
この正規化部２１４で生成された正規化値Ｅは、判定部２１５に供給される。
【００２５】
判定部２１５は、予め設定された閾値Ｌｒを有しており、正規化値Ｅと閾値Ｌｒを比較して、正規化値Ｅが閾値Ｌｒよりも大きいときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌｒ以下であるときにはシーンチェンジでないと判定する。さらに、判定部２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して図３に示す位置設定部２２１に供給する。
【００２６】
このように、正規化部２１４は画像の明るさに応じた差分平均値Ｄａｖの正規化を行い、判定部２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００２７】
図５は、フレーム位置と正規化値の関係を例示的に示したものである。ここで、閾値Ｌｒが「０．４」に設定されている場合、正規化値Ｅが「０．４」を越えるフレーム位置をシーンチェンジ検出位置Ｐｓｃとする。
【００２８】
ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄａｖや輝度平均値Ｙａｖを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素間引き処理、例えば図６に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄａｖや輝度平均値Ｙａｖを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。
【００２９】
また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。この相関係数ｒを用いるシーンチェンジ検出部２１ｂの構成を図７に示す。遅延部２１１は、画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤｄａとして相関係数算出部２１６に供給する。相関係数算出部２１６は、画像信号ＳＤｉｎと遅延画像信号ＳＤｄａに基づき、相関係数ｒの算出を行う。
【００３０】
ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦａｖ」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳａｖ」としたとき、相関係数ｒは式（４）を用いて算出できる。
【００３１】
【数３】
2004015549.tif 000005
【００３２】
この相関係数算出部２１６で算出された相関係数ｒは、判定部２１７に供給される。
【００３３】
判定部２１７は、予め設定された閾値Ｌｒを有しており、相関係数ｒと閾値Ｌｒを比較して、相関係数ｒが閾値Ｌｒ以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌｒ以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定部２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、位置設定部２２１に供給する。なお、図８は、フレーム位置と相関係数ｒの関係を例示的に示したものである。ここで、閾値Ｌｒが例えば「０．４」に設定されている場合、相関係数ｒが「０．４」以下となるフレーム位置をシーンチェンジ検出位置Ｐｓｃとする。
【００３４】
図３の位置設定部２２１は、シーンチェンジ検出信号ＳＣが供給されたときに、後述する１フレーム遅延部２２２Ｌ，２２２Ｃ，２２２Ｒから供給された前フレーム出力信号ＳＤＬ−ｄ，ＳＤＣ−ｄ，ＳＤＲ−ｄと画像信号ＳＤｉｎとの差分を計算する。さらに、最も小さい差分値を判別して、この差分値が所定値よりも小さいとき、差分値が最も小さくなる前フレーム画像信号に応じた画像表示位置を入力画像の表示位置に設定する。また、最も小さい差分値が所定値よりも小さくないときには、所定の順序で表示位置を切り替える。このようにして設定した表示位置を示す表示位置情報ＪＰを、位置切替部２４１に供給する。
【００３５】
位置切替部２４１は、表示位置情報ＪＰに基づき、信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒのいずれかに画像信号ＳＤｉｎを供給する。信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒは、画像メモリを用いて構成する。信号出力部２４２Ｌは、画像信号ＳＤｉｎが供給されたとき、画像メモリに順次画像信号ＳＤｉｎを書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出して１フレーム遅延部２２２Ｌに供給すると共に出力信号ＳＤＬとして出力する。さらに、信号出力部２４２Ｌは、画像信号ＳＤｉｎの供給が停止されたとき、最後のフレームの画像信号ＳＤｉｎを保持して、この保持している信号を繰り返し読み出すものとする。
【００３６】
信号出力部２４２Ｃ，２４２Ｒも信号出力部２４２Ｌと同様に構成されており、供給された画像信号ＳＤｉｎを画像メモリに順次書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出して１フレーム遅延部２２２Ｃ，２２２Ｒに供給すると共に、出力信号ＳＤＣ，ＳＤＲとして出力する。さらに、画像信号ＳＤｉｎの供給が停止されたときには、最後のフレームの画像信号ＳＤｉｎを保持して、この保持している信号を繰り返し読み出す。
【００３７】
ここで、図２Ａに示す画像信号ＳＤｉｎが画像処理装置２０ａに供給されたとき、シーンＣＮ１の画像信号ＳＤｉｎは、例えば信号出力部２４２Ｌに供給されて出力信号ＳＤＬとして出力される。シーンＣＮ２は、シーンＣＮ１と関連していないことから、差分値が所定値よりも小さくならず、シーンＣＮ２の画像信号ＳＤｉｎは、例えば信号出力部２４２Ｃに供給されて出力信号ＳＤＣとして出力される。シーンＣＮ３もシーンＣＮ１，ＣＮ２と関連していないことから、シーンＣＮ３の画像信号ＳＤｉｎは、例えば信号出力部２４２Ｒに供給されて出力信号ＳＤＲとして出力される。シーンＣＮ４とシーンＣＮ２は関連シーンであることから、画像信号ＳＤｉｎと前フレーム出力信号ＳＤＣ−ｄとの差分値が最小となると共に所定値よりも小さくなる。このため、シーンＣＮ４の画像信号ＳＤｉｎは、シーンＣＮ２の画像信号ＳＤｉｎが供給された信号出力部２４２Ｃに供給されて出力信号ＳＤＣとして出力される。
【００３８】
このため、画像処理装置２０ａからの出力信号ＳＤＬ，ＳＤＣ，ＳＤＲによって、図２Ｂに示す画像表示が行われて、シーンの切り替えが明確となり、理解のしやすい視聴が可能となる。また、撮影時のカメラ切り替えや編集時の画面切り替えなどを表示位置の変化として表現できるので、多彩な画像表示が可能となる。また、過去のシーンが静止画として別画面に表示されるので、過去のシーンを見逃しても確認することができると共に、シーン同士を比較することもできる。また、関連シーンが同じ位置に表示されるので、各シーンの関連性も把握することができる。
【００３９】
次に、オフライン処理の場合について図９を用いて説明する。画像処理装置２０ｂは、蓄積部３５を有しており、この蓄積部３５に入力画像の画像信号ＳＤｉｎを記憶する。また、蓄積部３５に記憶されている画像信号ＳＤｉｎは、読み出されてシーンチェンジ検出部２１に供給される。
【００４０】
シーンチェンジ検出部２１は、上述したようにシーンチェンジ検出信号ＳＣを生成して表示位置制御部２２ｂの関連シーン判別部２２３に供給する。関連シーン判別部２２３は、シーンチェンジ検出信号ＳＣに基づき、画像信号ＳＤｉｎの各シーンを検出すると共に、後述する相関値算出部２２４によって算出されたシーン相関値を用いて、関連シーンの判別を行う。
【００４１】
ここで、関連シーンを同じ位置に表示するものとしても、表示領域の数が限られているため、関連シーンの間に他のシーンが数多く表示されてしまうと、関連シーンを同じ位置に表示しても、視聴者はシーンの関連性を把握できない。このため、所定のシーン範囲で関連シーンがあるとき、関連シーンを同じ位置に表示させる。この関連シーンの判定では、所定のシーン範囲を関連シーンの探索範囲とすると共に、この探索範囲を表示領域の数に応じて設定して、この探索範囲内で関連シーンの判定を順次行う。例えば、上述のように３つの表示領域を用いるときには、未来５シーンまでを探索範囲して、シーンＣＮ１に対してシーンＣＮ６までを探索範囲とする。また、シーンＣＮ２に対してシーンＣＮ７までを探索範囲とする。以下同様に探索範囲を設定して、関連シーンの判定を行う。
【００４２】
関連シーン判別部２２３は、探索範囲に含まれる各シーンの画像信号をシーン単位で読み出すためのシーン読み出し情報ＪＣを生成して、蓄積部３５に供給する。蓄積部３５では、シーン読み出し情報ＪＣで示された各シーンの画像信号ＳＤｉｎを読み出して、相関値算出部２２４に供給する。
【００４３】
相関値算出部２２４では、蓄積部３５から供給された画像信号を用いて、探索範囲内の先頭シーンと他のシーンとのシーン相関値ＣＶをそれぞれ算出する。
【００４４】
このシーン相関値ＣＶの算出では、先頭シーンの最終フレームの画像信号と、他のシーンの先頭フレームの画像信号を用いて、上述のシーンチェンジ検出と同様に正規化値を算出して、この正規化値をシーン相関値ＣＶとして関連シーン判別部２２３に供給する。なお、シーン相関値ＣＶとして相関係数を用いるものとしても良いことは勿論である。
【００４５】
さらに、シーン相関値ＣＶの算出は、平均化画像を用いるものとしても良い。この平均化画像は、シーン内の各フレームの画像を画素毎に加算してシーン内のフレーム数で除算することにより生成する。このように、平均化画像を用いることによって画像自体が平均化されることから、先頭シーンの最終フレームの画像と、時間の新しいシーンの先頭フレームの画像とが異なる画像となっていても、正規化値が小さくなる。また、先頭シーンの最終側の複数フレームと、他のシーンの先頭側複数フレームを用いて平均化画像を生成するものとしてもよい。この場合には、１つのシーンの時間が長い場合であっても平均化画像の生成を速やかに行うことができる。さらに、２つのシーンが連続しているようなとき、正規化値を小さくできる。
【００４６】
関連シーン判別部２２３では、相関値算出部２２４から供給されたシーン相関値ＣＶと閾値Ｌｓ１を比較して、関連シーンを判別する。例えばシーン相関値ＣＶとして正規化値を用いた場合、シーン相関値ＣＶが閾値Ｌｓよりも小さいときに、関連シーンであると判別する。また、シーン相関値ＣＶとして相関係数を用いた場合、シーン相関値ＣＶが閾値Ｌｓ２よりも大きいときに、関連シーンであると判別する。
【００４７】
このようにして、探索範囲毎に関連シーンの判別を行い、この判別結果を示す関連シーン判別情報ＪＲを生成して位置設定部２２５に供給する。
【００４８】
位置設定部２２５は、各シーンの表示位置を関連シーン判別情報ＪＲに基づいて設定して、この表示位置を示す表示位置情報ＪＰを生成する。この表示位置の設定では、各表示領域に各シーンを時間順に振り分ける。次に関連シーンは同じ表示領域に振り分ける。また、関連シーンが無いときには、最も古いシーンの表示領域に振り分ける。ここで、最も古いシーンの表示領域に、関連シーンの振り分けが予定されているときには、次に古いシーンの表示領域に振り分ける。また、この表示領域にも関連シーンの振り分けが予定されているときには、次に古いシーンの表示領域に振り分ける。以下同様にして、各シーンを各表示領域に振り分けて、シーン毎に決定した表示位置を示す表示位置情報ＪＰを生成して画像信号ＳＤｉｎと関係付けて蓄積部３５に記憶させる。
【００４９】
図１０は、例えば３つの表示領域にシーンＣＮ１からシーンＣＮ１０までを表示する場合の表示位置の決定処理を示している。ここで、関連シーン判別情報ＪＲによって、図１０Ａに示すように、シーンＣＮ２，ＣＮ４が関連シーンとされており、シーンＣＮ３，ＣＮ７，ＣＮ９が関連シーンと判別されているものとする。
【００５０】
表示位置の決定処理では、最初に各表示領域に対して時間順にシーンを振り分ける。例えば図１０Ｂに示すように、シーンＣＮ１とシーンＣＮ３は関連シーンでないことから、シーンＣＮ１，ＣＮ２，ＣＮ３の表示位置をスクリーン１０Ｌ，１０Ｃ，１０Ｒに順次振り分ける。次にシーンＣＮ４の表示位置を決定する場合、シーンＣＮ２とシーンＣＮ４が関連シーンであることから、シーンＣＮ４の表示位置は、シーンＣＮ２が表示されたスクリーン１０Ｃに設定する。
【００５１】
シーンＣＮ５の表示位置を決定する場合、シーンＣＮ５と関連するシーンがないと共に、最も時間的に古いシーンＣＮ１が表示されているスクリーン１０Ｌには、関連シーンの表示予定がない。このため、シーンＣＮ５の表示位置は、シーンＣＮ１が表示されたスクリーン１０Ｃに設定する。
【００５２】
シーンＣＮ６の表示位置を決定する場合、シーンＣＮ６と関連するシーンがないと共に、最も時間的に古いシーンＣＮ３が表示されているスクリーン１０Ｒには、関連シーンであるシーンＣＮ７が表示される予定である。また、２番目に古いシーンＣＮ４が表示されているスクリーン１０Ｃには、関連シーンを表示する予定がない。このため、シーンＣＮ６の表示位置は、シーンＣＮ４が表示されたスクリーン１０Ｃに設定する。
【００５３】
シーンＣＮ７の表示位置は、関連シーンであるシーンＣＮ３が表示されたスクリーン１０Ｒに設定する。また、同様な処理を行うことで、シーンＣＮ８の表示位置はスクリーン１０Ｌ、シーンＣＮ９の表示位置はスクリーン１０Ｒ、シーンＣＮ１０の表示位置はスクリーン１０Ｃに設定する。
【００５４】
このように、関連シーンが過去あるいは未来に存在しているか否かに基づいて表示位置の設定を行うことで、関連シーンを同じ位置に表示させることができる。
【００５５】
次に画像表示を行う場合、蓄積部３５に記憶されている画像信号ＳＤｉｎと画像信号ＳＤｉｎに関係付けて記憶されている表示位置情報ＪＰを読み出して、表示制御部２４ｂの位置切替部２４１に供給する。
【００５６】
位置切替部２４１は、上述したように表示位置情報ＪＰに基づき、信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒのいずれかに画像信号ＳＤｉｎを供給する。信号出力部２４２Ｌ，２４２Ｃ，２４２Ｒは、画像メモリを用いて構成する。信号出力部２４２Ｌは、画像信号ＳＤｉｎが供給されたとき、画像メモリに順次画像信号ＳＤｉｎを書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出して出力信号ＳＤＬとして出力する。さらに、信号出力部２４２Ｌは、画像信号ＳＤｉｎの供給が停止されたとき、最後のフレームの画像信号ＳＤｉｎを保持して、この保持している信号を繰り返し読み出すものとする。
【００５７】
信号出力部２４２Ｃ，２４２Ｒも信号出力部２４２Ｌと同様に、供給された画像信号ＳＤｉｎを画像メモリに順次書き込む。また、書き込まれた画像信号ＳＤｉｎを読み出して出力信号ＳＤＣ，ＳＤＲとして出力する。さらに、画像信号ＳＤｉｎの供給が停止されたときには、最後のフレームの画像信号ＳＤｉｎを保持して、この保持している信号を繰り返し読み出す。
【００５８】
このように処理することで、リアルタイム処理の場合と同様な画像表示や作用効果を得ることができる。さらに、現シーンよりも後に表示されるシーンを考慮して現シーンの表示位置が決定されるので、リアルタイム処理に比べて、関連シーンを等しい位置により正しく表示させることが可能となり、画像表示の連続性を高めることができる。
【００５９】
ところで、上述の実施の形態は、入力画像を表示する表示領域をシーン単位で切り替えることで、シーンの切り替えを明らかにすると共に、過去のシーンも現在のシーンと同時に表示する。ここで、動きのある画像表示は現在のシーンを表示している表示領域のみであり、他の表示領域では、過去のシーンの最後の画像が静止画として表示されている。このため、シーンの切り替えが明らかである反面、臨場感の乏しい画像表示となってしまう。そこで、シーンの切り替えが明らかであると共に、臨場感の高い画像表示を行うことができる画像処理装置について次に説明する。
【００６０】
この画像処理装置では、動きのある画像を表示する際に、画像の動きに合わせて表示位置を可変させるものである。なお、この画像処理装置においても、リアルタイム処理あるいはオフライン処理によって画像表示を行う。
【００６１】
まず、図１１に画像処理装置の他の構成としてリアルタイム処理を行う画像処理装置２０ｃを示す。入力画像の画像信号ＳＤｉｎは、シーンチェンジ検出部２１と動き検出部２５と表示位置制御部２２ｃに供給される。シーンチェンジ検出部２１はシーンチェンジ検出信号ＳＣを生成して動き検出部２５と表示位置制御部２２ｃに供給する。
【００６２】
動き検出部２５は、シーンチェンジ検出部２１からのシーンチェンジ検出信号ＳＣに基づき、シーン内の各フレーム画像に関して全画面の動き検出を行い、表示面積の広い部分の画像動き、例えば背景部分の動きベクトルを検出する。図１２は、動き検出部２５の構成を示しており、例えばブロックマッチング方法を用いる場合である。
【００６３】
動き検出部２５の遅延部２５１は、画像信号ＳＤｉｎを１フレーム遅延させて遅延画像信号ＳＤｄａとして画像シフト部２５２に供給する。画像シフト部２５２は、遅延画像信号ＳＤｄａに基づく画像の位置を、予め設定された動き探索範囲内（例えば水平方向±８０画素，垂直方向±４０ライン）で水平方向や垂直方向に順次変更して（例えば１画素あるいは１ラインずつ変更して）新たな画像信号ＳＤｄｂを順次生成する。この生成された画像信号ＳＤｄｂは、差分演算部２５３に供給される。また、画像シフト部２５２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定部２５４に供給する。
【００６４】
差分演算部２５３は、画像信号ＳＤｄｂと画像信号ＳＤｉｎとの差分値ＤＭを順次算出して、最小値判定部２５４に供給する。
【００６５】
最小値判定部２５４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤｄｂを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像シフト部２５２で動き探索範囲内での画像の移動を完了したとき、最小値判定部２５４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして表示位置制御部２２ｃに供給する。
【００６６】
表示位置制御部２２ｃでは、動き検出情報ＭＶＤに基づき各フレームの画像の表示位置を移動させる。図１３は表示位置制御部２２ｃと表示制御部２４ｃの構成を示している。
【００６７】
表示位置制御部２２ｃの初期位置設定部２２６では、画像表示領域のサイズと位置設定部２２７から供給された前シーンの表示位置情報ＪＱ−ｐに基づいて、画像が表示されていない領域を判別する。さらに、この判別された領域の中央位置を現在のシーンの初期表示位置ＰＳとして位置設定部２２７に供給する。
【００６８】
位置設定部２２７は、動き検出情報ＭＶＤに基づき、各フレーム画像の画像表示位置を初期表示位置ＰＳから順次移動させる。例えば、動き検出部２５で背景部分の動きを検出しているときには、動き検出部２５で検出された動きとは逆方向に表示位置を移動させる。このように表示位置を移動することにより、背景部分を静止させて被写体の動きに合わせて現在のシーンの表示位置を移動させることができる。このようにして設定された表示位置を示す表示位置情報ＪＱを生成して表示制御部２４ｃの書込読出制御部２４３に供給する。また、現在のシーンの最後の表示位置を示す情報を表示位置情報ＪＱ−ｐとして初期位置設定部２２６に供給する。なお、位置設定部２２７は、表示位置を順次移動させたとき、画像が画像表示領域を越えてしまう場合には表示位置の移動を禁止する。
【００６９】
表示制御部２４ｃは、表示位置情報ＪＱに基づいて各フレーム画像の表示位置を切り替える。ここで表示位置の切り替えを行う場合、例えば上述のように画像表示領域が３つの領域（スクリーン１０Ｌ，１０Ｃ，１０Ｒ）で構成されているときには、画像信号ＳＤｉｎと表示位置情報ＪＱに基づき、各領域に対して画像表示を行うための出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成しなければならない。このため、例えば画像表示領域に対応した記憶領域を有する画像メモリを設けるものとし、画像メモリに対する画像信号ＳＤｉｎの書込位置を、表示位置情報ＪＱに基づいた位置とする。このように画像信号ＳＤｉｎを書き込むものとすれば、３つの領域に対応した画像メモリの記憶領域から読み出した画像信号をそれぞれ用いることで出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを容易に生成できる。
【００７０】
書込読出制御部２４３は、画像メモリ２４４に画像信号ＳＤｉｎを書き込むための書込制御信号ＷＣと、画像メモリ２４４に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２４４に供給する。ここで、書込読出制御部２４３は、表示位置制御部２２ｃで設定された表示位置と対応する記憶領域に画像信号ＳＤｉｎを記憶させるため、表示位置情報ＪＱに基づいて書込制御信号ＷＣを生成する。さらに、書込読出制御部２４３は、シーンが切り替えられたとき、前シーンの最後のフレーム画像の画像信号を画像メモリ２４４にそのまま保持させて、静止画として表示させる。なお、シーンの切り替えはシーンチェンジ検出信号ＳＣを用いても良く、また表示位置の移動量が所定量を越えたときにシーンの切り替えと判別しても良い。すなわち、シーン間では、異なるシーンの画像を異なる位置に表示することから、表示位置の差分が１フレーム画像分よりも大きくなる。一方シーン内では被写体の動きに応じて表示位置を移動させることから、表示位置の差分は小さくなる。このため、フレーム間の表示位置の差分に基づいて、シーンの切り替えを判別できる。
【００７１】
画像メモリ２４４は、書込制御信号ＷＣに基づいて画像信号ＳＤｉｎを記憶する。なお、画像信号ＳＤｉｎが記憶されていない領域には、例えば黒表示となる信号を記憶させる。さらに、画像メモリ２４４は、書込読出制御部２４３からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤｅとして画像分割部２４５に供給する。
【００７２】
画像分割部２４５は、画像信号ＳＤｅから例えばスクリーン１０Ｌに対応する記憶領域の信号を用いて出力信号ＳＤＬを生成する。同様に、スクリーン１０Ｃ，１０Ｒに対応する記憶領域の信号を用いて出力信号ＳＤＣ，ＳＤＲを生成する。このようにして生成した出力信号ＳＤＬをプロジェクタ１２Ｌ、出力信号ＳＤＣをプロジェクタ１２Ｃ、出力信号ＳＤＲをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。また、画像信号ＳＤｅが記憶されていない領域に黒表示となる信号を記憶させたときには、画像信号ＳＤｉｎに基づく画像の周囲が黒表示となる。
【００７３】
なお、表示制御部２４ｃは、表示位置情報ＪＱに基づいた表示位置に画像を表示するための画像信号を生成するものであれば良く、画像メモリ２４４に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、現在のシーンの画像信号や前シーンの最終フレームの画像信号を記憶するフレームメモリを設けるものとして、このフレームメモリからの信号の読み出しタイミングを表示位置情報ＪＱに基づいて制御しても、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。
【００７４】
次に、画像処理装置２０ｃの動作について説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の左右方向成分についてのみ説明する。
【００７５】
画像処理装置２０ｃに供給する画像信号ＳＤｉｎは、例えば図１４Ａに示すように、静止している被写体ＯＢａをビデオカメラ１００で撮影する。次に、シーンを切り替えて、図１４Ｂに示すように、ビデオカメラ１００をパンニングさせて前進，後退，前進の順に移動する被写体ＯＢｂを撮影する。さらに、シーンを切り替えて、図１４Ｃに示すように、静止している被写体ＯＢｃを撮影して得た画像信号であるものとする。また図１５Ａは、画像信号ＳＤｉｎに基づく画像であり、フレームＦ（ｇ−１）までがシーンＣＮ（Ｍ）の画像、フレームＦ（ｇ）〜フレームＦ（ｇ＋ｋ）がシーンＣＮ（Ｍ＋１）の画像、フレームＦ（ｇ＋ｋ＋１）からシーンＣＮ（Ｍ＋２）の画像である。
【００７６】
画像信号ＳＤｉｎがフレームＦ（ｇ−１）からフレームＦ（ｇ）となると、シーンチェンジ検出部２１は、正規化値Ｅあるいは相関係数ｒに基づいて、このシーンチェンジ位置を検出する。
【００７７】
初期位置設定部２２６では、画像表示領域のサイズと過去のシーンの表示位置情報ＪＱ−ｐから、画像が表示されていない領域を判別して、図１５Ｂに示すように、この判別された領域の中央位置を、シーンＣＮ（Ｍ＋１）の先頭フレームの表示位置ＰＳ１とする。その後、シーンＣＮ（Ｍ＋１）の各フレーム画像を動き検出情報ＭＶＤに基づいて移動させる。このため、シーンＣＮ（Ｍ＋１）の画像の表示位置は、被写体ＯＢｂの動きに応じて移動される。
【００７８】
その後、画像信号ＳＤｉｎがフレームＦ（ｇ＋ｋ）からフレームＦ（ｇ＋ｋ＋１）となると、シーンチェンジ検出部２１は、正規化値Ｅあるいは相関係数ｒに基づいて、このシーンチェンジ位置を検出する。
【００７９】
初期位置設定部２２６は、画像表示領域のサイズと過去のシーンの表示位置から、画像が表示されていない領域を判別して、この判別された領域の中央位置を、シーンＣＮ（Ｍ＋２）の先頭フレームの表示位置ＰＳ２とする。また、前シーンの最終フレームの画像を静止画として表示する。
【００８０】
このように、画像処理装置２０ｃによって、シーンの切り替えが明らかであると共に、臨場感の高い画像表示を行うことができる。
【００８１】
次に、オフライン処理の場合における画像処理装置の構成を図１６に示す。画像処理装置２０ｄは、蓄積部３５を有しており、この蓄積部３５に画像信号ＳＤｉｎを記憶する。また、蓄積部３５から読み出された画像信号ＳＤｉｎは、シーンチェンジ検出部２１と動き検出部２５に供給される。
【００８２】
シーンチェンジ検出部２１は、シーンチェンジ検出信号ＳＣを生成して動き検出部２５と表示位置制御部２２ｄに供給する。動き検出部２５は、シーン毎に動き検出を行い、動き検出情報ＭＶＤを生成して表示位置制御部２２ｄに供給する。
【００８３】
表示位置制御部２２ｄは、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき、シーン内の画像の動き量や、先頭フレームに対する最終フレームの変位量に基づき、各フレーム画像の表示位置を設定する。
【００８４】
図１７は、表示位置制御部２２ｄの構成を示している。動き累積部２２８は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき、シーン毎に動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成する。さらに、動き累積値ＭＶＴに基づき第１の移動方向（例えば右方向や上方向）の最大値ＭＶＴｍ−１と、第１の方向とは逆方向である第２の移動方向（例えば左方向や下方向）の最大値ＭＶＴｍ−２を求め、最大値ＭＶＴｍ−１と最大値ＭＶＴｍ−２に基づき動き累積値ＭＶＴの振れ幅ＷＴをシーン毎に算出する。この動き累積部２２８で算出した動き累積値ＭＶＴと振れ幅ＷＴは、初期位置設定部２２９と移動補正部２３０に供給する。
【００８５】
領域判別部２３２には、後述する位置設定部２３１から前シーンの表示位置を示す表示位置情報ＪＱ−ｐが供給されており、この表示位置情報ＪＱ−ｐに基づき、前シーンの最終フレーム画像が表示されておらず、現シーンの画像が表示可能な最大の表示領域を判別する。さらに、この表示領域を現シーンの表示可動範囲として、この表示可動範囲の可動幅ＬＷを求めて、初期位置設定部２２９と移動補正部２３０に供給する。
【００８６】
初期位置設定部２２９は、振れ幅ＷＴが可動幅ＬＷ以上であるときには、振れ幅ＷＴの中央値ＭＶＴｃｔを求めて、この中央値ＭＶＴｃｔが可動幅ＬＷの中央となるように、先頭フレーム画像の表示位置を決定して初期表示位置ＰＳする。この初期表示位置ＰＳを位置設定部２３１に通知する。また、振れ幅ＷＴが可動幅ＬＷよりも小さいときには、現シーンの各フレーム画像が可動幅ＬＷ内に収まると共に、現シーンの最終フレーム画像を表示して前シーンの表示は終了したとき、次のシーンに対する可動幅ＬＷが最大となるように現シーンの先頭フレーム画像の初期表示位置ＰＳを設定する。なお、最初のシーンでは、前シーンの画像が表示されていないことから、可動幅ＬＷは、画像表示領域のサイズから表示画像のサイズを減算した値となる。
【００８７】
移動補正部２３０は、振れ幅ＷＴが可動幅ＬＷを越えてしまうとき、表示画像が可動幅ＬＷ内に収まるよう動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥとして位置設定部２３１に供給する。また、振れ幅ＷＴが可動幅ＬＷを越えないときには、動き検出情報ＭＶＤの補正を行うことなく位置設定部２３１に供給する。
【００８８】
位置設定部２３１は、初期位置設定部２２９から供給された初期表示位置ＰＳを先頭フレーム画像の表示位置とする。その後、動き検出情報ＭＶＥに基づき、動き検出情報ＭＶＥで示された動きベクトルの方向とは逆方向に画像を移動させた位置を表示位置として、この表示位置を示す情報を表示位置情報ＪＱを生成する。さらに生成した表示位置情報ＪＱを画像信号ＳＤｉｎと関係付けて蓄積部３５に記憶させる。
【００８９】
次に画像表示を行う場合、蓄積部３５に記憶されている画像信号ＳＤｉｎと画像信号ＳＤｉｎに関係付けて記憶されている表示位置情報ＪＱを読み出して、表示位置情報ＪＱを書込読出制御部２４３に供給すると共に画像信号ＳＤｉｎを画像メモリ２４４に供給する。
【００９０】
書込読出制御部２４３は、上述したように、画像メモリ２４４に画像信号ＳＤｉｎを書き込むための書込制御信号ＷＣと、画像メモリ２４４に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成する。また、書込読出制御部２４３は、表示位置情報ＪＱに基づいて書込制御信号ＷＣを生成して画像信号ＳＤｉｎの書込位置を制御することにより画像の表示位置を移動させる。
【００９１】
さらに、シーン切替が行われたことを判別したときには、前シーンの画像信号を消去して次のシーンのための表示領域を設けるものとする。なお、シーン切替は、蓄積部３５にシーン分割に関する情報を記憶させて、この情報を読み出すことで判別できる。また、上述のように表示位置の移動量に基づいて判別することもできる。
【００９２】
画像メモリ２４４は、書込制御信号ＷＣに基づいて画像信号ＳＤｉｎを記憶する。なお、現シーンの現フレーム画像の画像信号や前シーンの最終フレーム画像の画像信号が記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ２４４は、書込読出制御部２４３からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤｅとして画像分割部２４５に供給する。
【００９３】
画像分割部２４５は、画像信号ＳＤｅから出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成する。このようにして生成した出力信号ＳＤＬをプロジェクタ１２Ｌ、出力信号ＳＤＣをプロジェクタ１２Ｃ、出力信号ＳＤＲをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。
【００９４】
次に、画像処理装置２０ｄの動作について説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の左右方向成分についてのみ説明する。上述の図１４Ｂに示すように、ビデオカメラ１００をパンニングさせて画像信号ＳＤｉｎを生成したとき、動き累積部２２８では、動き検出情報ＭＶＤで示された動きベクトルを累積して、動きベクトルの時間推移情報である動き累積値ＭＶＴを生成する。例えば、フレームＦ（ｇ）からフレームＦ（ｇ＋ｋ）までのパンニング量が小さいとき、動き累積値ＭＶＴは図１８Ａに示すものとなり、パンニング量が大きいときには図１８Ｂに示すものとなる。この動き累積値ＭＶＴの最大値ＭＶＴｍ−１，ＭＶＴｍ−２に基づき動き累積値ＭＶＴの振れ幅ＷＴをシーン毎に算出する。
【００９５】
領域判別部２３２は、前シーンの表示位置情報ＪＱ−ｐを用いて画像の可動幅ＬＷを求める。すなわち、図１９に示すように、前シーンの最終フレームの画像ＧＰが表示されておらず、現シーンの画像ＧＮが表示可能な最大の表示領域ＡＷを、表示位置情報ＪＱ−ｐと画像表示領域のサイズから判別する。さらに、画像ＧＮと表示領域ＡＷのサイズから、表示画像を移動できる範囲である可動幅ＬＷを求める。
【００９６】
ここで、図２０Ａに示すように表示領域ＡＷｎに基づいて求めた可動幅ＬＷよりも振れ幅ＷＴが小さいとき、初期位置設定部２２９は、図２０Ｂや図２０Ｃ，図２０Ｄに示すように、現シーンの各フレームの画像ＧＮが、この可動幅ＬＷ内に収まると共に現シーンの最終フレームの画像ＧＮ−ｅを表示して前シーンの画像ＧＰを終了したとき、次シーンに対する表示領域ＡＷ（ｎ＋１）が最大となるように初期表示位置ＰＳを設定する。
【００９７】
例えば図２０Ｂに示すように、現シーンの先頭フレームの画像ＧＮ−ｓと最終フレームの画像ＧＮ−ｅ間の画像ＧＮ−ｋが、画像ＧＰとは逆方向に最も移動する場合、この画像ＧＮ−ｋが表示領域ＡＷｎを越えないように初期表示位置ＰＳを設定する。また、図２０Ｃに示すように、最終フレームの画像ＧＮ−ｅが、画像ＧＰとは逆方向に最も移動する場合、この画像ＧＮ−ｅが表示領域ＡＷｎを越えないように初期表示位置ＰＳを設定する。また、図２０Ｄに示すように、画像の表示位置が画像ＧＰの方向に移動する場合、ｐ最終フレームの画像ＧＮ−ｅが、画像ＧＰとは逆方向に最も移動する場合、次シーンに対する表示領域ＡＷ（ｎ＋１）が最大となるように、先頭フレームの画像ＧＮ−ｓを画像ＧＰとは逆方向に最も移動した位置とする初期表示位置ＰＳを設定する。
【００９８】
また、図２１Ａに示すように振れ幅ＷＴが可動幅ＬＷ以上であるとき、初期位置設定部２２９は、図２１Ｂに示すように、振れ幅ＷＴの中央値ＭＶＴｃｔが可動幅ＬＷの中央となるように、先頭フレーム画像の表示位置を決定して初期表示位置ＰＳとする。さらに、移動補正部２３０によって、表示画像が可動幅ＬＷ内に収まるよう動き検出情報ＭＶＤを補正して、動き検出情報ＭＶＥに基づき図２１Ｃに示すように表示位置を決定する。
【００９９】
画像表示を行う際には、前シーンの最終フレーム画像を表示すると共に、現シーンでは、表示位置情報ＪＱに基づき、表示位置を画像の動きに応じて移動しながら表示する。このため、シーンの切り替えが明らかであると共に、画像表示領域を有効に利用して臨場感の高い理解しやすい画像表示を行うことができる。また、表示画像が可動幅ＬＷ内に収まるよう表示位置が制御されるので、表示画像の一部が画像表示領域からはみ出して欠落してしまうことを防止して、正しく画像を表示できる。
【０１００】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図２２に示す。コンピュータは、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドライブ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。
【０１０１】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【０１０２】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された画像信号ＳＤｉｎに基づき出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。
【０１０３】
図２３は、画像処理プログラムの全体構成を示すフローチャートである。ステップＳＴ１では、シーンチェンジ検出を行う。図２４はシーンチェンジ検出動作を示すフローチャートである。ステップＳＴ１１では、フレーム間の差分平均値Ｄａｖとフレーム内の輝度平均値Ｙａｖを算出してステップＳＴ１２に進む。ステップＳＴ１２は、輝度平均値Ｙａｖを用いて差分平均値Ｄａｖの正規化を行い正規化値Ｅを算出する。
【０１０４】
ステップＳＴ１３は、正規化値Ｅと閾値Ｌｒを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌｒ以下であるときにはステップＳＴ１４に進み、同じシーンの画像と判別する。また、正規化値Ｅが閾値Ｌｒよりも大きいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。このようにして正規化値Ｅに基づきシーンの判別を行う。
【０１０５】
なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値を比較してシーンチェンジを検出するものとしても良い。この場合、ステップＳＴ１１とステップＳＴ１２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ１３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ１４に進み同じシーンの画像と判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ１５に進み、シーンチェンジであると判別する。
【０１０６】
図２３のステップＳＴ２では、シーンの切り替えが検出されたか否かを判別してシーン切り替えが判別されていないときにはステップＳＴ１に戻る。ステップＳＴ２でシーン切り替えであると判別されたときにはステップＳＴ３に進む。
ステップＳＴ３では、シーン切り替え後の画像の表示位置を、シーン切り替え前の画像の表示位置とは異なる位置に設定する。
【０１０７】
ステップＳＴ４では、ステップＳＴ３で判別された表示位置に新たなシーンの画像を表示すると共に、シーン切り替え前の画像を静止画として表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成してステップＳＴ１に戻る。この出力信号の生成では、フレームメモリにシーン切り替え前の画像とシーン切り替え後の画像を記憶させるものとして、画像の表示位置に応じたタイミングでフレームメモリから画像信号を読み出して、この読み出した画像信号をスクリーン毎に分割することで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。あるいは記憶領域が画像表示領域に対応されているメモリに、表示位置に応じてシーン切り替え前の画像とシーン切り替え後の画像の画像信号を記憶させるものとして、各スクリーンに対応する領域の信号を用いることで、出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成できる。
【０１０８】
図２５から図３０に示すフローチャートは、上述の画像処理プログラムをさらに詳細に示したものであり、上述の画像処理装置２０ａ，２０ｂ，２０ｃ，２０ｄの動作と対応するものである。
【０１０９】
図２５は、リアルタイム処理の場合を示している。ステップＳＴ２１では、ステップＳＴ１と同様にシーンチェンジ検出を行う。次に、ステップＳＴ２２で、シーンの切り替えが検出されたときにはステップＳＴ２３に進む。
ステップＳＴ２３では、表示中の各表示画像との差分値を計算してステップＳＴ２４に進む。
【０１１０】
ステップＳＴ２４では、最も小さい差分値が所定値よりも小さいときには、この最も差分値の少ない画像の表示位置をシーンチェンジ検出後の表示位置とする。また、最も小さい差分値が所定値よりも小さくないときには、所定の順序で表示位置を設定してステップＳＴ２５に進む。
【０１１１】
ステップＳＴ２５は、ステップＳＴ２４で判別された表示位置に新たなシーンの画像を表示すると共に、シーン切り替えが検出される前のシーンを静止画として表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成してステップＳＴ２１に戻る。このように処理することで図２Ｂに示す画像表示を行うことができる。
【０１１２】
図２６は、オフライン処理の場合を示している。ステップＳＴ３１では、蓄積されている画像信号ＳＤｉｎを読み出してシーンチェンジ検出を行いステップＳＴ３２に進む。ステップＳＴ３２で、シーンチェンジが検出されたと判別されたときにはステップＳＴ３３に進み、シーンチェンジが検出されていないときにはステップＳＴ３１に戻る。
【０１１３】
ステップＳＴ３３では、シーンチェンジ検出が完了したか否かを判別する。このステップＳＴ３３で、画像信号ＳＤｉｎに対するシーンチェンジ検出が完了したときにはステップＳＴ３４に進み、完了していないときにはステップＳＴ３１に戻る。
【０１１４】
ステップＳＴ３４では、判別された各シーンから関連シーンを判別する。この関連シーンの判別では、探索範囲を設定して、この探索範囲内での関連シーンを判別する。
【０１１５】
ステップＳＴ３５では、関連シーンの判別結果を利用して、関連シーンは同じ位置に表示するように、各シーンの表示位置を決定して、この決定された表示位置を示す表示位置情報ＪＰを生成する。ステップＳＴ３６では、ステップＳＴ３５で生成された表示位置情報ＪＰを画像信号ＳＤｉｎに関係付けて蓄積させる。
【０１１６】
また、表示動作を行う場合、図２７のステップＳＴ４１では蓄積されている表示位置情報ＪＰと画像信号ＳＤｉｎを読み出してステップＳＴ４２に進む。ステップＳＴ４２では、シーン切り替えた生じたか否かを判別して、シーン切り替えが生じたときにはステップＳＴ４３に進み、シーン切り替え前に表示されていたシーンの最終フレーム画像を静止画表示としてステップＳＴ４４に進む。また、シーン切り替えが判別されていないときにはステップＳＴ４４に進む。
【０１１７】
ステップＳＴ４４では、読み出した表示位置情報ＪＰに基づき、表示位置を決定して画像信号ＳＤｉｎから出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成してステップＳＴ４１に戻る。このように処理することで図１０Ｂに示すように画像表示を行うことができる。
【０１１８】
図２８は、リアルタイム処理で画像の動きに応じて表示位置を可変させる場合の動作を示している。ステップＳＴ５１では、シーンチェンジ検出を行いステップＳＴ５２に進む。ステップＳＴ５２では、シーンチェンジ検出の結果、シーンチェンジが検出されたか否かを判別する。ここで、シーンチェンジが検出されたときにはステップＳＴ５３に進む。ステップＳＴ５３では、シーン切り替え前のシーンの最終フレーム画像を静止画として設定する。また、静止画として表示している最終フレーム画像がある場合には、この表示を消去する。ステップＳＴ５４では、静止画が表示されていない領域に、シーン切り替え後のシーンの初期表示位置を設定してステップＳＴ５７に進む。
【０１１９】
また、ステップＳＴ５２でシーンチェンジが判別されていないときにはステップＳＴ５５に進み、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップＳＴ５６に進む。ステップＳＴ５６ではステップＳＴ５５で検出された動きベクトルに基づき表示位置を移動させる。ここで表示位置を移動したとき、表示画像が画像表示領域から外れてしまう場合や表示されている静止画と重なりを生じてしまうときには、表示位置の移動を禁止してステップＳＴ５７に進む。
【０１２０】
ステップＳＴ５７では、ステップＳＴ５４で設定された初期表示位置に新たなシーンの画像を表示すると共に、シーン切り替えが検出される前のシーンを静止画として表示する。さらに、ステップＳＴ５６によって順次移動された位置に画像を表示する出力信号ＳＤＬ，ＳＤＣ，ＳＤＲを生成してステップＳＴ５１に戻る。このように処理することで、図１５に示す表示を行うことができる。
【０１２１】
図２９は、オフライン処理で画像の動きに応じて表示位置を可変させる場合の動作を示している。ステップＳＴ６１では、蓄積されている画像信号を読み出してシーンチェンジ検出を行いステップＳＴ６２に進む。ステップＳＴ６２では、シーンチェンジが検出されたか否かを判別する。ここで、シーンチェンジが検出されていないときには、ステップＳＴ６１に戻る。また、シーンチェンジが検出されたときにはステップＳＴ６３に進む。ステップＳＴ６３では、シーン毎にシーン内の先頭フレーム画像から最終フレーム画像までの動き検出を行い、検出した動き検出情報ＭＶＤに基づき、動きベクトルを累積して動き累積値ＭＶＴを生成する。さらに、動き累積値ＭＶＴからシーン毎に、振れ幅ＷＴを算出してステップＳＴ６４に進む。ステップＳＴ６４では、前シーンの表示位置に基づいて表示の可動幅ＬＷを算出し、振れ幅ＷＴと可動幅ＬＷからシーン毎に画像の初期表示位置ＰＳを設定してステップＳＴ６５に進む。
【０１２２】
ステップＳＴ６５では、初期表示位置ＰＳと動き検出情報ＭＶＤに基づき、各フレーム画像の表示位置を設定して、各フレームの画像の表示位置を示す表示位置情報ＪＱを生成する。ステップＳＴ６６では、生成した表示位置情報ＪＱを画像信号ＳＤｉｎに関係付けて蓄積させる。
【０１２３】
また、表示動作を行う場合、図３０のステップＳＴ７１では蓄積されている表示位置情報ＪＱと画像信号ＳＤｉｎを読み出す。ステップＳＴ７２では、シーンの切り替えた生じたか否かを判別して、シーンの切り替えが生じたときにはステップＳＴ７３に進む。ステップＳＴ７３では、シーン切り替え前のシーンの最終フレーム画像を静止画として設定する。また、静止画として表示している最終フレーム画像がある場合には、この表示を消去するものとしてステップＳＴ７４に進む。
【０１２４】
ステップＳＴ７２でシーンの切り替えが生じていないと判別されたときにはステップＳＴ７４に進む。
【０１２５】
ステップＳＴ７４では、表示位置情報ＪＱに基づいた位置に現シーンの画像を表示させる出力信号ＳＤＬ，ＳＤＣ，ＳＤＲの生成を行い、ステップＳＴ７１に戻る。
【０１２６】
このように処理することで、図２０に示すように、現シーンの画像を動きに合わせて移動して表示できると共に前シーンの画像を静止画として合わせて表示できる。
【０１２７】
なお、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、画面サイズや数も自由に変更可能である。また、他の種類のディスプレイ、例えば１面の広画角ディスプレイや、シリンドリカルなどの曲面ディスプレイなどを用いてもよい。このように、表示画像のサイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能である。
【０１２８】
また、上述の実施の形態では、画像処理装置２０の内部に蓄積部３５を設けるものとしたが、外部の情報記憶装置を利用するものとしても良い。また蓄積部３５を着脱可能とすれば、表示制御部の機能を有する他の画像表示システムでも、この蓄積部３５に記憶された画像信号ＳＤｉｎや表示位置情報ＪＰ，ＪＱを利用することで、上述のような臨場感が高く理解しやすい画像表示を行うことが可能となる。
【０１２９】
さらに、新たに映像ソースや別のフォーマットを作らなくても、既に存在しているコンテンツの画像信号を用いて本発明の処理を施すことで、従来よりも臨場感が高く理解のしやすい画像表示を行うことができる。
【０１３０】
【発明の効果】
この発明によれば、入力画像のシーン切り替えが検出されて、シーン切り替えの検出結果に基づき、シーン切り替え後の画像表示位置がシーン切り替え前の画像表示位置と異なる位置に設定されて、この設定された位置に、シーン切り替え後の画像が表示されると共に、シーン切り替え前の画像が静止画として合わせて表示させる。このため、シーンの切り替えを容易に把握することが可能となり理解しやすい画像表示を行うことができる。
【０１３１】
また、静止画として、シーン切り替え前の複数シーンの画像が表示されて、シーン切り替え後の画像と複数の静止画とのと差分が最も小さい静止画の画像表示位置にシーン切り替え後の画像表示位置が設定される。あるいは、シーン間の相関値を算出して、この相関値に基づいて関連するシーンが判別されて、シーン切り替え後の画像表示位置が、関連するシーンの画像表示位置に設定される。このため、シーンの関連性を容易に把握することができる。
【０１３２】
また、画像信号に基づいて入力画像の動きが検出されて、静止画が表示されていない表示領域にシーン切り替え後の最初の画像の画像表示位置が設定されると共に、その後動き検出結果に基づいて画像表示位置が移動される。このため、被写体の動きに合わせて表示位置を移動させることが可能となり、臨場感が高く理解しやすい画像表示を行うことができる。
【０１３３】
さらに、シーン切り替え後の最初の画像の画像表示位置が、静止画が表示されていない表示領域の中央に設定される。あるいは、動き検出結果をシーン内で累積した動き累積結果と、静止画が表示されていない表示領域の大きさを判別した領域判別結果に基づいて設定される。このため、静止画が表示されていない表示領域を有効に活用して画像表示を行うことができる。また次のシーンを表示する際に、次のシーンの移動範囲を広く設定ことも可能となる。
【０１３４】
また、シーン切り替え後の画像の画像表示位置を動き検出結果に基づいて移動させたとき、静止画が表示されていない表示領域を入力画像が越えてしまうと動き累積結果と領域判別結果に基づいて判別されたとき、入力画像が静止画が表示されていない表示領域を越えないように、画像表示位置の移動が補正されるので、表示画像の一部が欠落して表示されてしまうことを防止して、正しく画像を表示できる。
【図面の簡単な説明】
【図１】画像表示システムの構成を示す図である。
【図２】画像表示動作を説明するための図である。
【図３】画像処理装置の構成を示す図である。
【図４】シーンチェンジ検出部の構成を示す図である。
【図５】フレーム位置と正規化値の関係を示す図である。
【図６】画素間引き処理を示す図である。
【図７】シーンチェンジ検出部の他の構成を示す図である。
【図８】フレーム位置と相関係数の関係を示す図である。
【図９】画像処理装置の他の構成を示す図である。
【図１０】画像表示動作を説明するための図である。
【図１１】画像処理装置の他の構成を示す図である。
【図１２】動き検出部の構成を示す図である。
【図１３】表示位置制御部と表示制御部の構成を示す図である。
【図１４】画像信号の生成動作を説明するための図である。
【図１５】画像処理装置の動作を説明するための図である。
【図１６】画像処理装置の他の構成を示す図である。
【図１７】表示位置制御部の構成を示す図である。
【図１８】動き累積値を説明するための図である。
【図１９】可動幅の算出動作を説明するための図である。
【図２０】初期位置の設定動作を説明するための図である。
【図２１】移動補正動作を説明するための図である。
【図２２】コンピュータを用いた構成を示す図である。
【図２３】画像処理プログラムの全体構成を示すフローチャートである。
【図２４】シーンチェンジ検出動作を示すフローチャートである。
【図２５】リアルタイム処理の場合の動作を示すフローチャートである。
【図２６】オフライン処理の場合の動作を示すフローチャートである。
【図２７】オフライン処理での表示動作を示すフローチャートである。
【図２８】リアルタイム処理で画像の動きに応じて表示位置を可変させる場合の動作を示すフローチャートである。
【図２９】オフライン処理で画像の動きに応じて表示位置を可変させる場合の動作を示すフローチャートである。
【図３０】オフライン処理での表示動作を示すフローチャートである。
【符号の説明】
１０Ｌ，１０Ｃ，１０Ｒ・・・スクリーン、１２Ｌ，１２Ｃ，１２Ｒ・・・プロジェクタ、２０ａ，２０ｂ，２０ｃ，２０ｄ・・・画像処理装置、２１，２１ｂ・・・シーンチェンジ検出部、２２ａ，２２ｂ，２２ｃ，２２ｄ・・・表示位置制御部、２４ａ，２４ｂ，２４ｃ・・・表示制御部、２５・・・動き検出部、３５・・・蓄積部、１００・・・ビデオカメラ、２１１・・・遅延部、２１２・・・差分平均算出部、２１３・・・輝度平均算出部、２１４・・・正規化部、２１５，２１７・・・判定部、２１６・・・相関係数算出部、２２１・・・位置設定部、２２２Ｌ，２２２Ｃ，２２２Ｒ・・・１フレーム遅延部、２２３・・・関連シーン判別部、２２４・・・相関値算出部、２２５・・・位置設定部、２２６，２２９・・・初期位置設定部、２２７，２３１・・・位置設定部、２２８・・・動き累積部、２３０・・・移動補正部、２３２・・・領域判別部、２４１・・・位置切替部、２４２Ｌ，２４２Ｃ，２４２Ｒ・・・信号出力部、２４３・・・書込読出制御部、２４４・・・画像メモリ、２４５・・・画像分割部、２５１・・・遅延部、２５２・・・画像シフト部、２５３・・・差分演算部、２５４・・・最小値判定部、３０１・・・ＣＰＵ、３１４・・・画像信号入力部、３１５・・・画像信号
【図１】
2004015549.tif 000006
【図２】
2004015549.tif 000007
【図３】
2004015549.tif 000008
【図４】
2004015549.tif 000009
【図５】
2004015549.tif 000010
【図６】
2004015549.tif 000011
【図７】
2004015549.tif 000012
【図８】
2004015549.tif 000013
【図９】
2004015549.tif 000014
【図１０】
2004015549.tif 000015
【図１１】
2004015549.tif 000016
【図１２】
2004015549.tif 000017
【図１３】
2004015549.tif 000018
【図１４】
2004015549.tif 000019
【図１５】
2004015549.tif 000020
【図１６】
2004015549.tif 000021
【図１７】
2004015549.tif 000022
【図１８】
2004015549.tif 000023
【図１９】
2004015549.tif 000024
【図２０】
2004015549.tif 000025
【図２１】
2004015549.tif 000026
【図２２】
2004015549.tif 000027
【図２３】
2004015549.tif 000028
【図２４】
2004015549.tif 000029
【図２５】
2004015549.tif 000030
【図２６】
2004015549.tif 000031
【図２７】
2004015549.tif 000032
【図２８】
2004015549.tif 000033
【図２９】
2004015549.tif 000034
【図３０】
2004015549.tif 000035