(57)【特許請求の範囲】
【請求項１】
入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、
前記表示画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記動き検出手段で検出された動きベクトルに応じて移動させる画像位置移動手段とを設け、
前記画像移動手段では、前記シーンチェンジ検出手段でシーンチェンジが検出されたときに、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置とする
ことを特徴とする画像処理装置。
【請求項２】
前記シーンチェンジ検出手段は、前記表示画像の２フレーム間の信号の差分平均値を前記表示画像の明るさに応じて正規化した正規化値を用いてシーンチェンジを検出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記シーンチェンジ検出手段は、前記表示画像の２フレーム間の相関係数を用いてシーンチェンジを検出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像移動手段は、前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置として、前記表示画像の表示位置を前記シーンチェンジの検出前の表示位置から所定量離れた位置、あるいは該所定量離れた位置であると共に前記シーンチェンジの検出前の表示画像の動きベクトル方向とは異なる位置に設定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記画像移動手段は、前記シーンチェンジ検出手段でシーンチェンジが検出されたときに設定された表示位置を、前記シーンチェンジ検出手段でシーンチェンジが検出されたあとに前記動き検出手段で検出された動きベクトルに基づく表示位置の移動方向とは逆方向に移動させる
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
入力画像信号に基づく表示画像の動きベクトルを検出し、
前記表示画像のシーンチェンジを検出し、
前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記検出された動きベクトルに応じて移動させるものとし、
前記シーンチェンジが検出されたときには、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置とする
ことを特徴とする画像処理方法。
【請求項７】
前記シーンチェンジの検出は、前記表示画像の２フレーム間の信号の差分平均値を前記表示画像の明るさに応じて正規化した正規化値と閾値を比較して行う
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記シーンチェンジの検出は、前記表示画像の２フレーム間の相関係数と閾値を比較して行う
ことを特徴とする請求項６記載の画像処理方法。
【請求項９】
前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置として、前記表示画像の表示位置を前記シーンチェンジの検出前の表示位置から所定量離れた位置、あるいは該所定量離れた位置であると共に前記シーンチェンジの検出前の表示画像の動きベクトル方向とは異なる位置に設定する
ことを特徴とする請求項６記載の画像処理方法。
【請求項１０】
前記シーンチェンジが検出されたときに設定された表示位置を、前記シーンチェンジが検出されたあとの表示画像の動きベクトルに基づく表示位置の移動方向とは逆方向に移動させる
ことを特徴とする請求項６記載の画像処理方法。
【請求項１１】
コンピュータに、
入力画像信号に基づく表示画像の動きベクトルを検出する手順と、
前記表示画像のシーンチェンジを検出する手順と、
前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記検出された動きベクトルに応じて移動させると共に、前記シーンチェンジが検出されたときには、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置に設定する手順
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理装置と画像処理方法および画像処理プログラムに関する。詳しくは、表示画像から画像の動きベクトルを検出して、この動きベクトルに応じて表示位置を移動させる場合、シーンチェンジが検出されたときには、表示画像の表示位置を、シーンチェンジの検出前の表示画像と関連性を有しない表示位置とすることで、シーンチェンジを容易に判別可能とするものである。
【０００２】
【従来の技術】
従来、テレビジョン放送番組や映画等の画像を表示する画像表示システムでは、テレビジョン装置の表示画面やスクリーン等のように、１つの固定された画枠を用いて画像表示がなされている。また、放送番組や映画等の画像コンテンツを制作する場合にも、このような固定画枠で画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００３】
さらに、近年では、臨場感を高めた画像表示を行うために多画面表示システムや曲面ディスプレイ、広画角ディスプレイ、ヘッドマウントディスプレイ等が実用化されている。しかし、このような多画面表示システム等を用いる場合でも、このシステムで形成される画像表示領域を１つの固定画枠として用い、この固定画枠に合わせた画像表示を行うことを前提としてコンテンツ制作が行われている。
【０００４】
このように固定画枠に合わせて制作された画像コンテンツにおいて、撮影時にカメラ動きを含んだ画像などが含まれている場合、固定画枠で撮影画像を表示すると共に、この撮影画像における背景の動きによってカメラ動きを表現することが行われている。つまり、視聴者は固定画枠内に表示された画像の背景が移動することによって、その中の被写体が背景の動きと逆の方向に動いていることを認識すると共に、視聴者はあたかも自分が被写体の動きに合わせて向きを変えているような感覚を得る。
【０００５】
これは、撮影された広い空間の画像を無理やり固定画枠内の２次元平面に射影した結果であり、視聴者は実際に動いていなくとも背景の動きによって感覚的には動いた感じを受けるため、現実空間との不整合による不自然さが付きまとう。このため、撮影画像に対して動き検出を行い、被写体の動きに合わせて表示位置を移動させるものとして、現実空間との不整合を防止することが例えば特開平１０−３０１５５６号公報で開示されている。
【０００６】
【発明が解決しようとする課題】
ところで、シーンチェンジによって表示画像がある空間から別の空間へ切り替えられるとき、例えば表示画像の空間が右前方から左前方に切り替えられるとき、右前方の撮影画像を左前方の撮影画像に切り替えることで、空間の移動が１つの固定画枠内で行われる。このような場合、異なる２つの空間を１つの共通の固定画枠で表示することから空間の位置を表現という意味では不適当である。また、被写体の動きに合わせて表示位置を移動させる場合にも、シーンチェンジのように表示画像がある空間から別の空間に切り替えられるときには、この表示画像の空間の切り替えを容易に把握することができなければ、現実空間に関連付けて空間の位置を表現することができない。
【０００７】
そこで、この発明では、表示画像の表示位置を画像の動きに応じて移動させることにより臨場感の高い画像表示を可能としたときに、空間の切り替えを容易に識別可能とする画像処理装置と画像処理方法および画像処理プログラムを提供するものである。
【０００８】
【課題を解決するための手段】
この発明に係る画像処理装置は、入力画像信号に基づく表示画像の動きベクトルを検出する動き検出手段と、前記表示画像のシーンチェンジを検出するシーンチェンジ検出手段と、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記動き検出手段で検出された動きベクトルに応じて移動させる画像位置移動手段とを設け、前記画像移動手段では、前記シーンチェンジ検出手段でシーンチェンジが検出されたときに、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置に設定するものである。
【０００９】
また、画像処理方法は、入力画像信号に基づく表示画像の動きベクトルを検出し、前記表示画像のシーンチェンジを検出し、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記検出された動きベクトルに応じて移動させるものとし、前記シーンチェンジが検出されたときには、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置に設定するものである。
【００１０】
さらに画像処理プログラムは、コンピュータに、入力画像信号に基づく表示画像の動きベクトルを検出する手順と、前記表示画像のシーンチェンジを検出する手順と、前記表示画像の画像サイズよりも大きい画像表示領域を設定して、該画像表示領域に対する前記表示画像の表示位置を、前記検出された動きベクトルに応じて移動させると共に、前記シーンチェンジが検出されたときには、前記表示画像の表示位置を前記シーンチェンジの検出前の表示画像と関連性を有しない表示位置に設定する手順を実行させるものである。
【００１１】
この発明においては、入力画像信号に基づく表示画像の動き検出が行われて、表示面積の広い例えば背景画像の動きベクトルが検出される。また、表示画像の２フレーム間の信号の差分平均値を表示画像の明るさに応じて正規化した正規化値と閾値を比較して、あるいは表示画像の２フレーム間の相関係数と閾値を比較して表示画像のシーンチェンジが検出される。さらに、表示画像の画像サイズよりも大きい画像表示領域が設定されて、この画像表示領域に対する表示画像の表示位置が検出された動きベクトルに応じて移動させる。ここで、シーンチェンジが検出されたときには、表示画像の表示位置がシーンチェンジの検出前の表示画像と関連性を有しない位置、すなわちシーンチェンジの検出前の表示画像の表示位置から所定量離れた位置や、所定量離れた位置であると共にシーンチェンジ検出前の表示画像の動きベクトル方向とは異なる位置に設定される。また、シーンチェンジが検出されたときに設定された表示位置は、シーンチェンジが検出されたあとの表示画像の動きベクトルに基づく表示位置の移動方向とは逆方向に移動される。
【００１２】
【発明の実施の形態】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、この発明における画像処理装置を用いた表示システムの全体構成を示している。この表示システムは、例えば３つのスクリーンをユーザの前面と両側面側に配置している。また、各スクリーン１０L，１０C，１０Rに対応させてプロジェクタ１２L，１２C，１２Rを設けている。この各プロジェクタ１２L，１２C，１２Rを用いて画像を投影することにより、３スクリーン分の広範囲の画枠を用いて画像の表示が行われる。プロジェクタ１２L，１２C，１２Rは、画像処理装置２０と接続されている。
【００１３】
画像処理装置２０は、入力画像信号ＳＤinに基づいて画像の動きベクトルやシーンチェンジを検出すると共に、検出した動きベクトルに応じて画像表示位置が移動するように３つの画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給する。また、シーンチェンジを検出したとき、画像処理装置２０は、シーンチェンジ前の連続シーンとは関連性を有しない表示位置に新たなシーンの画像を表示する。
【００１４】
例えば、画像処理装置２０に供給する入力画像信号ＳＤinは、図２Ａに示すようにビデオカメラ１００をパンニングさせて前方から左側に移動する被写体ＯＢaを撮影し、その後シーンの切り替えを行い、図２Ｂに示す被写体ＯＢbを撮影して得た画像信号であるものとする。
【００１５】
各スクリーンのサイズは例えばアスペクト比が「４：３」で表示サイズが「７２０画素×４８０画素」、入力画像信号ＳＤinに基づく画像は、アスペクト比が「１６：９」や映画等で用いられているワイド画像のアスペクト比で表示サイズが「７２０画素×２７０画素」の場合を図３に示す。
【００１６】
画像処理装置２０は、入力画像信号ＳＤinに基づき画像信号ＳＤCを生成してプロジェクタ１２Cに供給し、図３Ａに示すように前方のスクリーン１０Cの中央に入力画像信号ＳＤinに基づく画像を表示させる。その後、表示画像の動きベクトルに応じて入力画像信号ＳＤinに基づき例えば画像信号ＳＤC，ＳＤLを生成してプロジェクタ１２C，１２Lに供給する。このとき、図３Ｂに示すように前方のスクリーン１０Cと左側のスクリーン１０Lを用いて、入力画像信号ＳＤinに基づく画像を、被写体の動きに合わせて前方から左側に移動させた位置に表示させる。また、シーンチェンジを検出したとき、画像処理装置２０は、シーンチェンジ検出前の連続シーンと関連性を有しない表示位置に新たなシーンの画像を表示するよう入力画像信号ＳＤinに基づいて画像信号ＳＤL，ＳＤC，ＳＤRを生成する。例えば、シーンチェンジ検出前の連続シーンにおける動きが図３Ａ，図３Ｂで示したように前方から左方向に移動する場合、新たなシーンの表示位置を連続シーンの表示位置と関連した位置、すなわち連続シーンの表示位置である図３Ｂの表示位置や、連続シーンにおける表示画像の移動方向である図３Ｃの破線で示す位置とすると、連続シーンの動きが停止あるいは動きがさらに続いているものと判断されて、新たなシーンに切り替えられたことを判別しにくい。このため、例えば入力画像信号ＳＤinに基づき画像信号ＳＤCを生成してプロジェクタ１２Cに供給し、図３Ｃに示すように、シーンチェンジ検出前の連続シーンと関連性を有しない表示位置である例えばスクリーン１０Cの中央に新たなシーンの画像を表示させる。
【００１７】
図４は、画像処理装置２０の概略構成を示している。画像処理装置２０は、入力画像信号ＳＤinをシーンチェンジ検出部２１と動き検出部２２と画像位置移動部２３に供給する。
【００１８】
シーンチェンジ検出部２１は、入力画像信号ＳＤinに基づいてシーンチェンジ検出、すなわち連続シーンとこの連続シーンとは異なるシーンとの繋ぎ目部分である画像の不連続位置を検出する。図５は、シーンチェンジ検出部２１の概略構成を示しており、例えば２フレーム分の画像信号を用いて連続するシーンであるか否かを検出するものである。
【００１９】
シーンチェンジ検出部２１の遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして差分平均算出回路２１２に供給する。差分平均算出回路２１２は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、２フレーム間の差分平均値Ｄavを算出して正規化回路２１４に供給する。この差分平均値Ｄavの算出は、各画素における２フレーム間の輝度レベルの差分値を算出して、得られた差分値の平均値を差分平均値Ｄavとして正規化回路２１４に供給する。なお、１フレームの画像の画素数が「Ｎ」で、入力画像信号ＳＤinに基づく輝度レベルを「ＹＣ」、遅延画像信号ＳＤaに基づく輝度レベルを「ＹＰ」としたとき、差分平均値Ｄavは式（１）に基づいて算出できる。
【００２０】
【数１】
0003832362.tif 000002
【００２１】
ここで、差分平均値Ｄavは、画像の輝度レベルによって大きく変化する。例えば明るい画像の場合、シーンの切り替えが行われなくとも画像の一部が暗い画像に変化するだけで差分平均値Ｄavが大きくなってしまう。一方、暗い画像の場合、シーンの切り替えが行われても輝度レベルの変化が小さいことから差分平均値Ｄavは大きくならない。このため、シーンチェンジ検出部２１に正規化回路２１４を設けるものとして、画像の明るさに応じた差分平均値Ｄavの正規化を行い、画像の明るさの影響を少なくして正しくシーンチェンジ検出を可能とする。
【００２２】
輝度平均算出回路２１３は、入力画像信号ＳＤinに基づき、各画素の輝度レベルに基づき１フレームにおける輝度レベルの平均値を算出して輝度平均値Ｙavとして正規化回路２１４に供給する。なお、上述のように１フレームの画像の画素数が「Ｎ」で入力画像信号ＳＤinに基づく画素の輝度レベルを「ＹＣ」としたとき、輝度平均値Ｙavは式（２）に基づいて算出できる。
【００２３】
【数２】
0003832362.tif 000003
【００２４】
正規化回路２１４は、画像の明るさに応じた差分平均値Ｄavの正規化を行う。すなわち、式（３）に示すように、画像の明るさを示す輝度平均値Ｙavに応じて差分平均値Ｄavを補正して差分平均正規化値（以下単に「正規化値」という）Ｅを生成する。
Ｅ＝Ｄav／Ｙav        ・・・（３）
この正規化回路２１４で生成された正規化値Ｅは、判定回路２１５に供給される。
【００２５】
判定回路２１５は、予め設定された閾値Ｌrを有しており、正規化値Ｅと閾値Ｌrを比較して、正規化値Ｅが閾値Ｌr以下でないときにはシーンチェンジと判定する。また、正規化値Ｅが閾値Ｌr以下であるときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１５は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。
【００２６】
このように、正規化回路２１４は画像の明るさに応じた差分平均値Ｄavの正規化を行い、判定回路２１５は正規化値Ｅを用いてシーンチェンジであるか連続シーンであるかの判別を行うので、画像の明るさの影響を少なくして正しくシーンチェンジを検出できる。
【００２７】
図６は、フレーム位置と正規化値Ｅの関係を例示的に示したものである。ここで、閾値Ｌrが「０．４」に設定されている場合、正規化値Ｅが「０．４」を超えるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００２８】
ところで、上述のシーンチェンジ検出部２１では、１フレーム内の全画素の信号を用いて、シーンチェンジ検出を行うものとしたが、全画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出すると、演算処理に時間を要してしまう。また、演算処理に要する時間を短くするために演算処理を高速化すると、演算処理コストが膨大となってしまう。このため、画素の間引き例えば図７に示すように１フレームの画像を８×４画素の領域に区分して各領域から斜線で示すように１画素だけを選択することで画素の間引きを行い、選択された画素の信号を用いて差分平均値Ｄavや輝度平均値Ｙavを算出する。このように、画素の間引きを行うものとすれば、演算量が少なくなるので演算処理を簡単に行うことができると共に、演算処理を高速に行う必要がなく演算処理コストが膨大となってしまうことも防止できる。
【００２９】
また、上述のシーンチェンジ検出部２１では、正規化値Ｅを用いてシーンチェンジ検出を行うものとしたが、２フレーム間の画像の相関係数ｒを求めて、この相関係数ｒと閾値を比較することで、精度良くシーンチェンジ検出を行うこともできる。図８は、相関係数ｒを用いる場合のシーンチェンジ検出部の構成を示している。遅延回路２１１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤaとして相関係数算出回路２１６に供給する。相関係数算出回路２１６は、入力画像信号ＳＤinと遅延画像信号ＳＤaに基づき、相関係数ｒの算出を行う。
【００３０】
ここで、１フレームの画像の画素数を「Ｎ」、最初のフレームの画像信号に基づく画素の輝度レベルを「ＹＦ」、次のフレームの画像信号に基づく画素の輝度レベルを「ＹＳ」、最初のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＦav」、次のフレームの画像信号に基づく画素の輝度レベル平均を「ＹＳav」としたとき、相関係数ｒは式（４）を用いて算出できる。
【００３１】
【数３】
0003832362.tif 000004
【００３２】
この相関係数算出回路２１６で算出された相関係数ｒは、判定回路２１７に供給される。
判定回路２１７は、予め設定された閾値Ｌrを有しており、相関係数ｒと閾値Ｌrを比較して、相関係数ｒが閾値Ｌr以下であるときにはシーンチェンジと判定する。また、相関係数ｒが閾値Ｌr以下でないときにはシーンチェンジでない連続シーンと判定する。さらに、判定回路２１７は、この判定結果を示すシーンチェンジ検出信号ＳＣを生成して、図４の動き検出部２２と画像位置移動部２３に供給する。なお、図９は、フレーム位置と相関係数ｒの関係を例示的に示したものである。ここで、閾値Ｌrが例えば「０．４」に設定されている場合、相関係数ｒが「０．４」以下となるフレーム位置をシーンチェンジ検出位置Ｐscとする。
【００３３】
動き検出部２２は、シーンチェンジ検出部２１からのシーンチェンジ検出信号ＳＣによって連続シーンであることが示されたフレームに関して動きベクトルの検出を行い、表示面積の広い部分の動きベクトル例えば背景部分の動きベクトルを検出する。図１０は、動き検出部２２の構成を示しており、例えばブロックマッチング方法を用いて動きベクトルの検出を行う場合である。
【００３４】
動き検出部２２の遅延回路２２１は、入力画像信号ＳＤinを１フレーム遅延させて遅延画像信号ＳＤbとして画像位置切替回路２２２に供給する。画像位置切替回路２２２は、遅延画像信号ＳＤbに基づく画像の位置を、予め設定された動き探索範囲内で水平方向や垂直方向に順次変更して新たな画像信号ＳＤcを順次生成する。この生成された画像信号ＳＤCは、差分演算回路２２３に供給される。また、画像位置切替回路２２２は、画像の移動方向と移動量を示す動きベクトルＭＶを最小値判定回路２２４に供給する。
【００３５】
差分演算回路２２３は、画像信号ＳＤcと入力画像信号ＳＤinとの差分値ＤＭを順次算出して、最小値判定回路２２４に供給する。
【００３６】
最小値判定回路２２４は、差分値ＤＭと、この差分値ＤＭの算出に用いた画像信号ＳＤcを生成する際の動きベクトルＭＶとを関係付けて保持する。また、画像位置切替回路２２２で動き探索範囲内での画像の移動を完了したとき、最小値判定回路２２４は、保持している差分値ＤＭから最小値を判別して、この最小値となる差分値ＤＭと関係付けて保持されている動きベクトルＭＶを、動き検出情報ＭＶＤとして図４の画像位置移動部２３に供給する。
【００３７】
ところで、シーンチェンジ検出信号ＳＣによってシーンチェンジが検出されたことが示された後に再度連続シーンであることが示された場合、シーンチェンジ後の画像の移動方向は予測できない。このため、画像位置切替回路２２２は、シーンチェンジ検出後の最初の動きベクトルの検出時に、動き探索範囲を遅延画像信号ＳＤbに基づく画像の位置を中心として設定する。このように動き探索範囲を設定すれば、シーンの切り替えが生じた後でも正しく画像の動きベクトルを検出できる。
【００３８】
また、連続シーンでは画像の動きも連続していることが多い。このため、最小値判定回路２２４は、動き検出情報ＭＶＤを画像位置切替回路２２２にも供給するものとし、画像位置切替回路２２２は、次に画像の動きベクトルを判別する際の動き探索範囲の中心を、動き検出情報ＭＶＤに基づいて設定する。このように、画像の動きベクトルに応じて次に動きベクトルの検出を行う際での動き探索範囲を設定すれば、動き探索範囲をシーンチェンジ検出後の最初の動きベクトルの検出時に比べて狭くしても、正しく画像の動きベクトルを検出することが可能となり、動きベクトルの検出を効率よく速やかに行うことができる。
【００３９】
図４に示す画像位置移動部２３は、表示画像の画像サイズよりも大きい画像表示領域を設定して、動き検出部２２で検出された動きベクトルに応じて画像の表示位置を移動させると共に、シーンチェンジ検出部２１でシーンチェンジが検出されたときには、表示画像の表示位置をシーンチェンジの検出前の表示画像と関連性を有しない表示位置とする。また、例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されており、この３つの領域を使用して画像表示を行う場合、画像位置移動部２３は、決定した表示位置に基づき画像表示領域に応じた画像信号ＳＤL，ＳＤC，ＳＤRを生成し、画像信号ＳＤLをプロジェクタ１２L、画像信号ＳＤCをプロジェクタ１２C、画像信号ＳＤRをプロジェクタ１２Rに供給することで、スクリーン１０L，１０C，１０Rを使用して画像表示を行う。
【００４０】
図１１は、画像位置移動部２３の構成を示している。画像位置移動部２３の画像位置決定回路２３１は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。ここで、シーンチェンジ検出信号ＳＣによって連続シーンであることが示されたとき、画像位置決定回路２３１は、前フレームの画像の表示位置に対して、動き検出情報ＭＶＤで示された動きベクトルとは逆方向に動き量分だけ表示位置を移動させる。このように、動き検出情報ＭＶＤで示された動きベクトルとは逆方向に動き量分だけ表示位置を移動させると、動き検出部２２によって動きベクトルが検出された表示面積の広い部分例えば背景画像の位置が前フレームの画像と等しくなり、被写体を動きに合わせて画像の表示位置を移動させることができる。画像位置決定回路２３１は、このようにして決定した表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。また、シーンチェンジ検出信号ＳＣによってシーンチェンジが検出されたことが示されたとき、画像位置決定回路２３１は、入力画像信号ＳＤinに基づく画像を、シーンチェンジ検出前の連続シーンと関連性を有しない位置に表示するように表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。また、画像位置決定回路２３１は、入力画像信号ＳＤinに基づく画像を最初に表示する際に、最初の画像を例えば画像表示領域の中央に表示するよう表示位置を決定して、この表示位置を示す位置情報ＰＤを書込読出制御回路２３２に供給する。
【００４１】
ここで、位置情報ＰＤに基づいて画像の表示位置を切り換える場合、例えば上述のように画像表示領域が３つの領域（スクリーン１０L，１０C，１０R）に区分されているときには、入力画像信号ＳＤinと位置情報ＰＤに基づき、各領域に対して画像表示を行うための画像信号ＳＤL，ＳＤC，ＳＤRを生成しなければならない。このため、３つのスクリーン１０L，１０C，１０Rで構成される領域を画像表示表示領域として設定して、例えば画像表示領域に対応した記憶領域を有する画像メモリ２３４を設けるものとする。また、書込読出制御回路２３２は、画像メモリ２３４に入力画像信号ＳＤinを書き込む際の書込位置を、位置情報ＰＤに基づいて表示位置に対応させる。このように入力画像信号ＳＤinを書き込むものとすれば、スクリーンの領域に対応した画像メモリ２３４の記憶領域の画像信号を用いることで、画像信号ＳＤL，ＳＤC，ＳＤRを容易に生成できる。
【００４２】
書込読出制御回路２３２は、画像メモリ２３４に画像信号の書き込むための書込制御信号ＷＣと、画像メモリ２３４に書き込まれている画像信号を読み出すための読出制御信号ＲＣを生成して、画像メモリ２３４に供給する。ここで、書込読出制御回路２３２は、上述したように画像位置決定回路２３１で決定された表示位置と対応する画像メモリ２３４の記憶領域の位置に画像信号を記憶させるため、位置情報ＰＤに基づいて書込制御信号ＷＣを生成する。
【００４３】
遅延回路２３３は、シーンチェンジ検出部２１と動き検出部２２と画像位置決定回路２３１および書込読出制御回路２３２での処理時間に応じて入力画像信号ＳＤinを遅延させることにより、入力画像信号ＳＤinに基づく画像とこの画像の位置情報ＰＤに基づいて生成した書込制御信号ＷＣとのタイミング調整を行う。この遅延回路２３３で遅延された入力画像信号ＳＤinは、画像信号ＳＤdとして画像メモリ２３４に供給される。
【００４４】
画像メモリ２３４は、書込制御信号ＷＣに基づき、画像位置決定回路２３１で決定された表示位置に対応する記憶領域に画像信号ＳＤdを記憶する。なお、画像信号ＳＤdが記憶されていない領域には、例えば黒表示となる信号を記憶させる。また、画像メモリ２３４は、書込読出制御回路２３２からの読出制御信号ＲＣに基づき、記憶領域に記憶されている画像信号を読み出して画像信号ＳＤeとして画像分割回路２３５に供給する。
【００４５】
画像分割回路２３５は、画像信号ＳＤeから例えばスクリーン１０Lに対応する記憶領域の信号を用いて画像信号ＳＤLを生成する。同様に、スクリーン１０C，１０Rに対応する記憶領域の信号を用いて画像信号ＳＤC，ＳＤRを生成する。このようにして生成した画像信号ＳＤLをプロジェクタ１２Ｌ、画像信号ＳＤCをプロジェクタ１２Ｃ、画像信号ＳＤRをプロジェクタ１２Ｒにそれぞれ供給することにより、複数のスクリーンを利用して１つ画像を表示できると共に、表示画像が複数のスクリーンに跨るときには、表示画像がスクリーン毎に分割されて表示される。また、画像信号ＳＤdが記憶されていない領域に黒表示となる信号を記憶させたときには、入力画像信号ＳＤinに基づく画像の周囲が黒表示となる。
【００４６】
なお、画像位置移動部２３は、シーンチェンジ検出信号ＳＣと動き検出情報ＭＶＤに基づき表示位置を決定して、この決定した表示位置に基づき画像表示領域に応じた画像信号を生成するものであれば良く、画像メモリ２３４に対する画像信号の書込位置を表示位置に応じて制御するものに限られるものではない。例えば、画像信号を所定の位置に記憶させると共に、記録されている信号の読出位置を表示位置に基づいて制御することでも、画像信号ＳＤL，ＳＤC，ＳＤRを生成できる。
【００４７】
次に、画像処理装置２０の動作について図１２を用いて説明する。なお、説明を簡単とするため動き検出情報ＭＶＤで示される動きベクトル方向の水平方向成分についてのみ説明する。図１２Ａは入力画像信号ＳＤinに基づく画像であり、フレームＦ(1)〜フレームＦ(k)が連続フレームで、フレームＦ(k+1)から新たなシーンとなる場合を示している。また、図１２Ｃは画像メモリ２３４の記憶領域を示している。
【００４８】
最初のフレームＦ(1)の場合、画像位置決定回路２３１は、表示位置を画像表示範囲の中央とするように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像表示範囲の中央と対応する画像メモリ２３４の領域ＡＲ1にフレームＦ(1)の画像信号を記憶させる。
【００４９】
次のフレームＦ(2)はフレームＦ(1)に連続するフレームであることから、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、連続シーンであることを示すものとなる。このとき、動き検出部２２は、フレームＦ(1)とフレームＦ(2)の画像信号を用いて全画面動き検出を行い、表示面積の広い部分である例えば背景画像の動きベクトルを検出して、この検出結果を示す動き検出情報ＭＶＤを画像位置決定回路２３１に供給する。この場合、動き検出情報ＭＶＤは、図１２Ｂの矢印Ｍaで示すように、表示面積の広い部分である背景画像の動きベクトルを示すものとなる。
【００５０】
画像位置決定回路２３１は、動き検出情報ＭＶＤに基づき、背景画像の表示位置が前フレームと等しくなるように位置情報ＰＤを生成して書込読出制御回路２３２に供給する。書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、図１２Ｃに示すように、前フレームの画像記憶位置から矢印Ｍaと方向が逆であると共に同じ動き量である矢印Ｍbの動きベクトル分だけ移動させた領域ＡＲ2に、フレームＦ(2)の画像信号を記憶させる。以下同様にして連続シーンの画像信号は、動き検出部２２での動き検出結果に基づいて移動された領域に記憶させる。
【００５１】
入力画像信号ＳＤinがフレームＦ(k)からフレームＦ(k+1)となると、シーンチェンジ検出部２１は、フレームＦ(k)とフレームＦ(k+1)と画像信号を用いて算出した正規化値Ｅや相関係数ｒに基づき、このシーンチェンジ位置を検出する。また、シーンチェンジ検出部２１から出力されるシーンチェンジ検出信号ＳＣは、シーンチェンジであることを示すものとなる。このとき、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連を有しない位置に新たなシーンの画像を表示するように表示位置を設定する。
【００５２】
ここで、画像位置決定回路２３１は、シーンチェンジが検出されるまでの連続フレームに対して表示位置の決定を行っていることから、既に決定した表示位置を参考として、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とする。例えば連続フレームの最終画像の表示位置から所定量離れた位置、あるいは最後の画像の表示位置が画像表示領域の中心から離れているときには、画像表示領域の中心に表示位置を設定する。また、連続フレームの画像の動き方向とは逆方向に所定量だけ離した位置を表示位置とすることもできる。このように、画像位置決定回路２３１は、シーンチェンジ検出前の連続シーンと関連性を有しない位置を表示位置とした位置情報ＰＤを生成して、書込読出制御回路２３２に供給する。
【００５３】
書込読出制御回路２３２は、位置情報ＰＤに基づき書込制御信号ＷＣを生成して画像メモリ２３４に供給し、画像メモリ２３４の記憶領域における例えば画像表示範囲の中央と対応する領域ＡＲ1にフレームＦ(k+1)の画像信号を記憶させる。
【００５４】
また、書込読出制御回路２３２は、読出制御信号ＲＣを生成して画像メモリ２３４に供給すると共に、画像メモリ２３４は記憶して画像信号を読出制御信号ＲＣに基づいて読み出して画像分割回路２３５に供給する。画像分割回路２３５は、画像メモリ２３４の記憶領域が画像表示領域に対応して設けられていることから、スクリーン１０Lと対応する記憶領域ＢＡLから読み出した信号に基づいて画像信号ＳＤLを生成する。またスクリーン１０Cと対応する記憶領域ＢＡCから読み出した信号に基づいて画像信号ＳＤCを生成すると共に、スクリーン１０Rと対応する記憶領域ＢＡRから読み出した信号に基づいて画像信号ＳＤRを生成する。なお、画像の無い部分の信号レベルは上述のように黒表示として、画像表示領域には、入力画像信号ＳＤinに基づく画像のみを表示させる。
【００５５】
なお、上述の説明は画像の動きベクトルが左右方向である場合を示したが、動きベクトル方向が上下方向の成分を有しているときには、画像メモリ２３４に対する画像信号の書込位置を上下方向の画像の移動に合わせて変更することで対応する。
【００５６】
このようにして生成した画像信号ＳＤL，ＳＤC，ＳＤRをプロジェクタ１２L，１２C，１２Rに供給することで、画像の表示位置が被写体の動きに応じて移動される。また、シーンチェンジが検出されたとき、シーンチェンジ検出前のシーンと関連性を有しない表示位置にシーンチェンジ検出後の画像が表示されるので、現実空間との不整合を少なくして、現実世界に忠実で臨場感の高い画像表示を行ったときに、シーンの切り替えが行われたことを容易に判別できる。
【００５７】
ところで、図１に示すように、画像表示領域が視聴者の周囲全体に設けられていない場合、表示位置を順次移動させていくと、表示画像が画像表示領域からはみ出してしまう場合が生ずる。このような場合、画像位置決定回路２３１では、画像の動き量に係らず表示位置の移動を制限する。例えば表示画像の位置が表示領域の左側端部となったときには、左方向への表示位置の移動を禁止する。また、上方向や下方向および右方向に対しても表示画像の位置が表示領域の端部となったときには、表示位置の移動を禁止する。このように、表示画像の位置が表示領域の端部となったときには、表示位置の移動を禁止することで、表示画像が欠けてしまうことを防止できる。また、このような状態でシーンチェンジが検出されたときには、例えば画像の表示位置を画像表示領域の中央に設定することで、シーンの切り替えが行われたことを容易に判別できる。
【００５８】
さらに、上述の遅延回路２３３での遅延量を更に１フレーム分以上多く遅延させるものとして、シーンチェンジ後の新たなシーンの動き検出情報ＭＶＤに基づいてシーンチェンジ後の表示位置を、新たなシーンの動き検出情報ＭＶＤに基づく表示位置の移動方向とは逆方向に移動させることにより画像表示領域を有効に活用できる。例えば、シーンチェンジと判別された図１２ＡのフレームＦ(k+1)に対して次のフレームＦ（k+2）の背景画像が右方向に移動する場合、フレームＦ（k+2)の画像表示位置は左方向に移動する。このため、新たなシーンであるフレームＦ(k+1)の画像の表示位置は、新たなシーンの動き検出情報ＭＶＤに基づき、その後の表示位置の移動方向を考慮して調整する。すなわち、シーンチェンジ後の表示位置が設定されたとき、この表示位置を次に移動させる方向とは逆方向である右方向にオフセットさせる。例えば画像信号の記憶位置を図１２Ｃに示す容易に領域ＡＲ1から破線で示す領域ＡＲofの位置にオフセットさせる。このようにすれば、画像の移動方向の画像表示領域を広くできるので、シーンの切り替えを容易に判別できるだけでなく、画像表示領域を有効に活用してシーンチェンジ後の画像の表示を行うことができる。
【００５９】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図１３に示す。コンピュータは、図１３に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２，ＲＡＭ３０３，ハード・ディスク・ドライブ３０４，入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２，通信部３１３，画像信号入力部３１４，画像信号出力部３１５が接続されている。
【００６０】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【００６１】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはハード・ディスク・ドライブ３０４には、上述の画像処理装置と同様な処理をコンピュータで実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号ＳＤinに基づき画像信号ＳＤL，ＳＤC，ＳＤRを生成して、画像信号出力部３１５から出力する。また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出してコンピュータで実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムをコンピュータで実行するものとしても良い。
【００６２】
図１４は、画像処理プログラムの全体構成を示すフローチャートである。ステップＳＴ１ではシーン判別を行う。図１５は、このシーン判別動作を示すフローチャートである。ステップＳＴ１１では、フレーム間の差分平均値Ｄavと１フレームの輝度平均値Ｙavを算出してステップＳＴ１２に進む。
【００６３】
ステップＳＴ１２は、輝度平均値Ｙavを用いて差分平均値Ｄavの正規化を行い正規化値Ｅを算出する。
ステップＳＴ１３は、正規化値Ｅと閾値Ｌrを比較してシーンチェンジであるか否かを判別する。ここで、正規化値Ｅが閾値Ｌr以下であるときにはステップＳＴ１４に進み、連続シーンと判別してシーン判別を終了する、また、正規化値Ｅが閾値Ｌrよりも大きいときにはステップＳＴ１５に進み、シーンチェンジであると判別してシーン判別を終了する。
【００６４】
なお、シーン判別動作では、上述のように相関係数ｒを算出して、この相関係数ｒと閾値Ｌrを比較してシーンチェンジであるか否かを判別するものとしても良い。この場合、ステップＳＴ２１とステップＳＴ２２の処理に替えて、上述の式（４）で示した相関係数ｒの算出を行い、ステップＳＴ２３では相関係数ｒが閾値よりも小さくないときにはステップＳＴ２４に進み連続シーンと判別する。また相関係数ｒが閾値よりも小さいときにはステップＳＴ２５にシーンチェンジであると判別する。
【００６５】
図１４のステップＳＴ２は、ステップＳＴ１のシーン判別でのシーン判別結果がシーンチェンジであるか否かを判別する。ここで、シーンチェンジと判別されたときにはステップＳＴ３に進み、シーンチェンジでない、すなわち連続シーンと判別されたときにはステップＳＴ４に進む。
【００６６】
ステップＳＴ３は、新たなシーンの表示位置設定を行う。この表示位置設定では、シーンチェンジ検出前の連続シーンと関連性を有しない位置に新たなシーンの画像を表示するように表示位置を設定してステップＳＴ６に進む。
ステップＳＴ４は、動き検出を行う。この動き検出では、全画面動き検出を行い、表示面積の広い部分の動きベクトルを検出してステップＳＴ５に進む。
【００６７】
ステップＳＴ５は、ステップＳＴ４で検出された動きベクトルに基づき画像の表示位置を移動させる。ここで、動きベクトルは表示面積の広い例えば背景部分の動き方向と動き量を示している。このため、背景部分の画像を固定して表示できるように、動きベクトルとは逆方向であると共に等しい検出した動き量分だけ表示位置を移動させてステップＳＴ６に進む。
【００６８】
ステップＳＴ６は、出力画像の分割処理を行う。ここで、図１に示すように３つのスクリーンを１つの画像表示領域として用いる場合、表示位置が移動されて表示画像が複数のスクリーンに跨って表示される場合でも、正しく画像を表示できるように、画像の分割を行い、各スクリーンに応じた画像信号ＳＤL，ＳＤC，ＳＤRを生成する。このように入力画像信号ＳＤinをコンピュータで処理して画像信号ＳＤL，ＳＤC，ＳＤRを生成するものとしても、同様の作用効果を得ることができる。
【００６９】
なお、上述の実施の形態におけるスクリーンやプロジェクタは例示的なものであり、表示画像サイズよりも画像表示領域が大きければ、本願発明のように現実世界に忠実で臨場感の高い画像表示が可能であると共にシーンの切り替えを容易に識別できる。
【００７０】
また、映画館などでは、大型な表示系を設備として導入することが可能であることから、臨場感を一層高めた画像表示を行うことが可能であるが、このような場合にも上述のようにシーンチェンジ検出後の画像表示位置を制御することでシーンの切り替えの識別を容易とすることができる。
【００７１】
【発明の効果】
この発明によれば、シーンチェンジが検出されたときには、表示画像の表示位置がシーンチェンジの検出前の表示画像と関連性を有しない表示位置とされる。このため、シーンチェンジが行われたことを容易に識別できる。
【００７２】
また、表示画像の２フレーム間の輝度レベル差分値を前記表示画像の明るさに応じて正規化した正規化値と閾値を比較してシーンチェンジの検出を行うことで、表示画像の明るさの影響を受けることなくシーンチェンジを検出できる。また、表示画像の２フレーム間の相関係数と閾値を比較してシーンチェンジ検出を行うことで、精度良くシーンチェンジを検出できる。
【００７３】
また、シーンチェンジが検出されたときの表示位置として、シーンチェンジ検出前の表示画像の表示位置から所定量離れた位置、あるいは所定量離れた位置であると共にシーンチェンジ検出前の表示画像の動きベクトルの動き方向とは異なる位置が設定される。このため、シーンチェンジが行われたことを容易かつ誤り無く識別できる。
【００７４】
さらに、シーンチェンジが検出されたときに設定された表示位置は、シーンチェンジが検出されたあとの表示画像の動きベクトルに基づく表示位置の移動方向とは逆方向に移動されるので、画像表示領域を有効に利用して画像表示を行うことができる。
【図面の簡単な説明】
【図１】画像表示システムの構成を示す図である。
【図２】入力画像信号の生成動作を示す図である。
【図３】画像表示状態を示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】シーンチェンジ検出部の構成を示す図である。
【図６】フレーム位置と正規化値の関係を示す図である。
【図７】画素間引きを示す図である。
【図８】シーンチェンジ検出部の他の構成を示す図である。
【図９】フレーム位置と相関係数の関係を示す図である。
【図１０】動き検出部の構成を示す図である。
【図１１】画像位置移動部の構成を示す図である。
【図１２】画像処理装置の動作を説明するための図である。
【図１３】コンピュータを用いたときの構成を示す図である。
【図１４】画像処理プログラムの全体構成を示すフローチャートである。
【図１５】シーン判別の動作を示すフローチャートである。
【符号の説明】
１０L，１０C，１０R・・・スクリーン、１２L，１２C，１２R・・・プロジェクタ、２０・・・画像処理装置、２１・・・シーンチェンジ検出部、２２・・・動き検出部、２３・・・画像位置移動部、２１１，２２１，２３３・・・遅延回路、２１２・・・差分平均算出回路、２１３・・・輝度平均算出回路、２１４・・・正規化回路、２１５，２１７・・・判定回路、２１６・・・相関係数算出回路、２２２・・・画像位置切替回路、２２３・・・差分演算回路、２２４・・・最小値判定回路、２３１・・・画像位置決定回路、２３２・・・書込読出制御回路、２３４・・・画像メモリ、２３５・・・画像分割回路、３０１・・・ＣＰＵ、３０２・・・ＲＯＭ、３０３・・・ＲＡＭ、３１４・・・画像信号入力部、３１５・・・画像信号出力部
【図１】
0003832362.tif 000005
【図２】
0003832362.tif 000006
【図３】
0003832362.tif 000007
【図４】
0003832362.tif 000008
【図５】
0003832362.tif 000009
【図６】
0003832362.tif 000010
【図７】
0003832362.tif 000011
【図８】
0003832362.tif 000012
【図９】
0003832362.tif 000013
【図１０】
0003832362.tif 000014
【図１１】
0003832362.tif 000015
【図１２】
0003832362.tif 000016
【図１３】
0003832362.tif 000017
【図１４】
0003832362.tif 000018
【図１５】
0003832362.tif 000019