(57)【特許請求の範囲】
【請求項１】
動画像中の１の画面である第１の画面と、この第１の画面の直前の第２の画面との第１の変化量を検出する第１の変化量検出手段と、
上記第１の画面と、先に検出した検出画面との第２の変化量を検出する第２の変化量検出手段と、
上記第２の変化量を第２の閾値と比較し、この第２の変化量がこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より小さいときは第１の画面を検出する画面検出手段と、
上記画面検出手段により検出した第１の画面を検出画面として出力する出力手段とを備えることを特徴とする画像検出装置。
【請求項２】
上記画面検出手段は、上記第２の変化量が第２の閾値より小さいときはこの第２の閾値を所定量少なくし、第２の変化量が連続してこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、第１の変化量が第１の閾値より大きいときは第１の閾値を所定量多くし、第１の変化量が第１の閾値より小さいときは第１の画面を検出するとともに第２の閾値を所定量多くすることを特徴とする請求項１に記載の画像検出装置。
【請求項３】
上記第１の閾値及び第２の閾値は、第１の閾値＜第２の閾値の条件を満たす互いに連動した値であることを特徴とする請求項２に記載の画像検出装置。
【請求項４】
上記検出画面を記録媒体に記録する記録手段を備えることを特徴とする請求項１に記載の画像検出装置。
【請求項５】
検出した画面を伝送する伝送手段を備えることを特徴とする請求項１に記載の画像検出装置。
【請求項６】
動画像中の１の画面である第１の画面と、この第１の画面の直前の第２の画面との第１の変化量を検出し、
上記第１の画面と、先に検出した検出画面との第２の変化量を検出し、
上記第２の変化量を第２の閾値と比較し、この第２の変化量がこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より小さいときは第１の画面を検出し、
検出した第１の画面を検出画面として出力することを特徴とする画像検出方法。
【請求項７】
上記第２の変化量が第２の閾値より小さいときはこの第２の閾値を所定量少なくし、第２の変化量が連続してこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、第１の変化量が第１の閾値より大きいときは第１の閾値を所定量多くし、第１の変化量が第１の閾値より小さいときは第１の画面を検出するとともに第２の閾値を所定量多くすることを特徴とする請求項６に記載の画像検出方法。
【請求項８】
上記第１の閾値及び第２の閾値は、第１の閾値＜第２の閾値の条件を満たす互いに連動した値であることを特徴とする請求項７に記載の画像検出方法。
【請求項９】
上記検出画面を記録媒体に記録することを特徴とする請求項６に記載の画像検出方法。
【請求項１０】
上記検出画面を伝送することを特徴とする請求項６に記載の画像検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像から間欠画像を生成する際に用いる画像検出装置及び画像検出方法に関する。
【０００２】
【従来の技術】
映像信号を高速で再生して検索を行いたい場合や、映像信号を画像をコマ落としで再生して記録媒体に記録したり伝送したい場合に、一定の時間間隔ごとの画像を再生したり表示したりするための間欠画像の生成手法が知られている。
【０００３】
【発明が解決しようとする課題】
ところが、このように間欠画像を生成する際に、必ずしも適切な画面が選択されるとは限らない。このため、動画像を間欠画像にすることにより、この動画像の内容把握が困難となる場合がある。
【０００４】
また、記録されている映像のシーンチェンジ位置を検出して、映像信号をカット点によって意味のあるシーンごとに分割して編集する編集用機器などもあるが、特殊効果等によりカット点の特徴量の変化が小さい場合や光などの特徴量の変化が激しいがカット点ではない画面の検出等は困難であった。
【０００５】
本発明は、このような実情を鑑みてなされたものであり、動画像からコマ落としをして間欠画像を生成する場合や高速再生をする場合に、内容の把握をしやすい間欠画像及び高速再生画像を検出する画像検出装置及び画像検出方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る画像検出装置は、動画像中の１の画面である第１の画面と、この第１の画面の直前の第２の画面との第１の変化量を検出する第１の変化量検出手段と、上記第１の画面と、先に検出した検出画面との第２の変化量を検出する第２の変化量検出手段と、上記第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より大きい場合に上記第１の画面を検出し、上記第２の変化量を第２の閾値と比較し、この第２の変化量がこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より小さいときは第１の画面を検出する画面検出手段と、上記画面検出手段により検出した第１の画面を検出画面として出力する出力手段とを備えることを特徴とする。
【０００７】
この画像検出装置では、画面検出手段が第１の変化量検出手段により検出される動画像中の第１の画面の直前の第２の画面との第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より大きい場合に上記第１の画面を検出することにより、出力手段が上記動画像の内容に応じた間欠画像を出力し、さらに、第２の変化量検出手段により検出される上記第１の画面と、先に検出した検出画面との第２の変化量を第２の閾値と比較し、この第２の変化量がこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より小さいときは第１の画面を検出ことにより、変化が収束した場合に画面を検出し、出力手段が間欠画像を出力する。
【００１２】
さらに、本発明に係る画像検出装置は、上記画面検出手段が、上記第２の変化量が第２の閾値より小さいときはこの第２の閾値を所定量少なくし、第２の変化量がこの第２の閾値より大きいと連続して２度判断した場合にはさらに上記第１の変化量を第１の閾値と比較し、第１の変化量が第１の閾値より大きいときは第１の閾値を所定量多くし、第１の変化量が第１の閾値より小さいときは第１の画面を検出するとともに第２の閾値を所定量多くすることを特徴とする。
【００１３】
この画像検出装置では、画面検出手段が変化量の比較をする第１及び第２の閾値を可変して画面を検出し、出力手段が平均的な間欠間隔の間欠画像を出力する。
【００１４】
また、上述の課題を解決するために、本発明に係る画像検出方法は、動画像中の１の画面である第１の画面と、この第１の画面の直前の第２の画面との第１の変化量を検出し、上記第１の画面と、先に検出した検出画面との第２の変化量を検出し、上記第２の変化量を第２の閾値と比較し、この第２の変化量がこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より小さいときは第１の画面を検出し、検出した第１の画面を検出画面として出力することを特徴とする。
【００１５】
この画像検出方法では、動画像の変化量を第１の閾値と比較して画面を検出し、この動画像の内容に応じた間欠画像を出力する。
【００２０】
さらに、本発明に係る画像検出方法は、上記第２の変化量が第２の閾値より小さいときはこの第２の閾値を所定量少なくし、第２の変化量がこの第２の閾値より大きいと連続して２度判断した場合にはさらに上記第１の変化量を第１の閾値と比較し、第１の変化量が第１の閾値より大きいときは第１の閾値を所定量多くし、第１の変化量が第１の閾値より小さいときは第１の画面を検出するとともに第２の閾値を所定量多くすることを特徴とする。
【００２１】
この画像検出方法では、変化量の比較をする第１及び第２の閾値を可変して画面を検出し、平均的な間欠間隔の間欠画像を出力する。
【００２２】
【発明の実施の形態】
以下、本発明の第１の実施の形態である画像検出装置について、図面を参照しながら説明する。
【００２３】
図１は、本発明の第１の実施の形態である画像検出装置１のブロック構成図である。画像検出装置１は、映像信号が入力される入力信号処理回路２と、第１の画像メモリ３と、第２の画像メモリ４と、各画像メモリ３，４に記憶された画像から変化量を検出する変化量検出回路５と、各画像メモリ３，４及び変化量検出回路５等を制御して間欠画像を出力する代表画面検出制御回路６とを備える。
【００２４】
このような構成の画像検出装置１は、入力された動画像である映像信号から間欠画像を生成するために代表画面を検出するものである。
【００２５】
この画像検出装置１に入力される映像信号は、動画像の映像信号であり例えば記録媒体に記録されている映像信号や伝送された映像信号である。この映像信号が入力信号処理回路２に供給される。
【００２６】
入力信号処理回路２は、入力された映像信号を適切な信号レベルに変換する処理、エラー訂正処理、画像圧縮がされている場合は対応したデコード処理、また、輝度信号と色信号とに分離する処理等を行う。すなわち、入力信号処理回路２は、第１，第２の画像メモリ３，４で画像データを記憶するに適した信号に変換する処理を行うものである。
【００２７】
入力信号処理回路２で処理された映像信号は、第１の画像メモリ３及び第２の画像メモリ４にフレーム単位、つまり、画面単位で供給される。また、入力信号処理回路２は、映像信号から同期信号を分離して、この同期信号を代表画面検出制御回路６に供給する。
【００２８】
第１の画像メモリ３は、入力信号処理回路２から供給された映像信号を画面単位で画像データを記憶する。同様に、第２の画像メモリ４も、入力信号処理回路２から供給された映像信号を画面単位の画像データとして記憶する。
【００２９】
また、第１の画像メモリ３と第２の画像メモリ４は、その構成は同一であるが、記憶する画像データは異なる。第２の画像メモリ４に記憶される画面は、必ず、第１の画像メモリ３に記憶されている画面から時間的に１画面前の画面である。すなわち、第１の画像メモリ３と第２の画像メモリ４に記憶されている画面は、時系列で連続した画面となっている。なお、時間的に先の画面を第１と第２の画像メモリ３，４に交互に記憶させるようにしてもよい。
【００３０】
変化量検出回路５は、第１の画像メモリ３と第２の画像メモリ４とに記憶されている時間的に連続した画面間の変化量を検出する。すなわち、この変化量は、各画像メモリ３，４に記憶されている画像データの差分を演算することにより求める。また、画面間の動きベクトルを求めて変化量としても良い。
【００３１】
代表画面検出制御回路６は、変化量検出回路５により検出した変化量に基づき、間欠画像を構成する代表画面を検出する。また、入力信号処理回路２により検出された同期信号に基づき、第１，第２の画像メモリ３，４への画像データの書き込みタイミングや読み出しタイミングの制御も行う。すなわち、代表画面検出制御回路６は、動画像を構成する時間的に連続した画面を順次画像メモリ３，４に書き込んでいき、この処理を繰り返す。
【００３２】
代表画面検出制御回路６は、各画像メモリ３，４に書き込まれている画像データの変化量と閾値とを比較して代表画面の検出処理を行う。そして、代表画面検出制御回路６は、この閾値を動的に変化させて、代表画面として平均的に画面を検出する処理を行う。
【００３３】
この代表画面検出制御回路６の制御内容を、図２に示すフローチャートに基づき説明する。
【００３４】
この代表画面検出制御回路６は、映像信号が入力されると以下のステップＳ１からの処理を開始する。
【００３５】
ステップＳ１において、閾値の初期化を行う。この閾値は、変化量検出回路５が検出した第１の画像メモリ３と第２の画像メモリ４に記憶されている画面間の変化量と比較をするための値である。この閾値は、入力される映像信号の付加情報、外部入力、出力する間欠画像の間欠間隔等に応じて設定される。
【００３６】
ステップＳ１で閾値の初期化を終えるとステップＳ２において、変化量検出回路５に第１，第２の画像メモリ３，４に記憶された画面の変化量を演算させ、この変化量を取得する。この演算では、変化量として各画素毎に減算を行いその絶対値を求めている。
【００３７】
この変化量を取得するとステップＳ３において、この変化量を閾値と比較する。変化量が閾値より大きくないと判断する場合は、ステップＳ４に進み、変化量が閾値より大きいと判断する場合は、ステップＳ５に進む。
【００３８】
ステップＳ７において、閾値から所定の値である減算値を引く。そして、ステップＳ４で閾値を一定量少なくすると、第１，第２の画像メモリ３，４に記憶する画面を次の画面に更新し、ステップＳ２からの処理を繰り返す。
【００３９】
ステップＳ５において、第１の画像メモリ３に記憶している画面を代表画面として検出する。そして、ステップＳ６において、検出した代表画面を出力する。
ステップＳ７において、閾値に所定の値である加算値を加える。そして、ステップＳ４で閾値を一定量多くすると、第１，第２の画像メモリ３，４に記憶する画面を次の画面に更新し、ステップＳ２からの処理を繰り返す。
【００４０】
ここで、ステップＳ４で閾値から一定量を引くために用いている定数である減算値と、ステップＳ７で閾値から一定量を加えるために用いている定数である加算値の関係について説明する。閾値は、上述したように動画像を構成する時間的に連続する各画面の変化量と比較をするための値である。この代表画面検出制御回路６では、変化量と閾値との比較をして、この比較結果に応じて閾値を変化させるようになっている。すなわち、閾値の可変量は、代表画面を検出した場合に加算される加算値と、代表画面を検出しなかった場合に減算される減算値とにより決定される。この加算値と減算値の値により、入力される動画像に対する代表画面の検出量が決まる。例えば、加算値と減算値との比が１対１００であれば、入力される動画像１００枚に対し代表画面が一枚検出される。また、この閾値の可変量である加算値と減算値の絶対量が大きくなれば検出感度も大きく、平均的に代表画面が検出できる。さらに、可変量が小さければ差分の検出量に応じて代表画面の検出がばらつくことになる。
【００４１】
以上のように、第１の実施の形態の画像検出装置１では、動画像から間欠画像を生成する際に、動画像を構成する各画面間の変化量に応じて代表画面を検出する。このことにより、内容把握のしやすい間欠画像を生成することができる。また、変化量を比較する際に用いる閾値を可変するので、動画像の特徴に左右されずに一定の平均レートで生成した間欠画像が得られる。そのため、この生成した間欠画像を記録又は伝送する際に容量の管理が容易となる。
【００４２】
さらに、第１の実施の形態の画像検出装置１は、動画像を高速再生をする際にも用いることができ、また、動画像の検索する際の代表的な画面を検出する際にも用いることができる。
【００４３】
つぎに、本発明の第２の実施の形態である画像検出装置について、図面を参照しながら説明する。なお、この第２の実施の形態である画像検出装置を説明するにあたり、上述した第１の実施の形態の画像検出装置１と同一の機能を有する構成要素については、同一の符号を付けその詳細な説明を省略する。以下、第３の実施の形態においても同様とする。
【００４４】
第２の実施の形態である画像検出装置１０は、図３に示すように、映像信号が入力される入力信号処理回路２と、第１の画像メモリ３と、第２の画像メモリ４と、各画像メモリ３，４に記憶されたから変化量を検出する変化量検出回路５と、これら構成要素を制御して間欠画像を出力する代表画面検出制御回路６と、第１の画像メモリ３に記憶されている画面の輝度の平均値を変算する平均値演算回路７とを備える。
【００４５】
この第２の実施の形態である画像検出装置１０では、画面間の変化量だけでなく画面の明るさの変化を補正して入力された動画像である映像信号から、代表画面を検出して間欠画像を生成するものである。
【００４６】
平均値演算回路７は、変化量検出回路５による画像間の変化量の検出処理を行う前に、予め画像メモリ３内の画像データの輝度の平均値を演算するものである。
【００４７】
変化量検出回路５は、平均値演算回路７で演算した画像データの平均値を利用して変化量の検出を行う。この平均値を利用して変化量を検出するのは、データとして輝度信号を利用している場合においては、輝度が高く明るい画面での画素データの値は高く、差分が大きくなってしまうからである。従って、変化量を輝度の平均値で除算することで明るさに左右されない代表画面の検出ができる。また、この輝度の平均値を代表画面検出制御回路６に供給して、閾値を可変する加算値及び減算値の比率を変えずにこの加算値及び減算値の値を変えることにより、明るさに左右されない代表画面の検出をすることもできる。
【００４８】
また、この平均値を演算する際に、画像メモリ内の画像データを複数の領域に分けて領域ごとに演算することで、明るさや、動きが面面内で部分的に偏っている画像にも対応できる。この領域分割をする際画面の中心部分の領域を小さくするなど画面を均等に分割しないことで検出量に重みづけをすることができる。また分割した領域ごとに値を設定して演算した平均値の係数とすることで明確な重み付けをすることも可能である。
【００４９】
以上のように、第２の実施の形態である画像検出装置１０では、動画像から間欠画像を生成する際に、動画像を構成する各画面間の変化量に応じて代表画面を検出することにより、内容把握のしやすい間欠画像を生成することができる。また、変化量を比較する際に用いる閾値を可変するので、動画像の特徴に左右されずに一定の平均レートで生成した間欠画像が得られる。そのため、この生成した間欠画像を記録又は伝送する際に容量の管理が容易となる。
【００５０】
また、この第２の実施の形態では、画面間の変化量だけでなく画面の明るさの変化を補正して入力された動画像である映像信号から代表画面を検出して間欠画像を生成することにより、画像の明るさの変化による間欠画像の検出結果の変動を減少させることができる。
【００５１】
つぎに、本発明の第３の実施の形態である画像検出装置について、図面を参照しながら説明する。
【００５２】
図４は、第３の実施の形態の画像検出装置２０のブロック構成図である。画像検出装置２０は、映像信号が入力される入力信号処理回路２と、第１の画像メモリ３と、第２の画像メモリ４と、第３の画像メモリ８と、第１，第２の画像メモリ３，４に記憶された画面から変化量を検出する第１の変化量検出回路５と、第１，第３の画像メモリ３，８に記憶された画面から変化量を検出する第２の変化量検出回路９と、これら構成要素を制御して間欠画像を出力する代表画面検出制御回路１１とを備える。
【００５３】
代表画面検出制御回路１１は、第１の変化量検出手段により検出した変化量と、第２の変化量検出回路９により検出した変化量に基づき、間欠画像を構成する代表画面を検出する。また、入力信号処理回路２により検出された同期信号に基づき、第１，第２及ぶ第３の画像メモリ３，４，８への画像の書き込みタイミングや読みだしタイミングの制御も行う。
【００５４】
また、代表画面検出制御回路１１は、各画像メモリ３，４，８に書き込まれている画像データの変化量と閾値とを比較して代表画面の検出処理を行う。そして、代表画面検出制御回路１１は、この閾値を動的に変化させて、代表画面として平均的に画面を検出する処理を行う。
【００５５】
第３の画像メモリ８には、代表画面検出制御回路１１が検出した代表画面が記憶される。代表画面検出制御回路１１は、代表画面を検出して間欠画像を生成するが、この代表画面を検出したときは出力するとともに第３の画像メモリ８にこの代表画面を記憶させる。なお、第３の画像メモリ８には、かならず１つの代表画面のみが記憶されており、先に記憶された代表画面に次の代表画面が記憶されるときは、先の代表画面に上書きされる。
【００５６】
第２の変化量検出回路９は、第１の画像メモリ２が記憶している画面と第３の画像メモリ８が記憶している代表画面の画面間の変化量を検出する。
【００５７】
この代表画面検出制御回路１１の制御内容を、図５に示すフローチャートに基づき説明する。
【００５８】
まず、図５に示すフローチャートでの制御に用いられている各変数について説明する。
【００５９】
代表画面検出制御回路１１の制御には、第１の閾値と第２の閾値とが用いられている。第１の閾値は、第１の変化量検出回路５が検出した画像間の変化量と比較を行うための値であり、また、第２の閾値は、第２の変化量検出回路９が検出した第１の画像メモリ３と第３の画像メモリ８とに記憶された画面間の変化量の比較を行うための値である。
【００６０】
代表画面検出制御回路１１の制御では、第２の閾値から一定量を引くために用いている定数である減算値と、閾値から一定量を加えるために用いている定数である加算値が用いられている。減算値と加算値と関係は、上述した第１の実施の形態と同様である。
【００６１】
代表画面検出制御回路１１の制御では、連続検出フラグを用いている。この連続検出フラグは、第２の変化量検出回路９により画面間の差分検出によって閾値を超える画面の入力があった場合にもすぐにこの画面を検出結果として取り込まず、連続して閾値を超える差分を検出した場合に画面を検出するために使用する。
【００６２】
代表画面検出制御回路１１の制御では、検出ウエイトを用いている。代表画面検出制御回路１１では、一度代表画面を検出すると第１の画像メモリ３と第３の画像メモリ８に記憶された画面の変化量と比較する第２の変化量検出回路９が連続して画面を検出しても、時間的に連続する第１の画像メモリ３と第２の画像メモリ４の変化量が減少したのちに取り込みを行うように処理をしている。しかしながら、連続した動きの激しい動画像などの場合では、第１の閾値が減少しないため代表画面の検出出力が発生しなくなってしまう。そのため、この検出ウエイトにより第１の閾値を操作して動きの激しい動画像に対応させている。
【００６３】
代表画面検出制御回路１１は、ステップＳ１１において、閾値等の各変数の設定値の初期化を行う。この閾値は、入力される動画像の付加情報、外部入力、出力する間欠画像の間欠間隔等に応じて設定しても良い。また、この閾値の変化量も同様に設定しても良い。
【００６４】
ステップＳ１１で初期化を終えるとステップＳ１２において、第２の変化量検出回路９に第１，第３の画像メモリ３，８に記憶された画面の変化量を演算させ、第２の変化量を取得する。この演算では、変化量として各画素毎に減算を行いその絶対値を求めている。なお、第３の画像メモリ８に記憶されている画面は、先に検出した代表画面が記憶されている。先に、検出した代表画面が存在しない場合は、例えば、すべての画素値を０として演算するようにしてもよい。
【００６５】
この第２の変化量を取得するとステップＳ１３において、この第２の変化量と第２の閾値を比較する。第２の変化量が第２の閾値より大きくないと判断する場合は、ステップＳ１４に進み、第１の変化量が第１の閾値より大きいと判断する場合は、ステップＳ１８に進む。
【００６６】
第１の変化量が第１の閾値より大きくないと判断する場合は、ステップＳ１４において連続検出フラグをクリアし、続くステップＳ１５において検出ウエイトをクリアし、続くステップＳ１６において第２の閾値から所定の値である第１の減算値を引く。そして、ステップＳ１７において、第１，第２の画像メモリ３，４に記憶する画面を次の画面に更新し、ステップＳ１２からの処理を繰り返す。ステップＳ１３で第１の変化量が第１の閾値より大きいと判断する場合は、ステップＳ１８において、連続検出フラグがセットされているかどうかを判断する。連続検出フラグがセットされていないと判断する場合は、ステップＳ１９において、連続検出フラグをセットして、上述したステップＳ１５、ステップＳ１６、ステップＳ１７と進み、ステップＳ１２からの処理を繰り返す。
【００６７】
ステップＳ１８で連続検出フラグがセットされていると判断する場合は、ステップＳ２０において、第１の変化量検出回路５に第１，第２の画像メモリ３，４に記憶された画面の変化量を演算させ、この第１の変化量を取得する。この演算では、変化量として各画素毎に減算を行いその絶対値を求めている。
【００６８】
この第１の変化量を取得するとステップＳ２１において、この第１の変化量と第１の閾値を比較する。この第１の閾値は、第２の変化量より第１の変化量が減少しているか否かを判断するための比較値で、第２の閾値よりも小さい値である。また、この第１の閾値は、第２の閾値と連動した値であることが望ましく、例えば、第２の閾値をＫとすると、第１の閾値は１/Ｋといった値が望ましい。
【００６９】
第１の変化量が第１の閾値より小さくないと判断する場合は、動画像の動きが収束していない。従って、依然動きが少なくなっていないものとして、ステップＳ２２において、検出ウエイトを第１の閾値に加算する。この検出ウエイトは、第１の閾値に所定量の値を加算するものであり、いつまでも、動画像が収束しない場合であっても、第１の閾値にこの検出ウエイトを加算することにより適当な画面の間隔で代表画面の検出を行うようにしている。ステップＳ２２で第１の閾値に検出ウエイトを加算すると上述したステップＳ１６、ステップＳ１７に進みステップＳ１２からの処理を繰り返す。
【００７０】
第１の変化量が第１の閾値より小さいと判断する場合は、ステップＳ２３に進む。ステップＳ２３において、第１の画像メモリ３に記憶している画面を代表画面として検出して代表画面を出力する。また、このステップＳ２３において、検出した代表画面を第３の画像メモリ８に記憶させる。
【００７１】
ステップＳ２３で代表画面の検出処理をするとステップＳ２４において連続検出フラグをクリアし、続くステップＳ２５で第２の閾値に所定の値である加算値を加える。次に、ステップＳ１７において、第１，第２の画像メモリ３，４に記憶する画面を次の画面に更新し、ステップＳ１２からの処理を繰り返す。
【００７２】
このような画像検出装置２０から出力される間欠画像について以下に説明する。
【００７３】
第１の例は、図６（ａ）に示すようにこの画像検出装置２０にＡシーンとＢシーンがカット点ｔ1で切り替わる動画像が入力された例を示している。
【００７４】
この場合は、図６（ｂ）に示すように、第３の画像メモリ８には図中Ｘ1で画面Ａのデータが書き込まれている。このとき第１の画像メモリ３に入力される図中Ｘ2で画面Ｂに切り替わると、第３の画像メモリ８の画像データとは差分が発生するので第２の閾値より大きくなる。しかしながら、次の第２の画像メモリ４とも差分が発生するため代表画面の検出はされない。次に、第１の画像メモリ３に図中Ｘ3の画面Ｂが書き込まれると、第３の画像メモリ８の画面Ａとは差分が発生し、第２の画像メモリ４の図中Ｘ2の画面Ｂとは差分が発生しないので第１の閾値より小さくなり代表画面が検出される。よってシーンＡからシーンＢに切り替わった後の１フレーム後に画面が収束してから検出がされる。
【００７５】
第２の例は、図７（ａ）に示すように、この画像検出装置２０に画面Ａの間に例えばフラッシュの光や雷など閃光である画面Ｂが含まれる動画像が入力された例を示している。
【００７６】
この場合は、図７（ｂ）に示すように、第３の画像メモリ８には図中Ｙ1に画面Ａが書き込まれている。図中Ｙ2で画面Ｂが第１の画像メモリ３に書き込まれた場合、第３の画像メモリ８及び第２の画像メモリ４のどちらも差分が発生するため代表画面の検出はされない。また、次の図中Ｙ3の画面Ａが第１の画像メモリ３に入力された場合も同様に差分が発生しないため代表画面の検出はされない。すなわち閃光部分では検出がされない。
【００７７】
第３の例は、図８（ａ）に示すように、この画像検出装置２０に特殊効果などの画面が徐々に変化するフェードやワイプ、パンなどの画面が常に変化している動画像が入力された例を示している。
【００７８】
この場合は、図８（ｂ）に示すように、第３の画像メモリ８には図中Ｚ1の画面Ａが書き込まれている。次に画面Ｂが第１の画像メモリ３に入力される場合は、第３の画像メモリ８及び第２の画像メモリ４のどちらも差分が発生する。次の画面Ｃ、画面Ｄ、画面Ｅ、図中Ｚ2の画面Ｆも差分が発生するため検出はされない。次の図中Ｚ3の画面Ｆでは第２の画像メモリ４との差分が発生せず、この画面Ｆが代表画面となる。よって所望の動画像が静止した時点で検出がされる。
【００７９】
以上のように、第３の実施の形態の画像検出装置２０では、動画像から間欠画像を生成する際に、動画像を構成する各画面間の変化量に応じて代表画面を検出する。このことにより、内容把握のしやすい間欠画像を生成することができる。また、変化量を比較する際に用いる閾値を可変するので、動画像の特徴に左右されずに一定の平均レートで生成した間欠画像が得られる。そのため、この生成した間欠画像を記録又は伝送する際に容量の管理が容易となる。
【００８０】
また、第３の実施の形態の画像検出装置２０では、先に検出した代表画面との変化量が大きくてもその変化量が収束した後に検出処理を行うため、入力された動画像である映像信号から代表画面を検出して間欠画像を生成する際に、画面間の変化等を検出してシーンの変化点を検出したり、誤検出等の不要な画面の検出を防ぐことができる。例えば、特殊効果などによる面面切り替えや閃光などの特殊な画面を検出を防止することができる。
【００８１】
なお、この第３の実施の形態の画像検出装置２０では、第１の画像メモリ３と第２の画像メモリ４を用いて１フレーム分の画像を除去する場合を示したが、第２の画像メモリ４の他に複数のメモリを用いることにより複数フレーム分の不要な画像を除去することができ、また、第２の画像メモリ４に記憶するフレームを時間的にずらすことにより複数フレーム分の画像を除去することができる。
【００８２】
次に、本発明を適用した第４の実施の形態である映像信号記録再生装置について説明する。この第４の実施の形態である映像信号記録再生装置は、上述した第１の画像検出装置１を映像音声信号記録再生装置に適用したものである。
【００８３】
映像音声信号記録再生装置５０は、図９に示すように、入力された映像信号及び音声信号の入力処理をする入力信号処理部５１と、入力信号処理部５１により処理をした信号から映像信号及び音声信号を再生する映像音声信号処理部５２と、映像音声信号処理部５２により再生した映像信号から間欠画像を生成する画像検出処理部５５と、映像音声信号処理部５２により再生した映像信号に補間処理をする間欠画像処理部５３と、間欠画像処理部５３により補間処理をした映像信号を出力する出力信号処理部５４と、映像信号を記録再生するために変復調等の信号処理を行う記録再生信号処理部５６と、映像音声信号を記録媒体５９に記録再生をする記録再生部５７と、間欠画像処理部５３と記録再生信号処理部５６等を制御するシステムコントロール部５８とを備える。
【００８４】
入力される映像音声信号は、例えば動画像の映像信号と音声信号であり入力信号処理部５１により信号レベルの変換等の処理をされ映像音声信号処理部５２に供給される。
【００８５】
映像音声信号処理部５２は、入力信号処理部５１により処理をされた映像信号及び音声信号から以後の処理で行う際に適した信号に変換する処理を行う。また、記録再生信号処理部５６からの記録媒体５９から再生される信号も同様に処理を行う。例えば、エラー訂正処理や画像圧縮処理をされている場合は対応したデコード処理、また、輝度信号と色信号とに分離する処理等を行う。映像音声信号処理部５２は、出力する映像信号を画像検出処理部５５、間欠画像処理部５３、記録再生信号処理部５６に供給する。
【００８６】
画像検出処理部５５は、例えば上述した第１の実施の形態の画像検出装置１である。この画像検出処理部５５により動画像から代表画面が検出されて間欠画像が生成される。この間欠画像は、記録再生信号処理部５６に供給される。
【００８７】
記録再生信号処理部５６は、システムコントロール部５８の制御に基づき、記録再生部５７を介して記録媒体５９から再生された信号を映像音声信号処理部５２に供給する為のデータの変換処理を行う。また、システムコントロール部５８の制御に基づき、映像音声信号処理部５２から供給される信号を記録媒体５９に記録させる為のデータの変換処理を行う。
【００８８】
記録再生部５７は、記録媒体５９に間欠的な映像信号及び音声信号を記録し、或いは記録媒体５９に記録された間欠的な映像信号及び音声信号を再生する。
【００８９】
間欠画像処理部５３は、記録媒体５９から再生される間欠画像に補間処理を施す。ここで補間処理とは、例えば、静止画像を出力する場合、画像メモリを用いて同じ画像を複数回出力して、動画像のアップコンバート等を行う処理である。
出力信号処理部５４は、映像信号をモニタにより再生することができるようにするため、映像信号のデジタル／アナログ変換処理や増幅処理等を行う。この出力信号処理部５４からの出力をモニタ等に供給することにより、視聴者は内挿処理をされた映像と音声を視聴することができる。
【００９０】
以上のように、映像音声信号記録再生装置５０は、画像検出処理部５５を備えることにより入力された動画像から間欠画像を生成して記録することができる。なお、この画像検出処理部５５は、上述した第１の実施の形態の画像検出装置１のみならず、第２及び第３の実施の形態の画像検出装置１０，２０であってもよい。
【００９１】
また、この映像信号記憶再生装置５０では、映像信号を動画像のまま記録しておき、間欠的な再生を行うための検出結果を別に記録しておくことにより、再生時に間欠画像を生成することができる。そのため、この映像音声信号記録再生装置５０では、記録媒体５９に記録されている映像信号を、例えばダイジェスト版にして再生し、編集作業等に用いて映像信号の概要の把握等に役立つ。
【００９２】
【発明の効果】
本発明に係る画像検出装置では、画面検出手段が第１の変化量検出手段により検出される動画像中の第１の画面の直前の第２の画面との第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より大きい場合に上記第１の画面を検出することにより、出力手段が上記動画像の内容に応じた間欠画像を出力することにより、内容の把握し易い間欠画像を生成することができ、また、高速再生ができ、さらに、第２の変化量検出手段により検出される上記第１の画面と、先に検出した検出画面との第２の変化量を第２の閾値と比較し、この第２の変化量がこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より小さいときは第１の画面を検出ことにより、有効な画面のみの検出をすることができ、画像の特徴に左右されずに間欠画像を生成することができる。さらに、生成した間欠画像を記録及び伝送する場合に容量の管理を容易にすることができる。
【００９６】
本発明に係る画像検出方法では、動画像中の１の画面である第１の画面と、この第１の画面の直前の第２の画面との第１の変化量を検出し、上記第１の画面と、先に検出した検出画面との第２の変化量を検出し、上記第２の変化量を第２の閾値と比較し、この第２の変化量がこの第２の閾値より大きい場合にはさらに上記第１の変化量を第１の閾値と比較し、この第１の変化量が第１の閾値より小さいときは第１の画面を検出し、この動画像の内容に応じた間欠画像を出力することにより、有効な画面のみの検出をすることができ、画像の特徴に左右されずに間欠画像を生成することができる。さらに、生成した間欠画像を記録及び伝送する場合に容量の管理を容易にすることができる。
【図面の簡単な説明】
【図１】本発明を適用した画像検出装置のブロック構成図である。
【図２】本発明を適用した画像検出装置の代表画面検出制御回路の制御内容を示すフローチャートである。
【図３】本発明を適用した画像検出装置のブロック構成図である。
【図４】本発明を適用した画像検出装置のブロック構成図である。
【図５】本発明を適用した画像検出装置の代表画面検出制御回路の制御内容を示すフローチャートである。
【図６】本発明を適用した画像検出装置から出力される間欠画像についての説明図である。
【図７】本発明を適用した画像検出装置から出力される間欠画像についての説明図である。
【図８】本発明を適用した画像検出装置から出力される間欠画像についての説明図である。
【図９】本発明を適用した映像音声信号記録再生装置のブロック構成図である。
【符号の説明】
１，１０，２０  画像検出装置、２  入力信号処理回路、３  第１の画像メモリ、４  第２の画像メモリ、５  変化量検出回路、６，１１  代表画面検出制御回路、７  平均値演算回路、８  第３の画像メモリ、９  第２の変化量検出回路
【図１】
0003804155.tif 000002
【図２】
0003804155.tif 000003
【図３】
0003804155.tif 000004
【図４】
0003804155.tif 000005
【図５】
0003804155.tif 000006
【図６】
0003804155.tif 000007
【図７】
0003804155.tif 000008
【図８】
0003804155.tif 000009
【図９】
0003804155.tif 000010