(57)【特許請求の範囲】
【請求項１】
入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出する更新ブロック検出手段と、
前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、前記自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と、
前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求める動画領域シード生成手段と、
前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定する動画領域境界決定手段と、
を有し、
前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
前記ブロック単位領域拡大手段は、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
ことを特徴とする動画領域検出装置。
【請求項２】
前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、画素単位で境界を決定する画素単位領域境界決定手段を備え、
前記画素単位領域境界決定手段は、与えられた領域境界の内外１ブロック分の複数のラインのうち、ラインの外側と内側とで時間および空間方向の画素値の変化の不連続性が最も高くなるラインを動画領域境界として選択する
請求項１に記載の動画領域検出装置。
【請求項３】
前記画素単位領域境界決定手段は、前記複数のラインについて、前記フレームの当該ラインの画素値と前記フレームの前フレームにおける当該ラインの画素値との差分DPを算出し、前記フレームの当該ラインの画素値と当該ラインより１ライン外側のラインの画素値との差分DNを算出し、前記フレームの当該ラインより１ライン外側のライン上での当該ラインと平行する方向での画素値の差分DNLを算出し、前記フレームの当該ラインより１ライン外側のラインにおける、前記フレームの画素値と前記フレームの前フレームの画素値との差分DPNを算出し、DN-DNL+DP-DPNによって計算される値が最大となるラインを前記動画領域境界として選択する
請求項２に記載の動画領域検出装置。
【請求項４】
前記自然画更新ブロック判定手段は、前記フレーム内での画素値の空間方向の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
請求項１乃至３の何れかに記載の動画領域検出装置。
【請求項５】
前記自然画更新ブロック判定手段は、前記フレーム内での画素値の空間方向の変移、および、前記フレームと前記フレームの前フレームの同一画素間の画素値の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
請求項１乃至３の何れかに記載の動画領域検出装置。
【請求項６】
入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出し、
前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定し、
前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出し、
前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求め、
前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行した後、前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定し、
前記拡大の試行では、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
ことを特徴とする動画領域検出方法。
【請求項７】
コンピュータを、
入力映像のフレームについて、前記フレームの前フレームとの間で画素値を比較し、前記フレームをブロック状に分割した複数のブロックのうち、値が変化した画素を含む前記ブロックを更新ブロックとして検出する更新ブロック検出手段と、
前記フレームの前記更新ブロックについて、前記更新ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
前記フレームについて、前記フレームを含めた直近の複数フレームにおいて一定回数以上、自然画の更新ブロックと判定されたブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と、
前記フレームについて、空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を自然画の動画領域シードとして求める動画領域シード生成手段と、
前記自然画の動画領域シードの上下左右の四辺について、自然画の動画領域の境界を画素単位で探索し決定する動画領域境界決定手段と、して機能させるためのプログラムであって、
前記動画領域境界決定手段は、前記自然画の動画領域シードの上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
前記ブロック単位領域拡大手段は、拡大によって新たに前記自然画の動画領域シードに加わると見込まれるブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に当該ブロックを前記自然画の動画領域シードに加える、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像信号の領域分離技術に関し、特に、入力映像から自然画の動画領域を検出する装置と方法に関する。
【背景技術】
【０００２】
映像信号から動画領域を検出する技術が種々考案されている。【０００３】
例えば特許文献１では、まず、入力映像の現フレームと前フレームとを画素毎に比較してフレーム間画素情報を生成する。次に、このフレーム間画素情報に基づいて現フレーム画像の前フレーム画像に対する移動方向及び移動量を求めて１つ又は複数の動きベクトルを検出する。そして、この動きベクトルおよび上記フレーム間画素情報に基づいて現フレーム中の１つ又は複数の動画像領域を検出している。【０００４】
他方、映像信号から自然画の領域を検出する技術が種々考案されている。【０００５】
例えば特許文献２では、まず、入力映像の各フレーム単位で、画像データの所定単位の全部または一部の画素の輝度レベルを検出する。次に、この検出結果に基づいて上記輝度レベルを検出された各画素間の輝度レベル変動量の累積値を算出する。そして、この算出した累積値、または累積値を画素数で割って求めた画素間の輝度レベル変動量の平均値、または各画素間の輝度レベル変動量が所定範囲にあるエッジの個数に基づいて、入力映像が自然画であるか否かを判別している。【０００６】
また特許文献３では、映像の現フレームと前フレームとを比較して１または複数の更新領域を検出し、各更新領域について、カラーエントロピーに基づいて自然画像か否かを判断している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３４１３５６号公報
【特許文献２】特開２００２−２４７６１１号公報
【特許文献３】特開２００５−２８７０３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１では、各領域で動きを伴うオブジェクトがあるかどうかに注目しているが、オブジェクトが自然画であるかどうかの判別は行っていない。このため、非自然画である文字や図形が移動している領域と自然画が移動している領域との区別が付かない。従って、入力映像から自然画かつ動画の領域を正しく検出することはできない。【０００９】
他方、特許文献２では、入力映像が自然画か否かを検出しているが、入力映像のフレーム間の関係を考慮していないため、自然画の静止画像か、自然画の動画像かの区別が付かない。従って、入力映像から自然画かつ動画の領域を正しく検出することはできない。また特許文献３では、入力映像のフレーム毎に更新領域を検出しているが、自然画の静止画が最初に表示されたときと、自然画の動画が最初に表示されたときとの区別が付かないため、入力映像から自然画かつ動画の領域を正しく検出することはできない。【００１０】
本発明の目的は、上述したような課題、すなわち入力映像から自然画かつ動画の領域を正しく検出するのは困難である、という課題を解決する動画領域検出装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一形態にかかる動画領域検出装置は、
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
を有する、といった構成を採る。
【発明の効果】
【００１２】
本発明は上述したような構成を有するため、入力映像から自然画かつ動画の領域を正しく検出することが可能である。
【図面の簡単な説明】
【００１３】
【図１】本発明の第２の実施形態のブロック図である。
【図２】本発明の第２の実施形態における更新ブロック検出手段の動作の具体例を示す図である。
【図３】本発明の第２の実施形態における自然画更新ブロック判定手段の動作の具体例を示す図である。
【図４】本発明の第２の実施形態における動画ブロック判定手段の動作の第１の具体例を示す図である。
【図５】本発明の第２の実施形態における動画ブロック判定手段の動作の第２の具体例を示す図である。
【図６】本発明の第２の実施形態における動画領域シード生成手段の動作の具体例を示す図である。
【図７】本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。
【図８】本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。
【図９】本発明の第２の実施形態における動画領域境界決定手段の動作の具体例を示す図である。
【図１０】本発明の第２の実施形態の動作を示すフローチャートである。
【図１１】本発明の第２の実施形態における動画ブロック判定手段の動作の第１の具体例に対応する数式を示す図である。
【図１２】本発明の第２の実施形態における動画ブロック判定手段の動作の第２の具体例に対応する数式を示す図である。
【図１３】本発明の第２の実施形態における動画領域境界決定手段の動作の具体例に対応する数式を示す図である。
【図１４】本発明の第１の実施形態のブロック図である。
【発明を実施するための形態】
【００１４】
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１４を参照すると、本発明の第１の実施形態にかかる動画領域検出装置１は、入力映像を入力し、入力映像中から自然画かつ動画の領域を検出し、検出結果を出力する機能を有する。この動画領域検出装置１は、更新ブロック検出手段２と、自然画更新ブロック判定手段３と、動画ブロック抽出手段４とを有する。
【００１５】
更新ブロック検出手段２は、入力映像のフレームをブロック状の一定の大きさのブロックに分割する。また更新ブロック検出手段２は、入力映像のフレーム毎に、そのフレームを現フレーム、１つ前のフレームを前フレームとする。そして、更新ブロック検出手段２は、入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含む現フレームのブロックを更新ブロックとして検出する機能を有する。ブロックのサイズと個数は、全てのフレームで同一であれば任意でよい。
【００１６】
自然画更新ブロック判定手段３は、更新ブロック検出手段２において更新ブロックとして検出された各ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出する。そして、自然画更新ブロック判定手段３は、この算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する機能を有する。ブロック内での画素値の変化の連続性は、同じフレーム内での隣接する画素間の画素値の変化の連続性と、前後するフレームの同一画素間の画素値の変化の連続性との二種類存在する。自然画更新ブロック判定手段３は、前者の空間的な連続性の程度を表す指標値を算出してもよいし、後者の時間的な連続性の程度を表す指標値を算出してもよいし、前者と後者の２通りの指標値を算出してもよい。
【００１７】
動画ブロック抽出手段４は、入力映像のフレーム毎に、直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する機能を有する。直近の複数フレームの数は２以上であれば任意でよい。また、一定回数は１また２以上であれば任意でよい。好ましくは、現フレームを少なくとも含む２以上のフレームにおいて自然画の更新ブロックと判定されていることが望ましい。
【００１８】
次に本実施形態にかかる動画領域検出装置１の動作を説明する。
【００１９】
入力映像が入力されると、更新ブロック検出手段２は、入力映像の現フレームと前回入力されたフレーム（前フレーム）との間で画素値を比較し、値が変化した画素を少なくとも１画素でも含むブロックを更新ブロックとして検出する。
【００２０】
次に自然画更新ブロック判定手段３は、更新ブロック検出手段２において更新ブロックとして検出された各ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、この算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する。一般に、自然画の場合、非自然画に比べて、空間的にも時間的にも画素値の変化の連続性は高くなる傾向が有る。自然画更新ブロック判定手段３は、この特性を利用して更新ブロックが自然画の更新ブロックか否かを判定する。
【００２１】
次に動画ブロック抽出手段４は、入力映像のフレーム毎に、直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する。一般に、動画の場合、静止画と異なり、各フレーム毎に内容が変化する傾向が強い。動画ブロック抽出手段４は、この特性を利用して動画ブロックか否かを判定する。
【００２２】
このように本実施形態によれば、入力映像から自然画かつ動画の領域を正しく検出することが可能である。その理由は、更新ブロックのうち、自然画でないブロックは自然画更新ブロック判定手段３の段階で取り除かれ、動画でないブロックは動画ブロック抽出手段４の段階で取り除かれ、結果として、自然画かつ動画のブロックだけが検出されるためである。
【００２３】
[第２の実施形態]
図１を参照すると、本発明の第２の実施の形態は、信号入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、動画領域情報出力装置１４とから構成されている。
【００２４】
信号入力装置１１は、２次元信号としての画像をフレーム単位で入力するための装置であり、例えばグラフィック描画ボードや通信装置などで構成される。
【００２５】
データ記憶装置１２は、前フレームメモリ１２１と、現フレームメモリ１２２と、自然画更新ブロックメモリ１２３と、動画ブロックメモリ１２４と、動画領域座標メモリ１２５とを含む。
【００２６】
前フレームメモリ１２１は、信号入力装置１１から前回入力されたフレームの画像を保持している。
【００２７】
現フレームメモリ１２２は、信号入力装置１１から今回入力されたフレームの画像を保持する。
【００２８】
自然画更新ブロックメモリ１２３は、連続するフレーム間で画素値の更新があり、かつ、自然画らしさの高いブロックの位置を、直近のＮフレーム（Ｎ：自然数）について記憶する。
【００２９】
動画ブロックメモリ１２４は、自然画更新ブロックメモリ１２３に格納された直近Ｎフレームの状態から導出された、自然画の動画ブロックの位置を記憶する。
【００３０】
動画領域座標メモリ１２５は、動画ブロックメモリ１２４に格納された動画ブロック、および、前フレームメモリ１２１と現フレームメモリ１２２に格納された各フレームの画素値に基づいて導出された、自然画の動画領域の座標を記憶する。
【００３１】
データ処理装置１３は、更新ブロック検出手段１３１と、自然画更新ブロック判定手段１３２と、動画ブロック抽出手段１３３と、動画領域シード生成手段１３４と、動画領域境界決定手段１３５とを含む。
【００３２】
更新ブロック検出手段１３１は、前フレームメモリ１２１に格納された前フレームの画像と、現フレームメモリ１２２に格納された現フレームの画像とを読み出して比較し、画面内の各部分領域（ブロック）について、画素値に変化があったかどうかを判定する。画素値に変化があったブロックは更新ブロックとして、その座標情報を自然画更新ブロック判定手段１３２に通知する。
【００３３】
自然画更新ブロック判定手段１３２は、更新ブロック検出手段１３１から更新ブロックの座標情報が通知されると、前フレームメモリ１２１および現フレームメモリ１２２から各更新ブロックの画素値を読み出し、画素値の空間方向および時間方向の連続性を求める。連続性が一定以上であるブロックを自然画更新ブロックとして、その座標情報を自然画更新ブロックメモリ１２３へ出力する。
【００３４】
動画ブロック抽出手段１３３は、自然画更新ブロックメモリ１２３から直近Ｎフレームの自然画更新ブロックの状態を読み出して、頻繁に自然画更新ブロックとして検出されているブロックを自然画の動画ブロックと判定し、その座標情報を動画ブロックメモリ１２４へ出力する。
【００３５】
動画領域シード生成手段１３４は、動画ブロックメモリ１２４から自然画の動画ブロックの情報を読み出して、空間的に近接する自然画の動画ブロック同士を連結・統合する。統合によって得られた領域を自然画の動画領域シードとして、その座標情報を動画領域座標メモリ１２５へ出力する。
【００３６】
動画領域境界決定手段１３５は、動画領域座標メモリ１２５から自然画の動画領域シードの座標を、自然画更新ブロックメモリ１２３から直近Ｎフレームの状態を、前フレームメモリ１２１および現フレームメモリ１２２から自然画の動画領域シードの周辺の画素値を、それぞれ読み出す。そして、動画領域境界決定手段１３５は、これらの読み出したデータに基づいて、自然画の動画領域の境界の座標を画素単位で決定する。また、得られた自然画の動画領域座標を動画境界座標メモリ１２５に格納するとともに、動画領域情報出力装置１４へ出力する。
【００３７】
動画領域情報出力装置１４は、生成された自然画の動画領域の座標を記憶する記憶装置や、生成された自然画の動画領域の情報を参照して領域を符号化する映像符号化装置などで構成される。映像符号化に関しては、自然画の動画領域はMPEG、文字領域にはPNG、自然画の静止画領域にはJPEGを用いることで、文字のエッジを鮮明に保ちつつ、静止画や動画を良好な圧縮率で符号化することが期待される。
【００３８】
図２に、更新ブロック検出手段１３１の動作の具体例を示す。
【００３９】
図中のZ121は、前フレームメモリ１２１に格納された前フレームの画面であり、Z122は現フレームメモリ１２２に格納された現フレームの画面である。網掛けあるいはドットが付されている部分は自然画である。また、画面上部にテロップがスクロールしている様子が示されている。
【００４０】
更新ブロック検出手段１３１は、フレームを一定の大きさのブロック（たとえば32画素×32画素）に分割し、そのブロックごとに、画素値に変化が生じているかどうかを判定し、なんらかの差分が存在するブロックを更新ブロック、まったく差分が発生していないブロックを非更新ブロックとする。こうして処理された結果、現フレームは、更新ブロックZ1311と非更新ブロックZ1312とに分離される。
【００４１】
図３および図１１の数式１（数式１−１〜１−４）に、自然画更新ブロック判定手段１３２の動作の第１の具体例を示す。
【００４２】
Z1221は、現フレームメモリのブロックの一つを示している。
【００４３】
自然画更新ブロック判定手段１３２は、更新ブロック内の各座標(x,y)の画素について、水平方向に隣接する画素との差分の絶対値DL(x,y)および垂直方向に隣接する画素との差分の絶対値DU(x,y)を求め、そのうち小さくない方の値を選択する。次に、選択された値が非ゼロであるものについてブロック内で平均値を求め、結果を指標値Evalとする。最後に、この指標値が一定値未満であるブロックを、自然画の更新ブロックと判定する。
【００４４】
図４および図１２の数式２（数式２−１〜２−６）に、自然画更新ブロック判定手段１３２の動作の第２の具体例を示す。
【００４５】
Z1211は、前フレームメモリのブロックの一つ、Z1221は、現フレームメモリのZ1211に対応するブロックを、それぞれ示している。
【００４６】
自然画更新ブロック判定手段１３２は、まず、更新ブロック内の各座標(x,y)の画素について、水平方向に隣接する画素との差分の絶対値DL(x,y)、および、前フレームの同一座標の画素との差分の絶対値DP(x,y)を求める。次に、DL(x,y)およびDP(x,y)について、直前の座標(x-1,y)で求めたDL(x-1,y)およびDP(x-1,y)との間で変移EL(x,y),EP(x,y)の絶対値を求め、EL,EPのうち大きくない方の値を選択する。最後に、選択された値が非ゼロであるものについてブロック内で平均値を求め、指標値Evalとする。そして、この指標値が一定値未満であるブロックを、自然画の更新ブロックと判定する。
【００４７】
図５に、動画ブロック判定手段１３３の動作の具体例を示す。
【００４８】
Z1230,Z1231,Z1232,Z1233は、自然画更新ブロックメモリ１２３に格納された直近Nフレーム(図５の例ではN=4)の自然画更新ブロックの様子を示している。このうちZ1233が現フレームにおける自然画更新ブロックである。
【００４９】
まず、動画ブロック判定手段１３３は、各ブロックにおける、直近４フレームの自然画更新ブロック判定回数をカウントし、各ブロック毎のカウント数のリストZ1240を得る。次に、カウント数がm以上（ここではm=2）となるブロックを自然画の更新ブロックの候補とする（Z1241）。次に、自然画の更新ブロックの候補のうち、現フレームで自然画更新領域と判定されているブロックを、自然画の更新ブロックに決定する（Z1242）。こうして得られたブロックが自然画の動画ブロックとして動画ブロックメモリ１２４に出力される。
【００５０】
図６に、動画領域シード生成手段１３４の動作の具体例を示す。
【００５１】
動画領域シード生成手段１３４は、動画ブロックメモリ１２４をスキャンして、動画ブロックの存在する行のまとまりを検出する。Z1243は、上から１行目と２行目、および、４，５，６行目に動画ブロックが存在する様子を示している。この場合、第１〜２行と第４〜６行が、行のまとまりとして検出される。さらに、動画領域シード生成手段１３４は、分割された行のまとまりをスキャンして、動画ブロックの存在する列のまとまりを検出する。これにより、第１〜２行については左から第１〜２列目、第４〜６行については左から第３〜６列目が動画ブロックの存在する列のまとまりとして検出される。動画領域シード生成手段１３４は、こうして検出されたまとまり（Z1250およびZ1251）を自然画の動画領域シードとして、その座標を動画領域座標メモリ１２５へ出力する。
【００５２】
図７および図８、図９、図１３の数式３に、動画領域境界決定手段１３５の動作の具体例を示す。
【００５３】
動画領域境界決定手段１３５は、自然画の動画領域シードのそれぞれについて、正確な領域の境界を確定し、動画領域情報出力装置１４へ出力する。
【００５４】
動画領域境界決定手段１３５は、まず四辺それぞれについて、ブロック単位での拡大を試行する。ここでは上辺について、１ブロック分上へ境界を拡大する例をあげて説明する。
【００５５】
図７のZ1252は、3×4ブロックの動画領域シードの上辺が拡大される様子を示している。この場合、動画領域境界決定手段１３５は、自然画更新ブロックメモリ１２３および動画領域座標メモリ１２５を参照して、動画領域シードの１行上のブロックのそれぞれについて、直近Ｎフレーム内で自然画更新ブロックとして検出された回数を算出する。図７は、シードの１行上のブロック４つについて、自然画ブロックとして検出された回数が２，３，２，１である様子を示している。
【００５６】
さらに、この数を幅ブロック数で除して注目行での平均的な自然画更新ブロック数を求める。これがm以上（０＜ｍ≦Ｎ）であった場合、上辺を１ブロック分拡大する。以上の処理を、上辺方向への拡大ができなくなるまで継続する。図では、注目行での平均的な自然画更新ブロック数は(2+3+2+1)/4=2となるため、たとえばm=2の場合、2≧mとなることから、上辺が１ブロック分拡大され、引き続き上辺の拡大が試行される。
【００５７】
さらに、動画領域境界決定手段１３５は、以上と同様の処理を下辺、左辺、右辺についても行ってブロック単位での境界を算出し、得られた境界座標を動画領域座標メモリ１２５に出力する。
【００５８】
次に動画領域境界決定手段１３５は、画素単位での境界の探索を行う。図８および図９、数式３は、画素単位での探索の例を示している。
【００５９】
動画領域境界決定手段１３５は、前フレームメモリ１２１、現フレームメモリ１２２、動画領域座標メモリ１２５を参照しながら、境界四辺の内外１ブロック分（計２ブロック分）について、画素単位での境界を探索する。各辺を1画素ずつ動かしながら評価指標Evalを求め、サーチ範囲のうち指標値が最大となるラインを動画領域の境界として確定する。動画領域境界決定手段１３５は、各辺の境界が確定するごとに、動画領域座標メモリ１２５を書き換える。
【００６０】
図８は、境界四辺の内外１ブロック分（計２ブロック分）について、画素単位での境界が探索される様子を示している。Z12531では上辺の境界探索が行われ、Z12532では下辺、Z12533では左辺、Z12534では右辺について境界探索が行われている。それぞれ、すでに確定している辺の境界を保ちつつ、内外１ブロック分について評価指標が算出され、指標値が最大となるラインを探索される。
【００６１】
図９および図１３の数式３（数式３−１〜３−５）は、下辺の境界探索における指標値の導出過程を示している。y行目における指標値Eval(y)は、動画領域のy行目の各座標におけるDP,DN,DNL,DPNの値から算出される。
【００６２】
DPは、現フレームにおける注目座標の画素値と、前フレームにおける同一座標の画素値との差分である。
【００６３】
DNは、現フレームにおける注目座標の画素値と、その１ライン外側の画素値との差分である。
【００６４】
DNLは、現フレームにおける、注目座標から１ライン外側での、サーチ方向と直交する方向（この場合水平方向）での画素値の差分である。
【００６５】
DPNは、注目座標から１ライン外側の座標での、現フレームの画素値と前フレームの画素値との差分である。
【００６６】
以上のDP,DN,DNL,DPNを図１３の数式３−５に基づいて１行分累積して、y行目における指標値Eval(y)が算出される。
【００６７】
最後に、内外２ブロック分の中で、Eval(y)が最大になるラインが境界として選択される。その理由は、図９において、領域内側(y行目)が自然画、領域外側が非自然画(例えば、空白行や黒帯など）の場合、DNLとDPNとが0になる確率が高くなるのに対してDNとDPとは或る程度大きな値になる確率が高くなるので、Eval(y)はDN＋DPの値になる。これに対して、領域内側(y行目)と領域外側とが共に自然画か、または共に非自然画の場合、DP,DN,DNL,DPNの全てが或る程度大きな値になる確率が高くなるので、Eval(y)は0に近い値になる確率が高くなるためである。
【００６８】
以上の処理が上下左右の各辺に対して行われ、画素単位での境界が決定される。
【００６９】
次に、図10のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
【００７０】
更新ブロック検出手段１３１は、前フレームメモリ１２１に格納された前フレームの画像と、現フレームメモリ１２２に格納された現フレームの画像とを読み出して比較し、画面内の各部分領域（ブロック）について、画素値に変化があったかどうかを判定する。画素値に変化があったブロックは更新ブロックとして、その座標情報を自然画更新ブロック判定手段１３２に通知する（ステップＳ１０１）。
【００７１】
次に、自然画更新ブロック判定手段１３２は、更新ブロック検出手段１３１から更新ブロックの座標情報が通知されると、前フレームメモリ１２１および現フレームメモリ１２２から各更新ブロックの画素値を読み出し、画素値の空間連続性および時間連続性を求める。連続性が一定以上であるブロックを自然画更新ブロックとして、その座標情報を自然画更新ブロックメモリ１２３へ出力する（ステップＳ１０２）。
【００７２】
次に、動画ブロック抽出手段１３３は、自然画更新ブロックメモリ１２３の内容を読み出し、現フレームにおいて自然画更新ブロックが検出されたかを判定する（ステップＳ１０３）。検出されていなければ（ステップＳ１０３のＮ）処理を終了する。検出されていれば（ステップＳ１０３のＹ）、自然画更新ブロックメモリ１２３から直近Ｎフレームの自然画更新ブロックの状態を読み出して、頻繁に自然画更新ブロックとして検出されているブロックを自然画の動画ブロックと判定し、その座標情報を動画ブロックメモリ１２４へ出力する（ステップＳ１０４）
【００７３】
次に、動画領域シード生成手段１３４は、動画ブロックメモリ１２４の内容を読み出し、現フレームにおいて自然画の動画ブロックが検出されたかを判定する（ステップＳ１０５）検出されていなければ（ステップＳ１０５のＮ）処理を終了する。検出されていれば（ステップＳ１０５のＹ）、動画ブロックメモリ１２４から自然画の動画ブロックの情報を読み出して、空間的に近接する自然画の動画ブロック同士を連結・統合する。統合によって得られた領域を自然画の動画領域シードとして、その座標情報を動画領域座標メモリ１２５へ出力する（ステップＳ１０６）。
【００７４】
次に、動画領域境界決定手段１３５は、動画領域シード生成手段１３４が生成した自然画の動画領域シードの座標情報を動画領域座標メモリ１２５からひとつずつ順次抽出し、注目動画領域シードとして設定する（ステップＳ１０７）。
【００７５】
次に、動画領域境界決定手段１３５は、動画領域座標メモリ１２５から注目動画領域シードの座標を、自然画更新ブロックメモリ１２３から直近Ｎフレームの状態を、前フレームメモリ１２１および現フレームメモリ１２２から動画領域シードの周辺の画素値を読み出し、自然画の動画領域の境界の座標を画素単位で決定する。また、得られた自然画の動画領域の座標を動画境界座標メモリ１２５に格納するとともに、動画領域情報出力装置１４へ出力する。
【００７６】
次に、動画領域境界決定手段１３５は、他の未処理の自然画の動画領域シードがあるかどうかを判定し（ステップＳ１０９）、もしあれば（ステップＳ１０９のＹ）、ステップＳ１０７に戻って処理を継続する。なければ（ステップＳ１０９のＮ）処理を終了する。
【００７７】
なお、上記説明では、動画領域シード生成手段１３４の連結手法として、空行・空列を区切りとして列・行方向に領域を統合する方法を示したが、他の方法であってもよい。たとえば、空間的に隣接する自然画の動画ブロック同士を連結し、連結領域に対してラベリングを行った上で、各ラベル値を持つ領域に対して外接矩形を求めて自然画の動画領域シードとする方法であってもよい。連結およびラベリングの手法としては、全ブロックのラベルが確定するまで４近傍の隣接ブロックを逐次連結し続ける方法があるが、これに加えて、1/8,1/4,1/2といった解像度から再帰的に処理単位を細かくしてブロックを連結する方法を採ってもよい。
【００７８】
またこのとき、動画領域シード生成手段１３４は、過度に小さい自然画の動画領域シードが多数発生しないようなフィルタ処理を加えてもよい。たとえば一定面積以下の自然画の動画領域シードは採択せず動画領域座標メモリ１２５へ出力しないようにしてもよい。また、フレーム内で最大面積の自然画の動画領域シードのみ採択するようにしてもよい。
【００７９】
本実施の形態の効果について説明する。
【００８０】
本実施の形態によれば、グラフィックと動画が混在するコンピュータ画面映像から、自然画の動画である領域を高精度に検出することができる。
【００８１】
また、動画領域を検出するために動き検索処理が不要であり、検出の負荷を低く抑えることができる。
【００８２】
その理由は、空間的および時間的に連続的に変化する領域をブロック単位で安定的に検出した後、周辺の画素状況に応じて細部の境界を探索しているためである。
【００８３】
[その他の実施形態]
以上、本発明の実施の形態について説明したが、本発明は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における各手段として機能させる。
【００８４】
なお、本発明は、日本国にて２０１１年７月１３日に特許出願された特願２０１１−１５４３８９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【産業上の利用可能性】
【００８５】
本発明は、入力映像から自然画の動画領域を検出し、自然画の動画領域をMPEGを用いて符号化する分野などに利用可能である。【００８６】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
を有することを特徴とする動画領域検出装置。
（付記２）
空間的に近接する前記自然画の動画ブロック同士を連結し、連結された前記自然画の動画ブロックの外接矩形を動画領域シードとして求める動画領域シード生成手段、
を有する付記１に記載の動画領域検出装置。
（付記３）
前記動画領域シードの上下左右の四辺について、動画領域の境界を画素単位で探索し決定する動画領域境界決定手段
を有する付記２に記載の動画領域検出装置。
（付記４）
前記動画領域境界決定手段は、ブロック単位で与えられた動画領域の上下左右の四辺それぞれについて、ブロック単位で拡大を試行するブロック単位領域拡大手段を備え、
前記ブロック単位領域拡大手段は、拡大によって新たに領域に加わると見込まれる座標のブロックについて、直近の一定フレーム数内で自然画の更新ブロックと判定された平均的な回数を算出し、算出された値が一定値を超える場合に該辺を１ブロック分拡大する
付記３に記載の動画領域検出装置。
（付記５）
前記動画領域境界決定手段は、ブロック単位で与えられた動画領域の上下左右の四辺それぞれについて、画素単位で境界を決定する画素単位領域境界決定手段を備え、
前記画素単位領域境界決定手段は、与えられた領域境界の内外１ブロック分をライン単位でスキャンし、注目ラインの外側と内側とで時間および空間方向の画素値の変化の不連続性が最も高くなるラインを動画領域境界として選択する
付記３に記載の動画領域検出装置。
（付記６）
前記画素単位領域境界決定手段は、注目ラインの各座標について、現フレームにおける注目座標の画素値と前フレームにおける同一座標の画素値との差分としてDPを算出し、現フレームにおける注目座標の画素値とその１ライン外側の画素値との差分としてDNを算出し、現フレームにおける注目座標から１ライン外側でのサーチ方向と直交する方向での画素値の差分としてDNLを算出し、注目座標から１ライン外側の座標での現フレームの画素値と前フレームの画素値との差分としてDPNを算出し、注目ラインについて(DN-DNL+DP-DPN)の総和を算出し、算出された総和が最大となるラインを境界として選択する
付記５に記載の動画領域検出装置。
（付記７）
前記自然画更新ブロック判定手段は、現フレームにおける注目ブロック内の画素値の空間的な変移の大きさを算出して、算出された変移の平均値が小さいブロックを自然画更新ブロックとして判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記８）
前記自然画更新ブロック判定手段は、非ゼロの変移のみを選択して平均値を算出する
付記７に記載の動画領域検出装置。
（付記９）
前記自然画更新ブロック判定手段は、更新ブロック内の各座標について、水平隣接画素との差分絶対値と垂直隣接画素との差分絶対値のうち小さくない方の値をエッジ値として算出し、非ゼロのエッジ値についてブロック内で平均値を求め、平均値が一定値未満となるブロックを自然画の更新ブロックと判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１０）
前記自然画更新ブロック判定手段は、現フレーム内での画素値の空間方向の変移、および、前フレームと現フレームの同一画素間の画素値の変移を算出して、算出された変移の平均値が小さいブロックを自然画の更新ブロックとして判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１１）
前記自然画更新ブロック判定手段は、現フレームの更新ブロック内の各画素について、現フレーム内での隣接画素の画素値との第１の差分と、前フレームの同一画素との第２の差分とを算出し、当該画素について算出した前記第１の差分と当該画素の直前の画素について算出した前記第１の差分との間の差分と、当該画素について算出した前記第２の差分と当該画素の直前の画素について算出した前記第２の差分との間の差分のうち、大きくない方の値を選択し、該選択された値が非ゼロとなるものについて、ブロック内で平均値を求め、平均値が一定値未満となるブロックを自然画の更新ブロックと判定する
付記１乃至６の何れかに記載の動画領域検出装置。
（付記１２）
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出し、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定し、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する
ことを特徴とする動画領域検出方法。
（付記１３）
コンピュータを、
入力映像の現フレームと前フレームとの間で画素値を比較し、値が変化した画素を含むブロックを更新ブロックとして検出する更新ブロック検出手段と、
各更新ブロックについて、ブロック内での画素値の変化の連続性の程度を表す指標値を算出し、該算出した指標値と閾値とを比較して、自然画の更新ブロックか否かを判定する自然画更新ブロック判定手段と、
直近の複数フレームにおいて一定回数以上自然画の更新ブロックと判定された座標のブロックを自然画の動画ブロックとして抽出する動画ブロック抽出手段と
して機能させるためのプログラム。
【符号の説明】
【００８７】
１…動画領域検出装置
２…更新ブロック検出装置
３…自然画更新ブロック判定手段
４…動画ブロック抽出手段
【図１】
0005979145.tif 000002
【図２】
0005979145.tif 000003
【図３】
0005979145.tif 000004
【図４】
0005979145.tif 000005
【図５】
0005979145.tif 000006
【図６】
0005979145.tif 000007
【図７】
0005979145.tif 000008
【図８】
0005979145.tif 000009
【図９】
0005979145.tif 000010
【図１０】
0005979145.tif 000011
【図１１】
0005979145.tif 000012
【図１２】
0005979145.tif 000013
【図１３】
0005979145.tif 000014
【図１４】
0005979145.tif 000015