(57)【特許請求の範囲】
【請求項１】
ある映像の特徴的な場面を検出する特徴場面検出システムにおいて、
連続する複数の静止画像からなる映像から静止画像を取り出す手段と、
該取り出された静止画像に対し、映像の点滅場面に関する特徴量を計算する手段と、
該計算された特徴量をもとに、前記静止画像とその前後の静止画像との特徴量の差を計算する手段と、
該計算された前記静止画像とその前後の静止画像との特徴量の差に従って、点滅画面となる静止画像を検出する手段と、
該検出された静止画像を、検出時間及び特徴量とともに、検出された順番にリストに登録する手段と、
前記静止画像を検出した後に、前記リストの始めに登録された第１の静止画像を取り出す手段と、
前記第１の静止画像の後に登録された第２の静止画像を取り出す手段と、
前記第１の静止画像の検出時間と前記第２の静止画像の検出時間の間隔が所定の値より小さい場合は、前記第１の静止画像と前記第２の静止画像を第１のグループに追加する手段と、
前記第１の静止画像の検出時間と前記第２の静止画像の検出時間の間隔が所定の値と等しいかそれより大きい場合は、前記第１の静止画像と前記第２の静止画像を第２のグループに追加する手段と、
前記第１のグループに属する静止画像を、該静止画像が検出された特徴量とともに、第１の領域に表示する手段と、
前記第２のグループに属する静止画像を、該静止画像が検出された特徴量とともに、第２の領域に表示する手段とを備えることを特徴とする特徴場面検出システム。
【請求項２】
前記静止画像の特徴量は、該静止画像の輝度を含むことを特徴とする請求項１記載の特徴場面検出システム。
【請求項３】
前記静止画像の特徴量は、該静止画像に含まれる赤成分の割合を含むことを特徴とする請求項１記載の特徴場面検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の中から特徴場面を検出し表示を行う特徴場面検出システムに関する。
【背景技術】
【０００２】
テレビの技術や演出手法が急速に進歩する一方で、アニメーション番組等に見られる点滅する光や、急激な場面変換などの映像の特殊効果が一部の視聴者の健康を損ねる事態が起きている。
【０００３】
このような特殊効果を検出する場合に、映像の１コマ１コマをコマ送りしながら人間が確認する場合、秒１コマの速度で確認できたとしても２時間の映画で４８時間かかる計算になり、放送する全ての映像に対して調査することは物理的に不可能となる。
【０００４】
そこで、従来の方式および装置では、点滅する光の場面に関しては、その１コマ１コマを短いカットとみなすことができることから、特許文献１に記載のようなサブリミナル画像の検出装置を代用し検出をおこなっていた。
【０００５】
【特許文献１】特開平９−７４５７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来の技術では、視聴者の健康を損ねる可能性のある映像を抽出するための基準値をもとに映像中の基準を超えている部分を検出することは可能であった。しかし、抽出された場面の具体的な特徴量がユーザにはわからない為、基準値に対してどの程度超えるのか比較を行えないという問題があった。更に、点滅場面では、大量の特徴場面となる静止画像を検出する為、一覧表示を行ってはいるが点滅場面の範囲が見にくいという問題があった。
【０００７】
本発明の目的は、特徴場面の特徴量を表示することにより、このシステムのユーザが基準値との比較を容易に行えるようにすることにある。更に、特徴場面を特殊効果の検出要因、検出時刻により分類し一覧表示し特徴場面の内容把握を容易に行えるようにすることにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、連続する複数の静止画像からなる映像から静止画像を取り出し、その静止画像に対し、映像の点滅場面に関する特徴量と前記静止画像とその前後の静止画像との特徴量の差を計算する。次に、計算された特徴量の差に従って、点滅画面となる静止画像を検出し、検出時間及び特徴量とともに検出された順番にリストに登録する。そして、前記リストの始めに登録された第１の静止画像と、前記第１の静止画像の後に登録された第２の静止画像を取り出す。第１の静止画像の検出時間と第２の静止画像の検出時間の間隔が所定の値より小さい場合は、第１の静止画像と第２の静止画像を第１のグループに追加し、第１の静止画像の検出時間と第２の静止画像の検出時間の間隔が所定の値と等しいかそれより大きい場合は、第１の静止画像と第２の静止画像を第２のグループに追加する。そして、第１のグループに属する静止画像を、その静止画像が検出された特徴量とともに第１の領域に表示するとともに、第２のグループに属する静止画像を、その静止画像が検出された特徴量とともに第２の領域に表示する構成を採用した。
【発明の効果】
【０００９】
本発明によれば、映像の中から特徴場面を検出し、その検出結果を一覧表示することにより、検出した特徴場面の内容を容易に把握することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施例を詳細に説明する。
【００１１】
図１は、本発明を実現する為のシステム構成の概略ブロック図の一例である。１０１は、ＣＲＴ等のディスプレイ装置であり、コンピュータ１１０の出力結果を表示する。コンピュータ１１０に対する命令は、キーボード１０４やマウス１０３等の入力装置を使って行うことができる。１０９の映像再生装置は、地上波放送や衛星放送、ケーブルテレビなどの放送番組を受信する為のチューナ装置、もしくは光ディスクやビデオテープ等に記憶された動画像を再生する為の装置である。コンピュータ１１０に対する命令は、この映像再生装置より行う場合もある。動画像再生装置から出力される映像信号は、逐次、キャプチャーボード等の映像入力装置１０８により映像の各コマをデジタル静止画像に変換し、コンピュータ１１０に送られる。コンピュータの内部では、デジタル静止画像は、インタフェース１０７を介してメモリ１０５に入りメモリ１０５に格納されたプログラムに従って、ＣＰＵ１０６によって処理される。ＣＰＵの処理内容に応じて、デジタル静止画像、ＣＰＵの処理結果の各種情報は、補助記憶装置１０２に記憶することができる。次にＣＰＵの処理内容について詳細に説明を行う。
【００１２】
図２は、図１で示したシステム上で実行されるプログラムの特徴場面検出プログラムのフローチャートの一例である。
【００１３】
プログラムは図１のメモリ１０５に格納され、以下の条件により実行する。
【００１４】
(1) ユーザが図１のマウス１０３又は、キーボード１０４により検出処理開始を指示する。
【００１５】
(2) 図１の映像再生装置１０９より検出処理開始が指示される。
【００１６】
プログラムが実行されると、図１のインタフェース１０７よりデジタル静止画像fiを取り込む（２０１）。次に、デジタル静止画像fiに対して、以下の特徴量を計算し、図１のメモリ１０５に記憶する(２０２)。
【００１７】
202-(1)：デジタル静止画像fiの平均輝度を求める。この結果は、 前記静止画像とその直前の静止画像の輝度差の割合による特徴量の検出に使用する。
【００１８】
202-(2)：デジタル静止画像fiを格子状のブロックに分割し、このブロックごとに平均輝度を求める。この結果は、前記静止画像とその直前の静止画像の平均輝度差が小さいが前記の静止画像間で同一ドットで位置で比較した場合に輝度差が大きい静止画像の輝度差の割合による特徴量の検出に使用する。
【００１９】
202-(3)：デジタル静止画像fiの色分布情報を求める。この結果は、赤成分のドットの面積率の計算に使用する。
【００２０】
202-(4)：デジタル静止画像fiを格子状のブロックに分割し、このブロックごとにＲＧＢ値の平均値を求める。この結果は、短いカットと映像の論理的な変化点の検出に使用する。
【００２１】
２０２で計算した特徴量に基づき以下のいずれかにデジタル静止画像fiが該当するか求める（２０３）。
【００２２】
203-(1)：202-(1)で求めたデジタル静止画像fiとfi-1の特徴量の差分を求め、その値があらかじめ設定しておいたしきい値を超えた場合。これに該当する場合、前記静止画像とその直前の静止画像の輝度差の割合による特徴場面となる。
【００２３】
203-(2)：202-(2)で求めた特徴量に基づき、以下の条件を満たす場合。これに該当する場合、前記静止画像とその直前の静止画像の平均輝度差が小さいが前記の静止画像間で同一ドットで位置で比較した場合に輝度差が大きい静止画像の輝度差の割合による特徴場面となる。
【００２４】
・デジタル静止画像fiとfi-1の特徴量の差分を求め、その値があらかじめ設定しておいたしきい値を超えた場合。
【００２５】
・上記しきい値を超えたブロックの数があらかじめ設定しておいたしきい値を超えた場合。
【００２６】
203-(3)：202-(4)で求めた特徴量からデジタル静止画像fiとfi-1、fi-1とfi-2、fiとfi-2の各々の組み合わせでの特徴量の差分を求め、その値があらかじめ設定しておいたしきい値をあるパターンで超える場合。これに該当する場合、映像の論理的な変化点による特徴場面となる。
【００２７】
203-(4)：202-(4)で求めた特徴量に基づき、以下の条件をみたす場合。これに該当する場合、短いカットによる特徴場面となる。
【００２８】
(a)デジタル静止画像fiとfi-1の特徴量より差分を求め、その値があらかじめ設定しておいたしきい値を超えた場合。
【００２９】
(b)上記(a)の条件を満たす静止画像を図１のメモリ１０５に記憶しておき、前記デジタル静止画像Sjとその前に検出したデジタル静止画像Sj-1の時間的な長さを求め、その長さがあらかじめ設定しておいたしきい値より短い場合。
【００３０】
上記２０３の判定の結果、デジタル静止画像fiを特徴場面と判定した場合、 fiとその特徴量をリストに追加する。このリストは、特徴場面を検出した順序で管理している。（２０４）。更に、デジタル静止画像fiを図１のディスプレイ１０１に図４のように一覧表示する。（２０５）
以上のように２０１から２０５の処理を行うことにより、デジタル静止画像fiに対する処理が終了する。続いて、次のデジタル静止画像fi+1の処理を行うかの判定を行うが、この時、以下のいずれかの条件と一致した場合、検出処理は終了となり、２０７の処理を行う。
【００３１】
(1)ユーザが図１のマウス１０３又は、キーボード１０４により検出処理終了を指示する。
【００３２】
(2)図１の映像再生装置１０９より検出処理終了が指示される。
【００３３】
上記２０６の処理で、検出処理が中止となった場合、リストに登録しておいた特徴場面の検出時間の間隔があらかじめ設定しておいたしきい値以下の部分でまとめ、グループに分類する（２０７）。２０７の詳細な処理については図８を用いて説明を行う。
【００３４】
ステップ２０７の処理では、最初に変数の初期化を行う（８０１）。次に特徴場面Ciがリストの最後の要素であるか判定を行う（８０２）。判定結果がＹＥＳの場合、グループの先頭特徴場面GFjからCiを最後のグループGjとしグループのリストに追加し処理を終了する（８１０）。又、判定結果がＮＯの場合、８０３から８０９の処理をループのイタレーション（一回分のループの処理）として処理する。この部分では、最初にリストより前記特徴場面Ciとその次の特徴場面Ci+1の検出時刻を取り出す（８０３と８０４）。次にCiとCi+1の検出時刻の間隔がしきい値以上か判定する（８０５）。判定結果がＹＥＳの場合、グループの追加処理（８０６〜８０８）を行う。この処理では、グループの先頭特徴場面GFjからCiをグループGjとしグループリストに追加（８０６）し、次のグループの先頭をGFj+1に設定し（８０７）、グループカウンタjをインクリメントする（８０８）。ＮＯの場合、グループの追加は何もおこなわない。そして、最後にリストのカウンタであるiをインクリメント（８０９）し、８０２の処理へ戻る。このようにして、２０７の処理は行われる。
【００３５】
この処理の結果、図９のようなグループリストが作成される。９０１は、グループのリストであるグループリストであり、９０２は１つのグループの要素のリストであるグループ要素リストである。又、９０３はグループの要素であり、グループリスト９０１からグループ要素リスト９０２を指し示す構造になっている。そして、グループ要素リスト９０２により特徴場面の情報（静止画像、特徴量、時間、その他付加情報）が含まれる要素（９０４）を管理する。
【００３６】
次に上記２０７の処理で作成したグループリストに含まれる特徴場面を１秒間の検出回数があらかじめ設定しておいたしきい値以上の部分でまとめ、更にグループに分類する（２０８）。この処理により、特徴場面の点滅している区間を検索し一覧表示時に点滅区間が容易に分かるようになる。２０８の処理の詳細について、図１０、図１１を用いて説明する。この図の処理は、１つのグループ要素リスト９０２に対する処理であり、実際には、グループの回数分実行される。
【００３７】
但し、２０７と２０８の処理は、片方のみを行うことも可能である。従って、この場合２０８の処理は前記のリストに対して処理を行うことができ、更に点滅区間とそれ以外の部分をそれぞれグループとして分類することも可能である。
【００３８】
この処理では、図１０の処理で１つのグループ要素リストに含まれる特徴場面の点滅の範囲を求める。そして、図１１の処理で点滅区間の周波数の計算を行う。
【００３９】
はじめに、図１０のブロックの機能について以下に説明する。この処理では、最初に変数の初期化を行う（１００１）。次にあらかじめ設定しておいた1秒間の検出回数のしきい値nとグループ要素リストの要素数を比較し、nが要素数より大きいか判定する（１００２）。その結果、ＹＥＳの場合、このグループには点滅区間がないので処理を終了する。又、ＮＯの場合、１００３から１００７の処理により、点滅区間の範囲を検索をして行く。次に、ＮＯの場合の処理について説明する。最初に特徴場面Ci+nが要素のリストに存在するか判定する（１００３）。その結果、ＹＥＳの場合、点滅区間の検索が終了したので、次に図１１の処理を開始する。ＮＯの場合、点滅区間の判定を続行する。次に点滅区間の判定の処理について説明する。はじめにグループ要素リスト９０２より特徴場面CiからCi+nの検出時刻を取り出す（１００４）。次に、CiからCi+ nの検出間隔が１秒以内となるか判定する（１００５）。その結果、ＹＥＳならCiからCi+nの点滅画像区間フラグをONにする（１００６）。又、ＮＯの場合なら何もしない。そして最後に要素のカウンタiをインクリメントする（１００７）。このようにして、点滅区間の洗い出しを行う。
【００４０】
次に図１１の機能について説明を行う。はじめにグループ要素リストのカウンタを初期化する（１００８）。次に特徴場面Ciの点滅区間フラグがＯＮか判定する（１００９）。この結果ＹＥＳの場合、点滅区間の先頭が見つかったので、次に点滅区間の後尾の検索と点滅区間の周波数の計算を行う（１０１０〜１０１６）。この処理では、はじめに点滅区間の終了位置の検索開始位置を変数jに設定する（１０１０）。そして、グループ要素リストの中にCjが存在しない（１０１１）か、又は、Cjの点滅区間フラグがＯＦＦになる（１０１２）までjをインクリメント（１０１３）して、点滅区間の後尾Cj-1を求める。そして、その結果を元に1秒間の点滅回数を計算する（１０１４）。そして、点滅回数をCiからCj-1の付加情報に設定する（１０１５）。これによりCjまでの点滅回数の検索が終了したので、iに次の点滅区間の先頭の開始位置jを代入する（１０１６）。これにより点滅区間の周波数を計算する処理が行われる。
【００４１】
１００９の判定がＮＯの場合 グループ要素リストのカウンタiをインクリメント（１０１７）する。そして、最後にCiが要素リストに存在しないか判定する。この結果ＹＥＳなら２０８の処理は全て終了したことになる。又、ＮＯなら１００９の処理に戻り、次の点滅区間の開始地点を検索する。このようにして２０８の処理は行われる。
【００４２】
最後に、上記２０７から２０８の処理結果を図１のディスプレイ１０１に図５のように一覧表示する（２０９）。次に、このシステムのユーザインタフェースについて説明する。
【００４３】
図３は、図２のプログラムを実行するシステムのユーザインタフェースの一例である。
【００４４】
このユーザインタフェースは、図１のディスプレイ１０１に表示する。次にユーザインタフェースについて詳細に説明する。
【００４５】
３０１は、マウスポインタである。ユーザは、図１のマウス１０３または、キーボード１０４を使い、マウスポインタを操作し、ユーザインタフェースの任意の位置をポイントする。
【００４６】
３０２は、検出対象となる映像の表示領域である。
【００４７】
３０３は、検出操作開始ボタンである。マウスポインタによりこのボタンを押下することにより、図２のプログラムが実行される。
【００４８】
３０４は、終了ボタンである。マウスポインタによりこのボタンを押下することにより、図２のプログラムの検出処理が終了する。
【００４９】
３０５は、特徴場面一覧領域である。ここに、図２のプログラムにより検出した特徴場面を一覧表示する。検出処理中は、図４のように表示し、検出処理終了後は、図５のように表示する。
【００５０】
３０６は、スクロールバーである。検出処理終了後に検出結果を表示する際に３０５の領域に検出結果が全て入らない場合、使用される。
【００５１】
ユーザインタフェースで使用するボタン、スクロールバーについては、既存の技術であればたり、ここでは詳細な説明は述べない。次に検出結果一覧方法について説明を行う。
【００５２】
図４は、検出処理中の検出結果一覧方法の一例である。特徴場面が見つかると４０１の位置より、順に表示していく。
【００５３】
図５は、検出処理終了後の検出結果一覧方法の一例である。
【００５４】
５０１は、グループアイコン表示領域である。図２のプログラムで、特徴場面の検出間隔により分類したグループの情報を表示する。
【００５５】
５０２は、アイコン表示領域である。図２のプログラムにより分類したグループに属する特徴場面を表示する領域である。
【００５６】
５０３は、グループとグループの境界線である。
【００５７】
５０４は、グループアイコン表示領域とアイコン表示領域の境界線である。次に、アイコンとグループアイコンについて説明を行う。
【００５８】
図６は、アイコンの一例である。アイコンには、特徴場面とその特徴量、検出時間を表示する。
【００５９】
６０１は、特徴場面となるデジタル静止画像を表示する。６０２は、特徴場面の検出時間を表示する。６０３は、特徴場面の特徴量を表示する領域である。１マスが１つの特徴量をあらわしており、その特徴量で検出された場合、ここの背景が特定の色で塗りつぶされ、更に画像の特徴量を数値で表示する。これにより一目でこの特徴場面の検出要因が分かる。６０４は、図２のプログラムの２０８の処理により分類された場合の一秒間の検出回数を周波数で表示する領域である。６０５は、図２のプログラムの２０３-(4)の検出要因で検出した場合に、同一の画像が続くことを画像の厚みで表している６０６は、アイコンの背景である。６０４が表示されている場合、アイコンの背景を赤などの色で塗りつぶす。これにより一目でこの特徴場面が人体に有害であることを表している。
【００６０】
図７は、特徴場面の検出間隔により分類したグループの情報を表すグループアイコンである。７０１は、グループに属するアイコンの先頭アイコンの特徴場面である。７０２は、グループの通し番号を表す。７０３は、グループに属するアイコンの先頭アイコンの検出時刻である。７０４は、グループに属するアイコンの最後尾アイコンの検出時刻である。７０５は、グループに属するアイコン数である。７０６は、７０３、７０４、７０５の情報より求めたグループ内の１秒あたりの平均検出回数である。７０７は、グループアイコンの背景である。グループに属するアイコンの中に２０８の処理により分類された特徴場面を含む場合、この領域を赤などの色で塗りつぶす。
【００６１】
以上の処理方法、表示方法により特徴場面の検出を行う。
【図面の簡単な説明】
【００６２】
【図１】本発明が適用される一実施例におけるシステム構成のブロック概略図である。
【図２】本発明が適用される一実施例における特徴場面検出プログラムのフローチャート図である。
【図３】本発明が適用される一実施例におけるシステムのユーザインタフェースを表す図である。
【図４】本発明が適用される一実施例における検出処理中の検出結果一覧方法を表す図である。
【図５】本発明が適用される一実施例における検出処理終了後の検出結果一覧方法を表す図である。
【図６】本発明が適用される一実施例における特徴場面とその特徴量を表示するアイコンを説明する図である。
【図７】本発明が適用される一実施例における特徴場面の検出間隔により分類したグループの情報を表すグループアイコンを説明する図である。
【図８】本発明が適用される一実施例における特徴場面の検出間隔でグループに分類するプログラムのフローチャート図である。
【図９】本発明が適用される一実施例におけるグループリストの構成図である。
【図１０】本発明が適用される一実施例における特徴場面の1秒間の検出回数によりグループに分類するプログラムのフローチャート図である。
【図１１】図１０のフローチャートに続く、特徴場面の1秒間の検出回数によりグループに分類するプログラムのフローチャート図である。
【符号の説明】
【００６３】
２０１：フレーム画像fiの取り込みする処理、２０２：fiの特徴量を計算する処理、２０３：fiが特徴場面であるか判定する処理、２０４：fiをリストに追加する処理、２０５：fiを画面に表示する処理、２０６：ユーザ操作又は、映像再生装置により処理を停止する処理、２０７：リストに登録した特徴場面をその検出間隔で分類する処理、２０８：リストに登録した特徴場面を１秒間の検出回数で分類する処理、２０９：分類結果を表示する処理
【図１】
0003685208.tif 000002
【図２】
0003685208.tif 000003
【図３】
0003685208.tif 000004
【図４】
0003685208.tif 000005
【図５】
0003685208.tif 000006
【図６】
0003685208.tif 000007
【図７】
0003685208.tif 000008
【図８】
0003685208.tif 000009
【図９】
0003685208.tif 000010
【図１０】
0003685208.tif 000011
【図１１】
0003685208.tif 000012