(57)【要約】注目物体の出現位置表示装置は、動画像の各フレームに対して指定された１又は複数の注目物体を検出する物体検出部と、検出された各注目物体の位置データを保持する位置データ保持部と、位置毎に各注目物体の出現頻度を計算する出現頻度計算部と、各注目物体の出現頻度を対応する画素の濃淡値で表示する濃淡表示部とを備えるように構成されている。
2004068414.tif 000002
【特許請求の範囲】
【請求項１】
動画像の各フレームに対して、指定された１又は複数の注目物体を検出する物体検出部と、
検出された各注目物体の位置データを保持する位置データ保持部と、
位置毎に各注目物体の出現頻度を計算する出現頻度計算部と、
各注目物体の出現頻度を対応する画素の濃淡値で表示する濃淡表示部とを備えたことを特徴とする、注目物体の出現位置表示装置。
【請求項２】
前記物体検出部は、予め指定した条件を満たすフレームだけを対象として各注目物体を検出することを特徴とする、請求の範囲第１項記載の注目物体の出現位置表示装置。
【請求項３】
前記位置データ保持部は、予め指定した条件を満たす各注目物体の位置データだけを保持することを特徴とする、請求の範囲第１項又は第２項記載の注目物体の出現位置表示装置。
【請求項４】
前記位置データ保持部は、検出された各注目物体のうち、予め指定された部位の位置データだけを保持することを特徴とする、請求の範囲第１項〜第３項のいずれか１項記載の注目物体の出現位置表示装置。
【請求項５】
前記部位は、各注目物体の重心又は注目物体が顔の場合は目であることを特徴とする、請求の範囲第４項記載の注目物体の出現位置表示装置。
【請求項６】
前記位置データ保持部及び前記出現頻度計算部は、検出された各注目物体のうち、予め指定された条件毎に検出された注目物体に分けて出現頻度を別々にカウントすることを特徴とする、請求の範囲第１項〜第５項のいずれか１項記載の注目物体の出現位置表示装置。
【請求項７】
前記濃淡表示部は、各注目物体の出現頻度を表す際に、予め指定された条件毎に濃淡表示を分けて表示することを特徴とする、請求の範囲第１項〜第６項のいずれか１項記載の注目物体の出現位置表示装置。
【請求項８】
前記濃淡表示部は、各注目物体の出現頻度を表す際に、予め指定された条件毎に色分けして濃淡を表示することを特徴とする、請求の範囲第１項〜第６項のいずれか１項記載の注目物体の出現位置表示装置。
【請求項９】
前記濃淡表示部により出力された濃淡値の画像を自動的に分類・配置して表示する画像配置部を更に備えたことを特徴とする、請求の範囲第１項〜第８項のいずれか１項記載の注目物体の出現位置表示装置。
【発明の詳細な説明】
【技術分野】  本発明は、注目物体の出現位置表示装置に係り、特に動画像中の注目物体の出現位置を、動画像の特徴を分類したり分析するのに適した態様で表示する注目物体の出現位置表示装置に関する。
近年、テレビ局を代表とする企業等が自社で保有している各種動画像ファイルや、個人がビデオで撮像した動画像ファイル等を分類したり分析したりする要望が増している。
本発明になる注目物体の出現位置表示装置は、各動画像の特徴を分かり易く表示するもので、特定の動画像ファイルに類似した動画像ファイルを検索する際に利用したり、動画像ファイルのジャンルを分類する際に利用したり、ＣＭやテレビ番組の視聴率等の関係を分析したり、映画監督が撮影した映像群に共通する作風を分析したりする際に利用したりするのに好適である。
【背景技術】  特定物体の検出方法としては、人物の顔、馬や車を検出する様々な方法が提案されている。このような特定物体の検出方法は、例えばＨｅｎｒｙ  Ｓｃｈｎｅｉｄｅｒｍａｎ，“Ａｓｔａｔｉｓｔｉｃａｌ  ａｐｐｒｏａｃｈ  ｔｏ  ３Ｄ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ａｐｐｌｉｅｄ  ｔｏ  ｆａｃｅｓ  ａｎｄ  ｃａｒｓ，”ＣＭＵ−ＲＩ−ＴＲ−００−０６，２０００にて提案されている。以下の説明では、説明の便宜上、特定物体の検出方法の一例として、よく利用される人物の顔の検出方法を例にとって説明する。
静止画像や動画像から人物の顔が出現する位置を検出する検出方法としては、様々な方法が提案されている。このような検出方法は、例えばＭｉｎｇ−Ｈｓｕａｎ  Ｙａｎｇ  ａｎｄ  Ｎａｒｅｎｄｒａ  Ａｈｕｊａ，“Ｆａｃｅ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｇｅｓｔｕｒｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｏｒ  ｈｕｍａｎ−ｃｏｍｐｕｔｅｒ  ｉｎｔｅｒａｃｔｉｏｎ，”Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ，ＩＳＢＮ：０−７９２３−７４０９−６，２００１にて提案されている。このような検出方法の多くは、図１に示すように、検出した顔１の位置に矩形や円形等の印２を付与することで検出結果を表示する。図１は、従来の検出方法の一例を説明する図である。このため、静止画像に対する顔の検出の場合、ユーザは検出結果の印を見ることにより、画像中のどの位置に検出した顔があるかという情報を容易に把握することが可能である。
他方、動画像に対する顔の検出の場合には、動画像を構成する基本要素であるフレームという静止画像単位で顔を検出する場合が多い。このような検出方法は、例えば櫻井和之、井上晃、佐藤敦：顔検出のための濃淡特徴を用いた高速な両目ペアの検出、第８回画像センシングシンポジウム講演論文集、ｐｐ．５５７−５６２、２００２にて提案されている。このため、動画像に対する顔の検出の場合も、静止画像の場合と同様に、静止画像に相当する各フレームの顔が検出された位置に矩形や円形等の印を付与することで検出結果を表示する。
動画像に対する顔の検出結果の表示方法として、フレーム単位で検出された顔の位置に印を付与する方法の場合、フレームは一般に毎秒３０フレーム存在し、１分程度の動画像でも約１８００フレーム存在するため、検出結果も相当なフレーム数となる。従って、検出結果の各フレームに対して、ユーザが目視により顔がどの位置で検出されたかを確認する作業は、非常に煩雑であると共に時間がかかるという問題があった。又、動画像全体を通して、例えばどの位置に顔が多く検出されたかといった情報を総合的に把握することも難しいという問題があった。
【発明の開示】
そこで、本発明は、上記の問題を解決した新規、且つ、有用な注目物体の出現位置表示装置を提供することを概括的目的とする。
本発明のより具体的な目的は、動画像中の注目物体の出現位置を容易に把握することを可能とする注目物体の出現位置表示装置を提供することにある。
本発明の他の目的は、動画像の各フレームに対して指定された１又は複数の注目物体を検出する物体検出部と、検出された各注目物体の位置データを保持する位置データ保持部と、位置毎に各注目物体の出現頻度を計算する出現頻度計算部と、各注目物体の出現頻度を対応する画素の濃淡値で表示する濃淡表示部とを備えた注目物体の出現位置表示装置を提供することにある。本発明になる注目物体の出現位置表示装置によれば、動画像中の注目物体の出現位置を容易に把握することができる。
本発明の更に他の目的及び特長は、以下図面と共に述べる説明より明らかとなろう。
【図面の簡単な説明】  図１は、従来の検出方法の一例を説明する図である。
図２は、本発明になる注目物体の出現位置表示装置の一実施例を示すブロック図である。
図３は、物体検出部の動作の一実施例を説明するフローチャートである。
図４は、位置データ保持部の動作の一実施例を説明するフローチャートである。
図５は、位置データ保持部の動作の他の実施例を説明するフローチャートである。
図６は、位置データ保持部の動作の更に他の実施例を説明するフローチャートである。
図７は、出現頻度計算部の計算処理を、４画素からなる２つのフレームについて説明する図である。
図８は、出現頻度計算部の動作の一実施例の要部を説明するフローチャートである。
図９は、濃淡表示部の動作の一実施例を説明するフローチャートである。
図１０は、画像配置部の動作の一実施例を説明するフローチャートである。
図１１は、画像配置部の動作を説明する図である。
図１２は、教育番組の動画像の分類・配置を説明する図である。
図１３は、ニュース番組の動画像の分類・配置を説明する図である。
図１４は、ドラマの動画像の分類・配置を説明する図である。
【発明を実施するための最良の形態】  図２は、本発明になる注目物体の出現位置表示装置の一実施例を示すブロック図である。注目物体の出現位置表示装置は、動画像の各フレームから注目物体を検出する物体検出部１１と、検出された注目物体の位置（座標）を保持する位置データ保持部１２と、位置毎に注目物体の出現頻度を計算する出現頻度計算部１３と、注目物体の出現頻度を対応する画素の濃淡値で表示する濃淡表示部１４と、表示された濃淡画像を画像特徴量に基づいて自動的に分類・配置する画像配置部１５とを備える。この構成により、注目物体の出現頻度を濃淡情報で表示することが可能となり、従来のようにユーザが目視により注目物体がどの位置で検出されたかを確認する煩雑で時間のかかる作業が不要となり、簡単に動画像中の注目物体の出現位置を把握することができる。
物体検出部１１、位置データ保持部１２、出現頻度計算部１３、濃淡表示部１４及び画像配置部１５の各機能は、ハードウェアで実現しても、ソフトウェアで実現しても良い。以下の説明では、説明の便宜上、物体検出部１１、位置データ保持部１２、出現頻度計算部１３、濃淡表示部１４及び画像配置部１５の各機能がソフトウェアで実現され、汎用コンピュータ等の周知の情報処理装置のＣＰＵ等のプロセッサにより実行されるものとする。尚、周知の情報処理装置は、少なくともＣＰＵ及びメモリからなれば良い。
注目物体としては、人物の顔、馬、車等の様々な物体が考えられるが、ここでは説明の便宜上、注目物体が人物の顔である場合を例にとって説明する。
物体検出部１１では、動画像の各フレームを入力として受け取り、フレーム中に注目物体である人物の顔が出現する場合には、その注目物体の位置を検出して出力する。物体検出部１に入力される動画像は、ビデオカメラ等の周知の撮像手段により撮像されてリアルタイムで入力されるものであっても、予めディスクやメモリ等の周知の格納手段に格納されたものが読み出されて入力されるものであっても良い。又、注目物体は、例えば周知の情報処理装置のキーボードやマウス等の入力装置により周知の方法でユーザにより指定可能である。注目物体としての顔の検出方法は、従来より様々なものが提案されているが、一例として次のような検出方法がある。
先ず、画像中の顔の候補を決定するために、色情報を利用して、ある閾値を満足する色を肌色として抽出する。次に、抽出された肌色の各画素に対して、輝度値をガボール変換した特徴量と、予め登録された辞書の顔画像の目の部分の輝度値をガボール変換した特徴量との誤差を計算し、誤差が予め設定された閾値以下であれば、その画素は目であるとして抽出する。このようにして、抽出された目が含まれる顔候補を、顔として検出する。このような方法は、例えばＬ．Ｗｉｓｋｏｔｔ  ｅｔ  ａｌ．，“Ｆａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂｙ  ｅｌａｓｔｉｃ  ｂｕｎｃｈ  ｇｒａｐｈ  ｍａｔｃｈｉｎｇ，”ＰＡＭＩ  ｖｏｌ．１９，ｎｏ．７，ｐｐ．７７５−７７９，１９９７にて提案されている。この例ではガボール変換した特徴量を用いたが、単純に輝度値を特徴量として用いてパターンマッチングする方法もある。
顔の検出方法自体及び注目物体の検出方法自体は、特に上記の検出方法に限定されるものではないことは、言うまでもない。
物体検出部１１は、動画像の全てのフレームに対して注目物体の検出を行わず、予め指定した条件を満たすフレームだけを対象として注目物体の検出を行う構成としても良い。この場合の条件としては、例えば一定間隔毎に抽出したフレームを対象にしたり、画像特徴量の変化が大きいフレームを対象としたりすることが可能である。このように、予め指定した条件を満たすフレームだけを対象として注目物体の検出を行うことにより、注目物体の検出に要する時間を短縮することができる。
更に、物体検出部１１は、単一の注目物体を検出しても、例えば人物の顔と車といった具合に複数の注目物体を検出しても良い。複数の注目物体を検出する場合、１つの処理で複数の注目物体を検出する方法や、単一の注目物体を検出する処理を複数回行って複数の注目物体を検出する方法を採用可能である。
図３は、物体検出部１１の動作の一実施例を説明するフローチャートである。同図中、ステップＳ１は、動画像を入力し、ステップＳ２は、一定数のフレーム画像を飛ばす。ステップＳ３は、全フレームを繰り返したか（全フレームが処理されたか）否かを判定し、判定結果がＮＯであると、ステップＳ４は、現在のフレームと前のフレームとの差分が閾値以上であるか否かを判定する。ステップＳ４の判定結果がＮＯであると、処理はステップＳ３へ戻る。他方、ステップＳ４の判定結果がＹＥＳであると、ステップＳ５は、フレーム画像を入力する。
ステップＳ６は、全画素を繰り返したか否かを判定し、判定結果がＹＥＳであると、処理はステップＳ３へ戻る。ステップＳ６の判定結果がＮＯであると、ステップＳ７は、ユーザにより指定された注目物体である顔の個数が閾値以下であるか否かを判定し、判定結果がＮＯであると、処理はステップＳ６へ戻る。他方、ステップＳ７の判定結果がＹＥＳであると、ステップＳ８は、フレーム画像から肌色を抽出し、ステップＳ９は、抽出された肌色の各画素に対して輝度値をガボール変換する。ステップＳ１０は、ガボール変換により得られる特徴量と予め登録された辞書の顔画像の目の部分の輝度値をガボール変換した特徴量との誤差を計算する。ステップＳ１１は、計算された誤差が閾値以下であるか否かを判定する。ステップＳ１１の判定結果がＮＯであると、ステップＳ１２は、顔以外が検出されたと判断し、処理はステップＳ６へ戻る。他方、ステップＳ１１の判定結果がＹＥＳであると、ステップＳ１３は、顔が検出されたと判断し、処理はステップＳ６へ戻る。ステップＳ３の判定結果がＹＥＳになると、図３の処理は終了する。
位置データ保持部１２は、物体検出部１１で検出された注目物体（顔）の位置の座標を保持する。この場合、検出された１つの注目物体に相当する画素が複数存在することが多いので、例えば検出された注目物体の領域に相当する画素の全ての座標を保持したり、検出された注目物体の領域の予め指定された場所（例えば重心）の座標を保持したり、検出された注目物体の領域の予め指定された部位（例えば顔が注目物体の場合、目、鼻、口等）の座標を保持したりしても良い。従って、例えば非常に小さい物体の影響を除去したい場合には、ある大きさより小さい物体に対しては座標を保持しないという条件を予め指定しておくことで、小さい物体が出現頻度に含まれることを防ぐことが可能となる。又、物体の中の特定の部位を指定することで、一般に複数の画素に跨って存在する注目物体の位置を、より正確に把握することが可能となる。
又、検出された注目物体のうち、予め指定しておいた条件毎に検出された注目物体を分けて夫々の出現頻度を別々にカウントするために、位置データも条件毎に保持しても良い。例えば、条件として注目物体の方向別を指定しておき、夫々の方向毎に位置データを保持することができる。その他の条件としては、注目物体の種類別や、注目物体の大きさ別等、様々な条件を指定することもできる。
図４は、位置データ保持部１２の動作の一実施例を説明するフローチャートである。同図中、ステップＳ２１は、与えられた条件を全て繰り返したか（与えられた条件の全てで処理が行われたか）否かを判定する。ステップＳ２１の判定結果がＮＯであると、ステップＳ２２は、検出された注目物体の全ての画素を繰り返したか否かを判定し、判定結果がＹＥＳであると、処理はステップＳ２１へ戻る。他方、ステップＳ２２の判定結果がＮＯであると、ステップＳ２３は、画素の座標値をメモリに保存し、処理はステップＳ２２へ戻る。ステップＳ２１の判定結果がＹＥＳになると、図４に示す処理は終了する。
図５は、位置データ保持部１２の動作の他の実施例を説明するフローチャートである。同図中、図４と同一ステップには同一符号を付し、その説明は省略する。図５において、ステップＳ２４は、全ての注目物体について処理を繰り返したか否かを判定し、判定結果がＹＥＳであると、処理はステップＳ２１へ戻る。ステップＳ２４の判定結果がＮＯであると、ステップＳ２５は、検出された注目物体の重心の座標値を計算する。ステップＳ２６は、重心の座標値をメモリに保存し、処理はステップＳ２４へ戻る。ステップＳ２１の判定結果がＹＥＳになると、図５に示す処理は終了する。
図６は、位置データ保持部１２の動作の更に他の実施例を説明するフローチャートである。同図中、図４と同一ステップには同一符号を付し、その説明は省略する。図６において、ステップＳ２７は、抽出した全ての画素を繰り返したか否かを判定し、判定結果がＹＥＳであると、処理はステップＳ２１へ戻る。ステップＳ２７の判定結果がＮＯであると、ステップＳ２８は、検出された注目物体の指定された部位であるか否かを判定し、判定結果がＮＯであると、処理はステップＳ２７へ戻る。ステップＳ２８の判定結果がＹＥＳであると、ステップＳ２９は、指定された部位の座標値をメモリに保存し、処理はステップＳ２７へ戻る。ステップＳ２１の判定結果がＹＥＳになると、図６に示す処理は終了する。
出現頻度計算部１３は、位置データ保持部１２に保持された位置データから、各座標の注目物体の出現頻度を計算する。注目物体の出現頻度は、以下のステップＳＴ１〜ＳＴ５からなる計算処理により計算可能である。
ＳＴ１：各座標の注目物体の出現数Ｃを０に初期化する。
ＳＴ２：各座標の注目物体の出現数Ｃをカウント（インクリメント）する。
ＳＴ３：注目物体の出現数Ｃの総和Ｓを計算する。
ＳＴ４：各座標の注目物体の出現数ＣをＳで割り、出現率Ｒ＝Ｃ／Ｓを計算する。
ＳＴ５：座標の出現率Ｒに最大輝度値（８ビットの場合には２５５）をかけることで、濃淡値Ｉ＝Ｒ×２５５を計算する。
図７は、出現頻度計算部１３の上記計算処理を、４画素からなる２つのフレームについて説明する図である。同図中、○印は、検出された注目物体の画素を示す。又、同図中（ａ）は２つのフレーム、（ｂ）は２つのフレームに対する注目物体の出現数Ｃ、（ｃ）は出現率Ｒ、（ｄ）は濃淡値Ｉ、（ｅ）は後述する濃淡表示部１４により濃淡値Ｉを表示した場合の濃淡表示Ｄを示す。
検出された注目物体のうち、予め指定しておいた条件毎に検出された注目物体を分けて出現頻度を別々にカウントすることもできる。例えば、条件として注目物体の方向別を指定しておけば、夫々の方向毎に出現頻度をカウントすることができる。その他の条件としては、注目物体の種類別、注目物体の大きさ別、注目物体の出現数別等の様々な条件を指定することができる。
図８は、出現頻度計算部１３の動作の一実施例の要部を説明するフローチャートである。同図中、ステップＳ３１は、保持された注目物体の位置データに対して、与えられた全ての条件を繰り返したか（与えられた全ての条件で処理が行われたか）否かを判定する。ステップＳ３１の判定結果がＮＯであると、ステップＳ３２は、注目物体の全画素を繰り返したか否かを判定し、判定結果がＹＥＳであると、処理は後述するステップＳ３５へ進む。他方、ステップＳ３２の判定結果がＮＯであると、ステップＳ３３は、メモリに保存された注目物体の出現数Ｃをカウントする。又、ステップＳ３４は、注目物体の出現数の総和ＳをＳ＝Ｓ＋Ｃから求め、処理はステップＳ３２へ戻る。
ステップＳ３５は、注目物体の全画素を繰り返したか否かを判定し、判定結果がＹＥＳであると、処理はステップＳ３１へ戻る。ステップＳ３５の判定結果がＮＯであると、ステップＳ３６は、メモリに保存された注目物体の出現数Ｃをカウントする。又、ステップＳ３７は、注目物体の出現数の総和ＳをＳ＝Ｓ＋Ｃから求め、処理はステップＳ３５へ戻る。ステップＳ３１の判定結果がＹＥＳになると、図８に示す処理は終了する。出現率Ｒ及び濃淡値Ｉは、上記ステップＳＴ４，ＳＴ５と同様に求めることが可能である。
濃淡表示部１４は、出現頻度計算部１３で計算した各座標の濃淡値を、出力する濃淡画像の該当画素の輝度情報（濃度値）として上記汎用コンピュータの表示部に表示する。出現頻度計算部１３が上記ステップＳＴ１〜ＳＴ５を行う場合、濃淡表示部１４は、次のようなステップＳＴ６からなる濃淡表示処理を行う。
ＳＴ６：各座標の注目物体の濃淡値Ｉを、濃淡画像の該当画素の輝度情報［０〜２５５］とする。
検出された注目物体のうち、予め指定しておいた条件毎に検出された注目物体の出現頻度を別々の濃淡表示に分けて表示することも可能である。具体的には、例えば注目物体の方向別の場合を考えると、右方向の出現頻度を表す濃淡表示と、正面方向の出現頻度を表す濃淡表示と、左方向の出現頻度を表す濃淡表示の３種類の濃淡表示を用意することにより、注目物体を条件毎に別々の濃淡表示することができる。
又、検出された注目物体のうち、予め指定しておいた条件毎に検出された注目物体の出現頻度を別々の色に割り当てることにより、色分けした濃淡で表示することも可能である。具体的には、例えば注目物体の方向別の場合を考えると、右方向の出現頻度を赤、正面方向の出現頻度を青、左方向の出現頻度を緑の濃淡で表示することにより、注目物体を色分けした濃淡で表示することができる。
図９は、濃淡表示部１４の動作の一実施例を説明するフローチャートである。同図中、ステップＳ４１は、出現頻度が計算された注目物体の全画素が繰り返したか（注目物体の全画素が処理されたか）否かを判定する。ステップＳ４１の判定結果がＮＯであると、ステップＳ４２は、複数の濃淡値Ｉを与えられた関数によりＲＧＢデータに変換し、処理はステップＳ４１へ戻る。他方、ステップＳ４１の判定結果がＹＥＳであると、ステップＳ４３は、ＲＧＢデータに基づいて濃淡画像を表示部に表示し、処理は終了する。
画像配置部１５は、表示された濃淡画像を任意の画像特徴量に基づいて自動的に分類・配置する。濃淡画像に限らず、一般の画像をこのように自動的に分類・配置する方法は従来より提案されており、その一例がＳｕｓｕｍｕ  Ｅｎｄｏ  ｅｔ  ａｌ．，”ＭＩＲＡＣＬＥＳ：Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ，Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ａｎｄ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｓｙｓｔｅｍ”，Ｉｎ  Ｐｒｏｃ．ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  ａｎｄ  Ｅｘｐｏ（ＩＣＭＥ２００２），２００２にて提案されている。この提案された分類・配置方法では、各画像から指定された画像特徴量（色、テクスチャ、形状等）を自動的に抽出し、選択された任意の画像と各画像との抽出された画像特徴量の誤差を計算し、選択画像と類似した（誤差が少ない）画像を類似度順に表示することが可能である。尚、画像配置部１５は、上記の如き分類・配置方法以外の方法で濃淡画像を分類・配置しても良い。又、濃淡表示部１４により表示される濃淡画像は、一般の画像の部分集合であるため、周知の分類・配置方法を採用する画像配置部１５に入力することが可能となる。
上記位置データ保持部１２と出現頻度計算部１３は、予め指定しておいた条件毎に検出された注目物体を分けて出現頻度を別々にカウントして、上記濃淡表示部１４は、条件毎に色分けして出現頻度を濃淡情報として表示することができる。従って、例えば注目物体の向き毎に分けて出現頻度を把握することができ、条件で注目物体の向きを指定しておくことにより、右向きの注目物体が正面向きの注目物体より出現頻度が高いといった具合に、より詳細に出現頻度を把握することが可能となる。
図１０は、画像配置部１５の動作の一実施例を説明するフローチャートである。同図中、ステップＳ５１は、濃淡表示部１４により表示された濃淡画像から、基となる画像を選択する。ステップＳ５２は、選択された画像から所定の特徴量を周知の方法により抽出する。ステップＳ５３は、全画像を繰り返したか（全ての画像を処理したか）否かを判定する。ステップＳ５３の判定結果がＮＯであると、ステップＳ５４は、処理されていない画像から所定の画像特徴量を周知の方法により抽出する。又、ステップＳ５５は、ステップＳ５２で抽出された選択された画像の画像特徴量と、ステップＳ５４で抽出された画像の画像特徴量の誤差を計算し、処理はステップＳ５３へ戻る。
他方、ステップＳ５３の判定結果がＹＥＳであると、ステップＳ５６は、誤差の昇順に全ての画像をソートする。又、ステップＳ５７は、ソートされた順に全ての画像を表示部に表示し、処理は終了する。尚、本実施例では、画像配置部１５は、濃淡表示部１４により表示部に表示された濃淡画像に基づいて分類・配置を行っているが、濃淡表示部１４が出力する濃淡画像を直接分類・配置してソート結果を表示部に表示するようにしても良いことは言うまでもない。
画像配置部１５は、濃淡表示部１４から得られた濃淡情報を画像特徴量に基づいて自動的に分類・配置して表示する。従って、例えばある濃淡画像Ａに類似した濃淡画像を順に分類・配置することにより、濃淡画像Ａに対応する動画像と注目物体の出現具合が似ている動画像を効率的に探すことが可能となる。又、ある程度類似した濃淡画像の数を把握したり、局所的に配置されている濃淡画像群がどのように類似しているかを把握することも可能となる。
図１１は、画像配置部１５によりある濃淡画像Ａに類似した濃淡画像Ｂ〜Ｇを順に分類・配置したソート結果を示す図である。同図中、矢印は類似度Ｓを示し、右側へ行く程類似度Ｓが小さい。
濃淡表示部１４は、出現頻度計算部１３で計算される情報に基づいて、特定の注目物体の出現頻度を各位置の画素の濃淡値で表示する。つまり、動画像の各フレームに対する注目物体の検出結果から、注目物体の出現頻度を表す濃淡値を自動的に計算しているので、動画中に現れる注目物体の出現位置を濃度分布によって表現することが可能となる。このため、ユーザが各動画像に対応する濃度分布を見ることにより、動画像中の注目物体の出現位置を目視により容易に把握することが可能となる。従って、ユーザが目視により濃淡情報の分類・配置を行う場合には、画像配置部１５は省略可能である。
ところで、注目物体として、例えば動画像に対する人物の顔の出現位置を把握する必要がある場合としては、次のような場合が挙げられる。図１２は、教育番組の動画像の分類・配置を説明する図である。図１３は、ニュース番組の動画像の分類・配置を説明する図である。図１４は、ドラマの動画像の分類・配置を説明する図である。図１２〜図１４中、１は注目物体である顔を示し、各図において左側が動画像、右側が対応する濃淡画像を示す。
Ｃ１）動画像のジャンル分類：多数の動画像に対して、本発明により濃淡情報が類似している動画像同士をまとめて、同じジャンルに分類することができる。例えば、図１２のように、一人の講師が中心で講義しているシーンが多い教育番組の動画像群は、いずれも画面の中心付近の濃度が高い濃淡表示となる。又、図１３のように、ニュースキャスターが二人出演して毎日放映されるニュース番組は、どの曜日の動画像も画面の左右二つの点付近の濃度が高い濃淡表示となる。更に、図１４のように、ドラマのように様々な位置で人物の顔が出現する番組の動画像に対しては、濃淡情報が一様に近くなる。このように、本発明による濃淡情報が類似している動画像を同じジャンルに分類することにより、人物顔の出現傾向が似ているという指標で動画像をジャンル分けすることができる。
Ｃ２）コマーシャル（ＣＭ）や番組の分析：ＣＭや番組の分析方法として、視聴率の高いＣＭや番組に対して、本発明により動画像に共通する特徴や知識を見つけ出すのに利用できる。知識の例として、「視聴率の高かったＣＭは画面の中心部に顔が出現する頻度が高い」等が考えられる。
Ｃ３）作風分析：ある映画監督が撮影した映画（動画像）群に共通する知識を抽出するために利用する１つの特徴量として、本発明の濃淡表示が利用できる。知識の例として、「監督Ｙの作品は画面全体に一様に人物顔が出現する傾向が強い」等が考えられる。
以上説明したように、本発明では、動画中に現れる特定の注目物体の出現位置を濃度分布（濃淡画像）によって表現することが可能であるので、動画像中に現れる注目物体の出現位置の把握を容易にすることができる。更に、本発明を用いて注目物体の出現傾向を反映した濃淡画像が得られるため、得られた濃淡画像を画像配置部に入力して、濃淡画像を自動的に分類・配置することが可能となり、例えば注目物体の出現傾向に関する複数の動画像間の類似度等を把握することが可能となる。
従って、本発明によれば、動画像中の注目物体（例えば、人物の顔）の出現位置という新たな観点を用いて、動画像のジャンル分類、ＣＭや番組の分析、作風分析等を実施することが可能となる。
尚、本発明は、上記実施例に限定されるものではなく、本発明の範囲内で種々の改良及び変更が可能であることは、言うまでもない。
【図１】
2004068414.tif 000003
【図２】
2004068414.tif 000004
【図３】
2004068414.tif 000005
【図４】
2004068414.tif 000006
【図５】
2004068414.tif 000007
【図６】
2004068414.tif 000008
【図７】
2004068414.tif 000009
【図８】
2004068414.tif 000010
【図９】
2004068414.tif 000011
【図１０】
2004068414.tif 000012
【図１１】
2004068414.tif 000013
【図１２】
2004068414.tif 000014
【図１３】
2004068414.tif 000015
【図１４】
2004068414.tif 000016
【国際調査報告】
2004068414.tif 000017
2004068414.tif 000018