(57)【特許請求の範囲】
【請求項１】
検索されるべき動画像信号について、動画像を構成するフレーム列に沿って順次画像の所定範囲における明度値ヒストグラムを求めるヒストグラム作成手段と、該ヒストグラム作成手段によって作成されたヒストグラムに基づきフレーム間同士で対応するヒストグラムのフレーム間差分値を検索用情報として求め、該検索用情報を前記フレーム列に沿い表現するための処理を行う検索用情報処理手段と、前記検索用情報をグラフィックに表示する表示手段とを有し、前記検索用情報によって前記フレーム列から特定画像部分を検索し得るようにした動画像検索用情報生成装置において、前記ヒストグラム作成手段は動画像の各フレーム毎に且つフレームの少なくとも１以上の方向についてのヒストグラムを求め、前記表示手段は前記検索用情報をピクセルの輝度値として、前記少なくとも１以上の方向毎に時間軸に沿って１画面で表示するようにしたことを特徴とする動画像検索用情報生成装置。
【請求項２】
前記ヒストグラム作成手段に入力する画像をエッジ画像とするエッジ画像処理手段を備えるようにしたことを特徴とする請求項１記載の動画像検索用情報生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像検索用の情報を生成する装置に関し、より詳細には、動画像情報を処理してその変化を求めることにより、検索を支援するために表現されたデータを生成する装置に関する。
【０００２】
【従来の技術】
ユーザが動画像中のある画像にアクセスしようとする場合に、意図する画像が動画像中のどの時点にあるかを一目でわかるようにする従来の方法として、特開平４−２３５５８９号公報に記載されている技術がある。これは、動画像のフレーム毎の画像情報を時間変化として表示するという方法をとっている。
この方法では、輝度を複数段階に分類し、各フレームにおけるそれぞれの輝度を持つ画素数のヒストグラムを作成し、前記ヒストグラムを高さ情報などとして時系列にその変化が分かるように表示することで、ユーザの意図するシーンをある程度判別可能にしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述の方法では、ヒストグラムを作成する際、所定フレームの画面のトータルとして１つのヒストグラムを得るという処理を行い画面内の位置情報が欠落するために、画像内にとらえられた対象物体の動きを知りたい場合、画面中のどの場所であったのかを知ることは困難である。
また、この方法では、背景の情報もヒストグラムに含まれてしまうため、注目したい対象物体の動きが埋もれてしまうおそれがある。
本発明は、こうした従来技術における問題点に鑑みてなされたもので、動画像の検索に用いる情報を生成する場合に、動画像の変化を画面中のどの場所（位置）で起きているかを含めて検索用のデータを提示することを可能にして、動画像のより細い変化にもとづいて動画像の意図する画像へのアクセスをより正確になし得るようにする動画像の検索に用いる情報を生成する装置を提供することをその解決すべき課題とする。
【０００５】
【課題を解決するための手段】
請求項１の発明は、検索されるべき動画像信号について、動画像を構成するフレーム列に沿って順次画像の所定範囲における明度値ヒストグラムを求めるヒストグラム作成手段と、該ヒストグラム作成手段によって作成されたヒストグラムに基づきフレーム間同士で対応するヒストグラムのフレーム間差分値を検索用情報として求め、該検索用情報を前記フレーム列に沿い表現するための処理を行う検索用情報処理手段と、前記検索用情報をグラフィックに表示する表示手段とを有し、前記検索用情報によって前記フレーム列から特定画像部分を検索し得るようにした動画像検索用情報生成装置において、前記ヒストグラム作成手段は動画像の各フレーム毎に且つフレームの少なくとも１以上の方向についてのヒストグラムを求め、前記表示手段は前記検索用情報をピクセルの輝度値として、前記少なくとも１以上の方向毎に時間軸に沿って１画面で表示するようにしたことを特徴とするものである。
【０００６】
請求項２の発明は、請求項１の発明において、前記ヒストグラム作成手段に入力する画像をエッジ画像とするエッジ画像処理手段を備えるようにしたことを特徴とするものである。
【０００９】
【発明の実施の形態】
以下、添付図面を用いることにより、本発明の一実施形態を詳細に説明する。
図１は、本発明の動画像検索用情報生成装置の実施形態の概要を示すブロック図である。図１において、１は動画像メモリ、２は動画像処理部、３はディスプレイであり、動画像処理部２には、エッジ処理部２1、ヒストグラム作成部２2及びフレーム間差分演算部２3を備える。
【００１０】
次に、図１に示される構成の本実施形態についてその動作に関する説明をする。
動画像メモリ１に蓄積された動画像は、動画像処理部２でフレーム内処理，フレーム間処理の順に処理を施される。
まず、フレーム内処理について説明する。フレーム内処理は、各フレーム毎に行なわれる。処理の対象がカラー画像であれば、まず明度画像に変換する必要がある（図示せず）。こうして変換された明度画像を次にエッジ抽出部２1においてRobertsフィルタを用いてエッジ画像に変換する。
図２は、動画像処理部において行われるエッジ画像抽出の一例を示す概念図である。図２に示すように、明度情報に変換されたフレーム内の画像（Ａ）は、エッジ抽出処理によってエッジ部分だけで表現される画像（Ｂ）に変換される。
明度情報への変換やエッジ画像への変換処理の方法は、（森俊二・板倉栂子：“画像認識の基礎”、オーム社、1990）等、多くの文献に既に記載されているので、それらを参照することとして、ここでは省略する。
【００１１】
次に、ヒストグラム作成部２2において、上述のようにして得られたエッジ画像からｘ方向，ｙ方向のヒストグラムを求める。このとき、フレーム番号ｉの画像の座標（ｘ，ｙ）の明度値がＩ（ｘ，ｙ）（１≦ｘ≦Ｘ，１≦ｙ≦Ｙ）であったとする（図２（Ｂ）参照）。なお、ここでＸ，Ｙはそれぞれ１フレームの縦，横の長さを表すものとして画像の横方向，縦方向のピクセル数でそれを表す。
そして、ｙ方向のヒストグラムＨｙ(ｘ)，ｘ方向のヒストグラムＨｘ(ｙ)は、
【００１２】
【数１】
0003731952.tif 000002
【００１３】
図３は、エッジ画像からｘ方向及びｙ方向のヒストグラムを求めた結果をエッジ画像とともに示す図である。図３において、ヒストグラムは座標ごとの明度値のヒストグラムがバーで表示するように処理されている例を示す。
次に、フレーム間差分演算部２3で行なうフレーム間処理の説明に移る。ここでは、フレーム内処理で得られたフレーム番号ｉのＸ方向、Ｙ方向のヒストグラムをそれぞれＨｙ（ｉ，ｘ）、Ｈｘ（ｉ，ｙ）とする。フレーム間差分Ｄｙ（ｉ，ｘ）、Ｄｘ（ｉ，ｙ）は、
Ｄｙ（ｉ，ｘ）＝ａｂｓ（Ｈｙ（ｉ，ｘ）−Ｈｙ（ｉ−１，ｘ）），
Ｄｘ（ｉ，ｙ）＝ａｂｓ（Ｈｘ（ｉ，ｙ）−Ｈｘ（ｉ−１，ｙ））
と定義され、この定義に従ってそれぞれ求めることになる。なお、上記した式におけるａｂｓは絶体値を取るための関数である。
【００１４】
図４は、フレーム間処理を行って求めた結果（Ｂ）を各フレームのエッジ画像のヒストグラム（Ａ１，Ａ２）とともに示す図である。
図４において、フレームｔ−１からｔにかけて動画像中の人間が正面を向いているシーン（Ａ１）から頭を下げているシーン（Ａ２）へと変化する場合のＤｘ（ｉ，ｙ）（１≦ｙ≦Ｙ）を算出した例を示す。
この例では、画像（Ａ１及びＡ２）中の頭の高さに対応するｙにおいてＤｘ（ｉ，ｙ）が大きな値を示しており、頭の高さの付近で動きがあることがわかる。このようにフレーム間で差分を取ることで、カメラの位置が不変の場合、背景は差分をとることにより０出力となって背景の影響を打ち消すことができ、対象となる物体の動きだけを捉えることが可能となる。また、ｙ方向のＤｙ（ｉ，ｘ）も同様に動きを検出することが可能である。
【００１５】
上述のようにして得たヒストグラムのフレーム間差分Ｄｙ（ｉ，ｘ）、Ｄｘ（ｉ，ｙ），１≦ｉ≦Ｉをディスプレイ３に表示する。ここでＩは、表示の対象とする動画像のフレーム数で動画像の連なり、つまり動画像を構成するフレーム列から検索する画像の箇所を表す。
表示は、Ｄｙ（ｉ，ｘ）については、画面上の座標（ｉ，ｘ）のピクセルの輝度値をＤｙ（ｉ，ｘ）にすることで行なう。Ｄｘ（ｉ，ｙ）も同様に、座標（ｉ，ｙ）のピクセルの輝度値をＤｘ（ｉ，ｙ）にすることで行なう。
図５は、フレーム間処理を行って求めたｘ方向（Ａ）及びｙ方向（Ｂ）の結果を時間軸（フレーム数）を横軸にして表示した例を示すものである。
図５において、動画面中央で人間が「おじぎ」を行なったものを処理した結果であるが、画面中央で何かが上下していることが一目でわかる。もし、人間の対話を収録した動画像であれば、頭の上下に対応すると考えられ、実際に動画像を再生せずとも「おじぎ」を行なっていると推測できる。したがって、図５のように、動画像の所定時間に含まれるフレームの画像の変化をし画像で表示する形式をとると、その画面表示から、検索しようとするシーンを容易に見付けることができる。
【００１６】
【発明の効果】
本発明によれば、画像における明度のヒストグラムの時間的変化を単に求めるだけの従来技術ではとらえられなかった動画像中の対象を特定の時点の画面において特定の方向でのヒストグラムからとらえることができ、それによってシーンを推測できるので、より正確にシーンの検索が可能となる。さらに、上記したヒストグラムのフレーム間差分をとり、その結果を一画面に時間（フレーム数）軸にそって表示するようにしているので、より容易にシーンの検索が可能となる。
【図面の簡単な説明】
【図１】本発明の動画像検索用情報生成装置の実施形態の概要を示すブロック図である。
【図２】動画像処理部において行われるエッジ画像抽出の一例を示す概念図である。
【図３】エッジ画像からｘ方向及びｙ方向のヒストグラムを求めた結果をエッジ画像とともに示す図である。
【図４】図４は、フレーム間処理を行って求めた結果（Ｂ）を各フレームのエッジ画像のヒストグラム（Ａ１，Ａ２）とともに示す図である。
【図５】フレーム間処理を行って求めたｘ方向（Ａ）及びｙ方向（Ｂ）の結果を時間軸（フレーム数）を横軸にして表示した例を示すものである。
【符号の説明】
１…動画像メモリ、２…動画像処理部、２1…エッジ処理部、２2…ヒストグラム作成部、２3…フレーム間差分演算部、３…ディスプレイ。
【図１】
0003731952.tif 000003
【図２】
0003731952.tif 000004
【図３】
0003731952.tif 000005
【図４】
0003731952.tif 000006
【図５】
0003731952.tif 000007