(57)【要約】【課題】複数の映像のそれぞれについて、他の映像に含まれない特徴的なシーンを抽出すして、それぞれの代表画像を一覧表示する。【解決手段】S301でそれぞれが複数のシーンで構成された複数の映像を取得し、S303で全てのシーンを複数のクラスタに分類する。そして映像ごとに、S305〜S307の処理を行う。すなわちS305で、S303で分割された複数のクラスタのうち、当該映像のシーンを含み、かつ他の映像のシーンの数が最小であるクラスタを選択する。そしてS306で、該選択されたクラスタに含まれる当該映像のシーンのうち、該選択されたクラスタに対する特徴量分布の距離が最も小さいシーンを、当該映像を代表する代表シーンとして選択する。そしてS307で、該代表シーンに含まれるフレーム画像から代表画像を選択する。【選択図】  図1
2013201719.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが複数のシーンで構成された複数の映像のデータを取得する映像取得手段と、
前記複数の映像における各シーンを、その特徴量分布に基づいて複数のクラスタに分類するクラスタリング手段と、
前記複数の映像のそれぞれについて、選択対象の映像のシーンを含み、かつ他の映像のシーンの数が最小であるクラスタを前記複数のクラスタから選択するクラスタ選択手段と、
該選択されたクラスタに含まれる前記選択対象の映像のシーンのうち、前記特徴量分布が前記クラスタの特徴量分布に最も近似するシーンを代表シーンとして選択するシーン選択手段と、
を有することを特徴とする映像処理装置。
【請求項２】
さらに、前記代表シーンに含まれるフレームについて該代表シーンの前記特徴量分布に対する尤度を算出し、該尤度が最大となるフレームの画像を前記選択対象の映像を代表する代表画像として選択する代表画像選択手段、
を有することを特徴とする請求項1に記載の映像処理装置。
【請求項３】
前記クラスタ選択手段は、選択対象の映像のシーンを含み、かつ他の映像のシーンの数が最小である選択候補のクラスタが複数存在する場合、前記選択対象の映像のシーンの数が最大であるクラスタの特徴量分布に対し最も異なる特徴量分布をなすクラスタを、前記選択候補のクラスタから選択することを特徴とする請求項1または2に記載の映像処理装置。
【請求項４】
さらに、選択対象から除外すべき画像を含むシーンのクラスタを負例クラスタとして保持する負例クラスタの保持手段を有し、
前記クラスタ選択手段は、前記複数のクラスタのうち、前記負例クラスタに対する特徴量分布間の距離が所定の閾値以下であるクラスタを選択候補から除外することを特徴とする請求項1乃至3のいずれか1項に記載の映像処理装置。
【請求項５】
さらに、前記映像取得手段が取得する映像のカテゴリに属さない映像のシーンを分類して、前記負例クラスタを作成する作成手段を有することを特徴とする請求項4に記載の映像処理装置。
【請求項６】
さらに、前記代表画像選択手段で選択された、前記複数の映像についての代表画像を保持する代表画像保持手段を有し、
前記映像取得手段で前記複数の映像が再度取得された場合、前記代表画像選択手段は該映像ごとに、前記代表画像保持手段に保持された代表画像を取得することを特徴とする請求項2乃至5のいずれか1項に記載の映像処理装置。
【請求項７】
さらに、前記クラスタリング手段で作成された、前記複数の映像についてのクラスタを保持するクラスタ保持手段と、
前記映像取得手段で新規の映像が取得された場合に、該新規の映像に含まれるシーンを前記クラスタ保持手段に保持されたクラスタのいずれかに割り当てる割り当て手段と、を有し、
前記映像取得手段で前記複数の映像および前記新規の映像が再度取得された場合、前記クラスタ選択手段は、該クラスタ保持手段に保持されたクラスタから該映像ごとのクラスタを選択することを特徴とする請求項1乃至6のいずれか1項に記載の映像処理装置。
【請求項８】
さらに、前記複数の映像のそれぞれに対する、前記新規の映像の類似度を算出する算出手段を有し、
前記複数の映像に対する前記類似度のうち所定の閾値以上であるものが存在する場合に、前記新規の映像について前記割り当て手段によるクラスタの割り当てを行い、そうでない場合に、前記新規の映像と前記複数の映像について前記クラスタリング手段によるシーンの分類を行うことを特徴とする請求項7に記載の映像処理装置。
【請求項９】
映像取得手段、クラスタリング手段、クラスタ選択手段、およびシーン選択手段を有する映像処理装置における映像処理方法であって、
前記映像取得手段が、それぞれが複数のシーンで構成された複数の映像のデータを取得し、
前記クラスタリング手段が、前記複数の映像における各シーンを、その特徴量分布に基づいて複数のクラスタに分類し、
前記クラスタ選択手段が、前記複数の映像のそれぞれについて、選択対象の映像のシーンを含み、かつ他の映像のシーンの数が最小であるクラスタを前記複数のクラスタから選択し、
前記シーン選択手段が、該選択されたクラスタに含まれる前記選択対象の映像のシーンのうち、前記特徴量分布が前記クラスタの特徴量分布に最も近似するシーンを代表シーンとして選択する、
ことを特徴とする映像処理方法。
【請求項１０】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項1乃至8のいずれか1項に記載の映像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数映像のそれぞれについて代表シーンを選択する映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、インターネット等で閲覧可能な映像が増えている。このような映像の検察が可能となるように、映像データに対してメタデータを手動で付与したり、映像内のイベントやシーンを自動認識して作成されたメタデータを自動付与したりすることが普及している。このようにメタデータが付与された映像を検索して、該検察された複数の映像を一覧表示する際には、それぞれの映像から代表画像である静止画像もしくは代表シーンの映像を選択して表示する必要がある。ここで、複数の映像に対してそれぞれ代表画像を表示する際には、当該映像に特徴的な代表画像もしくは代表シーンとして、なるべく他の映像とは異なる画像もしくはシーンを選択することが映像を区別する上で好ましい。
【０００３】
代表画像を選択する最も単純な方法としては、映像の開始から所定時間時点でのフレームを、代表画像とする方法が考えられる。しかしながらこの方法では、映像の内容とは無関係に代表画像が選択されるため、映像の内容を的確に表現できるとは言えず、また他の映像と区別しやすい画像が選択されるとは限らない。
【０００４】
そこで、より効果的な代表画像の選択方法が提案されている。まず、複数映像について所定の映像単位毎に代表候補画像を選択し、該複数映像における代表候補画像の組み合わせである複数の画像セットから代表候補画像間の類似度を算出し、類似度の低い代表画像セットを決定する方法がある(例えば、特許文献1参照)。また、各映像を代表する1枚以上の画像の組み合わせから、他の映像を代表する画像との組み合わせの相関を示す評価値に基づいて代表画像の組み合わせを選択する方法がある(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2007-6129号公報
【特許文献２】国際公開第2007/091587号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に映像中のイベントは複数のシーンで構成されている。例えば、運動会というイベントの映像であれば、それぞれの競技のシーンや昼食のシーン、応援のシーン等がある。また、ケーキを作るイベントの映像であれば、材料紹介のシーン、ケーキをオーブンで焼くシーン、飾り付けのシーン、完成のシーン、試食のシーン等がある。複数の映像を一覧表示する場合、たとえ同じイベントの映像であっても、各映像が同様の複数シーンを含むわけではないため、ある映像について、他の映像に含まれないシーンがある場合には、そのシーンから当該映像の代表画像を選択する事が望ましい。
【０００７】
上述した特許文献1,2に記載された技術においては、予め選択された代表候補画像の類似性に基づいて代表画像を選択するものである。しかしながら、静止画像1枚の類似性に基づいてシーンを識別することは難しく、他の映像に含まれない特徴的なシーンを選択して代表画像を決定することは困難である。
【０００８】
本発明は上記問題に鑑み、複数の映像のそれぞれについて、他の映像に含まれない特徴的なシーンを抽出することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達するために、本発明の映像処理装置は以下の構成を備える。すなわち、それぞれが複数のシーンで構成された複数の映像のデータを取得する映像取得手段と、前記複数の映像における各シーンを、その特徴量分布に基づいて複数のクラスタに分類するクラスタリング手段と、前記複数の映像のそれぞれについて、選択対象の映像のシーンを含み、かつ他の映像のシーンの数が最小であるクラスタを前記複数のクラスタから選択するクラスタ選択手段と、該選択されたクラスタに含まれる前記選択対象の映像のシーンのうち、前記特徴量分布が前記クラスタの特徴量分布に最も近似するシーンを代表シーンとして選択するシーン選択手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明は、複数の映像のそれぞれについて、他の映像に含まれない特徴的なシーンを抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】第1実施形態における機能構成を示すロック図、
【図２】第1実施形態におけるハードウェア構成を示すブロック図、
【図３】第1実施形態における複数映像の一覧表示処理を示すフローチャート、
【図４】第1実施形態におけるクラスタリングの一例を示す図、
【図５】第1実施形態における複数映像のシーン構成例を示す図、
【図６】第2実施形態におけるクラスタ選択処理を示すフローチャート、
【図７】第2実施形態におけるクラスタリングの一例を示す図、
【図８】第4実施形態における新規映像追加時の一覧表示処理を示すフローチャート、
【図９】第4実施形態における機能構成を示すブロック図、
【図１０】第4実施形態におけるクラスタリング切り換え処理を示すフローチャート、である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
＜第１実施形態＞
●装置構成
図1は、本実施形態における映像処理装置の機能構成を示す図である。同図において、101は複数の映像を取得する映像取得部、102は映像をシーンに分割するシーン分割部、103は映像のシーンを分類(クラスタリング)するクラスタリング部である。また104は映像ごとにクラスタを選択するクラスタ選択部、105はクラスタ選択部104が選択したクラスタからシーンを選択するシーン選択部、106はシーン選択部105が選択したシーンから代表画像を選択する代表画像選択部である。そして107は映像の代表画像もしくはシーンを表示する表示部である。
【００１４】
図2は、本実施形態におけるハードウェア構成を示す図である。同図において、201はCPU(中央処理装置)であり、映像処理装置の制御プログラムを実行する。202はROMであり、制御プログラムなどを格納する。203はRAMであり、CPU201のワークエリアを提供するために用いられる。204はハードディスクなどの記憶装置であり、本実施形態の表示対象となる映像をはじめ各種データを格納する。205は映像を表示するディスプレイである。
【００１５】
●一覧表示処理
以下、本実施形態の映像処理装置における複数映像の一覧表示処理について、図3のフローチャートを用いて説明する。
【００１６】
まずS301で映像取得部101が、処理対象となる複数の映像を取得する。具体的には、例えば不図示のデータベースから同一カテゴリのメタデータや時間情報が付与された映像を取得しても良いし、あるいは映像認識によって映像から所定のイベント(例えばケーキを作る映像、運動会の映像等)を認識して取得しても良い。
【００１７】
次にS302でシーン分割部102が、S301で取得した複数の映像のそれぞれを、複数のシーンに分割する。このシーン分割は、撮影時の操作等によって予めシーン境界が映像中に付与されており、そのシーン境界に基づいて行われる。あるいは、映像の輝度や色、エッジ等の特徴変化に基づいて、シーンが大きく変化したフレームを抽出し、該フレームをシーン境界として自動的に分割しても良い。
【００１８】
次にS303でクラスタリング部103が、複数の映像について得られた複数のシーンをクラスタリングして複数のクラスタを生成する。このクラスタリングは、シーンに含まれる映像の特徴量分布の類似性に基づいて行う。
【００１９】
次にS304でクラスタ選択部104が、複数の映像のうち一つを選択する。そしてS305で、上記S303でクラスタリングされた複数のクラスタの中から、上記S304で選択した映像のシーンを含み、かつ他の映像のシーンの数が最小であるクラスタを選択する。次にS306でシーン選択部105が、S304で選択されたクラスタに含まれるシーンの中から、クラスタとの特徴量分布の距離に基づいて1つを選択する。次にS307で代表画像選択部106が、S306で選択されたシーンに含まれるフレーム画像の中から、S304で選択された映像に対応する代表画像を一つ選択する。そしてS308で、S301で取得した全ての映像についての処理が終了したか否かを確認し、未処理の映像が残っていればS304に戻るが、全映像の処理が終了していればS309に進む。S309では表示部107が、S301で取得した全ての映像のそれぞれについて、S307で選択された代表画像をディスプレイ205に表示する。
【００２０】
●クラスタリング(S303)
以下、上記S303におけるクラスタリング処理について、図4を用いて詳細に説明する。図4は、クラスタリング部103が複数映像のシーンをクラスタリングした様子を示す図である。同図において、401は映像ごとのシーンであり、元の映像(1,2,3)が複数のシーン(1-1〜1-6,2-1〜2-7,3-1〜3-4)に分割されている様子を示している。402は映像ごとのシーン401に対するクラスタリングの結果として得られるクラスタを示し、この例ではクラスタ(a)〜(f)が存在する。クラスタ402ごとに分類されるシーンは、そのシーンが含まれる元の映像を特定する情報を有している。クラスタ402に含まれるシーンの特徴量は、単一正規分布や混合正規分布をなす。通常、特徴量は多次元に及ぶが、ここでは特徴量が二次元であるとし、クラスタ402は円の大きさおよび位置によってその分布を表現している。すなわち、円が大きいほど特徴量の分布の幅が大きいことを示し、クラスタ間の距離が大きいほど、その分布間距離が大きいことを示す。なお、クラスタ402を表現するシーンの特徴量としては、画像に含まれる輝度、色、エッジ情報、また、特徴点を表すSIFT特徴量、等が使用される。また、音声情報として含まれるパワーや、周波数成分を表すMFCC(メル周波数ケプストラム係数)等の特徴量も使用される。クラスタリング部103では、これらの特徴量の分布の類似度が高いシーンをクラスタリングして、クラスタ402を作成する。
【００２１】
●クラスタ選択処理(S305)
以下、上記S305におけるクラスタ選択処理について詳細に説明する。例えば図4に示す例において、クラスタ選択部104は、それぞれの映像(1,2,3)について、当該映像のシーンを含むクラスタの中から、他の映像のシーンの数が最小であるクラスタを選択する。例えば映像1については、当該映像1のシーンを含むクラスタはクラスタ(a),(b),(c),(e)であるから、この中から他の映像2,3のシーン数が最小であるクラスタ(b)を選択する。
【００２２】
また映像2については、他の映像1,3のシーン数が最小であるクラスタとして、クラスタ(d),(g)の2つが存在する。このように選択候補となるクラスタが複数存在する場合、シーン数が最大であるクラスタから、特徴量分布が最も異なるクラスタ、すなわち分布間距離が最も大きいクラスタを選択する。映像2については、シーン数が最大であるのはクラスタ(a)であるから、その特徴量分布がクラスタ(a)と最も離れているクラスタ(g)を選択する。なお、分布間距離としてはバタチャリヤ距離等を使用すれば良い。例えば、分布を単一正規分布で表現した場合における、分布aと分布bのバタチャリヤ距離BDは下式で求められる。なお、下式においてμは正規分布の平均、Σは正規分布の分散を示す。
【００２３】
【数１】
2013201719.tif 000003
【００２４】
また映像3については、上述した映像1と同様の手法によりクラスタ(f)が選択される。
【００２５】
●シーン選択処理(S306)
以下、上記S306におけるシーン選択処理について詳細に説明する。シーン選択部105は、処理対象となる複数映像のそれぞれについて、クラスタ選択部104で選択されたクラスタに含まれる当該映像のシーンから、クラスタとの特徴量分布に最も近似する、すなわち特徴量分布間の距離が最も小さい1つのシーンを選択する。すなわち、選択されたクラスタの重心に最も近いシーンが選択される。例えば図4に示す例では、映像2,3のそれぞれについて選択されたクラスタ(b),(f)には、当該映像のシーンが1つしか存在しないため、自動的にこの1つのシーンが選択される。しかしながら映像1については、選択されたクラスタ(b)に当該映像1のシーンが2つ存在する。したがってこの場合、該2つのシーンのそれぞれについて、クラスタとの距離を求め、距離が小さい方、すなわちクラスタ重心に近い方のシーンが選択される。なお、クラスタとシーンとの距離は、例えばバタチャリヤ距離等の特徴量の分布間距離として算出できるが、クラスタとシーンとの距離計算はこの方法に限るものではない。
【００２６】
●代表画像選択処理(S307)
以下、上記S307における代表画像選択処理について詳細に説明する。代表画像選択部106は映像ごとに、S306で選択されたシーンの中から代表画像となるフレームの画像を選択する。一般に映像は、例えば1秒間に30フレームの静止画像から構成されており、その各フレームにおいて画像及び音声の特徴量が得られる。画像の特徴量としては、選択された1フレームの静止画像から得られる特徴量(輝度、色、エッジ情報、特徴点を表すSIFT特徴量等)を使用する。また音声の特徴量は、画像に同期させた時間間隔で取得する。例えば映像のフレームレートが毎秒30フレームであれば、33ミリ秒ごとに1枚の画像の特徴量を得るのに合わせ、音声も33ミリ秒ごとにパワーやMFCCなどの特徴量を得る。
【００２７】
フレームの選択方法としては、シーンに含まれる各フレームの特徴量に対して、選択されたシーンの特徴量分布に対する尤度を算出し、最も尤度が大きいフレームを代表画像として選択する。尤度Lは例えば下式によって算出できるが、その計算式はこの例に限らない。なお下式において、iは特徴量の種類、jは分布番号、xは特徴量、wは重み、μは正規分布の平均、σは正規分布の標準偏差、Nは特徴量の次元数、Mは分布数、を示す。
【００２８】
【数２】
2013201719.tif 000004
【００２９】
なお、クラスタ分布に対する尤度を算出して代表画像を決定することも可能である。この場合、シーン選択部105によるシーン選択処理(S306)を省略して、クラスタに含まれるある映像の全シーンの各フレームについて尤度Lを算出し、尤度が最大となるフレームの画像を代表画像として選択すれば良い。
【００３０】
●シーン選択例
ここで、本実施形態におけるシーン選択の具体例を示す。例えばS301で“ケーキを作る”というメタデータの付与された映像抽出を行うことにより、図5に示す3つの映像1,2,3が抽出されたとする。図5に示すように、映像1,2,3はそれぞれ、複数のシーン(1-1〜1-4,2-1〜2-4,3-1〜3-3)で構成されている。
【００３１】
するとS302で映像1,2,3のそれぞれをシーン分割し、S303で該分割されたシーンをクラスタリングすることで、同じ内容のシーンが同じクラスタに分類される。そしてS305で映像ごとにクラスタを選択し、S306で該選択されたクラスタの中からシーンを選択する。このとき、映像ごとに他の映像に含まれていないクラスタのシーンが選択される。例えば図5に示すように、映像1については「材料紹介のシーン」1-1、映像2については「試食のシーン」2-4、映像3については「泡立てのシーン」3-1が選択される。そしてS307で、映像1,2,3のそれぞれについて選択されたシーンから、各フレームの画像の特徴量の尤度に応じて1枚の画像を選択する。
【００３２】
以上説明したように本実施形態によれば、複数の映像について、それぞれに含まれるシーンをクラスタリングし、映像ごとに、当該映像のシーンを含み他の映像のシーンの数が最小となるクラスタを選択し、そのクラスタから代表画像を選択する。これにより、他の映像には含まれない特徴的な代表画像を選択することができる。
【００３３】
なお本実施形態は、映像ごとに最適なクラスタを選択し、該選択したクラスタからシーンを選択し、そのシーンから代表画像を選択するものであるから、必ずしも代表画像までの選択を行わない場合にも適用可能である。例えば、映像ごとに代表的なシーンを選択する実施形態にも適用可能である。例えば、映像ごとに他の映像のシーン数が最小のクラスタを選択し、該選択したクラスタからシーンを選択して、該選択したシーンを代表シーンの映像として表示したり保存することも可能である。この場合、図1に示す構成において代表画像選択部106は不要となる。
【００３４】
＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。上述した第1実施形態では、映像ごとに、当該映像のシーンを含み、かつ他の映像のシーン数が最小であるクラスタを選択する例を示した。第2実施形態では、複数のクラスタのうち、予め一部のクラスタを選択候補から除外することで、クラスタ選択を効率化させる例を示す。なお、第2実施形態における映像処理装置の構成、および映像の一覧処理の概要については、上述した第1実施形態で示した図1、図2、図3と同様であるため、説明を省略する。
【００３５】
●クラスタ選択処理
第2実施形態におけるクラスタ選択処理(図3のS305)について、図6のフローチャートを用いて詳細に説明する。第2実施形態におけるクラスタ選択部104では、複数の映像に共通するカテゴリに対する負例のクラスタを予め保持している。ここで負例のクラスタとはすなわち、選択対象から除外すべき画像を含むシーンのクラスタである。
【００３６】
まずS601で、S303で作成された複数のクラスタのうち、予め用意された負例クラスタに近接するクラスタを、選択候補から除外する。
【００３７】
ここで、S601におけるクラスタ除外処理について詳細に説明する。上述した第1実施形態では、映像ごとの代表画像(シーン)選択の際に、なるべく他の映像のシーンが含まれないクラスタからシーンを選択する例を示した。この場合、映像について適切なシーンを表現していないシーンが抽出されてしまう可能性がある。例えば“ケーキを焼く”というイベントを収録した複数の映像の中で、ある映像にリビングでの会話のような、ケーキを焼く映像を構成するシーンとは関係のないシーンが含まれる場合、そのシーンが他の映像に含まれていないために抽出されてしまうことがある。
【００３８】
そこで第2実施形態では予め、映像取得部101において、取得する映像のカテゴリに対する負例のクラスタを用意しておく。例えば、S101で映像取得部101が所定のメタデータを有する映像を検索して複数の映像を取得する際に、そのメタデータが付与されていない複数の映像をシーン分割してクラスタリングすることで負例クラスタを生成する。負例クラスタは、例えば不図示の負例クラスタデータベースに保持しておく。
【００３９】
S601ではまず、S303で生成された複数のクラスタのそれぞれについて、上記予め作成された負例クラスタとの分布間距離を計算する。この分布間距離としては第1実施形態と同様にバタチャリヤ距離等を使用すれば良い。そして、この分布間距離が所定の閾値以下であるクラスタを、クラスタ選択の候補から除外する。
【００４０】
ここで図7に、第2実施形態におけるクラスタリングの例を示す。同図は、映像取得部101が“ケーキを焼く”というメタデータに基づいて取得した複数の映像に対し、シーン分割してクラスタリングしたクラスタ例を示す。701は、“ケーキを焼く”というメタデータを持たない映像から予め生成された、負例クラスタである。第2実施形態ではすなわち、メタデータに基づいて作成された複数のクラスタ(402等)に対して、負例クラスタ701との分布間距離を算出し、該分布間距離が閾値以下となるクラスタを、クラスタ選択の候補から除外する。図7の例では、負例クラスタ701に最も近い距離にあるクラスタ(b)が、クラスタ選択の候補から除外される。これにより、映像のカテゴリとは関係のないシーンから代表画像が選択されてしまうことを回避できる。
【００４１】
図6に戻り、次にS602では、除外対象として予め指定された画像(以下、除外指定画像)を含むシーンのクラスタを、クラスタ選択の候補から除外する。除外指定画像としては例えば、所定の画像を予め設定しても良いし、ある映像について既に選択された代表画像を設定することも可能である。そして、除外指定画像をクラスタリングして得られたクラスタ(既に代表画像が選択されたクラスタ)を、選択候補から除外する。これにより、現在処理中の映像について、既に他の映像について設定された代表画像とは異なるシーンの代表画像を選択することができる。なお、図6ではS601とS602で2段階のクラスタ除外処理を行う例を示したが、この処理はいずれか一方のみを行うとしても良いし、その処理順が逆であっても構わない。
【００４２】
そしてS603では、S601,S602で選択候補から除外されなかった複数のクラスタの中から、図3のS305と同様に、現在処理中の映像のシーンを含み、かつ他の映像のシーン数が最小であるクラスタを選択する。
【００４３】
以上説明したように第2実施形態によれば、クラスタ選択の候補となるクラスタから、予め用意された負例クラスタとの距離が小さいものを除外することで、映像のメタデータとは関係のないシーンから代表画像が選択されることが回避される。
【００４４】
また、除外指定画像のシーンのクラスタを選択候補から除外することで、該指定画像と類似するシーンから代表画像が選択されることを回避できる。
【００４５】
＜第3実施形態＞
以下、本発明に係る第3実施形態について説明する。上記各実施形態では、図3のS301〜S308で、複数映像のシーンについて作成された複数のクラスタの中から、映像ごとに他の映像のシーン数が最小であるクラスタを選択してシーン及び代表画像を設定し、S309でこれらを表示する例を示した。第3実施形態では、このS301〜S308の処理を実行することで該複数映像のそれぞれについて選択された代表画像を保持しておくことを特徴とする。
【００４６】
例えば、ユーザが映像データベースからの映像検索を行う場合について考える。この場合、まず検索結果として複数の映像が取得された後に、上記S301〜S308の処理を実行すると、クラスタリング等の処理を行うために、全ての映像についての代表画像が表示されるまでの待ち時間が長くなってしまう。そこで第3実施形態では、映像データベース内で同一のメタデータを有する映像に対して予め上記S301〜S308の処理を行い、選択された代表画像を代表画像保持部(不図示)に保持しておく。
【００４７】
なお代表画像保持部に保持される代表画像の作成タイミングとしては、検索対象となりうる同一カテゴリの映像群に対してその検索(一覧表示)前であっても良いし、ユーザ指示に基づく初回の検索処理時であっても良い。いずれにしろ、処理対象である複数映像について、映像取得部101による初回取得時に代表画像を選択・保持し、再度取得される際には該保持された代表画像を利用すれば良い。
【００４８】
以上説明したように第3実施形態によれば、ユーザによる映像検索の際に、既に選択されている代表画像を一覧表示することができ、検索時の待ち時間が短縮される。
【００４９】
＜第4実施形態＞
以下、本発明に係る第4実施形態について説明する。上記第3実施形態では、データベース内の映像について選択された代表画像を保持しておく例を示した。第4実施形態では、上記図3のS301〜S308の処理により複数映像のそれぞれについて代表画像を選択する過程で生成されたクラスタを保持しておくことを特徴とする。
【００５０】
●装置構成
図9に、第4実施形態における映像処理装置の機能構成を示す。同図において、101〜107は第1実施形態の機能構成を示す図1と同様であるため、説明を省略する。第4実施形態では、処理対象の映像を保持する映像データベース900を有し、映像取得部101は映像データベース900から映像を取得する。そして、クラスタリング部103で生成されたクラスタをクラスタ保持部901に保持することを特徴とする。すなわち、一度クラスタリングされた映像についてはその結果がクラスタ保持部901に保持される。これにより、過去にクラスタリングされた映像について再度のクラスタリングの必要が生じた場合でも、該映像についてのクラスタリングを行う必要がなくなる。この場合すなわち、クラスタ選択部104はクラスタ保持部901に保持されたクラスタから、当該映像に対するクラスタを選択することになる。
【００５１】
第4実施形態ではこのようにクラスタ保持部901を設けたことにより、例えば過去に検索された映像について再検索がなされた場合、既に生成されたクラスタを用いてシーン選択を行うことができ、検索結果の一覧表示に要する時間が短縮される。
【００５２】
第4実施形態ではさらに、映像データベース900に新規映像が追加された際に、該新規映像に含まれる複数のシーンを、クラスタ保持部901が保持するクラスタのいずれかに割り当てるクラスタ割り当て部902を有する。
【００５３】
第4実施形態では、同一のメタデータが付与された映像が映像データベース900に新規に追加された場合には、該新規映像のシーンについて再度のクラスタリングは行わず、追加前に生成されたクラスタに割り当てた上で、映像ごとのクラスタ選択をやり直す。以下、映像データベース900に、同一のメタデータが付与された映像が新規に追加された際の一覧表示処理について、図8のフローチャートを用いて説明する。この処理はすなわち、上述した図3に示す一覧表示処理が終了した後に、同一のメタデータが付与された映像が映像データベース900に新規に追加された場合の処理である。
【００５４】
まずS801で映像取得部101が新規映像を取得し、S802でシーン分割部102が該新規映像をシーン分割する。次にS803で映像取得部101が、S801で取得した新規映像と同一のメタデータを有する既存の映像を、映像データベース900から取得する。ここで既存の映像とは、既に図3のフローチャートに示す処理が行われた映像であり、すなわち、シーン分割およびクラスタリングにより、代表画像の選択が終了した映像である。
【００５５】
次にS804でクラスタ割り当て部902が、クラスタ保持部901から、既存の映像のシーンについて生成されたクラスタを取得する。なおクラスタ保持部901には、新規映像の追加前に、図3のS303に示すクラスタリング処理によって、既存の映像のシーンについてのクラスタが保持されている。そしてS805でクラスタ割り当て部902が、新規映像の各シーンを、S804で取得したクラスタのうち、特徴量分布が最も近いクラスタに割り当てる。
【００５６】
以降、S304〜S309は上記図3と同様の処理を行う。すなわち、S801で取得した新規映像と、S803で取得した同一のメタデータを有する既存映像のそれぞれに対して、映像ごとに代表画像を選択し、表示する。このとき既存映像については、既に選択されている代表画像を、S809で新たに選ばれた代表画像に更新する。
【００５７】
●変形例
第4実施形態ではさらに、新規映像の属性(映像が保有するメタデータの種類や既存映像との類似度等)によって、シーンのクラスタリングをやり直すか、やり直さずにシーンを既存のクラスタに割り当てるかを選択しても良い。この場合のフローチャートを図10に示し、説明する。なお図10において、上記図8と同様の処理には同一ステップ番号を付し、詳細な説明を省略する。
【００５８】
まずS801〜S803で、新規映像の取得およびシーン分割、さらに該新規映像と同一のメタデータを有する既存映像の取得を行う。次にS1001でクラスタリング部103が、新規映像を各既存映像を比較し、それぞれの類似度を算出する。ここで類似度としては、映像が保有するメタデータの類似度として、同一のメタデータを有する割合を用いて良いし、映像もしくは特徴量の類似度を用いても良い。
【００５９】
そしてS1002で、新規映像と類似度が高い映像があるか否かに応じて、クラスリングをやり直すか否かを判定する。すなわち、類似度が所定の閾値以上である映像が検出されれば、クラスタリングをやり直す必要がないとしてS804に進む。そしてS804ででクラスタ割り当て部902がクラスタ保持部901から既存映像のクラスタを取得し、S805で新規映像の各シーンを最も距離の近いクラスタに割り当てる。
【００６０】
一方、S1002で類似度が高い映像が検出されなかった、すなわち既存映像に対する新規映像の類似度が全て閾値未満であった場合には、クラスタリングをやり直すためにS1003へ進む。S1003ではクラスタリング部103が、該比較された新規映像と既存映像の各シーンをクラスタリングする。
【００６１】
以降、S304〜S309では新規映像と既存映像のそれぞれに対して、映像ごとに代表画像を選択し、表示する。
【００６２】
なお、S1002では新規映像と類似度が高い既存映像の有無に応じてクラスタリングをやり直すか否かを選択する例を示したが、判定方法はこの例に限らない。例えば映像のメタデータが所定の情報(所定の撮影者、撮影日等)を有しているか否かに応じて、クラスタリングの再実行の有無を選択しても良い。
【００６３】
以上説明したように第4実施形態によれば、既に生成されたクラスタを保持しておくことで、再度同じ映像についてのシーン選択が指示された場合には該保持されたクラスタを参照することで処理時間を短縮することができる。
【００６４】
また、新規映像が追加された場合には、該新規映像中のシーンについてクラスタリングをやり直すのではなく、既に保持されているクラスタにシーンを割り当ててから代表画像を選び直す。これにより、代表画像の一覧表示に要する演算時間を短縮することができる。
【００６５】
また、既存映像に対する新規映像の類似度が高い場合にのみ既存クラスタを選択することで、新規映像についての代表画像を高精度に選択することができる。
【００６６】
なお第4実施形態では、代表画像が一覧表示されている際に、そのひとつの映像が映像データベース900から削除された場合には、映像データベース900内に残存する映像によって再度クラスタリングをやり直す。このとき、新規映像の追加時と同様に、クラスタ保持部901に既に保持されているクラスタを使用することができる。すなわちこの場合、図3のS304以降の処理を行えば良いため、新規映像の追加時と同様に、代表画像の一覧表示に要する演算時間を短縮することができる。
【００６７】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【図１】
2013201719.tif 000005
【図２】
2013201719.tif 000006
【図３】
2013201719.tif 000007
【図４】
2013201719.tif 000008
【図５】
2013201719.tif 000009
【図６】
2013201719.tif 000010
【図７】
2013201719.tif 000011
【図８】
2013201719.tif 000012
【図９】
2013201719.tif 000013
【図１０】
2013201719.tif 000014