(57)【要約】【課題】動画データの場合、日付か手動で付与した分類マークでの検索しかない。  【解決手段】重要度が決められた動画データを記憶する記憶部１０１と、入力される動画データから所定の情報に基づいて重要度を決める重要度算出部、重要度の大小に基づいて記憶部に記憶された動画データを検索する検索部とを含む画像解析部１０３と、検索結果に基づいて動画データのサムネイルを表示する表示部１０５とを備える。所定の情報は、動画データ中の、人物の領域の面積及び顔の領域の面積のうちの少なくとも１つを含む情報を用いることができる。所定の情報は、動画データ中の、音量及び動きベクトル量のうちの少なくとも１つを含む情報を用いることができる。【選択図】図１
2009260618.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画データから所定の情報に基づいて重要度を決める重要度算出部と、前記重要度が決められた動画データを記憶する記憶部と、前記重要度の大小に基づいて前記記憶部に記憶された動画データを検索する検索部と、検索結果に基づいて動画データもしくは動画データのサムネイルを表示する表示部とを備えることを特徴とする画像処理装置。
【請求項２】
前記所定の情報は、前記動画データ中の、人物の領域の面積及び顔の領域の面積のうちの少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の情報は、前記動画データ中の、音量及び動きベクトル量のうちの少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記重要度は、前記所定の情報の総和もしくは最大値であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記検索部は、前記重要度を一つあるいは複数用いて検索を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記検索部は、前記重要度が指定値以下もしくは指定値以上の動画データを検索することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
前記検索部は、指定された時間分だけ、前記重要度の大きいもの、もしくは前記重要度の小さいものから検索することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
前記表示部は、前記重要度の大きい順もしくは小さい順に、前記動画データもしくは前記動画データのサムネイルを表示することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記表示部は、前記動画データもしくは前記動画データのサムネイルを表示するとともに、前記重要度を表示することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記動画データのサムネイルは、前記重要度が最大値となるときの映像をもとに作成されたものであることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項１１】
入力される動画データから所定の情報に基づいて重要度を決め、前記重要度が決められた動画データを記憶し、前記重要度の大小に基づいて記憶部に記憶された動画データを検索し、検索結果に基づいて動画データ又は動画データのサムネイルを表示することを特徴とする画像処理装置の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に係わり、特に動画データを検索する画像検索技術および動画データを画像表示する画像表示技術に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルカムコーダの普及に伴い、一般の家庭においても動画データを扱う機会が増加している。また、電子データを記憶する記憶媒体の大容量化に伴って、大量の動画データを蓄積、保存する機会も増えてきている。このような背景から、動画データを検索する機能の必要性が高まっている。
【０００３】
例えば、デジタルスチルカメラにおいては、静止画データの撮影対象を景色、人物、夜間で自動分類し、その分類に基づいて検索を行うことが現在可能である。デジタルカムコーダにおいては、ユーザーが手動で動画データに分類マークを設定することで検索を行う機能がある。
【０００４】
また、その他の技術としては、撮影装置の特性である絞り、ズーム角度、フォーカス値を用いて検索する方法が特許文献１に示されている。
【０００５】
また、さらに他の技術としては、静止画データの重要度を表す重要度係数を算出すること、例えば、表示部が画像を表示した回数や時間、画像に人物が撮像されているか否かに基づいて重要度を算出することの記載がある。
【特許文献１】特開平０９−１９８８４９号公報
【特許文献２】特開２００３−４４５１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、動画データは一つのデータに景色、人物、文字等が記録されるため、上記に記述した景色、人物、夜間による自動分類ができない。そのため、ユーザーが撮影後に手動で分類マークを付与することとなる。動画データの場合、日付か手動で付与した分類マークでの検索しかない状態である。
【０００７】
本発明は、上記課題に鑑みて、その目的は、動画データの内容に関して重要さを示す定量的な重要度を動画データに与え、その重要度を用いて検索する方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、入力される動画データから所定の情報に基づいて重要度を決める重要度算出部と、前記重要度が決められた動画データを記憶する記憶部と、前記重要度の大小に基づいて前記記憶部に記憶された動画データを検索する検索部と、検索結果に基づいて動画データ又は動画データのサムネイルを表示する表示部とを備えることを特徴とする。
【０００９】
本発明の画像処理装置の画像処理方法は、入力される動画データから所定の情報に基づいて重要度を決め、前記重要度が決められた動画データを記憶し、前記重要度の大小に基づいて記憶部に記憶された動画データを検索し、検索結果に基づいて動画データ又は動画データのサムネイルを表示することを特徴とする画像処理装置の画像処理方法である。
【発明の効果】
【００１０】
本発明によれば、撮影装置においてユーザーにとって重要な動画データを検索したり、ユーザーにとって不要な動画データを検索および削除したりすることが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
（第１の実施形態）
図１は、本発明の一実施形態である撮影装置の内部構成を示すブロック図である。
【００１２】
画像入力部１００は光学レンズ、絞り機構およびＣＣＤやＣＭＯＳ等の固体撮像素子などで構成されている。記録時において、被写体からの光信号は光学レンズ、絞り機構を通して、固体撮像素子に結像される。結像された光信号は電気信号に変換され、画像メインメモリ１０１（記憶部となる）に送信される。
【００１３】
画像メインメモリ１０１はＳＤＲＡＭ等で構成されている。画像メインメモリ１０１は画像入力部１００から送信された電気信号を一時的に蓄積する。そして、電気信号の蓄積と同時に画像符号化復号化部１０２が電気信号を読み込み圧縮符号化処理し、データ化する。圧縮符号化された動画データは再び一時的に画像メインメモリ１０１に蓄積される。そして画像メインメモリ１０１から記録媒体１０４へ動画データを送信し記録する。記録媒体１０４はランダムアクセス可能な記録媒体であり、具体的にはＤＶＤ、各種メモリーカード、ハードディスクが挙げられる。
【００１４】
表示部１０５は液晶ディスプレイや有機ＥＬ等の薄型表示装置で構成されている。表示部１０５は記録時中、画像メインメモリ１０１から動画データが送信され、リアルタイムに動画データ又は動画データのサムネイルの映像を表示する。また記録媒体１０４から既に記録済みの動画データが送信され、再生表示を行う。
【００１５】
画像解析部１０３はＳＲＡＭ等に記録されているプログラムで構成されている。画像符号化復号化部１０２で動画データを作成するのと同時に画像メインメモリ１０１を通して動画データを読み込み、データの内部を解析し、その結果を数値として算出する。算出した値はメタデータ化し、再び画像メインメモリ１０１に一時保存される。この動作は記録時中、常時行われ、最終的にユーザーの指示が有れば、メタデータを記録媒体１０４に送信し記録する。
【００１６】
図２は、画像解析部１０３の内部構成を示すブロック図である。
【００１７】
重要度算出部２００は所定の情報の値を算出する部分である。動画データを読み込み、重要度算出部２００で解析して重要度を数値として算出する。所定の情報は複数あり、データの読み込みと共に複数の情報の解析を並列処理する。一つの動画データの解析が終了した後にメタデータ作成部２０１に重要度を送信する。
【００１８】
メタデータ作成部２０１は重要度算出部２００から送信された数値をメタデータ化する。メタデータの内容については後述する。
【００１９】
検索部２０２はメタデータに記述された重要度を用いて動画データの検索を行う。検索の方法は一つの重要度を用いる方法、複数の重要度を組み合わせる方法、さらには重要度の値を指定する方法などがあり、詳細については後述する。
【００２０】
図３から図６は、重要度算出部２００に備えられている算出手段をそれぞれ説明する図である。本実施形態においては、所定の情報とは人物認識、顔認識、音量、動きベクトル量とする。
【００２１】
図３では人物認識での重要度算出手段を説明する。図３（ａ）は動画データから人を認識するアルゴリズムのフローチャートである。まずステップＳ３００で動画データをフレーム毎に読み込む。ここでのフレームとは、画像の記録に関するフレームを指し、以下も同様の意味とする。ステップＳ３０１で画像中に撮影されている物体に対しエッジ輪郭を抽出する。エッジ輪郭を抽出することで、被写体も含め物体の大まかな形状領域が求まる。ステップＳ３０２で大まかな形状領域に対して肌色検出を行う。形状領域あたりの肌色の画素数を検出し、肌色のある領域を特定する。ステップＳ３０３では肌色の有る領域に対してさらに精密に領域を抽出し、その領域に人物の頭部モデルをマッチングさせる。頭部モデルは予め重要度算出部２００に複数個用意されており、モデルが肌色のある領域に一致するかどうかを判定する（ステップＳ３０４）。
【００２２】
ステップＳ３０４でマッチングが無い（ＮＯ）と判定されれば、ステップＳ３００に戻る。マッチングが有る（ＹＥＳ）と判定されれば、ステップＳ３０５で、頭部モデルの下部に位置する形状領域を見つけ、その領域に対して楕円モデルをマッチングする。楕円モデルをマッチングさせる目的は大まかな形状領域を短時間でより精密な領域を求めることである。こうして頭部と全体像を合わせて、人物の全体像を特定する。
【００２３】
図３（ｂ）は人物認識を行った結果を示す図である。画像３０６から人物領域３０７が抽出されたことを表している。ここで人物領域３０７の画素数を求めることで、画像３０６に対する人物領域３０７の面積比Ｍ（ｔ）を求めることが出来る。
【００２４】
Ｍ（ｔ）  ＝  （人物領域３０７の画素数）／（画像３０６の画素数）  （数１）
こうして重要度算出部２００で動画データの記録時間毎に人物領域３０７の面積比をもとめ、最終的に動画データの全時間による面積比の総和の平均値ａｖｅＭをとる。
【００２５】
ａｖｅＭ  ＝  ΣＭ（ｔ）／（動画データの総記録時間）  （数２）
また動画データの全時間中で人物領域３０７の面積比が最大となる値ｍａｘＭも求める。
【００２６】
ｍａｘＭ  ＝  Ｍａｘ｛Ｍ（ｔ）｝  （数３）
こうして平均値ａｖｅＭもしくはｍａｘＭを用いて、最終的に人物認識の重要度Ｉｍを求める。例としては、ａｖｅＭを重要度Ｉｍにする方法やａｖｅＭとｍａｘＭを掛け合わせた値を重要度Ｉｍにする方法が考えられる。
【００２７】
なお、ここでは面積比を求めているが、画像３０６の面積（画像３０６の画素数が対応する）が一定の場合には、人物領域の面積（人物領域３０７の画素数）に基づいて重要度を求めてもよい。
【００２８】
このように、人物領域の面積に基づいて重要度を求めることで、被写体が映っている動画データ、逆に被写体が映っていない風景のみの動画データ等を検索することができる。
図４では顔認識での算出手段を説明する。図４（ａ）は動画データから顔を認識するアルゴリズムのフローチャートである。まずステップＳ４００で動画データをフレーム毎に読み込む。次にステップＳ４０１では画像全体から濃淡分布を計算し、濃淡情報の高い点を特徴点として抽出する。もし画像に顔が写っていれば、これらの濃淡情報の高い点が顔の目、鼻、口元などの特徴点に対応する。そこでステップＳ４０２で顔の特徴点を線分で結んだ網目状の顔検出用グラフをステップＳ４０１で求めた特徴点とマッチングさせる。ステップＳ４０３で顔検出用グラフとマッチングしないと顔が無い（ＮＯ）と判断され、再びステップＳ４００に戻り、次のフレームで顔の特徴点の探索を行う。もしマッチングすれば（ＹＥＳ）、ステップＳ４０４では顔検出用グラフでマッチングした領域を四角形で当てはめ、顔の領域として特定する。
図４（ｂ）は顔認識を行った結果を示す図である。ステップＳ４０１で求められる特徴点４０５から顔領域４０６が抽出されたことを表している。ここで顔領域４０６は人物認識の場合と同様にして画像４０７に対する面積比が求められる。そして動画データの全時間による面積比の総和の平均値ａｖｅＦ（数４）、もしくは顔領域４０６の面積比の最大値ｍａｘＦ（数５）を求める。
【００２９】
ａｖｅＦ  ＝  ΣＦ（ｔ）／（動画データの総記録時間）  （数４）
ｍａｘＦ  ＝  Ｍａｘ｛Ｆ（ｔ）｝  （数５）
ここで、Ｆ（ｔ）は顔領域４０６の面積比
こうして平均値ａｖｅＦもしくはｍａｘＦを用いて、人物認識と同様の方法を用いて顔認識の重要度Ｉｆを求める。
【００３０】
なお、ここでは面積比を求めているが、画像４０７の面積（画像４０７の画素数が対応する）が一定の場合には、顔領域の面積（顔領域４０６の画素数）に基づいて重要度を求めてもよい。
【００３１】
このように、顔領域の面積に基づいて重要度を求めることで、顔が大きく映っている動画データ等を検索することができる。
【００３２】
図５では音量での算出手段を説明する。図５（ａ）は動画像の音声データから音量を算出するフローチャートである。まずステップＳ５００で動画像の音声データを短時間（例えば１秒もしくは３秒）ごとに読み込む。次にステップＳ５０１で所定の時間Ｔごとに音声データを分割し、読み込まれた音量の平均値を算出する。
【００３３】
図５（ｂ）は図５（ａ）で求められる音量の平均値をグラフとして表したものである。縦軸が音量、横軸が動画データの記録時間である。ただし横軸の単位は所定の時間Ｔである。
【００３４】
グラフは音量データ５０２の所定の時間Ｔごとの音量値を表している。すなわち最初のＴと次のＴの音量はＶ２、グラフにおける音量の最大値はＶ１０と算出される。こうして記録時間のすべての音量を計測し、その総和の平均値ａｖｅＶ（数６）、もしくは音量の最大値ｍａｘＶ（数７）を求める。
【００３５】
ａｖｅＶ  ＝  ΣＶ（Ｔ）／（所定の時間単位Ｔの個数）  （数６）
ｍａｘＶ  ＝  Ｍａｘ｛Ｖ（Ｔ）｝  （数７）
ここで、Ｖ（Ｔ）は時間Ｔにあるフレーム数の音量平均値
こうして平均値ａｖｅＶもしくはｍａｘＶを用いて、人物認識と同様の方法を用いて音量の重要度Ｉｖを求める。このように、音量に基づいて重要度を求めることで、歓声があがった時の動画データ、逆に山などの静寂な環境にいた時の動画データ等を検索することができる。
【００３６】
図６及び図７では動きベクトル量での算出手段を説明する。図６は動画データから動きベクトル量を算出するフローチャートである。ステップＳ６００で動画データをフレーム毎に読み込む。次にステップＳ６０１で１フレームもしくは数フレームの時間が空いた２つのフレームを読み込み、それらのフレーム差分をとる。ステップＳ６０２で動きベクトル量を求める。動きベクトル量の算出方法は図７で説明する。６０７は時間軸を表しており、親画面６０３に表示されるフレーム（１）はフレーム（２）の１フレーム前の画像である。フレーム（１）を複数ブロックに分割した内の一つのブロック６０４からブロックマッチングを行いフレーム（２）のブロック６０６を導出する。そして、フレーム（２）上に表示されている１フレーム前の画面上ブロック６０４の座標からブロック６０６までの相対座標を動きベクトルとして算出する。この場合、ベクトル６０５が動きベクトルに相当する。このようにして各フレームでの動きベクトル量が求まる。そして記録時間のすべての動きベクトル量を求め、その総和の平均値ａｖｅＢ（数８）、もしくは動きベクトル量の最大値ｍａｘＢ（数９）を求める。
【００３７】
ａｖｅＢ  ＝  ΣＢ（ｔ）／（動画データの総記録時間）  （数８）
ｍａｘＢ  ＝  Ｍａｘ｛Ｂ（ｔ）｝  （数９）
ちなみにＢ（ｔ）は１フレームの動きベクトル量
こうして平均値ａｖｅＢもしくはｍａｘＢを用いて、人物認識と同様の方法を用いて動きベクトル量の重要度Ｉｂを求める。このように、動きベクトル量に基づいて重要度を求めることで、動く動物の動画データ、子供が走っている時の画像、乗り物で移動中の動画データ等を検索することができる。
【００３８】
以上、動画データには人物認識、顔認識、音量、動きベクトル量による重要度を算出したが、その他のパラメータによる重要度を算出してもよい。
【００３９】
図８は、動画データと所定の情報の重要度を記述したメタデータを示す図である。列は動画データ名ブロック列７００、時間ブロック列７０１、人物認識ブロック列７０２、顔認識ブロック列７０３、音量ブロック列７０４、動きベクトル量ブロック列７０５が用意される。人物認識ブロック列７０２、顔認識ブロック列７０３、音量ブロック列７０４、動きベクトル量ブロック列７０５の内部はその情報の平均値ａｖｅを記述するブロックと最大値ｍａｘを記述するブロックに分かれている。平均値ａｖｅを記述するブロック、最大値ｍａｘを記述するブロックそれぞれのデータサイズは１ｂｙｔｅとするため、重要度の値は０から２５５まで取ることが可能である。
【００４０】
動画データ名ブロック列７００には記録される全ての動画データが記述される。時間ブロック列７０１には動画データの記録時間が記述される。人物認識ブロック列７０２、顔認識ブロック列７０３、音量ブロック列７０４、動きベクトル量ブロック列７０５はそれぞれの算出手段で求まる平均値ａｖｅと最大値ｍａｘが記述される。
【００４１】
図９は、本実施形態における動画データの検索から削除までの操作を説明するための表示画面例を示す。
【００４２】
図９（ａ）は動画データを操作するメニューの表示である。メニューとして、例えば「再生」、「消去」、「検索」が表示される。ユーザーはフォーカス８００を移動して、メニューから「検索」を選択する。メニューの「検索」が選択されると、「検索」のサブメニューが表示される。
【００４３】
図９（ｂ）は「検索」のサブメニューの表示である。検索の方法は重要度で検索する以外に、画像の日時やユーザー自身が動画像記録後に付けた「人物」「景色』「夜景」などのマークを使った検索を行うことが出来る。ここでフォーカス８００を移動して、メニューから「重要度」を選択する。  
【００４４】
図９（ｃ）は「重要度」のサブメニューの表示である。メニューは重要度算出部２００で算出できる所定の情報の一覧が表示される。本実施形態では、所定の情報とは人物認識、顔認識、音量、動きベクトル量のため、「人物検索」、「顔検索」、「音量検索」、「動き検索」が表示される。ここで「顔検索」を選択すると、顔認識の重要度を用いた動画データの検索が行なわれる。
【００４５】
図９（ｄ）は「顔検索」の検索結果である。重要度の検索では、重要度の低い順にサムネイル８０１が表示され、サムネイル８０１の横に顔認識の重要度８０２が表示される。もし重要度が同一の場合は時系列順に表示される。また、重要度の算出時に、情報の最大値となる場面をサムネイル８０１として保存し、そのサムネイル８０１を表示する。左上には残り時間が表示され、図では０分であることが示されている。ここでサムネイル８０１は通常の動画データのサムネイルを用いても構わない。また図９（ｄ）では重要度の低い順に表示したが、重要度の高い順に表示しても構わない。
【００４６】
図９（ｅ）はフォーカス８００を操作してユーザーが削除したいデータを選択する図である。図で上半分の３枚のサムネイルが選択されており、選択された時点で削除した場合の残りの時間が表示される。また選択後しばらくすると、削除するかどうかのテキストが表示され、ユーザーはそこで削除の判断を行う。
【００４７】
図９（ｆ）は図９（ｅ）で選択した動画像を削除した後の表示である。削除後、下半分にあったサムネイルが上に移動し、新たに他のサムネイルが表示される。
【００４８】
以上のようにして、ユーザーは重要度を用いて画像の検索および削除を行うことができる。
図１０では本実施形態にて、重要度の算出からメタデータを作成するまでの一連のフローチャートを説明する。スタートはユーザーによる動画データの記録操作開始である。ステップＳ９００では画像解析部１０３が画像メインメモリ１０１からリアルタイムに動画データを読み込む。ステップＳ９０１でメタデータ作成部２０１は動画データ名とその記録時間を読み込み、それぞれをメタデータの動画データ名ブロック列７００および時間ブロック列７０１に記述する。ステップＳ９０２で重要度算出部２００は動画データを一フレーム毎に読み込み、一フレーム毎の重要度を算出する。そして全フレーム、即ち、動画データ全体での情報の平均値と最大値の算出を行う。所定の情報の算出手段を平行処理し、一度の読み込みで値を算出する。ステップＳ９０３で重要度算出部２００はそれぞれの情報の平均値と最大値をメタデータ作成部２０１に送信し、メタデータ作成部は人物認識ブロック列７０２、顔認識ブロック列７０３、音量ブロック列７０４、動きベクトル量ブロック列７０５に値を記述する。ステップＳ９０４で重要度算出部２００は算出時に情報の最大値となる場面の時間を記録しておき、メタデータ作成後、該当する場面をサムネイル化する。サムネイルは画像メインメモリ１０１に一時的に保管される。ステップＳ９０５でメタデータ作成部２０１はメタデータを画像メインメモリ１０１に送信し、一時的に保管する。
【００４９】
このフローチャートは画像の記録が始まる度に行われる。もしメタデータがすでに画像メインメモリ１０１に保管されている場合、すなわち記録媒体１０４にすでに動画データが記録されている場合、メタデータ作成部２０１はメタデータをロードし追加記述を行う。記録媒体１０４の容量が無くなった時点、もしくはユーザーがファイナライズを行う時点で表示部１０５にメタデータを記録媒体１０４に保存するかどうかのメニューが表示され、ユーザーはメタデータおよび最大値の場面のサムネイルを保管することが出来る。
【００５０】
図１１では本実施形態における検索のフローチャートを説明する。ステップＳ１０００で、図９（ｃ）の画面にてユーザーは検索に用いる情報を選択する。選択した情報は検索部２０２に送信される。ステップＳ１００１で、検索部２０２はメタデータを読み込み、選択された情報の平均値と最大値から予め決められている重要度の算出方法に従い、重要度を求める。そして重要度の大小順に動画データ名を並び替え、メタデータとは別に検索データとして作成する。ステップＳ１００２で、情報が最大となる場面のサムネイルを画像メインメモリ１０１から取得し、ステップＳ１００３で検索データの順にサムネイルを並び替え、サムネイルと重要度を合わせて表示部１０５に表示する。
【００５１】
もしユーザーが所定の情報の算出手段を複数選択した場合は、ステップＳ１００１で、選択したものの組み合わせ、例えばそれぞれの重要度を掛け合わせて新たな重要度を算出する。そして新たな重要度に従って値の大小順に動画データを並び替えた検索データを作成する。この場合は情報が最大となる場面のサムネイルは使用できないため、通常の動画データのサムネイルを使用して検索結果を表示する。
【００５２】
本実施形態によれば、ユーザーは自身で好みの重要度算出手段を選択して、すばやく重要である動画データを検索することができる。また不要な動画データを削除したい場合にも、重要度の低い動画データを検索し削除することが出来る。
（第２の実施形態）
第２の実施形態では、ユーザーが重要度を指定して（指定値を設定する）、指定した重要度より小さいもしくは大きい画像を検索することができる方法を示す。
【００５３】
図１２は、実施形態２における動画データの検索の操作を説明するための表示画面例を示す。実施形態１における図９（ｃ）の操作の後に図１２の画面が表示される。ある重要度の指定値以下の画像のみを検索したい場合、ユーザーは重要度入力画面１１００に任意の指定値を設定する。つぎにフォーカスを「以下」もしくは「以上」に合わせる。図では、「以下」に合わせているので、重要度の値が１０以下の動画データのみを検索することができる。重要度値１０以上の動画データを検索する場合にはフォーカスを「以上」に合わせる。
【００５４】
図１３では本実施形態における検索のフローチャートを説明する。ステップＳ１２００で、図９（ｃ）の画面にてユーザーは検索に用いる情報を選択する。選択した情報は検索部２０２に送信される。ステップＳ１２０１で、ユーザーが設定した指定値と、指定値以下を検索か、指定値以上を検索かの情報が検索部２０２に送信される。ステップＳ１２０２で、まず検索部２０２はメタデータを読み込み、図１１のフローチャートで説明した通りに重要度を求める。次に重要度の指定値以下の動画データを抽出する。そして重要度の低い順に並び替えて検索データを作成する。以下、ステップＳ１２０３およびステップＳ１２０４は図１１のフローチャートで説明した、ステップＳ１００２およびステップＳ１００３通りの所作を行うため説明は省略する。
【００５５】
本実施形態によれば、好みの重要度を用いて動画データを検索することが出来る。検索結果となる動画データ数が実施形態１より減少するため、より素早く動画データを検索することが可能となる。
（第３の実施形態）
第３の実施形態では、ユーザーが時間を指定して、指定した時間分の重要度の低い動画データを検索する方法を示す。
【００５６】
図１４は、実施形態３における動画データの検索の操作を説明するための表示画面例を示す。実施形態１における図９（ｃ）の操作の後に図１４の画面が表示される。ユーザーは残り時間入力画面１３００に任意に値を設定する。値を設定すると、指定した時間分、重要度の低い動画データを検索することができる。
【００５７】
図１５では本実施形態における検索のフローチャートを説明する。ステップＳ１４００で、図８（ｃ）の画面にてユーザーは検索に用いる情報を選択する。選択した情報は検索部２０２に送信される。ステップＳ１４０１で、ユーザーが設定した値が検索部２０２に送信される。ステップＳ１４０２で、検索部２０２はメタデータの時間ブロック列７０１から記録時間を取得する。ステップ１４０３で、まず重要度の低い順に動画データ名を並び替える。次に重要度の低いデータから記録時間を足し合わせ、指定値の時間に合う動画データ群を抽出し、検索データを作成する。ステップＳ１４０４およびステップＳ１４０５は図１０のフローチャートで記述した通りの所作を行うため説明は省略する。ステップＳ１４０６で必要に応じて重要度の低い動画データを削除する。
【００５８】
本実施形態によれば、設定した時間にそって不要な動画データを検索することが出来る。例えば、記録媒体１０４がすでに一杯になり、動画データの記録が出来ないときに、ユーザーは必要な時間分だけ自動的に容量を空けることが可能となる。なお、重要度の高い動画データを抽出することもできる。
【００５９】
以上説明した各実施形態では、画像処理装置として撮影装置となるデジタルカムコーダを例にとって説明したが、テレビ等の表示装置、あるいは動画データの検索装置にも本発明を適用することができる。
【産業上の利用可能性】
【００６０】
本発明は、デジタルカムコーダ等の撮影装置、テレビ等の表示装置、動画データの検索装置に適用することができる。
【図面の簡単な説明】
【００６１】
【図１】本発明に係わる実施形態１の内部構成図である。
【図２】画像解析部の内部構成図である。
【図３】人物認識による重要度算出方法の説明図である。
【図４】顔認識による重要度算出方法の説明図である。
【図５】音量値による重要度算出方法の説明図である。
【図６】動きベクトル量による重要度算出方法の説明図である。
【図７】動きベクトル量による重要度算出方法の説明図である。
【図８】メタデータの説明図である。
【図９】本発明に係わる実施形態１の操作図である。
【図１０】本発明に係わる実施形態１の重要度算出からメタデータ作成までのフローチャートである。
【図１１】本発明に係わる実施形態１の検索のフローチャートである。
【図１２】本発明に係わる実施形態２の操作図である。
【図１３】本発明に係わる実施形態２の検索のフローチャートである。
【図１４】本発明に係わる実施形態３の操作図である。
【図１５】本発明に係わる実施形態３の検索のフローチャートである。
【符号の説明】
【００６２】
１００  撮像入力部
１０１  画像メインメモリ
１０２  画像符号化復号化部
１０３  画像解析部
１０４  記録媒体
１０５  表示部
２００  重要度算出部
２０１  メタデータ作成部
２０２  検索部
【図１】
2009260618.tif 000003
【図２】
2009260618.tif 000004
【図３】
2009260618.tif 000005
【図４】
2009260618.tif 000006
【図５】
2009260618.tif 000007
【図６】
2009260618.tif 000008
【図７】
2009260618.tif 000009
【図８】
2009260618.tif 000010
【図９】
2009260618.tif 000011
【図１０】
2009260618.tif 000012
【図１１】
2009260618.tif 000013
【図１２】
2009260618.tif 000014
【図１３】
2009260618.tif 000015
【図１４】
2009260618.tif 000016
【図１５】
2009260618.tif 000017