(57)【特許請求の範囲】
【請求項１】
動画におけるシーンチェンジを検出するシーンチェンジ検出手段と、
前記動画を構成する静止画から、被写体として含まれる所定の対象物を検出し、検出した前記所定の対象物の特徴を表す情報の時系列を検出する対象物検出手段と、
前記所定の対象物を被写体に含む静止画を含むシーンを構成する静止画を対象にして前記対象物検出手段が行う検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第１のモデル情報を、判別するシーンの種類毎に複数記憶する記憶手段と、
前記シーンチェンジ検出手段により検出されたシーンチェンジから時間軸上で隣のシーンチェンジまでのそれぞれのシーンを構成する静止画を対象にして前記対象物検出手段により検出された前記所定の対象物の特徴を表す情報の時系列のパターン認識を前記記憶手段に記憶されている複数の前記第１のモデル情報に基づいて行い、それぞれのシーンの種類を判別する判別手段と
を備え、
前記記憶手段は、前記所定の対象物を被写体に含まない静止画を含むシーンを構成する静止画を対象にして前記対象物検出手段が行う検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第２のモデル情報を、判別するシーンの種類毎に複数さらに記憶し、
前記判別手段は、前記パターン認識の結果として前記第１のモデル情報から求められるスコアと、前記第２のモデル情報から求められるスコアから、それぞれのシーンの種類を判別する
画像処理装置。
【請求項２】
前記対象物検出手段は、前記動画を構成する静止画に被写体として含まれる前記所定の対象物の数の情報、静止画の所定の位置を基準とした前記所定の対象物の位置の情報、前記所定の対象物の面積の情報のうちの少なくともいずれかの情報の時系列を、前記所定の対象物の特徴を表す情報の時系列として検出し、
前記判別手段は、前記対象物検出手段により検出された情報のうちの１つ以上の情報を用いて、それぞれのシーンの種類を判別する
請求項１に記載の画像処理装置。
【請求項３】
前記判別手段による判別結果に基づいて、前記動画の再生をシーンの種類毎に行う再生手段をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記再生手段は、さらに、前記判別手段による判別結果に基づいて、それぞれの種類のシーンの前記動画全体における位置を表示させる
請求項３に記載の画像処理装置。
【請求項５】
時間軸上で並ぶ２つの静止画の特徴の差と閾値を比較することによって前記動画におけるシーンチェンジを検出する場合、前記シーンチェンジ検出手段は、前記閾値を変えて異なる粒度のシーンが定められるシーンチェンジを検出する
請求項１に記載の画像処理装置。
【請求項６】
動画におけるシーンチェンジを検出し、
前記動画を構成する静止画から、被写体として含まれる所定の対象物を検出し、検出した前記所定の対象物の特徴を表す情報の時系列を検出し、
検出したシーンチェンジから時間軸上で隣のシーンチェンジまでのそれぞれのシーンを構成する静止画を対象にして検出した前記所定の対象物の特徴を表す情報の時系列のパターン認識を、判別するシーンの種類毎に記憶手段に複数記憶されている、前記所定の対象物を被写体に含む静止画を含むシーンを構成する静止画を対象にして前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルであるモデル情報に基づいて行い、それぞれのシーンの種類を判別する
ステップを含み、
前記記憶手段には、前記所定の対象物を被写体に含まない静止画を含むシーンを構成する静止画を対象にして、前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第２のモデル情報が、判別するシーンの種類毎に複数さらに記憶されており、
それぞれのシーンの種類を判別することは、前記パターン認識の結果として前記第１のモデル情報から求められるスコアと、前記第２のモデル情報から求められるスコアから、それぞれのシーンの種類を判別するようにして行われる
画像処理方法。
【請求項７】
動画におけるシーンチェンジを検出し、
前記動画を構成する静止画から、被写体として含まれる所定の対象物を検出し、検出した前記所定の対象物の特徴を表す情報の時系列を検出し、
検出したシーンチェンジから時間軸上で隣のシーンチェンジまでのそれぞれのシーンを構成する静止画を対象にして検出した前記所定の対象物の特徴を表す情報の時系列のパターン認識を、判別するシーンの種類毎に記憶手段に複数記憶されている、前記所定の対象物を被写体に含む静止画を含むシーンを構成する静止画を対象にして前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルであるモデル情報に基づいて行い、それぞれのシーンの種類を判別する
ステップを含み、
前記記憶手段には、前記所定の対象物を被写体に含まない静止画を含むシーンを構成する静止画を対象にして、前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第２のモデル情報が、判別するシーンの種類毎に複数さらに記憶されており、
それぞれのシーンの種類を判別することは、前記パターン認識の結果として前記第１のモデル情報から求められるスコアと、前記第２のモデル情報から求められるスコアから、それぞれのシーンの種類を判別するようにして行われる
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、所定の対象物が被写体として映っているか否かを、シーン単位で判別することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、低価格化によるカムコーダの普及、ディジタルスチルカメラやいわゆるムービーデジカメなどを用いた例えばMPEG(Moving Picture Experts Group)4フォーマットでの動画撮影機能の充実、携帯電話機を用いた動画撮影機能の向上などにより、一般のユーザが個人で動画の撮影を行う機会が増えてきている。
【０００３】
ところが、撮影した動画を見ることは少ない、撮影した動画をパーソナルコンピュータなどに取り込み、編集を行ってから友人に渡そうとしても編集自体が面倒でありそれをやらない、パーソナルコンピュータに取り込むことすらしない、というのが現実である。
【０００４】
仮に、撮影によりたまった動画全体から、「友達と盛り上がったあのシーン」、「子供がアップで映っているあのシーン」といったように、見たいシーンをすぐに再生することができたり、編集の対象として選択することができれば、そのようなこともなくなるものと考えられ、また、そのような機能を求めるユーザニーズも実際に存在するものと考えられる。
【０００５】
シーンの検索に用いられる従来の画面表示としては、例えば、撮影された動画を構成する静止画を時系列順に一方向に並べて表示する時系列フィルムロールビューや、撮影の開始直後の１フレーム目などのように、撮影された動画を構成する静止画のうちの所定の静止画だけをサムネイル表示するサムネイルビューといったものがあるものの、前者の表示によっては時系列順に確認するのが煩雑であり、後者の表示によってはサムネイル表示される静止画からそれに続く内容を覚えていなかったりすることから、目的とするシーンを探すのは難しい。
【０００６】
なお、時系列フィルムロールビューは、パーソナルコンピュータの動画編集用アプリケーションなどによって採用される画面表示の手法であり、サムネイルビューは、カムコーダなどの撮影機器によって採用される画面表示の手法である。
【０００７】
シーン検索に用いられる手法としては、ユーザが見たいと思うような「友達と盛り上がったあのシーン」、「子供がアップで映っているあのシーン」などは人の顔が映っているシーンであるため、動画から人の顔を検出し、人の顔が検出された動画の位置をユーザに提示して、再生などの対象にするシーンを選択させることも提案されている。
【０００８】
一般的な顔検出のアルゴリズムは静止画を対象にするものであるから、処理の負担を軽減するため、例えば、３０fps（フレーム／秒）の動画を数fpsの動画に間引き、間引くことによって得られた動画を構成するそれぞれの静止画を対象にして顔検出が行われる。
【０００９】
特許文献１には、録画された番組の映像に映っている人の顔だけでなく、映像のシーンチェンジをも検出し、検出したそれらの情報を基準に、再生させる動画の位置を選択する技術が開示されている。特許文献２には、ニュース番組の映像などを対象として、シーン内の動きが小さく、かつ、あるモデル画像（特定色分布）にマッチするフレームが存在するシーンを顔が映っているセグメントとして決定する技術が開示されている。
【特許文献１】特開２００２−２７４１１号公報
【特許文献２】特開２００３−２６４７５７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
人の顔が検出された静止画の位置を提示して再生の対象にする部分をユーザに選択させる場合、あるシーンの全体にわたって人が映っているときであっても、顔の向きなどによっては顔が検出されたりされなかったりすることから、細切れの部分が提示されることがある。
【００１１】
図１は、動画の１つのシーンを対象にした顔検出の結果の例を示す図である。
【００１２】
図１において、１から７の数字がふられている画像は、カムコーダなどで撮影された動画を所定のフレームレートの動画に間引いた後の動画を構成する静止画であり、これらの静止画１乃至７が顔検出の対象にされる。図１に示されるそれぞれの静止画の間には、顔検出の対象にならない、間引かれた静止画があることになる。
【００１３】
図１の例においては、静止画１乃至７のいずれにも、頭部を含めて人が映っているが、顔の向きなどによって、静止画２と６だけが、顔が映っている静止画として検出されている。
【００１４】
したがって、この場合、静止画２と６の位置が提示され、ユーザは、静止画２の位置を選択することによって、顔が検出された部分である静止画２から静止画３までの部分の動画を再生させたり、静止画６の位置を選択することによって静止画６から静止画７までの部分の動画を再生させたりすることはできるが、そのような提示からは、静止画１乃至７からなる１つのシーン全体をシーン単位で再生させることはできず、細切れに再生させることしかできない。
【００１５】
また、提示される静止画の位置の数も多くなり、結局、再生の対象にする動画の部分を探すことが難しくなる。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、ユーザが扱いやすい単位の動画を提示するなどのために、所定の対象物が被写体として映っているか否かを、シーン単位で判別することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の一側面の画像処理装置は、動画におけるシーンチェンジを検出するシーンチェンジ検出手段と、前記動画を構成する静止画から、被写体として含まれる所定の対象物を検出し、検出した前記所定の対象物の特徴を表す情報の時系列を検出する対象物検出手段と、前記所定の対象物を被写体に含む静止画を含むシーンを構成する静止画を対象にして前記対象物検出手段が行う検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第１のモデル情報を、判別するシーンの種類毎に複数記憶する記憶手段と、前記シーンチェンジ検出手段により検出されたシーンチェンジから時間軸上で隣のシーンチェンジまでのそれぞれのシーンを構成する静止画を対象にして前記対象物検出手段により検出された前記所定の対象物の特徴を表す情報の時系列のパターン認識を前記記憶手段に記憶されている複数の前記第１のモデル情報に基づいて行い、それぞれのシーンの種類を判別する判別手段とを備え、前記記憶手段は、前記所定の対象物を被写体に含まない静止画を含むシーンを構成する静止画を対象にして前記対象物検出手段が行う検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第２のモデル情報を、判別するシーンの種類毎に複数さらに記憶し、前記判別手段は、前記パターン認識の結果として前記第１のモデル情報から求められるスコアと、前記第２のモデル情報から求められるスコアから、それぞれのシーンの種類を判別する。
【００２１】
前記対象物検出手段には、前記動画を構成する静止画に被写体として含まれる前記所定の対象物の数の情報、静止画の所定の位置を基準とした前記所定の対象物の位置の情報、前記所定の対象物の面積の情報のうちの少なくともいずれかの情報の時系列を、前記所定の対象物の特徴を表す情報の時系列として検出させ、前記判別手段には、前記対象物検出手段により検出された情報のうちの１つ以上の情報を用いて、それぞれのシーンの種類を判別させることができる。
【００２２】
前記判別手段による判別結果に基づいて、前記動画の再生をシーンの種類毎に行う再生手段をさらに設けることができる。
【００２３】
前記再生手段には、さらに、前記判別手段による判別結果に基づいて、それぞれの種類のシーンの前記動画全体における位置を表示させることができる。
【００２４】
時間軸上で並ぶ２つの静止画の特徴の差と閾値を比較することによって前記動画におけるシーンチェンジを検出する場合、前記シーンチェンジ検出手段には、前記閾値を変えて異なる粒度のシーンが定められるシーンチェンジを検出させることができる。
【００２５】
本発明の一側面の画像処理方法は、動画におけるシーンチェンジを検出し、前記動画を構成する静止画から、被写体として含まれる所定の対象物を検出し、検出した前記所定の対象物の特徴を表す情報の時系列を検出し、検出したシーンチェンジから時間軸上で隣のシーンチェンジまでのそれぞれのシーンを構成する静止画を対象にして検出した前記所定の対象物の特徴を表す情報の時系列のパターン認識を、判別するシーンの種類毎に記憶手段に複数記憶されている、前記所定の対象物を被写体に含む静止画を含むシーンを構成する静止画を対象にして前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルであるモデル情報に基づいて行い、それぞれのシーンの種類を判別するステップを含み、前記記憶手段には、前記所定の対象物を被写体に含まない静止画を含むシーンを構成する静止画を対象にして、前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第２のモデル情報が、判別するシーンの種類毎に複数さらに記憶されており、それぞれのシーンの種類を判別することは、前記パターン認識の結果として前記第１のモデル情報から求められるスコアと、前記第２のモデル情報から求められるスコアから、それぞれのシーンの種類を判別するようにして行われる。
本発明の一側面のプログラムは、動画におけるシーンチェンジを検出し、前記動画を構成する静止画から、被写体として含まれる所定の対象物を検出し、検出した前記所定の対象物の特徴を表す情報の時系列を検出し、検出したシーンチェンジから時間軸上で隣のシーンチェンジまでのそれぞれのシーンを構成する静止画を対象にして検出した前記所定の対象物の特徴を表す情報の時系列のパターン認識を、判別するシーンの種類毎に記憶手段に複数記憶されている、前記所定の対象物を被写体に含む静止画を含むシーンを構成する静止画を対象にして前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルであるモデル情報に基づいて行い、それぞれのシーンの種類を判別するステップを含み、前記記憶手段には、前記所定の対象物を被写体に含まない静止画を含むシーンを構成する静止画を対象にして、前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第２のモデル情報が、判別するシーンの種類毎に複数さらに記憶されており、それぞれのシーンの種類を判別することは、前記パターン認識の結果として前記第１のモデル情報から求められるスコアと、前記第２のモデル情報から求められるスコアから、それぞれのシーンの種類を判別するようにして行われる処理をコンピュータに実行させる。
【００２６】
本発明の一側面においては、動画におけるシーンチェンジが検出され、前記動画を構成する静止画から、被写体として含まれる所定の対象物が検出され、検出された前記所定の対象物の特徴を表す情報の時系列が検出される。また、検出されたシーンチェンジから時間軸上で隣のシーンチェンジまでのそれぞれのシーンを構成する静止画を対象にして検出した前記所定の対象物の特徴を表す情報の時系列のパターン認識が、判別するシーンの種類毎に記憶手段に複数記憶されている、前記所定の対象物を被写体に含む静止画を含むシーンを構成する静止画を対象にして前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルであるモデル情報に基づいて行われ、それぞれのシーンの種類が判別される。また、前記記憶手段には、前記所定の対象物を被写体に含まない静止画を含むシーンを構成する静止画を対象にして、前記所定の対象物の特徴を表す情報の時系列の検出と同じ検出を行って得られた時系列の情報をモデル化した状態遷移確率モデルである第２のモデル情報が、判別するシーンの種類毎に複数さらに記憶されており、それぞれのシーンの種類を判別することは、前記パターン認識の結果として前記第１のモデル情報から求められるスコアと、前記第２のモデル情報から求められるスコアから、それぞれのシーンの種類を判別するようにして行われる。
【発明の効果】
【００２７】
本発明の一側面によれば、所定の対象物が被写体として映っているか否かを、シーン単位で判別することができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施の形態について図を参照して説明する。
【００３４】
図２は、本発明の一実施形態に係る画像処理装置１と、画像処理装置１に接続されるディスプレイ２を示す図である。
【００３５】
画像処理装置１は、外部から供給されたパーソナルビデオに被写体として映っている人の顔を検出し、それぞれのシーンが、人（例えば１人）の顔が映っている静止画を含むシーン、多くの人（例えば５，６人）の顔が映っている静止画を含むシーン、人の顔が大きく映っている静止画を含むシーンなどの、所定の対象物が映っているシーンであるか否かを判別する。以下、適宜、人の顔が映っている静止画を含むシーンを顔シーンといい、多くの人の顔が映っている静止画を含むシーンをグループシーンという。また、人の顔が大きく映っている静止画を含むシーンをズームシーンという。
【００３６】
ここで、パーソナルビデオは、カムコーダ、ディジタルスチルカメラ、携帯電話機などに搭載される動画撮影機能を用いて一般のユーザが個人で撮影した動画であり、被写体ぶれや手ぶれが生じていることが多いという点などで、カメラマンが撮影したテレビジョン番組や映画などのパブリックな動画とは異なる。また、シーンは、動画全体の所定の位置に生じているあるシーンチェンジと、時間軸上で隣のシーンチェンジの間の静止画の時系列（動画）を含むパーソナルビデオの区間である。
【００３７】
画像処理装置１は、パーソナルビデオに生じているシーンチェンジの検出も行い、シーンチェンジの検出結果と、顔の検出結果に基づいて、上述したような判別を、パーソナルビデオを構成するそれぞれのシーンを対象として行う。
【００３８】
図３は、画像処理装置１により行われるシーンの判別の例を示す図である。
【００３９】
１から９の数字がふられている図３の画像は、フレームを間引いたパーソナルビデオを構成する静止画であり、これらの静止画を対象として顔検出が行われる。処理が可能である場合、フレームを間引くことなく、パーソナルビデオを構成する全ての静止画を対象として顔検出が行われるようにしてもよい。なお、シーンチェンジの検出は、例えば、フレームを間引いていないパーソナルビデオを対象として行われる。
【００４０】
図３の例においては、静止画１と静止画２の間、静止画８と静止画９の間でシーンチェンジが検出され、静止画１乃至９を含むパーソナルビデオが、シーン１乃至３の３つのシーンに分けられている。また、静止画１、静止画３、静止画７の３つの静止画が、人の顔が映っている静止画として検出されている。静止画１、静止画３、静止画７に重ねて示される四角形の枠Ｆは、顔検出によって人の顔として画像処理装置１により検出された部分を表す。
【００４１】
図３の例においては、このような検出結果から、シーン２が、顔シーン（人の顔が映っている静止画を含むシーン）であると判別されている。また、人の顔が検出された静止画を含まないシーン３だけでなく、人の顔が検出された静止画を含むシーン１も顔シーンではないと判別されている。
【００４２】
このように、顔が検出された静止画を含むシーンであっても、顔シーンであると判別されるシーンと顔シーンではないと判別されるシーンがある。これは、単に、顔が検出された静止画が含まれているか否かだけでなく、顔シーンを構成する静止画から検出された顔の位置、検出された顔の面積などの、顔シーンを構成するそれぞれの静止画から得られる特徴の時系列をモデル化したデータと、判別の対象になっているシーンを構成する静止画から顔として検出された部分の位置、面積の情報とを用いたパターン認識によって、それぞれのシーンが顔シーンであるか否かの判別が画像処理装置１においては行われるためである。
【００４３】
図４は、シーンの判別のより詳細な例を示す図である。
【００４４】
この例においては、顔検出の結果として、人の顔であるとして検出された部分までの静止画の中心からの距離を表す波形と、その面積を表す波形が示されている。すなわち、画像処理装置１においては、静止画を対象とした顔検出の際、顔があるか否かだけでなく、顔として検出された部分までの静止画の中心からの距離、その面積も検出される。
【００４５】
図４の顔検出の結果においては、静止画１から顔として検出された部分の距離は、静止画１の中心を基準として距離ｌ1で表される距離であり、その部分の面積は、面積ａ1で表される面積とされている。
【００４６】
また、静止画３から顔として検出された部分の距離は、距離ｌ1より近い、静止画３の中心を基準として０で表される距離であり（静止画３の中心に顔が検出されており）、その面積は、面積ａ1より大きい、面積ａ2で表される面積とされている。
【００４７】
同様に、静止画７から顔として検出された部分の距離は、距離ｌ1より近い、静止画７の中心を基準として距離ｌ3で表される距離であり、その面積は面積ａ2で表される面積とされている。
【００４８】
なお、図４においては、顔が検出されなかった場合、距離は距離ｌ2として出力され、面積は０として出力されるようになされている。
【００４９】
例えば、このような検出結果から、顔として検出された部分までの距離が遠く、面積も小さいことなどから、シーン１は顔シーンではないと判別され、静止画１において検出された顔は、顔ではない部分が誤検出されたものとして画像処理装置１により扱われる。
【００５０】
また、画像の中心に近い位置で顔が検出され、面積も大きい顔が検出された静止画３と７を含むことなどから、シーン２は顔シーンであると判別される。
【００５１】
シーン３は、それに含まれる静止画である静止画９からは顔が検出されていないから、顔シーンではないと判別される。
【００５２】
静止画を対象にして顔検出を行った場合、顔ではない部分が誤検出されることがあり、このように、それぞれの静止画から検出結果として得られた部分が人の顔の部分であるか否かが、顔シーンを構成する静止画から得られる特徴の時系列をモデル化したデータなどを用いて判別されることにより、人の顔が実際には映っていないシーンやフレームの端の方に人の顔が瞬間的に映ったシーンなどが、顔シーンであると判別されてしまうことを防ぐことができる。
【００５３】
顔シーンを構成する静止画から得られる特徴の時系列をモデル化したデータなどに基づいて判断することなく、単に、顔が検出された静止画が含まれているか否かに基づいてそれぞれのシーンが顔シーンであるか否かを判別するとした場合、静止画１を含むシーン１は顔シーンであるとして誤って判別されることになる。図３、図４の例においては、静止画１には人の顔は映っておらず、人の顔以外の部分が人の顔の部分として検出されている。
【００５４】
また、判別がシーン単位で行われるため、短い期間毎に違う判別結果が得られ、判別結果が細切れになるようなことを防止することができる。これにより、判別結果を提示して、動画全体のうちの再生する部分や編集する部分をユーザに選択させるといった場合に、判別結果を提示する画面が複雑にならずに、扱いやすい単位の動画の部分を選択させることができる。
【００５５】
仮に、シーン単位ではなく、静止画単位で判別結果を求めるとした場合、図４の静止画１から静止画２までの部分は顔部分である、静止画２から静止画３までの部分は顔部分ではない、静止画３から静止画４までの部分は顔部分である、といったように違う判別結果が細切れに求められることになる。
【００５６】
画像処理装置１が処理対象にしているビデオは例えば一般のユーザが個人で撮影したパーソナルビデオであり、これには、一定のシーンを撮影したものであっても、ぶれなどによって、被写体にしている人の顔がうまくフレーム内に収まっていたり収まっていなかったりすることがテレビジョン番組や映画などに較べて多いから、このように、人の顔が映っているシーン（シーンを構成する静止画）の特徴をモデル化したデータを用いてシーン単位で判別が行われるようにすることにより、ぶれがそのまま判別結果に影響を与えてしまうことを防ぐことができる。
【００５７】
なお、顔検出により検出された部分が人の顔であるか否かが静止画の中心からの距離、面積に基づいて判断されるのは、人を被写体にして一般のユーザが撮影した場合、撮影範囲の中心付近に被写体の人の顔が収まるように、かつ、比較的顔によった形で構図が設定されることが多いためである。
【００５８】
それぞれのシーンがグループシーン（多くの人の顔が映っている静止画を含むシーン）であるか否かも同様に、グループシーンを構成する静止画から得られる特徴の時系列をモデル化したデータと、顔検出の結果などに基づいて判別される。グループシーンを構成する静止画からは、例えば、静止画の中心に近い位置に、所定の大きさの顔が複数検出されるなどの特徴が得られる。
【００５９】
また、それぞれのシーンがズームシーン（人の顔が大きく映っている静止画を含むシーン）であるか否かも、ズームシーンを構成する静止画から得られる特徴の時系列をモデル化したデータと、顔検出の結果などに基づいて判別される。ズームシーンを構成する静止画からは、例えば、静止画の中心に近い位置に広い面積の顔が検出されるなどの特徴が得られる。
【００６０】
図２の説明に戻り、例えば、パーソナルビデオを構成するシーン全体を対象としてシーンの判別を終えたとき、画像処理装置１は、判別結果に基づいて、パーソナルビデオ全体のうちのどこからどこまでが顔シーンであるのか、どこからどこまでがグループシーンであるのか、どこからどこまでがズームシーンであるのかをディスプレイ２に表示させる。
【００６１】
画像処理装置１は、ユーザにより選択されたシーンを再生し、再生して得られた映像をディスプレイ２に表示させるとともに、音声をスピーカから出力させる。
【００６２】
ディスプレイ２はLCD(Liquid Crystal Display)などよりなり、画像処理装置１からケーブルなどを介して供給された信号に基づいて、シーンの範囲を表す情報を表示する。また、ディスプレイ２は、パーソナルビデオの映像を表示し、音声を出力する。
【００６３】
これにより、ユーザは、パーソナルビデオ全体を時系列順に見るのではなく、顔シーン、グループシーン、ズームシーンのうち、自分が見たいシーンだけを選択して見ることができる。
【００６４】
図５は、ディスプレイ２に表示されるブラウザ画面の例を示す図である。
【００６５】
図５に示されるように、ブラウザ画面は、例えば、映像表示部１１、操作部１２、およびシーン情報表示部１３から構成される。シーン情報表示部１３には、再生中のパーソナルビデオの位置を表すポインタ１４が表示される。
【００６６】
映像表示部１１は、再生中の映像が表示される領域である。
【００６７】
操作部１２は、ユーザにより操作されるボタンなどが表示される領域である。図５の例においては、巻き戻しを行うときに操作される巻き戻しボタン、パーソナルビデオを再生させるときに操作される再生ボタン、再生を停止させるときに操作される停止ボタン、早送りを行うときに操作される早送りボタンが表示されている。また、これらのボタンの下には、シーン情報表示部１３にシーンの情報が表示されるパーソナルビデオの範囲（時間）のズーム／テレを行うときに操作されるズームバーが表示されている。
【００６８】
シーン情報表示部１３は、フィルムロールと、パーソナルビデオ全体における、それぞれのシーンの範囲を表す帯状の情報（ラベル）が表示される領域である。
【００６９】
シーン情報表示部１３には、上から、フィルムロール表示欄２１、ファイル情報表示欄２２、顔シーン情報表示欄２３、グループシーン情報表示欄２４、およびズームシーン情報表示欄２５が設けられる。
【００７０】
フィルムロール表示欄２１には、パーソナルビデオを構成する静止画を縮小させた画像が撮影順に並べて表示される。図５の例においては、より左側に表示されている静止画が撮影順で前の静止画であり、より右側に表示されている静止画が撮影順で後の静止画である。
【００７１】
ファイル情報表示欄２２には、それぞれのファイルで管理されるパーソナルビデオの範囲を表す情報が表示される。例えば、１回の撮影で得られた静止画毎に異なるファイルで管理される場合、１つ目のファイルには１回目の撮影の開始から終わりまでに得られた静止画が格納され、２つ目のファイルには２回目の撮影の開始から終わりまでに得られた静止画が格納される。
【００７２】
図５の例においては、ファイル情報表示欄２２にはファイル情報Ｆ1乃至Ｆ3が表示されており、ファイル情報Ｆ1とＦ2の間の切れ目が、そのタイミングで１回目の撮影が終了され、２回目の撮影が開始されたことを表す。また、ファイル情報Ｆ2とＦ3の間の切れ目が、そのタイミングで２回目の撮影が終了され、３回目の撮影が開始されたことを表す。
【００７３】
顔シーン情報表示欄２３には、顔シーンの範囲を表す帯状の情報である顔シーン情報が表示され、グループシーン情報表示欄２４には、グループシーンの範囲を表す帯状の情報であるグループシーン情報が表示される。ズームシーン情報表示欄２５には、ズームシーンの範囲を表す帯状の情報であるズームシーン情報が表示される。
【００７４】
ユーザは、例えば、顔シーン、グループシーン、ズームシーンの３つのシーンのうちのいずれかのシーンの範囲を表す１つの帯状の情報を選択することによって、その情報の範囲に対応するパーソナルビデオの範囲のシーンを再生させることができる。また、ユーザは、３つのシーンのうちのいずれかのシーンを選択して、選択したシーンだけを連続して再生させることもできる。
【００７５】
図６は、図５のシーン情報表示部１３のうち、ファイル情報Ｆ1が表示されている範囲を拡大して示す図である。図６において、横方向が時間方向を示す。
【００７６】
図６の例においては、ファイル情報Ｆ1は時刻ｔ1から時刻ｔ7までの範囲に示されている。すなわち、この例においては、１回目の撮影は、時刻ｔ1から時刻ｔ7まで行われたものとされている。
【００７７】
図６の顔シーン情報表示欄２３には、時刻ｔ1から時刻ｔ2までの範囲に顔シーン情報ｆ1が表示され、時刻ｔ3から時刻ｔ4までの範囲に顔シーン情報ｆ2が表示されている。また、時刻ｔ5から時刻ｔ6までの範囲に顔シーン情報ｆ3が表示されている。これらの情報により、顔シーン情報ｆ1乃至ｆ3が表示されている範囲に対応するパーソナルビデオのシーンに人の顔が映っていることが表される。
【００７８】
グループシーン情報表示欄２４には、グループシーン情報が表示されておらず、これにより、１回目の撮影によって得られたパーソナルビデオを構成するシーンには、グループシーンがないことが表される。
【００７９】
ズームシーン情報表示欄２５には、時刻ｔ1から時刻ｔ2までの範囲にズームシーン情報ｚ1が表示され、時刻ｔ3から時刻ｔ4までの範囲にズームシーン情報ｚ2が表示されている。これらの情報により、ズームシーン情報ｚ1とｚ2が表示される範囲に対応するパーソナルビデオのシーンに人の顔が大きく映っていることが表される。
【００８０】
画像処理装置１においては、シーン単位で、それぞれのシーンが顔シーンであるか否か、グループシーンであるか否か、あるいは、ズームシーンであるか否かが判定され、その判定結果に基づいてブラウザ画面が表示されるため、図５、図６に示されるように、１つのシーンより細かい粒度で、細切れのラベルが表示されることはない。
【００８１】
シーンの判別と画面表示を行う画像処理装置１の動作についてはフローチャートを参照して後述する。
【００８２】
図７は、画像処理装置１の機能構成例を示すブロック図である。
【００８３】
図７に示されるように、画像処理装置１においては、シーンチェンジ検出部５１、シーンチェンジスコア記憶部５２、顔検出部５３、顔データ記憶部５４、シーン判別部５５、およびブラウズアプリケーション５６が実現される。シーン判別部５５は認識用データ記憶部６１を有している。図７に示される各機能部は、ブラウズアプリケーション５６を除いてハードウエア的に実現されるようにしてもよいし、画像処理装置１により所定のプログラムが実行されることによってソフトウエア的に実現されるようにしてもよい。
【００８４】
シーンチェンジ検出部５１は、供給されたパーソナルビデオを対象としてシーンチェンジの検出を行う。シーンチェンジの検出は、時間軸上で並ぶフレーム間の輝度値などの差分、被写体の動きを表す動きベクトル、動き補償したフレーム間の差分、カラーヒストグラムの差分などに基づいて行われる。シーンチェンジの検出結果は例えばスコアとして求められ、所定の閾値より高いスコアが求められたフレーム間の位置が、シーンチェンジが発生した位置として検出される。
【００８５】
シーンチェンジ検出部５１は、検出結果として求められたシーンチェンジのスコアをシーンチェンジスコア記憶部５２に記憶させるとともに、所定のタイミングで、シーンチェンジの位置をシーンチェンジスコア記憶部５２に記憶させたスコアから判断し、パーソナルビデオ全体におけるそれぞれのシーンの開始位置（開始時刻）と終了位置（終了時刻）を記述した情報であるシーンチェンジデータを生成する。シーンチェンジ検出部５１は、生成したシーンチェンジデータをシーンチェンジスコア記憶部５２に記憶させる。
【００８６】
シーンチェンジスコア記憶部５２は、シーンチェンジ検出部５１から供給されたシーンチェンジのスコアやシーンチェンジデータを記憶する。シーンチェンジスコア記憶部５２に記憶されたシーンチェンジデータはシーン判別部５５により適宜読み出される。
【００８７】
図８は、シーンチェンジの検出の例を示す図である。
【００８８】
図８の上方には、シーンチェンジ検出の対象になるパーソナルビデオを構成する静止画１乃至７が撮影順に示されており、その下に、シーンチェンジの検出結果であるシーンチェンジスコアを表す波形が示されている。
【００８９】
図８の例においては、静止画４と静止画５の間で閾値より高いシーンチェンジスコアが求められており、図８の下方に示されるように、その静止画４と静止画５の間の位置が、シーンチェンジの位置として検出されている。静止画１から静止画４までのシーンがシーン１とされ、静止画５から静止画７までのシーンがシーン２とされている。
【００９０】
図９は、図８のシーンチェンジの検出結果から生成されたシーンチェンジデータの例を示す図である。
【００９１】
図９の例においては、図８の静止画１から静止画４までのシーンであるシーン１の開始時刻が「０．０」とされ、終了時刻が「１００．０」とされている。また、静止画５から静止画７までのシーンであるシーン２の開始時刻が「１００．０」とされ、終了時刻が「１８０．０」とされている。
【００９２】
シーン３以降についても同様に、パーソナルビデオ全体におけるそれぞれのシーンの開始時刻と終了時刻がシーンチェンジデータに記述される。
【００９３】
このような構造を有するシーンチェンジデータが、それぞれのシーンが顔シーンであるか否かなどを判別するときに用いられる。なお、シーンチェンジデータを生成することは、パーソナルビデオの全体についてスコアが求められてから一括して行われるようにしてもよいし、求められたスコアに基づいて閾値処理が順次行われ、シーンチェンジが検出される毎に行われるようにしてもよい。
【００９４】
また、シーンチェンジの判断に用いられる閾値をユーザが変更することができるようにしてもよい。これにより、ユーザは、１つのシーンの粒度を好みに応じて設定することができる。
【００９５】
図７の説明に戻り、顔検出部５３は、供給されたパーソナルビデオを構成する静止画を対象として、またはフレームを間引いたパーソナルビデオを構成する静止画を対象として顔検出を行う。１枚の静止画内にある肌色の領域の大きさや形などから、あるいは、パーソナルビデオに映る顔の濃淡のパターンを統計的にモデル化することによって得られた情報を用いることによって顔が検出され、顔の数、静止画の中心を基準とした顔の位置、顔の面積を表す情報である顔データが顔検出部５３により生成される。顔検出部５３は、生成した顔データを顔データ記憶部５４に記憶させる。
【００９６】
顔データ記憶部５４は、顔検出部５３により生成された顔データを記憶する。顔データ記憶部５４に記憶された顔データはシーン判別部５５により適宜読み出され、シーンの判別に用いられる。
【００９７】
図１０は、顔検出の対象になる１つの静止画の例を示す図である。
【００９８】
図１０に示される静止画には、中心Ｏから若干離れた左斜め上の部分と右斜め上の部分に人の顔がそれぞれ映っている。この静止画を対象として顔検出が行われた場合、例えば、枠Ｆ1とＦ2で囲んで示されるように２つの顔が検出される。
【００９９】
図１１は、図１０の静止画を対象として行われた顔検出の結果を表す顔データの例を示す図である。
【０１００】
図１１に示されるように、顔データは、顔の数、顔の位置、顔の面積の情報からなり、図１１の例においては、顔の数は「２」とされている。
【０１０１】
また、検出された２つの顔の位置は、静止画の中心Ｏを（０，０）として「（−０．７，０．５）」と「（０．２，０．４）」で表される位置とされている。この例においては、図１０の静止画における水平方向の右端、左端の位置をそれぞれ１．０，−１．０、垂直方向の上端、下端の位置をそれぞれ１．０、−１．０とし、検出された顔を囲む枠の中心の位置が検出されている。
【０１０２】
２つの顔の面積は、それぞれ、所定の大きさを１として「０．２５」、「０．１１」で表される面積とされている。
【０１０３】
このような情報からなる顔データが、パーソナルビデオを構成する静止画を対象とした顔検出が行われる毎に生成され、顔データ記憶部５４に記憶される。対象にする静止画を撮影順に切り替えて顔検出が行われた場合、顔データ記憶部５４には、「２」、「１」、「０」、・・・といったような顔の数の時系列データ、「（０．２，０．４）」、「（０．１，０．３）」、「（０，０．２）」、・・・といったような顔の位置の時系列データ、「０．２５」、「０．２０」、「０．１５」、・・・といったような顔の面積の時系列データが記憶される。
【０１０４】
なお、顔の数、顔の位置、顔の面積以外の他の特徴が顔検出によって検出され、それを基準に顔シーン、グループシーン、ズームシーンが判別されるようにしてもよい。
【０１０５】
図７の説明に戻り、シーン判別部５５は、シーンチェンジスコア記憶部５２に記憶されているシーンチェンジデータと顔データ記憶部５４に記憶されている顔データを読み出し、読み出したそれらのデータと、認識用データ記憶部６１に記憶されている認識用データに基づいて、それぞれのシーンが、顔シーンであるか否か、グループシーンであるか否か、ズームシーンであるか否かを判別する。判別結果はブラウズアプリケーション５６に出力される。
【０１０６】
認識用データ記憶部６１には、顔シーンであると人が目で確認したシーンを構成する静止画を対象として撮影順に顔検出を行ったときに求められた顔データ（顔の数、顔の位置、顔の面積の情報）に基づいて生成された顔シーンHMM(Hidden Markov Model)、顔シーンではないと人が目で確認したシーンを構成する静止画を対象として撮影順に顔検出を行ったときに求められた顔データに基づいて生成された非顔シーンHMMがあらかじめ記憶されており、これらの顔シーンHMMと非顔シーンHMMが用いられることによって、それぞれのシーンが顔シーンであるか、顔シーンでないかが判別される。
【０１０７】
また、認識用データ記憶部６１には、グループシーンであると人が目で確認したシーンを構成する静止画を対象として撮影順に顔検出を行ったときに求められた顔データに基づいて生成されたグループシーンHMM、グループシーンではないと人が目で確認したシーンを構成する静止画を対象として撮影順に顔検出を行ったときに求められた顔データに基づいて生成された非グループシーンHMMがあらかじめ記憶されており、これらのグループシーンHMMと非グループシーンHMMが用いられて、それぞれのシーンがグループシーンであるか、グループシーンでないかが判別される。
【０１０８】
さらに、認識用データ記憶部６１には、ズームシーンであると人が目で確認したシーンを構成する静止画を対象として撮影順に顔検出を行ったときに求められた顔データに基づいて生成されたズームシーンHMM、ズームシーンではないと人が目で確認したシーンを構成する静止画を対象として撮影順に顔検出を行ったときに求められた顔データに基づいて生成された非ズームシーンHMMがあらかじめ記憶されており、これらのズームシーンHMMと非ズームシーンHMMが用いられて、それぞれのシーンがズームシーンであるか、ズームシーンでないかが判別される。
【０１０９】
なお、顔の数の情報だけに基づいて生成されたHMMを用いてシーンの判別を行うといったように、所定の１つの情報だけを用いて生成されたHMMを用いてシーンの判別を行うことも可能であるが、ここでは、シーンの判別の精度を高めるために、顔の数、顔の位置、顔の面積の３つの情報に基づいて生成されたHMMが用いられることによってシーンの判別が行われている。
【０１１０】
図１２は、顔シーンの判別について説明する図である。
【０１１１】
図１２の欄７１に示される画像は、顔シーンの判別の対象になっているパーソナルビデオを構成する静止画であり、欄７２に示される帯状の表示は、その範囲に対応するパーソナルビデオの範囲が、人が目で見て顔シーンであると判別したシーンの範囲、すなわち、シーン判別部５５が判別しようとする正解の顔シーン（Ground Truth）であることを表す。人によるシーンの判別は、画像処理装置１のシーン判別部５５がシーンの判別を行う前に行われ、判別結果がHMMの生成に用いられる。
【０１１２】
欄７３に示される帯状の表示は、その範囲に対応するパーソナルビデオの範囲が、シーンチェンジ検出の結果によって定められるそれぞれのシーンであることを表す。
【０１１３】
欄７４に示される波形は、欄７１のパーソナルビデオを対象として顔検出を行ったときに求められる顔の数を表し、欄７５に示される波形は、欄７１のパーソナルビデオを対象として顔検出を行ったときに求められる顔の位置を表す。欄７６に示される波形は、欄７１のパーソナルビデオを対象として顔検出を行ったときに求められる顔の面積を表す。対象とする静止画を撮影順に切り替えて顔検出を行ったときに求められる顔の数、顔の位置、顔の面積の情報は上述したように時系列データであるから、これらの情報は図１２に示されるように波形で表される。
【０１１４】
図１２の例においては、欄７３に示されるように、欄７１のパーソナルビデオ全体がシーン１乃至６の６つのシーンに分けられている。また、欄７２に示されるように、６つのシーンのうちのシーン１、シーン２、シーン３、およびシーン６が顔シーンであることが人によって判別されている。
【０１１５】
このような判別結果と顔データが求められている場合、図１３に示されるように、人によって顔シーンであると判別されたシーン１、シーン２、シーン３、およびシーン６のそれぞれのシーンを構成する静止画から求められた顔データに基づいて学習が行われ、顔シーンHMMが生成される。
【０１１６】
また、人によって顔シーンではないと判別されたシーン４とシーン５のそれぞれのシーンを構成する静止画から求められた顔データに基づいて学習が行われ、非顔シーンHMMが生成される。
【０１１７】
HMMは、状態の遷移に応じてデータが出力される状態遷移確率モデルの１種であり、ある状態から他の状態に遷移する確率と、状態が遷移したときに遷移先の状態がデータ（観測値）を出力する確率分布（平均と分散）を表す関数で定義される。
【０１１８】
図１４は、顔シーンHMMと非顔シーンHMMを用いたシーンの判別について説明する図である。
【０１１９】
図１４に示されるように、それぞれのシーンを構成する静止画から求められた顔データの時系列が顔シーンHMMと非顔シーンHMMにそれぞれ入力され、顔シーンHMMから出力されたスコア（確率）と、非顔シーンHMMから出力されたスコアのうち、いずれのスコアが高いかによって、それぞれのシーンが顔シーンであるか、そうでないかが判別される。
【０１２０】
図１４の例においては、シーン１を構成する静止画から求められた顔データの時系列を入力として顔シーンHMMから出力されたスコアは０．７５、非顔シーンHMMから出力されたスコアは０．２５とされ、欄７７に示されるように、これらのスコアから、シーン１は顔シーンであると判別されている。
【０１２１】
また、シーン２を構成する静止画から求められた顔データの時系列を入力として顔シーンHMMから出力されたスコアは０．８、非顔シーンHMMから出力されたスコアは０．２とされ、欄７７に示されるように、これらのスコアから、シーン２は顔シーンであると判別されている。
【０１２２】
シーン３を構成する静止画から求められた顔データの時系列を入力として顔シーンHMMから出力されたスコアは０．６５、非顔シーンHMMから出力されたスコアは０．４５とされ、欄７７に示されるように、これらのスコアから、シーン３は顔シーンであると判別されている。
【０１２３】
シーン４を構成する静止画から求められた顔データの時系列を入力として顔シーンHMMから出力されたスコアは０．３５、非顔シーンHMMから出力されたスコアは０．５とされ、欄７７に示されるように、これらのスコアから、シーン４は顔シーンではないと判別されている。
【０１２４】
シーン５を構成する静止画から求められた顔データの時系列を入力として顔シーンHMMから出力されたスコアは０．２、非顔シーンHMMから出力されたスコアは０．９とされ、欄７７に示されるように、これらのスコアから、シーン５は顔シーンではないと判別されている。
【０１２５】
シーン６を構成する静止画から求められた顔データの時系列を入力として顔シーンHMMから出力されたスコアは０．６、非顔シーンHMMから出力されたスコアは０．３とされ、欄７７に示されるように、これらのスコアから、シーン６は顔シーンであると判別されている。
【０１２６】
シーン判別部５５においては、顔データ記憶部５４に記憶されている顔データと認識用データ記憶部６１に記憶されているHMMに基づいて以上のような判別が行われる。
【０１２７】
図１５は、HMMを用いることなく、顔が検出された部分を顔が映っている動画の部分として判別する場合の判別結果の例を示す図である。
【０１２８】
図１５の欄８１に示される画像は図１２の欄７１に示される静止画と同じ画像である。図１５の判別結果は図１２で対象にされていたパーソナルビデオと同じパーソナルビデオを対象にしたときの結果を示す。
【０１２９】
図１５の欄８２に示される顔シーンの表示（Ground Truth）と図１２の欄７２に示される表示は同じ表示であり、図１５の欄８４に示される顔の数を表す波形と図１２の欄７４に示される波形は同じ波形である。
【０１３０】
欄８４において、点線で示されるレベルＬ0は顔の数が０であることを表し、レベルＬ1は顔の数が１であることを表す。また、レベルＬ2は顔の数が２であることを表す。
【０１３１】
図１５の欄８４に実線で示されるように、レベルＬ0以上、レベルＬ1以下のレベルが閾値として設定され、閾値以上の数の顔が検出された部分を顔が映っている動画の部分として判別する場合、欄８３に示されるように、顔が映っている動画の部分であると判別される部分は、１つの時間が短い、細切れの部分になってしまうのに対し、上述したようにHMMを用いてシーン単位で判別を行った場合、図１４の欄７７に示されるように、判別結果が細切れになることはない。
【０１３２】
ここでは、顔の数の時系列データに基づいて閾値処理を行うことによってシーンが判別されているが、顔の位置の時系列データに基づく閾値処理や顔の面積の時系列データに基づく閾値処理もあわせて行われ、複数の閾値処理の結果からシーンの判別が行われるようにしてもよい。
【０１３３】
図７の説明に戻り、ブラウズアプリケーション５６は、図５に示されるようなブラウザ画面をディスプレイ２に表示させる。具体的には、ブラウズアプリケーション５６は、シーン判別部５５から供給された判別結果に基づいて、顔シーン、グループシーン、ズームシーンのそれぞれのシーンが、パーソナルビデオ全体のどこからどこまでの範囲にあるのかをブラウザ画面のシーン情報表示部１３に表示させるとともに、所定のシーンが選択されたとき、供給されたパーソナルビデオのうちのユーザにより選択されたシーンを再生し、再生したシーンの映像を映像表示部１１に表示させる。
【０１３４】
ここで、画像処理装置１の動作についてフローチャートを参照して説明する。
【０１３５】
はじめに、図１６のフローチャートを参照して、顔シーンの判別を行う画像処理装置１の処理について説明する。
【０１３６】
ステップＳ１において外部からパーソナルビデオが供給されたとき、ステップＳ２において、供給されたパーソナルビデオはシーンチェンジ検出用のビデオと顔検出用のビデオに分けられ、一方はシーンチェンジ検出部５１に、他方は顔検出部５３にそれぞれ供給される。図５に示されるようなブラウザ画面を表示するとき、パーソナルビデオはブラウズアプリケーション５６にも供給される。
【０１３７】
ステップＳ３において、シーンチェンジ検出部５１は、パーソナルビデオを対象としてシーンチェンジ検出を行い、求められたシーンチェンジスコアをシーンチェンジスコア記憶部５２に記憶させる。また、シーンチェンジ検出部５１は、所定のタイミングで、シーンチェンジスコア記憶部５２に記憶させたシーンチェンジスコアと閾値からシーンチェンジの位置を検出し、検出したシーンチェンジで定められるシーンの開始時刻と終了時刻を記述したシーンチェンジデータを生成する。生成されたシーンチェンジデータはシーンチェンジスコア記憶部５２に記憶される。
【０１３８】
ステップＳ４において、顔検出部５３は、パーソナルビデオを構成する静止画を対象として、またはフレームを間引いたパーソナルビデオを構成する静止画を対象として顔検出を行う。顔検出部５３は、対象とする静止画を撮影順に切り替えて顔検出を行い、検出結果を表す顔データを顔データ記憶部５４に記憶させる。
【０１３９】
ステップＳ５において、シーン判別部５５は、シーンチェンジスコア記憶部５２から読み出したシーンチェンジデータに開始時刻と終了時刻が記述されている１つのシーンに注目し、ステップＳ６に進む。
【０１４０】
シーン判別部５５は、ステップＳ６において、注目しているシーンを構成する静止画から求められた顔データの時系列を顔データ記憶部５４から読み出し、読み出した顔データの時系列を、認識用データ記憶部６１に記憶されている顔シーンHMMと非顔シーンHMMのそれぞれに入力して（HMMを用いた認識を行って）スコアを求める。
【０１４１】
シーン判別部５５は、ステップＳ７において、顔シーンHMMから求められたスコアの方が、非顔シーンHMMから求められたスコアより高いか否かを判定する。
【０１４２】
ステップＳ７において、シーン判別部５５は、顔シーンHMMから求められたスコアの方が高いと判定した場合、ステップＳ８に進み、注目しているシーンが顔シーンであると判別する。
【０１４３】
一方、シーン判別部５５は、ステップＳ７において、顔シーンHMMから求められたスコアの方が低いと判定した場合、ステップＳ９に進み、注目しているシーンが顔シーンではないと判別する。
【０１４４】
いま注目しているシーンの判別を終えたとき、ステップＳ１０に進み、シーン判別部５５は、シーンチェンジデータに開始時刻と終了時刻が記述されている全てのシーンに注目したか否かを判定し、全てのシーンにまだ注目していないと判定した場合、ステップＳ５に戻り、他のシーンに注目してそれ以降の処理を繰り返す。
【０１４５】
シーン判別部５５は、ステップＳ１０において、全てのシーンに注目したと判定した場合、処理を終了させる。
【０１４６】
次に、図１７のフローチャートを参照して、グループシーンの判別を行う画像処理装置１の処理について説明する。
【０１４７】
図１７のステップＳ２１乃至Ｓ２５の処理は、図１６のステップＳ１乃至Ｓ５の処理と同様の処理である。なお、図１６の処理などが先に行われており、パーソナルビデオから求められたシーンチェンジデータがシーンチェンジスコア記憶部５２に記憶されており、顔データが顔データ記憶部５４に記憶されている場合、ステップＳ２６以降の処理から開始されるようにしてもよい。
【０１４８】
ステップＳ２１においてパーソナルビデオが供給されたとき、ステップＳ２２において、そのパーソナルビデオはシーンチェンジ検出用のビデオと顔検出用のビデオに分けられ、一方はシーンチェンジ検出部５１に、他方は顔検出部５３にそれぞれ供給される。
【０１４９】
ステップＳ２３において、シーンチェンジ検出部５１は、供給されたパーソナルビデオを対象としてシーンチェンジ検出を行い、シーンチェンジスコアとシーンチェンジデータをシーンチェンジスコア記憶部５２に記憶させる。
【０１５０】
ステップＳ２４において、顔検出部５３は、パーソナルビデオを構成する静止画を対象として顔検出を行い、得られた顔データを顔データ記憶部５４に記憶させる。
【０１５１】
ステップＳ２５において、シーン判別部５５は、シーンチェンジスコア記憶部５２から読み出したシーンチェンジデータに開始時刻と終了時刻が記述されている１つのシーンに注目し、ステップＳ２６に進む。
【０１５２】
シーン判別部５５は、ステップＳ２６において、注目しているシーンを構成する静止画から求められた顔データの時系列を顔データ記憶部５４から読み出し、読み出した顔データの時系列を、認識用データ記憶部６１に記憶されているグループシーンHMMと非グループシーンHMMのそれぞれに入力してスコアを求める。
【０１５３】
シーン判別部５５は、ステップＳ２７において、グループシーンHMMから求められたスコアの方が、非グループシーンHMMから求められたスコアより高いか否かを判定する。
【０１５４】
ステップＳ２７において、シーン判別部５５は、グループシーンHMMから求められたスコアの方が高いと判定した場合、ステップＳ２８に進み、注目しているシーンがグループシーンであると判別する。
【０１５５】
一方、シーン判別部５５は、ステップＳ２７において、グループシーンHMMから求められたスコアの方が低いと判定した場合、ステップＳ２９に進み、注目しているシーンがグループシーンではないと判別する。
【０１５６】
いま注目しているシーンの判別を終えたとき、ステップＳ３０に進み、シーン判別部５５は、全てのシーンに注目したか否かを判定し、全てのシーンにまだ注目していないと判定した場合、ステップＳ２５に戻り、他のシーンに注目してそれ以降の処理を繰り返す。
【０１５７】
シーン判別部５５は、ステップＳ３０において、全てのシーンに注目したと判定した場合、処理を終了させる。
【０１５８】
次に、図１８のフローチャートを参照して、ズームシーンの判別を行う画像処理装置１の処理について説明する。
【０１５９】
図１８のステップＳ４１乃至Ｓ４５の処理は、図１６のステップＳ１乃至Ｓ５の処理と同様の処理である。図１８の処理においても、例えば図１６の処理が先に行われており、供給されたパーソナルビデオから求められたシーンチェンジデータがシーンチェンジスコア記憶部５２に記憶されており、顔データが顔データ記憶部５４に記憶されている場合、ステップＳ４６以降の処理から開始されるようにしてもよい。
【０１６０】
ステップＳ４１においてパーソナルビデオが供給されたとき、ステップＳ４２において、そのパーソナルビデオはシーンチェンジ検出用のビデオと顔検出用のビデオに分けられ、一方はシーンチェンジ検出部５１に、他方は顔検出部５３にそれぞれ供給される。
【０１６１】
ステップＳ４３において、シーンチェンジ検出部５１は、供給されたパーソナルビデオを対象としてシーンチェンジ検出を行い、シーンチェンジスコアとシーンチェンジデータをシーンチェンジスコア記憶部５２に記憶させる。
【０１６２】
ステップＳ４４において、顔検出部５３は、パーソナルビデオを構成する静止画を対象として顔検出を行い、得られた顔データを顔データ記憶部５４に記憶させる。
【０１６３】
ステップＳ４５において、シーン判別部５５は、シーンチェンジスコア記憶部５２から読み出したシーンチェンジデータに開始時刻と終了時刻が記述されている１つのシーンに注目し、ステップＳ４６に進む。
【０１６４】
シーン判別部５５は、ステップＳ４６において、注目しているシーンを構成する静止画から求められた顔データの時系列を顔データ記憶部５４から読み出し、読み出した顔データの時系列を、認識用データ記憶部６１に記憶されているズームシーンHMMと非ズームシーンHMMのそれぞれに入力してスコアを求める。
【０１６５】
シーン判別部５５は、ステップＳ４７において、ズームシーンHMMから求められたスコアの方が、非ズームシーンHMMから求められたスコアより高いか否かを判定する。
【０１６６】
ステップＳ４７において、シーン判別部５５は、ズームシーンHMMから求められたスコアの方が高いと判定した場合、ステップＳ４８に進み、注目しているシーンがズームシーンであると判別する。
【０１６７】
一方、シーン判別部５５は、ステップＳ４７において、ズームシーンHMMから求められたスコアの方が低いと判定した場合、ステップＳ４９に進み、注目しているシーンがズームシーンではないと判別する。
【０１６８】
いま注目しているシーンの判別を終えたとき、ステップＳ５０に進み、シーン判別部５５は、全てのシーンに注目したか否かを判定し、全てのシーンにまだ注目していないと判定した場合、ステップＳ４５に戻り、他のシーンに注目してそれ以降の処理を繰り返す。
【０１６９】
シーン判別部５５は、ステップＳ５０において、全てのシーンに注目したと判定した場合、処理を終了させる。
【０１７０】
以上の処理により、パーソナルビデオに含まれるそれぞれのシーンが顔シーンであるか否か、グループシーンであるか否か、および、ズームシーンであるか否かが判別される。判別結果はブラウズアプリケーション５６に供給され、ブラウザ画面の表示に用いられる。
【０１７１】
次に、図１９のフローチャートを参照して、ブラウザ画面の表示を制御する画像処理装置１の処理について説明する。
【０１７２】
ステップＳ６１において、ブラウズアプリケーション５６はブラウザ画面を表示させるとともに、ブラウザ画面のシーン情報表示部１３に設けられるフィルムロール表示欄２１に、パーソナルビデオを構成する静止画を縮小した画像を撮影順に並べてフィルムロールとして表示させる。
【０１７３】
ブラウズアプリケーション５６は、ステップＳ６２において、シーン判別部５５から供給された判別結果に基づいて、顔シーンの範囲を表す情報をシーン情報表示部１３に設けられる顔シーン情報表示欄２３に、グループシーンの範囲を表す情報をグループシーン情報表示欄２４に、ズームシーンの範囲を表す情報をズームシーン情報表示欄２５にそれぞれ表示させる。
【０１７４】
ユーザにより所定のシーンが選択されたとき、ステップＳ６３において、ブラウズアプリケーション５６は、ユーザにより選択されたシーンを再生し、得られた映像をブラウザ画面の映像表示部１１に表示させる。例えば、ブラウザ画面の表示を終了することが指示されたとき、処理は終了される。
【０１７５】
以上の処理により、図５に示されるようなブラウザ画面が表示され、ユーザは、人の顔が大きく映っているシーンだけといったように、好みのシーンだけを選択して見ることができる。
【０１７６】
図２０は、画像処理装置１の実装の例を示す図である。
【０１７７】
図２０の例においては、図７に示される画像処理装置１の全体の構成がビデオカメラ１０１の構成として実装されている。ビデオカメラ１０１にはカメラブロック１１１も設けられている。
【０１７８】
カメラブロック１１１はレンズ、レンズを介して取り込まれた被写体からの光の光電変換を行う撮像素子、撮像素子から出力された信号に所定の処理を施してパーソナルビデオの信号を生成する信号処理回路などよりなり、ビデオカメラ１０１のシーンチェンジ検出部５１は、このカメラブロック１１１から供給されたパーソナルビデオを対象としてシーンチェンジの検出を行う。また、顔検出部５３はカメラブロック１１１から供給されたパーソナルビデオを構成する静止画を対象として顔検出を行う。
【０１７９】
図２０のブラウズアプリケーション５６によっては、ブラウザ画面が例えばビデオカメラ１０１に設けられる表示部（図示せず）に表示される。なお、ビデオカメラ１０１には、パーソナルビデオをテープや光ディスクなどに記録するドライブなども設けられる。
【０１８０】
ビデオカメラ（カムコーダ）において上述したようなシーンの判別が行われ、ブラウザ画面が表示されることによって、ユーザは、好みのシーンを選択して、自分が撮影したパーソナルビデオの内容を後から容易に確認することができる。
【０１８１】
図２１は、画像処理装置１の実装の他の例を示す図である。
【０１８２】
図２１の例においては、図７に示される画像処理装置１の構成のうちのシーンチェンジ検出部５１、シーンチェンジスコア記憶部５２、顔検出部５３、および顔データ記憶部５４はビデオカメラ１２１の構成として実装され、シーン判別部５５とブラウズアプリケーション５６はパーソナルコンピュータ１４１の構成として実装されている。ビデオカメラ１２１にはカメラブロック１３１も設けられている。
【０１８３】
カメラブロック１３１は図２０のカメラブロック１１１と同様に、レンズ、撮像素子、信号処理回路などよりなり、ビデオカメラ１２１のシーンチェンジ検出部５１は、このカメラブロック１３１から供給されたパーソナルビデオを対象としてシーンチェンジの検出を行う。また、顔検出部５３はカメラブロック１３１から供給されたパーソナルビデオを構成する静止画を対象として顔検出を行う。
【０１８４】
シーンチェンジ検出部５１により求められたシーンチェンジデータと顔検出部５３により求められた顔データはシーンチェンジスコア記憶部５２と顔データ記憶部５４にそれぞれ記憶され、撮影されたパーソナルビデオとともに、所定のタイミングでパーソナルコンピュータ１４１により取り込まれる。シーンチェンジデータ、顔データ、パーソナルビデオの取り込みは、例えば、テープなどの記録媒体を介して、あるいは、無線を介した通信などにより行われる。取り込まれたそれらのデータは例えばパーソナルコンピュータ１４１が内蔵するハードディスクなどに記録される。
【０１８５】
パーソナルコンピュータ１４１のシーン判別部５５は、ビデオカメラ１２１から取り込まれたシーンチェンジデータと顔データに基づいて、上述したようなシーンの判別を行い、判別結果をブラウズアプリケーション５６に出力する。ブラウズアプリケーション５６は、パーソナルコンピュータ１４１に設けられるディスプレイなどにブラウザ画面を表示し、ユーザによる操作にしたがってパーソナルビデオを再生する。
【０１８６】
すなわち、この例の場合、パーソナルビデオの取り込みからブラウザ画面の表示までの処理のうち、シーンチェンジデータと顔データを生成する中間の処理までがビデオカメラ１２１により行われ、それ以降の処理がパーソナルコンピュータ１４１により行われる。パーソナルコンピュータ１４１に実装するのと同様に、動画の他にも静止画や音楽などの各種のコンテンツを扱うホームサーバに画像処理装置１の構成を実装することも可能である。
【０１８７】
図２２は、画像処理装置１の実装のさらに他の例を示す図である。
【０１８８】
図２２の例においては、図７に示される画像処理装置１の全体の構成がパーソナルコンピュータ１５１の構成として実装されている。パーソナルコンピュータ１５１には、ビデオカメラなどを用いて撮影されたパーソナルビデオが、テープなどの記録媒体を介して、あるいは、無線を介した通信などにそのビデオカメラから取り込まれ、取り込まれたパーソナルビデオを対象として上述したようなシーンの判別、ブラウザ画面の表示が行われる。シーンチェンジの検出、顔検出、シーンの判別などの処理は、パーソナルビデオが取り込まれた直後に行われるのではなく、パーソナルコンピュータ１４１のアイドル時に行われるようにしてもよい。
【０１８９】
このように、画像処理装置１の構成は、その全体を１つの機器に実装することもできるし、複数の機器に分けて実装することも可能である。
【０１９０】
図２３は、学習装置２０１の機能構成例を示すブロック図である。
【０１９１】
上述したように、画像処理装置１の認識用データ記憶部６１にはシーンの判別に用いられるHMMが認識用データとしてあらかじめ用意されるが、この認識用データが、学習装置２０１により生成される。例えば、画像処理装置１が図２０に示されるようにビデオカメラに実装される場合、学習装置２０１は、メーカの開発者などによりビデオカメラの出荷前に用いられる。
【０１９２】
図２３に示されるように、学習装置２０１は、シーン判別部５５に替えて学習部２１５が設けられる点とブラウズアプリケーション５６が設けられない点を除いて基本的に画像処理装置１と同様の構成を有しており、シーンチェンジ検出部２１１、シーンチェンジスコア記憶部２１２、顔検出部２１３、顔データ記憶部２１４、および学習部２１５から構成される。
【０１９３】
シーンチェンジ検出部２１１は図７のシーンチェンジ検出部５１に対応し、シーンチェンジスコア記憶部２１２は図７のシーンチェンジスコア記憶部５２に対応する。また、顔検出部２１３は図７の顔検出部５３に対応し、顔データ記憶部２１４は図７の顔データ記憶部５４に対応する。
【０１９４】
シーンチェンジ検出部２１１は、供給されたパーソナルビデオを対象としてシーンチェンジの検出を行い、検出結果として求められたシーンチェンジのスコアをシーンチェンジスコア記憶部２１２に記憶させるとともに、シーンチェンジの位置をスコアから判断し、シーンチェンジデータをシーンチェンジスコア記憶部２１２に記憶させる。
【０１９５】
顔検出部２１３は、供給されたパーソナルビデオを構成する静止画を対象として、またはフレームを間引いたパーソナルビデオを構成する静止画を対象として、画像処理装置１の顔検出部５３が行う顔検出と同じ顔検出を行い、顔検出の結果である顔データを顔データ記憶部２１４に記憶させる。
【０１９６】
シーンチェンジ検出部２１１と顔検出部２１３に供給されるパーソナルビデオは、ビデオカメラなどを用いて撮影された学習用のビデオであり、ここには、１人の人の顔や、複数の人の顔、ズームされた人の顔などが映っている。
【０１９７】
学習部２１５は、人の顔などの、ある対象物が映っているシーンがユーザにより指定されたとき、図１３を参照して説明したように、対象物が映っているシーンであるとユーザにより指定されたシーンを構成する静止画から求められた顔データの時系列を顔データ記憶部２１４から読み出し、読み出した顔データの時系列に基づいて、その対象物が映っているシーンを判別するためのHMMを生成する。
【０１９８】
また、学習部２１５は、ある対象物が映ってないシーンがユーザにより指定されたとき（対象物が映っているシーンであると指定されなかったとき）、対象物が映っていないシーンであるとユーザにより指定されたシーンを構成する静止画から求められた顔データの時系列を顔データ記憶部２１４から読み出し、読み出した顔データの時系列に基づいて、その対象物が映っていないシーンを判別するためのHMMを生成する。
【０１９９】
すなわち、メーカの開発者などの学習装置２０１のユーザは、シーンチェンジ検出部２１１と顔検出部２１３に供給されたパーソナルビデオと同じビデオを所定の再生機により再生させることによって目で見て、画像処理装置１に判別させたいシーンに応じて、どのシーンが対象物が映っているシーンであるのか、どのシーンが対象物が映っていないシーンであるのかを表す情報などを正解データとして学習装置２０１に入力する必要がある。
【０２００】
顔シーンとグループシーンとズームシーンを画像処理装置１に判別させる場合、どのシーンが人の顔が映っている静止画を含むシーンであるのかを表す情報、どのシーンが多くの人の顔が映っている静止画を含むシーンであるのかを表す情報、どのシーンが人の顔が大きく映っている静止画を含むシーンであるのかを表す情報を、正解データとしてユーザは学習装置２０１に入力することになる。
【０２０１】
学習部２１５は、生成したHMMを認識用データとして出力する。出力された認識用データは画像処理装置１の認識用データ記憶部６１に記憶される。
【０２０２】
ここで、図２４のフローチャートを参照して、学習装置２０１の学習処理について説明する。
【０２０３】
ステップＳ１０１において、シーンチェンジ検出部２１１は、パーソナルビデオを対象としてシーンチェンジ検出を行い、シーンチェンジデータをシーンチェンジスコア記憶部２１２に記憶させる。
【０２０４】
ステップＳ１０２において、顔検出部２１３は、パーソナルビデオを構成する静止画を対象として、またはフレームを間引いたパーソナルビデオを構成する静止画を対象として、画像処理装置１の顔検出部５３が行う顔検出と同じ顔検出を行い、顔データを顔データ記憶部２１４に記憶させる。
【０２０５】
ステップＳ１０３において、学習部２１５は、ユーザから入力された正解データと、顔データ記憶部２１４に記憶されている顔データの時系列に基づいて学習を行い、HMMを生成する。
【０２０６】
学習部２１５は、ステップＳ１０４において、生成したHMMを認識用データとして出力し、処理を終了させる。
【０２０７】
以上の処理により認識用データが生成され、生成された認識用データが画像処理装置１に用意される。これにより、画像処理装置１のユーザは、正解データを入力するなどしてHMMを自ら用意する必要がなく、パーソナルビデオを用意するだけでシーンの判別を行わせることができる。
【０２０８】
当然、画像処理装置１のユーザが、自分が撮影したパーソナルビデオを対象として画像処理装置１に学習を行わせ、認識用データ記憶部６１に認識用データを自ら用意するようにしてもよい。この場合、ユーザは、自分が撮影したパーソナルビデオを見て、判別させたいシーンに応じて、正解データを画像処理装置１に入力する必要がある。
【０２０９】
以上においては、パーソナルビデオのそれぞれのシーンが顔シーンであるか否か、グループシーンであるか否か、ズームシーンであるか否かが判別されるものとしたが、判別させたい対象物に応じて画像処理装置１に用意する認識用データを替えることによって、他の対象物が映っている静止画を含むシーンであるか否かを判別させることもできる。
【０２１０】
例えば、風景の特徴を検出し、検出した特徴に基づいて、風景が映っている静止画を含むシーンであるか否かを判別するためのHMMを画像処理装置１に用意することによって、風景のシーンであるか否かを判別させることも可能である。
【０２１１】
また、以上においては、シーンの判別にはHMMが用いられるものとしたが、時系列データを対象とするパターン認識の他のアルゴリズムを用いて判別が行われるようにしてもよい。そのようなアルゴリズムとしては、例えば、ビタビアルゴリズムやニューラルネットワークなどがある。
【０２１２】
さらに、パターン認識によりシーンの判別を行うのではなく、閾値処理により判別を行うようにしてもよい。例えば、パーソナルビデオを構成する全ての静止画から得られた顔データによって表される顔の数の平均を求め、その平均を閾値として、閾値より多い数の顔が映っている静止画を含むシーンを顔が多く映っているシーンとして判別することもできる。この場合も、判別はシーン単位で行われるから、シーンより細かい部分単位で判別結果を求める場合に較べて、判別結果が細切れになることを防ぐことができる。
【０２１３】
パターン認識ではなく、このような閾値処理によって行うシーンの判別は、パターン認識によって行うシーンの判別より処理の負荷を抑えることができ、処理能力がパーソナルコンピュータなどと較べて劣る、携帯電話機やデジタルビデオカメラ、あるいはデジタルスチルカメラなどの機器に採用することができる。
【０２１４】
また、以上においては、シーン判別部５５によりシーンの判別が行われたとき、判別結果に基づいてブラウザ画面が表示され、ユーザはブラウザ画面から所定のシーンを再生させることができるものとしたが、パーソナルビデオと対応付けて判別結果が保存され、パーソナルビデオの編集などの他の処理に用いられるようにしてもよい。
【０２１５】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２１６】
図２５は、一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【０２１７】
CPU(Central Processing Unit)２２１は、ROM(Read Only Memory)２２２、または記憶部２２８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)２２３には、CPU２２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２２１、ROM２２２、およびRAM２２３は、バス２２４により相互に接続されている。
【０２１８】
CPU２２１にはまた、バス２２４を介して入出力インターフェース２２５が接続されている。入出力インターフェース２２５には、キーボード、マウス、マイクロホンなどよりなる入力部２２６、ディスプレイ、スピーカなどよりなる出力部２２７が接続されている。CPU２２１は、入力部２２６から入力される指令に対応して各種の処理を実行する。そして、CPU２２１は、処理の結果を出力部２２７に出力する。
【０２１９】
入出力インターフェース２２５に接続されている記憶部２２８は、例えばハードディスクからなり、CPU２２１が実行するプログラムや各種のデータを記憶する。通信部２２９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２２０】
入出力インターフェース２２５に接続されているドライブ２３０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２２８に転送され、記憶される。
【０２２１】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２３１、または、プログラムが一時的もしくは永続的に格納されるROM２２２や、記憶部２２８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２２９を介して、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２２２】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２２３】
【図１】顔検出の結果の例を示す図である。
【図２】本発明の一実施形態に係る画像処理装置と、画像処理装置に接続されるディスプレイを示す図である。
【図３】画像処理装置により行われる判別の例を示す図である。
【図４】判別のより詳細な例を示す図である。
【図５】ブラウザ画面の表示例を示す図である。
【図６】図５のブラウザ画面の一部を拡大して示す図である。
【図７】画像処理装置の機能構成例を示すブロック図である。
【図８】シーンチェンジ検出の例を示す図である。
【図９】シーンチェンジデータの例を示す図である。
【図１０】顔検出の対象になる静止画の例を示す図である。
【図１１】顔データの例を示す図である。
【図１２】顔シーンの判別について説明する図である。
【図１３】顔シーンの判別について説明する他の図である。
【図１４】顔シーンの判別について説明するさらに他の図である。
【図１５】判別結果の例を示す図である。
【図１６】画像処理装置の顔シーン判別処理について説明するフローチャートである。
【図１７】画像処理装置のグループシーン判別処理について説明するフローチャートである。
【図１８】画像処理装置のズームシーン判別処理について説明するフローチャートである。
【図１９】画像処理装置の表示制御処理について説明するフローチャートである。
【図２０】画像処理装置の実装の例を示す図である。
【図２１】画像処理装置の実装の他の例を示す図である。
【図２２】画像処理装置の実装のさらに他の例を示す図である。
【図２３】学習装置の機能構成例を示すブロック図である。
【図２４】学習装置の学習処理について説明するフローチャートである。
【図２５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２２４】
１  画像処理装置，  ２  ディスプレイ，  ５１  シーンチェンジ検出部，  ５２  シーンチェンジスコア記憶部，  ５３  顔検出部，  ５４  顔データ記憶部，  ５５  シーン判別部，  ５６  ブラウズアプリケーション，  ６１  認識用データ記憶部，  ２０１  学習装置，  ２１１  シーンチェンジ検出部，  ２１２  シーンチェンジスコア記憶部，  ２１３  顔検出部，  ２１４  顔データ記憶部，  ２１５  学習部
【図１】
0004618166.tif 000002
【図２】
0004618166.tif 000003
【図３】
0004618166.tif 000004
【図４】
0004618166.tif 000005
【図５】
0004618166.tif 000006
【図６】
0004618166.tif 000007
【図７】
0004618166.tif 000008
【図８】
0004618166.tif 000009
【図９】
0004618166.tif 000010
【図１０】
0004618166.tif 000011
【図１１】
0004618166.tif 000012
【図１２】
0004618166.tif 000013
【図１３】
0004618166.tif 000014
【図１４】
0004618166.tif 000015
【図１５】
0004618166.tif 000016
【図１６】
0004618166.tif 000017
【図１７】
0004618166.tif 000018
【図１８】
0004618166.tif 000019
【図１９】
0004618166.tif 000020
【図２０】
0004618166.tif 000021
【図２１】
0004618166.tif 000022
【図２２】
0004618166.tif 000023
【図２３】
0004618166.tif 000024
【図２４】
0004618166.tif 000025
【図２５】
0004618166.tif 000026