(57)【要約】【課題】動画像から、ある動きをする物、人、動物などを簡便に抽出する。【解決手段】電子機器１は、オブジェクトの動きを表現するリズム情報の類似度に基づいて動画像からオブジェクトを抽出する電子機器であって、オブジェクトの抽出に用いる抽出用リズム情報を取得する抽出用リズム情報取得部４０と、抽出用リズム情報取得部４０によって取得された抽出用リズム情報と、動画像内のオブジェクトのリズム情報との類似度を算出する算出部６０と、算出部６０によって算出された抽出用リズム情報との類似度が所定の閾値以上であるリズム情報として当該動きが表現されているオブジェクトを動画像から抽出する抽出部７０とを備える。【選択図】図１
2012216186.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの動きを表現するリズム情報の類似度に基づいて動画像からオブジェクトを抽出する電子機器であって、
オブジェクトの抽出に用いる抽出用リズム情報を取得する取得部と、
前記取得部によって取得された前記抽出用リズム情報と、動画像内のオブジェクトの前記リズム情報との類似度を算出する算出部と、
前記算出部によって算出された前記抽出用リズム情報との類似度が所定の閾値以上である前記リズム情報として当該動きが表現されているオブジェクトを動画像から抽出する抽出部と
を備えることを特徴とする電子機器。
【請求項２】
請求項１に記載の電子機器において、
撮像部を更に備え、
前記抽出部は、
前記撮像部によって撮像された動画像からオブジェクトを抽出することを特徴とする電子機器。
【請求項３】
請求項２に記載の電子機器において、
前記抽出部は、
前記動画像から抽出したオブジェクトをユーザが特定するための情報を、前記動画像に重畳して表示させることを特徴とする電子機器。
【請求項４】
請求項１から請求項３の何れか１項に記載の電子機器において、
前記取得部は、
前記抽出部によって既に抽出された一のオブジェクトの前記リズム情報を前記抽出用リズム情報として取得することを特徴とする電子機器。
【請求項５】
請求項１から請求項４の何れか１項に記載の電子機器において、
１以上の前記リズム情報を記憶する記憶部を更に備え、
前記取得部は、
前記記憶部に記憶されている複数の前記リズム情報のなかから選択された一の前記リズム情報を前記抽出用リズム情報として取得することを特徴とする電子機器。
【請求項６】
請求項１から請求項５の何れか１項に記載の電子機器において、
前記取得部は、
音声を表現するリズム情報を取得し、
前記算出部は、
前記取得部によって取得された前記音声を表現するリズム情報と、動画像に重畳されている音声の前記リズム情報との類似度を算出し、
前記抽出部は、
前記取得部によって取得された前記音声を表現するリズム情報との類似度が所定の閾値以上である音声が重畳されている動画像のコマからオブジェクトを抽出することを特徴とする電子機器。
【請求項７】
オブジェクトの動きを表現するリズム情報の類似度に基づいて動画像からオブジェクトを抽出する電子機器におけるオブジェクトの抽出方法であって、
前記電子機器の取得手段が、オブジェクトの抽出に用いる抽出用リズム情報を取得し、
前記電子機器の算出手段が、前記取得手段によって取得された前記抽出用リズム情報と、動画像内のオブジェクトの前記リズム情報との類似度を算出し、
前記電子機器の抽出手段が、前記算出手段によって算出された前記抽出用リズム情報との類似度が所定の閾値以上である前記リズム情報として当該動きが表現されているオブジェクトを動画像から抽出することを特徴とする抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器及び抽出方法に関するものである。
【背景技術】
【０００２】
従来、動画像からパターンマッチングにより所定のオブジェクト（例えば人の顔）を抽出する技術が開示されている（例えば、特許文献１参照）。特許文献１によれば、表示画面上に所定のオブジェクトの撮像領域を示すことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３１４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、動画像から、ある動きをする物、人、動物などを簡便に抽出することができないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、動画像から、ある動きをする物、人、動物などを簡便に抽出する電子機器及び抽出方法を提供する。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、本発明の一態様である電子機器は、オブジェクトの動きを表現するリズム情報の類似度に基づいて動画像からオブジェクトを抽出する電子機器であって、オブジェクトの抽出に用いる抽出用リズム情報を取得する取得部と、前記取得部によって取得された前記抽出用リズム情報と、動画像内のオブジェクトの前記リズム情報との類似度を算出する算出部と、前記算出部によって算出された前記抽出用リズム情報との類似度が所定の閾値以上である前記リズム情報として当該動きが表現されているオブジェクトを動画像から抽出する抽出部とを備えることを特徴とする。
【０００６】
上記電子機器は、撮像部を更に備え、前記抽出部は、前記撮像部によって撮像された動画像からオブジェクトを抽出するようにしてもよい。
【０００７】
上記電子機器において、前記抽出部は、前記動画像から抽出したオブジェクトをユーザが特定するための情報を、前記動画像に重畳して表示させるようにしてもよい。
【０００８】
上記電子機器において、前記取得部は、前記抽出部によって既に抽出された一のオブジェクトの前記リズム情報を前記抽出用リズム情報として取得するようにしてもよい。
【０００９】
上記電子機器は、１以上の前記リズム情報を記憶する記憶部を更に備え、前記取得部は、前記記憶部に記憶されている複数の前記リズム情報のなかから選択された一の前記リズム情報を前記抽出用リズム情報として取得するようにしてもよい。
【００１０】
上記電子機器において、前記取得部は、音声を表現するリズム情報を取得し、前記算出部は、前記取得部によって取得された前記音声を表現するリズム情報と、動画像に重畳されている音声の前記リズム情報との類似度を算出し、前記抽出部は、前記取得部によって取得された前記音声を表現するリズム情報との類似度が所定の閾値以上である音声が重畳されている動画像のコマからオブジェクトを抽出するようにしてもよい。
【００１１】
上記問題を解決するために、本発明の他の態様である抽出方法は、オブジェクトの動きを表現するリズム情報の類似度に基づいて動画像からオブジェクトを抽出する電子機器におけるオブジェクトの抽出方法であって、前記電子機器の取得手段が、オブジェクトの抽出に用いる抽出用リズム情報を取得し、前記電子機器の算出手段が、前記取得手段によって取得された前記抽出用リズム情報と、動画像内のオブジェクトの前記リズム情報との類似度を算出し、前記電子機器の抽出手段が、前記算出手段によって算出された前記抽出用リズム情報との類似度が所定の閾値以上である前記リズム情報として当該動きが表現されているオブジェクトを動画像から抽出することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、動画像から、ある動きをする物、人、動物などを簡便に抽出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による電子機器１の一例を示す構成図である。
【図２】リズム情報、及び、リズム情報の取得、類似度の算出について説明するための説明図である。
【図３】リズム情報、及び、リズム情報の取得、類似度の算出について説明するための説明図である。
【図４】リズム情報、及び、リズム情報の取得、類似度の算出について説明するための説明図である。
【図５】電子機器１の動作の一例を示すフローチャートである。
【図６】オブジェクト特定化情報の一例である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の一実施形態について説明する。図１は、本発明の一実施形態による電子機器１の一例を示す構成図である。
【００１５】
電子機器１は、図１に示すように、撮像部１０、動画像入力部２０、選択部３０、抽出用リズム情報取得部４０、表示制御部５０、算出部６０、抽出部７０、表示部８０、リズム情報記憶部９０、抽出用リズム情報記憶部９２、動画像記憶部９４、及び、抽出オブジェクトリズム情報記憶部９６を備える。
【００１６】
撮像部１０は、静止画像及び動画像を撮像する。撮像部１０は、撮像画像（静止画像又は動画像）を表示制御部５０に出力する。
【００１７】
動画像入力部２０は、有線ネットワーク若しくは無線ネットワークを介して、又は、電子機器１に着脱可能な記憶媒体を介して、動画像を入力する。動画像入力部２０は、入力した動画像を動画像記憶部９４に記憶する。つまり、動画像記憶部９４は、動画像入力部２０が入力した動画像を記憶する。
【００１８】
リズム情報記憶部９０は、１以上のリズム情報を記憶する。具体的には、リズム情報記憶部９０は、抽出用リズム情報（後述）の候補となるリズム情報を記憶する。例えば、リズム情報記憶部９０は、物、人、動物などのリズム情報を記憶する。リズム情報とは、オブジェクトの動きを表現する情報である。リズム情報については、図１を用いて電子機器１の構成を説明した後に、別途、後述の図２乃至図４を用いて詳細に説明する。
【００１９】
選択部３０は、リズム情報記憶部９０に記憶されている１以上のリズム情報、即ち、抽出用リズム情報の候補となるリズム情報のなかから、ユーザによって指定されたリズム情報を選択する。なお、ユーザは、電子機器１が備える操作受付部（非図示）を介して、リズム情報を指定する。選択部３０は、選択したリズム情報を抽出用リズム情報取得部４０に出力する。
【００２０】
抽出用リズム情報取得部４０は、選択部３０から出力されたリズム情報を取得し、抽出用リズム情報として抽出用リズム情報記憶部９２に記憶する。
【００２１】
また、抽出用リズム情報取得部４０は、抽出オブジェクトリズム情報記憶部９６に記憶されているリズム情報を取得し、抽出用リズム情報として抽出用リズム情報記憶部９２に記憶する。なお、後述するように、抽出オブジェクトリズム情報記憶部９６には、抽出部７０が抽出したオブジェクトのリズム情報が記憶されている。即ち、抽出用リズム情報取得部４０は、抽出部７０によって既に抽出されたオブジェクトのリズム情報を取得し、抽出用リズム情報として抽出用リズム情報記憶部９２に記憶する。
【００２２】
抽出用リズム情報記憶部９２は、上述の如く、抽出用リズム情報取得部４０によって取得されたリズム情報を抽出用リズム情報として記憶する。具体的には、抽出用リズム情報記憶部９２は、リズム情報記憶部９０に記憶されている複数のリズム情報のなかから選択部３０によって選択されたリズム情報、又は、抽出部７０によって既に抽出されたオブジェクトのリズム情報を抽出用リズム情報として記憶する。
【００２３】
表示制御部５０は、撮像部１０から撮像画像（静止画像又は動画像）を取得し、表示部８０に出力する。また、表示制御部５０は、動画像記憶部９４に記憶されている動画像を読み出して表示部８０に出力する。なお、表示制御部５０は、操作受付部（非図示）が一の動画像（ある動画像）を再生させる旨のユーザ操作を受け付けた場合に、動画像記憶部９４から当該動画像を読み出して表示部８０に出力する。
【００２４】
また、表示制御部５０は、抽出部７０が出力したオブジェクト特定制御情報を取得する。オブジェクト特定制御情報を取得した表示制御部５０は、オブジェクト特定制御情報に従って、撮像部１０から取得した動画像、又は、動画像記憶部９４から読み出した動画像に、オブジェクト特定化情報を重畳（付加）し、表示部８０に出力する。オブジェクト特定化情報とは、ユーザ（撮影者又は再生者）に、抽出部７０によって動画像から抽出されたオブジェクトを当該動画像内において特定（例えば、視認）させるための情報である。オブジェクト特定制御情報とは、動画像にオブジェクト特定化情報を重畳させるために、抽出部７０が表示制御部５０に出力する制御情報である。
表示制御部５０が、オブジェクト特定化情報が重畳された動画像を表示部８０に出力した場合、出力部８０は、オブジェクト特定化情報が重畳された動画像を表示する。
換言すれば、抽出部７０は、オブジェクト特定制御情報を表示制御部５０に出力し、オブジェクト特定化情報が重畳された動画像を表示部８０に表示させることで、動画像から抽出したオブジェクトをユーザに特定させている。
【００２５】
算出部６０は、表示制御部５０が表示部８０に出力している動画像（撮像部１０によって撮像された動画像、又は、動画像記憶部９４から読み出された動画像）からオブジェクトを抽出し、抽出したオブジェクトのリズム情報を取得（算出）する。なお、算出部６０によるリズム情報の取得については、図１を用いて電子機器１の構成を説明した後に、別途、後述の図２乃至図４を用いて詳細に説明する。
【００２６】
また、算出部６０は、抽出用リズム情報取得部４０によって取得された抽出用リズム情報と、動画像内のオブジェクトのリズム情報との類似度を算出する。つまり、算出部６０は、抽出用リズム情報記憶部９２に記憶されている抽出用リズム情報と、表示制御部５０が表示部８０に出力している動画像から抽出したオブジェクトのリズム情報との類似度を算出する。
なお、算出部６０による類似度の算出については、図１を用いて電子機器１の構成を説明した後に、別途、後述の図２乃至図４を用いて詳細に説明する。
【００２７】
算出部６０は、算出した類似度を抽出部７０に出力する。なお、算出部６０は、動画像内に複数のオブジェクトが存在する場合には、抽出用リズム情報と、動画像内の夫々のオブジェクトとの類似度を夫々算出し、算出したオブジェクト毎の類似度を抽出部７０に出力する。
【００２８】
抽出部７０は、算出部６０によって算出された抽出用リズム情報との類似度が所定の閾値以上であるリズム情報として当該動きが表現されているオブジェクトを動画像から抽出（特定）する。即ち、抽出部７０は、各オブジェクトについての抽出用リズム情報との類似度を算出部６０から取得し、類似度が所定の閾値以上であるオブジェクトを動画像から抽出する。
【００２９】
例えば、抽出部７０は、抽出用リズム情報と、表示制御部５０が表示部８０に出力している撮像部１０によって撮像された動画像内の一のオブジェクト（あるオブジェクト）のリズム情報との類似度が所定の閾値以上であったときは、当該動画像から当該オブジェクトを抽出する。また、例えば、抽出部７０は、抽出用リズム情報と、表示制御部５０が表示部８０に出力している動画像記憶部９４から読み出された動画像内の一のオブジェクトのリズム情報との類似度が所定の閾値以上であったときは、当該動画像から当該オブジェクトを抽出する。
【００３０】
なお、抽出部７０は、類似度が所定の閾値以上であるオブジェクトが複数の存在する場合には、当該複数のオブジェクトを全て抽出してもよいし、当該複数のオブジェクトのうちの所定個数（例えば、最も類似度が高い１つ）のオブジェクトを抽出してもよい。
【００３１】
オブジェクトを抽出した抽出部７０は、オブジェクト特定制御情報を表示制御部５０に出力して、オブジェクト特定化情報を動画像に重畳して表示させる。なお、抽出部７０がオブジェクト特定制御情報を表示制御部５０に出力した場合、上述の如く、表示制御部５０によってオブジェクト特定化情報が動画像に重畳され、オブジェクト特定化情報が重畳された動画像が表示部８０から表示される。
【００３２】
また、抽出部７０は、動画像から抽出したオブジェクトのリズム情報（即ち、抽出用リズム情報との類似度が所定の閾値以上であるオブジェクトのリズム情報）を抽出オブジェクトリズム情報記憶部９６に記憶する。例えば、抽出部７０は、操作受付部（非図示）が抽出部７０によって抽出されたリズム情報を記憶する旨のユーザ操作を受け付けた場合に、抽出オブジェクトリズム情報記憶部９６に記憶してもよい。なお、上述の如く、抽出オブジェクトリズム情報記憶部９６に記憶されるリズム情報は、抽出用リズム情報として、抽出用リズム情報取得部４０によって読み出される。なお、動画像から抽出したオブジェクトのリズム情報を抽出用リズム情報とすることにより、リズム情報記憶部９０に記憶されていないリズム情報に基づいてオブジェクトが抽出できることになるため、よりきめ細かな抽出が可能になる。
【００３３】
表示部８０は、表示制御部５０から出力された動画像等（撮像部１０によって撮像された撮像画像、又は、動画像記憶部９４から読み出された動画像）を表示する。また、上述した様に、表示部８０は、表示制御部５０によって動画像（撮像部１０によって撮像された動画像、又は、動画像記憶部９４から読み出された動画像）にオブジェクト特定化情報が重畳された場合には、オブジェクト特定化情報が重畳された動画像を表示する。
【００３４】
続いて、図２乃至図４を用いて、リズム情報、リズム情報の取得（算出）、類似度の算出について詳細に説明する。図２乃至図４は、リズム情報、及び、リズム情報の取得、類似度の算出について説明するための説明図である。
【００３５】
算出部６０は、動画像からオブジェクトを抽出し、抽出した一のオブジェクト（あるオブジェクト）に外接する外接図形の面積の変化量、長辺又は短辺の長さの変化量、縦横比の変化量、面積の変化の周期、長さの変化の周期、又は、縦横比の変化の周期を、当該オブジェクトの動きを表現するリズム情報として取得する。
【００３６】
例えば、算出部６０は、以下に例示するパラメータ１〜１２（以下、ｐｒｍ１〜ｐｒｍ１２と表記）のうち１以上のパラメータの値をリズム情報として取得する。なお、ｐｒｍ１〜ｐｒｍ１２における所定時間は、例えば、外接矩形の変化の周期を基準とする時間（例えば１周期）である。また、ｐｒｍ７−１〜ｐｒｍ９−２における長辺及び短辺は、ある基準時刻（例えば、１周期の最初）の長さに基づいて決定する。また、単に、便宜上、Ｙ軸方向（若しくはＸ軸方向）を長辺として決めておいてもよい。
（リズム情報を構成するパラメータ）
ｐｒｍ１：所定時間内における外接矩形の最大面積と最小面積の差
ｐｒｍ２：所定時間内における外接矩形の最大面積と最小面積の面積比
ｐｒｍ３−１：所定時間内における外接矩形の平均面積と最大面積の差
ｐｒｍ３−２：所定時間内における外接矩形の平均面積と最小面積の差
ｐｒｍ４−１：所定時間内における外接矩形の平均面積と最大面積の面積比
ｐｒｍ４−２：所定時間内における外接矩形の平均面積と最小面積の面積比
ｐｒｍ５：所定時間内における外接矩形の面積の分布状況（例：標準偏差）
ｐｒｍ６：所定時間内における外接矩形の面積の変化の周期
ｐｒｍ７−１：所定時間内における外接矩形の長辺の最大変化量
ｐｒｍ７−２：所定時間内における外接矩形の短辺の最大変化量
ｐｒｍ８−１：所定時間内における外接矩形の長辺の分布状況（例：標準偏差）
ｐｒｍ８−２：所定時間内における外接矩形の短辺の分布状況（例：標準偏差）
ｐｒｍ９−１：所定時間内における外接矩形の長辺の変化の周期
ｐｒｍ９−２：所定時間内における外接矩形の短辺の変化の周期
ｐｒｍ１０：所定時間内における外接矩形の縦横比の最大変化量
ｐｒｍ１１：所定時間内における外接矩形の縦横比の分布状況（例：標準偏差）
ｐｒｍ１２：所定時間内における外接矩形の縦横比の変化の周期
【００３７】
以下、具体例を用いて算出部６０によるリズム情報の取得について説明する。図２（ａ）に示すＰ１は、動画像を構成する１コマであって、人物（オブジェクトＯ１）が両手両足を非常に振っている瞬間に撮像されたものである。図２（ｃ）に示すＰ３は、動画像を構成する１コマであって、人物（オブジェクトＯ１）が両手両足を振り下ろしている瞬間に撮像されたものである。図２（ｂ）に示すＰ２は、Ｐ１とＰ３の間の１コマである。
【００３８】
図３（ａ）に示すＥ１は、図２（ａ）に示すＰ１内のオブジェクトＯ１に外接する外接矩形である。図３（ｂ）に示すＥ２は、図２（ｂ）に示すＰ２内のオブジェクトＯ１に外接する外接矩形である。図３（ｃ）に示すＥ３は、図２（ｃ）に示すＰ３内のオブジェクトＯ１に外接する外接矩形である。なお、図３（ｄ）は、外接矩形Ｅ１、Ｅ２、Ｅ１の各サイズを比較したものである。図３（ｄ）に示すように、オブジェクトの動きに応じて当該オブジェクトに外接する外接矩形の形状は変化する。
【００３９】
算出部６０は、動画像（Ｐ１、Ｐ２、Ｐ３、…）から、オブジェクトＯ１を逐次抽出し、図４（ａ）に示すように、オブジェクトＯ１に外接する外接図形を逐次抽出し、図４（ｂ）に示すように、逐次抽出する外接矩形のサイズを算出する。なお、図４（ａ）に示す「周期」は、外接矩形Ｅ１、Ｅ２、Ｅ３の形状の変化の周期を示している。つまり、時刻ｔ１〜時刻ｔ４（時刻ｔ５〜時刻ｔ８、時刻ｔ９〜時刻ｔ１３、…）が１周期である。
【００４０】
算出部６０は、外接矩形のサイズを用いて、所定の１以上のパラメータ（抽出用リズム情報を構成するパラメータと同一のパラメータ）を算出し、算出した各パラメータの値を要素とする数値群を、オブジェクトＯ１の動きを表現するリズム情報として取得する。例えば、算出部６０は、図４（ｃ）に示すように、オブジェクトＯ１の外接矩形の最大面積と最小面積の面積比（ｐｒｍ２）、面積の変化の周期（ｐｒｍ６）、長辺の最大変化量（ｐｒｍ７−１）、短辺の最大変化量（ｐｒｍ７−２）、縦横比の最大変化量（ｐｒｍ１０）の値を要素とするリズム情報Ｒ１（ｐｒｍ２、ｐｒｍ６、ｐｒｍ７−１、ｐｒｍ７−２、ｐｒｍ１０）を取得する。
【００４１】
なお、動画像から取得するリズム情報と抽出用リズム情報とは、類似度の算出ができるように、同一の形式である。つまり、リズム情報記憶部９０に記憶されているリズム情報（抽出用リズム情報の候補となるリズム情報）、及び、抽出用リズム情報記憶部９２に記憶されている抽出用リズム情報を構成するパラメータと、算出部６０が動画像から取得するリズム情報を構成するパラメータは同一である。即ち、算出部６０は、抽出用リズム情報を構成するパラメータを所定のパラメータとして予め定めておき、抽出用リズム情報を構成するパラメータと同一のパラメータの値を要素とするリズム情報を動画像から取得する。
【００４２】
リズム情報記憶部９０は、図４（ｄ）に示すように、リズム情報を識別する識別情報に対応付けて複数のリズム情報を記憶する。図４（ｄ）の「抽出対象」は、抽出する対象（物、人、動物など）を示し、表示部８０を介してユーザに表示される。
【００４３】
なお、リズム情報は、後に、比較をし易いように、各パラメータの値を適宜丸めたものであってもよいし、各パラメータの値を他の値に置き換えたものであってもよい（スコア化してもよい）。
【００４４】
算出部６０は、抽出用リズム情報と動画像内のオブジェクトのリズム情報との類似度を算出する。具体的には、算出部６０は、抽出用リズム情報と動画像内のオブジェクトのリズム情報とにおいて同一のパラメータ同士の類似度を算出し、複数の、同一のパラメータ同士の類似度に基づいて、抽出用リズム情報と動画像内のオブジェクトのリズム情報との類似度を算出する。
【００４５】
例えば、リズム情報が、ｐｒｍ２、ｐｒｍ６、ｐｒｍ７−１、ｐｒｍ７−２、ｐｒｍ１０から構成されている場合、算出部６０は、抽出用リズム情報を構成するｐｒｍ２の値と動画像内のオブジェクトのリズム情報を構成するｐｒｍ２の値とを比較してｐｒｍ２の値同士の類似度を算出する。同様に、算出部６０は、ｐｒｍ６の値同士の類似度、ｐｒｍ７−１の値同士の類似度、ｐｒｍ７−２の値同士の類似度、ｐｒｍ１０の値同士の類似度を算出する。
【００４６】
ｐｒｍ２（ｐｒｍ６、ｐｒｍ７−１、ｐｒｍ７−２、ｐｒｍ１０も同様）の値同士の類似度の算出手法としては種々の算出手法が考えられるが、一例として、算出部６０は、抽出用リズム情報を構成するｐｒｍ２の値と、動画像内のオブジェクトのリズム情報を構成するｐｒｍ２の値とを比較し、値の小さい一方を大きい他方で除した値をｐｒｍ２の値同士の類似度としてもよい。当該算出手法の場合、パラメータの値同士の類似度は０〜１の範囲となり、類似している程、１に近い値となる。
【００４７】
また、各パラメータの値同士の類似度に基づいて、抽出用リズム情報と動画像内のオブジェクトのリズム情報との類似度を算出する算出手法としては、種々の算出手法が考えられるが、一例として、算出部６０は、各パラメータ同士の類似度の平均値を抽出用リズム情報と動画像内のオブジェクトのリズム情報との類似度としてもよい。即ち、上記の例では、算出部６０は、ｐｒｍ２の値同士の類似度、ｐｒｍ６の値同士の類似度、ｐｒｍ７−１の値同士の類似度、ｐｒｍ７−２の値同士の類似度、ｐｒｍ１０の値同士の類似度の平均値を、抽出用リズム情報と動画像内のオブジェクトのリズム情報との類似度としてもよい。当該算出手法の場合、抽出用リズム情報と動画像内のオブジェクトのリズム情報との類似度は０〜１の範囲となり、類似している程、１に近い値となる。
【００４８】
なお、上述の平均値の算出時において、所定のパラメータ同士の類似度に重み付けをした後に平均値を算出してもよい。なお、平均値は、相加平均に限らず、相乗平均を用いてもよい。また、平均値に代えて、パラメータ同士の類似度の中央値、パラメータ同士の類似度の最大値、パラメータ同士の類似度の最小値を、抽出用リズム情報と動画像内のオブジェクトのリズム情報との類似度としてもよい。
【００４９】
以下、フローチャートを用いて、電子機器１の動作を説明する。図５は、電子機器１の動作の一例を示すフローチャートである。図６は、オブジェクト特定化情報の一例である。なお、図５に示すフローチャートは、操作受付部（非図示）が動画像からオブジェクトを抽出する旨のユーザ操作を受け付けた場合に開始する。また、図５に示すフローチャートの開始時において、表示制御部５０は表示部８０に動画像を出力し、また、抽出用リズム情報記憶部９２は抽出用リズム情報を記憶しているものとする。
【００５０】
算出部６０は、表示制御部５０が表示部８０に出力している動画像からオブジェクトを抽出し（ステップＳ１０）、各オブジェクトに外接する外接矩形を取得し（ステップＳ１２）、各オブジェクトの動きを表現するリズム情報を取得する（ステップＳ１４）。なお、上述した様に、算出部６０は、抽出用リズム情報記憶部９２に記憶されている抽出用リズム情報を構成するパラメータと同一のパラメータの値を要素とするリズム情報を動画像から取得する。
【００５１】
算出部６０は、抽出用リズム情報記憶部９２に記憶されている抽出用リズム情報と、表示制御部５０が動画像から取得したオブジェクトのリズム情報との類似度を算出し（ステップＳ１６）、類似度が所定の閾値以上であるオブジェクトを抽出する（ステップＳ１８）。
【００５２】
算出部６０は、抽出したオブジェクトのオブジェクト特定制御情報を表示制御部５０に出力する。オブジェクト特定制御情報を取得した表示制御部５０は、抽出したオブジェクトのオブジェクト特定化情報を動画像に重畳させて表示し、抽出したオブジェクトをユーザに視認させる（ステップＳ２０）。例えば、表示制御部５０は、オブジェクトＯ１のオブジェクト特定制御情報を取得した表示制御部５０は、図６（ａ）に示すように、オブジェクトＯ１をユーザに特定させる枠Ａを動画像Ｐｘに重畳させる。また、表示制御部５０は、図６（ａ）に示すような枠に代えて、図６（ｂ）（ｃ）に示すようなオブジェクトＯ１を指し示す印Ｂ、印Ｃを動画像Ｐｘに重畳させてもよい。
【００５３】
以上、電子機器１によれば、動画像から、ある動きをする物、人、動物などを簡便に抽出することができる。
【００５４】
なお、上記実施形態では、オブジェクトに外接する外接矩形に関するパラメータを要素とするリズム情報を取得する例を説明したが、動画像から取得するリズム情報と抽出用リズム情報とは同一のパラメータを要素とすればよく、外接矩形に関するパラメータ以外のパラメータを要素としてもよい。例えば、オブジェクトに外接する外接矩形に代えてまたは加えて、オブジェクトに外接する外接円に関するパラメータを要素とするリズム情報を取得してもよい。
【００５５】
また、上記実施形態では、撮像中の動画像及び再生中の動画像の両方をオブジェクトの抽出元としているが、何れか一方をオブジェクトの抽出元としてもよい。なお、撮像中の動画像のみをオブジェクトの抽出元とする場合には、電子機器１は動画像入力部２０及び動画像記憶部９４を備えなくてもよい。また、再生中の動画像のみをオブジェクトの抽出元とする場合には、電子機器１は撮像部１０を備えなくてもよい。
【００５６】
また、上記実施形態では、映像に着目して、物、人、動物などのオブジェクトを抽出する態様を示したが、音声に着目して、物、人、動物などのオブジェクトを抽出してもよい。これにより、より精度よく、オブジェクトを抽出することができる。
【００５７】
以下、映像及び音声に着目して、物、人、動物などのオブジェクトを抽出する態様について説明する。
映像及び音声に着目して、物、人、動物などのオブジェクトを抽出する態様の場合、抽出用リズム情報取得部４０は、２種類の抽出用リズム情報を取得する。１つは、オブジェクトの動きを表現するリズム情報（既に説明している抽出用リズム情報。抽出用映像リズム情報という）である。他の１つは、音声を表現するリズム情報（抽出用音声リズム情報という）である。例えば、抽出用リズム情報取得部４０は、抽出用映像リズム情報と同様、選択部３０から抽出用音声リズム情報を取得する。
具体的には、リズム情報記憶部９０に、１以上の抽出用音声リズム情報の候補となるリズム情報を記憶しておき、選択部３０は、リズム情報記憶部９０に記憶されている抽出用音声リズム情報の候補となるリズム情報のなかからユーザによって指定されたリズム情報を選択し、選択したリズム情報を抽出用リズム情報取得部４０に出力する。これにより、抽出用リズム情報取得部４０は、選択部３０から抽出用音声リズム情報を取得する。また、例えば、抽出用リズム情報取得部４０は、抽出用映像リズム情報と同様、抽出オブジェクトリズム情報記憶部９６から抽出用音声リズム情報を取得してもよい。
【００５８】
映像及び音声に着目して、物、人、動物などのオブジェクトを抽出する態様の場合、算出部６０は、上述の動作に加え、抽出用リズム情報取得部４０によって取得された抽出用音声リズム情報（抽出用リズム情報記憶部９２に記憶されている抽出用音声リズム情報）と、動画像に重畳されている音声のリズム情報との類似度を算出する。
【００５９】
映像及び音声に着目して、物、人、動物などのオブジェクトを抽出する態様の場合、抽出部７０は、抽出用音声リズム情報との類似度が所定の閾値（抽出用映像リズム情報の閾値と異なる値であってもよい）以上である音声が重畳されている動画像のコマ（抽出対象コマ）から、抽出用映像リズム情報との類似度が所定の閾値以上であるリズム情報として当該動きが表現されているオブジェクトを抽出する。
【００６０】
なお、音声のみに着目して、物、人、動物などのオブジェクトを抽出してもよい。映像に着目せずに音声にのみ着目する場合には、抽出部７０は、抽出対象コマから、１以上のオブジェクト（例えば、各抽出対象コマの中央部に位置する一の主要オブジェクト（ある主要オブジェクト）、全抽出対象コマに共通して含まれているオブジェクト）を抽出する。
【００６１】
以上のように、電子機器１は、抽出用映像リズム情報に基づいて、動画像から、動きのリズムが抽出用映像リズム情報のリズムと類似するオブジェクトを抽出する。また、電子機器１は、抽出用映像リズム情報及び抽出用音声リズム情報に基づいて、動画像から、動きのリズムが抽出用映像リズム情報のリズムと類似し、かつ、音声のリズムが抽出用音声リズム情報のリズムと類似するオブジェクトを抽出する。また、電子機器１は、抽出用音声リズム情報に基づいて、動画像から、音声のリズムが抽出用音声リズム情報のリズムと類似するオブジェクトを抽出する。
【００６２】
従って、電子機器１は、動きのリズム、音声のリズムを検索キーとして、動画像内から被写体（オブジェクト）を検索することができる。
【００６３】
例えば、電子機器１は、第１の動画内のあるオブジェクトと動き（リズム）が所定の閾値以上類似する被写体を第２の動画内から検索してもよい。第１の動画とは、検索時の元の動画（ソース動画とも称する）であって、例えば、検索時にユーザが任意に指定する動画である。第２の動画とは、被写体を検索する動画（検索対象動画とも称する）である。
【００６４】
例えば、ユーザが指定した指定動画を第１の動画とし、スルー画を第２の動画とする場合、電子機器１は、以下のように動作する。表示制御部５０は、動画像記憶部９４からユーザが指定した指定動画を表示部８０に出力するとともに、算出部６０は、指定動画内のあるオブジェクト（例えば、ユーザが指定したオブジェクト）のリズム情報を取得（算出）し、抽出部７０に出力する。抽出部７０は、算出部６０から取得したリズム情報を抽出オブジェクトリズム情報記憶部９６に記憶する。抽出用リズム情報取得部４０は、抽出オブジェクトリズム情報記憶部９６に記憶された上記リズム情報を取得し、抽出用リズム情報として抽出用リズム情報記憶部９２に記憶する。つまり、抽出用リズム情報記憶部９２には、指定動画内のオブジェクトの動きのリズムが抽出用映像リズム情報として記憶される。なお、算出部６０は、取得（算出）したリズム情報を、直接、抽出用映像リズム情報として抽出用リズム情報記憶部９２に記憶してもよい。
【００６５】
続いて、撮像部１０は、被写体を撮像し、表示部８０に、スルー画が表示される。スルー画の表示中に、算出部６０は、抽出用リズム情報記憶部９２に記憶されている抽出用映像リズム情報（即ち、指定動画内のオブジェクトの動きのリズム情報）と、スルー画内の被写体のリズム情報との類似度を算出する。抽出部７０は、当該類似度が所定の閾値以上である被写体をスルー画から検索する。抽出部７０は、スルー画から検索した被写体を特定するオブジェクト特定化情報を表示制御部５０に出力してもよい。これにより、ユーザは、スルー画において、あるオブジェクトと動きが所定の閾値以上類似する被写体を確認することができる。
【００６６】
また例えば、電子機器１は、同一の動画内において、動き（リズム）が所定の閾値以上類似する被写体を検索してもよい。例えば、電子機器１は、表示中のスルー画において、動き（リズム）が所定の閾値以上類似する被写体を検索してもよい。
【００６７】
例えば、撮像開始後にスルー画から被写体を指定し、被写体の指定後であって撮像開始前に、スルー画から、指定被写体と動きが類似する被写体を検索する態様の場合、電子機器１は、以下のように動作する。表示制御部５０は、撮像開始後、スルー画を表示部８０に出力するとともに、算出部６０は、スルー画内のあるオブジェクト（例えば、ユーザが指定したオブジェクト）のリズム情報を取得（算出）し、抽出部７０に出力する。これにより、上述の指定動画内のオブジェクトの動きのリズムと同様に、抽出用リズム情報記憶部９２には、スルー画内のオブジェクトの動きのリズムが抽出用映像リズム情報として記憶される。
【００６８】
続いて、算出部６０は、抽出用リズム情報記憶部９２に記憶されている抽出用映像リズム情報（即ち、先ほど記憶したスルー画内のオブジェクトの動きのリズム情報）と、表示中のスルー画内の被写体のリズム情報との類似度を算出する。抽出部７０は、当該類似度が所定の閾値以上である被写体をスルー画から検索する。抽出部７０は、スルー画から検索した被写体を特定するオブジェクト特定化情報を表示制御部５０に出力してもよい。
【００６９】
また、表示中のスルー画から、互いに動きが類似する複数の被写体を検索する態様の場合、電子機器１は、以下のように動作する。算出部６０は、スルー画内の全被写体のリズム情報を取得（算出）し、各被写体の組み合わせのリズム情報の類似度を算出する。例えば、スルー画内に被写体Ａ、被写体Ｂ、被写体Ｃが存在する場合、算出部６０は、被写体Ａと被写体Ｂのリズム情報の類似度、被写体Ａと被写体Ｃのリズム情報の類似度、被写体Ｂと被写体Ｃのリズム情報の類似度、被写体Ａと被写体Ｂと被写体Ｃのリズム情報の類似度を算出する。なお、被写体Ａと被写体Ｂと被写体Ｃのリズム情報の類似度の算出手法としては種々の算出手法が考えられるが、一例として、算出部６０は、被写体Ａと被写体Ｂのリズム情報の類似度、被写体Ａと被写体Ｃのリズム情報の類似度、及び、被写体Ｂと被写体Ｃのリズム情報の類似度を算出し、各類似度の平均を被写体Ａと被写体Ｂと被写体Ｃのリズム情報の類似度としてもよい。算出部６０は、スルー画内の全被写体の組み合わせのリズム情報を抽出部７０に出力し、抽出部７０は、当該類似度が所定の閾値以上である組み合せの被写体をスルー画から検索する。例えば、被写体Ａと被写体Ｂのリズム情報の類似度が所定の閾値以上である場合、抽出部７０は、被写体Ａ及び被写体Ｂをスルー画から検索する。抽出部７０は、スルー画から検索した被写体を特定するオブジェクト特定化情報を表示制御部５０に出力してもよい。
【００７０】
また、電子機器１は、上述の如く、動画像内から被写体を検索した場合に、種々の処理を実行してもよい。例えば、シャッターを切る動き（リズム）として予め指定された動きの被写体をスルー画において検索した場合（即ち、スルー画内の被写体の動きがシャッターを切る動きとして予め指定された動きになった場合）に、自動的にシャッターを切る態様の場合、電子機器１は、以下のように動作する。まず、抽出用リズム情報記憶部９２に、シャッターを切る動きのリズムを抽出用映像リズム情報として記憶しておく。
算出部６０は、抽出用リズム情報記憶部９２に記憶されている抽出用映像リズム情報（即ち、シャーターを切る動き）と、スルー画内の被写体のリズム情報との類似度を算出する。抽出部７０は、当該類似度が所定の閾値以上である被写体をスルー画から検索する。抽出部７０は、検索時（発見時）に、シャッターを切る命令を撮像部１０に出力する。これにより、例えば、シャーターチャンスを逃し難くなる。
【００７１】
同様に、電子機器１は、録画する動き（リズム）として予め指定された動きの被写体をスルー画において検索した場合に、自動的に録画するようにしてもよいし、外部に出力（送信）する動き（リズム）として予め指定された動きの被写体をスルー画において検索した場合に、自動的に外部に出力するようにしてもよい。
【００７２】
また、電子機器１は、第１の動画（ソース動画）と同様のリズムを持った第３の動画を検索（選択）してもよい。具体的には、抽出用リズム情報記憶部９２には、例えば、ユーザによって指定された第１の動画のリズムが抽出用映像リズム情報として記憶される。第１の動画のリズムとして、第１の動画の音声のリズム、第１の動画に含まれるオブジェクトの動きのリズム、又は、その両方を用いてもよい。抽出部７０は、複数の動画のなかから、第１の動画のリズムと所定の閾値以上類似する動画を類似動画として検索する。
なお、電子機器１は、同様に、第１の動画と同様のリズムを持った楽曲を類似楽曲として検索（選択）してもよい。
【００７３】
また、電子機器１は、リズムに基づいて楽曲を選択してもよい。例えば、電子機器１は、スルー画の動きのリズム（スルー画を通して得られる映像のリズム）と所定の閾値以上類似する音声のリズムを有する楽曲を、複数の楽曲のなかから選択する場合、電子機器１は、以下のように動作する。なお、上記場合、電子機器１は、楽曲を記憶する楽曲記憶部（非図示）と、音声を出力するスピーカ（非図示）と、音声の出力を制御する音声制御部（非図示）とを備える。
【００７４】
表示制御部５０は、スルー画を表示部８０に出力するとともに、算出部６０は、スルー画内のあるオブジェクトのリズム情報を取得（算出）し、抽出部７０に出力する。これにより、抽出用リズム情報記憶部９２には、スルー画内のオブジェクトの動きのリズムが抽出用映像リズム情報として記憶される。続いて、算出部６０は、抽出用リズム情報記憶部９２に記憶されている抽出用映像リズム情報（即ち、スルー画内のオブジェクトの動きのリズム情報）と、楽曲記憶部に記憶されている各楽曲のリズムとの類似度を算出する。なお、動きのリズムと、音声のリズムとの類似度の算出方法（計算方法）は、予め定義しておく。抽出部７０は、当該類似度が所定の閾値以上である楽曲を選択する。
【００７５】
楽曲を選択した抽出部７０は、選択結果（例えば、選択楽曲を識別する楽曲識別情報）を音声制御部に出力する。音声制御部は、選択結果に基づいて、楽曲記憶部から楽曲を選択し、選択した楽曲を再生し、スピーカから音声を出力する。つまり、電子機器１は、スルー画内のオブジェクトの動きのリズムと類似する楽曲を自動的に再生する。従って、例えば、カメラがとらえる映像によってＢＧＭを自動選曲することができる。
【００７６】
なお、楽曲を選択した抽出部７０は、選択結果（例えば、選択した楽曲の楽曲名）を表示制御部５０に出力してもよい。つまり、電子機器１は、スルー画内に、当該スルー画のオブジェクトの動きのリズムと類似する楽曲名を表示してもよい。
【００７７】
なお、電子機器1は、スルー画の動きのリズムに代えて又は加えて、スルー画の音声のリズムと所定の閾値以上類似する音声のリズムを有する楽曲を、複数の楽曲のなかから選択してもよい。
【００７８】
なお、本発明の一実施形態による電子機器１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子機器１の各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８１】
１…電子機器、１０…撮像部、２０…動画像入力部、３０…選択部、４０…抽出用リズム情報取得部、５０…表示制御部、６０…算出部、７０…抽出部、８０…表示部、９０…リズム情報記憶部、９２…抽出用リズム情報記憶部、９４…動画像記憶部、９６…抽出オブジェクトリズム情報記憶部
【図１】
2012216186.tif 000003
【図２】
2012216186.tif 000004
【図３】
2012216186.tif 000005
【図４】
2012216186.tif 000006
【図５】
2012216186.tif 000007
【図６】
2012216186.tif 000008