(57)【要約】【課題】撮影した動画の各シーンを、それに映っている被写体毎に関連付けて扱うことができるようにする。【解決手段】  子供３−１乃至３−３を被写体として撮影が行われたとき、ビデオカメラ１には、撮影された動画とともに、センサバッジ４−１乃至４−３の発光パターンから認識されたIDが記憶される。撮影された動画とIDを取り込んだパーソナルコンピュータ２においては、IDの認識結果のクラスタリング、リンク付け等が行われる。IDの認識結果のクラスタリング、リンク付けの結果は、撮影された動画を、それに映っている被写体に基づいてクラスタリング、リンク付けを行った場合の結果を表す。パーソナルコンピュータ２においては、IDの認識結果のクラスタリング、リンク付けの結果に基づいて、撮影された動画の再生が行われる。本発明は、動画の撮影、または再生機能を有する機器に適用することができる。【選択図】図１
2006074463.tif 000002
【特許請求の範囲】
【請求項１】
識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する画像処理装置において、
第１の画像列と、前記第１の画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得手段と、
前記取得手段により取得された前記識別情報の時系列の、前記識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された前記第１の画像列を構成するシーン同士の関連付けを行う関連付け手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記取得手段は、撮影された第２の画像列に基づいて認識された前記識別情報の時系列を取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記関連付け手段は、さらに、所定の時間、連続して同じカテゴリに属する前記識別情報の時系列が１つのまとまりとなるように前記識別情報の時系列の関連付けを行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の画像列を構成するシーンうち、前記まとまりに対応する時間に撮影された前記第１の画像列を構成するシーンを再生する再生手段をさらに備える
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記再生手段は、さらに、同じカテゴリに属する前記識別情報の時系列からなる、複数の前記まとまりに対応する時間に撮影された前記第１の画像列を構成するシーンを再生する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記まとまりに対応する時間に撮影された前記第１の画像列を構成するシーンの時間軸上の分布を、前記再生手段により再生されているシーンが表示されている位置と異なる位置に表示する分布表示手段をさらに備える
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記再生手段は、前記分布表示手段により表示されている分布の中から選択されたシーンの再生を行う
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記関連付け手段は、さらに、第１のまとまりに対して、前記第１のまとまりを構成する前記識別情報の時系列のカテゴリと同じカテゴリに属する前記識別情報の時系列からなる第２のまとまりをリンク付けする
ことを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記第１の画像列を再生する再生手段と、
前記再生手段により、前記第１のまとまりに対応する時間に撮影された前記第１の画像列を構成する第１のシーンが再生されているとき、前記第２のまとまりに対応する時間に撮影された前記第１の画像列を構成する第２のシーンを、前記第１のシーンが表示されている位置と異なる位置に表示する表示手段と
をさらに備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記表示手段は、複数の前記第２のシーンを表示する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記再生手段は、前記表示手段により表示された前記第２のシーンがユーザにより選択されたとき、選択された前記第２のシーンの再生を開始する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記関連付け手段による、前記第１の画像列を構成するシーン同士の関連付けの結果を表すメタデータを生成する生成手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する画像処理方法において、
画像列と、前記画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得ステップと、
前記取得ステップの処理により取得された前記識別情報の時系列の、前記識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された前記画像列を構成するシーン同士の関連付けを行う関連付けステップと
を含むことを特徴とする画像処理方法。
【請求項１４】
識別情報が割り当てられた機器を保持する被写体を撮影した画像の処理をコンピュータに実行させるプログラムにおいて、
画像列と、前記画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得ステップと、
前記取得ステップの処理により取得された前記識別情報の時系列の、前記識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された前記画像列を構成するシーン同士の関連付けを行う関連付けステップと
を含むことを特徴とするプログラム。
【請求項１５】
識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する撮影装置において、
撮影手段と、
前記撮影手段により撮影された画像列と、前記画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得手段と、
前記取得手段により取得された前記識別情報の時系列の、前記識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された前記画像列を構成するシーン同士の関連付けを行う関連付け手段と
を備えることを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、撮影装置、並びにプログラムに関し、特に、撮影した動画の各シーンを、それに映っている被写体毎に関連付けて扱うことができるようにする画像処理装置および方法、撮影装置、並びにプログラムに関する。
【背景技術】
【０００２】
近年、製品の低価格化が進んでいることによりビデオカメラがますます普及する傾向にある。また、筐体の小型化もあって、動画の撮影が一般に、かつ気軽に行われるようになってきている。
【０００３】
動画の撮影は、また、例えば、携帯電話機やディジタルスチルカメラに搭載された動画撮影機能によっても気軽に行われている。
【０００４】
このように、動画の撮影自体は容易に行われるようになってきているものの、撮影後の動画の取り扱いが困難であるという課題があり、それを解決すべく、撮影した動画に各種の属性情報を付加しておく技術が各種提案されている。
【０００５】
例えば、特許文献１には、被写体の人物の名前を、撮影した画像のメタデータとして記録しておく技術が開示されている。
【０００６】
また、業務用のビデオカメラの中には、番組編集時の作業を容易に行うことができるように、撮影時の天候、位置、音量や、クリップ（撮影開始から撮影終了までの１回の撮影期間の動画）の代表画などの属性情報がそれぞれのシーンに付加されるようにしたものがある。
【０００７】
なお、特許文献２には、所定のIDを表すパターンで発光するバッジを付けている人物を撮影し、撮影した画像から、IDの検出、および人物の特定を行う技術が開示されている。
【特許文献１】特開２００４−６２８６８号公報
【特許文献２】特開２０００−２１４９４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、撮影後の取り扱いのために、撮影した動画にメタデータが付加されているとしても、一般のユーザが、様々なメタデータを用いて、あるシーンを探したりすることは困難であり、一般的には、未だ、動画の撮影後の取り扱いは煩雑であるといえる。
【０００９】
例えば、DV(Digital Video)方式の従来のビデオカメラの場合、撮影済みの動画の再生方法としては、基本的に、DVテープに記録されている動画を、その撮影順に再生する方法しかなく、ユーザは、撮影済みの動画を気軽に視聴することができない。
【００１０】
すなわち、ユーザが見たいシーンは、大体、DVテープに記録されている全シーンのうちの、ある人が映っているシーンなどの特定のシーンに限られるところ、そのような特定のシーンのみを抽出し、再生するといったことができないことから、ユーザは、時系列的に再生される不要なシーンも見なければならず、退屈することが多い。
【００１１】
ディジタルスチルカメラで撮影し、パーソナルコンピュータなどに取り込んだ静止画の場合、複数の静止画をディスプレイにサムネイル表示させるなどして必要なファイルのみを容易に選択したりすることができるが、動画の場合も、そのようにある特定のシーンのみを容易に選択し、再生することができれば、ユーザが退屈するのを防ぐことが可能になると期待できる。
【００１２】
近年は、パーソナルコンピュータでノンリニア編集を行い、頭出しができる点やメディア自体のサイズが小さいといった点から、テープメディアと較べて取り扱いが簡単なDVD(Digital Versatile Disc)などのメディアに必要なシーンのみを記録させ、それを再生させることができるようになってきてはいるものの、撮影した動画をパーソナルコンピュータに取り込む作業や編集作業自体が煩雑である。
【００１３】
この場合も、少なくとも、映っている人などに基づいて特定のシーンを容易に選択することができれば、編集の作業負担を軽減することが可能になると期待できる。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、撮影した動画の各シーンを、それに映っている被写体毎に関連付けて扱うことができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の画像処理装置は、識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する画像処理装置であって、第１の画像列と、第１の画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とを取得する取得手段と、取得手段により取得された識別情報の時系列の、識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された第１の画像列を構成するシーン同士の関連付けを行う関連付け手段とを備えることを特徴とする。
【００１６】
取得手段は、撮影された第２の画像列に基づいて認識された識別情報の時系列を取得するようにすることができる。
【００１７】
関連付け手段は、さらに、所定の時間、連続して同じカテゴリに属する識別情報の時系列が１つのまとまりとなるように識別情報の時系列の関連付けを行うようにすることができる。
【００１８】
本発明の画像処理装置は、第１の画像列を構成するシーンうち、まとまりに対応する時間に撮影された第１の画像列を構成するシーンを再生する再生手段をさらに備えるようにすることができる。
【００１９】
再生手段は、さらに、同じカテゴリに属する識別情報の時系列からなる、複数のまとまりに対応する時間に撮影された第１の画像列を構成するシーンを再生するようにすることができる。
【００２０】
本発明の画像処理装置は、まとまりに対応する時間に撮影された第１の画像列を構成するシーンの時間軸上の分布を、再生手段により再生されているシーンが表示されている位置と異なる位置に表示する分布表示手段をさらに備えるようにすることができる。
【００２１】
再生手段は、分布表示手段により表示されている分布の中から選択されたシーンの再生を行うようにすることができる。
【００２２】
関連付け手段は、さらに、第１のまとまりに対して、第１のまとまりを構成する識別情報の時系列のカテゴリと同じカテゴリに属する識別情報の時系列からなる第２のまとまりをリンク付けするようにすることができる。
【００２３】
本発明の画像処理装置は、第１の画像列を再生する再生手段と、再生手段により、第１のまとまりに対応する時間に撮影された第１の画像列を構成する第１のシーンが再生されているとき、第２のまとまりに対応する時間に撮影された第１の画像列を構成する第２のシーンを、第１のシーンが表示されている位置と異なる位置に表示する表示手段とをさらに備えるようにすることができる。
【００２４】
表示手段は、複数の第２のシーンを表示するようにすることができる。
【００２５】
再生手段は、表示手段により表示された第２のシーンがユーザにより選択されたとき、選択された第２のシーンの再生を開始するようにすることができる。
【００２６】
本発明の画像処理装置は、関連付け手段による、第１の画像列を構成するシーン同士の関連付けの結果を表すメタデータを生成する生成手段をさらに備えるようにすることができる。
【００２７】
本発明の画像処理方法は、識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する画像処理方法であって、画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とを取得する取得ステップと、取得ステップの処理により取得された識別情報の時系列の、識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けを行う関連付けステップとを含むことを特徴とする。
【００２８】
本発明のプログラムは、識別情報が割り当てられた機器を保持する被写体を撮影した画像の処理をコンピュータに実行させるプログラムであって、画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とを取得する取得ステップと、取得ステップの処理により取得された識別情報の時系列の、識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けを行う関連付けステップとを含むことを特徴とする。
【００２９】
本発明の撮影装置は、識別情報が割り当てられた機器を保持する被写体を撮影した画像を処理する撮影装置であって、撮影手段と、撮影手段により撮影された画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とを取得する取得手段と、取得手段により取得された識別情報の時系列の、識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けを行う関連付け手段とを備えることを特徴とする。
【００３０】
本発明の画像処理装置および方法、並びにプログラムにおいては、画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とが取得され、取得された識別情報の時系列の、識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けが行われる。
【００３１】
本発明の撮影装置においては、画像列と、画像列を構成する画像に映っている被写体が保持する機器に割り当てられている識別情報の時系列とが取得され、取得された識別情報の時系列の、識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された画像列を構成するシーン同士の関連付けが行われる。
【発明の効果】
【００３２】
本発明によれば、撮影した動画の各シーンを、それに映っている被写体毎に関連付けて扱うことができる。
【００３３】
また、本発明によれば、あるシーンの再生中に、そのシーンに映っている被写体と同じ被写体が映っているシーンをユーザに見せることができる。
【００３４】
さらに、本発明によれば、ある被写体が映っているシーンだけを連続してユーザに見せることができる。
【発明を実施するための最良の形態】
【００３５】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００３６】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３７】
請求項１に記載の画像処理装置（例えば、図１のパーソナルコンピュータ２）は、識別情報（ID）が割り当てられた機器（例えば、センサバッジ４）を保持する被写体を撮影した画像を処理する画像処理装置であって、第１の画像列（例えば、図９の動画撮影領域７１により撮影された画像列）と、前記第１の画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得手段（例えば、図１２の取り込み部８１）と、前記取得手段により取得された前記識別情報の時系列の、前記識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された前記第１の画像列を構成するシーン同士の関連付けを行う関連付け手段（例えば、図１２のシーン判定部８２）とを備えることを特徴とする置。
【００３８】
請求項４に記載の画像処理装置は、前記第１の画像列を構成するシーンうち、前記まとまりに対応する時間に撮影された前記第１の画像列を構成するシーンを再生する再生手段（例えば、図３９の再生部１０２）をさらに備えることを特徴とする。
【００３９】
請求項６に記載の画像処理装置は、前記まとまりに対応する時間に撮影された前記第１の画像列を構成するシーンの時間軸上の分布を、前記再生手段により再生されているシーンが表示されている位置と異なる位置に表示する分布表示手段（例えば、図３９のクラスタ分布表示制御部１０３）をさらに備えることを特徴とする。
【００４０】
請求項９に記載の画像処理装置は、前記第１の画像列を再生する再生手段（例えば、図４３の再生部１０２）と、前記再生手段により、前記第１のまとまりに対応する時間に撮影された前記第１の画像列を構成する第１のシーンが再生されているとき、前記第２のまとまりに対応する時間に撮影された前記第１の画像列を構成する第２のシーンを、前記第１のシーンが表示されている位置と異なる位置に表示する表示手段（例えば、図４３のリンク先表示部１５１）とをさらに備えることを特徴とする。
【００４１】
請求項１２に記載の画像処理装置は、前記関連付け手段による、前記第１の画像列を構成するシーン同士の関連付けの結果を表すメタデータを生成する生成手段（例えば、図１４のファイル生成部９３）をさらに備えることを特徴とする。
【００４２】
請求項１３に記載の画像処理方法は、識別情報が割り当てられた機器（例えば、センサバッジ４）を保持する被写体を撮影した画像を処理する画像処理方法であって、画像列（例えば、図９の動画撮影領域７１により撮影された画像列）と、前記画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得ステップ（例えば、図３３のステップＳ３１）と、前記取得ステップの処理により取得された前記識別情報の時系列の、前記識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された前記画像列を構成するシーン同士の関連付けを行う関連付けステップ（例えば、図３３のステップＳ３３，Ｓ３４）とを含むことを特徴とする。
【００４３】
請求項１４に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１３に記載の画像処理方法と同様である。
【００４４】
請求項１５に記載の撮影装置（例えば、図４７のビデオカメラ３０１）は、識別情報（ID）が割り当てられた機器（例えば、センサバッジ４）を保持する被写体を撮影した画像を処理する撮影装置であって、撮影手段（例えば、図９の動画撮影領域７１）と、前記撮影手段により撮影された画像列と、前記画像列を構成する画像に映っている前記被写体が保持する前記機器に割り当てられている前記識別情報の時系列とを取得する取得手段（例えば、図１２の取り込み部８１）と、前記取得手段により取得された前記識別情報の時系列の、前記識別情報に基づく関連付けの結果に基づいて、対応する時間に撮影された前記画像列を構成するシーン同士の関連付けを行う関連付け手段（例えば、図１２のシーン判定部８２）とを備えることを特徴とする。
【００４５】
以下、本発明の実施の形態について図を参照して説明する。
【００４６】
図１は、本発明を適用した撮影・表示システムの構成例を示す図である。
【００４７】
ビデオカメラ１は、ユーザが視聴したり、編集したりする画像（動画）を撮影する機能と、画像の撮影と同期して（開始、終了のタイミングを同じくして）、被写体である子供３−１乃至３−３がそれぞれ自分の服に付けているセンサバッジ４−１乃至４−３の発光パターンを検出する機能を有する。
【００４８】
センサバッジ４−１乃至４−３の発光パターンは、それを付けている子供に割り当てられているIDを表しており、ビデオカメラ１は、発光パターンにより表されるIDを認識し、撮影した画像に対応付けて記憶する。
【００４９】
図１の例においては、子供３−１が付けているセンサバッジ４−１に割り当てられているIDは「０」であり、子供３−２が付けているセンサバッジ４−２に割り当てられているIDは「１」である。また、子供３−３が付けているセンサバッジ４−３に割り当てられているIDは「２」である。
【００５０】
従って、撮影者が、子供３−１を被写体として撮影している場合、そのとき撮影した画像にはID「０」が対応付けて記憶される。また、ビデオカメラ１の撮影範囲に子供３−１の他に子供３−２，３−３も入っている場合、そのとき撮影している画像にはID「０」、「１」、「２」が対応付けて記憶される。
【００５１】
ビデオカメラ１により撮影された画像と、認識されたIDは、図１の矢印に示すように、有線または無線を介してパーソナルコンピュータ２に取り込まれる。パーソナルコンピュータ２においては、IDに基づいて生成されたメタデータに従って、ビデオカメラ１により撮影された画像の再生、編集等が行われる。以下、子供３−１乃至３−３をそれぞれ区別する必要がない場合、まとめて子供３といい、センサバッジ４−１乃至４−３をそれぞれ区別する必要がない場合、まとめてセンサバッジ４という。
【００５２】
図２は、パーソナルコンピュータ２における画像の取り扱いについて示す図である。
【００５３】
パーソナルコンピュータ２は、画像に対応付けて記憶されているIDに基づいてそれぞれのシーンに映っている被写体（図１の例の場合、子供３）を識別し、ユーザにより指定された被写体が映っているシーン毎の再生等を行う。
【００５４】
図２の例においては、撮影された画像が、「うちの子供」（例えば、パーソナルコンピュータ２のユーザの子供である子供３−１）が映っているシーン、「うちの子供」と「よその子供」（例えば、子供３−１と子供３−２）が映っているシーン、および、「よその子供」だけが映っているシーンの３つのシーンに分けられている（クラスタリングされている）。
【００５５】
例えば、このようにクラスタリングされている状態で、ユーザが、「うちの子供」が映っているシーンの再生を指示した場合、撮影した画像全体のうち、クラスタリングの結果を表すメタデータに基づいて、子供３−１が映っている時刻ｔ1から時刻ｔ2までのシーンの再生が行われる。
【００５６】
ここで、「シーン」とは、撮影された画像（例えば、１フレームの画像）を時間軸上に並べた画像列全体のうちの、連続する所定の数の画像からなる画像列をいう。
【００５７】
これにより、ユーザは、自分が見たいシーン、すなわち、自分が見たい子供が映っているシーンだけを見ることができ、撮影した画像全体を時系列的に見る場合に較べて退屈しなくて済む。
【００５８】
なお、被写体は子供３に限られず、大人でもよいことは当然のこと、動物、物などであってもよい。また、所定のIDを表すパターンで発光するものであれば、被写体が持つものはバッジ状のものに限られず、手に把持するものであってもよいし、首からぶら下げるようなものであってもよい。
【００５９】
以上のように、ある被写体が映っているシーンを再生させるユーザの一連の操作について、図３のフローチャートを参照して説明する。
【００６０】
ステップＳ１において、ユーザは、センサバッジ４に割り当てられているそれぞれのIDが誰を表すものであるのかをパーソナルコンピュータ２に設定する。例えば、ユーザは、ID「０」は「うちの子供（Ａくん）」、ID「１」は「Ｂくん」、ID「２」は「Ｃくん」のように、IDと名前の対応付けを行う。
【００６１】
ステップＳ２において、ユーザは、センサバッジ４を付けた子供３をビデオカメラ１で撮影する。このとき、撮影された画像に対応付けて、その画像に映っている子供３のIDが記憶される。
【００６２】
ステップＳ３において、ユーザは、ビデオカメラ１とパーソナルコンピュータ２を有線または無線を介して接続し、ビデオカメラ１に記憶されている画像とIDをパーソナルコンピュータ２に取り込む。パーソナルコンピュータ２においては、ビデオカメラ１から取り込まれた画像のクラスタリング等が所定のタイミングで行われる。
【００６３】
ステップＳ４において、ユーザは、所定のカテゴリを指定し、そのカテゴリに属するシーンの再生（同じ子供が映っている画像のまとまり毎の再生）を行わせる。以上のようなユーザの操作に応じて行われる、ビデオカメラ１、パーソナルコンピュータ２等の処理については後述する。
【００６４】
図４は、図１のセンサバッジ４−１の構成例を示すブロック図である。センサバッジ４−２および４−３も同様の構成を有する。
【００６５】
センサバッジ４−１は、マイクロコンピュータ１１とLED(Light Emitting Diode)１２からなる。マイクロコンピュータ１１は、LED１２を制御し、マイクロコンピュータ１１に割り当てられている例えばID「０」を表すパターンで発光させる。LED１２は、マイクロコンピュータ１１からの制御に従って固定の周波数で発光する。
【００６６】
図５は、マイクロコンピュータ１１の機能構成例を示すブロック図である。
【００６７】
ID記憶部２１は、マイクロコンピュータ１１に割り当てられているIDを記憶する。
【００６８】
発光制御部２２は、ID記憶部２１に記憶されているIDを読み出し、読み出したIDを表すパターンでLED１２を発光させる。
【００６９】
センサバッジ４−１に割り当てられているIDは、例えば、センサバッジ４−１の表面に示されており、ユーザが、それを見てIDと子供の対応付けを行うことができるようになされる。なお、ユーザが、パーソナルコンピュータ２とセンサバッジ４−１をケーブルを介して接続させるなどしてセンサバッジ４−１のIDを適宜書き換えることができるようにしてもよい。
【００７０】
図６は、図１のパーソナルコンピュータ２の構成例を示すブロック図である。
【００７１】
CPU(Central Processing Unit)３１は、ROM(Read Only Memory)３２に記憶されているプログラム、または、記憶部３８からRAM(Random Access Memory)３３にロードされたプログラムに従って各種の処理を実行する。RAM３３にはまた、CPU３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【００７２】
CPU３１、ROM３２、およびRAM３３は、バス３４を介して相互に接続されている。このバス３４にはまた、入出力インタフェース３５も接続されている。
【００７３】
入出力インタフェース３５には、キーボード、マウスなどよりなる入力部３６、LCD(Liquid Crystal Display)などよりなる表示部３７、ハードディスクなどよりなる記憶部３８、ビデオカメラ１との間で有線または無線の通信を行う通信部３９が接続されている。記憶部３８には、例えば、通信部３９を介してビデオカメラ１から取り込まれた画像とIDが記憶される。
【００７４】
入出力インタフェース３５にはまた、必要に応じてドライブ４０が接続される。ドライブ４０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア４１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部３８にインストールされる。ビデオカメラ１が、撮影した画像を光ディスクやフラッシュメモリなどのリムーバブルメディアに記憶するものである場合、ビデオカメラ１により撮影された画像とIDは、例えば、そのメディアを介して、ドライブ４０によりパーソナルコンピュータ２に取り込まれる。
【００７５】
図７は、パーソナルコンピュータ２の機能構成例を示すブロック図である。図７の各機能部の少なくとも一部は、図６のCPU３１により所定のプログラムが実行されることで実現される。
【００７６】
設定部５１は、ユーザにより入力部３６を用いて行われるIDと名前の設定を受け付け、受け付けたIDと名前をID／名前記憶部５２に記憶させる。
【００７７】
ID／名前記憶部５２はIDと名前を記憶する。これにより、パーソナルコンピュータ２内においては、ビデオカメラ１から取り込まれた画像に対応付けられているIDから、各シーンに映っている人物（の名前）を識別することが可能になる。
【００７８】
次に、図８のフローチャートを参照して、パーソナルコンピュータ２の名前設定処理について説明する。すなわち、この処理は、図３のステップＳ１のユーザ操作に応じて行われるものである。
【００７９】
ステップＳ１１において、設定部５１は、ユーザにより入力部３６を用いて行われるIDと名前の設定を受け付け、ステップＳ１２に進み、受け付けたIDと名前をID／名前記憶部５２に記憶させる。このようにして記憶されたIDと名前に基づいて、各シーンを、それに映っている人物に基づいてクラスタリング等を行うパーソナルコンピュータ２の処理については後述する。
【００８０】
図９は、図１のビデオカメラ１の構成例を示すブロック図である。
【００８１】
撮像素子６２は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などよりなり、その撮像領域には動画撮影領域７１と認識画像撮影領域７２が形成される。
【００８２】
動画撮影領域７１は、例えば、３０フレーム／秒などのフレームレートで撮影を行い、レンズ６１を介して受光した光に対応する信号（撮影した画像）をDSP(Digital Signal Processor)６３に出力する。認識画像撮影領域７２は、動画撮影領域７１より早いフレームレートで撮影を行い、得られた輝度信号をDSP６３に出力する。
【００８３】
これらの動画撮影領域７１と認識画像撮影領域７２による撮影は、ユーザの撮影開始、撮影終了の操作に応じて同期して行われる。また、動画撮影領域７１と認識画像撮影領域７２の撮影範囲は、ほぼ同じ範囲とされる。従って、認識画像撮影領域７２の撮影結果から認識されたIDが割り当てられている子供は、動画撮影領域７１により撮影された画像にも映っていることになる。
【００８４】
DSP６３は、認識画像撮影領域７２から供給されてくる画像に基づいてIDを認識する。例えば、DSP６３は、認識画像撮影領域７２により撮影された画像の輝度値の変化を時系列的に比較することにより、センサバッジ４の発光パターン、すなわちIDを認識する。例えば、DSP６３によるIDの認識は１秒毎に行われる。また、DSP６３は、認識したIDを対応付けて、動画撮影領域７１から供給されてきた画像を記憶部６４に記憶させる。なお、撮影した画像からIDを認識する技術については、特開２０００−２１４９４５号公報に、その詳細が開示されている。
【００８５】
記憶部６４は、例えば、ハードディスク、DVD(Digital Versatile Disc)、フラッシュメモリ、テープメディアなど記憶媒体と、そのドライブにより構成される。
【００８６】
通信部６５は、パーソナルコンピュータ２との間でIEEE(Institute of Electrical and Electronics Engineers)1394ケーブルやUSB(Universal Serial Bus)ケーブルなどを介して有線の通信を行い、または、IEEE802.11a/b/gなどに準拠した無線通信を行い、記憶部６４に記憶されている画像とIDをパーソナルコンピュータ２に出力する。
【００８７】
次に、図１０のフローチャートを参照して、ビデオカメラ１の撮影処理について説明する。すなわち、この処理は、図３のステップＳ２のユーザ操作に応じて行われるものである。
【００８８】
ユーザにより撮影の開始が指示されたとき、ステップＳ２１において、撮像素子６２の動画撮影領域７１と認識画像撮影領域７２によりそれぞれ撮影が開始される。動画撮影領域７１により得られた画像と認識画像撮影領域７２により得られた画像はDSP６３に出力される。
【００８９】
ステップＳ２２において、DSP６３は、撮像素子６２の認識画像撮影領域７２から供給されてきた画像に基づいて所定の周期でIDを繰り返し認識し、ステップＳ２３に進み、認識したIDを対応付けて、動画撮影領域７１から供給されてきた画像を記憶部６４に記憶させる。
【００９０】
ステップＳ２４において、ユーザにより撮影の終了が指示されたか否かが判定され、指示されたと判定されるまで、ステップＳ２１以降の処理が繰り返される。ステップＳ２４において撮影の終了が指示されたと判定された場合、処理は終了される。
【００９１】
以上の処理がユーザ操作に応じて繰り返し行われることにより、記憶部６４には、子供３−１のみが映っている画像、子供３−１と子供３−２が映っている画像といったように、センサバッジ４を付けた子供３が様々な組合せで映っている画像が記憶される。
【００９２】
図１１は、IDの認識結果の例を示す図である。
【００９３】
図１１の認識結果は、撮影開始後の各時間（認識時間）にID「０」乃至「２」（図１の子供３−１乃至３−３のID）が認識されたか否かを示している。
【００９４】
図１１の例においては、撮影開始から例えば１秒経過後までのTime0の認識時間には、ID「０」とID「２」が認識され、ID「１」が認識されなかったものとされている。すなわち、このことは、Time0の認識時間に動画撮影領域７１により撮影された画像に図１の子供３−１と子供３−３が映っていることを表している。
【００９５】
同様に、Time1の認識時間には、ID「０」とID「１」が認識され、ID「２」が認識されなかったものとされている。すなわち、このことは、Time１の認識時間に動画撮影領域７１により撮影された画像には、図１の子供３−１と子供３−２が映っていることを表している。
【００９６】
このような各時間におけるIDの認識結果を表すデータが、図１０の処理により記憶部６４に記憶される。以下、図１１に示すようなIDの認識結果を、認識されたそのままの状態のデータという意味でID生データという。
【００９７】
次に、ビデオカメラ１により撮影された画像とID生データを処理するパーソナルコンピュータ２の構成と動作について説明する。
【００９８】
図１２は、パーソナルコンピュータ２の他の機能構成例を示すブロック図である。図７の構成と同様に、図１２の各機能部の少なくとも一部も、図６のCPU３１により所定のプログラムが実行されることで実現される。
【００９９】
取り込み部８１は、通信部３９（図６）を制御してビデオカメラ１との間で通信を行い、画像とID生データをビデオカメラ１から取り込む。取り込み部８１は、取り込んだID生データをシーン判定部８２に出力し、画像を再生制御部８３に出力する。
【０１００】
シーン判定部８２は、取り込み部８１から供給されてきたID生データに基づいて、各シーンのクラスタリング、リンク付けを行い、それらの結果を記述したメタデータファイルを再生制御部８３に出力する。シーン判定部８２から出力されるメタデータファイルには、取り込み部８１から再生制御部８３に供給された画像のうち、どこからどこまでの画像がどのカテゴリに属するのかを表す情報、および、どの画像とどの画像がリンク付けされているのかを表す情報などが含まれる。
【０１０１】
再生制御部８３は、取り込み部８１から供給されてきた画像を、シーン判定部８２から供給されてきたメタデータファイルの記述に基づいて再生する。再生制御部８３により表示部３７に表示されるプレーヤ画面には、後述するように、ユーザが選択したカテゴリの画像のみが表示される。また、再生中の画像とは別に、それにリンク付けされている画像が表示される。
【０１０２】
このように、パーソナルコンピュータ２においては、IDの認識結果に基づいて行われるクラスタリング、リンク付けの結果に基づいて、撮影された画像の再生が行われる。
【０１０３】
図１３は、IDの認識時間と、撮影された画像の関係を示す図である。
【０１０４】
例えば、NTSC(National Television System Committee)方式で撮影が行われ、その撮影開始時刻と、IDの認識時間の開始時刻が一致する場合、IDの１つの認識時間を１秒間とすると、図１３に示すように、認識時間Ｔの間には３０フレームの画像（シーン）が撮影される。
【０１０５】
シーン判定部８２においては、図１１に示すようなID生データにより表されるそれぞれの認識時間の認識結果に基づいて、各認識時間のクラスタリング、リンク付けが行われる。そして、上述したように、IDを認識するための画像の撮影範囲と、再生対象とする画像（図１３の下段の各画像）の撮影範囲はほぼ一致するから、そのように、IDの認識結果に基づいて行われる認識時間のクラスタリング、リンク付けの結果は、その認識時間と同じ時間に撮影された画像を、それに映っている被写体に基づいてクラスタリング、リンク付けを行った場合の結果と同じになる。
【０１０６】
以上のことから、IDの認識時間のクラスタリング、リンク付けの結果に基づいて動画を再生することは、被写体に基づいて動画のクラスタリング、リンク付けを行い、その結果に基づいて動画を再生することを意味し、パーソナルコンピュータ２においては、そのような動画の再生が行われる。
【０１０７】
図１４は、以上のように、認識時間のクラスタリング、リンク付けを通じて、撮影された画像のクラスタリング、リンク付けを行う図１２のシーン判定部８２の構成例を示すブロック図である。
【０１０８】
シーン判定部８２は、フィルタリング部９１、クラスタリング部９２、およびファイル生成部９３からなる。始めに、フィルタリング部９１について説明する。
【０１０９】
フィルタリング部９１は、図１５に示すように、取り込み部８１から供給されてきたID生データに基づいて、ある被写体が一瞬だけ映っていた、すなわち、あるIDが一瞬だけ認識された場合、それをノイズとして除去する処理、および、ある被写体が一瞬だけ映っていなかった、すなわち、その被写体のIDが一瞬だけ認識されなかった場合、それを埋める処理を行う。
【０１１０】
図１５において、時系列的に並ぶ１つのブロックはIDの１認識時間を表している。ブロックに色が付されている場合、それは、その認識時間にIDが認識されたことを表し、色が付されていない場合、それは、その認識時間にIDが認識されなかったことを表す。すなわち、図１５は、１つのIDについて、図１１に示すようなID生データの認識した／認識しないを時系列的に表したものである。
【０１１１】
図１６は、IDが一瞬（例えば、１認識時間）だけ認識されなかった場合に、それを埋めるフィルタリング部９１の処理の例を示す図である。
【０１１２】
図１６は、１つのIDについての認識時間Ｔ0乃至Ｔ14の認識結果を示している。図１６の例においては、その上段に示すように、認識時間Ｔ0乃至Ｔ2，Ｔ5，Ｔ10，Ｔ12乃至Ｔ14のそれぞれの時間ではIDが認識されており、それ以外の認識時間Ｔ3およびＴ4，Ｔ6乃至Ｔ9，Ｔ11のそれぞれの時間ではIDが認識されていない。
【０１１３】
このような認識結果が取り込み部８１から供給されてきた場合、フィルタリング部９１は、例えば、注目している認識時間の１認識時間前にIDが認識されているとき、その注目している認識時間（IDが認識されなかった時間）には、IDが認識されたものとしてIDの穴を埋める処理を行う。
【０１１４】
例えば、いま、図１６の認識時間Ｔ3に注目している場合、その１認識時間前の認識時間Ｔ2にはIDが認識されているから、フィルタリング部９１は、下段の時系列に示すように、認識時間Ｔ3には、そのIDが認識されたものとする。
【０１１５】
また、フィルタリング部９１は、いま、認識時間Ｔ6に注目している場合、その１認識時間前の認識時間Ｔ5にはIDが認識されているから、下段の時系列に示すように、認識時間Ｔ6には、そのIDが認識されたものとする。
【０１１６】
同様に、フィルタリング部９１は、いま、認識時間Ｔ11に注目している場合、その１認識時間前の認識時間Ｔ10にはIDが認識されているから、下段の時系列に示すように、認識時間Ｔ11には、そのIDが認識されたものとする。
【０１１７】
図１７は、IDが一瞬（例えば、１認識時間）だけ認識された場合に、それをノイズとして除去するフィルタリング部９１の処理の例を示す図である。
【０１１８】
図１７も、１つのIDについての認識時間Ｔ0乃至Ｔ14の認識結果を示している。図１７の例においては、図１６と同様、認識時間Ｔ0乃至Ｔ2，Ｔ5，Ｔ10，Ｔ12乃至Ｔ14のそれぞれの時間ではIDが認識されており、それ以外の認識時間Ｔ3およびＴ4，Ｔ6乃至Ｔ9，Ｔ11のそれぞれの時間ではIDが認識されていない。
【０１１９】
このような認識結果が取り込み部８１から供給されてきた場合、フィルタリング部９１は、例えば、注目している認識時間の１認識時間後にIDが認識されていないとき、その注目している認識時間（IDが認識された時間）には、IDが認識されなかったものとしてノイズを除去する処理を行う。
【０１２０】
例えば、いま、図１６の認識時間Ｔ2に注目している場合、その１認識時間後の認識時間Ｔ3にはIDが認識されていないから、フィルタリング部９１は、下段の時系列に示すように、認識時間Ｔ2には、そのIDが認識されなかったものとする。
【０１２１】
また、フィルタリング部９１は、いま、認識時間Ｔ5に注目している場合、その１認識時間後の認識時間Ｔ6にはIDが認識されていないから、下段の時系列に示すように、認識時間Ｔ5には、そのIDが認識されなかったものとする。
【０１２２】
同様に、フィルタリング部９１は、いま、認識時間Ｔ10に注目している場合、その１認識時間後の認識時間Ｔ11にはIDが認識されていないから、下段の時系列に示すように、認識時間Ｔ10には、そのIDが認識されなかったものとする。
【０１２３】
以下、適宜、IDが一瞬だけ認識されなかった場合に、それを埋める図１６に示すような処理を「太らせる処理」といい、IDが一瞬だけ認識された場合に、それをノイズとして除去する図１７に示すような処理を「痩せさせる処理」という。
【０１２４】
なお、図１６および図１７においては、IDが認識されたものとして埋める時間、および、IDが認識されなかったものとして除去する時間はいずれも１認識時間であるとしたが、１認識時間に限らず、例えば、２認識時間連続してIDが認識されなかった場合に、その認識時間を、前後の認識結果からまとめて認識されたものとして埋めるようにしてもよいし、２認識時間連続してIDが認識された場合に、その認識時間を、前後の認識結果からまとめて認識されなかったものとして除去するようにしてもよい。
【０１２５】
図１８は、フィルタリング部９１の処理の例を示す図である。
【０１２６】
図１８に示すように、フィルタリング部９１は、以上のような太らせる処理を所定の回数だけ繰り返し、白抜き矢印Ａ1の先に示すような時系列を得た後、さらに、これに対して、痩せさせる処理を所定の回数だけ繰り返し、白抜き矢印Ａ2の先に示すような時系列を得る。
【０１２７】
これにより、フィルタリング部９１による処理が施される前はIDが認識されなかった時間である認識時間Ｔ11の穴が埋められる。
【０１２８】
図１９は、フィルタリング部９１の他の処理の例を示す図である。
【０１２９】
フィルタリング部９１は、太らせる処理と痩せさせる処理をその順番で所定の回数ずつ、図１８のように行った後、次に、図１８の処理により得られた時系列に対して、図１９に示すように、反対に、痩せさせる処理と太らせる処理をその順番で所定の回数ずつ行い、図１９の白抜き矢印Ａ2の先に示すような時系列を得る。
【０１３０】
これにより、前後の認識時間にはIDが認識されていなかった認識時間Ｔ5，Ｔ10のノイズが除去される。
【０１３１】
フィルタリング部９１は、ID生データに含まれるそれぞれのIDについて、以上のように、太らせる処理と痩せさせる処理を所定の回数だけ所定の順番で行うことによってID生データに加工を施す。フィルタリング部９１により得られた加工済みの各IDの時系列を表すデータはクラスタリング部９２に出力される。以下、フィルタリング部９１からクラスタリング部９２に出力される加工済みのIDのデータをID加工データという。
【０１３２】
次に、図１４のクラスタリング部９２について説明する。
【０１３３】
クラスタリング部９２は、フィルタリング部９１から供給されてきたID加工データに基づいて、IDの認識時間（対応する時間のシーン）のクラスタリングを行う。クラスタリングにより各シーンが所定のカテゴリに分けられるが、そのカテゴリの意味は、例えば、ユーザにより設定される。
【０１３４】
図２０は、ユーザにより設定されたカテゴリ０乃至３の意味の例を示す図である。
【０１３５】
カテゴリ０は、「うち子供」だけが映っているシーン（上述した例の場合、「Ａくん」だけが映っているシーン）のカテゴリであり、カテゴリ０乃至３の中で最も重要なカテゴリとして設定されている。
【０１３６】
カテゴリ１は、「うち子供」と「よその子供」が映っているシーン（例えば、「Ａくん」と「Ｂくん」が映っているシーン）のカテゴリであり、カテゴリ０の次に重要なカテゴリとして設定されている。
【０１３７】
カテゴリ２は、「よその子供」だけが映っているシーン（例えば、「Ａくん」以外の子供だけが映っているシーン）のカテゴリであり、カテゴリ１の次に重要なカテゴリとして設定されている。
【０１３８】
カテゴリ３は、だれも映っていないシーンのカテゴリであり、意味のないシーンのカテゴリとして設定されている。
【０１３９】
クラスタリング部９２においては、このように意味付けされたカテゴリに各シーンが属するようにクラスタリングが行われる。
【０１４０】
図２１は、クラスタリング部９２により行われるクラスタリングの順番の例を示す図である。
【０１４１】
例えば、図２０に示すように、カテゴリ０，１，２，３の順番で重要度が設定された場合、最も重要なカテゴリ０からクラスタリングが行われ（ステップＳ４１）、それが終了したとき、次に重要なカテゴリ１のクラスタリング（ステップＳ４２）が行われる。カテゴリ１のクラスタリングが終了したとき、最後に、カテゴリ２のクラスタリング（ステップＳ４３）が行われる。いずれのカテゴリにも属さないシーンはカテゴリ３に属するものとされる。
【０１４２】
図２２は、カテゴリ０のクラスタリング（図２１のステップＳ４１）の例を示す図である。
【０１４３】
図２２に示すように、クラスタリング部９２は、「うちの子供」だけが映っているシーンを探すべく、フィルタリング部９１から供給されてきたID加工データの中から「うちの子供」のIDの時系列に注目し、所定の数の連続する認識時間からなるウインドウ毎にカテゴリ（各ウインドウに対応するシーンのカテゴリ）を判断する。
【０１４４】
例えば、「うちの子供」だけが映っているシーンは最も重要なシーンであるから、クラスタリング部９２は、「うちの子供」のIDが認識された認識時間を１つでも含むウインドウのカテゴリをカテゴリ０として判断する。
【０１４５】
図２２の例においては、１つのウインドウは６つの連続する認識時間からなり、ウインドウ１と２のいずれにも、「うちの子供」のIDが認識された認識時間（ウインドウ１の認識時間Ｔ0乃至Ｔ3とウインドウ２の認識時間Ｔ8）が含まれるから、これらのウインドウ１と２のカテゴリはカテゴリ０として判断されている。
【０１４６】
このようにして、「うちの子供」についての全てのウインドウのカテゴリが判断されたとき、カテゴリ０のクラスタリングが終了される。
【０１４７】
なお、カテゴリ０のクラスタリングにおいては、「うちの子供」のIDの時系列しか注目されずに、「うちの子供」だけが映っているシーンが判断されているが、後述するように、カテゴリ１のクラスタリングのときには、「うちの子供」のIDの時系列の他に、「よその子供」のIDの時系列も注目され、「うちの子供」のIDだけでなく、「よその子供」のIDが認識された認識時間を含むウインドウがカテゴリ１として判断される。従って、図２２に示すようにカテゴリ０として判断されたウインドウのうち、「よその子供」のIDが認識された認識時間も含むウインドウのカテゴリはカテゴリ１として変更されることになり、結局、「うちの子供」のIDが認識された認識時間だけを含むウインドウが、カテゴリ０として判断される。
【０１４８】
図２３は、カテゴリ１のクラスタリング（図２１のステップＳ４２）の例を示す図である。
【０１４９】
クラスタリング部９２は、カテゴリ０のクラスタリングの場合と同様に、「うちの子供」と「よその子供」が映っているシーンを探すべく、フィルタリング部９１から供給されてきたID加工データの中から「うちの子供」のIDの時系列と「よその子供」のIDの時系列に注目し、ウインドウ毎にカテゴリを判断する。
【０１５０】
例えば、「うち子供」が映っているシーンは最も重要なシーンであるから、クラスタリング部９２は、「うちの子供」のIDが認識された認識時間を１つでも含み、かつ、「よその子供」のIDが認識された認識時間も含むウインドウのカテゴリをカテゴリ１として判断する。
【０１５１】
図２３の例においては、ウインドウ１と２のいずれにも、「うちの子供」のIDが認識された認識時間（ウインドウ１の認識時間Ｔ0乃至Ｔ2とウインドウ２の認識時間Ｔ8乃至Ｔ10）と、「よその子供」のIDが認識された認識時間（ウインドウ１の認識時間Ｔ1乃至Ｔ3とウインドウ２の認識時間Ｔ8）が含まれるから、これらのウインドウ１と２のカテゴリはカテゴリ１として判断されている。
【０１５２】
「うちの子供」と「よその子供」のIDの全てのウインドウのカテゴリが判断されたとき、カテゴリ１のクラスタリングが終了される。
【０１５３】
図２４は、カテゴリ２のクラスタリング（図２１のステップＳ４３）の例を示す図である。
【０１５４】
クラスタリング部９２は、カテゴリ０と１のクラスタリングの場合と同様に、よその子供だけが映っているシーンを探すべく、フィルタリング部９１から供給されてきたID加工データの中から「うちの子供」のIDの時系列と「よその子供」のIDの時系列に注目し、ウインドウ毎にカテゴリを判断する。
【０１５５】
例えば、クラスタリング部９２は、１つのウインドウの半分以上の時間において「よその子供」のIDだけが認識されている場合、そのウインドウのカテゴリをカテゴリ２として判断する。
【０１５６】
図２４の例においては、ウインドウ１（認識時間Ｔ0乃至Ｔ5の６認識時間）の半分以上の時間である認識時間Ｔ1乃至Ｔ3の３認識時間において「よその子供」のIDだけが認識されているから、ウインドウ１のカテゴリはカテゴリ２として判断されている。
【０１５７】
また、ウインドウ２（認識時間Ｔ6乃至Ｔ11の６認識時間）のうち、「よその子供」のIDだけが認識されたのは認識時間Ｔ8だけであり、半分以上の時間において「よその子供」のIDだけが認識されていないから、ウインドウ２のカテゴリはカテゴリ２として判断されていない。
【０１５８】
同様にして、全てのウインドウのカテゴリが判断されたとき、カテゴリ２のクラスタリングが終了される。
【０１５９】
図２５は、クラスタリング部９２による一連のクラスタリングの結果の例を示す図である。
【０１６０】
図２５の１つのブロックは１つのウインドウ（連続する所定の数の認識時間）を表し、ブロックの中の数字は、そのブロックにより表されるウインドウのカテゴリを表す。図２５にはウインドウＷ0乃至25が示されている。
【０１６１】
図２５の白抜き矢印Ａ1の先に示すウインドウの時系列は、カテゴリ０のクラスタリング結果の例を示している。
【０１６２】
この例においては、ウインドウＷ0乃至Ｗ25のうち、ウインドウＷ2乃至Ｗ9、ウインドウＷ15乃至Ｗ21、およびウインドウＷ24のカテゴリがカテゴリ０として判断されている。
【０１６３】
また、図２５の例においては、「まとまり」が太線で囲まれており、カテゴリ０として判断されたウインドウＷ2乃至Ｗ9、ウインドウＷ15乃至Ｗ21により、それぞれ、カテゴリ０のまとまりが構成されている。「まとまり」は、ユーザがそのカテゴリを選択した場合に再生対象となる連続するシーンを表し、１つのまとまりを構成する最小のウインドウ数は例えばユーザにより設定される。図２５においては最小のウインドウ数は「４」とされている。
【０１６４】
図２５の白抜き矢印Ａ2の先に示すウインドウの時系列は、カテゴリ１のクラスタリング結果の例を示している。
【０１６５】
この例においては、カテゴリ０として判断されたウインドウＷ2乃至Ｗ9のうちのウインドウＷ4乃至Ｗ8と、ウインドウＷ15乃至Ｗ21のうちのウインドウＷ16乃至Ｗ21がカテゴリ１として判断されており、それらのウインドウによりカテゴリ１のまとまりが構成されている。すなわち、ウインドウＷ4乃至Ｗ8とウインドウＷ16乃至Ｗ21のカテゴリは、その時間に「うちの子供」のID以外にも「よその子供」のIDが認識された認識時間も含まれていることから、カテゴリ０からカテゴリ１にカテゴリの変更がなされている。
【０１６６】
図２５の白抜き矢印Ａ3の先に示すウインドウの時系列は、カテゴリ２のクラスタリング結果の例を示している。
【０１６７】
この例においては、ウインドウＷ11乃至Ｗ14のカテゴリがカテゴリ２として判断されており、カテゴリ２のまとまりが構成されている。
【０１６８】
以上のような一連の処理が行われ、各カテゴリのまとまりが生成される。まとまりを構成しないウインドウのカテゴリは、意味のないシーンのカテゴリであるカテゴリ３とされる。クラスタリング部９２によるクラスタリング結果である各ウインドウのカテゴリの情報、まとまりに関する情報等はクラスタリング部９２からファイル生成部９３（図１４）に出力される。
【０１６９】
以上のようにして、IDの認識結果に基づいて各認識時間（対応する時間に撮影されたシーン）がクラスタリングされ、まとまり毎に画像の再生が行われるから、例えば、再生するまとまりのカテゴリとしてカテゴリ０を選択することによって、ユーザは、「うちの子供」だけを含むシーンを連続してみることができる。また、ユーザは、カテゴリ１を選択することによって、「うちの子供」と「よその子供」を含むシーンを連続してみることができる。
【０１７０】
反対に、ユーザは、カテゴリ２を選択しないことによって、「よその子供」が半分以上映っているシーンだけを見る必要がなくなり、カテゴリ３を選択しないことによって、誰も映っていないシーン、または、センサバッジ４を付けていない子供だけが映っているシーンを見る必要がなくなる。
【０１７１】
次に、図１４のファイル生成部９３について説明する。
【０１７２】
ファイル生成部９３は、クラスタリング部９２によるクラスタリング結果に基づいて、まとまり同士のリンク付けを行い、そのリンク付けの結果と、クラスタリング結果を記述するメタデータファイルを生成する。ファイル生成部９３により生成されたメタデータファイルは図１２の再生制御部８３に出力される。
【０１７３】
図２６は、メタデータファイルに記述される情報（各シーンがどのカテゴリに属しているかを表す情報）の例を示す図である。
【０１７４】
図２６のウインドウの時系列は、図２５の白抜き矢印Ａ3の先に示す最終的なクラスタリング結果の時系列と同じものである。クラスタリング部９２によるクラスタリングによって、図２６のまとまりが生成されている場合、メタデータファイルには、各まとまりの先頭（例えば、フレーム番号）を表す情報と、まとまりのカテゴリを表す情報が記述される。
【０１７５】
例えば、図２６のまとまりＭ0の先頭のフレーム番号と、まとまりＭ0のカテゴリがカテゴリ０であること、まとまりＭ1の先頭のフレーム番号と、まとまりＭ1のカテゴリがカテゴリ１であること等がメタデータファイルに記述される。
【０１７６】
図２７は、メタデータファイルに記述される情報（各シーンが、他のどのシーンと同じカテゴリに属しているかを表す情報）の例を示す図である。
【０１７７】
図２７のウインドウの時系列も、図２５の白抜き矢印Ａ3の先に示す最終的なクラスタリング結果の時系列と同じものである。クラスタリング部９２によるクラスタリングによって、図２７のまとまりが生成されている場合、メタデータファイルには、まとまりの先頭（例えば、フレーム番号）を表す情報と、そのまとまりと同じカテゴリに属する他のまとまりの先頭を表す情報が記述される。
【０１７８】
例えば、まとまりＭ0の先頭のフレーム番号と、同じカテゴリ０のまとまりであるまとまりＭ2とＭ4の先頭のフレーム番号等がメタデータファイルに記述される。
【０１７９】
ファイル生成部９３は、このような同じカテゴリのまとまりに関する情報に基づいてまとまりのリンク付けを行い、リンク付けされたまとまり同士の情報もメタデータファイル記述する。
【０１８０】
例えば、ある注目するまとまりに対してリンク付けされる他のまとまりは、同じカテゴリのまとまりのうち、まとまりの長さ（時間）が比較的長いものとされる。
【０１８１】
図２８に示すように、いま、まとまりＭ2に注目しており、それと同じカテゴリの他のまとまりとして、まとまりＭ0，Ｍ1，Ｍ3乃至Ｍ5がある場合、ファイル生成部９３は、まとまりＭ2に対して、長さの長い３つのまとまりであるまとまりＭ0，Ｍ4，Ｍ5をリンク付けし、そのリンク付けの結果であるまとまりＭ0，Ｍ4，Ｍ5の先頭のフレーム番号をメタデータファイルに記述する。図２８の例においては、まとまりＭ4が１番長いまとまりであり、まとまりＭ0が２番目に長いまとまりであり、まとまりＭ5が３番目に長いまとまりである。
【０１８２】
リンク付けに関する情報は、例えば、あるまとまりのシーンを再生しているときに、それとリンク付けされている他のシーンを表示するために用いられる。例えば、図２８に示すようにまとまりＭ2に対してまとまりＭ0，Ｍ4，Ｍ5がリンク付けされている場合、まとまりＭ2のシーンが再生され、画面に表示されているときには、同じ画面内に、まとまりＭ0，Ｍ4，Ｍ5のシーンも表示されることになる。画面表示の具体例については後述する。
【０１８３】
次に、図２９乃至図３２を参照して、メタデータファイルの記述の具体例について説明する。
【０１８４】
図２９乃至図３２において、各行の左端に示す数字と「：（コロン）」は説明の便宜上付したものであり、メタデータを構成するものではない。
【０１８５】
図２９は、図２９乃至図３２のメタデータに従って再生される画像（動画）と、音声に関する記述の例を示す図である。
【０１８６】
第１行目乃至第５行目は画像に関する記述である。第１行目の「framerate=15」はフレームレートを表し、第２行目の「height=120」と第３行目の「widht=160」は１フレームの大きさを表す。第４行目の「filename=sample.mpg」は動画のファイル名を表し、第５行目の「TotalLength=1800」は動画の総時間を表す。
【０１８７】
第６行目は音声に関する記述である。第６行目の「filename=sample.wav」は音声のファイル名を表す。
【０１８８】
図３０および図３１はクラスタ（上述の「まとまり」）に関する記述の例を示す図である。
【０１８９】
「ClusterInfo」として記述される第１行目の「ClusterDepthNum=3」は、クラスタの粒度が３段階あること、すなわち、クラスタの粒度を「粗い」、「中くらい」、「細かい」とした場合の、それぞれ場合のクラスタの情報が記述されていることを表す。
【０１９０】
クラスタの粒度（まとまりの粒度）は、例えば、上述した、１つのまとまりを構成する最小のウインドウの数（図２５の場合「４」）に対応する。同じ動画を対象にした場合、通常、最小のウインドウの数が大きいほど、生成されるまとまりの数は少なくなり、１つのまとまりは大きくなるから、クラスタの粒度が「粗い」となり、一方、最小のウインドウの数が小さいほど、生成されるまとまりの数は多くなり、１つのまとまりは小さくなるから、クラスタの粒度が「細かい」となる。
【０１９１】
ユーザは、このように、「粗い」、「中くらい」、「細かい」の中からクラスタの粒度を選択することによって、撮影した画像全体を大まかに見たり、全体を細かく見たりすることができる。すなわち、上述したようなクラスタリングは、クラスタの粒度毎に行われることになる。
【０１９２】
図３０および図３１においては、「ClusterDepth0」がクラスタの粒度が「粗い」場合のクラスタの情報を表し、「ClusterDepth1」がクラスタの粒度が「中くらい」の場合のクラスタの情報を表す。また、「ClusterDepth2」がクラスタの粒度が「細かい」場合のクラスタの情報を表す。
【０１９３】
図３０の第２行目乃至第４行目には、「ClusterDepth0」（粒度が「粗い」）のクラスタの情報が記述されており、第５行目乃至第８行目には、「ClusterDepth1」（粒度が「中くらい」）のクラスタの情報が記述されている。また、第９行目乃至第１４行目には、「ClusterDepth2」（クラスタの粒度が「細かい」）のクラスタの情報が記述されている。
【０１９４】
第２行目の「ClusterNum=2」は、「ClusterDepth0」である場合、クラスタの数は２個であることを表す。第３行目の「ClusterTitle0=Ａ」と第４行目の「ClusterTitle1=Ｂ」は、２個のうちの１つ目のクラスタのタイトルは「Ａ」であり、２つ目のクラスタのタイトルは「Ｂ」であることを表す。
【０１９５】
同様に、第５行目乃至第８行目には、「ClusterDepth1」である場合のクラスタの数と、それぞれのクラスタのタイトルが記述されている。また、第９行目乃至第１４行目には、「ClusterDepth2」である場合のクラスタの数と、それぞれのクラスタのタイトルが記述されている。
【０１９６】
図３１の「ClusterData」は、各シーンのクラスタの情報（図２６の情報）を表す。
【０１９７】
第１行目の「Frame0_Depth0=1」は、「ClusterDepth0」である場合、フレームナンバ０の画像のクラスタ（フレームナンバ０の画像から次のクラスタの先頭までのクラスタ）がクラスタ１（図３０の第４行目の「ClusterTitle1=Ｂ」のクラスタ）であることを表す。
【０１９８】
第２行目の「Frame0_Depth1=2」は、「ClusterDepth1」である場合、フレームナンバ０の画像のクラスタ（フレームナンバ０の画像から次のクラスタの先頭までのクラスタ）がクラスタ２（図３０の第８行目の「ClusterTitle2=Ｂ」のクラスタ）であることを表す。
【０１９９】
第３行目の「Frame0_Depth2=4」は、「ClusterDepth2」である場合、フレームナンバ０の画像のクラスタ（フレームナンバ０の画像から次のクラスタの先頭までのクラスタ）がクラスタ４（図３０の第１４行目の「ClusterTitle4=Ｂ」のクラスタ）であることを表す。
【０２００】
第４行目の「Frame0_Next_Depth0=443」は、「ClusterDepth0」である場合、フレームナンバ０の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ４４３であることを表す。
【０２０１】
第５行目の「Frame0_Next_Depth1=200」は、「ClusterDepth1」である場合、フレームナンバ０の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ２００であることを表す。
【０２０２】
第６行目の「Frame0_Next_Depth2=200」は、「ClusterDepth2」である場合、フレームナンバ０の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ２００であることを表す。
【０２０３】
第７行目の「Frame200_Depth1=1」は、「ClusterDepth1」である場合、フレームナンバ２００の画像のクラスタ（フレームナンバ２００の画像から次のクラスタの先頭までのクラスタ）がクラスタ１（図３０の第７行目の「ClusterTitle1=Ｃ」のクラスタ）であることを表す。
【０２０４】
第８行目の「Frame200_Depth2=2」は、「ClusterDepth2」である場合、フレームナンバ２００の画像のクラスタ（フレームナンバ２００の画像から次のクラスタの先頭までのクラスタ）がクラスタ２（図３０の第１２行目の「ClusterTitle2=Ｃ」のクラスタ）であることを表す。
【０２０５】
第９行目の「Frame200_Next_Depth1=443」は、「ClusterDepth1」である場合、フレームナンバ２００の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ４４３であることを表す。
【０２０６】
第１０行目の「Frame200_Next_Depth2=443」は、「ClusterDepth2」である場合、フレームナンバ２００の画像の次にクラスタの先頭になる画像のフレームナンバがフレームナンバ４４３であることを表す。
【０２０７】
第１１行目の「Frame443_Depth0=0」は、「ClusterDepth0」である場合、フレームナンバ４４３の画像のクラスタ（フレームナンバ４３３の画像から最後の画像までのクラスタ）がクラスタ０（図３０の第３行目の「ClusterTitle0=Ａ」のクラスタ）であることを表す。
【０２０８】
第１２行目の「Frame443_Depth1=0」は、「ClusterDepth1」である場合、フレームナンバ４４３の画像のクラスタ（フレームナンバ４３３の画像から最後の画像までのクラスタ）がクラスタ０（図３０の第６行目の「ClusterTitle0=Ａ」のクラスタ）であることを表す。
【０２０９】
第１３行目の「Frame443_Depth2=0」は、「ClusterDepth2」である場合、フレームナンバ４４３の画像のクラスタがクラスタ０（図３０の第１０行目の「ClusterTitle0=Ａ」のクラスタ）であることを表す。
【０２１０】
第１４行目乃至第１６行目は、それぞれの「ClusterDepth」毎の、クラスタの先頭画像となる最後の画像のフレームナンバを表す。
【０２１１】
図３２は、クラスタのリンク付けに関する情報（図２８の情報）の例を示す図である。
【０２１２】
第１行目の「Frame0_LinkNum=3」は、フレームナンバ０の画像には、リンク先が３つ（Link0,1,2）設定されていることを表す。
【０２１３】
第２行目の「Frame0_Link0=2452」は、フレームナンバ０の画像のリンク先の１つである「Link0」のフレームナンバが「2452」であることを表す。同様に、第３行目の「Frame0_Link1=5664」は、フレームナンバ０の画像のリンク先の１つである「Link1」のフレームナンバが「5664」であることを表す。
【０２１４】
第４行目の「Frame0_Link2_FileName=family.mpg」は、フレームナンバ０の画像のリンク先の１つである「Link2」が、「family.mpg」の名前が設定されたファイルに格納されている画像であることを表す。
【０２１５】
第５行目の「Frame0_Link2=343」は、その「family.mpg」の名前が設定されたファイル中のフレームナンバ「343」の画像が、フレームナンバ０の画像のリンク先（Link2）であることを表す。
【０２１６】
第６行目の「Frame0_Next=15」は、フレームナンバ０の画像の次に、リンク先に関する情報が設定されている画像のフレームナンバが「15」であることを表し、第７行目の「Frame15_LinkNum=0」は、フレームナンバ１５の画像にはリンク先がないことを表す。このように、リンク先がないことは、その画像が再生対象の画像になったとき、それまで表示していたリンク先の表示を消去することを表す。
【０２１７】
従って、例えば、図３２の記述に従って、フレームナンバ０の画像から動画の再生が行われる場合、そのフレームナンバ０の画像の表示と同時に、リンク付けされているシーンの画像としてフレームナンバ２４５２，５６６４の画像、および、「family.mpg」の名前が設定されたファイルに格納されているファイルナンバ３４３の画像が表示される。その状態は、再生対象の画像がフレームナンバ１５の画像となるまで続けられる。
【０２１８】
フレームナンバ１５の画像が現在の再生対象の画像になったとき、フレームナンバ２４５２，５６６４の画像、および、「family.mpg」の名前が設定されたファイルに格納されているファイルナンバ３４３の画像の表示は消去される。
【０２１９】
第８行目の「Frame15_Next=476」は、フレームナンバ１５の次にリンク先に関する情報が設定されている画像のフレームナンバが「476」であることを表し、以降、同様の記述が「LinkData」に含まれる。
【０２２０】
このような記述を含むメタデータファイルがファイル生成部９３から再生制御部８３に出力される。
【０２２１】
ここで、以上のようなメタデータファイルが生成されるまでのパーソナルコンピュータ２の処理について説明する。
【０２２２】
始めに、図３３のフローチャートを参照して全体の処理について簡単に説明する。
【０２２３】
パーソナルコンピュータ２によるメタデータファイルが生成されるまでの処理は、主に、取り込み部８１による取り込み（ステップＳ３１）、シーン判定部８２のフィルタリング部９１によるフィルタリング（ステップＳ３２）、クラスタリング部９２によるクラスタリング（ステップＳ３３，Ｓ３４）、ファイル生成部９３によるファイルの作成（ステップＳ３５）からなる。
【０２２４】
すなわち、ステップＳ３１において、取り込み部８１は、撮影された画像とID生データを取り込み、取り込んだID生データをシーン判定部８２に、画像を再生制御部８３にそれぞれ出力する。
【０２２５】
ステップＳ３２において、フィルタリング部９１は、取り込み部８１から供給されてきたID生データに基づいて、ある被写体が一瞬だけ映っていた場合、それをノイズとして除去し、また、ある注目する被写体が一瞬だけ映っていなかった場合、それを埋める処理を行う。フィルタリング部９１により得られたID加工データはクラスタリング部９２に出力される。
【０２２６】
ステップＳ３３において、クラスタリング部９２は、フィルタリング部９１から供給されてきたID加工データに基づいて、各ウインドウにおいて主に認識されたのがどのIDであるのを判断し、各ウインドウをカテゴリに分ける。
【０２２７】
また、クラスタリング部９２は、ステップＳ３４において、ステップＳ３３の処理の結果に基づいて、同じカテゴリのウインドウが所定の数だけ連続しているか否かを判断し、連続している場合、それらの連続するウインドウを「まとまり」とする。上述したように、ここで生成されるまとまりを構成する最小のウインドウの数は粒度によって定まる。クラスタリング部９２のクラスタリングの結果はファイル生成部９３に出力される。
【０２２８】
ステップＳ３５において、ファイル生成部９３は、クラスタリング部９２によるクラスタリング結果に基づいてシーン同士のリンク付けを行い、そのリンク付けの結果と、クラスタリング結果を記述するメタデータファイルを生成する。ファイル生成部９３により生成されたメタデータファイルは再生制御部８３に出力される。
【０２２９】
次に、図３４乃至図３８のフローチャートを参照して、シーン判定部８２の処理についてより詳細に説明する。
【０２３０】
ステップＳ５１において、フィルタリング部９１は、取り込み部８１から供給されてきたID生データを取得し、ステップＳ５２に進み、ID生データに記録されている全IDを探し出す。例えば、図１に示すように、ID「０」乃至「２」が割り当てられているセンサバッジ４を付けている子供３を撮影したものがパーソナルコンピュータ２に取り込まれた場合、ここでは、ID「０」乃至「２」の３つのIDが探し出される。探し出されたIDの数がMAXIDの値として設定される。
【０２３１】
ステップＳ５３において、フィルタリング部９１は、MAXIDに設定されている値が０より大きい（０含まず）か否かを判定し、０より大きくない（０である）と判定した場合、処理を終了させる。
【０２３２】
一方、フィルタリング部９１は、ステップＳ５３において、MAXIDに設定されている値が０より大きいと判定した場合、ステップＳ５４に進み、ID生データに記録されているIDを１つ選択する。
【０２３３】
ステップＳ５５において、フィルタリング部９１は、選択した１つのIDの認識結果を時系列的に並べ、図１６を参照して説明したような「太らせる処理」をＸ回（Ｘ＞０）だけ繰り返す。
【０２３４】
ステップＳ５６において、フィルタリング部９１は、ステップＳ５５で行われた「太らせる処理」により得られたIDの時系列に対して、図１７を参照して説明したような「痩せさせる処理」をＸ回だけ繰り返す。
【０２３５】
このステップＳ５５およびＳ５６の処理により、ステップＳ５４で選択された１つのIDについて穴埋め（図１８）が施される。
【０２３６】
フィルタリング部９１は、ステップＳ５７において、穴埋めされたIDの時系列に対して、次に、「痩せさせる処理」をＸ回だけ繰り返す。
【０２３７】
フィルタリング部９１は、ステップＳ５８において、ステップＳ５７で行われた「痩せさせる処理」により得られたIDの時系列に対して「太らせる処理」をＸ回だけ繰り返す。
【０２３８】
このステップＳ５７およびＳ５８の処理により、ステップＳ５４で選択された１つのIDについてノイズの除去（図１９）が施される。
【０２３９】
フィルタリング部９１は、１つのIDに加工を施した後、ステップＳ５９に進み、いままで選択していたIDの次のIDを選択する。
【０２４０】
ステップＳ６０において、フィルタリング部９１は、ID生データに記録されている全てのIDに穴埋めとノイズ除去の処理を施したか否か、すなわち、これまでに選択したIDの数がMAXIDに設定されている値を超えたか否かを判定し、これまでに選択したIDの数がMAXIDに設定されている値を超えていないと判定した場合、ステップＳ５５に戻り、それ以降の処理を繰り返す。
【０２４１】
一方、フィルタリング部９１は、ステップＳ６０において、これまでに選択したIDの数がMAXIDに設定されている値を超えたと判定した場合、ステップＳ６１に進む。このとき、フィルタリング部９１の処理により得られたID加工データがクラスタリング部９２に供給される。
【０２４２】
ステップＳ６１において、クラスタリング部９２は、フィルタリング部９１から供給されてきたID加工データ（ローパスフィルタ通過後のID加工データ）に記録されている全てのIDを探し出し、記録されているIDの数をMAXIDの値として設定する。
【０２４３】
ステップＳ６２において、クラスタリング部９２は、MAXIDに設定されている値が０より大きいか否かを判定し、０より大きくないと判定した場合、処理を終了させる。
【０２４４】
一方、クラスタリング部９２は、ステップＳ６２において、MAXIDに設定されている数が０より大きいと判定した場合、ステップＳ６３に進む。ステップＳ６３以降の図３５の処理が、カテゴリ０のクラスタリングに相当する。
【０２４５】
ステップＳ６３において、クラスタリング部９２は、ID加工データに記録されているIDの時系列の先頭から順に注目し、認識結果を確認する。例えば、図２３に示すように、「うちの子供」のIDの時系列と、「よその子供」のIDの時系列が選択され、先頭の認識時間Ｔ0から順に認識結果が確認される。
【０２４６】
クラスタリング部９２は、ステップＳ６４において、注目している認識時間にID_P番のIDが認識されているか否かを判定する。クラスタリングは重要度の高いカテゴリから行われるから、ここでは、重要度の最も高いIDである「うちの子供」のID「０」がID_P番とされ、判定が行われる。例えば、図２０に示すようにカテゴリの意味が設定されている場合、カテゴリ０が重要度の最も高いカテゴリであり、ここでの判定は、「うちの子供」が映っているか否か、すなわち、「うちの子供」に割り当てられているID「０」が、注目している認識時間に認識されているか否かに基づいて行われる。
【０２４７】
ステップＳ６４において、クラスタリング部９２は、注目している認識時間にID_P番のIDが認識されていると判定した場合、ステップＳ６５に進み、１つのウインドウ内で、ID_P番のIDが認識された数を表すカウンタNUMの値に１を加算する。ステップＳ６４において、注目している認識時間にID_P番のIDが認識されていないと判定された場合、ステップＳ６５の処理はスキップされる。
【０２４８】
ステップＳ６６において、クラスタリング部９２は、注目した認識時間の数（確認した認識結果の数）が最小のウインドウサイズに達したか否かを判定する。
【０２４９】
クラスタリング部９２は、ステップＳ６６において、注目した認識時間の数が最小のウインドウサイズに達していないと判定した場合、いま注目している認識時間の次の認識時間に注目し、ステップＳ６４以降の処理を繰り返す。
【０２５０】
ステップＳ６６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したと判定した場合、ステップＳ６７に進み、カウンタNUMの値が０より大きいか否かを判定する。
【０２５１】
ステップＳ６７において、クラスタリング部９２は、カウンタNUMの値が０より大きい、すなわち、１つのウインドウに、ID_P番のIDが認識された時間が含まれていると判定した場合、ステップＳ６８に進み、そのウインドウのカテゴリをカテゴリ０として判断する。上述したように、重要度の最も高いIDが１つのウインドウ内で認識されている場合、そのウインドウのカテゴリはカテゴリ０として判断される。
【０２５２】
ステップＳ６９において、クラスタリング部９２は、それまでに判断した各ウインドウのカテゴリを参照して、カテゴリ０のウインドウが連続してＺ個（Ｚ＞０）続いたか否かを判定する。値Ｚには、例えば、まとまりの粒度に応じた値が設定される。
【０２５３】
クラスタリング部９２は、ステップＳ６９において、カテゴリ０のウインドウが連続してＺ個続いたと判定した場合、ステップＳ７０に進み、その、連続するカテゴリ０のウインドウを１つの「まとまり」として判断し、まとまりの長さ（時間）を記憶する。
【０２５４】
ステップＳ６７においてカウンタNUMの値が０であると判定した場合、ステップＳ６９において、カテゴリ０のウインドウが連続してＺ個続いていないと判定した場合、または、ステップＳ７０において、１つのまとまりの長さを記憶した場合、ステップＳ７１に進み、クラスタリング部９２は、次の認識時間に注目する。
【０２５５】
ステップＳ７２において、クラスタリング部９２は、注目していた認識時間が最終の認識時間であったか否かを判定し、最終の認識時間ではないと判定した場合、ステップＳ６４に戻り、それ以降の処理を繰り返し行う。
【０２５６】
一方、クラスタリング部９２は、ステップＳ７２において、注目していた認識時間が最終の認識時間であったと判定した場合、ステップＳ７３に進む。ステップＳ７３以降の図３６の処理が、カテゴリ１のクラスタリングに相当する。
【０２５７】
ステップＳ７３において、クラスタリング部９２は、ID加工データに記録されているIDの時系列の先頭から順に注目し、認識結果を確認する。
【０２５８】
クラスタリング部９２は、ステップＳ７４において、注目している認識時間にID_P番のIDとともに他のIDも認識されているか否かを判定する。例えば、図２０に示すようにカテゴリの意味が設定されている場合、ここでの判定は、「うちの子供」に割り当てられているID「０」の他に、「よその子供」に割り当てられているID（「Ｂくん」に割り当てられているID「１」、「Ｃくん」に割り当てられているID「２」）が、注目している認識時間に認識されているか否かに基づいて行われる。
【０２５９】
ステップＳ７４において、クラスタリング部９２は、注目している認識時間にID_P番のIDとともに他のIDも含まれていると判定した場合、ステップＳ７５に進み、１つのウインドウ内で、ID_P番のIDと他のIDが認識された認識時間の数を表すカウンタNUMの値に１を加算する。ステップＳ７４において、注目している認識時間にID_P番のIDとともに他のIDが認識されていないと判定された場合、ステップＳ７５の処理はスキップされる。
【０２６０】
ステップＳ７６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したか否かを判定する。
【０２６１】
クラスタリング部９２は、ステップＳ７６において、注目した認識時間の数が最小のウインドウサイズに達していないと判定した場合、いま注目している認識時間の次の認識時間に注目し、ステップＳ７４以降の処理を繰り返す。
【０２６２】
ステップＳ７６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したと判定した場合、ステップＳ７７に進み、カウンタNUMの値が０より大きいか否かを判定する。
【０２６３】
ステップＳ７７において、クラスタリング部９２は、カウンタNUMの値が０より大きい、すなわち、１つのウインドウに、ID_P番のIDと他のIDが認識された認識時間が含まれていると判定した場合、ステップＳ７８に進み、そのウインドウのカテゴリをカテゴリ１として判断する。
【０２６４】
ステップＳ７９において、クラスタリング部９２は、それまでに判断した各ウインドウのカテゴリを参照して、カテゴリ１のウインドウが連続してＺ個続いたか否かを判定する。
【０２６５】
クラスタリング部９２は、ステップＳ７９において、カテゴリ１のウインドウが連続してＺ個続いたと判定した場合、ステップＳ８０に進み、その、連続するカテゴリ１のウインドウを１つの「まとまり」として判断し、まとまりの長さ（時間）を記憶する。
【０２６６】
ステップＳ７７においてカウンタNUMの値が０であると判定した場合、ステップＳ７９において、カテゴリ０のウインドウが連続してＺ個続いていないと判定した場合、または、ステップＳ８０において１つのまとまりの長さを記憶した場合、ステップＳ８１に進み、クラスタリング部９２は、次の認識時間に注目する。
【０２６７】
ステップＳ８２において、クラスタリング部９２は、注目していた認識時間が最終の認識時間であったか否かを判定し、最終の認識時間ではないと判定した場合、ステップＳ７４に戻り、それ以降の処理を繰り返し行う。
【０２６８】
一方、クラスタリング部９２は、ステップＳ８２において、注目していた認識時間が最終の認識時間であると判定した場合、ステップＳ８３に進む。ステップＳ８３以降の図３７の処理が、カテゴリ２のクラスタリングに相当する。
【０２６９】
ステップＳ８３において、クラスタリング部９２は、ID加工データに記録されているIDの時系列の先頭から順に注目し、認識結果を確認する。
【０２７０】
クラスタリング部９２は、ステップＳ８４に進み、注目している認識時間にID_P番以外のIDのみが認識されているか否かを判定する。例えば、図２０に示すようにカテゴリの意味が設定されている場合、ここでの判定は、「うちの子供」に割り当てられているID「０」以外の、「よその子供」に割り当てられているIDのみが、注目している認識時間に認識されているか否かに基づいて行われる。
【０２７１】
ステップＳ８４において、クラスタリング部９２は、注目している認識時間にID_P番以外のIDのみが認識されていると判定した場合、ステップＳ８５に進み、１つのウインドウの内で、ID_P番以外のIDのみが認識された認識時間の数を表すカウンタNUMの値に１を加算する。ステップＳ８４において、注目している認識時間にID_P番以外のIDのみが認識されていないと判定された場合、ステップＳ８５の処理はスキップされる。
【０２７２】
ステップＳ８６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したか否かを判定する。
【０２７３】
クラスタリング部９２は、ステップＳ８６において、注目した認識時間の数が最小のウインドウサイズに達していないと判定した場合、いま注目している認識時間の次の認識時間に注目し、ステップＳ８４以降の処理を繰り返す。
【０２７４】
ステップＳ８６において、クラスタリング部９２は、注目した認識時間の数が最小のウインドウサイズに達したと判定した場合、ステップＳ８７に進み、カウンタNUMの値が、１つのウインドウを構成する認識時間の数の半分以上の値であるか否かを判定する。
【０２７５】
ステップＳ８７において、クラスタリング部９２は、カウンタNUMの値が、１つのウインドウを構成する認識時間の数の半分以上の値であると判定した場合、すなわち、１つのウインドウの時間の半分以上の時間において、「よその子供」のIDだけが認識されている場合、ステップＳ８８に進み、そのウインドウのカテゴリをカテゴリ２として判断する。
【０２７６】
ステップＳ８９において、クラスタリング部９２は、それまでに判断した各ウインドウのカテゴリを参照して、カテゴリ２のウインドウが連続してＺ個続いたか否かを判定する。
【０２７７】
クラスタリング部９２は、ステップＳ８９において、カテゴリ２のウインドウが連続してＺ個続いたと判定した場合、ステップＳ９０に進み、その、連続するカテゴリ２のウインドウを１つの「まとまり」として判断し、まとまりの長さ（時間）を記憶する。
【０２７８】
ステップＳ８７において、１つのウインドウの時間の半分以上の時間において「よその子供」のIDだけが認識されていないと判定した場合、ステップＳ８９において、カテゴリ２のウインドウが連続してＺ個続いていないと判定した場合、または、ステップＳ９０において、１つのまとまりの長さを記憶した場合、ステップＳ９１に進み、クラスタリング部９２は、次の認識時間に注目する。
【０２７９】
ステップＳ９２において、クラスタリング部９２は、注目していた認識時間が最終の認識時間であったか否かを判定し、最終の認識時間ではないと判定した場合、ステップＳ８４に戻り、それ以降の処理を繰り返し行う。
【０２８０】
一方、クラスタリング部９２は、ステップＳ９２において、注目していた認識時間が最終の認識時間であったと判定した場合、ステップＳ９３に進む。以上のようなクラスタリング部９２によるクラスタリングの結果はファイル生成部９３に供給される。
【０２８１】
ステップＳ９３において、ファイル生成部９３は、クラスタリング部９２によるクラスタリングの結果に基づいて、それぞれのまとまりがどのカテゴリ（クラスタ）に属しているのかをメタデータファイルに書き出す。これにより、例えば、図３１に示すような「ClusterData」が書き出される。
【０２８２】
ファイル生成部９３は、ステップＳ９４に進み、カテゴリ０，１，２のそれぞれにおいて、記憶していたまとまりの長さを比較し、例えば、最も長いものから上位３つのまとまりを選択する。
【０２８３】
ステップＳ９５において、ファイル生成部９３は、それぞれのまとまりに対応するシーンがどのカテゴリに属するものであるのかを参照し、それぞれのカテゴリ毎に、長さの長いまとまりの上位３つをリンクポイントとしてメタデータファイルに書き出す。これにより、例えば、図３２に示すような「LinkData」が書き出される。
【０２８４】
図３８の処理によりファイル生成部９３により生成されたメタデータファイルは、再生制御部８３に供給され、動画の再生に用いられる。なお、図３８においては、「ClusterData」と「LinkData」のみが書き出されているが、図２９、図３０に示す他の情報もファイル生成部９３によってメタデータファイルに書き出される。
【０２８５】
次に、以上のようにしてシーン判定部８２により生成されたメタデータファイルに基づいて動画の再生を行う図１２の再生制御部８３について説明する。
【０２８６】
図３９は、再生制御部８３の機能構成例を示すブロック図である。
【０２８７】
再生制御部８３は、制御部１０１、再生部１０２、およびクラスタ分布表示制御部１０３から構成される。
【０２８８】
制御部１０１は、取り込み部８１から供給されてきた画像（動画）を取得し、シーン判定部８２から供給されてくるメタデータファイルの記述とユーザ操作に基づいて、供給されてきた画像のうちの必要な画像を選択する。制御部１０１は、あるクラスタがユーザにより指定されたとき、そのクラスタに属する画像のみを選択し、選択した画像を再生対象の画像として再生部１０２に出力する。
【０２８９】
例えば、図３０および図３１の記述がメタデータファイルに含まれており、ユーザにより、クラスタの粒度として「ClusterDepth0」が選択され、また、再生するクラスタとして「ClusterTitle0=Ａ」のクラスタが選択されている場合、制御部１０１は、その選択されたクラスタに属する画像であるフレームナンバ０の画像から再生部１０２に供給し、再生させる。
【０２９０】
再生部１０２は、制御部１０１から供給されてきた画像を再生し、表示部３７の所定の位置に表示させる。
【０２９１】
クラスタ分布表示制御部１０３は、シーン判定部８２から供給されてきたメタデータファイルに含まれるクラスタに関する記述に基づいて、クラスタの時間軸上の分布を表示部３７に表示させる。
【０２９２】
図４０は、再生制御部８３により表示される画面の例を示す図である。
【０２９３】
左上方の動画表示部１１１には、再生部１０２により再生されている画像が表示され、下方にあるクラスタ分布表示部１１５には、例えば、ユーザが選択したクラスタナンバ（カテゴリの番号（上述した例の場合、カテゴリ０，１，２，３））のクラスタの時間軸上の分布（例えば、「うちの子供」が映っているシーンのまとまりの分布、「うちの子供」と「よその子供」が映っているシーンのまとまりの分布）が表示される。クラスタ分布表示部１１５に表示されるクラスタのうち、現在、再生対象になっているクラスタは、例えば、再生対象となっていないクラスタと異なる色によって表示される。
【０２９４】
図４０の例においては、クラスタ分布表示部１１５に表示されるクラスタのうち、クラスタＣ1が、現在、再生対象になっているクラスタである。すなわち、図４０の動画表示部１１１に表示されている画像はクラスタＣ1に属する画像である。
【０２９５】
例えば、現在再生されているクラスタＣ1の最後の画像の再生が終了したとき、次に、クラスタＣ1の右隣に、所定の間隔だけ空けて表示されているクラスタＣ2の最初の画像から再生が開始される。クラスタＣ1とクラスタＣ2は、同じクラスタナンバのクラスタである。
【０２９６】
これにより、ユーザは、「うちの子供」だけが映っているシーン、または、「うちの子供」と「よその子供」が映っているシーンといったように、自分が選択したシーンだけを連続して見ることができる。
【０２９７】
また、ユーザは、現在再生中のクラスタとは異なるクラスタをクラスタ分布表示部１１５から選択することによって、その選択したクラスタの再生を開始させることができる。
【０２９８】
なお、複数のクラスタナンバのクラスタの分布を表示することがユーザにより指定されている場合、クラスタ分布表示部１１５には、それぞれのクラスタナンバのクラスタの分布が、クラスタナンバ毎に色分けして表示される。
【０２９９】
図４０の画面には、各種の操作ボタンが表示される操作ボタン表示部１１２、クラスタの粒度、および再生対象とするクラスタを選択するクラスタ選択部１１３、および、再生中のクラスタに関する情報を表示するクラスタ情報表示部１１４も表示されている。
【０３００】
操作ボタン表示部１１２に表示されるファイル選択ボタン１２１は、ユーザが動画ファイルを選択するとき操作され、再生／一時停止ボタン１２２は、ユーザが再生を開始、または一時停止するとき操作される。また、移動ボタン１２３は、再生するクラスタを、現在再生中のものから隣のものに移動するとき操作され、速度選択ボタン１２４は、再生速度を選択するとき操作される。
【０３０１】
クラスタ選択部１１３に表示される粒度選択部１３１は、ユーザがクラスタの粒度を指示するとき操作され、クラスタ選択部１３２，１３３は、再生対象とするクラスタを指示するとき操作される。
【０３０２】
なお、再生対象とするクラスタ（まとまり）は、例えば、図４１に示すような画面から選択されるようにしてもよい。
【０３０３】
図４１の画面には、上から、「Ａくんだけ」の文字が表示されたカテゴリ選択ボタン１４１、「Ａくんとよその子」の文字が表示されたカテゴリ選択ボタン１４２、「よその子だけ」の文字が表示されたカテゴリ選択ボタン１４３、および、「誰もいない／バッジを持たない人」の文字が表示されたカテゴリ選択ボタン１４４が表示されている。各ボタンに表示されている名前等は、ユーザによる設定（IDとの対応付け）に基づいて表示される。
【０３０４】
例えば、カテゴリ選択ボタン１４１が押下された場合、「Ａくん」だけが映っている画像のまとまりであるカテゴリ０のまとまりだけが再生される。このとき、クラスタ分布表示部１１５には、カテゴリ０のまとまりの分布が表示される。
【０３０５】
また、カテゴリ選択ボタン１４２が押下された場合、「Ａくん」と「よその子」（「Ｂくん」、「Ｃくん」）が映っている画像のまとまりであるカテゴリ１のまとまりだけが再生される。このとき、クラスタ分布表示部１１５には、カテゴリ１のまとまりの分布が表示される。
【０３０６】
同様に、カテゴリ選択ボタン１４３が押下された場合、クラスタ分布表示部１１５にはカテゴリ２のまとまりの分布が表示されるとともに、「よその子」だけが映っている画像のまとまりであるカテゴリ２のまとまりだけが再生され、カテゴリ選択ボタン１４４が押下された場合、クラスタ分布表示部１１５にはカテゴリ３のまとまりの分布が表示されるとともに、誰も映っていないか、センサバッジ４を付けていた「Ａくん」、「Ｂくん」、「Ｃくん」が映っていない画像のまとまりであるカテゴリ３のまとまりだけが再生される。
【０３０７】
このような画面が表示されることにより、ユーザは、直感的に、再生するクラスタを選択することができる。
【０３０８】
次に、図４２のフローチャートを参照して、図４０の画面を表示して動画の再生を行う再生制御部８３の再生処理について説明する。
【０３０９】
ステップＳ１１１において、制御部１０１は、シーン判定部８２から供給されてきたメタデータファイルを読み込み、ステップＳ１１２に進み、ユーザによるClusterDepth（粒度）の指定を受け付ける。例えば、動画表示部１１１、クラスタ分布表示部１１５に何も表示されていない状態の図４０の画面が表示され、ユーザが、粒度選択部１３１にClusterDepthを指定することができるようになされる。
【０３１０】
ステップＳ１１３において、制御部１０１は、ユーザにより指定されたClusterDepthが、メタデータファイルの記述と矛盾しないか否かを判定し、矛盾すると判定した場合、ステップＳ１１２に戻り、それ以降の処理を行う。
【０３１１】
例えば、メタデータファイルに記述されているClusterDepthが、「粗い」、「中くらい」、「細かい」の３つであるにも関わらず、ユーザにより、「粗い」、「中くらい」、「細かい」以外の粒度が指定された場合、指定された粒度と、メタデータファイルの記述が矛盾するとして判定される。
【０３１２】
制御部１０１は、ステップＳ１１３において、ユーザにより指定されたClusterDepthがメタデータファイルの記述と矛盾しないと判定した場合、ステップＳ１１４に進み、クラスタナンバの指定を受け付ける。
【０３１３】
ステップＳ１１５において、制御部１０１は、ユーザにより指定されたクラスタナンバが、メタデータファイルの記述と矛盾しないか否かを判定し、矛盾すると判定した場合、ステップＳ１１４に戻り、それ以降の処理を行う。
【０３１４】
例えば、メタデータファイルに記述されているクラスタナンバが、クラスタ０，１，２，３（カテゴリ０，１，２，３）の４つであるにも関わらず、ユーザにより、それ以外のクラスタナンバが指定された場合、指定されたクラスタナンバと、メタデータファイルの記述が矛盾するとして判定される。
【０３１５】
ステップＳ１１５において、ユーザにより指定されたクラスタナンバがメタデータファイルの記述と矛盾しないと判定した場合、制御部１０１は、ステップＳ１１６に進み、メタデータファイルのクラスタに関する記述のうち、ユーザにより指定されたClusterDepthの記述を参照し、指定されたクラスタナンバのクラスタをリンク付けする。
【０３１６】
例えば、図３１のClusterDataの記述があり、ユーザによりClusterDepth0、クラスタナンバ１が指定されている場合、第１行目、第４行目、第１１行目、第１４行目のClusterDepth0に関する記述が参照される。また、ClusterDepth0のときのクラスタナンバ１のクラスタが、フレームナンバ０から４４２までのクラスタ（第１行目と第４行目の記述により定められるクラスタ）以外にもある場合、それらのクラスタがリンク付けされる。制御部１０１によりリンク付けされたクラスタの情報は、制御部１０１からクラスタ分布表示制御部１０３に供給される。
【０３１７】
ステップＳ１１７において、クラスタ分布表示制御部１０３は、制御部１０１から供給されてきた情報に基づいて、ユーザにより指定されたクラスタナンバのクラスタの時間軸上の分布をクラスタ分布表示部１１５に表示させる。
【０３１８】
ステップＳ１１８において、制御部１０１は、再生対象とするクラスタを表すクラスタインデックスの値に０を設定する。クラスタインデックスの値０は、例えば、クラスタ分布表示部１１５に表示されるクラスタのうちの最も左側に表示されるクラスタを表す。
【０３１９】
また、制御部１０１は、ステップＳ１１９において、クラスタ分布表示制御部１０３を制御し、クラスタ分布表示部１１５に表示されている再生対象のクラスタの色を例えば赤色などで強調して表示させる。
【０３２０】
ステップＳ１２０において、制御部１０１は、撮影画像の中から選択したクラスタインデックスの値０のクラスタに属する画像を再生部１０２に供給し、その画像の再生を行わせる。
【０３２１】
制御部１０１は、いま再生しているクラスタの最後のフレームまでを再生させた場合、ステップＳ１２１において、クラスタインデックスの値を１だけインクリメントし、ステップＳ１２２に進み、最後のクラスタの最後のフレームまで再生したか否かを判定する。
【０３２２】
制御部１０１は、ステップＳ１２２において、最後のクラスタの最後のフレームまで再生していないと判定した場合、ステップＳ１１９に戻り、それ以降の処理を繰り返し実行し、最後のクラスタの最後のフレームまで再生したと判定した場合、処理を終了させる。
【０３２３】
以上の処理により、ユーザは、自分が指定したカテゴリの画像を、所定のまとまり毎に見ることができる。
【０３２４】
以上においては、図２９乃至図３２のメタデータファイルの記述のうちの、クラスタに関する記述（図３１のClusterData）に基づいて画像が再生される場合について主に説明したが、次に、リンク付けに関する記述、すなわち、図３２のLinkDataに基づいて撮影画像の再生を行う再生制御部８３の構成、動作について説明する。
【０３２５】
図４３は、再生制御部８３の他の構成例を示すブロック図である。図３９と同じ構成には同じ符号を付してある。
【０３２６】
制御部１０１は、取り込み部８１から供給されてきた画像を取得し、シーン判定部８２から供給されてきたメタデータファイルのうちのリンク付けに関する記述とユーザ操作に基づいて、取得した画像うちの必要な画像を選択する。制御部１０１は、再生対象とする画像を再生部１０２に出力するともに、再生部１０２により再生されている画像のリンク先の画像を、取り込み部８１から供給されてきた画像の中から選択し、選択したリンク先の画像をリンク先表示部１５１に出力する。
【０３２７】
例えば、図３２のLinkDataの記述を含むメタデータファイルが供給されている場合において、フレームナンバ０の画像が再生部１０２により再生されているとき、制御部１０１は、その画像のリンク先であるフレームナンバ２４５２，５５６４，３４３（「family.mpg」の名前が設定されたファイルにある画像）の画像を選択し、それらをリンク先表示部１５１に出力する。
【０３２８】
再生部１０２は、制御部１０１から供給されてきた画像を再生し、それを表示部３７の所定の位置に表示させる。
【０３２９】
リンク先表示部１５１は、制御部１０１から供給されてきたリンク先の画像を、再生部１０２により表示されている再生中の画像の位置と異なる位置に表示させる。
【０３３０】
図４４は、図４３の再生制御部８３により表示される画面の例を示す図である。
【０３３１】
中央上方の動画表示部１６１には、再生部１０２により再生されている画像（ユーザにより選択された動画）が表示され、画面の下方のリンク先表示部１６３−１乃至１６３−３には、そのとき動画表示部１６１に表示されている画像のリンク先の画像が表示される。再生中の画像に応じてリンク先が異なるから、リンク先表示部１６３−１乃至１６３−３の表示は、適宜、そのときの動画表示部１６１の表示に連動して切り替わることになる。
【０３３２】
これにより、再生制御部８３は、再生中のシーンとは別に、その、再生中のシーンに映っている子供と同じ子供が映っている、ある程度の長さのある他のシーンを提示することができる。
【０３３３】
また、図４４の画面においては、ユーザは、リンク先表示部１６３−１乃至１６３−３に表示されている画像を選択することによって、その画像の位置から、動画の再生を開始させることができるようになされている。例えば、リンク先表示部１６３−１に表示されている画像が選択された場合、その画像を先頭の画像とするまとまりが再生され、再生された画像が動画表示部１６１に表示される。
【０３３４】
なお、リンク先表示部１６３−１乃至１６３−３の表示は、リンク先の静止画、動画のいずれが表示されるようにしてもよい。動画が表示される場合、例えば、リンク先とされている画像以降の所定の時間のシーンが表示される。
【０３３５】
動画表示部１６１とリンク先表示部１６３−１乃至１６３−３の間にあるスライドバー１６２は、ユーザが再生対象として選択した動画ファイル全体のうちの、現在の再生位置を表す。ユーザは、このスライドバー１６２を操作することによっても再生位置を替えることができる。
【０３３６】
次に、図４５のフローチャートを参照して、図４３の再生制御部８３の再生処理について説明する。
【０３３７】
ステップＳ１３１において、再生制御部８３の制御部１０１は、取り込み部８１から供給されてくる画像を取得し、例えば、取得した画像の先頭から、順次、それを再生部１０２に出力する。
【０３３８】
制御部１０１は、ステップＳ１３２において、シーン判定部８２から供給されてきたリンクデータを参照し、取り込み部８１から供給されてきた画像の中から、現在の再生対象の画像のリンク先の画像を選択する。制御部１０１により選択されたリンク先の画像はリンク先表示部１５１に出力される。なお、そのとき再生対象とされている画像にリンク先がない場合、リンク先表示部１５１にリンク先の画像は出力されない。
【０３３９】
ステップＳ１３３において、再生部１０２は、制御部１０１から供給されてきた画像の再生を開始し、表示部３７の所定の位置に表示させる。
【０３４０】
一方、リンク先表示部１５１は、ステップＳ１３４において、制御部１０１から供給されてきたリンク先の画像を表示部３７の所定の位置に表示させる。これにより、表示部３７には、例えば、図４４の画面が表示される。
【０３４１】
ステップＳ１３５において、制御部１０１は、現在、再生部１０２により再生されている画像のリンク先の画像が、リンク先表示部１６３−１乃至１６３−３に表示されている画像と異なるか否かを判定する。すなわち、ステップＳ１３３で再生が開始された後、再生対象の画像は時間の経過とともに順次変わるから、現在、再生対象とされている画像のリンク先の画像がリンク先表示部１６３−１乃至１６３−３に正しく表示されているか否かが判定される。
【０３４２】
ステップＳ１３５において、制御部１０１は、再生部１０２により再生対象とされている画像のリンク先の画像が、リンク先表示部１６３−１乃至１６３−３に表示されている画像と異なると判定した場合、ステップＳ１３６に進む。
【０３４３】
ステップＳ１３６において、制御部１０１は、リンク先の画像として新たに表示させる画像をリンク先表示部１５１に供給し、リンク先表示部１６３−１乃至１６３−３の表示を変更させる。これにより、再生中の画像に連動して、リンク先の画像の表示が切り替えられる。
【０３４４】
ステップＳ１３５において、現在再生中の画像のリンク先の画像が正しくリンク先表示部１６３−１乃至１６３−３に表示されていると判定された場合、ステップＳ１３６の処理はスキップされる。
【０３４５】
ステップＳ１３７において、制御部１０１は、ユーザ操作に基づいて、リンク先表示部１６３−１乃至１６３−３に表示しているリンク先の画像が選択され、再生対象をリンク先の画像以降に変更することが指示されたか否かを判定し、指示されたと判定した場合、ステップＳ１３８に進む。
【０３４６】
ステップＳ１３８において、制御部１０１は、ユーザによりリンク先の画像が選択された場合、その選択されたリンク先以降の画像を再生部１０２に供給し、再生を開始させる。このとき、それまで再生されていたまとまりの再生は終了され、新たに選択されたリンク先以降のまとまりの再生が開始される。
【０３４７】
ステップＳ１３７において、リンク先が選択されていないと判定された場合、ステップＳ１３８の処理はスキップされる。
【０３４８】
ステップＳ１３９において、制御部１０１は、再生を終了するか否かを判定し、終了しないと判定した場合、ステップＳ１３５に戻り、それ以降の処理を繰り返す。例えば、ユーザにより再生の停止が指示された場合、または、ユーザにより選択された動画の最後の画像まで再生した場合、制御部１０１は、ステップＳ１３９において、再生を終了すると判定し、処理を終了させる。
【０３４９】
以上においては、ビデオカメラ１では撮影とID生データの取得のみが行われ、ID生データを用いたメタデータファイルの生成と、生成したメタデータに基づく動画の再生はパーソナルコンピュータ２において行われるとしたが、メタデータの生成までがビデオカメラ１により行われるようにしてもよい。
【０３５０】
図４６は、本発明を適用した撮影・表示システムの他の構成例を示す図である。
【０３５１】
図４６のビデオカメラ３０１においては、再生対象となる画像の撮影と、ID認識用の画像の撮影が行われ、撮影して得られたID生データを用いて、図２８乃至図３１に示すメタデータファイルが生成され、再生対象となる画像とともに内蔵の記憶部に記憶される。
【０３５２】
一方、図４６の矢印で示すように、ビデオカメラ３０１から画像とメタデータファイルを取り込んだプレーヤ３０２においては、メタデータファイルに基づいて、上述したような、ClusterDataを用いたクラスタ毎の再生、LinkDataを用いたジャンプ再生（再生対象のまとまりの変更）が行われる。
【０３５３】
図４７は、図４６のビデオカメラ３０１の構成例を示すブロック図である。
【０３５４】
ビデオカメラ３０１は、ビデオカメラ部３１１と情報処理部３１２から構成される。このうちのビデオカメラ部３１１は、図９の構成と同様の構成を有する。すなわち、ビデオカメラ部３１１は、レンズ６１を介して撮影された再生対象となる画像とともに、撮影した画像から認識したID生データを記憶部６４に記憶させる。
【０３５５】
情報処理部３１２は、図１４の構成と同様の構成を有する。すなわち、情報処理部３１２は、ビデオカメラ部３１１に記憶されているID生データを読み出し、IDの認識結果に対してフィルタリング、クラスタリングを施すことによって得られたクラスタリングの結果を表す情報、リンク付けの情報を含むメタデータファイルを生成する。生成されたメタデータファイルは、ビデオカメラ部３１１に供給され、再生対象となる画像とともに記憶される。
【０３５６】
記憶部６４に記憶されている撮影画像列とメタデータファイルは、所定のタイミングで、有線または無線を介してプレーヤ３０２に取り込まれる。
【０３５７】
図４８は、図４６のプレーヤ３０２の機能構成例を示すブロック図である。プレーヤ３０２は、図６のパーソナルコンピュータ２の構成と同様の構成を有しており、そのCPUにより所定のプログラムが実行されることで図４８の各構成のうちの少なくとも一部が実現される。
【０３５８】
図４８に示すように、プレーヤ３０２には、メタデータを生成するための構成である、図１２のシーン判定部８２以外の構成が含まれる。
【０３５９】
取り込み部８１は、ビデオカメラ３０１から取り込んだ画像とメタデータファイルを再生制御部８３に出力する。取り込み部８１から再生制御部８３に供給される、ビデオカメラ３０１により生成されたメタデータファイルは、図２９乃至図３２に示すものと同様のものであり、再生制御部８３においては、取り込み部８１から供給されてきたメタデータファイルに基づいて、ClusterDataを用いたクラスタ毎の再生、LinkDataを用いたジャンプ再生が行われる。
【０３６０】
例えば、カメラ側でメタデータが生成されることにより、ユーザは、画像とともに再生側の機器にそれを取り込むだけで、メタデータに基づく再生を行わせることができる。
【０３６１】
このように、図１２に示す構成のうち、シーン判定部８２は撮影側の構成とするように、構成の配置は適宜変更可能である。
【０３６２】
また、反対に、撮影側の構成であるDSP６３などが再生側の構成として設けられるようにしてもよい。この場合、撮影側ではIDは認識されず、IDを認識するために認識画像撮影領域７２により撮影された画像は、再生対象となる動画撮影領域７１により撮影された画像とともに記憶部６４に記憶される。それらの画像を取り込んだ再生側においては、認識画像撮影領域７２により撮影された画像に基づくIDの認識、認識したIDに基づくメタデータファイルの生成等が行われ、動画撮影領域７１により撮影された画像の再生がメタデータファイルに基づいて行われる。
【０３６３】
さらに、以上においては、メタデータファイルは、撮影された画像を再生するために用いられるとしたが、例えば、ユーザが、まとまり単位で、撮影された画像をDVDなどの記憶メディアに記憶させたり、ネットワークを介して他の装置に送信したり、或いは、編集等を行うことができるようにしてもよい。
【０３６４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０３６５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記憶媒体からインストールされる。
【０３６６】
この記憶媒体は、図６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記憶されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（登録商標）(Mini-Disk)を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記憶されているROM３２や、記憶部３８に含まれるハードディスクなどで構成される。
【０３６７】
なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３６８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
【図面の簡単な説明】
【０３６９】
【図１】本発明を適用した撮影・表示システムの構成例を示す図である。
【図２】パーソナルコンピュータの再生機能について示す図である。
【図３】ユーザの操作について説明するフローチャートである。
【図４】図１のセンサバッジの構成例を示すブロック図である。
【図５】マイクロコンピュータの構成例を示すブロック図である。
【図６】図１のパーソナルコンピュータの構成例を示すブロック図である。
【図７】パーソナルコンピュータの機能構成例を示すブロック図である。
【図８】パーソナルコンピュータの名前設定処理について説明するフローチャートである。
【図９】図１のビデオカメラの構成例を示すブロック図である。
【図１０】ビデオカメラの撮影処理について説明するフローチャートである。
【図１１】IDの認識結果の例を示す図である。
【図１２】パーソナルコンピュータの機能構成例を示すブロック図である。
【図１３】IDの認識時間と、撮影された画像の関係を示す図である。
【図１４】図１２のシーン判定部の構成例を示すブロック図である。
【図１５】フィルタリングの例を示す図である。
【図１６】フィルタリングの他の例を示す図である。
【図１７】フィルタリングのさらに他の例を示す図である。
【図１８】フィルタリングの例を示す図である。
【図１９】フィルタリングの他の例を示す図である。
【図２０】カテゴリの意味の例を示す図である。
【図２１】クラスタリングの順番の例を示す図である。
【図２２】クラスタリングの例を示す図である。
【図２３】クラスタリングの他の例を示す図である。
【図２４】クラスタリングのさらに他の例を示す図である。
【図２５】クラスタリングの例を示す図である。
【図２６】メタデータファイルに記述される情報の例を示す図である。
【図２７】メタデータファイルに記述される情報の他の例を示す図である。
【図２８】メタデータファイルに記述される情報のさらに他の例を示す図である。
【図２９】メタデータファイルの記述の例を示す図である。
【図３０】図２９に続くメタデータファイルの記述の例を示す図である。
【図３１】図３０に続くメタデータファイルの記述の例を示す図である。
【図３２】図３１に続くメタデータファイルの記述の例を示す図である。
【図３３】パーソナルコンピュータの処理について簡単に説明するフローチャートである。
【図３４】シーン判定部のシーン判定処理について説明するフローチャートである。
【図３５】シーン判定部のシーン判定処理について説明する、図３４に続くフローチャートである。
【図３６】シーン判定部のシーン判定処理について説明する、図３５に続くフローチャートである。
【図３７】シーン判定部のシーン判定処理について説明する、図３６に続くフローチャートである。
【図３８】シーン判定部のシーン判定処理について説明する、図３７に続くフローチャートである。
【図３９】図１２の再生制御部の機能構成例を示すブロック図である。
【図４０】図３９の再生制御部により表示される画面の例を示す図である。
【図４１】カテゴリの選択画面の例を示す図である。
【図４２】図３９の再生制御部の再生処理について説明するフローチャートである。
【図４３】図１２の再生制御部の他の機能構成例を示すブロック図である。
【図４４】図４３の再生制御部により表示される画面の例を示す図である。
【図４５】図４３の再生制御部の再生処理について説明するフローチャートである。
【図４６】本発明を適用した撮影・表示システムの他の構成例を示す図である。
【図４７】図４６のビデオカメラの構成例を示すブロック図である。
【図４８】図４６のプレーヤの機能構成例を示すブロック図である。
【符号の説明】
【０３７０】
１  ビデオカメラ，  ２  パーソナルコンピュータ，  ４−１乃至４−３  センサバッジ，  ８１  取り込み部，  ８２  シーン判定部，  ８３  再生制御部，  ９１  フィルタリング部，  ９２  クラスタリング部，  ９３  ファイル生成部，  １０１  制御部，  １０２  再生部，  １０３  クラスタ分布表示制御部，  １５１  リンク先表示部
【図１】
2006074463.tif 000003
【図２】
2006074463.tif 000004
【図３】
2006074463.tif 000005
【図４】
2006074463.tif 000006
【図５】
2006074463.tif 000007
【図６】
2006074463.tif 000008
【図７】
2006074463.tif 000009
【図８】
2006074463.tif 000010
【図９】
2006074463.tif 000011
【図１０】
2006074463.tif 000012
【図１１】
2006074463.tif 000013
【図１２】
2006074463.tif 000014
【図１３】
2006074463.tif 000015
【図１４】
2006074463.tif 000016
【図１５】
2006074463.tif 000017
【図１６】
2006074463.tif 000018
【図１７】
2006074463.tif 000019
【図１８】
2006074463.tif 000020
【図１９】
2006074463.tif 000021
【図２０】
2006074463.tif 000022
【図２１】
2006074463.tif 000023
【図２２】
2006074463.tif 000024
【図２３】
2006074463.tif 000025
【図２４】
2006074463.tif 000026
【図２５】
2006074463.tif 000027
【図２６】
2006074463.tif 000028
【図２７】
2006074463.tif 000029
【図２８】
2006074463.tif 000030
【図２９】
2006074463.tif 000031
【図３０】
2006074463.tif 000032
【図３１】
2006074463.tif 000033
【図３２】
2006074463.tif 000034
【図３３】
2006074463.tif 000035
【図３４】
2006074463.tif 000036
【図３５】
2006074463.tif 000037
【図３６】
2006074463.tif 000038
【図３７】
2006074463.tif 000039
【図３８】
2006074463.tif 000040
【図３９】
2006074463.tif 000041
【図４０】
2006074463.tif 000042
【図４１】
2006074463.tif 000043
【図４２】
2006074463.tif 000044
【図４３】
2006074463.tif 000045
【図４４】
2006074463.tif 000046
【図４５】
2006074463.tif 000047
【図４６】
2006074463.tif 000048
【図４７】
2006074463.tif 000049
【図４８】
2006074463.tif 000050