(57)【要約】【課題】本発明は、同一人物が写っている画像を的確に分類する。【解決手段】本発明は、人物を撮影して生成された動画像データを取得して、当該取得した動画像データに基づく動画像に写っている人物を検出し、その検出した人物を特定すると共に、当該検出した複数の人物の関係を判別するようにして、動画像から検出した複数の人物のうち、少なくとも一人の人物を特定し、他の人物を特定し得ないときには、判別した当該複数の人物の関係と、記憶媒体２８に記憶された、複数の人物の関係を示す人物関係情報とに基づき当該他の人物を特定することにより、動画像から検出した人物が、他の動画像から検出した人物と顔つきの変わっている同一人物であっても、人物同士の関係に基づいて、当該動画像から検出した人物を、他の動画像から検出した人物と同一人物として特定することができ、同一人物が写っている動画像を的確に検索し得る。【選択図】図１０
2011081763.tif 000002
【特許請求の範囲】
【請求項１】
被写体としての複数の人物の関係を示す人物関係情報を記憶媒体に記憶する記憶部と、
被写体としての人物を撮影して生成された画像データを取得する取得部と、
上記取得部により取得された上記画像データに基づく画像に写っている人物を検出する検出部と、
上記検出部により上記画像から検出された上記人物を特定する特定部と、
上記検出部により上記画像から検出された複数の上記人物の関係を判別する判別部と
を具え、
上記特定部は、
上記検出部により上記画像から検出された複数の上記人物のうち、少なくとも一人の人物を特定し、他の人物を特定し得ないとき、上記判別部により判別された複数の上記人物の関係と、上記記憶媒体に記憶された上記人物関係情報とに基づき、上記他の人物を特定する
情報処理装置。
【請求項２】
上記取得部により取得された上記画像データを解析して、上記検出部により検出された上記人物の動作を推定する動作推定部
を具え、
上記判別部は、
上記動作推定部により推定された上記人物の特定の動作に基づき、複数の上記人物の関係を判別する
請求項１に記載の情報処理装置。
【請求項３】
上記取得部は、
上記人物を撮影して上記画像データと共に生成された音声データも取得し、
上記判別部は、
上記動作推定部により推定された上記人物の上記特定の動作と、上記取得部により取得された上記音声データとに基づき、複数の上記人物の関係を判別する
請求項２に記載の情報処理装置。
【請求項４】
上記取得部により取得された上記音声データを解析して上記人物の発話を抽出する発話抽出部と、
上記発話抽出部により抽出された複数の上記人物の会話の発話に基づき、当該複数の上記人物の親密度を算出する親密度算出部と
を具え、
上記判別部は、
上記動作推定部により推定された上記人物の上記特定の動作と、上記親密度算出部により算出された複数の上記人物の上記親密度とに基づき複数の上記人物の関係を判別する
請求項３に記載の情報処理装置。
【請求項５】
上記画像データに基づく上記画像から複数の上記人物の親密さの程度を表す親密提示情報を抽出する親密程度抽出部
を具え、
上記判別部は、
上記動作推定部により推定された上記人物の上記特定の動作と、上記親密度算出部により算出された複数の上記人物の上記親密度と、上記親密程度抽出部により抽出された複数の上記人物の上記親密程度情報とに基づき複数の上記人物の関係を判別する
請求項４に記載の情報処理装置。
【請求項６】
上記検出部により上記画像から検出された上記人物の人数と、上記判別部により判別された複数の上記人物の関係とに基づき、上記画像の印刷枚数を選定する枚数選定部
を具える請求項５に記載の情報処理装置。
【請求項７】
上記取得部により取得された上記音声データを解析して上記人物の発話を抽出する発話抽出部
を具え、
上記判別部は、
上記動作推定部により推定された上記人物の上記特定の動作と、上記発話抽出部により抽出された上記人物の発話とに基づき、複数の上記人物の関係を判別する
請求項３に記載の情報処理装置。
【請求項８】
上記発話抽出部により抽出された複数の上記人物の会話の発話に基づき、当該複数の上記人物の親密度を算出する親密度算出部
を具え、
上記判別部は、
上記動作推定部により推定された上記人物の上記特定の動作と、上記発話抽出部により抽出された上記人物の発話と、上記親密度算出部により算出された複数の上記人物の上記親密度とに基づき複数の上記人物の関係を判別する
請求項７に記載の情報処理装置。
【請求項９】
上記画像データに基づく上記画像から複数の上記人物の親密さの程度を表す親密提示情報を抽出する親密程度抽出部
を具え、
上記判別部は、
上記動作推定部により推定された上記人物の上記特定の動作と、上記発話抽出部により抽出された上記人物の発話と、上記親密度算出部により算出された複数の上記人物の上記親密度と、上記親密程度抽出部により抽出された複数の上記人物の上記親密程度情報とに基づき複数の上記人物の関係を判別する
請求項８に記載の情報処理装置。
【請求項１０】
上記検出部により上記画像から検出された上記人物の人数と、上記判別部により判別された複数の上記人物の関係とに基づき、上記画像の印刷枚数を選定する枚数選定部
を具える請求項９に記載の情報処理装置。
【請求項１１】
被写体としての複数の人物の関係を示す人物関係情報を記憶媒体に記憶する記憶ステップと、
被写体としての人物を撮影して生成された画像データを取得する取得ステップと、
上記取得した上記画像データに基づく画像に写っている人物を検出する検出ステップと、
上記画像から検出した上記人物を特定する特定ステップと、
上記画像から検出した複数の上記人物の関係を判別する判別ステップと
上記画像から検出した複数の上記人物のうち、少なくとも一人の人物を特定し、他の人物を特定し得ないとき、上記判別した複数の上記人物の関係と、上記記憶媒体に記憶している上記人物関係情報とに基づき、上記他の人物を特定する人物特定ステップと
を具える情報処理方法。
【請求項１２】
コンピュータに
被写体としての複数の人物の関係を示す人物関係情報を記憶媒体に記憶する記憶ステップと、
被写体としての人物を撮影して生成された画像データを取得する取得ステップと、
上記取得した上記画像データに基づく画像に写っている人物を検出する検出ステップと、
上記画像から検出した上記人物を特定する特定ステップと、
上記画像から検出した複数の上記人物の関係を判別する判別ステップと
上記画像から検出した複数の上記人物のうち、少なくとも一人の人物を特定し、他の人物を特定し得ないとき、上記判別した複数の上記人物の関係と、上記記憶媒体に記憶している上記人物関係情報とに基づき、上記他の人物を特定する人物特定ステップと
を実行させる情報処理プログラム。
【請求項１３】
被写体としての人物を撮影して生成された画像データを取得する取得部と、
上記取得部により取得された上記画像データに基づく画像に写っている人物を検出する検出部と、
上記検出部により上記画像から検出された複数の上記人物の関係を判別する判別部と、
上記検出部により上記画像から検出された上記人物の人数と、上記判別部により判別された複数の上記人物の関係とに基づき、上記画像の印刷枚数を選定する枚数選定部と
を具える情報処理装置。
【請求項１４】
被写体としての複数の人物の関係を示す人物関係情報を記憶媒体に記憶する記憶部
を具え、
上記判別部は、
上記記憶媒体に記憶された上記人物関係情報に基づき、上記検出部により検出された複数の上記人物の関係を判別する
請求項１３に記載の情報処理装置。
【請求項１５】
上記取得部により取得された上記画像データを解析して、上記検出部により検出された上記人物の動作を推定する動作推定部
を具え、
上記判別部は、
上記動作推定部により推定された上記人物の特定の動作に基づき、複数の上記人物の関係を判別する
請求項１４に記載の情報処理装置。
【請求項１６】
上記取得部は、
上記人物を撮影して上記画像データと共に生成された音声データも取得し、
上記判別部は、
上記動作推定部により推定された上記人物の上記特定の動作と、上記取得部により取得された上記音声データとに基づき、複数の上記人物の関係を判別する
請求項１５に記載の情報処理装置。
【請求項１７】
被写体としての人物を撮影して生成された画像データを取得する取得ステップと、
上記取得した上記画像データに基づく画像に写っている人物を検出する検出ステップと、
上記画像から検出した複数の上記人物の関係を判別する判別ステップと、
上記画像から検出した上記人物の人数と、上記判別した複数の上記人物の関係とに基づき、上記画像の印刷枚数を選定する枚数選定ステップと
を具える情報処理方法。
【請求項１８】
コンピュータに
被写体としての人物を撮影して生成された画像データを取得する取得ステップと、
上記取得した上記画像データに基づく画像に写っている人物を検出する検出ステップと、
上記画像から検出した複数の上記人物の関係を判別する判別ステップと、
上記画像から検出した上記人物の人数と、上記判別した複数の上記人物の関係とに基づき、上記画像の印刷枚数を選定する枚数選定ステップと
を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、情報処理方法及び情報処理プログラムに関し、例えば、デジタルビデオカメラや印刷装置に適用して好適なものである。
【背景技術】
【０００２】
従来の画像分類装置は、蓄積保存した画像において当該画像に写っている人物の顔の部分を検出すると共に、当該画像から、その検出した顔の部分を顔画像として切り出す。また画像分類装置は、顔画像の特徴点に基づき画像を人物毎に分類する。
【０００３】
そして画像分類装置は、画像再生モード時、個々の人物の顔画像を一覧表示し、この状態で所望の人物が顔画像として選択されると、その選択に応じて、所望の人物が写っている画像を検索しサムネイルとして一覧表示していた（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−７１１１２公報（第１１頁乃至第１７頁、図６、図７）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば、人は、大人になると、年を経ても顔つきがほとんど変わらなくなる。ところが、人は、子供から大人へと成長するにつれて、その成長の間に顔つきが変わる傾向にある。
【０００６】
実際、人は、同一人物であっても、子供時代の顔と、大人になってからの顔とを、例えば、それぞれの顔画像の特徴点として比較すると、異なる人物の顔として判別されるほど、成長期に顔つきが変わる場合がある。
【０００７】
そして、かかる構成の画像分類装置は、個々の人物を、顔画像の特徴点のみを用いて特定している。このため画像分類装置は、同一人物の子供時代の画像と大人になってからの画像とを保持していると、子供時代の顔画像の特徴点と、大人になってからの顔画像の特徴点とに基づき、これら画像を異なる人物の画像として分類することなる。
【０００８】
よって画像分類装置は、異なる画像にそれぞれ同一人物が写っていても、その同一人物の顔つきが変わっていると、同一人物が写っている画像を的確には検索し得ないという問題があった。
【０００９】
本発明は以上の点を考慮してなされたもので、同一人物が写っている画像を的確に検索し得る情報処理装置、情報処理方法及び情報処理プログラムを提案しようとするものである。
【課題を解決するための手段】
【００１０】
かかる課題を解決するため本発明においては、被写体としての人物を撮影して生成された画像データを取得して、当該取得した画像データに基づく画像に写っている人物を検出し、その画像から検出した人物を特定すると共に、当該画像から検出した複数の人物の関係を判別するようにして、画像から検出した複数の人物のうち、少なくとも一人の人物を特定し、他の人物を特定し得ないときには、判別した当該複数の人物の関係と、記憶媒体に記憶された、被写体としての複数の人物の関係を示す人物関係情報とに基づき、他の人物を特定するようにした。
【００１１】
従って本発明では、画像から検出した人物が、他の画像から検出した人物と顔つきの変わっている同一人物であっても、人物同士の関係に基づいて、当該画像から検出した人物を、他の画像から検出した人物と同一人物として特定することができる。
【００１２】
また本発明においては、被写体としての人物を撮影して生成された画像データを取得すると、当該取得した画像データに基づく画像に写っている人物を検出すると共に、その画像から検出した複数の人物の関係を判別し、当該画像から検出した人物の人数と、判別した複数の人物の関係とに基づき、画像の印刷枚数を選定するようにした。
【００１３】
従って本発明では、画像に写っている複数の人物の中のグループに対しては画像を一枚だけ印刷すると共に、何れのグループにも属されない人物に対しては画像を一人に一枚ずつ印刷することができ、その結果、グループ内の複数の人物それぞれに対して画像を一枚ずつ印刷して、当該印刷した画像が無駄になることを回避することができる。
【発明の効果】
【００１４】
本発明によれば、被写体としての人物を撮影して生成された画像データを取得して、当該取得した画像データに基づく画像に写っている人物を検出し、その画像から検出した人物を特定すると共に、当該画像から検出した複数の人物の関係を判別するようにして、画像から検出した複数の人物のうち、少なくとも一人の人物を特定し、他の人物を特定し得ないときには、判別した当該複数の人物の関係と、記憶媒体に記憶された、被写体としての複数の人物の関係を示す人物関係情報とに基づき、他の人物を特定するようにしたことにより、画像から検出した人物が、他の画像から検出した人物と顔つきの変わっている同一人物であっても、人物同士の関係に基づいて、当該画像から検出した人物を、他の画像から検出した人物と同一人物として特定することができ、かくして同一人物が写っている画像を的確に検索し得る情報処理装置、情報処理方法及び情報処理プログラムを実現することができる。
【００１５】
また本発明によれば、被写体としての人物を撮影して生成された画像データを取得すると、当該取得した画像データに基づく画像に写っている人物を検出すると共に、その画像から検出した複数の人物の関係を判別し、当該画像から検出した人物の人数と、判別した複数の人物の関係とに基づき、画像の印刷枚数を選定するようにしたことにより、画像に写っている複数の人物の中のグループに対しては画像を一枚だけ印刷すると共に、何れのグループにも属されない人物に対しては画像を一人に一枚ずつ印刷することができ、その結果、グループ内の複数の人物それぞれに対して画像を一枚ずつ印刷して、当該印刷した画像が無駄になることを回避することができ、かくしてグループや個人用に画像を的確に印刷することができる。
【図面の簡単な説明】
【００１６】
【図１】実施の形態による情報処理装置の回路構成を示すブロック図である。
【図２】デジタルビデオカメラのハードウェア回路ブロックによる回路構成を示すブロック図である。
【図３】制御部の機能の説明に供する機能回路ブロックによる回路構成を示すブロック図である。
【図４】被写体検出部の機能回路ブロックによる回路構成を示すブロック図である。
【図５】人物関係判別部の機能回路ブロックによる回路構成を示すブロック図である。
【図６】親密度データベースの構成を示す略線図である。
【図７】関係判別データベースの構成を示す略線図である。
【図８】発話データの生成の説明に供する略線図である。
【図９】人物登録情報の構成を示す略線図である。
【図１０】人物関係情報を用いた人物の特定の説明に供する略線図である。
【図１１】ファイル属性情報の構成を示す略線図である。
【図１２】撮影人物特定処理手順を示すフローチャートである。
【図１３】被写体検出処理サブルーチンを示すフローチャートである。
【図１４】発話解析関係推定処理サブルーチン（１）を示すフローチャートである。
【図１５】発話解析関係推定処理サブルーチン（２）を示すフローチャートである。
【図１６】動作解析関係推定処理サブルーチンを示すフローチャートである。
【図１７】関係判別処理サブルーチンを示すフローチャートである。
【図１８】人物特定処理サブルーチンを示すフローチャートである。
【図１９】人生アルバム作成処理手順を示すフローチャートである。
【図２０】印刷装置のハードウェア回路ブロックによる回路構成を示すブロック図である。
【図２１】制御部の機能の説明に供する機能回路ブロックによる回路構成を示すブロック図である。
【図２２】複数の静止画像に写っている複数の人物の関係の説明に供する略線図である。
【図２３】複数の静止画像に写っている複数の人物の組み合わせの説明に供する略線図である。
【図２４】夫婦である人物Ａ及び人物Ｂ用の静止画像の印刷の説明に供する略線図である。
【図２５】人物Ｃ用の静止画像の印刷の説明に供する略線図である。
【図２６】枚数選定印刷処理手順（１）を示すフローチャートである。
【図２７】枚数選定印刷処理手順（２）を示すフローチャートである。
【図２８】枚数選定印刷処理手順（３）を示すフローチャートである。
【図２９】枚数選定印刷処理手順（４）を示すフローチャートである。
【図３０】枚数選定印刷処理手順（５）を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下図面について、発明を実施するための最良の形態（以下、これを実施の形態とも呼ぶ）について説明する。なお、説明は以下の順序で行う。
１．実施の形態の概要
２．第１の実施の形態
３．第２の実施の形態
４．変形例
【００１８】
＜１．実施の形態の概要＞
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例である第１の実施の形態及び第２の実施の形態について順番に説明する。
【００１９】
図１において、１は全体として実施の形態による情報処理装置を示す。かかる情報処理装置１において記憶部２は、被写体としての複数の人物の関係を示す人物関係情報を記憶媒体３に記憶する。因みに、記憶媒体３は、情報処理装置１に内蔵され、又は情報処理装置１に着脱可能に取り付けられている。
【００２０】
また情報処理装置１において取得部４は、被写体としての人物を撮影して生成された画像データを取得する。さらに情報処理装置１において検出部５は、取得部４により取得された画像データに基づく画像に写っている人物を検出する。
【００２１】
さらに情報処理装置１において特定部６は、検出部５により画像から検出された人物を特定する。さらにまた情報処理装置１において判別部７は、検出部５により画像から検出された複数の人物の関係を判別する。
【００２２】
そして情報処理装置１において特定部６は、検出部５により画像から検出された複数の人物のうち、少なくとも一人の人物を特定し、他の人物を特定し得ないとき、判別部７により判別された複数の人物の関係と、記憶媒体３に記憶された人物関係情報とに基づき、当該他の人物を特定する。
【００２３】
かかる構成により情報処理装置１は、画像から検出した人物が、他の画像から検出した人物と顔つきの変わっている同一人物であっても、人物同士の関係に基づいて、当該画像から検出した人物を、他の画像から検出した人物と同一人物として特定することができる。これにより情報処理装置１は、同一人物が写っている画像を的確に検索することができる。
【００２４】
＜２．第１の実施の形態＞
［２−１  デジタルビデオカメラの回路構成］
次いで、図２を用いて、上述した情報処理装置１（図１）の具体例であるデジタルビデオカメラ１０のハードウェア回路ブロックによる回路構成について説明する。図２に示すように、デジタルビデオカメラ１０は、例えば、マイクロプロセッサ構成の制御部１１を有している。
【００２５】
制御部１１は、内部のメモリ（図示せず）に予め記憶されている各種プログラムに従ってデジタルビデオカメラ１０全体を制御すると共に、所定の演算処理を実行する。また制御部１１は、例えば、デジタルスチルカメラ１０の筐体に設けられた操作キー１２の操作に応じて入力される入力信号を取り込み、その入力信号に応じた各種処理も実行する。
【００２６】
因みに、デジタルビデオカメラ１０の筐体には、操作キー１２として、電源のオン／オフを指示するための電源キーや、撮影の記憶開始及び記憶終了を指示するための撮影記憶キーが設けられている。
【００２７】
またデジタルビデオカメラ１０の筐体には、動作モードの切り替えを指示するためのモード切替キーや、被写体を撮影しながら生成して記憶していた動画像データ及び音声データからなる映像データの、再生を指示するための再生キー等も設けられている。
【００２８】
実際に制御部１１は、電源キーが操作され電源のオンが指示されると、例えば、電源をオンして撮影モードで起動する。また制御部１１は、例えば、再生モード時に、ユーザによりモード切替キーが操作され、撮影モードへの切り替えが指示されると、再生モードから撮影モードへ移行する。
【００２９】
そして制御部１１は、撮影モード時、撮影レンズ１３Ａや絞り、フォーカスレンズ等が設けられたレンズ部１３を適宜駆動制御して被写体に対するフォーカスや露出を自動調整する。
【００３０】
よって制御部１１は、被写体に対するフォーカスや露出を自動調整した状態で、その被写体を含む撮影範囲から到来する撮像光Ｌ１を、レンズ部１３を介して撮像素子１４の受光面で受光する。因みに、撮像素子１４は、ＣＣＤ（Charge  Coupled  Device）イメージセンサ又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ等でなる。
【００３１】
この際、撮像素子１４は、制御部１１の制御のもと、受光面で受光している撮像光Ｌ１を所定周期で光電変換して、当該撮像光Ｌ１に応じたアナログの撮像信号を順次生成する。また撮像素子１４は、その順次生成した撮像信号を、アナログデジタル変換部１５を介してデジタルの撮像データに変換してデジタル処理部１６に送出する。
【００３２】
デジタル処理部１６は、撮像素子１４からアナログデジタル変換部１５を介して撮像データが与えられる毎に、その撮像データにノイズ低減処理やシェーディング補正処理のような所定のデジタル処理を施す。これによりデジタル処理部１６は、撮像素子１４から順次与えられる撮像データに基づき、動画像を構成する時間的に連続な単位画像の単位画像データを生成する。
【００３３】
デジタル処理部１６は、このようにして撮像データに基づき単位画像データを順次生成しながら、当該生成した単位画像データのデータ列を、撮影状態確認用の動画像の動画像データとして制御部１１に送出する。因みに、以下の説明では、撮影状態確認用の動画像を、撮影状態提示画像とも呼び、当該撮影状態提示画像の動画像データを、撮影状態提示画像データとも呼ぶ。
【００３４】
制御部１１は、デジタル処理部１６から与えられた撮影状態提示画像データを表示部１７に送出する。因みに、表示部１７は、液晶ディスプレイ又は有機ＥＬ（Electro  Luminescence）ディスプレイ等でなる。
【００３５】
これにより制御部１１は、表示部１７に撮影状態提示画像データに基づく撮影状態提示画像を（すなわち、単位画像データに基づく単位画像を順次切り替えて撮影状態提示画像として）表示する。
【００３６】
このようにして制御部１１は、被写体を含む撮影範囲を連続的に撮影して表示部１７に撮影状態提示画像を表示すると共に、ユーザに撮影状態提示画像によって被写体に対する撮影範囲や構図、フォーカス等のような撮影状態を確認させることができる。
【００３７】
また制御部１１は、撮影モード時、ユーザにより撮影記憶キーが操作され記憶開始が指示されると、被写体の撮影の記憶を開始し、再びユーザにより撮影記憶キーが操作され記憶終了が指示されると、当該撮影の記憶を終了するようにしている。
【００３８】
そして制御部１１は、撮影モード時、ユーザによる撮影記憶キーの操作に応じた撮影の記憶開始時点から記憶終了時点までの間は、デジタル処理部１６やコーデック１８等の各部を、被写体の撮影の記憶用に制御する。
【００３９】
これによりデジタル処理部１６は、記憶開始時点から記憶終了時点までの間、撮像素子１４から撮像データが与えられる毎に、上述と同様に撮像データに基づき単位画像データを生成する。そしてデジタル処理部１６は、その単位画像データのデータ列を撮影状態提示画像データとして制御部１１に送出する。
【００４０】
よって制御部１１は、記憶開始時点から記憶終了時点までの間、表示部１７に撮影状態提示画像を表示する。これにより制御部１１は、被写体の撮影の記憶の間も、ユーザに撮影状態提示画像により被写体の撮影状態を確認させることができる。
【００４１】
またデジタル処理部１６は、記憶開始時点から記憶終了時点までの間には、単位画像データを順次生成する毎に、当該単位画像データに再生制御用の時刻情報（すなわち、タイムコード）を順番に付加する。
【００４２】
そしてデジタル処理部１６は、その時刻情報を付加した単位画像データのデータ列を、記憶用の動画像の動画像データとしてコーデック１８に送出する。因みに、以下の説明では、記憶用の動画像を、記憶動画像とも呼び、当該記憶動画像の動画像データを、記憶動画像データとも呼ぶ。
【００４３】
ところで、デジタルビデオカメラ１０には、筐体正面（図示せず）に撮影レンズ１３Ａが設けられている。またデジタルビデオカメラ１０は、筐体正面において撮影レンズ１３Ａの光軸よりも右側及び左側に、当該デジタルビデオカメラ１０の周囲の音声を集音するための二個のマイクロホン１９及び２０が設けられている。
【００４４】
さらにデジタルビデオカメラ１０には、筐体背面（図示せず）にも、当該デジタルビデオカメラ１０の周囲の音声を集音するための、少なくとも一個のマイクロホン２１が設けられている。因みに、デジタルビデオカメラ１０には、筐体背面に一個のマイクロホン２１が設けられる場合、そのマイクロホン２１は、例えば、筐体背面の中央に配置されている。
【００４５】
なお、以下の説明では、筐体正面に設けられた二個のマイクロホン１９及び２０のうち、当該筐体正面を被写体に向けたときに右側に位置する一方のマイクロホン１９を、右マイクロホン１９とも呼ぶ。
【００４６】
また、以下の説明では、筐体正面に設けられた二個のマイクロホン１９及び２０のうち、当該筐体正面を被写体に向けたときに左側に位置する他方のマイクロホン２０を、左マイクロホン２０とも呼ぶ。さらに、以下の説明では、筐体背面に設けられた一個のマイクロホン２１を、後マイクロホン２１とも呼ぶ。
【００４７】
右マイクロホン１９は、記憶開始時点から記憶終了時点までの間、周囲の音声を集音してアナログの音声信号（以下、これを右音声信号とも呼ぶ）を生成する。また右マイクロホン１９は、その右音声信号を、アナログデジタル変換部２２を介してデジタルの音声データ（以下、これを右音声データとも呼ぶ）に変換して制御部１１に送出する。
【００４８】
左マイクロホン２０は、記憶開始時点から記憶終了時点までの間、周囲の音声を集音してアナログの音声信号（以下、これを左音声信号とも呼ぶ）を生成する。また左マイクロホン２０は、その左音声信号を、アナログデジタル変換部２３を介してデジタルの音声データ（以下、これを左音声データとも呼ぶ）に変換して制御部１１に送出する。
【００４９】
後マイクロホン２１は、記憶開始時点から記憶終了時点までの間、周囲の音声を集音してアナログの音声信号（以下、これを後音声信号とも呼ぶ）を生成する。また後マイクロホン２１は、その後音声信号を、アナログデジタル変換部２４を介してデジタルの音声データ（以下、これを後音声データとも呼ぶ）に変換して制御部１１に送出する。
【００５０】
制御部１１は、右マイクロホン１９、左マイクロホン２０、後マイクロホン２１から右音声データ、左音声データ、後音声データが与えられると、その右音声データ、左音声データ、後音声データを所定単位毎に区切る。
【００５１】
また制御部１１は、右音声データ、左音声データ、後音声データそれぞれにおいて先頭から後尾までの個々の所定単位部分に、再生の際、記憶動画像データと同期させるための時刻情報を順番に付加する。そして制御部１１は、その時刻情報を付加した右音声データ、左音声データ、後音声データをコーデック１８に送出する。
【００５２】
コーデック１８は、記憶開始時点から記憶終了時点までの間、デジタル処理部１６から与えられる記憶動画像データを所定の圧縮符号化方式で圧縮符号化して圧縮画像データを生成する。
【００５３】
またコーデック１８は、記憶開始時点から記憶終了時点までの間、制御部１１から与えられる右音声データ、左音声データ、後音声データについても、所定の圧縮符号化方式で圧縮符号化して圧縮右音声データ、圧縮左音声データ、圧縮後音声データを生成する。
【００５４】
さらにコーデック１８は、このように圧縮画像データ、圧縮右音声データ、圧縮左音声データ、圧縮後音声データを生成しながら、これらを時分割多重化して映像データを生成し、当該生成した映像データを制御部１１に送出する。
【００５５】
制御部１１は、コーデック１８から映像データが与えられると、その映像データの属性情報（以下、これを映像属性情報とも呼ぶ）を格納したヘッダデータを生成する。そして制御部１１は、映像データのヘッダにヘッダデータを付加して映像ファイルを生成する。
【００５６】
実際に制御部１１は、コーデック１８から映像データが与えられると、その際、当該映像データをもとに生成する映像ファイルを個別に識別可能な識別情報（例えば、ファイル名である）を生成する。因みに、以下の説明では、映像ファイルを個別に識別可能な識別情報を、ファイル識別情報とも呼ぶ。
【００５７】
また制御部１１は、内部のタイマにより現在の日時を計時している。そして制御部１１は、記憶開始時点の日時を、被写体を記憶用に撮影した撮影日時として検出している。
【００５８】
さらに制御部１１は、記憶開始時点から記憶終了時点までの間、ＧＰＳ（Global  Positioning  System）受信機２５を介してＧＰＳ用の人工衛星と通信しながら、単位画像データの生成タイミングでデジタルビデオカメラ１０の位置を順次検出している。
【００５９】
因みに、撮影の記憶時に順次検出するデジタルビデオカメラ１０の位置は、緯度及び経度で表されるものである。そして、以下の説明では、その撮影の記憶時に順次検出するデジタルビデオカメラ１０の位置を、撮影位置とも呼ぶ。
【００６０】
さらに制御部１１は、記憶開始時点から記憶終了時点までの間、方位センサ２６により、単位画像データの生成タイミングで、デジタルビデオカメラ１０の撮影レンズ１３Ａ（すなわち、撮像光Ｌ１の入射面）が向けられた方位も順次検出している。
【００６１】
因みに、撮影の記憶時に順次検出する、デジタルビデオカメラ１０の撮影レンズ１３Ａが向けられた方位は、東西南北で表されるものである。そして、以下の説明では、その撮影の記憶時に順次検出する、デジタルビデオカメラ１０の撮影レンズ１３Ａが向けられた方位を、撮影方向とも呼ぶ。また、以下の説明では、デジタルビデオカメラ１０の撮像レンズ１３Ａが向けられた側を、カメラ正面とも呼ぶ。
【００６２】
さらにまた制御部１１は、単位画像データの生成タイミングで順次１組の撮影位置及び撮影方向を検出すると、当該検出した１組の撮影位置及び撮影方向に、その検出時点に生成された単位画像データに付加される時刻情報を対応付ける。
【００６３】
そして制御部１１は、映像ファイルを生成する際、映像データに付加するヘッダデータに映像属性情報として、ファイル識別情報を格納すると共に、撮影日時を示す撮影日時情報を格納する。また制御部１１は、そのヘッダデータに映像属性情報として、複数組の撮影位置及び撮影方向を、これに対応付けた時刻情報と共に示す撮影位置方向情報等も格納している。
【００６４】
制御部１１は、このように被写体を撮影して映像ファイルを生成すると、当該生成した映像ファイルを記憶再生部２７に送出して、当該記憶再生部２７により記憶媒体２８に、その映像ファイルを記憶する。因みに、デジタルビデオカメラ１０によって撮影される被写体は、人物や動物、昆虫のような生物、山や川、海のような自然物、建築物や展示物のような人工物等である。
【００６５】
なお、記憶再生部２７は、例えば、デジタルビデオカメラ１０に内蔵されたハードディスクドライブであり、記憶媒体２８は、当該ハードディスクドライブに設けられたハードディスクである。
【００６６】
一方、制御部１１は、例えば、撮影モード時、ユーザによりモード切替キーが操作され、再生モードへの切り替えが指示されると、その指示に応じて、撮影モードから再生モードへと移行する。
【００６７】
制御部１１は、再生モード時、ユーザにより再生キーが操作され所望の映像ファイルの再生が指示されると、記憶再生部２７を介して記憶媒体２８から、ユーザにより選択された映像ファイルを読み出す。そして制御部１１は、その映像ファイルから映像データを取り出すと共に、当該取り出した映像データをコーデック１８に送出する。
【００６８】
コーデック１８は、制御部１１から映像データが与えられると、当該映像データを圧縮画像データ、圧縮右音声データ、圧縮左音声データ、圧縮後音声データに分離すると共に、その圧縮画像データを伸長復号して元の記憶動画像データを生成する。
【００６９】
またコーデック１８は、圧縮右音声データ、圧縮左音声データ、圧縮後音声データについても、伸長復号して元の右音声データ、左音声データ、後音声データを生成する。そしてコーデック１８は、これら記憶動画像データ、右音声データ、左音声データ、後音声データを制御部１１に送出する。
【００７０】
制御部１１は、コーデック１８から記憶動画像データ、右音声データ、左音声データ、後音声データが与えられると、その記憶動画像データを表示部１７に送出する。また制御部１１は、右音声データ、左音声データ、後音声データに基づきステレオ音声用の右チャンネルデータ及び左チャンネルデータを生成して音声処理部２９に送出する。これにより制御部１１は、表示部１７に記憶動画像データに基づく記憶動画像を表示する。
【００７１】
また音声処理部２９は、制御部１１から与えられた右チャンネルデータ及び左チャンネルデータにデジタルアナログ変換処理及び増幅処理のように所定の音声処理を施す。そして音声処理部２９は、その音声処理により得られたステレオ音声用の右チャンネル信号及び左チャンネル信号を、例えば一対のステレオ用のスピーカ３０及び３１に送出する。
【００７２】
これにより制御部１１は、一対のスピーカ３０及び３１を介して右チャンネル信号及び左チャンネル信号に基づくステレオ音声を、記憶動画像の表示に同期させて出力する。このようにして制御部１１は、被写体を撮影しながら生成して記憶していた記憶動画像を、その撮影の際に記憶していたデジタルビデオカメラ１０の周囲の音声（ステレオ音声）と共にユーザに視聴させることができる。
【００７３】
［２−２  撮影人物特定処理］
次いで、被写体としての人物を撮影して記憶媒体２８に映像ファイルを記憶した場合、その映像ファイルに基づき、被写体として撮影されていた人物がどのような人物であるのかを特定するための撮影人物特定処理について説明する。
【００７４】
制御部１１は、例えば、撮影モード時に被写体を記憶用に撮影して記憶媒体２８に映像ファイルを記憶した後、ユーザにより電源キーが操作され電源のオフが指示されると、その都度、撮影人物特定処理を実行する。
【００７５】
ただし、制御部１１は、この際、内部のメモリに予め記憶された撮影人物特定プログラムに従い撮影人物特定処理として各種処理を実行して各種機能を実現している。よって、以下には、図３乃至図５を用いて、制御部１１が撮影人物特定プログラムに従って実現する各種機能を、便宜上、機能回路ブロックとし、当該制御部１１が実行する各種処理を、その機能回路ブロックが実行する処理として説明する。
【００７６】
映像ファイル生成部３５は、電源のオフが指示されると、電源のオンの指示から、直前の当該電源のオフの指示までの一連の動作中に、記憶媒体２８に記憶していた１又は複数の映像ファイルのファイル識別情報を記憶再生制御部３６に順次通知する。
【００７７】
記憶再生制御部３６は、映像ファイル生成部３５からファイル識別情報が通知される毎に、記憶再生部２７を介して記憶媒体２８から、当該通知されたファイル識別情報で識別される映像ファイルを読み出す。そして記憶再生制御部３５は、その映像ファイルを映像ファイル生成部３５に送出する。
【００７８】
映像ファイル生成部３５は、記憶再生制御部３６から映像ファイルが与えられる毎に、当該映像ファイルから映像データを取り出すと共に、当該取り出した映像データをコーデック１８に送出する。また映像ファイル生成部３５は、映像ファイルから、映像データのヘッダに付加していたヘッダデータも取り出す。
【００７９】
この際、コーデック１８は、上述の再生モード時と同様に、映像ファイル生成部３５から与えられた映像データに基づき、元の記憶動画像データと、元の右音声データ、左音声データ、後音声データとを生成する。そしてコーデック１８は、これら記憶動画像データ、右音声データ、左音声データ、後音声データを映像ファイル生成部３５に送出する。
【００８０】
映像ファイル生成部３５は、このようにして映像ファイルが読み出される毎に、コーデック１８を利用して、もとの記憶動画像データ、右音声データ、左音声データ、後音声データを得る。
【００８１】
そして映像ファイル生成部３５は、このように記憶動画像データ、右音声データ、左音声データ、後音声データを得たときには、その都度、記憶動画像データを、ヘッダデータに格納していた撮影位置方向情報と共に被写体検出部３７に送出する。また映像ファイル生成部３５は、ヘッダデータを人物特定部３９に送出する。
【００８２】
ただし、映像ファイル生成部３５は、後述するように、記憶動画像データに基づく記憶動画像に写っている人物が検出されると、その際には、当該記憶動画像データを、右音声データ、左音声データ、後音声データと共に人物関係判別部３８に送出する。
【００８３】
図４に示すように、被写体検出部３７は、この際、撮影人物特定処理の一部である、記憶動画像を解析して被写体を検出する被写体検出処理を実行する。実際に被写体検出部３７は、映像ファイル生成部３５から記憶動画像データが与えられる毎に、その記憶動画像データを、特徴量抽出部４５に取り込む。また被写体検出部３７は、この際、映像ファイル生成部３５から記憶動画像データと共に与えられた撮影位置方向情報を、被写体推定部４６に取り込む。
【００８４】
特徴量抽出部４５は、記憶動画像データを構成する単位画像データ毎に、当該単位画像データに基づく単位画像から画像の特徴量を抽出するための特徴量抽出処理を実行する。実際に特徴量抽出部４５は、人物の顔の大まかな輝度分布及び顔の大まかな構造のパターンを示す顔情報を予め保持している。よって特徴量抽出部４５は、顔情報に基づき単位画像において、人物の顔が写っていると想定される１又は複数の領域（以下、これを想定領域とも呼ぶ）を探索する。
【００８５】
特徴量抽出部４５は、単位画像において１又は複数の想定領域を検出すると、当該検出した想定領域毎に、単位画像での想定領域の位置を示す領域位置情報を生成する。また特徴量抽出部４５は、単位画像の想定領域毎に、当該想定領域から画像の特徴量として、例えば、複数の輪郭線の形状と、これら複数の輪郭線同士の位置関係と、色とを抽出する。因みに、以下の説明では、単位画像の想定領域から抽出した画像の特徴量を、特に想定領域特徴量とも呼ぶ。
【００８６】
そして特徴量抽出部４５は、このように単位画像の１又は複数の想定領域から想定領域特徴量を抽出すると、その想定領域毎に、当該想定領域から抽出した想定領域特徴量と、その想定領域の位置を示す領域位置情報とを対応付けて想定領域情報を生成する。
【００８７】
さらに特徴量抽出部４５は、１又は複数の想定領域を検出すると、当該単位画像の１又は複数の想定領域を除く部分から画像の特徴量として、例えば、複数の輪郭線の形状と、これら複数の輪郭線同士の位置関係と、色とを抽出する。因みに、以下の説明では、単位画像において１又は複数の想定領域を除く部分を、想定領域外部分とも呼ぶ。
【００８８】
ただし、特徴量抽出部４５は、単位画像において想定領域を全く検出しないと、当該単位画像全体から画像の特徴量として、例えば、複数の輪郭線の形状と、これら複数の輪郭線同士の位置関係と、色とを抽出する。因みに、以下の説明では、単位画像の想定領域外部分から抽出した画像の特徴量と、単位画像全体から抽出した画像の特徴量とを、まとめて特に領域外特徴量とも呼ぶ。
【００８９】
さらに特徴量抽出部４５は、例えば、単位画像において各画素を当該画素の近傍の画素と順次比較するようにして、例えば同一色の画素の連なりを探索する。そして特徴量抽出部４５は、単位画像において同一色の画素の連なりを検出すると、例えば、文字認識の手法で、その画素の連なりが文字列であるか否かを検出する。
【００９０】
その結果、特徴量抽出部４５は、単位画像に写っている１又は複数の文字列を検出すると、その文字列をテキストとして抽出する。すなわち、特徴量抽出部４５は、単位画像から、当該単位画像に写っている看板や垂幕、名札等に描かれた１又は複数の文字列をテキストとして抽出する。
【００９１】
そして特徴量抽出部４５は、単位画像から１又は複数の文字列を抽出すると、当該抽出した文字列毎に、その文字列（すなわち、テキスト）と、単位画像での当該文字列の抽出位置を示す抽出位置情報とを対応付けて文字列抽出情報を生成する。
【００９２】
このようにして特徴量抽出部４５は、単位画像から領域外特徴量や想定領域特徴量、文字列を抽出すると、その領域外特徴量や、想定領域情報、文字列抽出情報を、その抽出に用いた単位画像に対応する時刻情報と共に被写体推定部４６に送出する。
【００９３】
ここで、被写体検出部３７は、記憶動画像に写っている被写体の推定に用いる地図データベース４７、及び顔特徴データベース４８を予め保持している。また被写体検出部３７は、記憶動画像に文字列として写っている、イベントの名称（以下、これをイベント名とも呼ぶ）や、人物の名前を検出するための名称データベース４９も予め保持している。
【００９４】
地図データベース４７には、例えば、外国や国内の建築物や展示物、風景等のように人物以外の撮影対象の所在地（緯度及び経度で表される位置）を示す所在地情報が登録されている。また地図データベース４７には、その撮影対象の所在地の地名を文字列（すなわち、テキスト）で示す地名情報が、当該撮影対象の所在地を示す所在地情報に対応付けて登録されている。
【００９５】
さらに地図データベース４７には、その撮影対象の名称（以下、これを撮影対象名とも呼ぶ）を文字列（すなわち、テキスト）で示す撮影対象名情報が、当該撮影対象の所在地を示す所在地情報に対応付けて登録されている。
【００９６】
さらに地図データベース４７には、撮影対象の画像に基づいて生成された撮影対象特徴量（形状や模様、及びこれらの位置関係、色等）も、当該撮影対象の所在地を示す所在地情報に対応付けて登録されている。因みに、撮影対象特徴量は、例えば、撮影対象の複数の画像から抽出された画像の特徴量をもとに学習して生成されている。
【００９７】
顔特徴データベース４８には、記憶動画像に写っている男性の顔や女性の顔の検出に用い複数種類の特徴量（以下、これらを顔検出用特徴量とも呼ぶ）が予め登録されている。因みに、顔検出用特徴量は、顔や目、鼻、口、眉毛等の形状、及びこれらの位置関係等の情報を含んでいる。
【００９８】
そして、男性の顔の検出に用いる顔検出用特徴量は、例えば、男性の年代別に、多数の男性の顔の画像から抽出された当該画像の特徴量をもとに学習して生成されている。また女性の顔の検出に用いる顔検出用特徴量も、例えば、女性の年代別に、多数の女性の顔の画像から抽出された当該画像の特徴量をもとに学習して生成されている。
【００９９】
名称データベース４９には、入学式、卒業式、運動会、発表会等の種々のイベントのイベント名や、複数の人物の名前を文字列（すなわち、テキスト）で示す複数の名称情報が予め登録されている。
【０１００】
被写体推定部４６は、特徴量抽出部４５から時刻情報と共に領域外特徴量が与えられると、撮影位置方向情報が示す複数組の撮影位置及び撮影方向の中から、当該時刻情報が対応付けられた一組の撮影位置及び撮影方向を選択する。
【０１０１】
また被写体推定部４６は、その選択した一組の撮影位置及び撮影方向を用いて、当該一組の撮影位置及び撮影方向で撮影可能な撮影対象を探索するための探索範囲を設定する。この際、被写体推定部４６は、例えば、撮影位置を中心点とし、所定の半径及び所定の中心角で、撮影方向へ徐々に広がる扇形の範囲を探索範囲とする。
【０１０２】
そして被写体推定部４６は、探索範囲を、地図データベース４７内の所在地情報と比較するようにして、このとき選択した１組の撮影位置及び撮影方向により撮影可能な撮影対象が存在するか否かを判別する。
【０１０３】
その結果、被写体推定部４６は、地図データベース４７において探索範囲内の所在地を示す所在地情報を検出すると、その探索範囲の設定に用いた一組の撮影位置及び撮影方向により撮影可能な撮影対象が存在すると判別する。
【０１０４】
言い換えると、被写体推定部４６は、探索範囲に基づき所在地情報を検出した場合、撮影対象が撮影されていた可能性があり、さらに単位画像に被写体として、その撮影対象が写っている可能性もあると判別する。
【０１０５】
被写体推定部４６は、一組の撮影位置及び撮影方向で撮影可能な撮影対象が存在すると、地図データベース４７から、その検出した所在地情報に対応付けられている撮影対象特徴量を読み出す。
【０１０６】
また被写体推定部４６は、領域外特徴量と、撮影対象特徴量とに基づき所定の演算処理を実行する。これにより被写体推定部４６は、単位画像全体又は想定領域外部分に写っている被写体が、撮影対象特徴量の示す撮影対象として、どの程度確からしいかを示す確度を算出する。
【０１０７】
そして被写体推定部４６は、その算出した確度を、予め選定された第１の閾値と比較する。その結果、被写体推定部４６は、確度が第１の閾値以上であると、単位画像全体又は想定領域外部分に写っている被写体が、撮影対象特徴量の示す撮影対象であると推定する。すなわち、被写体推定部４６は、単位画像全体又は想定領域外部分に被写体として写っている撮影対象を検出する。
【０１０８】
これに対し被写体推定部４６は、確度が第１の閾値よりも小さいと、単位画像全体、又は想定領域外部分に写っている被写体が、撮影対象特徴量の示す撮影対象ではないと判断する。
【０１０９】
ただし、撮影対象が、例えば、ビルや橋のような建築物であると、その撮影対象には、撮影対象名が描かれた看板やプレート等が取り付けられている場合がある。また撮影対象が、例えば、観光地で眺めることのできる風景であると、その撮影対象を一望できる場所には、撮影対象名が描かれた看板やプレート等が設置されている場合がある。
【０１１０】
よって被写体推定部４６は、このとき特徴量抽出部４５から領域外特徴量及び時刻情報と共に１又は複数の文字列抽出情報が与えられていると、文字列抽出情報が示す文字列を、撮影対象名情報が示す撮影対象名と文字マッチングの手法で比較する。
【０１１１】
その結果、被写体推定部４６は、文字列抽出情報が示す文字列と、撮影対象名情報が示す撮影対象名とが一致すると、単位画像全体、又は想定領域外部分に写っている被写体が、撮影対象特徴量の示す撮影対象であると推定し直す。
【０１１２】
すなわち、単位画像では、撮影対象名が写っていると、これと共に撮影対象も写っているはずではあるが、その撮影対象が他の被写体（例えば、人物）の陰になって、ほとんど見えていない可能性がある。
【０１１３】
このため被写体推定部４６は、一旦は、単位画像に撮影対象が写ってはいないと判断しても、その撮影対象を示す撮影対象名が写っていることを検出すると、単位画像に写っている被写体が、撮影対象であると推定し直している。すなわち、被写体推定部４６は、単位画像全体又は想定領域外部分に被写体として写っている撮影対象を検出する。
【０１１４】
そして被写体推定部４６は、このように単位画像に写っている撮影対象を検出すると、地図データベース４７から、このとき検出した所在地情報に対応する撮影対象名情報及び地名情報を読み出して、当該単位画像の時刻情報に対応付ける。
【０１１５】
因みに、被写体推定部４６は、文字列抽出情報が示す文字列の何れとも、撮影対象名情報が示す撮影対象名が一致しないと、単位画像全体又は想定領域外部分に写っている被写体が、撮影対象特徴量の示す撮影対象ではないと改めて判断する。
【０１１６】
ところで、被写体推定部４６は、地図データベース４７において探索範囲内の所在地を示す所在地情報を検出し得ないと、その探索範囲の設定に用いた一組の撮影位置及び撮影方向により撮影可能な撮影対象は存在しないと判別する。
【０１１７】
言い換えると、被写体推定部４６は、探索範囲に基づき所在地情報を検出し得ない場合、撮影対象が撮影されてはいないため、単位画像に被写体として、その撮影対象は写っていないと判別する。
【０１１８】
そして被写体推定部４６は、一組の撮影位置及び撮影方向で撮影可能な撮影対象が存在しないと、地図データベース４７から撮影対象特徴量を読み出さない。よって被写体推定部４６は、このとき特徴量抽出部４５から時刻情報と共に領域外特徴量が与えられていても、単位画像全体又は想定領域外部分に写っている被写体を検出するための処理を何ら実行しない。
【０１１９】
被写体推定部４６は、このように特徴量抽出部４５から時刻情報と共に領域外特徴量が与えられると、その都度、同様に処理して、単位画像全体又は想定領域外部分に被写体として写っている撮影対象を適宜検出する。
【０１２０】
また被写体推定部４６は、特徴量抽出部４５から時刻情報と共に１又は複数の想定領域情報が与えられると、顔特徴データベース４８から複数種類の顔検出用特徴量を読み出す。そして被写体推定部４６は、複数種類の顔検出用特徴量を順番に用いて、当該顔検出用特徴量と、想定領域情報が示す想定領域特徴量とに基づき演算処理を実行する。
【０１２１】
これにより被写体推定部４６は、単位画像の想定領域毎に、当該想定領域に写っている被写体が、年代別の男性や女性の顔として、どの程度確からしいかを示す複数の確度を算出する。また被写体推定部４６は、その想定領域毎に算出した複数の確度を、予め選定された第２の閾値と順次比較する。
【０１２２】
その結果、被写体推定部４６は、単位画像の何れかの想定領域について算出した複数の確度の少なくとも１つが第２の閾値以上であると、単位画像の当該想定領域に写っている被写体が、人物の顔であると推定する。
【０１２３】
この際、被写体推定部４６は、複数の確度のうち１つの確度のみが第２の閾値以上であると、その確度の算出に用いた顔検出用特徴量の種類に応じて被写体が、２０代男性の顔や４０代女性の顔のように、どのような年代及び性別の人物の顔であるのかを推定する。
【０１２４】
また被写体推定部４６は、複数の確度のうち２つ以上の確度が第２の閾値以上であると、第２の閾値以上の確度のうち最も値の大きい確度を選定する。そして被写体推定部４６は、その最も値の大きい確度の算出に用いた顔検出用特徴量の種類に応じて、同様に被写体が、どのような年代及び性別の人物の顔であるのかを推定する。
【０１２５】
すなわち、被写体推定部４６は、単位画像の想定領域に写っている人物の顔を検出するようにして、当該単位画像に写っている人物を、年代及び性別を特定して検出する。そして被写体推定部４６は、単位画像の想定領域に写っている人物の顔を検出すると、その検出で特定した人物の年代及び性別を示す年代性別情報を、このとき特徴量抽出部４５から与えられていた時刻情報に対応付ける。
【０１２６】
また被写体推定部４６は、単位画像の想定領域に写っている人物の顔を検出すると、このとき特徴量抽出部４５から与えられていた時刻情報に、当該想定領域から抽出された想定領域特徴量を人物の顔の特徴量として、対応付ける。因みに、以下の説明では、その人物の顔の特徴量を、人物顔特徴量とも呼ぶ。
【０１２７】
因みに、被写体推定部４６は、単位画像の何れかの想定領域について算出した複数の確度が全て第２の閾値よりも小さいと、単位画像の当該想定領域に写っている被写体が、人物の顔ではないと判断する。すなわち、被写体推定部４６は、単位画像に人物は写っていないと判断する。
【０１２８】
そして被写体推定部４６は、単位画像の何れかの想定領域に写っている被写体が、人物の顔ではないと判断すると、当該想定領域から抽出された想定領域特徴量を人物顔特徴量とはせずに破棄する。
【０１２９】
被写体推定部４６は、このように特徴量抽出部４５から時刻情報と共に１又は複数の想定領域情報が与えられると、その都度、同様に処理して、単位画像の想定領域に写っている人物の顔を適宜検出するようにして、当該単位画像に写っている人物を検出する。
【０１３０】
さらに被写体推定部４６は、特徴量抽出部４５から時刻情報と共に１又は複数の文字列抽出情報が与えられると、名称データベース４９から名称情報を読み出す。そして被写体推定部４６は、文字列抽出情報が示す文字列を、名称情報が示すイベント名や人物の名前と文字マッチングの手法で比較する。
【０１３１】
これにより被写体推定部４６は、単位画像に写っている１又は複数の文字列がイベント名や人物の名前であるか否かを検出する。すなわち、被写体推定部４６は、単位画像に、イベント名が描かれた垂れ幕や看板が写っている場合や、子供や大人の名前が書かれた名札等が写っていると、これらイベント名や人物の名前を検出することができる。
【０１３２】
被写体推定部４６は、このように特徴量抽出部４５から時刻情報と共に１又は複数の文字列抽出情報が与えられると、その都度、同様に処理して、単位画像に写っているイベント名や人物の名前を適宜、検出する。
【０１３３】
そして被写体推定部４６は、記憶動画像に被写体として写っている撮影対象を検出すると、単位画像の時刻情報に対応付けていた撮影対象名情報及び地名情報に基づき、その検出した撮影対象を示す撮影対象検出情報を生成する。
【０１３４】
この際、被写体推定部４６は、撮影対象検出情報に、その検出した撮影対象に対応する撮影対象名情報及び地名情報を格納する。また被写体推定部４６は、撮影対象検出情報に、記憶動画像に撮影対象が写っている１又は複数の写込区間を、当該写込区間の先頭の単位画像の時刻情報と後尾の単位画像の時刻情報とで示す写込区間情報も格納する。
【０１３５】
また被写体推定部４６は、記憶動画像に被写体として写っている１又は複数の人物を、当該人物の顔をもとに検出すると、単位画像の時刻情報に対応付けた人物顔特徴量を順次比較して、当該人物顔特徴量を人物毎に分類する。
【０１３６】
さらに被写体推定部４６は、その分類結果に基づき、同一人物の顔が写っている単位画像を検出する。そして被写体推定部４６は、人物顔特徴量を分類した人物毎に、その顔をもとに検出した人物を示す顔検出情報を生成する。
【０１３７】
この際、被写体推定部４６は、顔検出情報に、人物を示す情報として、当該人物の顔を示す人物顔特徴量と、その人物の年代及び性別を示す年代性別情報とを格納する、また被写体推定部４６は、顔検出情報に、写込区間の先頭の単位画像において人物顔特徴量が抽出された想定領域の位置を示す想定位置情報も格納する。
【０１３８】
また被写体推定部４６は、顔検出情報に、記憶動画像において人物の顔が写っている１又は複数の写込区間を、当該写込区間の先頭の単位画像の時刻情報と後尾の単位画像の時刻情報とで示す写込区間情報も格納する。
【０１３９】
さらに被写体推定部４６は、記憶動画像にイベント名の文字列が写っていることを検出すると、イベント名毎に、その検出したイベント名を示すイベント名検出情報を生成する。この際、被写体推定部４６は、イベント名検出情報に、イベント名を文字列で示すイベント名情報を格納する。
【０１４０】
また被写体推定部４６は、イベント名検出情報に、記憶動画像にイベント名が写っている１又は複数の写込区間を、当該写込区間の先頭の単位画像の時刻情報と後尾の単位画像の時刻情報とで示す写込区間情報も格納する。
【０１４１】
さらにまた被写体推定部４６は、記憶動画像に人物の名前の文字列が写っていることを検出すると、人物の名前毎に、その検出した人物の名前を示す名前検出情報を生成する。
【０１４２】
この際、被写体推定部４６は、名前検出情報に、人物の名前を示す文字列と、当該人物の名前が写っている１又は複数の写込区間の複数の単位画像それぞれにおいて当該文字列の抽出位置を示す抽出位置情報とを格納する。
【０１４３】
また被写体推定部４６は、名前検出情報に、記憶動画像において人物の名前が写っている１又は複数の写込区間を、当該写込区間の先頭の単位画像の時刻情報と後尾の単位画像の時刻情報とで示す写込区間情報も格納する。
【０１４４】
そして被写体推定部４６は、記憶動画像に写っている撮影対象が検出されていると、これに応じて生成した撮影対象検出情報（またイベント名検出情報）を人物特定部３９に送出する。
【０１４５】
また被写体推定部４６は、記憶動画像に写っている人物が検出されていると、これに応じて生成した顔検出情報や名前検出情報、イベント名検出情報を人物関係判別部３８に送出する。
【０１４６】
このようにして被写体検出部３５は、映像ファイル生成部３５から記憶動画像データが与えられる毎に、撮影対象検出情報や、顔検出情報や名前検出情報を得て人物特定部３９や人物関係判別部３８に送出する。
【０１４７】
そして被写体推定部４６は、このように撮影対象検出情報や顔検出情報、イベント名検出情報、名前検出情報を生成すると、当該生成した撮影対象検出情報やイベント名検出情報を人物特定部３９に送出する。また被写体推定部４６は、この際、顔検出情報や名前検出情報を人物関係判別部３８に送出する。
【０１４８】
このようにして被写体検出部３５は、映像ファイル生成部３５から記憶動画像データが与えられる毎に、撮影対象検出情報やイベント名検出情報、顔検出情報や名前検出情報を得て人物特定部３９や人物関係判別部３８に送出する。
【０１４９】
図５に示すように、人物関係判定部３８は、被写体検出部３７により記憶動画像に写っている１又は複数の人物が検出されると、撮影人物特定処理の一部である、撮影された人物の発話及び動作に基づき、人物の関係を判別する人物関係判別処理を実行する。
【０１５０】
この場合、人物関係判別部３８は、被写体推定部４６から与えられた名前検出情報も発話解析部５５に取り込む。また人物関係判別部３８は、映像ファイル生成部３５に右音声データ、左音声データ、後音声データを要求し、その結果、当該映像ファイル生成部３５から与えられる右音声データ、左音声データ、後音声データを発話解析部５５に取り込む。
【０１５１】
さらに人物関係判別部３８は、被写体推定部４６から与えられた顔検出情報も動作解析部５６に取り込む。さらに人物関係判別部３８は、映像ファイル生成部３５に記憶動画像データを要求し、その結果、当該映像ファイル生成部３５から与えられる記憶動画像データを動作解析部５６に取り込む。
【０１５２】
ところで、人物関係判別部３８は、撮影の記憶中に行われた発話から、被写体として撮影された人物の名前を推定するために用いる名前データベース５７を予め保持している。また人物関係判別部３８は、撮影の記憶中に行われた発話から、被写体として撮影された人物のニックネームを推定するために用いるニックネームデータベース５８も予め保持している。
【０１５３】
さらに人物関係判別部３８は、撮影の記憶中に行われた発話から、被写体として撮影された人物により発せられた言語（標準語や方言）を検出するために用いる言語データベース５９も予め保持している。
【０１５４】
さらに人物関係判別部３８は、撮影の記憶中に行われた発話から、被写体として撮影された複数の人物の関係を推定するために用いる語句を登録したデータベース６０も予め保持している。
【０１５５】
因みに、以下の説明では、記憶動画像に写っていた複数の人物について、家族や親族、友人、恋人等の関係を推定するために用いる語句を、関係推定語句とも呼ぶ。また、以下の説明では、関係推定語句を登録したデータベース６０を、関係推定語句データベース６０とも呼ぶ。
【０１５６】
さらに人物関係判別部３８は、撮影の記憶中に行われた発話から、被写体として撮影された人物の動作を推定するために用いる語句を登録したデータベース６１も予め保持している。
【０１５７】
因みに、以下の説明では、動作を推定するために用いる語句を、動作推定語句とも呼ぶ。また、以下の説明では、動作推定語句を登録したデータベース６１を、動作推定語句データベース６１とも呼ぶ。
【０１５８】
さらに人物関係判別部３８は、撮影の記憶中に行われた発話から、被写体として撮影された複数の人物の親密度を判別するために用いる親密度データベース６２も予め保持している。
【０１５９】
さらに人物関係判別部３８は、撮影の記憶中に、被写体として撮影された人物により行われた「抱っこ」や「おんぶ」、「腕を組む」、「うなづく」、「手を上げる」等のような種々の動作を推定するために用いる動作データベース６３も予め保持している。
【０１６０】
さらにまた人物関係判別部３８は、撮影の記憶中に、被写体として撮影された複数の人物のうち少なくとも一人の人物によって行われた動作により、当該複数の人物の関係を判別するために用いる関係判別データベース６４も予め保持している。
【０１６１】
そして名前データベース５７には、人物に付けられる複数の名前を文字列（すなわち、テキスト）で示す複数の名前情報が予め登録されている。また名前データベース５７には、人物の名前を呼ぶときに付けられる「くん」や「さん」、「ちゃん」等の接尾語を文字列（すなわち、テキスト）で示す接尾語情報も予め登録されている。
【０１６２】
ニックネームデータベース５８には、人物に付けられる複数のニックネームを文字列（すなわち、テキスト）で示す複数のニックネーム情報が予め登録されている。言語データベース５９には、固有名詞や語尾等の種々の語句の方言を文字列（すなわち、テキスト）で示す複数の方言情報と、当該固有名詞や語尾等の種々の語句の標準語を文字列（すなわち、テキスト）で示す複数の標準語情報とが予め登録されている。
【０１６３】
関係推定語句データベース６０には、関係推定語句として、「ママ」や「お母さん」、「パパ」、「ばあちゃん」、「兄ちゃん」等のような相手の呼び名を文字列（すなわち、テキスト）で示す複数の関係推定語句情報が予め登録されている。
【０１６４】
動作推定語句データベース６１には、動作推定語句として「抱っこ」や「おんぶ」、「肩車」等のような語句を文字列（すなわち、テキスト）で示す複数の動作推定語句情報が予め登録されている。
【０１６５】
図６に示すように、親密度データベース６２には、会話から人物が相手にどの程度好意を持っているのかを判断するための複数の話し方を示す項目ＣＯが、「言語」や「名前の呼び方」、「語尾」、「人物関係」等のカテゴリＣＡで分類されて予め登録されている。
【０１６６】
因みに、以下の説明では、親密度データベース６２に登録されている話し方を示す項目ＣＯを、好意判断項目ＣＯとも呼ぶ。そして好意判断項目ＣＯが示す話し方としては、会話において人物が、どのような言語（方言や標準語）を使ったかや、相手の名前をどのように呼んだか（ニックネームや呼び捨て等）がある。
【０１６７】
また、好意判断項目ＣＯが示す話し方としては、会話において人物が、どのような語尾を用いたかや、他の人物をどのような呼び方で呼んだか等もある。また親密度データベース６２には、各好意判断項目ＣＯにそれぞれ、当該好意判断項目ＣＯが示す話し方での好意の程度を数値化して示す評価値ＶＡが対応付けられて登録されている。
【０１６８】
動作データベース６３には、「抱っこ」や「おんぶ」等の種々の動作の推定に用いる複数の動作推定用データが予め登録されている。因みに、動作推定用データは、動作毎に生成され、当該動作の名称を示す動作名情報と、動作推定用の比較基準となる動作モデルとが格納されている。
【０１６９】
図７に示すように、関係判別データベース６４には、「抱っこ」や「おんぶ」、「手をつなぐ」、「肩を組む」等のような人の種々の動作の名称を示す動作名情報ＭＯが予め登録されている。
【０１７０】
また関係判別データベース６４には、個々の動作により判別される人物同士の「親子」や「友人」、「恋人」等のような１又は複数の関係を示す関係情報ＲＥが、当該動作の名称を示す動作名情報ＭＯに対応付けられて予め登録されている。
【０１７１】
発話解析部５５は、映像ファイル生成部３５から右音声データ、左音声データ、後音声データが与えられると、その右音声データ、左音声データ、後音声データに基づき人物毎の発話を解析して、これら人物の関係を推定するための発話解析関係推定処理を実行する。
【０１７２】
この場合、図８（Ａ）乃至（Ｅ）に示すように、発話解析部５５は、右音声データＤ１、左音声データＤ２、後音声データＤ３において、例えば音声レベルに基づき、音声区間と無音区間との切替位置を時刻情報として検出する（図８（Ａ））。
【０１７３】
また発話解析部５５は、右音声データＤ１、左音声データＤ２、後音声データＤ３から、それぞれ検出した切替位置に基づき、１又は複数の音声区間を右音声区間データＤ４、左音声区間データＤ５、後音声区間データＤ６として切り出す（図８（Ｂ））。
【０１７４】
さらに発話解析部５５は、例えば、ビームフォーミングの手法により、その右音声区間データＤ４、左音声区間データＤ５、後音声区間データＤ６を適宜、位相を制御して加算処理する。
【０１７５】
これにより発話解析部５５は、撮影の記憶時にデジタルビデオカメラ１０の周囲の種々の位置で発せられた音声を適宜増幅した１又は複数の加算音声データＤ７を生成する（図８（Ｃ））。
【０１７６】
発話解析部５５は、加算音声データＤ７の先頭から後尾までの個々の所定単位部分に、当該加算音声データＤ７の元になった右音声区間データＤ４、左音声区間データＤ５、後音声区間データＤ６の先頭から後尾までの複数の時刻情報を、その順番通りに付加する。
【０１７７】
ところで発話解析部５５は、右音声区間データＤ４、左音声区間データＤ５、後音声区間データＤ６の加算処理での位相の制御の有無及び制御量に基づき、撮影の記憶時に加算音声データＤ７に基づく音声を発していた人物の居た方向を検出する。
【０１７８】
実際に発話解析部５５は、加算処理で右音声区間データＤ４及び左音声区間データＤ５の位相の制御を行わず、後音声区間データＤ６の位相を進めると、加算音声データＤ７に基づく音声を発した人物が、カメラ正面のほぼ中央に居たことを検出する。
【０１７９】
そして発話解析部５５は、この際、加算音声データＤ７に基づく音声を発していた人物が、カメラ正面の中央で撮影されていた人物であると推定する。
【０１８０】
また発話解析部５５は、加算処理で右音声区間データＤ４の位相を進め、後音声区間データＤ６の位相をさらに進めると、加算音声データＤ７に基づく音声を発した人物が、カメラ正面の中央よりも左寄りに居たことを検出する。
【０１８１】
そして発話解析部５５は、この際、加算音声データＤ７に基づく音声を発していた人物が、カメラ正面の中央よりも左寄りで撮影されていた人物であると推定する。
【０１８２】
さらに発話解析部５５は、加算処理で左音声区間データＤ５の位相を進め、後音声区間データＤ６の位相をさらに進めると、加算音声データＤ７に基づく音声を発した人物が、カメラ正面の中央よりも右寄りに居たことを検出する。
【０１８３】
そして発話解析部５５は、この際、加算音声データＤ７に基づく音声を発していた人物が、カメラ正面の中央よりも右寄りで撮影されていた人物であると推定する。
【０１８４】
さらに発話解析部５５は、加算処理で右音声区間データＤ４及び左音声区間データＤ５をほぼ同じだけ位相を進めると、加算音声データＤ７に基づく音声を発した人物が、デジタルビデオカメラ１０の後側の中央に居たことを検出する。
【０１８５】
そして発話解析部５５は、この際、加算音声データＤ７に基づく音声を発していた人物が、デジタルビデオカメラ１０を使用する撮影者（カメラマン）であると推定する。
【０１８６】
さらに発話解析部５５は、加算処理で左音声区間データＤ５の位相を進め、右音声区間データＤ４の位相をさらに進めると、加算音声データＤ７に基づく音声を発した人物が、デジタルビデオカメラ１０の左側に居たことを検出する。
【０１８７】
そして発話解析部５５は、この際、加算音声データＤ７に基づく音声を発していた人物が、デジタビデオカメラ１０の左側で、撮影されてはいない人物であると推定する。
【０１８８】
さらに発話解析部５５は、加算処理で右音声区間データＤ４の位相を進め、左音声区間データＤ５の位相をさらに進めると、加算音声データＤ７に基づく音声を発した人物が、デジタルビデオカメラ１０の右側に居たことを検出する。
【０１８９】
そして発話解析部５５は、この際、加算音声データＤ７に基づく音声を発していた人物が、デジタルビデオカメラ１０の右側で、撮影されてはいない人物であると推定する。
【０１９０】
発話解析部５５は、このようにして加算音声データＤ７に基づく音声を発した人物の居た方向を検出すると、当該方向の検出結果に基づき、その加算音声データＤ７に基づく音声を発した人物の人数を検出する。
【０１９１】
また発話解析部５５は、加算音声データＤ７に基づく音声を発した人物が二人以上の場合、さらに方向の検出結果に基づき、当該加算音声データＤ７において、個々の人物が発した音声区間の切替位置を時刻情報として検出する（図８（Ｄ））。
【０１９２】
このようにして発話解析部５５は、例えば、一人だけで撮影された人物が、自己紹介のために発していた音声の加算音声データＤ７を検出する。また発話解析部５５は、一緒に撮影されている複数の人物の会話の音声の加算音声データＤ７も検出する。
【０１９３】
さらに発話解析部５５は、撮影されている人物と、撮影者や撮影の傍観者のように撮影されてはいない人物との会話の音声の加算音声データＤ７等も検出する。このようにして発話解析部５５は、音声を発した人物の居た方向の検出結果に基づき、この際に生成した１又は複数の加算音声データＤ７が、どのような状況で発せられた音声の加算音声データＤ７であるのかを検出する。
【０１９４】
因みに、以下の説明では、撮影されている人物を、適宜、被撮影者とも呼ぶ。また、以下の説明では、加算音声データＤ７として記憶された音声を発してはいるものの、撮影者や撮影の傍観者のように撮影されてはいない人物を、適宜、撮影除外者とも呼ぶ。
【０１９５】
そして発話解析部５５は、このとき、例えば、一人の人物が自己紹介のように単独で発した音声の加算音声データＤ７を検出すると、当該加算音声データＤ７をそのまま当該人物の発話の内容を示す発話データ（以下、これを特に単独発話データとも呼ぶ）とする。
【０１９６】
また発話解析部５５は、このとき、複数の人物が発した会話の音声の加算音声データＤ７を検出すると、当該加算音声データＤ７を切替位置に基づき人物毎の音声区間を切り分けて、人物毎の発話の内容を示す発話データＤ８及びＤ９を生成する（図８（Ｅ））。
【０１９７】
すなわち、発話解析部５５は、複数の人物の会話の加算音声データＤ７をもとに、人物毎に、その会話の中で当該人物の順次訪れる音声区間を並べた発話データＤ８及びＤ９を生成する。因みに、以下の説明では、二人以上の人物が発した音声（すなわち、会話）の加算音声データＤ７の音声区間を、特に会話区間とも呼ぶ。
【０１９８】
また、以下の説明では、その会話の加算音声データＤ７から切り分けるようにした、人物毎の音声区間を、特に会話内発話区間とも呼ぶ。さらに、以下の説明では、このように複数の人物の会話をもとに生成した人物毎の発話データＤ８及びＤ９を、特に会話内発話データＤ８及びＤ９とも呼ぶ。
【０１９９】
このようにして発話解析部５５は、一人の人物が自己紹介のように単独で発した音声の加算音声データＤ７や、複数の人物の会話の加算音声データＤ７をもとに、人物毎の単独発話データや会話内発話データＤ８及びＤ９を得る。
【０２００】
発話解析部５５は、人物の単独発話データを得ると、当該単独発話データを、時刻情報を付加した所定単位毎に順次解析する。これにより発話解析部５５は、その単独発話データに基づく音声を書き起こした文字列（すなわち、テキスト）を生成する。
【０２０１】
また発話解析部５５は、人物毎の会話内発話データＤ８及びＤ９を得ると、当該人物毎の会話内発話データＤ８及びＤ９の個々の会話内発話区間を、時刻情報を付加した所定単位毎に順次解析する。これにより発話解析部５５は、会話内発話データＤ８及びＤ９に基づく音声を、会話内発話区間毎に書き起こした文字列（すなわち、テキスト）も生成する。
【０２０２】
因みに、以下の説明では、単独発話データに基づく音声の文字列を、単独発話テキストとも呼ぶ。また、以下の説明では、会話内発話データＤ８及びＤ９に基づく音声の文字列全体を、会話内発話テキストとも呼び、当該会話内発話データＤ８及びＤ９の会話内発話区間毎の音声の文字列を、区間発話テキストとも呼ぶ。
【０２０３】
そして発話解析部５５は、人物の単独発話テキストを生成した場合、当該生成した単独発話テキストに、さきに検出した、その人物が居た方向を示す人物方向情報を付加する。
【０２０４】
また発話解析部５５は、単独発話テキストにおいて、単独発話データの時刻情報を付加した所定単位に相当する単位相当部分（すなわち、単独発話データの所定単位から音声を書き起こした部分）に、当該所定単位に付加していた時刻情報を順次付加する。
【０２０５】
一方、発話解析部５５は、人物の会話内発話テキストを生成した場合、当該生成した会話内発話テキストに、さきに検出した、その人物が居た方向を示す人物方向情報を付加する。
【０２０６】
また発話解析部５５は、人物毎の会話内発話テキストに、もとの加算音声データＤ７の会話区間を、当該会話区間の先頭及び後尾の時刻情報で示す会話区間情報も付加する。
【０２０７】
さらに発話解析部５５は、会話内発話テキストにおいて、会話内発話データＤ８及びＤ９の時刻情報を付加した所定単位に相当する単位相当部分（すなわち、所定単位から音声を書き起こした部分）にも、同様に時刻情報を順次付加する。
【０２０８】
また発話解析部５５は、この際、会話していた人物毎に、会話内発話データに基づき、当該人物の声の高さ（ピッチ）を時系列で検出する。さらに発話解析部５５は、会話していた人物毎に、当該人物の発話を示す会話内発話データに付加した時刻情報に基づき、会話に要した総時間（すなわち、個々の会話内発話区間の時間の合計）を検出する。
【０２０９】
さらに発話解析部５５は、人物毎に、当該人物の発話を示す会話内発話テキストに含まれる文字の総数（すなわち、会話中に発した文字の総数）を検出する。そして発話解析部５５は、人物毎に、会話中に発した文字の総数を、会話に要した総時間で除算することにより、会話の速度を算出する。
【０２１０】
ところで、発話解析部５５は、品詞のような単語属性情報が付された単語をリスト化して生成された辞書データを予め保持している。よって発話解析部５５は、単独発話テキストを生成した場合、その辞書データに基づき当該単独発話テキストを形態素解析する。
【０２１１】
これにより発話解析部５５は、単独発話テキストを形態素（すなわち、言語として意味を持つ最小単位）に分割すると共に、当該分割した形態素それぞれに単語属性情報を対応付ける。
【０２１２】
また発話解析部５５は、会話内発話テキストを生成した場合も、その辞書データに基づき当該会話内発話テキストを区間発話テキスト単位で形態素解析する。これにより発話解析部５５は、会話内発話テキストを構成する区間発話テキストをそれぞれ形態素に分割すると共に、当該分割した形態素それぞれに単語属性情報を対応付ける。
【０２１３】
そして発話解析部５５は、単独発話テキストを得た場合、その単独発話テキストを、発話解析関係推定処理において、以下に説明する実際に人物の関係を推定するための推定処理に単独で用いる。
【０２１４】
また発話解析部５５は、会話内発話テキストについては、会話単位で（すなわち、同一の会話をもとに得たもの同士を一緒に）、発話解析関係推定処理において、以下に説明する推定処理に用いるようにしている。
【０２１５】
よって以下には、まず、推定処理に、単独発話テキストを用いる場合について説明する。次いで、推定処理に、会話内発話テキストを会話単位で用いる場合について説明する。
【０２１６】
発話解析部５５は、推定処理に単独発話テキストを用いる場合、当該単独発話テキストから、形態素に対応付けた単語属性情報に基づき、名詞や動詞、接尾語、語尾等のような種々の語句（以下、これらを単語とも呼ぶ）を抽出する。
【０２１７】
また発話解析部５５は、名前データベース５７から複数の名前情報を読み出す。そして発話解析部５５は、単独発話テキストから抽出した種々の単語を、これら名前情報が示す種々の人物の名前と文字マッチングの手法で比較する。
【０２１８】
これにより発話解析部５５は、単独発話テキストから抽出した種々の単語の中に、名前データベース５７に登録されている人物の名前と一致する単語があると、その単語を人物の名前として検出する。
【０２１９】
ところで、発話解析部５５は、単独発話テキストをもとに人物の名前を検出した際、被写体推定部４６から名前検出情報が与えられていると、当該名前検出情報から写込区間情報を取り出す。
【０２２０】
また発話解析部５５は、単独発話テキストにおいて、検出した人物の名前にかかる全ての単位相当部分を検出すると共に、当該検出した全ての単位相当部分に付加していた時刻情報も検出する。
【０２２１】
さらに発話解析部５５は、その検出した時刻情報に基づき、このとき検出した人物の名前が音声として発せられた名前発話区間を検出する。そして発話解析部５５は、写込区間情報が示す写込区間（すなわち、時刻情報）と、名前発話区間（すなわち、時刻情報）とを比較する。
【０２２２】
その結果、発話解析部５５は、写込区間と、名前発話区間との少なくとも一部が重なると、名前検出情報が示す人物の名前（文字列）と、このとき検出した人物の名前とを文字マッチングの手法で比較する。
【０２２３】
これにより発話解析部５５は、名前検出情報が示す人物の名前と、検出した人物の名前とが一致すると、撮影されていた人物が着けていた名札には、このとき検出した名前が描かれていたことを検出する。
【０２２４】
言い換えると、発話解析部５５は、単独発話テキストをもとに検出した名前が、撮影されていた人物により発せられた自分の名前であることを検出する。よって発話解析部５５は、撮影されていた人物が、このとき検出した名前の人物であることを特定する。
【０２２５】
発話解析部５５は、このようにして、撮影されていた人物が誰（すなわち、名前）であるのかを特定すると、その特定した人物を示す特定人物情報を生成する。この際、発話解析部５５は、特定人物情報に、このとき検出した人物の名前を文字列（すなわち、テキスト）で示す名前情報と、名前発話区間を時刻情報で示す名前発話区間情報とを格納する。
【０２２６】
また発話解析部５５は、名前検出情報に基づき、特定人物情報に、記憶動画像において、特定した人物の名前を示す文字列が写されていた写込区間を、その先頭及び後尾の時刻情報で示す写込区間情報も格納する。
【０２２７】
さらに発話解析部５５は、特定人物情報に、写込区間の単位画像において、特定した人物の名前を示す文字列の抽出位置を示す抽出位置情報も格納する。そして発話解析部５５は、その特定人物情報を動作解析部５６に送出する。
【０２２８】
ただし、一人で撮影されていた人物は、撮影中に自分の名前を発する可能性もあるが、他の人物の名前を発する可能性もある。このため発話解析部５５は、単独発話テキストをもとに人物の名前を検出しただけでは、その名前が、撮影されていた人物の名前であるのか、また他の人物の名前であるのかを特定し難い。
【０２２９】
よって発話解析部５５は、単独発話テキストをもとに人物の名前を検出した際、被写体推定部４６から名前検出情報が与えられてはいないと、このとき検出した名前は動作解析部５６に通知しない。
【０２３０】
また発話解析部５５は、名前検出情報が与えられていても、写込区間の時刻情報と、名前発話区間の時刻情報とが異なると、この場合も、検出した名前は動作解析部５６に通知しない。さらに発話解析部５５は、名前検出情報が示す人物の名前と、検出した人物の名前とが一致しないと、この場合も、検出した名前は動作解析部５６に通知しない。
【０２３１】
ところで、本来、推定処理には、後述するように、引き続き実行される処理が存在する。しかしながら、発話解析部５５は、推定処理に単独発話テキストを用いた場合、一人の人物の発話だけでは、複数の人物の関係を推定し難いため、以上説明した処理を実行し終えた時点で単独発話テキストを用いる処理を終了する。
【０２３２】
次いで、推定処理に、同一の会話をもとに得た（すなわち、会話単位の）複数の会話内発話テキストを用いる場合について説明する。発話解析部５５は、推定処理に、同一の会話をもとに得た複数の会話内発話テキストを用いると、当該複数の会話内発話テキストからそれぞれ、形態素に対応付けた単語属性情報に基づき単語を抽出する。
【０２３３】
また発話解析部５５は、名前データベース５７から複数の名前情報と、複数の接尾語情報とを読み出す。さらに発話解析部５５は、ニックネームデータベース５８から複数のニックネーム情報も読み出す。
【０２３４】
さらに発話解析部５５は、各会話内発話テキストから抽出した種々の単語を、これら名前情報が示す種々の人物の名前や、ニックネーム情報が示す種々のニックネームと文字マッチングの手法で比較する。
【０２３５】
そして発話解析部５５は、各会話内発話テキストから抽出した種々の単語の中に、名前データベース５７やニックネームデータベース５８に登録されている人物の名前やニックネームと一致する単語があると、その単語を人物の名前やニックネームとして検出する。
【０２３６】
また発話解析部５５は、各会話内発話テキストをもとに人物の名前を検出すると、その名前の直後の単語を、接尾語情報が示す種々の接尾語と文字マッチングの手法で比較する。
【０２３７】
これにより発話解析部５５は、人物により名前が呼び捨ての形態で発せられたのかや、「くん」や「さん」、「ちゃん」等の何れかの接尾語が付けられた形態で発せられたのかも合せて検出する。
【０２３８】
ところで、撮影の記憶時、撮影除外者は、撮影されている人物（被撮影者としての子供や大人）に、例えば、デジタルビデオカメラ１０の方に顔を向けるように名前やニックネームで呼びかけるような場合がある。
【０２３９】
また撮影の記憶が入学式や卒業式等のイベントで行われていると、当該イベントの主催者等により、撮影されている人物（被撮影者としての子供や大人）の紹介のために、当該人物の名前が呼ばれる場合もある。
【０２４０】
さらに撮影の記憶時には、撮影されている人物が、一緒に撮影されている他の人物や、一緒に撮影されてはいない他の人物に、名前やニックネームで呼びかけるような場合もある。そして複数の人物による会話は、基本的に、何れかの人物の話しかけに対し、他の人物が、その話しかけを受けて答えるように、複数の人物間で交互に行われる傾向にある。
【０２４１】
このため発話解析部５５は、何れかの人物の発話を示す会話内発話テキストをもとに人物の名前を検出すると、その検出した名前が含まれていた会話内発話テキストにおいて、上述と同様に名前発話区間を検出する。
【０２４２】
また発話解析部５５は、この際、被写体推定部４６から名前検出情報が与えられていると、上述と同様に写込区間の時刻情報を、名前発話区間の時刻情報と比較する。そして発話解析部５５は、写込区間と、名前発話区間との少なくとも一部が重なると、名前検出情報が示す人物の名前と、このとき検出した人物の名前とを文字マッチングの手法で比較する。
【０２４３】
よって発話解析部５５は、名前検出情報が示す人物の名前と、検出した人物の名前とが一致すると、その名前検出情報が示す名前が描かれた名札を着けて撮影されていた人物を、当該検出した名前の人物として特定する。発話解析部５５は、このようにして人物が誰（すなわち、名前）であるのかを特定すると、上述と同様に特定人物情報を生成して動作解析部５６に送出する。
【０２４４】
ただし、発話解析部５５は、この際、被写体推定部４６から名前検出情報が与えられてはいないと、検出した名前と共に、その名前を発した人物を示す名前発話情報を生成する。
【０２４５】
この際、発話解析部５５は、名前発話情報に、このとき検出した人物の名前を文字列（すなわち、テキスト）で示す（「くん」や「さん」等の接尾語が付けられていると、その接尾語が付けられたことも示す）名前情報を格納する。また発話解析部５５は、名前発話情報に、名前発話区間を時刻情報で示す名前発話区間情報も格納する。
【０２４６】
さらに発話解析部５５は、名前発話情報に、その検出した名前を発した人物の居た方向を示す人物方向情報も格納する。そして発話解析部５５は、その名前発話情報を動作解析部５６に送出する。
【０２４７】
また発話解析部５５は、名前検出情報が与えられていても、写込区間の時刻情報と、名前発話区間の時刻情報とが異なると、この場合も、名前発話情報を生成して動作解析部５６に送出する。さらに発話解析部５５は、名前検出情報が示す人物の名前と、検出した人物の名前とが一致しないと、この場合も、名前発話情報を生成して動作解析部５６に送出する。
【０２４８】
また発話解析部５５は、何れかの会話内発話テキストをもとにニックネームを検出すると、そのニックネームが含まれていた会話内発話テキストにおいて、当該ニックネームにかかる全ての単位相当部分と、これに付加していた時刻情報とを検出する。
【０２４９】
さらに発話解析部５５は、その検出した時刻情報に基づき、このとき検出したニックネームが音声として発せられたニックネーム発話区間を検出する。そして発話解析部５５は、検出したニックネームと共に、そのニックネームを発した人物を示すニックネーム発話情報を生成する。
【０２５０】
この際、発話解析部５５は、ニックネーム発話情報に、このとき検出したニックネームを文字列（すなわち、テキスト）で示すニックネーム情報と、ニックネーム発話区間を時刻情報で示すニックネーム発話区間情報とを格納する。
【０２５１】
また発話解析部５５は、ニックネーム発話情報に、その検出したニックネームを発した人物の居た方向を示す人物方向情報も格納する。そして発話解析部５５は、そのニックネーム発話情報を動作解析部５６に送出する。
【０２５２】
発話解析部５５は、このようにして人物の名前やニックネームの検出が終了すると、次いで、言語データベース５９から複数の方言情報と、複数の標準語情報とを読み出す。そして発話解析部５５は、各会話内発話テキストから抽出した種々の単語を、これら方言情報が示す種々の方言や、標準語情報が示す種々の標準語と文字マッチングの手法で比較する。
【０２５３】
これにより発話解析部５５は、各会話内発話テキストから抽出した種々の単語の中に、言語データベース５９に登録されている方言や標準語と一致する単語があると、人物同士の関係の推定用に、その単語を方言や標準語として検出する。
【０２５４】
また発話解析部５５は、関係推定語句データベース６０から複数の関係推定語句情報を読み出す。そして発話解析部５５は、各会話内発話テキストから抽出した種々の単語を、関係推定語句情報が示す「ママ」や「お母さん」、「パパ」、「ばあちゃん」、「兄ちゃん」等のような種々を関係推定語句（相手の呼び名）と文字マッチングの手法で比較する。
【０２５５】
これにより発話解析部５５は、各会話内発話テキストから抽出した種々の単語の中に、関係推定語句データベース６０に登録されている関係推定語句と一致する単語があると、人物同士の関係の推定用に、その単語を関係推定語句として検出する。
【０２５６】
発話解析部５５は、関係推定語句を検出すると、その検出した関係推定語句が含まれていた会話内発話テキストにおいて、当該検出した関係推定語句にかかる全ての単位相当部分と、これに付加していた時刻情報とを検出する。また発話解析部５５は、その検出した時刻情報に基づき、このとき検出した関係推定語句が音声として発せられた関係発話区間を検出する。
【０２５７】
そして発話解析部５５は、検出した関係推定語句と共に、その関係推定語句を発した人物を示す関係発話情報を生成する。この際、発話解析部５５は、関係発話情報に、このとき検出した関係推定語句を文字列（すなわち、テキスト）で示す関係推定語句情報と、関係発話区間を時刻情報で示す関係発話区間情報とを格納する。
【０２５８】
また発話解析部５５は、関係発話情報に、その検出した関係推定語句を発した人物の居た方向を示す人物方向情報も格納する。そして発話解析部５５は、その関係発話情報を動作解析部５６に送出する。
【０２５９】
さらに発話解析部５５は、動作推定語句データベース６１から複数の動作推定語句情報を読み出す。そして発話解析部５５は、各会話内発話テキストから抽出した種々の単語を、動作推定語句情報が示す「抱っこ」や「おんぶ」等のような種々の動作推定語句と文字マッチングの手法で比較する。
【０２６０】
これにより発話解析部５５は、各会話内発話テキストから抽出した種々の単語の中に、動作推定語句データベース６１に登録されている動作推定語句と一致する単語があると、後述のように人物の動作の推定用に、その単語を動作推定語句として検出する。
【０２６１】
発話解析部５５は、動作推定語句を検出すると、その検出した動作推定語句が含まれていた会話内発話テキストにおいて、当該検出した動作推定語句にかかる全ての単位相当部分と、これに付加していた時刻情報とを検出する。また発話解析部５５は、その検出した時刻情報に基づき、このとき検出した動作推定語句が音声として発せられた動作発話区間を検出する。
【０２６２】
そして発話解析部５５は、検出した動作推定語句と共に、その動作推定語句を発した人物を示す動作発話情報を生成する。この際、発話解析部５５は、動作発話情報に、このとき検出した動作推定語句を文字列（すなわち、テキスト）で示す動作推定語句情報と、動作発話区間を時刻情報で示す動作発話区間情報とを格納する。そして発話解析部５５は、その動作発話情報を動作解析部５６に送出する。
【０２６３】
このようにして発話解析部５５は、人物毎の会話内発話テキストをもとに名前やニックネーム、名前の呼び方の形態、方言、語尾等を検出する。そして発話解析部５５は、人物毎の会話内発話テキストをもとにニックネームや名前の呼び方の形態等を検出すると、当該検出したニックネームや名前の呼び方の形態等を人物毎に分類して当該人物の話し方を検出するための発話情報とする。
【０２６４】
この際、発話解析部５５は、人物毎に、その発話情報に基づき、親密度データベース６２の複数の好意判断項目ＣＯの中から、その人物の話し方を示す好意判断項目ＣＯを検出する。また発話解析部５５は、人物毎に、親密度データベース６２から、当該人物の話し方を示す好意判断項目ＣＯに対応する評価値ＶＡを全て読み出す。
【０２６５】
これに加え発話解析部５５は、人物毎に、上述の会話の速度及び声の高さに基づき、確立モデルを用いて会話時の感情を推定する。因みに、このような人物毎の会話時の感情を推定する手法については、例えば、「Jack  Breese  &  Gene  Ballの論文「Bayesian  Networks  for  Modeling  Emotional  State  and  Personality」に記載されている。
【０２６６】
そして発話解析部５５は、好意判断項目ＣＯが属するカテゴリＣＡ毎に予め選定された重み関数をωとし、評価値ＶＡをｖとし、人物が相手に持っている好意を示す好意値をＫとすると、当該好意値を、会話していた人物毎に（１）式
【０２６７】
【数１】
2011081763.tif 000003
【０２６８】
で表されるように、当該人物の話し方に応じて取得した全ての評価値ＶＡを、順次、対応する重み関数に従い重み付けして加算するようにして求める。因みに、（１）式において、ｅは、感情関数を示し、上述した人物の会話時の感情を表すものである。
【０２６９】
そして発話解析部５５は、会話していた複数の人物それぞれについて好意値を求めると、当該複数の人物の中の二人の人物において、一方の好意値をＫ（Ａ）とし、他方の好意値を、Ｋ（Ｂ）とする。また発話解析部５５は、これら二人の人物の親密度をＦ（Ａ，Ｂ）とすると、当該二人の人物の親密度を（２）式
【０２７０】
【数２】
2011081763.tif 000004
【０２７１】
で表されるように、互いの好意値を乗算するようにして求める。ただし、会話における人物毎の発話については、時間的長さと共に、その発話に使用された単語の総数が一致しない場合がある。このため発話解析部５５は、一方及び他方の人物の会話内発話テキストそれぞれに含まれる単語の総数で、互いの好意値を正規化する。
【０２７２】
因みに、（２）式において、ｎ（Ａ）は、一方の人物の会話内発話テキストに含まれる単語の総数を示し、ｎ（Ｂ）は、他方の人物の会話内発話テキストに含まれる単語の総数を示す。
【０２７３】
このようにして発話解析部５５は、会話していた複数の人物について、順次二人ずつ、総当りで互いの親密度を求める。因みに、（２）式に示す二人の人物の親密度は、数値が大きいほど、互いが、より親密である（すなわち、より、仲が良い）ことを示している。
【０２７４】
なお、このような人物同士の親密度の算出手法については、例えば、西原  陽子、砂山  渡、谷内田  正彦の論文「発話テキストからの人間の仲の良さと上下関係の推定」に記載されている。
【０２７５】
発話解析部５５は、このように会話していた複数の人物について総当りで親密度を求めると、その親密度を示す親密度情報を生成する。この際、発話解析部５５は、親密度情報に、（２）式で求めた親密度毎に、当該親密度と、その親密度を得た二人の人物を示す人物方向情報とを対応付けて格納する。
【０２７６】
また発話解析部５５は、その親密度情報に、人物毎の会話内発話テキストに付加していた会話区間情報も格納する。そして発話解析部５５は、その親密度情報を動作解析部５６及び関係判別部６５に送出する。
【０２７７】
このようにして発話解析部５５は、会話単位で会話内発話テキストを生成した場合、会話していた人物同士の関係（すなわち、間柄）として、当該人物同士がどの程度、親密であるのか（すなわち、どの程度仲が良いのか）を推定する。そして発話解析部５５は、その推定結果を、親密度情報として動作解析部５６及び関係判別部６５に通知する。
【０２７８】
一方、動作解析部５６は、映像ファイル生成部３５から記憶動画像データが与えられると、当該記憶動画像データに基づき人物毎の動作を解析して、これら人物の関係を推定するための動作解析関係推定処理を実行する。
【０２７９】
この場合、動作解析部５６は、被写体推定部４６から与えられた人物毎の顔検出情報に格納されている写込区間情報を取り出す。また動作解析部５６は、写込区間情報に基づき、記憶動画像データに基づく記憶動画像において、一人の人物が検出された（１つの顔が写っている）写込区間や、複数の人物が検出された（複数の顔が一緒に写っている）写込区間を特定する。
【０２８０】
そして動作解析部５６は、一人の人物が検出された写込区間を特定すると、記憶動画像データに基づく記憶動画像から、その特定した写込区間の複数の単位画像を切り出す。また動作解析部５６は、複数の人物が検出された写込区間を特定すると、記憶動画像データに基づく記憶動画像から、その特定した写込区間の複数の単位画像を切り出す。
【０２８１】
そして動作解析部５６は、一人の人物が検出された写込区間の複数の単位画像や、複数の人物が検出された写込区間の複数の単位画像に基づき、当該写込区間の複数の単位画像に写っている一人の人物又は複数の人物の動作を推定する。
【０２８２】
動作解析部５６は、記憶動画像から写込区間の複数の単位画像を切り出すと、顔検出情報（すなわち、想定位置情報）に基づき、写込区間の先頭の単位画像において、当該人物の顔を示す人物顔特徴量が抽出された想定領域を特定する。すなわち、動作解析部５６は、顔検出情報に基づき写込区間の先頭の単位画像において、人物の顔が写っている想定領域を特定する。
【０２８３】
また動画解析部５６は、写込区間の先頭の単位画像、及び２つ目の単位画像の間で動きベクトルを検出する。さらに動画解析部５６は、動きベクトルの検出結果と、先頭の単位画像で特定した想定領域とに基づき、先頭及び２つ目の単位画像において人物（すなわち、顔の検出された人物の、当該顔を含む体が写っている部分）を検出する。
【０２８４】
さらに動作解析部５６は、写込区間の３つ目以降の単位画像においても、２つ目の単位画像で検出した人物をともに順次動きベクトルを検出し、その検出結果に基づき、当該３つ目以降の単位画像に写っている同一の人物を検出する。因みに、以下の説明では、写込区間の複数の単位画像において検出された人物を、検出人物とも呼ぶ。
【０２８５】
そして動作解析部５６は、個々の単位画像を２値化処理し、当該２値化処理した個々の単位画像から、検出人物毎の輪郭線を抽出する。また動作解析部５６は、２値化処理した個々の単位画像から、輪郭線をもとに検出人物の写っている部分を、検出人物毎に切り出すようにして、当該検出人物のシルエット画像を生成する。
【０２８６】
次いで動作解析部５６は、各単位画像に基づいて生成した各シルエット画像に基づき、検出人物毎の人体を回転関節及び直動関節で表す関節物体としてモデリング及び姿勢推定して、写込区間での当該検出人物の動きを時系列で表す３次元モデルデータを生成する。
【０２８７】
ただし、シルエット画像をもとにした人体のモデリング及び姿勢推定では、そのモデリング及び姿勢推定のための観測や予測に誤差が含まれる場合がある。よって動作解析部５６は、この際、モデリング及び姿勢推定のための観測や予測に含まれる誤差を考慮して検出人物の人体をモデリング及び姿勢推定する必要がある。
【０２８８】
このため動作解析部５６は、この際、人体をモデリング及び姿勢推定するための演算処理に、その誤差を確率分布で表す拡張カルマンフィルタを用いている。ただし、動作解析部５６は、このように拡張カルマンフィルタを用いて演算処理するため、事前に人物の動作を予測して、その演算処理に利用する確率を設定する。
【０２８９】
これにより動作解析部５６は、その事前に設定した確率を利用して拡張カルマンフィルタにより演算処理することで、人体のモデリング及び姿勢推定の演算回数を減少させ処理負荷を低減させるようにしている。
【０２９０】
また動作解析部５６は、このように事前に設定した確率を利用して拡張カルマンフィルタにより演算処理することで、人体のモデリングの精度と共に姿勢推定の精度も向上させるようにしている。
【０２９１】
実際に動作解析部５６は、この際、発話解析部５５から１又は複数の動作発話情報が与えられていると、これら動作発話情報が示す動作発話区間（すなわち、時刻情報）と、検出人物の動作を推定するための写込区間（すなわち、時刻情報）とを比較する。
【０２９２】
その結果、動作解析部５６は、写込区間と、１又は複数の動作発話区間が重なると、当該写込区間と重なる１又は複数の動作発話区間を示す１又は複数の動作発話情報から、これに格納された動作推定語句情報を取り出す。
【０２９３】
すなわち、動作解析部５６は、写込区間において動作推定語句が発せられていると、検出人物により、当該動作推定語句が示す動作が行われていた可能性が高いため、その動作推定語句（動作推定語句情報）を検出人物の動作の推定用に動作発話情報から取り出す。
【０２９４】
そして動作解析部５６は、その動作推定語句に応じて、演算処理用の確率を選定して設定する。因みに、動作解析部５６は、この際、発話解析部５５から動作発話情報が与えられてはいないと、事前に選定されていた確率を演算処理用に設定する。
【０２９５】
この状態で動作解析部５６は、複数のシルエット画像（写込区間の複数の単位画像から生成したシルエット画像）を時系列で順番に用いる毎に、そのシルエット画像が示す検出人物のモデリング及び姿勢推定のパラメータを求める。
【０２９６】
因みに、人体をモデリング及び姿勢推定するためのパラメータとしては、人体の肩や肘等を表す回転関節や直動関節それぞれの位置や、回転角、曲げ角がある。因みに、以下の説明では、回転関節や直動関節それぞれの回転角や曲げ角を、まとめて関節角とも呼ぶ。
【０２９７】
また人体をモデリング及び姿勢推定するためのパラメータとしては、人体の一の腕や二の腕、臑等を表す回転関節及び直動関節同士や、回転関節同士を繋ぐ線分の位置や長さもある。
【０２９８】
因みに、以下の説明では、回転関節及び直動関節同士や、回転関節同士の繋がりを、リンクとも呼び、当該回転関節及び直動関節同士や、回転関節同士を繋ぐ線分の長さを、リンク長とも呼ぶ。
【０２９９】
ところで、シルエット画像は、２次元で表現されており、奥行きが観測できない。このためシルエット画像からは、モデリング及び姿勢推定用の３次元の傾きや長さ（すなわち、パラメータ）を一意には求め難い。
【０３００】
しかしながら、動作解析部５６は、モデリングの対象が人体に限定されていることにより、その限定に従って予め選定された制約に従い、パラメータを一意に求めるようにしている。
【０３０１】
因みに、このような制約としては、手首や肘、肩等に相当する回転関節や直動関節それぞれの関節角について、人体ではありえない関節角を除外して予め選定された変化可能な最大角及び最小角がある。
【０３０２】
また制約としては、手首や肘、肩等に相当する回転関節や直動関節それぞれの関節角に対し、人体ではありえない単位時間当たりの関節角の変化を除外するようにして選定された、当該単位時間当たりの関節角の変化の上限がある。
【０３０３】
さらに制約としては、人体の一の腕や二の腕、臑等に相当する線分それぞれのリンク長について、人体の左右で等しいものとし、また子供から大人までの人体ではありえないリンク長を除外して予め選定された最大長及び最小長がある。
【０３０４】
さらに制約としては、リンク長が不変な場合、観測された線分の長さをリンク長の下限値にするというものもある。さらに制約としては、単位時間当たりの関節角変化の上限値と観測値の変化とから、リンク長の下限値を定めるというものもある。
【０３０５】
さらに制約としては、リンク長の上限値と観測値の変化とから、その時点の関節角の範囲を定めるというものもある。さらに制約としては、関節角の範囲や各関節角同士の相関から、リンク長の上限値を定めるというものもある。
【０３０６】
実際に動作解析部５６は、検出人物をモデリング及び姿勢推定する場合、シルエット画像を時系列で順次用いる毎に、１つ前のシルエット画像を用いたときに求めたパラメータに基づき、現在のシルエット画像が示すパラメータを推測する。
【０３０７】
ただし動作解析部５６は、モデリング及び姿勢推定の開始直後に先頭のシルエット画像を用いてパラメータを求めるときは、１つ前のシルエット画像が存在しないため、予め選定された初期値としてのパラメータを、１つ前に求めたものとして用いる。
【０３０８】
因みに、以下の説明では、シルエット画像を時系列で順次用いる毎に、１つ前のシルエット画像を用いたときに求めたパラメータを、前回のパラメータとも呼ぶ。また、以下の説明では、前回のパラメータを求めるときに用いた、現在よりも１つ前のシルエット画像を、前回のシルエット画像とも呼ぶ。
【０３０９】
さらに、以下の説明では、現在、シルエット画像を用いて求めるパラメータを、現在のパラメータとも呼び、その現在のパラメータを求めるために、現在用いたシルエット画像を、現在のシルエット画像とも呼ぶ。さらに、以下の説明では、前回のパラメータに基づいて推測するパラメータを、推測パラメータとも呼ぶ。
【０３１０】
また動作解析部５６は、この際、現在のシルエット画像からパラメータを観測する。因みに、以下の説明では、現在のシルエット画像から観測するパラメータを、観測パラメータとも呼ぶ。さらに動作解析部５６は、関節角やリンク長が人体としてありえない数値にはならないように、現在のパラメータに制約を加えるための、制約値を求める。
【０３１１】
そして動作解析部５６は、推測パラメータと、観測パラメータと、制約値とに基づき、現在のシルエット画像が示す検出人物をモデリングするための現在のパラメータを求める。このようにして動作解析部５６は、複数のシルエット画像を順次用いる毎に、現在のパラメータを求める。
【０３１２】
また動作解析部５６は、最終的に後尾のシルエット画像を用いて現在のパラメータを得ると、当該現在のパラメータとしての例えばリンク長を、すでにシルエット画像を用いる毎に求めていたパラメータ（現在のパラメータ）に反映させる。
【０３１３】
すなわち、動作解析部５６は、シルエット画像を用いる毎に求めていたパラメータ（現在のパラメータ）において、当該パラメータとしてのリンク長を、後尾のシルエット画像を用いたときに求めた現在のパラメータとしてのリンク長に補正する。
【０３１４】
これにより動作解析部５６は、個々のシルエット画像をもとに求めていたパラメータに基づいて得られる関節物体の大きさをそろえて、関節物体の形状（すなわち、関節物体の姿勢及び位置）を補正して、検出人物のモデリング及び姿勢推定の精度を高めている。
【０３１５】
このようにして動作解析部５６は、複数のシルエット画像をもとに、これらシルエット画像に対応する時刻情報（すなわち、シルエット画像に対応する単位画像に付加された時刻情報）が示す時刻毎にパラメータを求める。
【０３１６】
そして動作解析部５６は、そのシルエット画像毎に得たパラメータに基づき検出人物を順次モデリングして、検出人物の形状を３次元モデルで表す複数のモデル単位データを生成する。
【０３１７】
また動作解析部５６は、この際、各モデル単位データに、対応するシルエット画像を用いて求めた種々のパラメータを付加する。さらに動作解析部５６は、各モデル単位データに、対応するシルエット画像の生成に用いた単位画像の時刻情報も付加する。
【０３１８】
これにより動作解析部５６は、複数のモデル単位データを時刻情報に従って時系列で並べて、写込区間での検出人物毎の動きを３次元モデルとして時系列で表す３次元モデルデータを生成する。すなわち、動作解析部５６は、時間的に連続する複数のモデル単位データによって構成する３次元モデルデータを生成する。
【０３１９】
因みに、パラメータ空間における領域表現を用いて、上述の処理をさらに詳しく説明すると、動作解析部５６は、シルエット画像を用いる毎に、現在のシルエット画像の時刻情報が示す時刻をｔとし、前回のシルエット画像の時刻情報が示す時刻をｔ−１として、前回のシルエット画像を用いたときに求めた前回のパラメータ領域をＰｔ−１とする。
【０３２０】
また動作解析部５６は、前回のパラメータ領域に基づいて関節物体の形状（すなわち、関節物体の姿勢及び位置）を求めて、その関節物体の形状をＮ次元ベクトルで表すようにする。そして動作解析部５６は、そのＮ次元ベクトルをＮＶｔ−１とする。
【０３２１】
さらに動作解析部５６は、前回のパラメータ領域に基づいて関節のダイナミクス（立体的な構造）を求める。そして動作解析部５６は、その前回のパラメータ領域に基づいて求めた関節のダイナミクスをＤ（ＮＶｔ−１）とする。
【０３２２】
さらに動作解析部５６は、現在の推測パラメータ領域を求める際の予測誤差の範囲をＥｓとし、当該推測パラメータ領域をＣＰｔとすると、その推測パラメータ領域を（３）式
【０３２３】
【数３】
2011081763.tif 000005
【０３２４】
で表されるように、予測誤差を考慮して求める。
【０３２５】
また動作解析部５６は、現在のパラメータ領域に基づいて求めるべき関節物体の形状を表すＮ次元ベクトルの投影関数をｈ（ＮＶｔ）とする。さらに動作解析部５６は、現在のシルエット画像から求めた各リンクの投影線分をＭ次元ベクトルで表すようにして、そのＭ次元ベクトルをＭＶｔとし、当該Ｍ次元ベクトルの誤差範囲をＥｈとする。
【０３２６】
そして動作解析部５６は、現在の観測パラメータ領域をＳＰｔとすると、その観測パラメータ領域を（４）式
【０３２７】
【数４】
2011081763.tif 000006
【０３２８】
で表されるように、誤差範囲を考慮して求める。
【０３２９】
さらに動作解析部５６は、現在のパラメータ領域に基づいて求めるべき関節物体の形状と姿勢を制約する制約値領域を、制約知識としての（５）式
【０３３０】
【数５】
2011081763.tif 000007
【０３３１】
で表されるような、Ｒ個の不等式に基づいて求める。
【０３３２】
そして動作解析部５６は、現在の制約値領域をＧｔとし、現在のパラメータ領域をＰｔとすると、当該現在のパラメータ領域を（６）式
【０３３３】
【数６】
2011081763.tif 000008
【０３３４】
で表されるように、現在の推測パラメータ領域と、現在の観測パラメータ領域と、現在の制約値領域とを、積集合を得るようにして統合し求める。
【０３３５】
なお、このような人体を回転関節及び直動関節で表す関節物体としてモデリングするモデリング手法については、例えば、亀田  能成、美濃  導彦、池田  克夫の論文「シルエット画像からの関節物体の姿勢推定法」に記載されている。
【０３３６】
また、このようなモデリング手法については、例えば、島田  伸敬、白井  良明、久野  義徳、三浦  純の論文「緩やかな制約知識を利用した単眼視動画像からの関節物体の形状と姿勢の同時推定」にも記載されている。
【０３３７】
動作解析部５６は、このようにして３次元モデルデータを生成すると、例えば、各モデル単位データに付加したパラメータとしての右手首や右肘、右肩、左手首、左肘、左肩等のように関節（すなわち、回転関節や直動関節）毎の関節角を時系列で順次比較する。
【０３３８】
これにより動作解析部５６は、その比較結果に基づき、３次元モデルデータにおいて、検出人物毎に、当該検出人物の全ての関節の関節角がほとんど変化しなくなった箇所を、モデル単位データの時刻情報として検出する。
【０３３９】
すなわち、動作解析部５６は、検出人物毎に、３次元モデルデータにおいて当該検出人物の動きが１つの動作から次の動作への移行のために一時的に止まった箇所や、座ったまま及び立ったままのようにしばらくの間止まった箇所を、動き停止箇所として検出する。
【０３４０】
そして動作解析部５６は、検出人物毎に、３次元モデルデータにおいて動き停止箇所で区切られた残りの区間（すなわち、少なくとも１つ以上の関節の関節角が変化している区間）を、当該検出人物が何らかの動作を行っている動作区間とする。
【０３４１】
このようにして動作解析部５６は、検出人物毎に３次元モデルデータにおいて１又は複数の動作区間を検出する。そして動作解析部５６は、個々の検出人物の動作区間毎に、パラメータとしの各関節の関節角を、順次時刻毎にまとめて当該動作区間の先頭から後尾にかけて（すなわち、動作の開始から終了にかけて）並べる。
【０３４２】
これにより動作解析部５６は、検出人物の動作区間毎に、右手首や右肘、右肩、左手首、左肘、左肩等の各関節の関節角を時系列で並べた観測系列を生成する。そして動作解析部５６は、動作データベース６３から動作毎の動作推定用データを読み出す。
【０３４３】
ここで、動作推定用データに格納された動作モデルを生成するモデル生成手法について説明する。かかるモデル生成手法では、まず、１つの動作を表す動作モデルを求める場合、複数の人物に行わせた同じ動作をそれぞれ撮影して複数の動画像データを生成する。
【０３４４】
次いで、モデル生成手法では、上述と同様にして人物毎に、当該人物の動画像データをもとに、人体を回転関節及び直動関節で表す関節物体としてモデリングするためのパラメータを時系列で求める。
【０３４５】
すなわち、モデル生成手法では、個々の人物の動画像データをもとに、その人物の動作の開始から終了にかけて単位画像データの時刻情報が示す時刻毎に、当該人物のモデリング用のパラメータを順次求める。
【０３４６】
ただし、複数の人物が同じ動作を行う場合、行う動作が同じではあっても、その動作の中で腕を上げるときの肘の曲げ角や肩の回転角等のように、動作のための人体の動きには、ばらつきが生じる。
【０３４７】
また複数の人物が同じ動作を行う場合に人体の動きに生じるばらつきの程度は、例えば、動作の開始から終了にかけて時系列で見ると、当該動作の開始部分や中盤、終了部分のように部分毎に異なる。
【０３４８】
よって、かかるモデル生成手法では、個々の人物のパラメータとしての関節毎の関節角を、動作の開始から終了にかけて順次時刻毎に用いて所定の演算処理を実行することで、個々の時刻における関節毎の関節角の代表値を求める。
【０３４９】
因みに、複数の人物が同じ動作を行っても、その動作に要する時間は人物毎に異なる場合がある。このため、かかるモデル生成手法では、人物毎に時系列で得た各関節の関節角をそれぞれ時系列データとし、その時系列データを近似曲線で近似する。そして、かかるモデル生成手法では、人物毎の各関節の近似曲線を時間軸方向に正規化する。
【０３５０】
すなわち、かかるモデル生成手法では、人物毎の動作に要する時間を合わせる。そのうえで、かかるモデル生成手法では、人物毎の正規化した近似曲線から個々の時刻における関節毎の関節角を求める。そして、かかるモデル生成手法では、上述のように個々の時刻における関節毎の関節角の代表値を求める。
【０３５１】
次いで、かかるモデル生成手法では、隠れマルコフモデルを利用して、各関節の時系列で求めた代表値を状態の有限集合とし、当該有限集合においてノードＯｉからノードＯｊへ状態が遷移する確率をａｉｊとする。
【０３５２】
また、かかるモデル生成手法では、ノードＯｉからノードＯｊへ状態が遷移する確率の集合を表す状態遷移確率行列をＡ＝｛ａｉｊ｝とし、ノードＯｉにおいてベクトルｘを出力する出力確率分布の集合をＢとする。
【０３５３】
さらに、かかるモデル生成手法では、初期状態確率分布をπ＝｛πｉ｝とし、動作推定用の比較基準となる動作モデルをλ（π，Ａ，Ｂ）して、状態の有限集合をもとに、関節毎の関節角の変化を時系列で示す（動作を的確に表す）動作モデルを求めている。
【０３５４】
因みに、かかるモデル生成手法では、出力確率分布をｂｉ（ｘ）とすると、当該出力確率分布を（７）式
【０３５５】
【数７】
2011081763.tif 000009
【０３５６】
で表されるように、ｑ個のガウス分布の線形結合として求める。因みに、（７）式において、ｃｉｊは、結合係数を示し、μは、ガウス分布の平均ベクトルを示し、Σは、ガウス分布の分散行列を示す。
【０３５７】
かかるモデル生成手法では、このようにして１つの動作を表す動作モデルを生成している。また、かかるモデル生成手法では、他の動作を表す動作モデルについても、同様に、複数の人物に行わせた同じ動作をそれぞれ撮影して得た複数の動画像データをもとにして生成している。なお、このようなモデル生成手法については、例えば、特許第4027838号に記載されている。
【０３５８】
動作解析部５６は、動作データベース６３から動作毎の動作推定用データを読み出すと、これら動作推定用データからそれぞれ動作モデルを取り出す。また動作解析部５６は、１つの観測系列の時刻毎の各関節の関節角と、１つの動作モデルの時刻毎の各関節の関節角とを動作の先頭から終了にかけて時系列で順に対応させる。
【０３５９】
この際、動作解析部５６は、観測系列の関節毎の関節角の個数と、動作モデルの関節毎の関節角の個数とが異なると、観測系列と、動作モデルとの少なくとも一方を近似曲線で近似して時間軸方向に正規化する。
【０３６０】
すなわち、動作解析部５６は、観測系列が表す動作に要する時間と、動作モデルが表す動作に要する時間とを合わせる。そのうえで動作解析部５６は、その正規化した近似曲線から個々の時刻における関節毎の関節角を求めるようにしている。
【０３６１】
そして動作解析部５６は、その１つの観測系列と、１つの動作モデルとにおいて順次対応する時刻毎の各関節の関節角を用いて所定の演算処理を実行する。これにより動作解析部５６は、観測系列が表す検出人物の動作が、動作モデルの表す動作として、どの程度確からしいかを示す尤度を求める。
【０３６２】
また動作解析部５６は、その観測系列と、他の動作モデルとについても、同様に尤度を求める。このようにして動作解析部５６は、１つの観測系列と、動作毎の動作モデルとに基づき順次尤度を求め、当該求めた全ての尤度を比較する。
【０３６３】
その結果、動作解析部５６は、複数の動作モデルの中から、観測系列との間で最も大きい値の（すなわち、最も確からしいことを示す）尤度を得た１つの動作モデルを特定する。そして動作解析部５６は、その特定した動作モデルが表す動作を、観測系列が表す（すなわち、その観測系列を得た動作区間で検出人物が行った）動作であると推定する。
【０３６４】
また動作解析部５６は、３次元モデルデータにおいて複数の動作区間を検出していると、これら動作区間毎に同様に処理して、当該動作区間それぞれで検出人物が行った動作を推定する。このようにして動作推定部５６は、３次元モデルデータをもとに、検出人物毎に当該検出人物の行った１又は複数の動作を検出する。
【０３６５】
ところで、上述の動作データベース６３には、「抱っこ」や「おんぶ」、「肩車」、「手をつなぐ」のように二人で成立する動作の判別用に、当該二人で成立する動作において一方の人物の動作を表す動作モデルが動作推定用データとして登録されている。
【０３６６】
また上述の動作データベース６３には、このように二人で成立する動作の判別用に、当該二人で成立する動作において他方の人物の動作を表す動作モデルも動作推定用データとして登録されている。
【０３６７】
このため動作解析部５６は、一緒に撮影された少なくとも二人の検出人物が、このような二人で成立する動作を行っていると、これら検出人物の、少なくとも一部が重なる動作区間をもとに、互いの検出人物の動作を同じ名称の動作として検出することができる。
【０３６８】
そして動作解析部５６は、少なくとも二人の検出人物の、少なくとも一部が重なる動作区間をもとに、互いの検出人物の動作を同じ名称の動作として検出すると、関係判別データベース６４において、当該検出した動作の名称を示す動作名情報ＭＯを検索する。
【０３６９】
また動作解析部５６は、関係推定データベース６４から、その検索した動作名情報ＭＯに対応付けられている関係情報ＲＥを読み出す。さらに動作解析部５６は、３次元モデルデータの生成に利用した顔検出情報から、その検出人物の年代性別情報も取り出す。
【０３７０】
そして動作解析部５６は、その関係情報ＲＥと年代性別情報とに基づき、一緒に写っていた複数の検出人物の関係を推定する。動作解析部５６は、例えば、二人の検出人物としての幼児と３０代女性との行っていた動作が「抱っこ」や「おんぶ」であると、関係情報ＲＥと年代性別情報とに基づき、当該二人の検出人物の関係が、幼児（１０代より下）と３０代女性との親子であると推定する。
【０３７１】
また動作解析部５６は、例えば、二人の検出人物としての２０代の男女の行っていた動作が「手をつなぐ」であると、関係情報ＲＥと年代性別情報とに基づき、当該二人の検出人物の関係が、２０代の男女の恋人同士であると推定する。
【０３７２】
さらに動作解析部５６は、例えば、二人の検出人物としての１０代の女性同士の行っていた動作が「手をつなぐ」であると、関係情報ＲＥと年代性別情報とに基づき、当該二人の検出人物の関係が、１０代の女性の友人同士であると推定する。
【０３７３】
因みに、動作推定部５６は、３次元モデルデータにより一人の検出人物のみをモデリングしている（一人の検出人物のみが撮影されている）と、関係判別データベース６４を用いる関係の推定を行わない。
【０３７４】
動作解析部５６は、このように複数の検出人物の関係を推定すると、記憶動画像から、関係を推定した際の検出人物同士の距離や互いの顔の向き、表情等を、当該検出人物同士の親密さの程度を表す親密程度情報として抽出する。また動作解析部５６は、３次元モデルデータに基づき、関係を推定した際の検出人物それぞれの位置も検出する。
【０３７５】
さらに動作解析部５６は、３次元モデルデータの生成に利用した顔検出情報から、その関係を推定した複数の検出人物の人物顔特徴量を取り出す。さらに動作解析部５６は、関係を推定した複数の検出人物を、その人物顔特徴量で示すと共に、当該複数の検出人物が、上述のように、どのような関係であると推定したのかを示す推定関係情報を生成する。
【０３７６】
そして動作解析部５６は、関係判別部６５に、推定した関係を通知するための関係通知情報を生成する。この際、動作解析部５６は、関係通知情報に、推定関係情報と、親密程度情報とを格納する。また動作解析部５６は、関係通知情報に、関係を推定した複数の検出人物それぞれの位置を示す人物位置情報も格納する。
【０３７７】
さらに動作解析部５６は、関係通知情報に、その関係の推定のもとになった動作が行われた動作区間を、当該動作区間の先頭の単位画像の時刻情報と後尾の単位画像の時刻情報とで示す動作区間情報も格納する。このようにして動作解析部５６は、関係通知情報を生成すると、これを関係判別部６５に送出する。
【０３７８】
次いで、動作解析部５６は、発話解析部５５から関係発話情報が与えられていると、当該関係発話情報が示す関係発話区間（すなわち、時刻情報）と、写込区間（すなわち、３次元モデルデータのモデル単位データに付加した時刻情報）とを比較する。
【０３７９】
その結果、動作解析部５６は、写込区間と関係発話区間が重なると、関係発話情報から、これに格納された関係推定語句情報を取り出す。また動作解析部５６は、関係発話情報から、これに格納された人物方向情報も取り出す。
【０３８０】
また動作解析部５６は、その人物方向情報に基づき、関係語句情報が示す関係推定語句での呼びかけを行った人物を検出人物や撮影除外者として検出する。そして動作解析部５６は、その呼びかけを行った人物が検出人物であると、その呼びかけが行われたとき、当該人物以外に、その呼びかけに反応するような「振り向く」や「うなづく」等の動作を行っていた検出人物が存在するか否かを判別する。
【０３８１】
その結果、動作解析部５６は、関係推定語句での呼びかけに反応した動作を行っていた検出人物が一人だけ存在すると、その検出人物を、関係推定語句が示す「ママ」や「パパ」等のような呼び名で呼ばれる母親や父親等であると特定する。
【０３８２】
また動作解析部５６は、呼びかけを行った検出人物と、その呼びかけに反応した検出人物との関係を、関係推定語句と、検出人物の特定結果とに基づき例えば、一方の検出人物と、母親（又は父親）である他方の検出人物とが家族であるというように推定する。
【０３８３】
そして動作解析部５６は、検出人物同士の関係を推定すると、上述と同様に記憶動画像から、関係を推定した際の検出人物それぞれの位置を人物位置情報として検出すると共に、検出人物同士の距離、互いの顔の向き、表情等を親密程度情報として抽出する。
【０３８４】
また動作解析部５６は、顔検出情報から、その関係を推定した複数の検出人物の人物顔特徴量を取り出す。そして動作解析部５６は、その人物顔特徴量を用いて、上述と同様に、関係を推定した複数の検出人物を、その人物顔特徴量で示すと共に、当該二人の検出人物が、上述のように、どのような関係であると推定したのかを示す推定関係情報を生成する。
【０３８５】
さらに動作解析部５６は、関係発話区間と、呼びかけに反応するような動作が行われた動作区間とを合せた区間を、関係推定区間とする。さらにまた動作解析部５６は、その関係推定区間を、当該関係推定区間の先頭の単位画像の時刻情報と後尾の単位画像の時刻情報とで示す関係推定区間情報を生成する。
【０３８６】
そして動作解析部５６は、推定した関係を通知するための関係通知情報を生成する。この際、動作解析部５６は、関係通知情報に、推定関係情報を格納する。また動作解析部５６は、関係通知情報に、人物位置情報と、親密程度情報と、関係推定区間情報とを格納する。このようにして動作解析部５６は、関係通知情報を生成すると、これを関係判別部６５に送出する。
【０３８７】
ところで、動作解析部５６は、関係推定語句での呼びかけに反応した動作を行っていた検出人物が複数存在すると、その複数の検出人物それぞれを、関係推定語句が示す「ママ」や「パパ」等のような呼び名で呼ばれる母親や父親等であると特定する。
【０３８８】
また動作解析部５６は、呼びかけを行った検出人物と、その呼びかけに反応した複数の検出人物それぞれとの組合せ毎に、これらの関係を、関係推定語句と、検出人物の特定結果とに基づき例えば、上述のように推定する。
【０３８９】
よって動作解析部５６は、呼びかけを行った検出人物と、その呼びかけに反応した複数の検出人物それぞれとの組合せ毎に、上述と同様に人物位置情報を検出すると共に親密程度情報を抽出する。
【０３９０】
また動作解析部５６は、呼びかけを行った検出人物と、その呼びかけに反応した複数の検出人物それぞれとの組合せ毎に、上述と同様に推定関係情報を生成する。さらに動作解析部５６は、上述と同様に関係推定区間情報を生成する。
【０３９１】
そして動作解析部５６は、関係通知情報を生成する。この際、動作解析部５６は、関係通知情報に、関係を推定した検出人物の組合せ毎の推定関係情報、人物検出情報及び親密程度情報を対応付けて格納する。また動作解析部５６は、関係通知情報に、関係推定区間情報を格納する。このようにして動作解析部５６は、関係通知情報を生成すると、これを関係判別部６５に送出する。
【０３９２】
続いて、動作解析部５６は、発話解析部５５から名前発話情報が与えられていると、当該名前発話情報が示す名前発話区間情報（すなわち、時刻情報）と、写込区間（すなわち、３次元モデルデータのモデル単位データに付加した時刻情報）とを比較する。
【０３９３】
その結果、動作解析部５６は、写込区間と名前発話区間が重なると、名前発話情報から、これに格納された名前情報を取り出す。また動作解析部５６は、名前発話情報から、これに格納された人物方向情報も取り出す。
【０３９４】
さらに動作解析部５６は、３次元モデルデータに基づき、その写込区間での各検出人物の位置を検出する。そして動作解析部５６は、各検出人物の位置と、人物方向情報とに基づき、名前情報が示す人物の名前を呼んだ人物を検出人物や撮影除外者として特定する。
【０３９５】
また動作解析部５６は、その特定した人物により人物の名前で呼びかけられたときに、当該人物以外の検出人物の中に、その呼びかけに反応するような「振り向く」や「うなづく」等の動作を行っていた検出人物が存在するか否かを判別する。
【０３９６】
その結果、動作解析部５６は、人物の名前での呼びかけに反応した検出人物が一人だけ存在すると、その検出人物の名前が、名前情報が示す人物の名前であると特定する。すなわち、動作解析部５６は、このようにして検出人物が誰（すなわち、名前）であるのかを特定する。
【０３９７】
また動作解析部５６は、人物の名前での呼びかけに反応した検出人物が複数存在すると、この際、発話解析部５５から与えられている親密度情報から会話区間情報を取り出す。
【０３９８】
さらに動作解析部５６は、会話区間情報が示す会話区間（すなわち、時刻情報）と、写込区間（すなわち、３次元モデルデータのモデル単位データに付加した時刻情報）とを比較する。その結果、動作解析部５６は、写込区間と会話区間が重なると、親密度情報から、親密度及び対応する二人の人物方向情報を、その組合毎に全て取り出す。
【０３９９】
さらに動作解析部５６は、各検出人物の位置と人物方向情報とに基づき、人物の名前で呼びかけを行った検出人物と、その呼びかけに反応した複数の検出人物との組合せの中に、親密度の判別された組合せが存在するか否かを判別する。
【０４００】
そして動作解析部５６は、呼びかけに反応した複数の検出人物の中に、呼びかけを行った検出人物との親密度が判別されたものが複数存在すると、呼びかけを行った検出人物と、呼びかけに反応した検出人物との組合せの中で、親密度の最も高い一組を検出する。
【０４０１】
これにより動作解析部５６は、検出した一組の検出人物のうち、呼びかけに反応した一人の検出人物の名前が、名前情報が示す人物の名前であると特定する。すなわち、動作解析部５６は、このようにして検出人物が誰（すなわち、名前）であるのかを特定する。
【０４０２】
さらに動作解析部５６は、人物の名前で呼びかけを行った検出人物と、当該呼びかけに反応した複数の検出人物との組合せの中に、親密度の判別された組合せが一組だけ存在すると、その１組の検出人物から名前の検出人物を特定する。すなわち、動作解析部５６は、その一組の検出人物のうち、呼びかけに反応した一人の検出人物の名前が、名前情報が示す人物の名前であると特定する。
【０４０３】
ただし、動作解析部５６は、人物の名前で呼びかけを行った検出人物と、当該呼びかけに反応した複数の検出人物との組合せの中に、親密度が判別された組合せが存在しないと、検出人物の名前を特定しない。また動作解析部５６は、写込区間と会話区間が重ならない場合も検出人物の名前を特定しない。
【０４０４】
これに加えて動作解析部５６は、この際、発話解析部５５からニックネーム発話情報が与えられていると、当該名前発話情報が与えられた場合と同様にして、ニックネーム発話情報が示すニックネーム発話区間と、写込区間とを比較する。
【０４０５】
その結果、動作解析部５６は、写込区間とニックネーム発話区間が重なると、ニックネーム発話情報から、これに格納されたニックネーム情報を取り出す。また動作解析部５６は、ニックネーム発話情報から、これに格納された人物方向情報も取り出す。
【０４０６】
さらに動作解析部５６は、３次元モデルデータに基づき、その写込区間での各検出人物の位置を検出する。そして動作解析部５６は、各検出人物の位置と、人物方向情報とに基づき、ニックネーム情報が示すニックネームでの呼びかけを行った人物を検出人物や撮影除外者として特定する。
【０４０７】
また動作解析部５６は、その特定した人物によりニックネームで呼びかけられたとき、当該人物以外で、その呼びかけに反応するような「振り向く」や「うなずく」等の動作を行っていた検出人物が存在するか否かを判別する。
【０４０８】
その結果、動作解析部５６は、ニックネームでの呼びかけに反応した検出人物が一人だけ存在すると、その検出人物のニックネームが、ニックネーム情報が示すニックネームであると特定する。すなわち、動作解析部５６は、このようにして検出人物が誰（すなわち、ニックネーム）であるのかを特定する。
【０４０９】
また動作解析部５６は、ニックネームでの呼びかけに反応した検出人物が複数存在すると、この際、発話解析部５５から与えられている親密度情報から会話区間情報を取り出す。
【０４１０】
また動作解析部５６は、会話区間情報が示す会話区間（すなわち、時刻情報）と、写込区間（すなわち、３次元モデルデータのモデル単位データに付加した時刻情報）とを比較する。その結果、動作解析部５６は、写込区間と会話区間が重なると、親密度情報から、親密度及び対応する二人の人物方向情報を、その組合毎に全て取り出す。
【０４１１】
さらに動作解析部５６は、各検出人物の位置と人物方向情報とに基づき、ニックネームで呼びかけを行った検出人物と、その呼びかけに反応した複数の検出人物との組合せの中に、親密度の判別された組合せが存在するか否かを判別する。
【０４１２】
そして動作解析部５６は、呼びかけに反応した複数の検出人物の中に、呼びかけを行った検出人物との親密度が判別されたものが複数存在すると、呼びかけを行った検出人物と、呼びかけに反応した検出人物との組合せの中で、親密度の最も高い一組を検出する。
【０４１３】
これにより動作解析部５６は、検出した一組の検出人物のうち、呼びかけに反応した一人の検出人物のニックネームが、ニックネーム情報が示すニックネームであると特定する。すなわち、動作解析部５６は、このようにして検出人物が誰（すなわち、ニックネーム）であるのかを特定する。
【０４１４】
さらに動作解析部５６は、ニックネームで呼びかけを行った検出人物と、当該呼びかけに反応した複数の検出人物との組合せの中に、親密度の判別された組合せが一組だけ存在すると、その１組の検出人物から名前の検出人物を特定する。すなわち、動作解析部５６は、その一組の検出人物のうち、呼びかけに反応した一人の検出人物のニックネームが、ニックネーム情報が示すニックネームであると特定する。
【０４１５】
ただし、動作解析部５６は、ニックネームで呼びかけを行った検出人物と、当該呼びかけに反応した複数の検出人物との組合せの中に、親密度が判別された組合せが存在しないと、検出人物のニックネームを特定しない。また動作解析部５６は、写込区間と会話区間が重ならない場合も検出人物のニックネームを特定しない。
【０４１６】
ところで、動作解析部５６は、発話解析部５５から特定人物情報が与えられていると、当該特定人物情報が示す名前発話区間と、写込区間（すなわち、３次元モデルデータのモデル単位データに付加した時刻情報）とを比較する。
【０４１７】
その結果、動作解析部５６は、写込区間と名前発話区間が重なると、特定人物情報から、これに格納された名前情報を取り出す。また動作解析部５６は、特定人物情報から、これに格納された写込区間情報及び抽出位置情報も取り出す。
【０４１８】
そして動作解析部５６は、その写込区間情報及び抽出位置情報に基づき、記憶動画像において、名前情報が示す名前の名札を着けている検出人物を特定する。そして動作解析部５６は、その特定した検出人物の名前を、名前情報が示す名前であると推定する。すなわち、動作解析部５６は、このようにして検出人物が誰（すなわち、名前）であるのかを特定する。
【０４１９】
動作解析部５６は、このようにして検出人物同士の関係を推定し、また検出人物を特定する。そして動作解析部５６は、このような推定や特定が完了すると、３次元モデルデータの生成に利用した顔検出情報から、このとき人体をモデリングした全ての検出人物の人物顔特徴量及び写込区間情報を取り出す。
【０４２０】
そして動作解析部５６は、検出人物毎に、当該検出人物を示す検出人物情報を生成する。この際、動作解析部５６は、検出人物毎の検出人物情報に、人物顔特徴量及び写込区間情報を格納する。
【０４２１】
また動作解析部５６は、検出人物について検出した動作の名称（「抱っこ」や「おんぶ」等）を文字列で示す動作名称情報を生成する。さらに動作解析部５６は、その検出した動作の行われた動作区間を、当該動作区間の先頭の単位画像の時刻情報と後尾の単位画像の時刻情報とで示す動作区間情報も生成する。
【０４２２】
そして動作解析部５６は、検出人物毎の動作名称情報及び動作区間情報を、当該検出人物について検出した動作を示す動作情報として、検出人物毎の検出人物情報に、その動作情報も格納する。
【０４２３】
さらに動作解析部５６は、検出人物の名前やニックネームを特定していると、当該検出人物の検出人物情報に、その特定した名前やニックネームを示す名前情報やニックネーム情報を格納する。このようにして動作解析部５６は、検出人物毎の検出人物情報を生成し、当該生成した検出人物毎の検出人物情報を関係判別部６５に送出する。
【０４２４】
関係判別部６５は、動作解析部５６から動作に基づき推定した関係を通知する関係通知情報が与えられると、その関係通知情報から動作区間情報を取り出す。また関係判別部６５は、発話解析部５５から与えられている親密度情報から会話区間情報を取り出す。
【０４２５】
さらに関係判別部６５は、会話区間情報が示す会話区間（すなわち、時刻情報）と、動作区間情報が示す動作区間（すなわち、時刻情報）とを比較する。その結果、関係判別部６５は、動作区間と会話区間が重なると、親密度情報から、親密度及び対応する二人の人物方向情報を、その組合毎に全て取り出す。
【０４２６】
また関係判別部６５は、関係通知情報から人物位置情報及び親密程度情報を取り出す。そして関係判別部６５は、人物位置情報が示す二人の検出人物の位置と、人物方向情報とに基づき、関係が推定された検出人物同士について親密度が求められていたか否かを検出する。
【０４２７】
その結果、関係判別部６５は、関係が推定された検出人物同士について親密度が求められていると、その親密度と親密程度情報とに基づき、推定された関係がどの程度確からしいのか示す関係度を算出する。ただし、関係判別部６５は、関係が推定された検出人物同士について親密度が求められてはいないと、親密度は用いずに、親密程度情報に基づき関係度を算出する。
【０４２８】
因みに、関係度は、例えば、検出人物同士の距離が近いほど大きい値になり、また互いに顔を向け合っていると、この場合も値が大きくなる。これに対し関係度は、例えば、検出人物同士の一方が顔をそむけていると、値が小さくなり、互いに顔をそむけていると、さらに値は小さくなる。
【０４２９】
このようにして関係判別部６５は、関係度を求めると、その関係度を、予め選定された第３の閾値と比較する。その結果、関係判別部６５は、関係度が第３の閾値以上であると、検出人物同士の関係が推定された通りであると判別する。
【０４３０】
関係判別部６５は、このように検出人物の関係を判別すると、関係通知情報から推定関係情報を取り出す。また関係判別部６５は、その推定関係情報を、複数の検出人物について判別した関係を示す関係判別情報とする。
【０４３１】
そして関係判別部６５は、この際、動作解析部５６から与えられていた検出人物毎の検出人物情報のうち、関係を判別した複数の検出人物の検出人物情報に、その関係判別情報を格納する。
【０４３２】
因みに、関係判別部６５は、動作区間と会話区間とが重ならないと、親密度を用いずに、親密程度情報を用いて関係度を算出する。また関係判別部６５は、関係度が第３の閾値よりも小さいと、検出人物同士の関係が推定されたものではないと判別する。
【０４３３】
また関係判別部６５は、動作解析部５６から関係推定語句に基づき推定した関係を通知する関係通知情報が与えられると、その関係通知情報から関係推定区間情報を取り出す。また関係判別部６５は、発話解析部５５から与えられている親密度情報から会話区間情報を取り出す。
【０４３４】
さらに関係判別部６５は、会話区間情報が示す会話区間（すなわち、時刻情報）と、関係推定区間情報が示す関係推定区間（すなわち、時刻情報）とを比較する。その結果、関係判別部６５は、関係推定区間と会話区間が重なると、親密度情報から、親密度及び対応する二人の人物方向情報を、その組合毎に全て取り出す。
【０４３５】
ところで、関係判別部６５は、この際、関係通知情報に一組の推定関係情報、人物位置情報及び親密程度情報が格納されていると、当該関係通知情報から、その人物位置情報及び親密程度情報を取り出す。
【０４３６】
そして関係判別部６５は、上述と同様に人物位置情報と人物方向情報とに基づき、関係が推定された検出人物同士について親密度が求められていたか否かを検出する。そして関係判別部６５は、関係が推定された検出人物同士について親密度が求められていると、その親密度と親密程度情報とに基づき関係度を算出する。
【０４３７】
また関係判別部６５は、関係が推定された検出人物同士について親密度が求められてはいないと、親密度は用いずに、親密程度情報に基づき関係度を算出する。そして関係判別部６５は、上述と同様に、その関係度を第３の閾値と比較し、その比較結果に基づき、検出人物同士の関係が推定された通りであるか否かを判別する。
【０４３８】
その結果、関係判別部６５は、検出人物の関係を判別すると、上述と同様に、関係通知情報から推定関係情報を取り出して関係判別情報とし、その関係判別情報を、関係を判別した複数の検出人物の検出人物情報に格納する。
【０４３９】
一方、関係判別部６５は、この際、関係通知情報に複数組の推定関係情報、人物位置情報及び親密程度情報が格納されていると、当該関係通知情報から人物位置情報及び親密程度情報を一組ずつ取り出す。
【０４４０】
また関係判別部６５は、関係通知情報から一組の人物位置情報及び親密程度情報を取り出す毎に、上述と同様に当該一組の人物位置情報及び親密程度情報を人物方向情報と共に用いると共に、親密度も適宜用いて関係度を算出し第３の閾値と比較する。その結果、関係判別部６５は、少なくとも１つ以上の関係度が第３の閾値以上であると、検出人物同士の関係が推定された通りであるか否かを判別する。
【０４４１】
ただし、関係判別部６５は、この際、第３の閾値以上の関係度が１つだけであると、当該第３の閾値以上の関係度を求めるために用いた人物位置情報及び親密程度情報に対応する推定関係情報を関係通知情報から取り出す、そして関係判別部６５は、その推定関係情報を関係判別情報として、関係を判別した二人の検出人物の検出人物情報に格納する。
【０４４２】
また関係判別部６５は、この際、第３の閾値以上の関係度が２つ以上あると、当該第３の閾値以上の複数の関係度のうち最も値の大きい１つの関係度を選択する。そして関係判別部６５は、関係通知情報から、その選択した関係度に対応する推定関係情報を取り出し、当該取り出した推定関係情報を関係判別情報として、関係を判別した複数の検出人物の検出人物情報に格納する。
【０４４３】
因みに、関係判別部６５は、この際にも動作区間と会話区間とが重ならないと、親密度を用いずに関係度を算出する。また関係判別部６５は、全ての関係度が第３の閾値よりも小さいと、検出人物同士の関係が推定されたものではないと判別する。
【０４４４】
関係判別部６５は、このように動作解析部５６によって推定された全ての関係について、その関係が妥当か否かを判別し、その判別が完了すると、検出人物毎の検出人物情報を人物特定部３９に送出する。
【０４４５】
このようにして人物関係判別部３８は、記憶動画像に写っている複数の人物が検出される毎に、検出人物の名前やニックネームを適宜特定すると共に、一緒に撮影されていた検出人物同士の関係を判別する。
【０４４６】
ところで、記憶媒体２８には、検出人物を、当該検出人物に関する人物登録情報として個別に登録するための人物データベースが予め構築されている。そして人物特定部３９は、関係判別部６５から検出人物毎の検出人物情報が与えられる毎に、撮影人物特定処理の一部である、データベース更新処理を実行する。
【０４４７】
この場合、人物特定部３９は、関係判別部６５から検出人物毎の検出人物情報が与えられると、記憶再生制御部３６及び記憶再生部２７を順次介して記憶媒体２８内の人物データベースに人物登録情報を登録しているか否かを検出する。その結果、人物特定部３９は、人物データベースに未だ人物登録情報を登録してはいないと、検出人物情報が示す検出人物の人物登録情報を新規に生成する。
【０４４８】
この際、図９に示すように、人物特定部３９は、検出人物の人物登録情報を、全体が階層的なツリー構造となるように生成するようになされており、最上位の情報を、当該検出人物を示す人物情報にする。
【０４４９】
ところで、人物特定部３９は、人物情報には、検出人物を示す情報として人物顔特徴量を格納している。ただし、人物特定部３９は、検出人物の名前やニックネームが検出されていると、人物情報に、人物顔特徴量と共に、その名前を示す名前情報やニックネームを示すニックネーム情報も格納する。
【０４５０】
また人物特定部３９は、人物情報に、これよりも１階層下位の情報として、映像インデックスと、人物名インデックスと、住所インデックスと、関係インデックスとを並列に対応付ける。
【０４５１】
ここで、検出人物の人物登録情報に含まれる映像インデックスは、当該検出人物を撮影して生成された映像ファイルのインデックス（索引）になるものである。また検出人物の人物登録情報に含まれる人物名インデックスは、当該検出人物の名前を示す名前情報及びニックネームを示すニックネーム情報のインデックス（索引）になるものである。
【０４５２】
さらに検出人物の人物登録情報に含まれる住所インデックスは、当該検出人物の本籍地を示す本籍地情報や現住所を示す現住所情報のインデックス（索引）になるものである。さらに検出人物の人物登録情報に含まれる関係インデックスは、一緒に撮影された複数の検出人物の関係を示す人物関係情報のインデックス（索引）になるものである。
【０４５３】
そして人物特定部３９は、映像インデックスに、これよりも１階層下位の情報として、検出人物を撮影して生成された映像ファイルのファイル識別情報（このとき与えられたヘッダデータに格納されている）を対応付ける。
【０４５４】
因みに、人物特定部３９は、後述するように、同一の検出人物が２回以上撮影され、その都度、人物登録情報を更新すると、映像インデックスに、その検出人物を新たに撮影して生成された映像ファイルのファイル識別情報を並列に追加して対応付ける。
【０４５５】
また人物特定部３９は、検出人物の検出人物情報に名前情報やニックネーム情報が含まれる（検出人物の名前やニックネームが検出される）と、人物名インデックスに、これよりも１階層下位の情報として、名前情報やニックネーム情報を並列に対応付ける。
【０４５６】
ところで、人物特定部３９は、ユーザにより操作キー１２を介して人物の名前が入力されると、その名前を文字列（すなわち、テキスト）で示す名前情報を保持している。また人物特定部３９は、ユーザにより例えば、操作キー１２を介して人物の本籍地や現住所を示す位置（緯度及び経度）が入力されると、その本籍地を示す本籍地情報と、現住所を示す現住所情報とを、その入力された名前を示す名前情報と対応付けて保持している。
【０４５７】
このため人物特定部３９は、人物登録情報を新規に生成するときや内容を更新するとき、検出人物の名前が検出されていると、当該検出された名前と、ユーザ入力に応じて保持している名前情報が示す名前とを文字マッチングの手法で比較する。
【０４５８】
その結果、人物特定部３９は、検出人物の名前と、ユーザにより入力された名前とが一致すると、ユーザ入力に応じてその名前情報と共に保持している本籍地情報及び現住所情報を人物登録情報の生成や内容の更新に用いる。
【０４５９】
すなわち、人物特定部３９は、検出人物の名前と、ユーザにより入力された名前とが一致すると、住所インデックスに、これよりも１階層下位の情報として、その本籍地情報及び現住所情報を並列に対応付ける。
【０４６０】
さらに人物特定部３９は、検出人物の検出人物情報に１又は複数の人物関係情報が含まれると、関係インデックスに、これよりも１階層下位の情報として、１又は複数の人物関係情報を並列に対応付ける。
【０４６１】
このようにして人物特定部３９は、検出人物毎の人物登録情報を階層的に生成する。そして人物特定部３９は、このように人物登録情報を生成すると、当該生成した人物登録情報を、記憶再生制御部３６及び記憶再生部２７を順次介して記憶媒体２８に送出する。これにより人物特定部３９は、その人物登録情報を記憶媒体２８に記憶するようにして人物データベースに登録する。
【０４６２】
一方、人物特定部３９は、人物データベースに人物登録情報をすでに登録していると、記憶再生制御部３６及び記憶再生部２７を順次介して記憶媒体２８から、当該人物データベースにすでに登録している人物登録情報を全て読み出す。
【０４６３】
また人物特定部３９は、このとき関係判別部６５から与えられた検出人物毎の検出人物情報から人物顔特徴量を取り出す。そして人物特定部３９は、記憶媒体２８から読み出した人物登録情報に格納している人物顔特徴量（人物登録情報内の人物情報に格納した人物顔特徴量）を、検出人物情報から取り出した人物顔特徴量を比較する。
【０４６４】
このようにして人物特定部３９は、その比較結果に基づき、このとき検出された検出人物の中に、人物登録情報を人物データベースにすでに登録している検出人物が存在するか否かを検出する。
【０４６５】
その結果、人物特定部３９は、このとき検出された検出人物の中に、人物登録情報を人物データベースに未だ登録してはいない検出人物が存在すると、上述と同様に当該検出人物の人物登録情報を新規に生成して人物データベースに登録する。
【０４６６】
これに対し人物特定部３９は、このとき検出された検出人物の中に、人物登録情報を人物データベースにすでに登録している検出人物が存在すると、当該検出人物の人物登録情報の内容を更新する。
【０４６７】
この際、人物特定部３９は、このとき映像ファイル生成部３５から与えられたヘッダデータからファイル識別情報を取り出す。そして人物特定部３９は、検出人物の更新対象の人物登録情報において映像インデックスに、これよりも１階層下位の情報として、そのヘッダデータから取り出したファイル識別情報を並列に追加して対応付ける。
【０４６８】
また人物特定部３９は、検出人物の更新対象の人物登録情報に名前情報やニックネーム情報をすでに格納しているか否かを検出する。さらに人物特定部３９は、その検出人物の検出人物情報に名前情報やニックネーム情報が格納されているか否かも検出する。
【０４６９】
そして人物特定部３９は、その検出結果に基づき、検出人物の名前やニックネームが今回初めて検出されたか否かを判断する。その結果、人物特定部３９は、検出人物の名前やニックネームが今回初めて検出されていると、当該検出人物の検出人物情報から名前情報やニックネーム情報を取り出す。
【０４７０】
これにより人物特定部３９は、更新対象の人物登録情報において人物名インデックスに、これよりも１階層下位の情報として、このとき検出人物情報から取り出した名前情報やニックネーム情報を並列に対応付ける。
【０４７１】
また人物特定部３９は、今回、検出人物の名前やニックネームが検出されても、その名前やニックネームが以前にも検出され、更新対象の人物登録情報にすでに格納されていると、当該人物登録情報に名前情報やニックネーム情報を追加しない。
【０４７２】
さらに人物特定部３９は、検出人物の更新対象の人物登録情報に人物関係情報をすでに格納しているか否かを検出する。さらに人物特定部３９は、その検出人物の検出人物情報に人物関係情報が格納されているか否かも検出する。
【０４７３】
そして人物特定部３９は、その検出結果に基づき、検出人物と他の１又は複数の検出人物との関係が今回初めて判別されたか否かを判断する。その結果、人物特定部３９は、検出人物と他の１又は複数の検出人物との関係が今回初めて判別されていると、当該検出人物の検出人物情報から人物関係情報を取り出す。
【０４７４】
これにより人物特定部３９は、更新対象の人物登録情報において関係インデックスに、これよりも１階層下位の情報として、このとき検出人物情報から取り出した１又は複数の人物関係情報を並列に対応付ける。
【０４７５】
また人物特定部３９は、検出人物の更新対象の人物登録情報にすでに人物関係情報を格納しており、当該検出人物の検出人物情報にも人物関係情報が格納されていると、人物登録情報内の人物関係情報と検出人物情報内の人物関係情報との内容を比較する。
【０４７６】
その結果、人物特定部３９は、人物登録情報内の人物関係情報と検出人物情報内の人物関係情報との内容が同一であると、人物登録情報に人物関係情報を追加しない。
【０４７７】
しかしながら、人物特定部３９は、人物登録情報内の人物関係情報と検出人物情報内の人物関係情報との内容が全く異なる（以前と今回とでは検出人物との関係が判別された相手が異なる）と、検出人物の更新対象の人物登録情報の内容を更新する。
【０４７８】
すなわち、人物特定部３９は、検出人物の更新対象の人物登録情報において関係インデックスに、これよりも１階層下位の情報として、当該検出人物の検出人物情報に格納された異なる関係を示す１又は複数の人物関係情報を並列に追加して対応付ける。
【０４７９】
このようにして人物特定部３９は、人物登録情報の内容を更新すると、当該内容を更新した人物登録情報を、記憶再生制御部３６及び記憶再生部２７を順次介して記憶媒体２８に送出する。これにより人物特定部３９は、その内容を更新した人物登録情報を、内容を更新する前の人物登録情報に上書きするようにして記憶媒体２８に記憶する。
【０４８０】
ところで、デジタルビデオカメラ１０は、長年使用されると、同一人物の子供時代から大人になるまでの種々の場面を撮影して生成した映像ファイルや、その人物が大人になってからの種々の場面をさらに撮影して生成した映像ファイルを蓄積することができる。
【０４８１】
そしてデジタルビデオカメラ１０では、長年使用され人物の撮影回数と共に、その撮影により記憶される映像ファイルの数が増えると、これら映像ファイルをもとに、撮影された人物に関して、より多くの情報（種々の内容の検出人物情報）を得ることができる。
【０４８２】
このため、人物特定部３９は、関係判別部６５から検出人物情報が与えられる毎にデータベース更新処理を実行して人物登録情報の内容を適宜更新することで、その人物登録情報を、どのような人物であるのかを、より的確に示す内容にすることができる。
【０４８３】
ただし、人は大人になると、顔つきがほとんど変わらないものの、子供から大人へと成長にするにつれて、その成長の間に顔つきが変わる傾向にある。このため人物特定部３９は、デジタルビデオカメラ１０が長年使用されると、同一人物ではあっても、人物顔特徴量をもとに子供時代の人物と、大人になった人物とを別人と判断し、これらを個別に示す２つの人物登録情報を生成する場合がある。
【０４８４】
すなわち、人物特定部３９は、子供時代の人物が撮影され映像ファイルが生成されると、これに応じて当該人物の人物登録情報を生成して人物データベースに登録する。
【０４８５】
また人物特定部３９は、その人物の成長途中や、大人になってから撮影され映像ファイルが生成されると、顔つきの変化により、当該人物を子供時代とは別人と判断する。そして人物特定部３９は、その人物用に新たな人物登録情報を生成し人物データベースに登録する場合がある。
【０４８６】
このため人物特定部３９は、関係判別部６５から検出人物毎の検出人物情報が与えられると、上述のデータベース更新処理に先立ち，撮影人物特定処理の一部である人物特定処理を実行する。
【０４８７】
この際、人物特定部３９は、検出人物毎の検出人物情報に格納された人物関係情報に基づき、少なくとも未だ特定されていない一方の人物と、名前や呼び名（ママやパパ等）が特定された他の人物との関係が判別されたか否かを検出する。
【０４８８】
その結果、人物特定部３９は、今回、このような関係が判別されていると、人物データベース内の複数の人物登録情報の中から、その、すでに特定された他の人物の人物登録情報を検索する。
【０４８９】
そして人物特定部３９は、検索した人物登録情報に、特定された他の人物と、別の人物とが、今回、判別された特定されていない人物と、当該特定された他の人物との関係と同一の関係であると判別されたことを示す人物関係情報を格納しているか否かを検出する。
【０４９０】
その結果、人物特定部３９は、特定された他の人物と別の人物とが、当該特性された人物と未だ特定されていない人物との関係と同一の関係であると判別されていると、その未だ特定されていない人物を、当該別の人物と同一人物であると特定する。
【０４９１】
このようにして人物特定部３９は、デジタルビデオカメラ１０が長年使用されると、適宜実行する人物特定処理において、今回判別された関係と、過去に判別された関係とを比較する。そして人物特定部３９は、その比較結果に基づき、検出人物の子供時代や成長途中、大人になってからを、顔つきが変わっていても全て同一人物として特定することができる。
【０４９２】
図１０を用いて、以下に、このような検出人物の特定について具体的に説明する。まず人物特定部３９は、例えば、子供時代の人物Ａが人物Ｂと一緒に撮影され、その際に人物Ａの名前が「Ａ」であると検出されると、その人物Ａについて「Ａ」という名前を示す名前情報を格納した人物登録情報を生成する。
【０４９３】
そして人物特定部３９は、人物Ａの人物登録情報を人物データベースに登録する。また人物特定部３９は、このとき、人物Ａと一緒に写っていた人物Ｂについても人物登録情報を生成して人物データベースに登録する。
【０４９４】
次いで、人物特定部３９は、人物Ａと人物Ｂとが再び一緒に撮影され、その際に人物Ａと人物Ｂ（例えば、母親）との関係が親子であると判別されると、人物Ａの人物登録情報に、人物Ａと母親である人物Ｂとが親子であることを示す人物関係情報を格納する。
【０４９５】
因みに、人物特定部３９は、このとき人物Ａと母親である人物Ｂとが親子であると判別された関係を、当該人物Ｂの人物登録情報に格納していた人物関係情報が示す人物Ｂと別の人物との関係と比較する。
【０４９６】
ただし、人物特定部３９は、この時点では、母親である人物Ｂと親子であるのが子供時代の人物Ａだけであると、人物Ｂと別の人物との関係の中から、母親である人物Ｂが別の人物と親子であると判別するような関係を検出することはできない。
【０４９７】
よって人物特定部３９は、この際、内容を更新した人物Ａの人物登録情報を記憶再生制御部３６及び記憶再生部２７を順次介して記憶媒体２８に送出する。これにより人物特定部３９は、内容を更新した人物Ａの人物登録情報を、内容を更新する前の人物Ａの人物登録情報に上書きするようにして記憶媒体２８に記憶し、人物データベースにおいて、当該人物Ａの人物登録情報を更新する。
【０４９８】
また人物特定部３９は、このとき、人物Ａと一緒に写っていた人物Ｂの人物登録情報にも、人物Ａと母親である人物Ｂとが親子であるとことを示す人物関係情報を格納する。
【０４９９】
このようにして人物特定部３９は、人物Ｂの人物登録情報の内容を更新すると、当該内容を更新した人物Ｂの人物登録情報を記憶再生制御部３６及び記憶再生部２７を順次介して記憶媒体２８に送出する。
【０５００】
これにより人物特定部３９は、内容を更新した人物Ｂの人物登録情報を、内容を更新する前の当該人物Ｂの人物登録情報に上書きするようにして記憶媒体２８に記憶し、人物データベースにおいて、当該人物Ｂの人物登録情報を更新する。
【０５０１】
続いて、人物特定部３９は、大人になった人物Ａが人物Ｂと一緒に撮影されると、例えば、子供時代の人物Ａの人物登録情報とは別に、大人の人物Ａの人物登録情報を生成する。
【０５０２】
そして人物特定部３９は、この際、人物Ａと人物Ｂ（母親）との関係が親子であると判別されると、その大人の人物Ａの人物登録情報に、人物Ａと母親である人物Ｂとが親子であることを示す人物関係情報を格納する。
【０５０３】
また人物特定部３９は、このとき、人物Ａと母親である人物Ｂとが親子であると判別された関係を、当該人物Ｂの人物登録情報に格納していた人物関係情報が示す人物Ｂと別の人物との関係と比較する。
【０５０４】
その結果、人物特定部３９は、人物Ｂと別の人物との関係の中から、母親である人物Ｂが別の人物（子供時代の人物Ａ）と親子であると判別された関係を検出すると、人物Ａ（大人の人物Ａ）と別の人物（子供時代の人物Ａ）とを同一人物であると特定する。
【０５０５】
すなわち、人物特定部３９は、人物Ａと別の人物とが、何れも同じ母親である人物Ｂと親子であると、必然的に人物Ａ（大人の人物Ａ）と別の人物（子供時代の人物Ａ）とが母親である人物Ｂの息子であるため、同一人物であると特定する。
【０５０６】
ところで、人物特定部３９は、人物Ａと別の人物とを同一人物であると特定すると、例えば、記憶再生制御部３６及び記憶再生部２７を順次介して記憶媒体２８から、人物データベースに登録している当該別の人物の人物登録情報を読み出す。
【０５０７】
そして人物特定部３９は、例えば、人物Ａ（大人の人物Ａ）の人物登録情報に、別の人物（子供時代の人物Ａ）の人物登録情報の内容を加えて、同一人物である大人の人物Ａと子供時代の人物Ａとの人物登録情報を１つにする。
【０５０８】
この際、人物特定部３９は、人物Ａの１つに統合した人物登録情報において人物情報に、大人になった人物Ａの人物顔特徴量に加えて子供時代の人物Ａの人物顔特徴量も格納する。これにより人物特定部３９は、その新たな人物登録情報を、大人の人物Ａと子供時代の人物Ａとの両方の人物登録情報として利用可能にする。
【０５０９】
また人物特定部３９は、この際、人物Ａの１つに統合した人物登録情報において映像インデックスに、大人になった人物Ａに対応するファイル識別情報に加えて、子供時代の人物Ａに対応するファイル識別情報を対応付ける。
【０５１０】
さらに人物特定部３９は、人物Ａの１つに統合した人物登録情報において関係インデックスに、大人になった人物Ａについて判別された関係を示す人物関係情報に加えて、子供時代の人物Ａについて判別された関係を示す人物関係情報を対応付ける。
【０５１１】
さらに人物特定部３９は、人物Ａの１つに統合した人物登録情報において人物名インデックスに、大人になった人物Ａで検出された名前情報やニックネーム情報と、子供時代の人物Ａで検出されていた名前情報やニックネーム情報とを統合して対応付ける。
【０５１２】
よって人物特定部３９は、人物Ａの名前が大人になってからは検出されていなくても、上述のように子供時代に検出されていると、人物Ａと別の人物とが「Ａ」という名前の同一人物であると特定することができる。
【０５１３】
そして人物特定部３９は、大人になった人物Ａ及び子供時代の人物Ａの２つの人物登録情報を１つに統合すると、当該１つの人物登録情報を、記憶再生制御部３６及び記憶再生部２７を順次介して記憶媒体２８に送出する。
【０５１４】
これにより人物特定部３９は、人物Ａの１つに統合した人物登録情報を、例えば大人になった人物Ａの人物登録情報に上書きするようにして記憶媒体２８に記憶する。また人物特定部３９は、例えば、子供時代の人物Ａの人物登録情報については消去する。
【０５１５】
ところで、人物特定部３９は、仮に、人物Ａの名前が、子供時代には検出されず、大人になった人物Ａと子供時代の人物Ａとが同一人物であると特定した後に検出されると、当該人物Ａが、大人か子供かに関わらず、検出された名前であると特定する。
【０５１６】
また人物特定部３９は、人物Ａと人物Ｂ（母親）との関係が親子であると判別されたときに、人物Ａの名前が「Ａ」であるとも検出されると、人物Ａと別の人物とが「Ａ」という名前の同一人物であると、まとめて特定することもできる。
【０５１７】
さらに人物特定部３９は、例えば、人物Ａと別の人物とが同一人物であると特定する前に、当該人物Ａの名前が「Ａ」であると検出されると、人物Ａ以外の人物の人物登録情報に、その名前を示す名前情報を格納しているものがあるか否かを検出する。
【０５１８】
そして人物特定部３９は、人物Ａ以外の人物の人物登録情報の中に、その「Ａ」という名前を示す名前情報を格納した人物登録情報が存在すると、その名前情報を格納した人物登録情報の人物と、人物Ａとが「Ａ」という名前の同一人物であると特定する。
【０５１９】
このようにして人物特定部３９は、人物Ａと別の人物とが同一人物であると特定することもできる。そして人物特定部３９は、このように人物を特定した場合も、上述と同様に人物Ａの人物登録情報を統合して人物データベースに登録する。
【０５２０】
ところで、人物特定部３９は、人物特定処理及びデータベース更新処理を順次実行すると、引き続き撮影人物特定処理の一部である、属性情報生成処理も実行する。この場合、人物特定部３９は、このとき関係判別部６５から与えられた検出人物毎の検出人物情報を、例えば、統合した人物登録情報と共に用いて、映像ファイルのファイル属性情報を生成する。
【０５２１】
また人物特定部３９は、この際、ファイル属性情報の生成に、このとき映像ファイル生成部３５から与えられていたヘッダデータも用いる。さらに人物特定部３９は、この際、被写体推定部４６から撮影対象検出情報やイベント名検出情報が与えられていると、その撮影対象検出情報やイベント名検出情報もファイル属性情報の生成に用いる。
【０５２２】
この場合、図１１に示すように、人物特定部３９は、ファイル属性情報全体を階層的なツリー構造で生成するようにして、当該ファイル属性情報において最上位の情報を、ファイル識別情報にする。
【０５２３】
また人物特定部３９は、ファイル識別情報に、これよりも１階層下位の情報として、人物インデックスと、撮影場所インデックスと、イベントインデックスと、撮影日時情報とを並列に対応付ける。
【０５２４】
ここで、人物インデックスは、今回検出された検出人物に関する情報のインデックス（索引）になるものである。また撮影場所インデックスは、撮影場所に関する情報のインデックス（索引）になるものである。さらにイベントインデックスは、イベントに関する情報のインデックス（索引）になるものである。
【０５２５】
そして人物特定部３９は、人物インデックスに、これよりも１階層下位の情報として、今回検出された全ての検出人物を個別に示す人物情報を並列に対応付ける。ところで、人物特定部３９は、検出人物毎の人物情報には、当該検出人物を示す情報として人物顔特徴量を格納する。
【０５２６】
ただし、人物特定部３９は、検出人物の名前やニックネームが検出されていると、人物情報に、人物顔特徴量と共に、その名前を示す名前情報やニックネームを示すニックネーム情報も格納する。
【０５２７】
また人物特定部３９は、検出人物毎の人物情報にそれぞれ、これよりも１階層下位の情報として、区間インデックスと、人物名インデックスと、関係インデックスと、動作インデックスとを対応付ける。
【０５２８】
ここで、検出人物毎の区間インデックスは、記憶動画像に当該検出人物が写っている区間を示す写込区間情報のインデックス（索引）になるものである。また検出人物毎の人物名インデックスは、当該検出人物の名前を示す名前情報及びニックネームを示すニックネーム情報のインデックス（索引）になるものである。
【０５２９】
さらに検出人物毎の関係インデックスは、今回検出された（すなわち、一緒に撮影された）複数の検出人物の関係を示す人物関係情報のインデックス（索引）になるものである。さらに検出人物毎の動作インデックスは、当該検出人物の動作を示す動作情報のインデックス（索引）になるものである。
【０５３０】
よって人物特定部３９は、検出人物毎の区間インデックスに、これよりも１階層下位の情報として、記憶動画像に当該検出人物が写っている区間を示す写込区間情報を対応付ける。因みに、人物特定部３９は、記憶動画像に同一の検出人物が写っている区間が複数存在すると、その検出人物の区間インデックスに、複数の写込区間情報を並列に対応付ける。
【０５３１】
また人物特定部３９は、検出人物の名前やニックネームが検出されていると、その検出人物の人物名インデックスに、これよりも１階層下位の情報として、名前情報やニックネーム情報を並列に対応付ける。
【０５３２】
さらに人物特定部３９は、今回検出された複数の検出人物の関係が、映像ファイルをもとに判別され、また上述のように人物登録情報を用いて判別されていると、その関係を示す１又は複数の人物関係情報をファイル属性情報の生成に用いる。
【０５３３】
すなわち、人物特定部３９は、検出人物の関係インデックスに、これよりも１階層下位の情報として、その映像ファイルをもとに判別され、また上述のように人物登録情報を用いて判別された関係を示す１又は複数の人物関係情報を並列に対応付ける。
【０５３４】
さらに人物特定部３９は、検出人物毎の動作インデックスに、これよりも１階層下位の情報として、当該検出人物の今回検出された動作を示す１又は複数の動作情報を並列に対応付ける。
【０５３５】
また人物特定部３９は、撮影場所インデックスに、これよりも１階層下位の情報として、撮影位置方向情報を対応付ける。ただし、人物特定部３９は、記憶動画像に撮影対象が写っていると、撮影場所インデックスに、撮影位置方向情報に加えて、地名情報、撮影対象名情報、記憶動画像に撮影対象が写っている区間を示す１又は複数の写込区間情報も並列に対応付ける。
【０５３６】
さらに人物特定部３９は、イベント名が検出されていると、イベントインデックスに、これよりも１階層下位の情報として、イベント名情報と、記憶動画像にイベント名が写っている区間を示す１又は複数の写込区間情報とを並列に対応付ける。
【０５３７】
このようにして人物特定部３９は、ファイル属性情報を階層的に生成する。そして人物特定部３９は、ファイル属性情報を生成すると、当該生成したファイル属性情報を例えば、ヘッダデータに格納して、当該ヘッダデータの内容を更新する。また人物特定部３９は、その内容を更新したヘッダデータを映像ファイル生成部３５に返送する。
【０５３８】
映像ファイル生成部３５は、人物特定部３９から内容の更新されたヘッダデータが返送される毎に、これを映像データに付加し直して映像ファイルの内容を更新する。そして映像ファイル生成部３５は、その内容を更新した映像ファイルを記憶再生制御部３６に送出する。
【０５３９】
これにより記憶再生制御部３６は、映像ファイル生成部３５から与えられた映像ファイルを、記憶再生部２７を介して記憶媒体２８に送出して、当該記憶媒体２８に、その映像ファイルを、内容を更新する前のものに上書きするようにして記憶し直す。
【０５４０】
このようにして人物特定部３９は、映像ファイルを用いて撮影人物特定処理が実行される毎に、その映像ファイルのファイル属性情報を生成することで、映像ファイル自体や映像ファイルの内容を容易に検出し得るようにしている。
【０５４１】
［２−３  人生アルバム作成処理］
制御部１１は、人物が子供時代から長年にわたり度々撮影されても、その撮影により生成した映像ファイルを用いて撮影人物特定処理を実行することで、複数の映像ファイルに写っている当該人物を、顔つきの変化にかかわらず同一人物として特定することができる。
【０５４２】
このため制御部１１は、人物が長年にわたり度々撮影されていると、その際に生成して蓄積していた複数の映像ファイルから、その人物が写っている部分を切り出し繋ぎ合わせるようにして、当該人物のこれまでの人生を示す人生アルバムを作成することができる。
【０５４３】
よって、以下には、制御部１１が、ユーザにより指定された人物（以下、これを指定人物とも呼ぶ）の人生アルバムを作成する人生アルバム作成処理について説明する。
【０５４４】
制御部１１は、ユーザにより操作キー１２が操作され人生アルバムの作成が指示されると、人生アルバム作成処理を実行する。この際、制御部１１は、ユーザにより操作キー１２が操作され、人生アルバムの主人公にする指定人物が例えば名前の入力により指定されると、記憶再生部２７を介して記憶媒体２８の人物データベース内で、その名前に基づき指定人物の人物登録情報を検索する。
【０５４５】
また制御部１１は、記憶再生部２７を介して記憶媒体２８から、その検索した指定人物の人物登録情報を読み出す。さらに制御部１１は、その人物登録情報からファイル識別情報を全て取り出す。さらに制御部１１は、そのファイル識別情報に基づき、記憶再生部２７を介して記憶媒体から、当該ファイル識別情報で識別される映像ファイルを読み出す。
【０５４６】
そして制御部１１は、その読み出した全ての映像ファイルからそれぞれヘッダデータを取り出すと共に、そのヘッダデータからファイル属性情報を取り出す。これにより制御部１１は、まずファイル属性情報に格納された動作情報に基づき、指定人物により子供時代（幼少期）に行われた這い這いやおんぶ、抱っこ、食事等の予め選定された特定の動作を撮影して生成した映像ファイルを検索する。そして制御部１１は、その検索した映像ファイルから映像データを取り出してコーデック１８に送出する。
【０５４７】
この際、コーデック１８は、制御部１１から与えられた映像データを、圧縮画像データ、圧縮右音声データ、圧縮左音声データ、圧縮後音声データに分離すると共に、その圧縮画像データを伸長復号して元の記憶動画像データを生成する。
【０５４８】
またコーデック１８は、圧縮右音声データ、圧縮左音声データ、圧縮後音声データについても、伸長復号して元の右音声データ、左音声データ、後音声データを生成する。そしてコーデック１８は、これら記憶動画像データ、右音声データ、左音声データ、後音声データを制御部１１に送出する。
【０５４９】
制御部１１は、コーデック１８から記憶動画像データ、右音声データ、左音声データ、後音声データが与えられると、当該記憶動画像データ、右音声データ、左音声データ、後音声データに対応するファイル属性情報から上述の様々な動作を示す動作情報を取り出す。
【０５５０】
また制御部１１は、動作情報に基づき、記憶動画像データ、右音声データ、左音声データ、後音声データから当該動作情報が示す動作区間に対応する部分をまとめて部分映像として切り出す。
【０５５１】
すなわち、制御部１１は、記憶動画像データ、右音声データ、左音声データ、後音声データから、その記憶動画像データの動作区間と、右音声データ、左音声データ、後音声データの当該動作区間に対応する区間とをまとめて部分映像として切り出す。
【０５５２】
さらに制御部１１は、指定人物の人物登録情報から住所情報を取り出す。さらに制御部１１は、その住所情報と、ファイル属性情報に格納された撮影位置方位情報とに基づき、指定人物の住まいから極力離れた位置で指定人物を撮影して生成した映像ファイルを、旅行先の撮影で生成したものとして検索する。
【０５５３】
そして制御部１１は、その検索した映像ファイルから映像データを取り出してコーデック１８に送出し、上述と同様に記憶動画像データ、右音声データ、左音声データ、後音声データを得る。
【０５５４】
この際、制御部１１は、その記憶動画像データ、右音声データ、左音声データ、後音声データに対応するファイル属性情報から、指定人物の写込区間情報を取り出す。そして制御部１１は、その写込区間情報に基づき、記憶動画像データ、右音声データ、左音声データ、後音声データから写込区間に対応する部分をまとめて部分映像として切り出す。
【０５５５】
すなわち、制御部１１は、記憶動画像データ、右音声データ、左音声データ、後音声データから、その記憶動画像データの写込区間と、右音声データ、左音声データ、後音声データの当該写込区間に対応する区間とをまとめて部分映像として切り出す。
【０５５６】
さらに制御部１１は、ファイル属性情報に格納したイベント名情報に基づき、指定人物を入学式や卒業式、運動会、発表会等の予め選定された特定のイベントで撮影して生成した映像ファイルを検索する。
【０５５７】
そして制御部１１は、その検索した映像ファイルから映像データを取り出してコーデック１８に送出し、上述と同様に記憶動画像データ、右音声データ、左音声データ、後音声データを得る。
【０５５８】
この際、制御部１１は、その記憶動画像データ、右音声データ、左音声データに対応するファイル属性情報から、指定人物の写込区間情報を取り出す。そして制御部１１は、その写込区間情報に基づき、記憶動画像データ、右音声データ、左音声データ、後音声データから、上述と同様に写込区間に対応する部分をまとめて部分映像として切り出す。
【０５５９】
さらに制御部１１は、ファイル属性情報に格納している撮影日時情報に基づき、これら映像ファイルをもとに得た部分映像を最も過去のものから順に現在に近いものとなるように繋ぎ合わせて一本の動画像データを生成する。また制御部１１は、その動画像データに同期して再生する三本の右音声データ、左音声データ、後音声データも生成する。
【０５６０】
そして制御部１１は、その動画像データにおいて、様々な動作の部分映像の先頭や、旅行の部分映像の先頭、イベントの部分映像の先頭等に相当する位置に、動作の種類や、地名、イベント名等を示す文字列（すなわち、テキスト）をテロップとして挿入する。
【０５６１】
因みに、制御部１１は、この際、動画像データの挿入するテロップとして、例えば、イベント名情報や、動作情報に格納していた動作名称情報が示す文字列（すなわち、テキスト）を利用している。
【０５６２】
また制御部１１は、その動画像データ、右音声データ、左音声データ、後音声データにさらに、予め用意していた効果音の音楽データも追加する。このようにして制御部１１は、テロップや効果音を追加した動画像データと、右音声データ、左音声データ、後音声データ及び音楽データとでなる人生アルバムデータを自動で生成する。
【０５６３】
因みに、制御部１１は、この際、複数の部分映像を単に繋ぎ合わせるものの、事前にユーザによって人生アルバムの再生時間（すなわち、データ長）が指定されていると、複数の部分映像の合計時間を算出する。
【０５６４】
そして制御部１１は、その合計時間を、事前に指定された再生時間と比較する。その結果、制御部１１は、合計時間が、事前に指定された再生時間以下であると、複数の部分映像をそのまま順に繋ぎ合わせる。
【０５６５】
これに対し制御部１１は、合計時間が、事前に指定された再生時間よりも長いと、個々の部分映像から、例えば、音量レベルの変化に基づき、指定人物や撮影者が喜んでいる（音量レベルが高くなる）ような場面を検出する。
【０５６６】
そして制御部１１は、事前に指定された再生時間に応じて、個々の部分映像から、その検出した場面の部分をさらに切り出して時系列で繋ぎ合わせるようにして、一本の動画像データ及び三本の右音声データ、左音声データ、後音声データを生成する。このようにして制御部１１は、人生アルバムデータを、事前に指定された再生時間となるように生成することもできる。
【０５６７】
また制御部１１は、指定人物は一人に限るわけではなく、指定人物が複数指定されると、その複数の指定人物が写っている部分映像を繋ぎ合わせるようにして人生アルバムを生成することもできる。
【０５６８】
制御部１１は、このように人生アルバムデータを生成すると、これをコーデック１８に送出する。コーデック１８は、制御部１１から人生アルバムデータが与えられると、これを構成する動画像データ、右音声データ、左音声データ、後音声データ、音楽データをそれぞれ圧縮符号化した後、時分割多重化して、圧縮アルバムデータを生成する。そしてコーデック１８は、その圧縮アルバムデータを制御部１１に送出する。
【０５６９】
制御部１１は、コーデック１８から圧縮アルバムデータが与えられると、その圧縮アルバムデータをファイル化してアルバムファイルを生成する。そして制御部１１は、そのアルバムファイルを記憶再生部２７に送出して、当該記憶再生部２７により記憶媒体２８に、そのアルバムファイルを記憶する。
【０５７０】
また制御部１１は、ユーザにより操作キーが操作され人生アルバムデータの再生が指示されると、記憶再生部２７を介して記憶媒体２８からアルバムファイルを読み出す。そして制御部１１は、そのアルバムファイルから圧縮アルバムデータを取り出すと共に、当該取り出した圧縮アルバムデータをコーデック１８に送出する。
【０５７１】
コーデック１８は、制御部１１から圧縮アルバムデータが与えられると、当該圧縮アルバムデータを分離した後、伸長復号して元の人生アルバムデータ（すなわち、動画像データ、右音声データ、左音声データ、後音声データ、音楽データ）を生成する。そしてコーデック１８は、その人生アルバムデータを制御部１１に送出する。
【０５７２】
制御部１１は、コーデック１８から人生アルバムデータが与えられると、その人生アルバムデータを構成する動画像データを表示部１７に送出する。また制御部１１は、人生アルバムデータを構成する右音声データ、左音声データ、後音声データ及び音楽データに基づき右チャンネルデータ及び左チャンネルデータを生成して音声処理部２９に送出する。これにより制御部１１は、表示部１７に動画像データに基づく動画像を表示する。
【０５７３】
また音声処理部２９は、制御部１１から与えられた右チャンネルデータ及び左チャンネルデータに音声処理を施し、得られた右チャンネル信号及び左チャンネル信号を、例えば一対のステレオ用のスピーカ３０及び３１に送出する。
【０５７４】
これにより制御部１１は、一対のスピーカ３０及び３１を介してステレオ音声を動画像の表示に同期させて出力すると共に、そのスピーカ２８及び２９を介して効果音も適宜出力する。このようにして制御部１１は、ユーザに指定人物の部分映像を集めて作成した人生アルバムを視聴させることができる。
【０５７５】
［２−４  撮影人物特定処理手順］
次いで、図１２を用いて、制御部１１が、記憶再生部２７を介して記憶媒体２８から映像ファイルを読み出す毎に、撮影人物特定プログラムに従って実行する撮影人物特定処理手順ＲＴ１について説明する。
【０５７６】
制御部１１は、記憶再生部２７を介して記憶媒体２８から映像ファイルを読み出すと、その映像ファイルから映像データを取り出してコーデック１８に送出する。その結果、制御部１１は、コーデック１８から、もとの記憶動画像データと、右音声データ、左音声データ、後音声データが与えられると、内部のメモリに予め記憶された撮影人物特定プログラムに従い、図１２に示す撮影人物特定処理手順ＲＴ１を開始する。
【０５７７】
制御部１１は、撮影人物特定処理手順ＲＴ１を開始すると、ステップＳＰ１において被写体検出処理を実行することにより、記憶動画像データに基づく記憶動画像に写っている被写体を検出して、次のステップＳＰ２に移る。
【０５７８】
ステップＳＰ２において制御部１１は、記憶動画像に写っている被写体として人物を検出したか否かを判別する。このステップＳＰ２において肯定結果が得られると、このことは、記憶動画像に写っている人物を特定し、また複数の人物の関係を判別し得る可能性があることを表している。よってステップＳＰ２において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ３に移る。
【０５７９】
ステップＳＰ３において制御部１１は、発話解析関係推定処理を実行することにより、右音声データ、左音声データ、後音声データに基づく右音声、左音声、後音声を解析して、記憶動画像において検出された人物毎の発話を抽出する。そして制御部１１は、その人物毎の発話に基づき、記憶動画像から検出した人物を適宜特定し、また複数の人物の親密度を算出して、次のステップＳＰ４に移る。
【０５８０】
ステップＳＰ４において制御部１１は、動作解析関係推定処理を実行することにより、記憶動画像を解析して、複数の人物の動作を推定すると共に、記憶動画像から複数の人物の親密程度情報を抽出する。そして制御部１１は、その推定した動作や人物の発話に基づき、人物を適宜特定し、また複数の人物の関係を適宜推定して、次のステップＳＰ５に移る。
【０５８１】
ステップＳＰ５において制御部１１は、関係判別処理を実行することにより、親密度や親密程度情報に基づき、推定していた複数の人物の関係を適宜判別して、次のステップＳＰ６に移る。
【０５８２】
ステップＳＰ６において制御部１１は、人物特定処理を実行する。これにより制御部１は、判別した複数の人物の中の少なくとも一人の人物を特定してはいないと、その関係と、人物登録情報に格納している人物関係情報とに基づき、当該特定してはいない人物を適宜特定して、次のステップＳＰ７に移る。
【０５８３】
ステップＳＰ７において制御部１１は、記憶動画像に写っていた人物を示す人物登録情報を生成又は更新すると共に、記憶動画像に写っている複数の人物や当該複数の人物の関係等を示すファイル属性情報を生成して、次のステップＳＰ８に移る。
【０５８４】
これによりステップＳＰ８において制御部１１は、撮影人物特定処理手順ＲＴ１を終了する。因みに、上述のステップＳＰ２において否定結果が得られると、このことは、記憶動画像に人物が写ってはいないために、複数の人物の関係を判別し得ないことを表している。よってステップＳＰ２において制御部１１は、かかる否定結果を得ると、ステップＳＰ９に移る。
【０５８５】
そしてステップＳＰ９において制御部１１は、記憶動画像に人物以外の被写体として写っていた撮影対象等を示すファイル属性情報を生成して、ステップＳＰ８に移り、当該ステップＳＰ８において撮影人物特定処理手順ＲＴ１を終了する。
【０５８６】
［２−４−１  被写体検出処理］
次いで、図１３を用いて、制御部１１が、上述の撮影人物特定処理手順ＲＴ１のステップＳＰ１において実行する被写体検出処理について説明する。制御部１１は、撮影人物特定処理手順ＲＴ１を開始してステップＳＰ１に移ると、図１３に示す被写体検出処理サブルーチンＳＲＴ１を開始する。
【０５８７】
制御部１１は、被写体検出処理サブルーチンＳＲＴ１を開始すると、ステップＳＰ１０１において、記憶動画像を構成する複数の単位画像の順次１つを用いて、当該単位画像から画像の特徴量を抽出して、次のステップＳＰ１０２に移る。
【０５８８】
ステップＳＰ１０２において制御部１１は、被写体の撮影時、単位画像の生成に合わせて順次検出された撮影位置及び撮影方向から、その検出された時系列で一組の撮影位置及び撮影方向を選択する。そして制御部１１は、その選択した一組の撮影位置及び撮影方向に基づき、当該撮影位置及び撮影方向で撮影可能な撮影対象を探索して、次のステップＳＰ１０３に移る。
【０５８９】
ステップＳＰ１０３において制御部１１は、撮影位置及び撮影方向で撮影可能な撮影対象が存在するか否かを判別する。このステップＳＰ１０３において肯定結果が得られると、このことは、ステップＳＰ１０２において選択した撮影位置及び撮影方向を検出したとき、デジタルビデオカメラ１０が撮影対象側に向けられて撮影していたことを表している。
【０５９０】
すなわち、かかる肯定結果は、ステップＳＰ１０２において選択した撮影位置及び撮影方向の検出時点に生成していた１つの単位画像に、撮影対象が写っている可能性があることを表している。ステップＳＰ１０３において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ１０４に移る。
【０５９１】
ステップＳＰ１０４において制御部１１は、その単位画像から抽出していた領域外特徴量と、当該撮影位置及び撮影方向で撮影可能な撮影対象の撮影対象特徴量とに基づき、確度を算出して、次のステップＳＰ１０５に移る。
【０５９２】
ステップＳＰ１０５において制御部１１は、確度を第１の閾値と比較するようにして、当該確度が第１の閾値以上であるか否かを判別する。このステップＳＰ１０５において肯定結果が得られると、このことは、その単位画像に、撮影対象が写っていることを表している。
【０５９３】
ステップＳＰ１０５において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ１０６に移る。そしてステップＳＰ１０６において制御部１１は、その単位画像に写っている被写体を、撮影対象であると推定して、次のステップＳＰ１０７に移る。
【０５９４】
ところで、ステップＳＰ１０５において否定結果が得られると、このことは、その単位画像に、撮影対象が写っている可能性が低いことを表している。ステップＳＰ１０５において制御部１１は、かかる否定結果を得ると、ステップＳＰ１０８に移る。
【０５９５】
そしてステップＳＰ１０８において制御部１１は、その単位画像から、撮影対象を示す文字列を検出していたか否かを判別する。このステップＳＰ１０８において肯定結果が得られると、このことは、その単位画像に、何かの陰になってはいるが、撮影対象が写っていることを表している。よってステップＳＰ１０８において制御部１１は、かかる肯定結果を得ると、ステップＳＰ１０６に移る。
【０５９６】
ステップＳＰ１０７において制御部１１は、その単位画像から想定領域特徴量を抽出していたか否かを判別する。このステップＳＰ１０７において肯定結果が得られると、このことは、その単位画像において、人物の顔が写っていると想定される想定領域を検出し得たことで、当該想定領域から想定領域特徴量を抽出していたことを表している。
【０５９７】
ステップＳＰ１０８において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ１０９に移る。よってステップＳＰ１０９において制御部１１は、想定領域特徴量と、顔検出用特徴量とに基づき確度を算出して、次のステップＳＰ１１０に移る。
【０５９８】
ステップＳＰ１１０において制御部１１は、確度を第２の閾値と比較するようにして、当該確度が第２の閾値以上であるか否かを判別する。このステップＳＰ１１０において肯定結果が得られると、このことは、その単位画像に被写体として人物が写っていることを表している。
【０５９９】
ステップＳＰ１１０において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ１１１に移る。そしてステップＳＰ１１１において制御部１１は、その単位画像に写っている被写体を、人物であると推定して、次のステップＳＰ１１２に移る。
【０６００】
ステップＳＰ１１２において制御部１１は、記憶動画像を構成する複数の単位画像からそれぞれ抽出した特徴量を、被写体の検出にすでに使用し終えたか否かを判別する。このステップＳＰ１１２において否定結果が得られると、このことは、未だ記憶動画像全体に対し被写体の検出処理を行いきれてはいないことを表している。よってステップＳＰ１１２において制御部１１は、かかる否定結果を得ると、ステップＳＰ１０２に戻る。
【０６０１】
ところで、上述のステップＳＰ１０３において否定結果が得られると、このことは、デジタルビデオカメラ１０が、撮影対象の存在しない場所で被写体を撮影していたことを表している。ステップＳＰ１０３において制御部１１は、かかる否定結果を得ると、ステップＳＰ１０７に移る。
【０６０２】
また上述のステップＳＰ１０８において否定結果が得られると、このことは、その単位画像に、撮影対象は写っていないことを表している。よってステップＳＰ１０８において制御部１１は、かかる否定結果を得ると、ステップＳＰ１０７に移る。
【０６０３】
さらにステップＳＰ１０７において否定結果が得られると、このことは、その単位画像に人物の顔は写っていないことを表している。よってステップＳＰ１０７において制御部１１は、かかる否定結果を得ると、ステップＳＰ１１２に移る。
【０６０４】
さらにステップＳＰ１１０において否定結果が得られると、このことは、その単位画像において想定領域を誤検出しており、人物の顔は写っていないことを表している。よってステップＳＰ１１０において制御部１１は、かかる否定結果を得ると、ステップＳＰ１１２に移る。
【０６０５】
このようにして制御部１１は、この後、ステップＳＰ１１２において肯定結果を得るまでの間、ステップＳＰ１０２乃至ステップＳＰ１１２の処理を繰り返し実行する。これにより制御部１１は、記憶動画像を構成する複数の単位画像からそれぞれ抽出した特徴量を、順次用いて被写体の検出処理を実行する。
【０６０６】
そしてステップＳＰ１１２において肯定結果が得られると、このことは、記憶動画像全体に対し被写体の検出処理を行い終えたことを表している。よってステップＳＰ１１２において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ１１３に移る。これによりステップＳＰ１１３において制御部１１は、被写体検出処理サブルーチンＳＲＴ１を終了して、撮影人物特定処理手順ＲＴ１のステップＳＰ２に移る。
【０６０７】
［２−４−２  発話解析関係推定処理］
次いで、図１４及び図１５を用いて、制御部１１が、上述の撮影人物特定処理手順ＲＴ１のステップＳＰ３において実行する発話解析関係推定処理について説明する。制御部１１は、撮影人物特定処理手順ＲＴ１においてステップＳＰ３に移ると、図１４及び図１５に示す発話解析関係推定処理サブルーチンＳＲＴ２を開始する。
【０６０８】
制御部１１は、発話解析関係推定処理サブルーチンＳＲＴ２を開始すると、ステップＳＰ２０１において、右音声データ、左音声データ、後音声データに基づき人物毎の発話テキスト（単独発話テキストや会話内発話テキスト）を生成する。
【０６０９】
また制御部１１は、この際、会話していた複数の人物について発話テキストを生成していると、その発話テキストと、右音声データ、左音声データ、後音声データとに基づき、人物毎の会話の速度及び声の高さを求めて、次のステップＳＰ２０２に移る。
【０６１０】
ステップＳＰ２０２において制御部１１は、単独で話していた人物や会話していた複数の人物の発話テキストを形態素解析して複数の単語を抽出して、次のステップＳＰ２０３に移る。ステップＳＰ２０３において制御部１１は、発話テキストから抽出した単語を、予め保持している人物の複数の名前と文字マッチングの手法で比較して、次のステップＳＰ２０４に移る。
【０６１１】
ステップＳＰ２０４において制御部１１は、発話テキストの単語の中で人物の名前と一致する単語を検出したか否かを判別する。このステップＳＰ２０４において肯定結果が得られると、このことは、撮影されていた人物、又は撮影除外者により人物の名前が呼ばれたことを表している。ステップＳＰ２０４において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ２０５に移る。
【０６１２】
ステップＳＰ２０５において制御部１１は、この際、会話していた人物の発話テキストから名前を検出していると、その名前を発した人物の位置を検出して、次のステップＳＰ２０６に移る。ステップＳＰ２０６において制御部１１は、記憶動画像から検出していた文字列を、人物の名前と文字マッチングの手法で比較して、次のステップＳＰ２０７に移る。
【０６１３】
ステップＳＰ２０７において制御部１１は、文字列と人物の名前とが一致したか否かを判別する。このステップＳＰ２０７において肯定結果が得られると、撮影されていた人物が、他の人物に呼ばれた名前の描かれた名札を着けていたことを表している。
【０６１４】
ステップＳＰ２０７において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ２０８に移る。よってステップＳＰ２０８において制御部１１は、その撮影されていた人物（名札を着けている人物）を、その呼ばれた名前の人物として特定して、次のステップＳＰ２０９に移る。
【０６１５】
ステップＳＰ２０９において制御部１１は、発話テキストから抽出した単語を、予め保持している人物の複数のニックネームと文字マッチングの手法で比較して、次のステップＳＰ２１０に移る。
【０６１６】
ステップＳＰ２１０において制御部１１は、発話テキストの単語の中で人物のニックネームと一致する単語を検出したか否かを判別する。このステップＳＰ２１０において肯定結果が得られると、このことは、撮影されていた人物、又は撮影除外者により人物のニックネームが呼ばれたことを表している。
【０６１７】
ステップＳＰ２１０において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ２１１に移る。ステップＳＰ２１１において制御部１１は、この際、会話していた人物の発話テキストからニックネームを検出していると、そのニックネームを発した人物の位置を検出して、次のステップＳＰ２１２に移る。
【０６１８】
ステップＳＰ２１２において制御部１１は、会話していた人物の発話テキストから抽出した単語を、予め保持している複数の方言及び複数の標準語と文字マッチングの手法で比較して、次のステップＳＰ２１３に移る。
【０６１９】
ステップＳＰ２１３において制御部１１は、会話していた人物の発話テキストから抽出した単語を、予め保持している複数の関係推定語句と文字マッチングの手法で比較して、次のステップＳＰ２１４に移る。
【０６２０】
ステップＳＰ２１４において制御部１１は、発話テキストの単語の中で関係推定語句と一致する単語を検出したか否かを判別する。このステップＳＰ２１４において肯定結果が得られると、このことは、撮影されていた人物、又は撮影除外者により、人物の関係の推定に利用可能な関係推定語句で他の人物が呼ばれたことを表している。
【０６２１】
ステップＳＰ２１４において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ２１５に移る。ステップＳＰ２１５において制御部１１は、関係推定語句を発した人物の位置を検出して、次のステップＳＰ２１６に移る。
【０６２２】
ステップＳＰ２１６において制御部１１は、会話していた人物の発話テキストから抽出した単語を、予め保持している複数の動作推定語句と文字マッチングの手法で比較して、次のステップＳＰ２１７に移る。
【０６２３】
ステップＳＰ２１７において制御部１１は、会話していた人物毎の発話テキストから検出した名前やニックネーム、方言、語尾等を当該人物の話し方を検出するための発話情報とする。そして制御部１１は、人物毎に、その発話情報に基づき、当該人物の話し方を示す好意判断項目ＣＯに対応する評価値ＶＡを得て、次のステップＳＰ２１８に移る。
【０６２４】
ステップＳＰ２１８において制御部１１は、会話していた人物毎に、その会話の速度及び声の高さに基づき会話時の感情を推定して、次のステップＳＰ２１９に移る。ステップＳＰ２１９において制御部１１は、会話していた人物毎の話し方の評価値ＶＡや、推定した会話時の感情を用いて、当該会話していた複数の人物の親密度を算出して、次のステップＳＰ２２０に移る。これによりステップＳＰ２２０において制御部１１は、発話解析関係推定処理サブルーチンＳＲＴ２を終了して、撮影人物特定処理手順ＲＴ１のステップＳＰ４に移る。
【０６２５】
ところで、上述のステップＳＰ２０４において否定結果が得られると、このことは、撮影されていた人物、又は撮影除外者により人物の名前は何ら呼ばれなかったことを表している。ステップＳＰ２０４において制御部１１は、かかる否定結果を得ると、ステップＳＰ２０９に移る。
【０６２６】
また上述のステップＳＰ２０７において否定結果が得られると、記憶動画像から人物の名前とは異なる文字列を検出しており、人物の名前を特定し得ないことを表している。このステップＳＰ２０７において制御部１１は、かかる否定結果を得ると、ステップＳＰ２０９に移る。
【０６２７】
さらに上述のステップＳＰ２１０において肯定結果が得られると、このことは、撮影されていた人物、又は撮影除外者により人物のニックネームは何ら呼ばれなかったことを表している。ステップＳＰ２１０において制御部１１は、かかる否定結果を得ると、ステップＳＰ２１２に移る。
【０６２８】
さらに上述のステップＳＰ２１４において否定結果が得られると、このことは、撮影されていた人物、又は撮影除外者により、人物の関係の推定に利用可能な関係推定語句で他の人物は呼ばれなかったことを表している。ステップＳＰ２１４において制御部１１は、かかる否定結果を得ると、ステップＳＰ２１６に移る。
【０６２９】
因みに、制御部１１は、単独で話していた人物の発話テキストのみを生成した場合、図示はしないが、上述のステップＳＰ２０１乃至ステップＳＰ２０４、ステップＳＰ２０６乃至ステップＳＰ２１０、ステップＳＰ２１２の処理のみを実行する。
【０６３０】
［２−４−３  動作解析関係推定処理］
次いで、図１６を用いて、制御部１１が、上述の撮影人物特定処理手順ＲＴ１のステップＳＰ４において実行する動作解析関係推定処理について説明する。制御部１１は、撮影人物特定処理手順ＲＴ１においてステップＳＰ４に移ると、図１６に示す動作解析関係推定処理サブルーチンＳＲＴ３を開始する。
【０６３１】
制御部１１は、動作解析関係推定処理サブルーチンＳＲＴ３を開始すると、ステップＳＰ３０１において、記憶動画像から、人物の１又は複数の顔をもとに動きベクトルを順次検出する。
【０６３２】
これにより制御部１１は、その動きベクトルに基づき、記憶動画像の連続する複数の単位画像上で、当該単位画像に写っている１又は複数の人物を順次検出して、次のステップＳＰ３０２に移る。
【０６３３】
ステップＳＰ３０２において制御部１１は、連続する複数の単位画像から検出した１又は複数の人物をもとに、当該人物のシルエット画像を生成して、次のステップＳＰ３０３に移る。
【０６３４】
ステップＳＰ３０３において制御部１１は、発話テキストの単語の中から動作推定語句と一致する単語が検出されていると、その動作推定語句に基づき、動作推定の事前確率を決定して、次のステップＳＰ３０４に移る。
【０６３５】
そしてステップＳＰ３０４において制御部１１は、人物毎に、シルエット画像に基づき、人体のモデリングと姿勢推定を行い３次元モデルデータを生成して、次のステップＳＰ３０５に移る。
【０６３６】
ステップＳＰ３０５において制御部１１は、３次元モデルデータに基づき、人物が撮影中に行っていた動作を推定して、次のステップＳＰ３０６に移る。ステップＳＰ３０６において制御部１１は、複数の人物により一緒に行われた動作を、関係判別データベースと比較して、当該複数の人物の関係を推定して、次のステップＳＰ３０７に移る。
【０６３７】
ステップＳＰ３０７において制御部１１は、撮影されていた人物の発話テキストの単語の中から関係推定語句と一致する単語を検出していたか否かを判別する。このステップＳＰ３０７において肯定結果が得られると、撮影されていた人物が、その関係推定語句で他の撮影されていた人物を呼んだ可能性があることを表している。ステップＳＰ３０７において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ３０８に移る。
【０６３８】
ステップＳＰ３０８において制御部１１は、人物について推定した動作に基づき、撮影されている人物の中に、関係推定語句による呼びかけに反応するような動作を行った人物が存在するか否かを判別する。
【０６３９】
このステップＳＰ３０８において肯定結果が得られると、このことは、関係推定語句で呼びかけた人物と、その呼びかけに反応した人物との関係を、その関係推定語句により推定し得ることを表している。
【０６４０】
ステップＳＰ３０８において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ３０９に移る。よってステップＳＰ３０９において制御部１１は、関係推定語句で呼びかけた人物と、その呼びかけに反応した人物との関係を、その関係推定語句に応じて推定して、次のステップＳＰ３１０に移る。
【０６４１】
ステップＳＰ３１０において制御部１１は、発話テキストの単語の中から、人物の名前やニックネームと一致する単語を検出していたか否かを判別する。このステップＳＰ３１０において肯定結果が得られると、このことは、撮影されていた人物が、その名前やニックネームの人物である可能性があることを表している。このステップＳＰ３１０において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ３１１に移る。
【０６４２】
ステップＳＰ３１１において制御部１１は、人物について推定した動作に基づき、撮影されている人物の中に、その名前やニックネームによる呼びかけに反応するような動作を行った人物が存在するか否かを判別する。
【０６４３】
このステップＳＰ３１１において肯定結果が得られると、このことは、撮影されていた人物の中に、その名前やニックネームの人物がいることを表している。ステップＳＰ３１１において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ３１２に移る。
【０６４４】
よってステップＳＰ３１２において制御部１１は、呼びかけに反応した人物を、その名前やニックネームの人物であると特定して、次のステップＳＰ３１３に移る。これによりステップＳＰ３１３において制御部１１は、動作解析関係推定処理サブルーチンＳＲＴ３を終了して、撮影人物特定処理手順ＲＴ１のステップＳＰ５に移る。
【０６４５】
ところで、上述のステップＳＰ３０７において否定結果が得られると、このことは、撮影されていた人物が関係推定語句で、他の撮影されていた人物を何ら呼びかけてはいないため、関係推定語句では複数の人物の関係を推定し得ないことを表している。ステップＳＰ３０７において制御部１１は、かかる否定結果を得ると、ステップＳＰ３１０に移る。
【０６４６】
また上述のステップＳＰ３０８において否定結果が得られると、このことは、撮影されていた人物の中に、関係推定語句での呼びかけに反応した人物はいないため、関係推定語句では複数の人物の関係を推定し得ないことを表している。ステップＳＰ３０８において制御部１１は、かかる否定結果を得ると、ステップＳＰ３１０に移る。
【０６４７】
さらに上述のステップＳＰ３１０において否定結果が得られると、このことは、撮影されていた人物の中に、その名前やニックネームで呼びかけられた人物はいないことを表している。このステップＳＰ３１０において制御部１１は、かかる否定結果を得ると、ステップＳＰ３１３に移る。
【０６４８】
さらに上述のステップＳＰ３１１において否定結果が得られると、このことは、撮影されていた人物の中に、その名前やニックネームでの呼びかけに反応した人物はいないことを表している。ステップＳＰ３１１において制御部１１は、かかる否定結果を得ると、ステップＳＰ３１３に移る。
【０６４９】
［２−４−４  関係判別処理］
次いで、図１７を用いて、制御部１１が、上述の撮影人物特定処理手順ＲＴ１のステップＳＰ５において実行する関係判別処理について説明する。制御部１１は、撮影人物特定処理手順ＲＴ１においてステップＳＰ５に移ると、図１７に示す関係判別処理サブルーチンＳＲＴ４を開始する。
【０６５０】
制御部１１は、関係判別処理サブルーチンＳＲＴ４を開始すると、ステップＳＰ４０１において、複数の人物について推定した関係について、親密度や親密程度情報に基づき関係度を算出して、次のステップＳＰ４０２に移る。
【０６５１】
ステップＳＰ４０２において制御部１１は、関係度を第３の閾値と比較するようにして、当該関係度が第３の閾値以上であるか否かを判別する。このステップＳＰ４０２において肯定結果が得られると、このことは、複数の人物の関係が的確に推定されていたことを表している。このステップＳＰ４０２において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ４０３に移る。
【０６５２】
よってステップＳＰ４０３において制御部１１は、複数の人物の関係を推定通りに判別して、次のステップＳＰ４０４に移る。そしてステップＳＰ４０４において制御部１１は、関係の判別を終了するか否かを判別する。
【０６５３】
このステップＳＰ４０４において否定結果が得られると、このことは未だ推定したままの関係が残っていることを表している。ステップＳＰ４０４において制御部１１は、かかる否定結果を得ると、ステップＳＰ４０１に戻る。
【０６５４】
よって制御部１１は、この後、ステップＳＰ４０４において肯定結果を得るまでの間は、ステップＳＰ４０１乃至ステップＳＰ４０４の処理を繰り返し実行する。これにより制御部１１は、先に推定した複数の人物の関係を、順次的確であるかどうかを判別する。
【０６５５】
そしてステップＳＰ４０４において肯定結果が得られると、このことは、推定した全ての関係を、的確であるか否かを判別し終えたことを表している。ステップＳＰ４０４において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ４０５に移る。これによりステップＳＰ４０４において制御部１１は、関係判別処理サブルーチンＳＲＴ３を終了して、撮影人物特定処理手順ＲＴ１のステップＳＰ６に移る。
【０６５６】
［２−４−５  人物特定処理］
次いで、図１８を用いて、制御部１１が、上述の撮影人物特定処理手順ＲＴ１のステップＳＰ６において実行する人物特定処理について説明する。制御部１１は、撮影人物特定処理手順ＲＴ１においてステップＳＰ６に移ると、図１８に示す人物特定処理サブルーチンＳＲＴ５を開始する。
【０６５７】
制御部１１は、人物特定処理サブルーチンＳＲＴ５を開始すると、ステップＳＰ５０１において、今回の人物の関係の判別結果に基づき、未だ特定してはいない人物と、特定した人物とについて関係を判別したか否かを判別する。
【０６５８】
このステップＳＰ５０１において肯定結果が得られると、このことは、未だ特定してはいない人物を、他の人物と同一人物であると、特定し得る可能性があることを表している。ステップＳＰ５０１において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ５０２に移る。
【０６５９】
ステップＳＰ５０２において制御部１１は、人物登録情報に基づき、特定した人物と、他の特定した人物とを、すでに同一の関係であると判別しているか否かを判別する。このステップＳＰ５０２において肯定結果が得られると、このことは未だ特定してはいない人物が、他の特定していた人物と同一人物であることを表している。
【０６６０】
ステップＳＰ５０２において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ５０３に移る。よってステップＳＰ５０３において制御部１１は、未だ特定してはいない人物を、他の特定していた人物と同一人物であると特定して、次のステップＳＰ５０４に移る。
【０６６１】
ステップＳＰ５０４において制御部１１は、今回の人物の特定結果に基づき、新たに名前を特定した人物がいるか否かを判別する。このステップＳＰ５０４において肯定結果が得られると、このことは今回特定した人物と、すでに特定している人物とを同一人物であると、特定し得る可能性があることを表している。ステップＳＰ５０４において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ５０５に移る。
【０６６２】
ステップＳＰ５０５において制御部１１は、人物登録情報に基づき、新たに名前を特定した人物の、その名前と同一の名前であるとすでに特定している人物がいるか否かを判別する。このステップＳＰ５０５において肯定結果が得られると、新たに名前を特定した人物が、同一の名前であるとすでに特定している人物と同一人物であることを表している。
【０６６３】
ステップＳＰ５０５において制御部１１は、かかる肯定結果を得ると、次のステップＳＰ５０６に移る。よってステップＳＰ５０６において制御部１１は、今回新たに名前を特定した人物を、同一の名前であるとすでに特定している人物と同一人物であると特定して、次のステップＳＰ５０７に移る。これによりステップＳＰ５０７において制御部１１は、人物特定処理サブルーチンＳＲＴ５を終了して、撮影人物特定処理手順ＲＴ１のステップＳＰ６に移る。
【０６６４】
［２−５  人生アルバム作成処理手順］
次いで、図１９を用いて、制御部１１が、ユーザ指示に応じて実行する人生アルバム作成処理手順ＲＴ２について説明する。制御部１１は、ユーザにより人生アルバムの作成が指示されると、内部のメモリに予め記憶しているアルバム作成プログラムに従って図１９に示す人生アルバム作成処理手順ＲＴ２を開始する。
【０６６５】
制御部１１は、人生アルバム作成処理手順ＲＴ２を開始すると、ステップＳＰ２１において、ユーザにより人生アルバムの主人公にする指定人物が指定されることを待ち受ける。そして制御部１１は、人生アルバムの主人公にする指定人物が名前により指定されると、次のステップＳＰ２２に移る。
【０６６６】
ステップＳＰ２２において制御部１１は、記憶再生部２７を介して記憶媒体２８の人物データベースから、その名前に基づき指定人物の人物登録情報を読み出して、次のステップＳＰ２３に移る。
【０６６７】
ステップＳＰ２３において制御部１１は、人物登録情報に格納しているファイル識別情報に基づき、記憶再生部２７を介して記憶媒体２８から、当該ファイル識別情報で識別される映像ファイルを読み出す。また制御部１１は、その映像ファイルからヘッダデータを取り出すと共に、そのヘッダデータからファイル属性情報を取り出す。
【０６６８】
さらに制御部１１は、ファイル属性情報内の動作情報に基づき、指定人物の様々な動作を撮影して生成した映像ファイルを検索する。そして制御部１１は、その検索した映像ファイルに基づいて得られる記憶動画像データ、右音声データ、左音声データ、後音声データから動作情報が示す動作区間に対応する部分をまとめて部分映像として切り出して、次のステップＳＰ２３に移る。
【０６６９】
ステップＳＰ２３において制御部１１は、指定人物の人物登録情報内の住所情報と、ファイル属性情報内の撮影位置方位情報とに基づき、指定人物の住まいから極力離れた位置で指定人物を撮影して生成した映像ファイルを検索する。
【０６７０】
そして制御部１１は、その映像ファイルに基づいて得られる記憶動画像データ、右音声データ、左音声データ、後音声データから写込区間に対応する部分をまとめて部分映像として切り出して、次のステップＳＰ２４に移る。
【０６７１】
ステップＳＰ２４において制御部１１は、ファイル属性情報内のイベント名情報に基づき、特定のイベントで指定人物を撮影して生成した映像ファイルを検索する。そして制御部１１は、その検索した映像ファイルに基づいて得られる記憶動画像データ、右音声データ、左音声データ、後音声データから写込区間に対応する部分をまとめて部分映像として切り出して、次のステップＳＰ２５に移る。
【０６７２】
ステップＳＰ２５において制御部１１は、ファイル属性情報内の撮影日時情報に基づき、複数の部分映像を最も過去のものから順に現在に近いものとなるように繋ぎ合わせて一本の動画像データを生成する。また制御部１１は、その動画像データに同期して再生する三本の右音声データ、左音声データ、後音声データも生成して、次のステップＳＰ２６に移る。
【０６７３】
ステップＳＰ２６において制御部１１は、その動画像データにテロップを挿入すると共に、その動画像データ、右音声データ、左音声データ、後音声データにさらに効果音の音楽データを追加して人生アルバムデータを生成して、次のステップＳＰ２７に移る。これによりステップＳＰ２７において制御部１１は、人生アルバム作成処理手順ＲＴ２を終了する。
【０６７４】
［２−６  第１の実施の形態の動作及び効果］
以上の構成において、デジタルビデオカメラ１０の制御部１１は、被写体を撮影して記憶動画像データ、右音声データ、左音声データ、後音声データを生成して記憶媒体２８に記憶する。この後、デジタルビデオカメラ１０の制御部１１は、記憶媒体２８から記憶動画像データ、右音声データ、左音声データ、後音声データを読み出す。
【０６７５】
そしてデジタルビデオカメラ１０の制御部１１は、撮影人物特定処理を実行することにより、記憶動画像データに基づく記憶動画像から、これに写っている人物を検出する。またデジタルビデオカメラ１０の制御部１１は、右音声データ、左音声データ、後音声データの解析結果と、記憶動画像データの解析結果とに基づき、人物を適宜特定して、当該人物と他の人物との関係を判別する。そしてデジタルビデオカメラ１０の制御部１１は、その人物同士の関係を示す人物関係情報を記憶媒体２８に記憶する。
【０６７６】
デジタルビデオカメラ１０の制御部１１は、記憶媒体２８から新たに記憶した記憶動画像データ、右音声データ、左音声データ、後音声データを読み出す毎に、撮影人物特定処理を実行して人物同士の関係を判別する。またデジタルビデオカメラ１０の制御部１１は、その判別した関係を示す人物関係情報を記憶媒体２８に記憶する。
【０６７７】
そしてデジタルビデオカメラ１０の制御部１１は、撮影人物特定処理において、特定してはいない人物と、特定した人物との関係を判別すると、判別した関係と、すでに記憶している人物関係情報が示す人物同士の関係とに基づき、特定していない人物を特定する。
【０６７８】
従って、デジタルビデオカメラ１０の制御部１１は、記憶動画像で検出した人物が、他の記憶動画像で検出した人物と顔つきの変わっている同一人物であっても、当該記憶動画像で検出した人物を、他の記憶動画像で検出した人物と同一人物であると特定することができる。
【０６７９】
以上の構成によれば、デジタルビデオカメラ１０は、人物を撮影して記憶動画像データ、右音声データ、左音声データ、後音声データを生成して、その記憶動画像データに基づく記憶動画像から、これに写っている複数の人物を検出すると、右音声データ、左音声データ、後音声データの解析結果と、記憶動画像データの解析結果とに基づき、複数の人物を適宜特定して、当該複数の人物の関係を判別し、当該判別した関係を示す人物関係情報を記憶媒体２８に記憶し、特定してはいない人物と、特定した人物との関係を判別したときには、当該判別した関係と、すでに記憶している人物関係情報が示す複数の人物の関係とに基づき、その特定していない人物を特定するようにした。これによりデジタルビデオカメラ１０は、記憶動画像で検出した人物が、他の記憶動画像で検出した人物と顔つきの変わっている同一人物であっても、当該記憶動画像で検出した人物を、他の記憶動画像で検出した人物と同一人物であると特定することができる。よってデジタルビデオカメラ１０は、人物の成長に伴い顔つきが変わっても、その人物が写っている記憶動画像を的確に検索することができる。
【０６８０】
またデジタルビデオカメラ１０の制御部１１は、記憶動画像データを解析して人物の特定の動きを検出し、当該検出した動きに基づき、複数の人物の関係を判別するようにした。よってデジタルビデオカメラ１０の制御部１１は、複数の人物の関係を精度良く判別することができ、このように判別した関係に基づいて人物を特定することで、当該人物も精度良く特定することができる。
【０６８１】
さらにデジタルビデオカメラ１０の制御部１１は、右音声データ、左音声データ、後音声データを解析して、撮影時の人物の発話を得ると共に、その発話と、人物の動作とに基づき、複数の人物の関係を判別するようにした。
【０６８２】
従って、デジタルビデオカメラ１０の制御部１１は、複数の人物の関係をさらに精度良く判別することができ、このように判別した関係に基づいて人物を特定することで、当該人物もさらに精度良く特定することができる。
【０６８３】
さらにデジタルビデオカメラ１０の制御部１１は、右音声データ、左音声データ、後音声データを解析して会話から人物同士の親密度を求め、動作や、発話と動作との組合せにより複数の人物の関係を推定する。そしてデジタルビデオカメラ１０の制御部１１は、その推定した関係を、親密度を用いて、最終的に判別するようにした。
【０６８４】
従ってデジタルビデオカメラ１０の制御部１１は、複数の人物の関係をさらに精度良く判別することができ、このように判別した関係に基づいて人物を特定することで、当該人物もさらに精度良く特定することができる。
【０６８５】
さらにデジタルビデオカメラ１０の制御部１１は、複数の人物の関係を推定したとき、記憶動画像から、これら複数の人物の親密さの程度を示す親密程度情報を抽出し、当該推定した関係を、親密度と共に、その親密程度情報を用いて、最終的に判別するようにした。
【０６８６】
よってデジタルビデオカメラ１０の制御部１１は、複数の人物の関係を、より精度良く判別することができ、このように判別した関係に基づいて人物を特定することで、当該人物もより精度良く特定することができる。
【０６８７】
＜３．第２の実施の形態＞
［３−１  印刷装置の回路構成］
次いで、図２０を用いて、上述した情報処理装置１（図１）の具体例である印刷装置１００のハードウェア回路ブロックによる回路構成について説明する。図２０に示すように、印刷装置１００は、例えば、マイクロプロセッサ構成の制御部１１０を有している。
【０６８８】
制御部１１０は、内部のメモリ（図示せず）に予め記憶されている各種プログラムに従って印刷装置１００全体を制御すると共に、所定の演算処理を実行する。また制御部１１０は、例えば、印刷装置１００の筐体に設けられた操作キー１１１の操作に応じて入力される入力信号を取り込み、その入力信号に応じた各種処理も実行する。
【０６８９】
因みに、印刷装置１００の筐体には、操作キー１１１として、外部機器から映像ファイルや画像ファイルを取り込むように指示するための取込指示キーが設けられている。
【０６９０】
また印刷装置１００の筐体には、操作キー１１１として、写真用に印刷する画像を指定するための画像指定キー、画像の印刷を指示する印刷指示キー等も設けられている。
【０６９１】
実際に制御部１１０には、外部機器インターフェース１１２を介してデジタルビデオカメラやデジタルスチルカメラ、カメラ付携帯電話機、パーソナルコンピュータ、データ記憶装置等の外部機器を接続し得るようになされている。
【０６９２】
因みに外部機器は、デジタルビデオカメラやデジタルスチルカメラ、カメラ付携帯電話機等のように動画用の撮影の機能を有する場合、被写体を動画用に撮影して、上述した第１の実施の形態によるデジタルビデオカメラ１０と同様構成の映像ファイルを生成する。
【０６９３】
そして外部機器は、このように被写体を動画撮影して映像ファイルを生成すると、当該生成した映像ファイルを記憶している。因みに、以下の説明では、動画用の撮影を、動画撮影とも呼ぶ。
【０６９４】
一方、外部機器は、デジタルビデオカメラやデジタルスチルカメラ、カメラ付携帯電話機等のように写真用の撮影の機能を有する場合、被写体を写真用に撮影して当該被写体が写り込んだ静止画像データを生成する。因みに、以下の説明では、写真用の撮影を、写真撮影とも呼ぶ。
【０６９５】
かかる外部機器は、この際、静止画像データを圧縮符号化して圧縮画像データを生成する。さらに外部機器は、その静止画像データの属性情報（以下、これを静止画属性情報とも呼ぶ）を格納したヘッダデータも生成する。
【０６９６】
さらに外部機器は、静止画像データをもとに生成した圧縮画像データのヘッダに、静止画属性情報を格納したヘッダデータを付加して画像ファイルを生成する。そして外部機器は、このように被写体を写真撮影して画像ファイルを生成すると、当該生成した画像ファイルを記憶している。
【０６９７】
因みに、外部機器は、被写体を写真撮影した場合、圧縮画像データのヘッダに付加したヘッダデータに、静止画属性情報として、画像ファイルを個別に識別可能な識別情報（例えば、ファイル名であり、以下、これもファイル識別情報とも呼ぶ）を格納する。
【０６９８】
なお、映像ファイルのファイル識別情報、及び画像ファイルのファイル識別情報は、例えば、ファイル名の一部である拡張子により、対応するファイルが映像ファイル及び画像ファイルの何れであるのかを区別可能なように生成されている。
【０６９９】
また外部機器は、被写体を写真撮影した場合、その写真撮影で得た静止画像データに画素を間引く縮小処理を施す。これにより外部機器は、その静止画像データに基づく静止画像の検索に用いるための縮小画像（以下、これをサムネイルとも呼ぶ）の縮小画像データ（以下、これをサムネイルデータとも呼ぶ）を生成する。
【０７００】
そして外部機器は、かかるヘッダデータに、静止画属性情報として、そのサムネイルデータも格納する。さらに外部機器は、かかるヘッダデータに、静止画属性情報として、タイマにより検出した被写体の写真撮影の撮影日時を示す撮影日時情報や、ＧＰＳを利用して測位した撮影位置（緯度及び経度）を示す撮影位置情報等も格納している。
【０７０１】
これに加えて外部機器は、パーソナルコンピュータやデータ記憶装置等のようにファイルの保持機能を有する場合、デジタルビデオカメラやデジタルスチルカメラ、カメラ付携帯電話機等から映像ファイルや画像ファイルを取り込んで記憶している。
【０７０２】
そして印刷装置１００の制御部１１０は、外部機器インターフェース１１２を介して外部機器が接続された状態で、取込指示キーが操作され映像ファイルの取り込みが指示されると、当該外部機器から映像ファイルを取り込む。
【０７０３】
この際、制御部１１０は、外部機器から取り込んだ映像ファイルを記憶再生部１１３に送出して、当該記憶再生部１１３により記憶媒体１１４に、その映像ファイルを記憶する。このようにして制御部１１０は、記憶媒体１１４に複数の映像ファイルを保存することができる。
【０７０４】
なお、記憶再生部１１３は、例えば、印刷装置１００に内蔵されたハードディスクドライブであり、記憶媒体１１４は、当該ハードディスクドライブに設けられたハードディスクである。
【０７０５】
また制御部１１０は、外部機器インターフェース１１２を介して外部機器が接続された状態で、取込指示キーが操作され画像ファイルの取り込みが指示されると、当該外部機器から画像ファイルを取り込む。
【０７０６】
この際、制御部１１０は、外部機器から取り込んだ画像ファイルを記憶再生部１１３に送出して、当該記憶再生部１１３により記憶媒体１１４に、その画像ファイルを記憶する。このようにして制御部１１０は、記憶媒体１１４に複数の画像ファイルを保存することもできる。
【０７０７】
ところで、制御部１１０は、例えば、操作キー１１１が操作され画像の印刷枚数を手動で指定する印刷機能が選択されると、これに応じて印刷枚数を手動で指定させて画像を印刷する印刷モード（以下、これを枚数指定印刷モードとも呼ぶ）に移行する。
【０７０８】
制御部１１０は、枚数指定印刷モードに移行すると、記憶再生部１１３を介して記憶媒体１１４から、これに記憶している複数の画像ファイルを順次読み出す。
【０７０９】
また制御部１１０は、複数の画像ファイルからヘッダデータを取り出すと共に、当該ヘッダデータからサムネイルデータをファイル識別情報と共に取り出す。さらに制御部１１０は、これら複数のサムネイルデータ及びファイル識別情報に基づき、サムネイル一覧画像データを生成して、当該生成したサムネイル一覧画像データを表示部１１５に送出する。
【０７１０】
これにより制御部１１０は、表示部１１５にサムネイル一覧画像データに基づき複数のサムネイルをそれぞれファイル識別情報を示すテキスト（文字列）と対応付けて一覧表示して、ユーザに印刷可能な静止画像をサムネイルとして確認させることができる。
【０７１１】
因みに、表示部１１５は、印刷装置１００に組み込まれた、又は外付けの液晶ディスプレイやプラズマディスプレイ、有機ＥＬディスプレイ、電界放出ディスプレイ（FED:Field  Emission  Display）等である。
【０７１２】
この状態で制御部１１０は、印刷指示キーが操作され表示画面上で１つの静止画像がサムネイルとして選択され、当該選択された静止画像の印刷が印刷枚数と共に指示されると、その選択された静止画像に対応する画像ファイルから圧縮画像データを取り出す。また制御部１１０は、その圧縮画像データをコーデック１１６に送出する。
【０７１３】
コーデック１１６は、この際、制御部１１０から与えられた圧縮画像データを伸長復号して元の静止画像データを生成する。そしてコーデック１１６は、その静止画像データを制御部１１０に送出する。
【０７１４】
制御部１１０は、コーデック１１６から静止画像データが与えられると、その静止画像データと、当該静止画像データに基づく静止画像の印刷枚数を指示する枚数指示信号とを印刷データとして印刷部１１７に送出する。
【０７１５】
印刷部１１７は、図示しない給紙部を有している。そして印刷部１１７は、制御部１１０から印刷データが与えられると、その印刷データに基づき給紙部を介して、指示された印刷枚数分の印画紙を順次取り込みながら、その印画紙に静止画像を印刷して、当該静止画像を印刷した印画紙を排出する。
【０７１６】
因みに、印刷部１１７は、レーザ方式、インクジェット方式、熱転写方式、ドットインパクト方式等の種々の印刷方式のうち何れかの印刷方式で、印画紙に静止画像や、後述するように記憶動画像を構成する単位画像を印刷する。
【０７１７】
このようにして制御部１１０は、ユーザに被写体を写真撮影して得られた複数の静止画像の中から印刷対象の静止画像を印刷枚数と共に指定させて、当該指定された静止画像を、指定された印刷枚数分の印画紙に順次印刷して写真として提供することができる。
【０７１８】
［３−２  撮影人物特定処理］
ところで、制御部１１０は、記憶媒体１１４に映像ファイルを記憶すると、内部のメモリに予め記憶された撮影人物特定プログラムに従い、第１の実施の形態によるデジタルビデオカメラ１０（図２）と同様に撮影人物特定処理手順ＲＴ１（図１２）を実行する。
【０７１９】
すなわち、制御部１１０は、第１の実施の形態によるデジタルビデオカメラ１０の制御部１１（図２）と同様に顔特徴データベース４８や動作推定語句データベース６１、動作データベース６３、関係判別データベース６４等の各種データベースを保持している。
【０７２０】
この状態で制御部１１０は、記憶再生部１１３により記憶媒体１１４から映像ファイルを読み出して、当該映像ファイルから映像データを取り出すと共に、その映像データをコーデック１１６に送出する。また制御部１１０は、この際、映像ファイルから、映像データのヘッダに付加していたヘッダデータも取り出す。
【０７２１】
コーデック１１６は、制御部１１０から映像データが与えられると、その映像データに基づき、元の記憶動画像データと、元の右音声データ、左音声データ、後音声データとを生成する。そしてコーデック１１６は、これら記憶動画像データ、右音声データ、左音声データ、後音声データを制御部１１０に返送する。
【０７２２】
制御部１１０は、このようにして記憶媒体１１４から映像ファイルを読み出す毎に、コーデック１１６を利用して、元の記憶動画像データ、右音声データ、左音声データ、後音声データを得る。
【０７２３】
そして制御部１１０は、記憶動画像データ、右音声データ、左音声データ、後音声データと共にヘッダデータを用いて、撮影人物特定処理として被写体検出処理や発話解析関係推定処理、動作解析関係推定処理等の各種処理を実行する。
【０７２４】
これにより制御部１１０は、記憶動画像データに基づく記憶動画像に写っている複数の人物の関係を判別し、また当該人物を特定して人物登録情報を生成する。
【０７２５】
そして制御部１１０は、記憶再生部１１３により記憶媒体１１４に人物登録情報を新規に記憶するようにして、当該記憶媒体１１４に予め構築している人物データベースに人物登録情報を登録する。
【０７２６】
また制御部１１０は、複数の人物の関係に基づき、記憶動画像データに基づく記憶動画像に写っている人物を特定して、当該特定した人物の人物登録情報の内容を更新（統合）する。そして制御部１１０は、記憶再生部１１３により記憶媒体１１４に人物登録情報を記憶するようにして、人物データベースにすでに登録している人物登録情報を更新する。
【０７２７】
さらに制御部１１０は、人物の関係の判別及び特定に用いた映像ファイルについてファイル属性情報を生成すると共に、当該生成したファイル属性情報を格納したヘッダデータを映像データに付加し直すことで、当該映像ファイルの内容を更新する。
【０７２８】
そして制御部１１０は、その内容を更新した映像ファイルを記憶再生部１１３に送出することにより、当該記憶再生部１１３により記憶媒体１１４に、その映像ファイルを、内容を更新する前のものに上書きするようにして記憶し直す。
【０７２９】
このようにして制御部１１０は、記憶媒体１１４に内容を更新した映像ファイルを記憶すると共に、記憶媒体１１４内の人物データベースに、記憶動画像に写り込んだ複数の人物に関する人物登録情報を適宜、内容を更新して登録する。
【０７３０】
［３−３  印刷処理］
ところで、制御部１１０は、上述のように枚数指定印刷モードにおいて、印刷枚数を手動で指定させて静止画像を印刷することもできるが、静止画像や、記憶動画像を構成する単位画像を、印刷枚数を自動的に選定して写真用に印刷することもできる。
【０７３１】
よって以下に、制御部１１０が静止画像や、記憶動画像を構成する単位画像を、印刷枚数を自動的に選定して写真用に印刷する印刷処理（以下、これを枚数選定印刷処理とも呼ぶ）について説明する。
【０７３２】
制御部１１０は、操作キーが操作され静止画像や、記憶動画像を構成する単位画像を、印刷枚数を自動的に選定して写真用に印刷する印刷機能が選択されると、これに応じて印刷枚数を自動的に選定して画像を印刷する印刷モードに移行する。
【０７３３】
因みに、以下の説明では、静止画像や、記憶動画像を構成する単位画像を、印刷枚数を自動的に選定して写真用に印刷する印刷機能を、枚数選定印刷機能とも呼ぶ。また以下の説明では、静止画像や、記憶動画像を構成する単位画像を、印刷枚数を自動的に選定して写真用に印刷する印刷モードを、枚数選定印刷モードとも呼ぶ。
【０７３４】
制御部１１０は、枚数選定印刷モードに移行すると、画像指定キーを介して、写真用に印刷する画像の種類を、静止画像のみ、記憶動画像を構成する単位画像のみ、静止画像及び単位画像の両方のうち、何れかを任意に指定させるようになされている。因みに、以下の説明では、写真用に印刷する画像の種類を、印刷画像種別とも呼ぶ。
【０７３５】
また制御部１１０は、印刷画像種別が静止画像のみと指定された場合、画像指定キーを介して印刷対象の画像を、例えば、所望の撮影日に被写体を写真撮影して生成された静止画像として指定させる。
【０７３６】
さらに制御部１１０は、印刷画像種別が静止画像及び単位画像の両方と指定された場合も、画像指定キーを介して印刷対象の画像を、例えば、所望の撮影日に被写体を写真撮影して生成された静止画像や動画撮影して生成された記憶動画像として指定させる。
【０７３７】
すなわち、制御部１１０は、印刷画像種別が静止画像のみや、静止画像及び単位画像の両方と指定された場合、画像指定キーを介して印刷対象の画像を被写体の撮影日として指定させる。
【０７３８】
因みに、制御部１１０は、この際、画像指定キーを介して撮影日を、所望の一日や、所望の連続する二日以上（所望の日から他の所望の日までの連続する数日や１又は複数の月等）の期間として指定させるようにしている。なお、以下の説明では、印刷対象の画像を指定するための、一日だけの撮影日を指定日とも呼び、連続する二日以上の期間を指定期間とも呼ぶ。
【０７３９】
さらに制御部１１０は、印刷画像種別が単位画像のみと指定された場合、画像指定キーを介して印刷対象の画像を、例えば、所望の動作を行っている人物が写り込んだ記憶動画像として指定させるようになされている。
【０７４０】
すなわち、制御部１１０は、印刷画像種別が単位画像のみと指定された場合、画像指定キーを介して印刷対象の画像を、例えば、所望の動作（抱っこやおんぶ等）として指定させる。因みに、以下の説明では、画像指定キーを介して指定される所望の動作を、指定動作とも呼ぶ。
【０７４１】
よって以下には、まず画像指定キーが操作され印刷画像種別が静止画像のみと指定された場合の当該静止画像の印刷について説明する。次いで、画像指定キーが操作され印刷画像種別が静止画像と共に単位画像と指定された場合の当該静止画像及び単位画像の印刷について説明する。続いて、画像指定キーが操作され印刷画像種別が単位画像のみと指定された場合の当該単位画像の印刷について説明する。
【０７４２】
ただし、制御部１１０は、この際、内部のメモリに予め記憶された印刷制御プログラムに従い枚数選定印刷処理として各種処理を実行して各種機能を実現している。よって、以下には、図２１を用いて、制御部１１０が印刷制御プログラムに従って実現する各種機能を、便宜上、機能回路ブロックとし、当該制御部１１０が実行する各種処理を、その機能回路ブロックが実行する処理として説明する。
【０７４３】
まず通知部１２０は、画像指定キーが操作され印刷画像種別の静止画像と、指定日又は指定期間とが指定されると、その指定内容を示す指定信号を記憶再生制御部１２１に送出する。
【０７４４】
記憶再生制御部１２１は、通知部１２０から指定信号が与えられると、その指定信号に基づき記憶再生部１１３を介して記憶媒体１１４内の複数の画像ファイルに含まれる撮影日時情報を、その指定された指定日又は指定期間と比較する。
【０７４５】
これにより記憶再生制御部１２１は、記憶媒体１１４内の複数の画像ファイルの中から、ユーザにより指定された指定日又は指定期間に被写体を写真撮影して生成された画像ファイルを全て検索する。
【０７４６】
そして記憶再生制御部１２１は、記憶再生部１１３を介して記憶媒体１１４から、その検索した画像ファイルを順次読み出してファイル処理部１２２に送出する。
【０７４７】
ファイル処理部１２２は、記憶再生制御部１２１から一個の画像ファイルが与えられると、その画像ファイルから圧縮画像データを取り出してコーデック１１６に送出する。
【０７４８】
この際、コーデック１１６は、ファイル処理部１２２から与えられた圧縮画像データを伸長復号して元の静止画像データを生成する。そしてコーデック１１６は、その静止画像データをファイル処理部１２２に送出する。
【０７４９】
そしてファイル処理部１２２は、コーデック１１６から静止画像データが与えられると、その静止画像データを特徴量抽出部１２３に送出する。このようにしてファイル処理部１２２は、記憶再生制御部１２１により記憶媒体１１４から画像ファイルが読み出される毎に、コーデック１１６を利用して、元の静止画像データを得て特徴量抽出部１２３に送出する。
【０７５０】
特徴量抽出部１２３は、ファイル処理部１２２から静止画像データが与えられる毎に特徴量抽出処理を実行する。実際に特徴量抽出部１２３は、上述の撮影人物特定処理（被写体検出処理）に用いる、人物の顔の大まかな輝度分布及び顔の大まかな構造のパターンを示す顔情報を予め保持している。
【０７５１】
よって特徴量抽出部１２３は、ファイル処理部１２２から静止画像データが与えられて特徴量抽出処理を実行すると、顔情報に基づき、当該静止画像データに基づく静止画像において、人物の顔が写っていると想定される１又は複数の想定領域を探索する。
【０７５２】
その結果、特徴量抽出部１２３は、静止画像において１又は複数の想定領域を検出すると、その検出した想定領域毎に、当該想定領域から例えば、複数の輪郭線の形状と、これら複数の輪郭線同士の位置関係と、色等とを想定領域特徴量として抽出する。そして特徴量抽出部１２３は、静止画像データと共に、これから抽出した想定領域特徴量を顔検出部１２４に送出する。
【０７５３】
ただし、特徴量抽出部１２３は、静止画像において想定領域を全く検出しないと、その静止画像の静止画像データのみを顔検出部１２４に送出する。
【０７５４】
顔検出部１２４は、特徴量抽出部１２３から静止画像データと共に１又は複数の想定領域特徴量が与えられる毎、及び当該特徴量抽出部１２３から静止画像データのみが与えられる毎に、顔検出処理を実行する。
【０７５５】
すなわち、顔検出部１２４は、特徴量抽出部１２３から静止画像データと共に１又は複数の想定領域特徴量が与えられて顔検出処理を実行すると、顔特徴データベース１２５から、上述の撮影人物特定処理（被写体推定処理）に用いられる、複数種類の顔検出用特徴量を読み出す。
【０７５６】
そして顔検出部１２４は、複数種類の顔検出用特徴量を順番に用いて、当該顔検出用特徴量と、想定領域特徴量とに基づき演算処理を実行する。これにより顔検出部１２４は、静止画像の想定領域毎に、当該想定領域に写っている被写体が、年代別の男性や女性の顔として、どの程度確からしいかを示す複数の確度を算出する。
【０７５７】
また顔検出部１２４は、その想定領域毎に算出した複数の確度を、予め選定された閾値（すなわち、被写体検出処理での第２の閾値）と順次比較する。
【０７５８】
その結果、顔検出部１２４は、静止画像の何れかの想定領域について算出した複数の確度の少なくとも１つが閾値以上であると、静止画像の当該想定領域に写っている被写体が、人物の顔であると推定する。
【０７５９】
そして顔検出部１２４は、静止画像の想定領域に写っている被写体が人物の顔であると推定すると、当該人物の顔が被写体として写っている想定領域の想定領域特徴量（すなわち、その想定領域から抽出していた想定領域特徴量）を人物顔特徴量とする。
【０７６０】
このようにして顔検出部１２４は、静止画像の想定領域に写っている人物の顔を検出して、当該人物の顔が写っている想定領域の想定領域特徴量を、その人物の顔の人物顔特徴量として検出する。因みに、以下の説明では、静止画像から検出した人物の顔の人物顔特徴量を、特に検出人物顔特徴量とも呼ぶ。
【０７６１】
因みに、顔検出部１２４は、静止画像の何れかの想定領域について算出した複数の確度が全て閾値よりも小さいと、静止画像の当該想定領域に写っている被写体が、人物の顔ではないと判断する。すなわち、顔検出部１２４は、静止画像の想定領域に人物の顔は写っていないと判断する。
【０７６２】
そして顔検出部１２４は、静止画像の何れかの想定領域に写っている被写体が、人物の顔ではないと判断すると、当該想定領域の想定領域特徴量（すなわち、その想定領域から抽出していた想定領域特徴量）を検出人物顔特徴量とはせずに破棄する。
【０７６３】
顔検出部１２４は、このように静止画像から人物の顔と共に検出人物顔特徴量を検出した場合、当該検出した検出人物顔特徴量を、その静止画像の静止画像データと共に枚数選定部１２６に送出する。
【０７６４】
因みに、顔検出部１２４は、静止画像から人物の顔と共に検出人物顔特徴量を何ら検出し得なかったときには、その静止画像の静止画像データのみを枚数選定部１２６に送出する。
【０７６５】
また顔検出部１２４は、特徴量抽出部１２３から静止画像データのみが与えられて顔検出処理を実行した場合は、その静止画像データのみをそのまま枚数選定部１２６に送出する。
【０７６６】
枚数選定部１２６は、顔検出部１２４から静止画像データと共に検出人物顔特徴量が与えられる毎、また静止画像データのみが与えられる毎に、枚数選定処理を実行する。
【０７６７】
実際に枚数選定部１２６は、顔検出部１２４から静止画像データと共に検出人物顔特徴量が与えられて枚数選定処理を実行すると、その検出人物顔特徴量の個数を検出する。すなわち、枚数選定部１２６は、静止画像から検出された検出人物顔特徴量の個数として、当該静止画像に写っている人物の人数を検出する。
【０７６８】
枚数選定部１２６は、検出人物顔特徴量の個数が少なくとも二個以上である（すなわち、静止画像に少なくとも二人以上の人物が写っている）ことを検出すると、記憶再生制御部１２１に人物登録情報の読み出しを依頼する。
【０７６９】
この際、記憶再生制御部１２１は、枚数選定部１２６からの読出依頼に応じて、記憶再生部１１３を介して記憶媒体１１４から全ての人物登録情報を読み出すと共に、当該読み出した複数の人物登録情報を枚数選定部１２６に送出する。
【０７７０】
枚数選定部１２６は、記憶再生制御部１２１から複数の人物登録情報が与えられると、複数の検出人物顔特徴量それぞれを、当該複数の人物登録情報内の人物情報に格納している人物顔特徴量と順次比較する。因みに、以下の説明では、人物登録情報内の人物情報に格納している人物顔特徴量を、特に登録人物顔特徴量とも呼ぶ。
【０７７１】
これにより枚数選定部１２６は、検出人物顔特徴量と登録人物顔特徴量との比較結果に基づき、複数の人物登録情報の中に、検出人物顔特徴量と一致する登録人物顔特徴量を含むものが存在するか否かを判別する。
【０７７２】
すなわち、枚数選定部１２６は、静止画像に写っている複数の人物それぞれについて、人物登録情報としてすでに登録しているか否かを判別する。
【０７７３】
実際に枚数選定部１２６は、静止画像に写っている複数の人物をすでに登録しているか否かを判別する場合、検出人物顔特徴量と、登録人物顔特徴量とに基づき、これら検出人物顔特徴量と登録人物顔特徴量との一致の程度を示す一致度を算出する。
【０７７４】
そして枚数選定部１２６は、その一致度を、予め選定された所定の閾値と比較して、当該一致度が閾値以上であると、検出人物顔特徴量が登録人物顔特徴量と一致すると判断する。すなわち、枚数選定部１２６は、一致度が閾値以上であると、検出人物顔特徴量と、登録人物顔特徴量とが同一人物の人物顔特徴量であると判断する。
【０７７５】
因みに、枚数選定部１２６は、その一致度を閾値と比較して、当該一致度が閾値よりも小さいと、検出人物顔特徴量が、登録人物顔特徴量とは一致しないと判断する。すなわち、枚数選定部１２６は、一致度が閾値よりも小さいと、検出人物顔特徴量と、登録人物顔特徴量とが、異なる人物の人物顔特徴量であると判断する。
【０７７６】
そして枚数選定部１２６は、検出人物顔特徴量と、登録人物顔特徴量とが一致したと判断したときには、その検出人物顔特徴量の顔を有する人物（すなわち、静止画像に写っている人物）が、すでに登録されていると判断する。このようにして枚数選定部１２６は、静止画像に写っている複数の人物それぞれについて、すでに登録しているか否かを判別する。
【０７７７】
その結果、枚数選定部１２６は、静止画像に写っている人物全員が登録済であることを検出したときには、当該登録済の人物の検出人物顔特徴量、及び人物登録情報内の人物関係情報に基づき、これら複数の人物同士の身内や友人等のような関係を判別する。
【０７７８】
そして枚数選定部１２６は、人物同士の関係の判別結果に基づき、複数の人物の中で、例えば、身内である人物同士のグループの数と、全てのグループの総人数とを検出する。また枚数選定部１２６は、人物同士の関係の判別結果に基づき、複数の人物の中で、何れの人物とも身内ではない人物の人数も検出する。
【０７７９】
因みに、身内である二人以上の人物同士とは、夫婦、親子、兄弟、姉妹、家族等の何れかの関係にある人物同士であり、以下の説明では、このような身内としての夫婦や親子、兄弟、姉妹、家族等である二人以上の人物同士のグループを人物グループとも呼ぶ。
【０７８０】
また、以下の説明では、静止画像に写っている複数の人物の中で、何れの人物とも身内ではない人物を、特にグループ外人物とも呼ぶ。
【０７８１】
ここで、枚数選定部１２６は、複数の人物において一つ以上の人物グループを検出したときには、一つの人物グループに対して静止画像を一枚印刷するように、人物グループ全体に対する静止画像の印刷枚数を人物グループの数と同数に選定する。
【０７８２】
すなわち、枚数選定部１２６は、一つの人物グループに属する二人以上の人物に対して静止画像を一枚ずつ印刷するのではなく、その静止画像を一枚だけ印刷して共有させるように、人物グループ用の印刷枚数を選定する。
【０７８３】
また枚数選定部１２６は、複数の人物の中で１又は複数のグループ外人物を検出したときには、一人のグループ外人物に対して静止画像を一枚印刷するように、グループ外人物全体に対する静止画像の印刷枚数をグループ外人物の人数と同数に選定する。
【０７８４】
そして枚数選定部１２６は、この際、静止画像にグループ外人物は写っておらず、一つ以上の人物グループ内の人物のみが写っていると、当該人物グループ全体に対して選定した印刷枚数を、そのまま静止画像の印刷枚数として確定する。
【０７８５】
また枚数選定部１２６は、静止画像に一つ以上の人物グループ内の人物と、１又は複数のグループ外人物とが写っていると、人物グループ全体及びグループ外人物全体に対してそれぞれ選定した印刷枚数を加算する。そして枚数選定部１２６は、その加算して得られた印刷枚数（印刷枚数の合計）を、静止画像の印刷枚数として確定する。
【０７８６】
さらに枚数選定部１２６は、静止画像に１又は複数のグループ外人物のみが写っていると、当該グループ外人物全体に対して選定した印刷枚数を、そのまま静止画像の印刷枚数として確定する。
【０７８７】
一方、枚数選定部１２６は、静止画像に写っている複数の人物を、すでに登録しているか否かを判別した結果、当該複数の人物のうち全員に満たない二人以上の人物が登録済であることを検出したときには、その登録済の複数の人物同士の関係を判別する。すなわち、枚数選定部１２６は、この際、登録済の複数の人物の検出人物顔特徴量、及び人物登録情報内の人物関係情報に基づき、当該登録済の複数の人物同士の関係を判別する。
【０７８８】
この場合も枚数選定部１２６は、その関係の判別結果に基づき、複数の人物の中で人物グループの数、及び全ての人物グループの総人数を検出すると共に、グループ外人物の人数を検出する。
【０７８９】
また枚数選定部１２６は、この際、未登録の１又は複数の人物については、人物登録情報が存在せず、身内である人物同士を検出することができないため、その未登録の人物全員を、他の何れの人物とも身内ではないグループ外人物として人数を検出する。
【０７９０】
因みに、以下の説明では、登録済の複数の人物の中に存在する１又は複数のグループ外人物を、登録済グループ外人物とも呼び、未登録の１又は複数の人物を、未登録グループ外人物とも呼ぶ。
【０７９１】
そして枚数選定部１２６は、登録済の複数の人物において一つ以上の人物グループを検出したときには、一つのグループに対して静止画像を一枚印刷するように、人物グループ全体に対する静止画像の印刷枚数を人物グループの数と同数に選定する。
【０７９２】
また枚数選定部１２６は、１又は複数の登録済グループ外人物を検出したときには、一人の登録済グループ外人物に対して静止画像を一枚印刷するように、登録済グループ外人物全体に対する静止画像の印刷枚数を登録済グループ外人物の人数と同数に選定する。
【０７９３】
さらに枚数選定部１２６は、未登録グループ外人物全体に対する静止画像の印刷枚数については、一人の未登録グループ外人物に対して静止画像を一枚印刷するように、当該未登録グループ外人物の人数と同数に選定する。
【０７９４】
ここで、枚数選定部１２６は、静止画像に登録済グループ外人物は写っていないものの、一つ以上の人物グループ内の人物が写っていると、未登録グループ外人物全体及び人物グループ全体に対してそれぞれ選定した印刷枚数を加算する。そして枚数選定部１２６は、その加算して得られた印刷枚数（印刷枚数の合計）を、静止画像の印刷枚数として確定する。
【０７９５】
また枚数選定部１２６は、静止画像に人物グループ内の人物は全く写っていないものの、１又は複数の登録済グループ外人物が写っていると、未登録グループ外人物全体及び登録済グループ外人物全体に対してそれぞれ選定した印刷枚数を加算する。そして枚数選定部１２６は、その加算して得られた印刷枚数（印刷枚数の合計）を、静止画像の印刷枚数として確定する。
【０７９６】
さらに枚数選定部１２６は、静止画像に１又は複数の登録済グループ外人物と一つ以上の人物グループ内の人物とが写っていると、未登録グループ外人物全体、登録済グループ外人物全体及び人物グループ全体に対して選定した印刷枚数を加算する。そして枚数選定部１２６は、その加算して得られた印刷枚数（印刷枚数の合計）を、静止画像の印刷枚数として確定する。
【０７９７】
また枚数選定部１２６は、静止画像に写っている複数の人物を、すでに登録しているか否かを判別した結果、当該複数の人物のうち一人の人物のみが登録済であることを検出したときには、これら複数の人物同士の関係を判別しない。
【０７９８】
そして枚数選定部１２６は、静止画像に写っている人物全員をそれぞれ、登録済及び未登録にかかわらずに、何れの人物とも身内ではないグループ外人物とする。すなわち、枚数選定部１２６は、未登録の人物が二人以上いても、登録済の人物が一人だけいるのでは、未登録の人物の人物登録情報が存在せず、身内の人物同士を検出し得ないため、人物全員を身内ではないグループ外人物とする。
【０７９９】
このため枚数選定部１２６は、この際、人物の登録済及び未登録にかかわらずに、静止画像に写っている人物の人数分だけ当該静止画像を印刷するように印刷枚数を選定して、当該選定した印刷枚数を確定する。
【０８００】
さらに枚数選定部１２６は、静止画像に写っている複数の人物を、すでに登録しているか否かを判別した結果、当該複数の人物全員が未登録であることを検出したときには、当該未登録の人物全員をそれぞれ、何れの人物とも身内ではないグループ外人物とする。
【０８０１】
この際、枚数選定部１２６は、静止画像に写っている人物の人数分だけ当該静止画像を印刷するように印刷枚数を選定して、当該選定した印刷枚数を確定する。
【０８０２】
このようにして枚数選定部１２６は、顔検出部１２４により、静止画像に写っている複数の人物が検出されると、当該複数の人物の検出人物顔特徴量と登録人物顔特徴量とに基づき、その複数の人物をすでに登録しているか否かを判別する。
【０８０３】
その結果、枚数選定部１２６は、静止画像に写っている複数の人物の中から、登録済の複数の人物を検出すると、当該登録済の複数の人物の検出人物顔特徴量、及び人物登録情報内の人物関係情報に基づき、その登録済の複数の人物同士の関係を判別する。
【０８０４】
そして枚数選定部１２６は、静止画像に写っている複数の人物の中で、登録済の複数の人物同士の関係を判別すると、その判別結果を用いて、当該静止画像の印刷枚数を選定する。
【０８０５】
ところで、枚数選定部１２６は、枚数選定処理を実行して、顔検出部１２４から与えられた検出人物顔特徴量の個数が一個である（静止画像に写っている人物が一人である）ことを検出すると、記憶再生制御部１２１に人物登録情報の読み出しを依頼しない。
【０８０６】
この際、枚数選定部１２６は、静止画像に写っている一人の人物用に、当該静止画像を一枚だけ印刷するように印刷枚数を選定して、当該選定した印刷枚数を確定する。
【０８０７】
このようにして枚数選定部１２６は、静止画像の印刷枚数を確定すると、当該確定した印刷枚数を示す枚数指示信号を静止画像データと共に印刷データとして印刷制御部１２７に送出する。
【０８０８】
ところで、印刷装置１００では、枚数選定印刷モード時、印刷対象の静止画像を、指定日や指定期間として指定させている。このため印刷装置１００では、枚数選定印刷モード時、指定日や指定期間により、人物の写っている静止画像が印刷対象として指定される場合があるものの、自然物や人工物等は写っていても人物が全く写っていない静止画像が印刷対象として指定される場合もある。
【０８０９】
よって枚数選定部１２６は、もし指定日や指定期間により、人物が全く写っていない静止画像が印刷対象に指定された場合には、その静止画像を一枚だけ印刷するか、また全く印刷しないかの何れか一方を事前に選択させて設定するようになされている。
【０８１０】
すなわち、枚数選定部１２６は、指定日や指定期間により、もし人物が全く写っていない静止画像が印刷対象に指定された場合の印刷枚数を、事前に一枚又は０枚の何れか一方を選択させて設定するようになされている。
【０８１１】
よって枚数選定部１２６は、顔検出部１２４から、人物の顔と共に検出人物顔特徴量を検出し得ずに静止画像データのみが与えられて枚数選定処理を実行すると、静止画像の印刷枚数を、ユーザ設定に応じて一枚又は０枚に選定し確定する。
【０８１２】
そして枚数選定部１２６は、この際、静止画像の印刷枚数を一枚に選定して確定すると、その一枚の印刷枚数を示す枚数指示信号を、当該静止画像の静止画像データと共に印刷データとして印刷制御部１２７に送出する。
【０８１３】
また枚数選定部１２６は、この際、静止画像の印刷枚数を０枚に選定して確定すると、当該静止画像の静止画像データを廃棄して印刷制御部１２７には何も送出しないことで、その静止画像を印刷させないようにする。
【０８１４】
印刷制御部１２７は、枚数選定部１２６から印刷データ（静止画像データ及び枚数指示信号）が与えられる毎に、印刷制御処理を実行する。実際に印刷制御部１２７は、枚数選定部１２６から印刷データとして静止画像データ及び枚数指示信号が与えられて印刷制御処理を実行すると、静止画像データを印刷部１１７に送出すると共に、枚数指示信号に基づき印刷部１１７に対し静止画像の印刷枚数を制御する。
【０８１５】
これにより印刷制御部１２７は、印刷部１１７に、枚数選定部１２６によって選定（すなわち、確定）された印刷枚数の印画紙に静止画像を順次印刷させる。
【０８１６】
このようにして印刷制御部１２７は、枚数選定部１２６から印刷データとして静止画像データ及び枚数指示信号が与えられる毎に、印刷部１１７を制御して、静止画像をそれぞれ選定（すなわち、確定）された印刷枚数の印画紙に印刷させる。
【０８１７】
ここで、枚数選定印刷モードにおける複数の静止画像の印刷について図２２乃至２５を用いて具体的に説明する。ただし、かかる印刷については、図２２及び図２３に示すように、夫婦である人物Ａ及び人物Ｂと、その夫婦の共通の友人である人物Ｃとが、異なる組み合わせで写っている四枚の第１乃至第４の静止画像１３０乃至１３３を印刷する場合を例にして説明する。
【０８１８】
まず四枚の第１乃至第４の静止画像１３０乃至１３３のうち第１の静止画像１３０には、人物Ａ乃至人物Ｃの三人が写っている。また四枚の第１乃至第４の静止画像１３０乃至１３３のうち第２の静止画像１３１には、人物Ｂと人物Ｃとの二人が写っている。
【０８１９】
さらに四枚の第１乃至第４の静止画像１３０乃至１３３のうち第３の静止画像１３２には、人物Ａ及び人物Ｃの二人が写っている。さらにまた四枚の第１乃至第４の静止画像１３０乃至１３３のうち第４の静止画像１３３には、人物Ａと人物Ｂとの二人が写っている。
【０８２０】
この場合、枚数選定部１２６は、第１の静止画像１３０に写っている人物Ａと人物Ｂとは夫婦であるため、その夫婦用（すなわち、人物グループ用）に第１の静止画像１３０を一枚だけ印刷するように印刷枚数を選定する。
【０８２１】
また枚数選定部１２６は、第１の静止画像１３０に写っている人物Ｃが、一緒に写っている人物Ａや人物Ｂとは身内でないため、その人物Ｃ用（すなわち、グループ外人物用）にも第１の静止画像１３０を一枚だけ印刷するように印刷枚数を選定する。
【０８２２】
そして枚数選定部１２６は、第１の静止画像１３０については、夫婦用及び人物Ｃ用に選定した印刷枚数を加算することで、合計で二枚印刷するように印刷枚数を選定して確定する。
【０８２３】
また枚数選定部１２６は、第２の静止画像１３１に写っている人物Ｂと人物Ｃとは身内でないため、当該人物Ｂ及び人物Ｃ用に第２の静止画像１３１をそれぞれ一枚ずつ印刷するように印刷枚数を選定する。すなわち、枚数選定部１２６は、第２の静止画像１３１については、人物Ｂ及び人物Ｃ用に、合計で二枚印刷するように印刷枚数を選定して確定する。
【０８２４】
さらに枚数選定部１２６は、第３の静止画像１３２に写っている人物Ａと人物Ｃとは身内でないため、当該人物Ａ及び人物Ｃ用に第３の静止画像１３２をそれぞれ一枚ずつ印刷するように印刷枚数を選定する。すなわち、枚数選定部１２６は、第３の静止画像１３２については、人物Ａ及び人物Ｃ用に、合計で二枚印刷するように印刷枚数を選定して確定する。
【０８２５】
さらに枚数選定部１２６は、第４の静止画像１３３に写っている人物Ａと人物Ｂとは夫婦であるため、その夫婦用に第４の静止画像１３３を一枚だけ印刷するように印刷枚数を選定して確定する。
【０８２６】
これにより図２４に示すように、印刷制御部１２７は、夫婦である人物Ａ及び人物Ｂの二人が一緒に写っている第１の静止画像１３０を、その人物Ａ及び人物Ｂ用に一枚ずつ印刷するのではなく、当該人物Ａ及び人物Ｂ用にまとめて一枚だけ印刷することができる。
【０８２７】
また印刷制御部１２７は、夫婦である人物Ａと人物Ｂの何れか一方が写っている第２及び第３の静止画像１３１及び１３２についても、当該人物Ａ及び人物Ｂ用に一枚ずつ印刷することができる。
【０８２８】
さらに刷制御部１２７は、夫婦である人物Ａ及び人物Ｂの二人が一緒に写っている第４の静止画像１３３についても、人物Ａ及び人物Ｂ用に一枚ずつ印刷するのではなく、当該人物Ａ及び人物Ｂ用にまとめて一枚だけ印刷することができる。
【０８２９】
これに加えて図２５に示すように、印刷制御部１２７は、人物Ｃが写っている第１乃至第３の静止画像１３０乃至１３２についても、当該人物Ｃ用に一枚ずつ印刷することができる。
【０８３０】
ところで、通知部１２０は、画像指定キーが操作され印刷画像種別の静止画像及び単位画像と、指定日又は指定期間とが指定された場合、その指定内容を示す指定信号を記憶再生制御部１２１及びファイル処理部１２２に送出する。
【０８３１】
記憶再生制御部１２１は、通知部１２０から指定信号が与えられると、その指定信号に基づき記憶再生部１１３を介して記憶媒体１１４内の複数の画像ファイルに含まれる撮影日時情報を、その指定された指定日又は指定期間と比較する。
【０８３２】
これにより記憶再生制御部１２１は、記憶媒体１１４内の複数の画像ファイルの中から、ユーザにより指定された指定日又は指定期間に被写体を写真撮影して生成された画像ファイルを全て検索する。
【０８３３】
また記憶再生制御部１２１は、この際、指定信号に基づき記憶再生部１１３を介して記憶媒体１１４内の複数の映像ファイルに含まれる撮影日時情報も、指定された指定日又は指定期間と比較する。
【０８３４】
これにより記憶再生制御部１２１は、記憶媒体１１４内の複数の映像ファイルの中から、ユーザにより指定された指定日又は指定期間に被写体を動画撮影して生成された映像ファイルも全て検索する。
【０８３５】
そして記憶再生制御部１２１は、記憶再生部１１３を介して記憶媒体１１４から、その検索した画像ファイルを順次読み出してファイル処理部１２２に送出する。
【０８３６】
また記憶再生制御部１２１は、検索した全ての画像ファイルの読み出しが完了すると、引き続き記憶再生部１１３を介して記憶媒体１１４から、検索した映像ファイルも順次読み出してファイル処理部１２２に送出する。
【０８３７】
ファイル処理部１２２は、まず記憶再生制御部１２１から画像ファイルが与えられる毎に、上述と同様にコーデック１１６を利用して、元の静止画像データを得て特徴量抽出部１２３に送出する。
【０８３８】
またファイル処理部１２２は、画像ファイルに対する処理が完了すると、このとき通知部１２０から与えられていた指定信号（印刷画像種別の静止画像及び単位画像の指定）に応じて、印刷対象の単位画像データを選定するための対象選定処理の処理内容を設定する。
【０８３９】
例えば、ファイル処理部１２２は、この際、対象選定処理の処理内容として、被写体の動画撮影時の盛り上がりをもとに、記憶動画像データから印刷対象の単位画像データを選定するように設定する。
【０８４０】
この状態でファイル処理部１２２は、記憶再生制御部１２１から画像ファイルに引き続き映像ファイルが与えられると、当該映像ファイルが与えられる毎に、対象選定処理を実行する。
【０８４１】
実際にファイル処理部１２２は、記憶再生制御部１２１から映像ファイルが与えられて対象選定処理を実行すると、まず映像ファイルから映像データ及びヘッダデータを取り出して、当該映像データをコーデック１１６に送出する。
【０８４２】
この際、コーデック１１６は、ファイル処理部１２２から与えられた映像データに基づき、元の記憶動画像データと、元の右音声データ、左音声データ、後音声データとを生成する。そしてコーデック１１６は、これら記憶動画像データ、右音声データ、左音声データ、後音声データをファイル処理部１２２に送出する。
【０８４３】
またファイル処理部１２２は、コーデック１８から記憶動画像データ、右音声データ、左音声データ、後音声データが与えられると、その右音声データ、左音声データ及び後音声データ各々の先頭から後尾までのデータレベルを所定の閾値と比較する。
【０８４４】
これによりファイル処理部１２２は、そのデータレベルと閾値との比較結果に基づき、右音声データ、左音声データ及び後音声データにおいてデータレベルが共に閾値以上である１又は複数の区間各々の先頭位置及び後尾位置の時刻情報を検出する。
【０８４５】
またファイル処理部１２２は、記憶動画像データにおいて、その時刻情報が示す１又は複数の区間各々を、被写体の動画撮影の際、場の雰囲気が盛り上がった盛上区間として特定する。
【０８４６】
さらにファイル処理部１２２は、記憶動画像データにおいて１又は複数の盛上区間各々から、当該盛上区間の先頭又は中央等のように所定位置の一個の単位画像データを印刷対象として取り出す。そしてファイル処理部１２２は、このように記憶動画像データから取り出した１又は複数の単位画像データを、特徴量抽出部１２３に順次送出する。
【０８４７】
このようにしてファイル処理部１２２は、記憶再生制御部１２１により記憶媒体１１４から映像ファイルが読み出される毎に対象選定処理を実行すると、コーデック１１６を利用して、元の記憶動画像データを得る。
【０８４８】
またファイル処理部１２２は、その記憶動画像データを構成する複数の単位画像データのうち、盛上区間内の一個の単位画像データを印刷対象として特徴量抽出部１２３に送出する。
【０８４９】
特徴量抽出部１２３は、ファイル処理部１２２から静止画像データが与えられる毎に上述と同様に特徴量抽出処理を実行する。これにより特徴量抽出部１２３は、静止画像データと共に１又は複数の想定領域特徴量を顔検出部１２４に送出し、又は静止画像データのみを顔検出部１２４に送出する。
【０８５０】
また特徴量抽出部１２３は、ファイル処理部１２２から単位画像データが与えられた場合も上述のようにファイル処理部１２２から静止画像データが与えられた場合と同様に特徴量抽出処理を実行する。
【０８５１】
これにより特徴量抽出部１２３は、単位画像データから１又は複数の想定領域と共に１又は複数の想定領域特徴量を検出して、当該検出した１又は複数の想定領域特徴量を単位画像データと共に顔検出部１２４に送出する。
【０８５２】
ただし、特徴量抽出部１２３は、単位画像において想定領域を全く検出しないと、その単位画像の単位画像データのみを顔検出部１２４に送出する。
【０８５３】
顔検出部１２４は、特徴量抽出部１２３から静止画像データと共に１又は複数の想定領域特徴量が与えられる毎、及び当該特徴量抽出部１２３から静止画像データのみが与えられる毎に、上述と同様に顔検出処理を実行する。
【０８５４】
これにより顔検出部１２４は、静止画像データと共に１又は複数の検出人物顔特徴量を枚数選定部１２６に送出し、又は静止画像データのみを枚数選定部１２６に送出する。
【０８５５】
また顔検出部１２４は、特徴量抽出部１２３から単位画像データが与えられた場合も上述のように特徴量抽出部１２３から静止画像データが与えられた場合と同様に顔検出処理を実行する。
【０８５６】
これにより顔検出部１２４は、単位画像データから１又は複数の人物の顔と共に１又は複数の検出人物顔特徴量を検出して、当該検出した１又は複数の検出人物顔特徴量を単位画像データと共に枚数選定部１２６に送出する。
【０８５７】
ただし、顔検出部１２４は、単位画像から人物の顔と共に検出人物顔特徴量を何ら検出し得なかったときには、その単位画像の単位画像データのみを枚数選定部１２６に送出する。
【０８５８】
また顔検出部１２４は、特徴量抽出部１２３から単位画像データのみが与えられて顔検出処理を実行した場合は、その単位画像データのみをそのまま枚数選定部１２６に送出する。
【０８５９】
枚数選定部１２６は、顔検出部１２４から静止画像データと共に１又は複数の検出人物顔特徴量が与えられる毎、及び当該顔検出部１２４から静止画像データのみが与えられる毎に、上述と同様に枚数選定処理を実行する。これにより枚数選定部１２６は、静止画像データ及び枚数指示信号を印刷データとして適宜、印刷制御部１２７に送出する。
【０８６０】
また枚数選定部１２６は、顔検出部１２４から単位画像データと共に１又は複数の検出人物顔特徴量が与えられる毎、及び単位画像データのみが与えられる毎に、顔検出部１２４から静止画像データが与えられた場合と基本的には同様の枚数選定処理を実行する。
【０８６１】
ただし、単位画像に写っている人物については、何れも、上述の撮影人物特定処理が実行された際にすでに登録されている。また単位画像に写っている人物の関係を示す人物関係情報については、記憶動画像データに付加されたヘッダデータにファイル属性情報として、すでに格納されている。
【０８６２】
このため枚数選定部１２６は、単位画像に二人以上の人物が写っていると、ファイル処理部１２２からヘッダデータ内のファイル属性情報に含まれる人物関係情報を取り寄せる。そして枚数選定部１２６は、単位画像に写っている複数の人物それぞれの検出人物顔特徴量、及び人物関係情報に基づき、当該複数の人物同士の関係を判別する。
【０８６３】
このようにして枚数選定部１２６は、単位画像に写っている人物の関係を判別すると、その後の処理については、顔検出部１２４から静止画像データが与えられた場合と同様に実行して印刷枚数を選定する。
【０８６４】
また枚数選定部１２６は、単位画像に人物が一人だけ写っている場合や、全く写っていない場合も、顔検出部１２４から静止画像データが与えられた場合と同様に処理して印刷枚数を選定する。
【０８６５】
このようにして枚数選定部１２６は、単位画像データの印刷枚数を適宜、選定（確定）して、当該選定した印刷枚数を示す枚数指示信号を単位画像データと共に印刷データとして印刷制御部１２６に送出する。
【０８６６】
印刷制御部１２７は、枚数選定部１２６から印刷データとして静止画像データ及び枚数指示信号が与えられる毎に、上述と同様に印刷制御処理を実行する。これにより印刷制御部１２７は、印刷部１１７に、枚数指示信号が示す印刷枚数の印画紙に静止画像データに基づく静止画像を印刷させる。
【０８６７】
また印刷制御部１２７は、枚数選定部１２６から印刷データとして単位画像データ及び枚数指示信号が与えられた場合も、上述のように枚数選定部１２６から静止画像データが与えられた場合と同様に印刷制御処理を実行する。これにより印刷制御部１２７は、印刷部１１７に、枚数指示信号が示す印刷枚数の印画紙に単位画像データに基づく単位画像を印刷させる。
【０８６８】
ところで、通知部１２０は、画像指定キーが操作され印刷画像種別の単位画像と、指定動作とが指定された場合、その指定内容を示す指定信号を記憶再生制御部１２１及びファイル処理部１２２に送出する。
【０８６９】
記憶再生制御部１２１は、通知部１２０から指定信号が与えられると、その指定信号に基づき記憶再生部１１３を介して記憶媒体１１４内の複数の映像ファイルに含まれるヘッダデータ内のファイル属性情報（動作情報）と比較する。
【０８７０】
これにより記憶再生制御部１２１は、記憶媒体１１４内の複数の映像ファイルの中から、人物が抱っこやおんぶ等のような指定動作を行っている場面が写っている映像ファイルを全て検索する。
【０８７１】
そして記憶再生制御部１２１は、記憶再生部１１３を介して記憶媒体１１４から、その検索した映像ファイルを順次読み出してファイル処理部１２２に送出する。
【０８７２】
この際、ファイル処理部１２２は、通知部１２０から与えられていた指定信号（印刷画像種別の単位画像の指定）に応じて、印刷対象の単位画像データを選定するための対象選定処理の処理内容を設定している。
【０８７３】
例えば、ファイル処理部１２２は、この際、対象選定処理の処理内容として、指定動作をもとに、記憶動画像データから印刷対象の単位画像データを選定するように設定する。
【０８７４】
この状態でファイル処理部１２２は、記憶再生制御部１２１から映像ファイルが与えられる毎に、対象選定処理を実行する。実際にファイル処理部１２２は、記憶再生制御部１２１から映像ファイルが与えられて対象選定処理を実行すると、まず映像ファイルから映像データ及びヘッダデータを取り出して、当該映像データをコーデック１１６に送出する。
【０８７５】
この際、コーデック１１６は、ファイル処理部１２２から与えられた映像データに基づき、元の記憶動画像データと、元の右音声データ、左音声データ、後音声データとを生成する。そしてコーデック１１６は、これら記憶動画像データ、右音声データ、左音声データ、後音声データをファイル処理部１２２に送出する。
【０８７６】
またファイル処理部１２２は、コーデック１８から記憶動画像データ、右音声データ、左音声データ、後音声データが与えられると、ヘッダデータ内のファイル属性情報から、人物により指定動作が行われた動作区間を示す１又は複数の動作情報を取り出す。
【０８７７】
またファイル処理部１２２は、その１又は複数の動作情報に基づき、記憶動画像データにおいて当該動作情報が示す動作区間（すなわち、人物により指定動作が行われた動作区間）を特定する。
【０８７８】
さらにファイル処理部１２２は、記憶動画像データにおいて特定した１又は複数の動作区間各々から、当該動作区間の先頭又は中央等のように所定位置の一個の単位画像データを印刷対象として取り出す。
【０８７９】
そしてファイル処理部１２２は、このように記憶動画像データから取り出した１又は複数の単位画像データ（すなわち、指定動作を行っている人物が写っている単位画像データ）を、特徴量抽出部１２３に順次送出する。
【０８８０】
このようにしてファイル処理部１２２は、記憶再生制御部１２１により記憶媒体１１４から映像ファイルが読み出される毎に対象選定処理を実行すると、コーデック１１６を利用して、元の記憶動画像データを得る。
【０８８１】
またファイル処理部１２２は、その記憶動画像データを構成する複数の単位画像データのうち、人物により指定動作が行われた動作区間内の一個の単位画像データ（すなわち、人物が写っている単位画像データ）を印刷対象として特徴量抽出部１２３に送出する。
【０８８２】
特徴量抽出部１２３は、ファイル処理部１２２から単位画像データが与えられる毎に上述と同様に特徴量抽出処理を実行する。これにより特徴量抽出部１２３は、単位画像データと共に１又は複数の想定領域特徴量を顔検出部１２４に送出する。
【０８８３】
すなわち特徴量抽出部１２３は、この際、単位画像に指定動作を行っている少なくとも一人以上の人物が写っているため、単位画像から１又は複数の想定領域特徴量を抽出して、当該１又は複数の想定領域特徴量を単位画像データと共に顔検出部１２４に送出する。
【０８８４】
顔検出部１２４は、特徴量抽出部１２３から単位画像データと共に１又は複数の想定領域特徴量が与えられる毎に、上述と同様に顔検出処理を実行する。これにより顔検出部１２４は、単位画像データと共に１又は複数の検出人物顔特徴量を枚数選定部１２６に送出する。
【０８８５】
枚数選定部１２６は、顔検出部１２４から単位画像データと共に１又は複数の検出人物顔特徴量が与えられる毎に、上述と同様に枚数選定処理を実行する。これにより枚数選定部１２６は、単位画像データ及び枚数指示信号を印刷データとして印刷制御部１２７に送出する。
【０８８６】
印刷制御部１２７は、枚数選定部１２６から印刷データ（単位画像データ及び枚数指示信号）が与えられる毎に、上述と同様に印刷制御処理を実行する。これにより印刷制御部１２７は、印刷部１１７に、枚数指示信号が示す印刷枚数の印画紙に単位画像データに基づく単位画像を印刷させる。
【０８８７】
このようにして枚数選定部１２６及び印刷制御部１２７は、単位画像についても、図２２乃至図２５について上述した静止画像の印刷の場合と同様に、人物グループ内の二人以上の人物に対しては一枚だけ印刷して共有させ、人物グループ外人物には一枚印刷する。
【０８８８】
［３−４  枚数選定印刷処理手順］
次いで、図２６乃至図３０を用いて、制御部１１０が枚数選定印刷モード時に実行する枚数選定印刷処理手順ＲＴ３について説明する。
【０８８９】
制御部１１０は、操作キーが操作され枚数選定印刷機能が選択されると、枚数選定印刷モードに移行して、内部のメモリに予め記憶された印刷制御プログラムに従い枚数選定印刷処理手順ＲＴ３を開始する。
【０８９０】
制御部１１０は、枚数選定印刷処理手順ＲＴ３を開始すると、ステップＳＰ３１においてユーザにより印刷画像種別及び印刷対象の画像（すなわち、指定日、指定期間、指定動作）が指定されることを待ち受ける。そして制御部１１０は、ユーザにより印刷画像種別及び印刷対象の画像が指定されると、次のステップＳＰ３２に移る。
【０８９１】
ステップＳＰ３２において制御部１１０は、印刷画像種別として静止画像のみが指定されたか否かを判別する。このステップＳＰ３２において肯定結果が得られると、このことは被写体を写真撮影して生成された静止画像のみの印刷が要求されたことを表している。ステップＳＰ３２において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ３３に移る。
【０８９２】
ステップＳＰ３３において制御部１１０は、記憶再生部１１３を介して記憶媒体１１４内の複数の画像ファイルの中から、ユーザにより指定日又は指定期間として指定された印刷対象の静止画像の画像ファイルを全て検索して、次のステップＳＰ３４に移る。
【０８９３】
ステップＳＰ３４において制御部１１０は、コーデック１１６を利用して、検索した全ての画像ファイルのうち一個の画像ファイルに基づき、元の静止画像データを生成して、次のステップＳＰ３５に移る。
【０８９４】
ステップＳＰ３５において制御部１１０は、顔情報に基づき、静止画像データに基づく静止画像において人物の顔が写っていると想定される１又は複数の想定領域を探索する。その結果、制御部１１０は、静止画像において１又は複数の想定領域を検出すると、当該検出した想定領域から想定領域特徴量を抽出して、次のステップＳＰ３６に移る。
【０８９５】
因みに、ステップＳＰ３５において制御部１１０は、顔情報に基づき静止画像において想定領域を探索しても、その想定領域を何ら検出し得ないと、想定領域特徴量を得ずに、次のステップＳＰ３６に移る。
【０８９６】
ステップＳＰ３６において制御部１１０は、複数種類の顔検出用特徴量と、１又は複数の想定領域特徴量とに基づき、静止画像の想定領域に写っている被写体が人物の顔であるかを検出する。
【０８９７】
そして制御部１１０は、静止画像の想定領域に写っている被写体が人物の顔であることを検出すると、その人物の顔が写っている想定領域の想定領域特徴量を検出人物顔特徴量とする。このようにして制御部１１０は、静止画像から１又は複数の人物の顔と共に１又は複数の検出人物顔特徴量を検出すると、次のステップＳＰ３７に移る。
【０８９８】
因みに、ステップＳＰ３６において制御部１１０は、静止画像に人物の顔が何ら写っていないことを検出すると、この際には検出人物顔特徴量を検出せずに、次のステップＳＰ３７に移る。
【０８９９】
ステップＳＰ３７において制御部１１０は、静止画像から検出した検出人物顔特徴量の個数（すなわち、静止画像に写っている人物の人数）を検出して、当該検出人物顔特徴量を二個以上検出したか否かを判別する。
【０９００】
このステップＳＰ３７において肯定結果が得られると、このことは静止画像に写っている複数の人物同士の関係を検出し得る可能性があることを表している。ステップＳＰ３７において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ３８に移る。
【０９０１】
ステップＳＰ３８において制御部１１０は、記憶再生部１１３を介して記憶媒体１１４から人物登録情報を全て読み出す。そして制御部１１０は、静止画像から検出した複数の検出人物顔特徴量と、複数の人物登録情報内の登録人物顔特徴量とに基づき、その静止画像に写っている複数の人物の中で、少なくとも二人以上をすでに登録しているか否かを判別する。
【０９０２】
このステップＳＰ３８において肯定結果が得られると、このことは静止画像に写っている複数の人物の中で、すでに登録している少なくとも二人以上の人物について身内であるかを検出し得る可能性があることを表している。ステップＳＰ３８において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ３９に移る。
【０９０３】
ステップＳＰ３９において制御部１１０は、静止画像に写っている複数の人物のうち、登録済の複数の人物の検出人物顔特徴量、及び人物登録情報内の人物関係情報に基づき、当該登録済の複数の人物同士の関係を判別する。
【０９０４】
また制御部１１０は、人物同士の関係の判別結果に基づき、人物グループの数を検出すると共に、登録済グループ外人物及び未登録グループ外人物の人数もそれぞれ検出して、次のステップＳＰ４０に移る。
【０９０５】
ステップＳＰ４０において制御部１１０は、人物グループの数、登録済グループ外人物及び未登録グループ外人物の人数（静止画像に写っている複数の人物の人数及び関係）に基づき、静止画像の印刷枚数を選定して、次のステップＳＰ４１に移る。
【０９０６】
ステップＳＰ４１において制御部１１０は、印刷部１１７を制御して、静止画像の印刷用に選定した印刷枚数の印画紙に静止画像データに基づく静止画像を印刷して、次のステップＳＰ４２に移る。
【０９０７】
ステップＳＰ４２において制御部１１０は、ユーザにより指定日又は指定期間として指定された印刷対象の全ての静止画像の印刷が完了したか否かを判別する。このステップＳＰ４２において否定結果が得られると、このことはユーザにより印刷対象として指定された複数の静止画像のうち、未だ印刷していない静止画像があることを表している。ステップＳＰ４２において制御部１１０は、かかる否定結果を得ると、ステップＳＰ３４に戻る。
【０９０８】
ところで、ステップＳＰ３７において否定結果が得られると、このことは静止画像に人物が一人だけ写っているため、又は静止画像に人物が全く写っていないため、人物同士の関係を判別し得ないことを表している。ステップＳＰ３７において制御部１１０は、かかる否定結果を得ると、ステップＳＰ４３に移る。
【０９０９】
またステップＳＰ３８において否定結果が得られると、このことは静止画像に写っている複数の人物の中で、登録済の人物が一人以下であり、身内の人物同士を検出し得ないことを表している。ステップＳＰ３８において制御部１１０は、かかる否定結果を得ると、ステップＳＰ４３に移る。
【０９１０】
ステップＳＰ４３において制御部１１０は、人物の人数（すなわち、人物が写っている静止画像の当該人物の人数、又は人物が写っていない静止画像に対して事前に設定された印刷枚数）に基づき、静止画像の印刷枚数を選定して、次のステップＳＰ４４に移る。
【０９１１】
ステップＳＰ４４において制御部１１０は、静止画像の印刷枚数を一枚以上に選定したか否かを判別する。ステップＳＰ４４において肯定結果が得られると、このことは１又は複数の人物が写っている静止画像を当該人物の人数分印刷し、又は人物が写っていない静止画像を事前設定に応じて一枚印刷するように印刷枚数を選定したことを表している。ステップＳＰ４４において制御部１１０は、かかる肯定結果を得ると、ステップＳＰ４１に移る。
【０９１２】
またステップＳＰ４４において否定結果が得られると、このことは人物が写っていない静止画像の印刷枚数を事前設定に応じて０枚に選定したため、その静止画像を印刷しないことを表している。ステップＳＰ４４において制御部１１０は、かかる否定結果を得ると、ステップＳＰ４２に移る。
【０９１３】
このようにして制御部１１０は、印刷画像種別として静止画像のみが指定された場合、ステップＳＰ４２において肯定結果を得るまで、ステップＳＰ３４乃至ステップＳＰ４４の処理を繰り返し実行する。これにより制御部１１０は、複数の静止画像が印刷対象として指定された場合、当該複数の静止画像を順次、印刷枚数を選定しながら、当該選定した印刷枚数分印刷する。
【０９１４】
そしてステップＳＰ４２において肯定結果が得られると、このことはユーザにより印刷対象として指定された複数の静止画像の印刷が全て完了したことを表している。ステップＳＰ４２において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ４５に移って、枚数選定印刷処理手順ＲＴ１を終了する。
【０９１５】
ところで、上述のステップＳＰ３２において否定結果が得られると、このことは静止画像及び単位画像の両方の印刷が要求されたこと、又は単位画像のみの印刷が要求されたことを表している。ステップＳＰ３２において制御部１１０は、かかる否定結果を得ると、ステップＳＰ４６に移る。
【０９１６】
ステップＳＰ４６において制御部１１０は、印刷画像種別として静止画像及び単位画像の両方が指定されたか否かを判別する。このステップＳＰ４６において肯定結果が得られると、このことは被写体を写真撮影して生成された静止画像、及び被写体を動画撮影して生成された記憶動画像を構成する単位画像の印刷が要求されたことを表している。ステップＳＰ４６において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ４７に移る。
【０９１７】
ステップＳＰ４７において制御部１１０は、記憶再生部１１３を介して記憶媒体１１４内の複数の画像ファイルの中から、ユーザにより指定日又は指定期間として指定された印刷対象の静止画像の画像ファイルを全て検索する。
【０９１８】
また制御部１１０は、記憶再生部１１３を介して記憶媒体１１４内の複数の映像ファイルの中から、ユーザにより指定日又は指定期間として指定された印刷対象の単位画像を含む記憶動画像の映像ファイルも全て検索して、次のステップＳＰ４８に移る。
【０９１９】
ステップＳＰ４８において制御部１１０は、コーデック１１６を利用して、検索した全ての画像ファイルのうち一個の画像ファイルに基づき、元の静止画像データを生成して、次のステップＳＰ４９に移る。
【０９２０】
ステップＳＰ４９において制御部１１０は、顔情報に基づき、静止画像データに基づく静止画像において人物の顔が写っていると想定される１又は複数の想定領域を探索する。その結果、制御部１１０は、静止画像において１又は複数の想定領域を検出すると、当該検出した想定領域から想定領域特徴量を抽出して、次のステップＳＰ５０に移る。
【０９２１】
因みに、ステップＳＰ４９において制御部１１０は、顔情報に基づき静止画像において想定領域を探索しても、その想定領域を何ら検出し得ないと、想定領域特徴量を得ずに、次のステップＳＰ５０に移る。
【０９２２】
ステップＳＰ５０において制御部１１０は、複数種類の顔検出用特徴量と、１又は複数の想定領域特徴量とに基づき、静止画像の想定領域に写っている被写体が人物の顔であるかを検出する。
【０９２３】
そして制御部１１０は、静止画像の想定領域に写っている被写体が人物の顔であることを検出すると、その人物の顔が写っている想定領域の想定領域特徴量を検出人物顔特徴量とする。このようにして制御部１１０は、静止画像から１又は複数の人物の顔と共に１又は複数の検出人物顔特徴量を検出すると、次のステップＳＰ５１に移る。
【０９２４】
因みに、ステップＳＰ５０において制御部１１０は、静止画像に人物の顔が何ら写っていないことを検出すると、この際には検出人物顔特徴量を検出せずに、次のステップＳＰ５１に移る。
【０９２５】
ステップＳＰ５１において制御部１１０は、静止画像から検出した検出人物顔特徴量の個数（すなわち、静止画像に写っている人物の人数）を検出して、当該検出人物顔特徴量を二個以上検出したか否かを判別する。
【０９２６】
このステップＳＰ５１において肯定結果が得られると、このことは静止画像に写っている複数の人物同士の関係を判別し得る可能性があることを表している。ステップＳＰ５１において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ５２に移る。
【０９２７】
ステップＳＰ５２において制御部１１０は、記憶再生部１１３を介して記憶媒体１１４から人物登録情報を全て読み出す。そして制御部１１０は、静止画像から検出した複数の検出人物顔特徴量と、複数の人物登録情報内の登録人物顔特徴量とに基づき、その静止画像に写っている複数の人物の中で、少なくとも二人以上をすでに登録しているか否かを判別する。
【０９２８】
このステップＳＰ５２において肯定結果が得られると、このことは静止画像に写っている複数の人物の中で、すでに登録している少なくとも二人以上の人物について身内であるかを検出し得る可能性があることを表している。ステップＳＰ５２において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ５３に移る。
【０９２９】
ステップＳＰ５３において制御部１１０は、静止画像に写っている複数の人物のうち、登録済の複数の人物の検出人物顔特徴量、及び人物登録情報内の人物関係情報に基づき、当該登録済の複数の人物同士の関係を判別する。
【０９３０】
また制御部１１０は、人物同士の関係の判別結果に基づき、人物グループの数を検出すると共に、登録済グループ外人物及び未登録グループ外人物の人数もそれぞれ検出して、次のステップＳＰ５４に移る。
【０９３１】
ステップＳＰ５４において制御部１１０は、人物グループの数、登録済グループ外人物及び未登録グループ外人物の人数（静止画像に写っている複数の人物の人数及び関係）に基づき、静止画像の印刷枚数を選定して、次のステップＳＰ５５に移る。
【０９３２】
ステップＳＰ５５において制御部１１０は、印刷部１１７を制御して、静止画像の印刷用に選定した印刷枚数の印画紙に静止画像データに基づく静止画像を印刷して、次のステップＳＰ５６に移る。
【０９３３】
ステップＳＰ５６において制御部１１０は、ユーザにより指定日又は指定期間として指定された印刷対象の全ての静止画像の印刷が完了したか否かを判別する。このステップＳＰ５６において否定結果が得られると、このことはユーザにより印刷対象として指定された複数の静止画像のうち、未だ印刷していない静止画像があることを表している。ステップＳＰ５６において制御部１１０は、かかる否定結果を得ると、ステップＳＰ４８に戻る。
【０９３４】
ところで、ステップＳＰ５１において否定結果が得られると、このことは静止画像に人物が一人だけ写っているため、又は静止画像に人物が全く写っていないため、人物同士の関係を判別し得ないことを表している。ステップＳＰ５１において制御部１１０は、かかる否定結果を得ると、ステップＳＰ５７に移る。
【０９３５】
またステップＳＰ５２において否定結果が得られると、このことは静止画像に写っている複数の人物の中で、登録済の人物が一人以下であり、身内の人物同士を検出し得ないことを表している。ステップＳＰ５２において制御部１１０は、かかる否定結果を得ると、ステップＳＰ５７に移る。
【０９３６】
ステップＳＰ５７において制御部１１０は、人物の人数（すなわち、人物が写っている静止画像の当該人物の人数、又は人物が写っていない静止画像に対して事前に設定された印刷枚数）に基づき、静止画像の印刷枚数を選定して、次のステップＳＰ５８に移る。
【０９３７】
ステップＳＰ５８において制御部１１０は、静止画像の印刷枚数を一枚以上に選定したか否かを判別する。ステップＳＰ５８において肯定結果が得られると、このことは１又は複数の人物が写っている静止画像を当該人物の人数分印刷し、又は人物が写っていない静止画像を事前設定に応じて一枚印刷するように印刷枚数を選定したことを表している。ステップＳＰ５８において制御部１１０は、かかる肯定結果を得ると、ステップＳＰ５５に移る。
【０９３８】
またステップＳＰ５８において否定結果が得られると、このことは人物が写っていない静止画像の印刷枚数を事前設定に応じて０枚に選定したため、その静止画像を印刷しないことを表している。ステップＳＰ５８において制御部１１０は、かかる否定結果を得ると、ステップＳＰ５６に移る。
【０９３９】
このようにして制御部１１０は、印刷画像種別として単位画像と共に静止画像が指定された場合、ステップＳＰ５６において肯定結果を得るまで、ステップＳＰ４８乃至ステップＳＰ５８の処理を繰り返し実行する。
【０９４０】
これにより制御部１１０は、単位画像と共に複数の静止画像も印刷対象として指定された場合、当該複数の静止画像を順次、印刷枚数を選定しながら、当該選定した印刷枚数分印刷する。
【０９４１】
そしてステップＳＰ５６において肯定結果が得られると、このことはユーザにより印刷対象として指定された複数の静止画像の印刷が全て完了したことを表している。ステップＳＰ５６において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ５９に移る。
【０９４２】
ステップＳＰ５９において制御部１１０は、コーデック１１６を利用して、検索した全ての映像ファイルのうち一個の映像ファイルに基づき、元の記憶動画像データと、元の右音声データ、左音声データ、後音声データとを生成して、次のステップＳＰ６０に移る。
【０９４３】
ステップＳＰ６０において制御部１１０は、右音声データ、左音声データ、後音声データのデータレベルに基づき、記憶動画像データにおいて１又は複数の盛上区間を特定して、次のステップＳＰ６１に移る。
【０９４４】
ステップＳＰ６１において制御部１１０は、記憶動画像データの何れか一個の盛上区間から一個の単位画像データを印刷対象として選定して取り出した後、次のステップＳＰ６２に移る。
【０９４５】
ステップＳＰ６２において制御部１１０は、顔情報に基づき、単位画像データに基づく単位画像において人物の顔が写っていると想定される１又は複数の想定領域を探索する。その結果、制御部１１０は、単位画像において１又は複数の想定領域を検出すると、当該検出した想定領域から想定領域特徴量を抽出して、次のステップＳＰ６３に移る。
【０９４６】
因みに、ステップＳＰ６２において制御部１１０は、顔情報に基づき単位画像において想定領域を探索しても、その想定領域を何ら検出し得ないと、想定領域特徴量を得ずに、次のステップＳＰ６３に移る。
【０９４７】
ステップＳＰ６３において制御部１１０は、複数種類の顔検出用特徴量と、１又は複数の想定領域特徴量とに基づき、単位画像の想定領域に写っている被写体が人物の顔であるかを検出する。
【０９４８】
そして制御部１１０は、単位画像の想定領域に写っている被写体が人物の顔であることを検出すると、その人物の顔が写っている想定領域の想定領域特徴量を検出人物顔特徴量とする。このようにして制御部１１０は、単位画像から１又は複数の人物の顔と共に１又は複数の検出人物顔特徴量を検出すると、次のステップＳＰ６４に移る。
【０９４９】
因みに、ステップＳＰ６３において制御部１１０は、単位画像に人物の顔が何ら写っていないことを検出すると、この際には検出人物顔特徴量を検出せずに、次のステップＳＰ６４に移る。
【０９５０】
ステップＳＰ６４において制御部１１０は、単位画像から検出した検出人物顔特徴量の個数（すなわち、単位画像に写っている人物の人数）を検出して、当該検出人物顔特徴量を二個以上検出したか否かを判別する。
【０９５１】
このステップＳＰ６４において肯定結果が得られると、このことは単位画像に写っている複数の人物同士の関係を判別し得ることを表している。ステップＳＰ６４において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ６５に移る。
【０９５２】
ステップＳＰ６５において制御部１１０は、単位画像から検出した複数の検出人物顔特徴量と、当該単位画像に対応するファイル属性情報内の人物関係情報とに基づき、その単位画像に写っている複数の人物同士の関係を判別する。
【０９５３】
また制御部１１０は、人物同士の関係の判別結果に基づき、人物グループの数を検出すると共に、グループ外人物の人数も検出して、次のステップＳＰ６６に移る。
【０９５４】
ステップＳＰ６６において制御部１１０は、人物グループの数、グループ外人物の人数（単位画像に写っている複数の人物の人数及び関係）に基づき、単位画像の印刷枚数を選定して、次のステップＳＰ６７に移る。
【０９５５】
ステップＳＰ６７において制御部１１０は、印刷部１１７を制御して、単位画像の印刷用に選定した印刷枚数の印画紙に単位画像データに基づく単位画像を印刷して、次のステップＳＰ６８に移る。
【０９５６】
ところで、ステップＳＰ６４において否定結果が得られると、このことは単位画像に人物が一人だけ写っているため、又は単位画像に人物が全く写っていないため、人物同士の関係を判別し得ないことを表している。ステップＳＰ６４において制御部１１０は、かかる否定結果を得ると、ステップＳＰ６９に移る。
【０９５７】
ステップＳＰ６９において制御部１１０は、人物の人数（すなわち、人物が写っている単位画像の当該人物の人数、又は人物が写っていない単位画像に対して事前に設定された印刷枚数）に基づき、単位画像の印刷枚数を選定して、次のステップＳＰ７０に移る。
【０９５８】
ステップＳＰ７０において制御部１１０は、単位画像の印刷枚数を一枚に選定したか否かを判別する。ステップＳＰ７０において肯定結果が得られると、このことは一人の人物が写っている単位画像を当該一人の人物用に一枚印刷し、又は人物が写っていない単位画像を事前設定に応じて一枚印刷するように印刷枚数を選定したことを表している。ステップＳＰ７０において制御部１１０は、かかる肯定結果を得ると、ステップＳＰ６７に移る。
【０９５９】
またステップＳＰ７０において否定結果が得られると、このことは人物が写っていない単位画像の印刷枚数を事前設定に応じて０枚に選定したため、その単位画像を印刷しないことを表している。ステップＳＰ７０において制御部１１０は、かかる否定結果を得ると、ステップＳＰ６８に移る。
【０９６０】
そしてステップＳＰ６８において制御部１１０は、記憶動画像データの全ての盛上区間から印刷対象の単位画像データを選定し終えたか否かを判別する。
【０９６１】
このステップＳＰ６８において否定結果が得られると、このことは記憶動画像データにおいて複数の盛上区間を特定しており、まだ印刷対象の単位画像データを選定していない盛上区間が残っていることを表している。ステップＳＰ６８において制御部１１０は、かかる否定結果を得ると、ステップＳＰ６１に戻る。
【０９６２】
よって制御部１１０は、記憶動画像データにおいて複数の盛上区間を特定した場合、ステップＳＰ６８において肯定結果を得るでの間、ステップＳＰ６１乃至ステップＳＰ７０の処理を繰り返し実行する。これにより制御部１１０は、記憶動画像データにおいて特定した複数の盛上区間から印刷対象の単位画像データを順次選定して、印刷用に処理する。
【０９６３】
ところで、ステップＳＰ６８において肯定結果が得られると、このことは記憶動画像データにおいて特定した全ての盛上区間から印刷対象の単位画像データを選定して印刷用に処理し終えたことを表している。ステップＳＰ７１において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ６９に移る。
【０９６４】
ステップＳＰ７１において制御部１１０は、ユーザにより指定日又は指定期間として指定された印刷対象の全ての単位画像の印刷が完了したか（すなわち、検索した全ての映像ファイルを印刷用に処理し終えたか）否かを判別する。
【０９６５】
このステップＳＰ７１において否定結果が得られると、このことはユーザにより印刷対象として指定された複数の単位画像のうち、未だ印刷用に処理していない単位画像があることを表している。ステップＳＰ７１において制御部１１０は、かかる否定結果を得ると、ステップＳＰ５９に戻る。
【０９６６】
このようにして制御部１１０は、印刷画像種別として静止画像と共に単位画像が指定された場合、ステップＳＰ７１において肯定結果を得るまで、ステップＳＰ５９乃至ステップＳＰ７１の処理を繰り返し実行する。
【０９６７】
これにより制御部１１０は、静止画像と共に複数の単位画像も印刷対象として指定された場合、当該複数の単位画像を順次、印刷枚数を選定しながら、当該選定した印刷枚数分印刷する。
【０９６８】
そしてステップＳＰ７１において肯定結果が得られると、このことはユーザにより印刷対象として指定された複数の単位画像の印刷が全て完了したことを表している。ステップＳＰ７１において制御部１１０は、かかる肯定結果を得ると、ステップＳＰ４５に移って、枚数選定印刷処理手順ＲＴ１を終了する。
【０９６９】
一方、上述のステップＳＰ４６において否定結果が得られると、このことは単位画像のみの印刷が要求されたことを表している。ステップＳＰ４６において制御部１１０は、かかる否定結果を得ると、ステップＳＰ７２に移る。
【０９７０】
ステップＳＰ７２において制御部１１０は、指定動作に基づき、記憶再生部１１３を介して記憶媒体１１４内の複数の映像ファイルの中から、人物が指定動作を行っている場面が写っている記憶動画像の映像ファイルを全て検索して、次のステップＳＰ７３に移る。
【０９７１】
ステップＳＰ７３において制御部１１０は、コーデック１１６を利用して、検索した全ての映像ファイルのうち一個の映像ファイルに基づき、元の記憶動画像データと、元の右音声データ、左音声データ、後音声データとを生成して、次のステップＳＰ７４に移る。
【０９７２】
ステップＳＰ７４において制御部１１０は、指定動作と、記憶動画像データに対応するファイル属性情報内の１又は複数の動作情報とに基づき、記憶動画像データにおいて人物の指定動作が写っている全ての動作区間を特定して、次のステップＳＰ７５に移る。
【０９７３】
ステップＳＰ７５において制御部１１０は、記憶動画像データの何れか一個の動作区間から一個の単位画像データを印刷対象として選定して取り出した後、次のステップＳＰ７６に移る。
【０９７４】
ステップＳＰ７６において制御部１１０は、顔情報に基づき、単位画像データに基づく単位画像において人物の顔が写っていると想定される１又は複数の想定領域を探索する。その結果、制御部１１０は、単位画像において１又は複数の想定領域を検出すると、当該検出した想定領域から想定領域特徴量を抽出して、次のステップＳＰ７７に移る。
【０９７５】
ステップＳＰ７７において制御部１１０は、複数種類の顔検出用特徴量と、１又は複数の想定領域特徴量とに基づき、単位画像の想定領域に写っている被写体が人物の顔であるかを検出する。
【０９７６】
そして制御部１１０は、単位画像の想定領域に写っている被写体が人物の顔であることを検出すると、その人物の顔が写っている想定領域の想定領域特徴量を検出人物顔特徴量とする。このようにして制御部１１０は、単位画像から１又は複数の人物の顔と共に１又は複数の検出人物顔特徴量を検出すると、次のステップＳＰ７８に移る。
【０９７７】
ステップＳＰ７８において制御部１１０は、単位画像から検出した検出人物顔特徴量の個数（すなわち、単位画像に写っている人物の人数）を検出して、当該検出人物顔特徴量を二個以上検出したか否かを判別する。
【０９７８】
このステップＳＰ７８において肯定結果が得られると、このことは単位画像に写っている複数の人物同士の関係を判別し得ることを表している。ステップＳＰ７８において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ７９に移る。
【０９７９】
ステップＳＰ７９において制御部１１０は、単位画像から検出した複数の検出人物顔特徴量と、当該単位画像に対応するファイル属性情報内の人物関係情報とに基づき、その単位画像に写っている複数の人物同士の関係を判別する。
【０９８０】
また制御部１１０は、人物同士の関係の判別結果に基づき、人物グループの数を検出すると共に、グループ外人物の人数も検出して、次のステップＳＰ８０に移る。
【０９８１】
ステップＳＰ８０において制御部１１０は、人物グループの数、グループ外人物の人数（単位画像に写っている複数の人物の人数及び関係）に基づき、単位画像の印刷枚数を選定して、次のステップＳＰ８１に移る。
【０９８２】
ステップＳＰ８１において制御部１１０は、印刷部１１７を制御して、単位画像の印刷用に選定した印刷枚数の印画紙に単位画像データに基づく単位画像を印刷して、次のステップＳＰ８２に移る。
【０９８３】
ところで、ステップＳＰ７８において否定結果が得られると、このことは単位画像に人物が一人だけ写っているため、人物同士の関係を判別し得ないことを表している。ステップＳＰ７８において制御部１１０は、かかる否定結果を得ると、ステップＳＰ８３に移る。
【０９８４】
ステップＳＰ８３において制御部１１０は、人物の人数（すなわち、単位画像に写っている一人の人物）に基づき、単位画像の印刷枚数を一枚に選定して、ステップＳＰ８１に移る。
【０９８５】
これによりステップＳＰ８１において制御部１１０は、印刷部１１７を制御して、単位画像の印刷用に選定した印刷枚数としての一枚の印画紙に単位画像データに基づく単位画像を印刷して、次のステップＳＰ８２に移る。
【０９８６】
そしてステップＳＰ８２において制御部１１０は、記憶動画像データにおいて特定した全ての動作区間から印刷対象の単位画像データを選定したか否かを判別する。
【０９８７】
このステップＳＰ８２において否定結果が得られると、このことは記憶動画像データにおいて人物の指定動作が写っている複数の動作区間を特定しており、まだ印刷対象の単位画像データを選定していない動作区間が残っていることを表している。ステップＳＰ８２において制御部１１０は、かかる否定結果を得ると、ステップＳＰ７５に戻る。
【０９８８】
よって制御部１１０は、記憶動画像データにおいて複数の動作区間を特定した場合、ステップＳＰ８２において肯定結果を得るでの間、ステップＳＰ７５乃至ステップＳＰ８３の処理を繰り返し実行する。これにより制御部１１０は、記憶動画像データにおいて特定した複数の動作区間から印刷対象の単位画像データを順次選定して、印刷用に処理する。
【０９８９】
ところで、ステップＳＰ８２において肯定結果が得られると、このことは記憶動画像データにおいて特定した、人物の指定動作が写っている全ての動作区間から印刷対象の単位画像データを選定して印刷用に処理し終えたことを表している。ステップＳＰ８２において制御部１１０は、かかる肯定結果を得ると、次のステップＳＰ８４に移る。
【０９９０】
ステップＳＰ８４において制御部１１０は、ユーザにより指定動作として指定された印刷対象の全ての単位画像の印刷が完了したか（すなわち、検索した全ての映像ファイルを印刷用に処理し終えたか）否かを判別する。
【０９９１】
このステップＳＰ８４において否定結果が得られると、このことはユーザにより印刷対象として指定された複数の単位画像のうち、未だ印刷用に処理していない単位画像があることを表している。ステップＳＰ８４において制御部１１０は、かかる否定結果を得ると、ステップＳＰ７３に戻る。
【０９９２】
このようにして制御部１１０は、印刷画像種別として単位画像のみが指定された場合、ステップＳＰ８４において肯定結果を得るまで、ステップＳＰ７３乃至ステップＳＰ８４の処理を繰り返し実行する。
【０９９３】
これにより制御部１１０は、複数の単位画像が印刷対象として指定された場合、当該複数の単位画像を順次、印刷枚数を選定しながら、当該選定した印刷枚数分印刷する。
【０９９４】
そしてステップＳＰ８４において肯定結果が得られると、このことはユーザにより印刷対象として指定された複数の単位画像の印刷が全て完了したことを表している。ステップＳＰ８４において制御部１１０は、かかる肯定結果を得ると、ステップＳＰ４５に移って、枚数選定印刷処理手順ＲＴ１を終了する。
【０９９５】
［３−５  第２の実施の形態の動作及び効果］
以上の構成において、印刷装置１００の制御部１１０は、外部機器から、被写体を写真撮影して生成された静止画像の画像ファイルや、被写体を動画撮影して生成された記憶動画像の映像ファイルを取り込んで記憶する。
【０９９６】
そして印刷装置１００の制御部１１０は、映像ファイルを取り込んで記憶した場合、その映像ファイルを用いて撮影人物特定処理を実行する。これにより印刷装置１００の制御部１１０は、記憶動画像から、これに写っている人物同士の関係を判別して、当該判別した人物同士の関係を示す人物関係情報を記憶媒体１１４に記憶する。
【０９９７】
この状態で印刷装置１００の制御部１１０は、静止画像や、記憶動画像を構成する単位画像の印刷が要求されると、印刷対象の静止画像や単位画像に写っている複数の人物を検出する。また印刷装置１００の制御部１１０は、人物関係情報に基づき、その静止画像や単位画像に写っている複数の人物同士の関係を判別する。
【０９９８】
さらに印刷装置１００の制御部１１０は、静止画像や単位画像に写っている複数の人物の人数及び関係に基づき、人物グループには静止画像や単位画像を一枚だけ印刷し、グループ外人物には静止画像や単位画像を一人に一枚印刷するように印刷枚数を選定する。そして印刷装置１００の制御部１１０は、その静止画像や単位画像を選定した印刷枚数分、印刷する。
【０９９９】
従って、印刷装置１００の制御部１１０は、家族や夫婦、兄弟等の人物グループ内の複数の人物それぞれに対して、静止画像や単位画像を一枚ずつ印刷して、当該印刷した静止画像や単位画像が無駄になることを回避することができる。
【１０００】
以上の構成によれば、印刷装置１００は、画像ファイルや映像ファイルを取り込んで記憶するようにして、当該映像ファイルを取り込んで記憶した場合には、その映像ファイルを用いて撮影人物特定処理を実行して記憶動画像に写っている人物同士の関係を判別すると共に、当該判別した人物同士の関係を示す人物関係情報を記憶媒体１１４に記憶しておく。そして印刷装置１００は、静止画像や、記憶動画像を構成する単位画像の印刷が要求されたときには、印刷対象の静止画像や単位画像に写っている複数の人物を検出して、人物関係情報に基づき、当該複数の人物同士の関係を判別し、その複数の人物の人数及び関係に基づき、静止画像や単位画像の印刷枚数を選定するようにした。これにより印刷装置１００は、上述した第１の実施の形態と同様の効果を得ることができると共に、これに加えて家族や夫婦、兄弟等の人物グループ内の複数の人物それぞれに対して、静止画像や単位画像を一枚ずつ印刷して、当該印刷した静止画像や単位画像が無駄になることを回避することができ、かくしてグループや個人用に静止画像や単位画像を的確に印刷することができる。
【１００１】
また印刷装置１００の制御部１１０は、映像ファイルを取り込んで記憶したときに複数の人物の関係を判別して人物関係情報を記憶媒体１１４に蓄積しておく。そして印刷装置１００の制御部１１０は、静止画像や単位画像の印刷が要求されたとき、その時点までに記憶媒体１１４に蓄積していた人物関係情報に基づき、印刷対象の静止画像や単位画像に写っている複数の人物の関係を判別するようにした。
【１００２】
従って、印刷装置１００の制御部１１０は、静止画像や単位画像を印刷する際、当該静止画像や単位画像に写っている複数の人物同士の関係を判別することで、その関係を十分に判別し得ずに印刷枚数を的確に選定し得なくなることを未然に回避することができる。
【１００３】
また印刷装置１００の制御部１１０は、印刷の際に、その時点までに記憶していた複数の映像ファイルを用いて人物同士の関係を判別して、処理付加が増大するようなことも未然に回避することができる。
【１００４】
＜４．変形例＞
［４−１  変形例１］
なお上述した第１及び第２の実施の形態においては、３人以上の人物が会話しているようなときでも、右音声データ、左音声データ、後音声データに基づいて生成した人物毎の発話テキストのみを用いて、これら複数の人物の親密度を求めるようにした場合について述べた。
【１００５】
しかしながら本発明は、これに限らず、３人以上の人物が会話しているときには、人物毎の発話テキストと共に、記憶動画像も併用し、当該記憶動画像から会話の際の個々の人物の顔の向きや口の動きを検出する。
【１００６】
そして本発明は、例えば、実際に面と向かって会話している人物の組合せと、その組合せの移り変わりとを検出して、実際に会話している人物同士でのみ親密度を求めるようにしても良い。本発明は、かかる構成によれば、会話から人物同士の親密度を、さらに精度良く求めることができる。
【１００７】
［４−２  変形例２］
また上述した第１の実施の形態においては、人物を撮影して生成した記憶動画像データ、右音声データ、左音声データ、後音声データを記憶媒体２８に一旦記憶した後、改めて読み出して人物と他の人物との関係を判別し、また人物を特定するようにした場合について述べた。
【１００８】
しかしながら本発明は、これに限らず、人物を撮影して記憶動画像データ、右音声データ、左音声データ、後音声データを生成しながら、複数の人物の関係を判別し、また人物を特定するようにしても良い。
【１００９】
また本発明は、人物を撮影して記憶動画像データ、右音声データ、左音声データ、後音声データを生成しながら、複数の人物の関係を判別し、また人物を特定する、その判別や特定が完了した時点に、人生アルバムの作成を自動的に開始するようにしても良い。
【１０１０】
［４−３  変形例３］
さらに上述した第１の実施の形態においては、デジタルビデオカメラ１０が、人物を撮影して生成した記憶動画像データ、右音声データ、左音声データ、後音声データを用いて人物と他の人物との関係を判別し、また人物を特定するようにした場合について述べた。
【１０１１】
しかしながら本発明は、これに限らず、デジタルビデオカメラ１０が、外部から提供される記憶動画像データ、右音声データ、左音声データ、後音声データを取り込む。そして本発明は、デジタルビデオカメラ１０が、その外部から取り込んだ記憶動画像データ、右音声データ、左音声データ、後音声データを利用して複数の人物の関係を判別し、また人物を特定するようにしても良い。
【１０１２】
本発明は、かかる構成によれば、デジタルビデオカメラ１０とは別の機器に取り溜めておいた過去の記憶動画像データ、右音声データ、左音声データ、後音声データを、関係の判別や人物の特定に利用することができる。
【１０１３】
また本発明は、かかる構成によれば、デジタルビデオカメラ１０とは別の機器に取り溜めておいた過去の記憶動画像データ、右音声データ、左音声データ、後音声データを、人生アルバムの生成にも利用することができる。
【１０１４】
［４−４  変形例４］
さらに上述した第１及び第２の実施の形態においては、複数の人物の関係の判別、及び人物の特定に、記憶動画像データ、右音声データ、左音声データ、後音声データを用いるようにした場合について述べた。
【１０１５】
しかしながら本発明は、これに限らず、複数の人物の関係の判別、及び人物の特定に、記憶動画像データのみを用いるようにしても良い。本発明は、かがる構成によれば、複数の人物の関係を判別し、また人物を特定する際の処理負荷を低減させることができる。
【１０１６】
［４−５  変形例５］
さらに上述した第１及び第２の実施の形態においては、右音声データ、左音声データ、後音声データに基づき会話内発話テキストを生成し、当該発話テキストから人物の名前やニックネーム、関係推定語句を検出して、複数の人物の判別や特定に用いるようにした場合について述べた。
【１０１７】
しかしながら本発明は、これに限らず、右音声データ、左音声データ、後音声データを周波数解析して、名前やニックネーム、関係推定語句の音声を検出して、複数の人物の判別や特定に用いるようにしても良い。
【１０１８】
［４−６  変形例６］
さらに上述した第１及び第２の実施の形態においては、人物の動きや発話に基づいて複数の人物の関係を推定した後、親密度及び親密程度情報に基づき、当該関係を最終的に判別するようにした場合について述べた。
【１０１９】
しかしながら本発明は、これに限らず、親密度及び親密程度情報を用いずに、人物の動き及び発話のうち、少なくとも人物の動きに基づいて複数の人物の関係を判別するようにしても良い。
【１０２０】
［４−７  変形例７］
さらに上述した第１及び第２の実施の形態においては、人物の動きや発話に基づいて複数の人物の関係を推定した後、親密度及び親密程度情報に基づき、当該関係を最終的に判別するようにした場合について述べた。しかしながら本発明は、これに限らず、人物の動きや発話と共に、親密度及び親密程度情報の一方に基づいて複数の人物の関係を判別するようにしても良い。
【１０２１】
［４−８  変形例８］
さらに上述した第１及び第２の実施の形態においては、人物の動きや発話に基づいて複数の人物の関係を推定した後、親密度及び親密程度情報に基づき、当該関係を最終的に判別するようにした場合について述べた。しかしながら本発明は、これに限らず、人物の動きと共に、親密度及び親密程度情報の少なくとも一方に基づいて複数の人物の関係を判別するようにしても良い。
【１０２２】
［４−９  変形例９］
さらに上述した第２の実施の形態においては、印刷対象の静止画像や単位画像を指定日、指定期間、指定動作によって指定させるようにした場合について述べた。しかしながら本発明は、これに限らず、印刷対象の静止画像や単位画像をイベントや撮影場所、記憶媒体１１４に記憶している全ての画像ファイルや映像ファイル等のように、この他種々の手法で指定させるようにしても良い。
【１０２３】
因みに、本発明は、例えば、被写体を写真撮影して生成した画像ファイルにおいて、例えば、ヘッダデータに、その写真撮影が行われたときのイベントを示す情報を格納しておくことで、印刷対象の静止画像をイベントで指定させることができる。
【１０２４】
［４−１０  変形例１０］
さらに上述した第２の実施の形態においては、制御部１１０が、印刷対象の静止画像や単位画像について、人物グループの数、登録済グループ外人物及び未登録グループ外人物の人数を加算するようにして印刷枚数を選定するようにした場合について述べた。
【１０２５】
しかしながら本発明は、これに限らず、制御部１１０が、印刷対象の静止画像や単位画像に写っている全ての人物の人数を検出した後、その人数を、人物グループの数、及び全ての人物グループの総人数で補正するようにして、その補正した数と同数の印刷枚数を選定するようにしても良い。
【１０２６】
［４−１１  変形例１１］
さらに上述した第２の実施の形態においては、制御部１１０が、印刷対象の静止画像や単位画像に写っている複数の人物同士の関係を判別し、当該判別結果に基づき人物グループを検出するようにした場合について述べた。
【１０２７】
しかしながら本発明は、これに限らず、例えば、ユーザに印刷に先立ち、夫婦や親子、兄弟等のように、どのような種類の人物グループを検出するのかを選定させておく。そして本発明は、制御部１１０が、印刷対象の静止画像や単位画像に写っている複数の人物同士の関係を判別したとき、その判別結果に基づき、当該複数の人物の中で、事前に選定された種類の人物グループを検出するようにしても良い。本発明は、かかる構成によれば、静止画像や単位画像を、ユーザの意図した通りに印刷することができる。
【１０２８】
また本発明は、印刷装置１００の記憶媒体１１４に、サッカーや野球のようなクラブチームのメンバーの名前のリストや、親友の名前のリスト等を予め記憶しておく。そして本発明は、制御部１１０が、印刷対象の静止画像や単位画像に写っている複数の人物同士の関係を判別すると、そのリストも利用してクラブチームのメンバーや親友同士を身内以外のグループとして検出する。これにより本発明は、制御部１１０が、印刷部１１７を介して、その身内以外のグループに対しても、印刷対象の静止画像や単位画像を一枚印刷するようにしても良い。
【１０２９】
［４−１２  変形例１２］
さらに上述した第２の実施の形態においては、静止画像や単位画像毎に、印刷枚数分印刷するようにした場合について述べた。しかしながら本発明は、これに限らず、制御部１１０が、静止画像や単位画像の印刷枚数を、人物同士の関係と共に集計する。そして本発明は、制御部１１０が、その集計結果に基づき、静止画像や単位画像を人物グループ毎やグループ外人物毎に分けて印刷するようにしても良い。
【１０３０】
本発明は、かかる構成によれば、静止画像や単位画像を印刷したとき、その静止画像や単位画像を印刷した印画紙の仕分作業を省略することができ、印刷装置１００の使い勝手を格段的に向上させることができる。
【１０３１】
［４−１３  変形例１３］
さらに上述した第２の実施の形態においては、制御部１１０が映像ファイルを取り込んで記憶したときに、複数の人物同士の関係を判別して人物関係情報を記憶媒体１１４に記憶しておく。そして第２の実施の形態においては、制御部１１０が、静止画像や単位画像の印刷の際に、その人物関係情報を用いるようにした場合について述べた。
【１０３２】
しかしながら本発明は、これに限らず、制御部１１０が、例えば、単位画像を印刷する際、その単位画像の映像ファイルを用いて複数の人物の関係を判別し、当該判別した関係を印刷枚数の選定に利用するようにしても良い。
【１０３３】
［４−１４  変形例１４］
さらに上述した第１及び第２の実施の形態においては、本発明の情報処理装置を、図１乃至図３０について上述した情報処理装置１、デジタルビデオカメラ１０及び印刷装置１００に適用するようにした場合について述べた。
【１０３４】
しかしながら本発明は、これに限らず、映像ファイルを記憶再生可能なコンピュータ、携帯電話機、ＰＤＡ（Personal  Digital  Assistance）、携帯型ゲーム機器、印刷装置等の情報処理装置に適用することができる。
【１０３５】
また本発明は、動画撮影機能を有するデジタルスチルカメラや、ハードディスクレコーダのような記憶再生装置等のように、この他種々の構成の情報処理装置にも適用することができる。
【１０３６】
さらに本発明は、第１の実施の形態によるデジタルビデオカメラ１０と印刷機とを接続して印刷システムを構築し、当該デジタルビデオカメラ１０の制御部１１を第２の実施の形態による印刷装置１００の制御部１１０と同様に機能させることもできる。
【１０３７】
すなわち、本発明は、かかる印刷システムにおいてデジタルビデオカメラ１０の制御部１１に、図２６乃至図３０について上述した枚数選定印刷処理手順ＲＴ３を実行させることもできる。
【１０３８】
［４−１５  変形例１５］
さらに上述した第１及び第２の実施の形態においては、本発明による情報処理プログラムを、図１乃至図３０について上述した制御部１１及び１１０の内部のメモリに予め記憶された撮影人物特定プログラムに適用するようにした。
【１０３９】
そして制御部１１及び１１０が、その撮影人物特定プログラムに従って図１２乃至図１８について上述した撮影人物特定処理手順ＲＴ１を実行するようにした場合について述べた。
【１０４０】
しかしながら本発明は、これに限らず、デジタルビデオカメラ１０及び印刷装置１００が情報処理プログラムの記憶されたコンピュータ読取可能な記憶媒体によって情報処理プログラムをインストールしても良い。そして制御部１１及び１１０が、そのインストールした情報処理プログラムに従って撮影人物特定処理手順ＲＴ１を実行するようにしても良い。
【１０４１】
またデジタルビデオカメラ１０及び印刷装置１００は、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用して外部から情報処理プログラムをインストールするようにしても良い。
【１０４２】
そして情報処理プログラムをデジタルビデオカメラ１０及び印刷装置１００にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、例えばフレキシブルディスクのようなパッケージメディアで実現しても良い。
【１０４３】
また情報処理プログラムをデジタルビデオカメラ１０及び印刷装置１００にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、ＣＤ−ＲＯＭ（Compact  Disc-Read  Only  Memory）のようなパッケージメディアで実現しても良い。
【１０４４】
さらに情報処理プログラムをデジタルビデオカメラ１０及び印刷装置１００にインストールして実行可能な状態にするためのコンピュータ読取可能な記憶媒体としては、ＤＶＤ（Digital  Versatile  Disc）等のパッケージメディアで実現しても良い。
【１０４５】
さらに、かかるコンピュータ読取可能な記憶媒体としては、パッケージメディアのみならず、各種プログラムが一時的もしくは永続的に記憶される半導体メモリや磁気ディスク等で実現しても良い。
【１０４６】
また、これらコンピュータ読取可能な記憶媒体に情報処理プログラムを記憶する手段としては、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用しても良い。さらにコンピュータ読取可能な記憶媒体には、ルータやモデム等の各種通信インターフェースを介して情報処理プログラムを記憶するようにしても良い。
【１０４７】
［４−１６  変形例１６］
さらに上述した第１及び第２の実施の形態においては、被写体としての複数の人物の関係を示す人物関係情報を記憶媒体に記憶する記憶部として、図１乃至図３０について上述した記憶部２、記憶再生部２７及び１１３を適用するようにした場合について述べた。
【１０４８】
しかしながら本発明は、これに限らず、デジタルビデオカメラ１０及び印刷装置１００の外部に設けられた記憶部のように、この他種々の構成の記憶部を広く適用することができる。
【１０４９】
［４−１７  変形例１７］
さらに上述した第１及び第２の実施の形態においては、被写体としての人物を撮影して生成された画像データを取得する取得部として、図１乃至図３０について上述した、取得部４と、レンズ部１３、撮像部１４、アナログデジタル変換部１５及びデジタル処理部１６と、外部機器インターフェース１１２とを適用するようにした場合について述べた。
【１０５０】
しかしながら本発明は、これに限らず、無線通信や有線通信で外部から画像データを取得する通信インターフェース等のように、この他種々の構成の取得部を広く適用することができる。
【１０５１】
［４−１８  変形例１８］
さらに上述した第１及び第２の実施の形態においては、取得部により取得された画像データに基づく画像に写っている人物を検出する検出部として、図１乃至図３０について上述した、検出部５、制御部１１及び１１０を適用するようにした場合について述べた。
【１０５２】
しかしながら本発明は、これに限らず、ＣＰＵ（Central  Processing  Unit）やＤＳＰ（Digital  Signal  Processor）を適用することができる。また本発明は、取得部により取得された画像データに基づく画像に写っている人物を検出するハードウェア回路構成の検出回路等のように、この他種々の構成の検出部を広く適用することもできる。
【１０５３】
［４−１９  変形例１９］
さらに上述した第１及び第２の実施の形態においては、検出部により画像から検出された人物を特定する特定部として、図１乃至図３０について上述した特定部６、制御部１１及び１１０を適用するようにした場合について述べた。
【１０５４】
しかしながら本発明は、これに限らず、ＣＰＵやＤＳＰを適用することができる。また本発明は、検出部により画像から検出された人物を特定するハードウェア回路構成の特定回路等のように、この他種々の構成の特定部を広く適用することもできる。
【１０５５】
［４−２０  変形例２０］
さらに上述した第１及び第２の実施の形態においては、検出部により画像から検出された複数の人物の関係を判別する判別部として、図１乃至図３０について上述した、判別部７、制御部１１及び１１０を適用するようにした場合について述べた。
【１０５６】
しかしながら本発明は、これに限らず、ＣＰＵやＤＳＰを適用することができる。また本発明は、検出部により画像から検出された複数の人物の関係を判別するハードウェア回路構成の判別回路等のように、この他種々の構成の判別部を広く適用することもできる。
【１０５７】
［４−２１  変形例２１］
さらに上述した第１及び第２の実施の形態においては、取得部により取得された画像データを解析して、検出部により検出された人物の動作を推定する動作推定部として、図１乃至図３０について上述した制御部１１及び１１０を適用するようにした場合について述べた。
【１０５８】
しかしながら本発明は、これに限らず、ＣＰＵやＤＳＰを適用することができる。また本発明は、取得部により取得された画像データを解析して、検出部により検出された人物の動作を推定するハードウェア回路構成の動作推定回路等のように、この他種々の構成の動作推定部を広く適用することもできる。
【１０５９】
［４−２２  変形例２２］
さらに上述した第１及び第２の実施の形態においては、取得部により取得された音声データを解析して人物の発話を抽出する発話抽出部として、図１乃至図３０について上述した制御部１１及び１１０を適用するようにした場合について述べた。
【１０６０】
しかしながら本発明は、これに限らず、ＣＰＵやＤＳＰを適用することができる。また本発明は、取得部により取得された音声データを解析して人物の発話を抽出するハードウェア回路構成の発話抽出回路等のように、この他種々の構成の発話抽出部を広く適用することもできる。
【１０６１】
［４−２３  変形例２３］
さらに上述した第１及び第２の実施の形態においては、発話抽出部により抽出された複数の人物の会話の発話に基づき、当該複数の人物の親密度を算出する親密度算出部として、図１乃至図３０について上述した制御部１１及び１１０を適用するようにした場合について述べた。
【１０６２】
しかしながら本発明は、これに限らず、ＣＰＵやＤＳＰを適用することができる。また本発明は、発話抽出部により抽出された複数の人物の会話の発話に基づき、当該複数の人物の親密度を算出するハードウェア回路構成の親密度算出回路等のように、この他種々の構成の親密度算出部を広く適用することもできる。
【１０６３】
［４−２４  変形例２４］
さらに上述した第１及び第２の実施の形態においては、画像データに基づく画像から複数の人物の親密さの程度を表す親密提示情報を抽出する親密程度抽出部として、図１乃至図３０について上述した制御部１１及び１１０を適用するようにした場合について述べた。
【１０６４】
しかしながら本発明は、これに限らず、ＣＰＵやＤＳＰを適用することができる。また本発明は、画像データに基づく画像から複数の人物の親密さの程度を表す親密提示情報を抽出するハードウェア回路構成の親密程度抽出回路等のように、この他種々の構成の親密程度抽出部を広く適用することもできる。
【１０６５】
［４−２５  変形例２５］
さらに上述した第１及び第２の実施の形態においては、検出部により画像から検出された人物の人数と、判別部により判別された複数の人物の関係とに基づき、画像の印刷枚数を選定する枚数選定部として、図１乃至図３０について上述した制御部１１０を適用するようにした場合について述べた。
【１０６６】
しかしながら本発明は、これに限らず、ＣＰＵやＤＳＰを適用することができる。また本発明は、検出部により画像から検出された人物の人数と、判別部により判別された複数の人物の関係とに基づき、画像の印刷枚数を選定するハードウェア回路構成の枚数選定回路等のように、この他種々の構成の枚数選定部を広く適用することもできる。
【産業上の利用可能性】
【１０６７】
本発明は、デジタルビデオカメラやコンピュータ、印刷装置等の情報処理装置に利用することができる。
【符号の説明】
【１０６８】
１……情報処理装置、２……記憶部、３……記憶媒体、４……取得部、５……検出部、６……特定部、７……判別部、１０……デジタルビデオカメラ、１１、１１０……制御部、１３……レンズ部、１４……撮像部、１５……アナログデジタル変換部、１６……デジタル処理部、２７、１１３……記憶再生部、２８、１１４……記憶媒体、３５……映像ファイル生成部、３６……記憶再生制御部、３７……被写体検出部、３８……人物関係判別部、３９……人物特定部、５５……発話解析部、５６……動作解析部、６５……関係判別部、１００……印刷装置、１１７……印刷部、１２３……特徴量抽出部、１２４……顔検出部、１２６……枚数選定部、ＲＴ１……撮影人物特定処理手順、ＲＴ３……枚数選定印刷処理手順、ＳＲＴ１……被写体検出処理サブルーチン、ＳＲＴ２……発話解析関係推定処理サブルーチン、ＳＲＴ３……動作解析関係推定処理サブルーチン、ＳＲＴ４……関係判別処理サブルーチン、ＳＲＴ５……人物特定処理サブルーチン。
【図１】
2011081763.tif 000010
【図２】
2011081763.tif 000011
【図３】
2011081763.tif 000012
【図４】
2011081763.tif 000013
【図５】
2011081763.tif 000014
【図６】
2011081763.tif 000015
【図７】
2011081763.tif 000016
【図８】
2011081763.tif 000017
【図９】
2011081763.tif 000018
【図１０】
2011081763.tif 000019
【図１１】
2011081763.tif 000020
【図１２】
2011081763.tif 000021
【図１３】
2011081763.tif 000022
【図１４】
2011081763.tif 000023
【図１５】
2011081763.tif 000024
【図１６】
2011081763.tif 000025
【図１７】
2011081763.tif 000026
【図１８】
2011081763.tif 000027
【図１９】
2011081763.tif 000028
【図２０】
2011081763.tif 000029
【図２１】
2011081763.tif 000030
【図２２】
2011081763.tif 000031
【図２３】
2011081763.tif 000032
【図２４】
2011081763.tif 000033
【図２５】
2011081763.tif 000034
【図２６】
2011081763.tif 000035
【図２７】
2011081763.tif 000036
【図２８】
2011081763.tif 000037
【図２９】
2011081763.tif 000038
【図３０】
2011081763.tif 000039