(57)【要約】【課題】ユーザに煩雑な操作を行わせることなく一段と有用な画像を確認させうる。【解決手段】ＤＳＣ１００は、ユーザによりダイジェスト動画像の主人公が指定されると、当該主人公に関する人間関係情報を用いて、複数の画像の中からダイジェスト動画像を構成する画像を抽出するようにしたことにより、ユーザに煩雑な操作を行わせることなく、複数の画像の中から、ユーザにより指定された人物と関係性が高い人物（例えばユーザと仲の良い人物）が写っている画像を抽出してダイジェスト動画像を作成することができ、かくして当該ダイジェスト動画像を再生するだけで、ユーザに煩雑な操作を行わせることなくユーザにとって有用な画像を確認させることができる。【選択図】図２２
2011082915.tif 000002
【特許請求の範囲】
【請求項１】
人物同士の関係を表す人間関係情報を記憶部に記憶させる人間関係情報記憶制御部と、
複数の画像から被写体としての人物を検出する人物検出部と、
上記人物検出部により検出された人物の中からユーザにより指定された人物に関する上記人間関係情報を用いて、上記複数の画像の中から、再生部に再生させるための画像を抽出する画像抽出部と
を具える情報処理装置。
【請求項２】
上記人間関係情報には、人物同士の親密度が記され、
上記画像抽出部は、
上記指定された人物に関する上記親密度を用いて、上記画像ごとに抽出優先度を算出し、当該抽出優先度をもとに再生部に再生させるための画像を抽出する
請求項１に記載の情報処理装置。
【請求項３】
上記人間関係情報には、人物同士の過去の親密度が記され、
上記画像抽出部は、
上記画像ごとに、上記指定された人物と当該画像から検出された他の人物との当該画像内の親密度を当該画像に基づいて算出し、当該画像内の親密度と、上記人間関係情報に記されている、上記指定された人物に関する過去の親密度とを用いて、上記抽出優先度を算出する
請求項２に記載の情報処理装置。
【請求項４】
上記人物検出部は、
上記複数の画像から人物の顔となる領域を検出することで人物の検出を行うと共に、当該領域をもとに人物の顔の位置、顔の向き、笑顔度のうちの少なくとも１つを検出し、
上記画像抽出部は、
上記人物検出部により検出された人物の顔の位置、顔の向き、笑顔度のうちの少なくとも１つを用いて、上記画像内の親密度を算出する
請求項３に記載の情報処理装置。
【請求項５】
上記画像抽出部は、
上記抽出優先度を算出するときに、上記過去の親密度及び上記画像内の親密度のそれぞれに対して個別に重み付けを行う
請求項３に記載の情報処理装置。
【請求項６】
上記人物検出部は、
上記複数の画像から人物の顔となる領域を検出することで人物の検出を行うと共に、当該領域をもとに画像における顔の面積の割合、笑顔度のうちの少なくとも１つを検出し、
上記画像抽出部は、
上記指定された人物における顔の面積の割合、笑顔度のうちの少なくとも１つと、上記指定された人物に関する上記親密度を用いて、上記抽出優先度を算出する
請求項２に記載の情報処理装置。
【請求項７】
上記複数の画像には、画像ごとに再生時間が設定され、
さらに上記画像抽出部により抽出された画像を再生部に連続して再生させる際の総再生時間が設定され、
上記画像抽出部は、
上記画像ごとの再生時間と上記総再生時間とに基づいて上記抽出優先度の閾値を設定し、当該閾値以上の抽出優先度である画像を再生部に再生させるための画像として抽出する
請求項２に記載の情報処理装置。
【請求項８】
上記画像抽出部により抽出された画像ごとに、当該画像の抽出優先度に応じて当該画像の再生時間を設定する再生時間設定部
を具える請求項２に記載の情報処理装置。
【請求項９】
上記画像抽出部により抽出された画像から検出された人物のうち上記指定された人物と親密度が高い人物又は上記指定された人物が際立つようなエフェクト処理を当該画像に施すよう設定するエフェクト処理設定部と、
上記エフェクト処理設定部により設定されたエフェクト処理を上記画像に対して施すエフェクト処理部
を具える請求項２に記載の情報処理装置。
【請求項１０】
上記人物検出部により検出された人物の中からユーザにより人物を指定させるための人物指定画面上に、上記人物検出部により検出された人物を示す人物アイコンを任意の順番で並べて表示させ、入力部を介して当該人物アイコンに対する選択操作が行われると、上記人間関係情報に記されている、当該選択操作が行われた人物アイコンが示す人物と他の人物アイコンが示す人物との親密度に基づいて、当該人物指定画面における人物アイコンを並び替える制御部
を具える請求項２に記載の情報処理装置。
【請求項１１】
上記制御部は、
上記人物指定画面を表示させるときに、上記指定画面上に、上記複数の画像における、上記人物検出部により検出された各人物が写っている画像の枚数をもとに各人物の表示優先度を算出し、当該表示優先度に基づいた順番で上記人物アイコンを並べて表示させる
請求項１０に記載の情報処理装置。
【請求項１２】
上記人間関係情報には、各人物の所属グループが記され、
上記制御部は、
上記人物検出部により検出された人物の所属グループを示すグループアイコンを任意の順番に並べて上記人物指定画面に表示させ、
上記画像抽出部は、
入力部を介して上記グループアイコンに対する選択決定操作が行われると、上記人物検出部により検出された人物のうち当該グループアイコンが示すグループに所属している全ての人物が指定されたと認識する
請求項１０に記載の情報処理装置。
【請求項１３】
情報処理装置が、
複数の画像から被写体としての人物を検出し、
上記検出された人物の中からユーザにより任意の人物が指定されると、当該指定された人物に関する、記憶部に記憶されている人物同士の関係を表す人間関係情報を用いて、上記複数の画像の中から、再生部に再生させるための画像を抽出する
画像抽出方法。
【請求項１４】
コンピュータに、
複数の画像から被写体としての人物を検出するステップと、
上記検出された人物の中からユーザにより任意の人物が指定されると、当該指定された人物に関する、記憶部に記憶されている人物同士の関係を表す人間関係情報を用いて、上記複数の画像の中から、再生部に再生させるための画像を抽出するステップと
を実行させるための画像抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、画像抽出方法及び画像抽出プログラムに関し、例えば、複数の画像の中から任意の画像を自動的に抽出して再生する際に適用して好適なものである。
【背景技術】
【０００２】
近年、動画像の中から任意の部分を抽出して再生する、いわゆるダイジェスト再生機能を有する情報処理装置が提案されている。
【０００３】
このような情報処理装置としては、例えば動画像の中から、特定の人物（例えばユーザにより指定された人物など）が写っている部分のみを抽出して再生するようになされたものが提案されている。例えば、特許文献１参照。
【０００４】
これによりこの情報処理装置は、ユーザに、動画像の中から特定の人物が写っている部分を探させるといった煩雑な操作を行わせることなく、当該動画像において特定の人物が写っている部分のみを確認させることができるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２８３４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上述した情報処理装置では、例えばユーザにより指定された人物が写っている画像を抽出して再生するようになっている。ここで、ユーザにより指定された人物が写っている画像だけでなく、例えば当該人物と関係性が高い人物が写っている画像も抽出して再生できれば、ユーザに、煩雑な操作を行わせることなく、ユーザにとって一段と有用な画像（例えばユーザと仲の良い人が写っている画像）を、ユーザに確認させることができるものと考えられる。
【０００７】
本発明は以上の点を考慮してなされたもので、ユーザに煩雑な操作を行わせることなく一段と有用な画像を確認させうる情報処理装置、画像抽出方法及び画像抽出プログラムを提案しようとするものである。
【課題を解決するための手段】
【０００８】
かかる課題を解決するため本発明においては、複数の画像から被写体としての人物を検出し、当該検出された人物の中から入力部を介して任意の人物が指定されると、当該指定された人物に関する、記憶部に記憶されている人物同士の関係を表す人間関係情報を用いて、複数の画像の中から、再生部に再生させるための画像を抽出するようにした。
【０００９】
これにより、ユーザに煩雑な操作を行わせることなく、複数の画像の中から、ユーザにより指定された人物と関係性が高い人物（例えばユーザと仲の良い人物）が写っている画像などを抽出し、これを再生部に再生させることができる。
【発明の効果】
【００１０】
本発明によれば、ユーザに煩雑な操作を行わせることなく、ユーザにより指定された人物と関係性が高い人物（例えばユーザと仲の良い人物）が写っている画像などを抽出し、これを再生部に再生させることができる。かくして、ユーザに煩雑な操作を行わせることなく一段と有用な画像を確認させうる情報処理装置、画像抽出方法及び画像抽出プログラムを実現できる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態の概要となる情報処理装置の構成を示す略線図である。
【図２】ＤＳＣの外観構成を示す略線図である。
【図３】ＤＳＣのハードウェア構成を示すブロック図である。
【図４】人間関係グラフのグラフ構造を示す略線図である。
【図５】人間関係グラフのデータ構造を示す略線図である。
【図６】顔辞書のデータ構造を示す略線図である。
【図７】顔画像登録処理手順を示すフローチャートである。
【図８】個人識別処理手順を示すフローチャートである。
【図９】人間関係グラフ更新処理手順を示すフローチャートである。
【図１０】図９に示す人間関係グラフ更新処理手順のフローチャートに続くフローチャートである。
【図１１】ダイジェスト作成処理手順を示すフローチャートである。
【図１２】図１１に示すダイジェスト作成処理手順のフローチャートに続くフローチャートである。
【図１３】イベント指定画面の構成を示す略線図である。
【図１４】主人公指定画面の構成を示す略線図である。
【図１５】人物アイコンの説明に供する略線図である。
【図１６】総再生時間指定画面の構成を示す略線図である。
【図１７】人物検出処理手順を示すフローチャートである。
【図１８】要素画像テーブルの構成を示す略線図である。
【図１９】人物表示優先度算出処理手順を示すフローチャートである。
【図２０】グループ表示優先度算出処理手順を示すフローチャートである。
【図２１】人物アイコンの並び替えの説明に供する略線図である。
【図２２】編集処理手順を示すフローチャートである。
【図２３】抽出優先度算出処理手順を示すフローチャートである。
【図２４】図２３に示す抽出優先度算出処理手順のフローチャートに続くフローチャートである。
【図２５】抽出優先度閾値の設定の説明に供する略線図である。
【図２６】ダイジェスト作成プログラム及びダイジェスト再生プログラムの実行に直接関与するハードウェアとデータを示す略線図である。
【図２７】ダイジェスト再生処理手順を示すフローチャートである。
【図２８】ダイジェスト指定画面の構成を示す略線図である。
【図２９】エフェクト設定処理手順を示すフローチャートである。
【図３０】ズームインエフェクトの説明に供する略線図である。
【図３１】強調エフェクトの説明に供する略線図である。
【図３２】ズームイン＆ズームアウトエフェクトの説明に供する略線図である。
【図３３】ダイジェスト動画像の作成及び再生に係る機能構成を示す略線図である。
【図３４】他の実施の形態の概要となる情報処理装置の構成を示す略線図である。
【発明を実施するための形態】
【００１２】
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．実施の形態
２．他の実施の形態
【００１３】
＜１．実施の形態＞
［１−１．実施の形態の概要］
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。
【００１４】
図１において１は、情報処理装置を示す。この情報処理装置１は、人物同士の関係を表す人間関係情報を記憶部（図示せず）に記憶させる人間関係情報記憶制御部２を有している。またこの情報処理装置１は、複数の画像から被写体としての人物を検出する人物検出部３を有している。
【００１５】
さらにこの情報処理装置１は、人物検出部３により検出された人物の中からユーザにより任意の人物が指定されると、当該指定された人物に関する人間関係情報を用いて、複数の画像の中から、再生部（図示せず）に再生させるための画像を抽出する画像抽出部４を有している。
【００１６】
すなわち、この情報処理装置１は、ユーザにより指定された人物に関する人間関係情報をもとに、複数の画像の中から、再生部に連続して再生させるための画像を抽出するようになっている。こうすることで、情報処理装置１は、ユーザに煩雑な操作を行わせることなく、複数の画像の中から、ユーザにより指定された人物と関係性が高い人物（例えばユーザと仲の良い人物）が写っている画像などを抽出して、これを再生部に再生させることができる。
【００１７】
具体的に、人間関係情報には、人物同士の親密度などが記されるようになっている。そして画像抽出部４は、ユーザにより指定された人物に関する親密度を用いて、画像ごとに抽出優先度を算出し、当該抽出優先度をもとに再生部に再生させるための画像を抽出するようになっている。
【００１８】
より具体的には、人間関係情報には、人物同士の過去の親密度が記されるようになっている。また画像抽出部４は、画像ごとに、ユーザにより指定された人物と当該画像から検出された他の人物との当該画像内の親密度を当該画像に基づいて算出する。そして画像抽出部４は、当該画像内の親密度と、人間関係情報に記されている当該指定された人物に関する過去の親密度とを用いて、抽出優先度を算出するようになっている。
【００１９】
またこの情報処理装置１に、エフェクト処理設定部５と、エフェクト処理部６と、とを設けるようにしてもよい。この場合、エフェクト処理設定部５は、画像抽出部４により抽出された画像から検出された人物のうちユーザにより指定された人物と親密度が高い人物又はユーザにより指定された人物が際立つようなエフェクト処理を当該画像に施すよう設定するようになっている。またエフェクト処理部６は、エフェクト処理設定部５により設定されたエフェクト処理を当該画像に対して施すようになっている。
【００２０】
さらにこの情報処理装置１に、人物検出部３により検出された人物の中からユーザにより人物を指定させるための人物指定画面上に、人物検出部３により検出された人物を示す人物アイコンを任意の順番で並べて表示させる制御部７を設けるようにしてもよい。この場合制御部７は、入力部を介して当該人物アイコンに対する選択操作が行われると、人間関係情報に記されている、当該選択操作が行われた人物アイコンが示す人物と他の人物アイコンが示す人物との親密度に基づいて、当該人物指定画面における人物アイコンを並び替えるようにしてもよい。
【００２１】
このような構成でなる情報処理装置１の具体例について、以下、詳しく説明する。
【００２２】
［１−２．実施の形態の具体例］
［１−２−１．ＤＳＣの外観構成］
図２（Ａ）及び（Ｂ）において１００は、上述した情報処理装置１の具体例であるデジタルスチルカメラ（これをＤＳＣとも呼ぶ）の外観構成を示す。尚、このＤＳＣ１００は、静止画像及び動画像が撮影できるようになっている。
【００２３】
ＤＳＣ１００は、片手で把持し得る程度の大きさでなる略扁平矩形状の筐体１０１を有している。この筐体１０１の前面１０１Ａには、その上部に撮影レンズ１０２、ＡＦ（Auto  Focus）イルミネータ１０３、フラッシュ１０４が設けられている。ＡＦイルミネータ１０３は、セルフタイマランプも兼ねている。
【００２４】
さらに前面１０１Ａには、上下にスライド可能なレンズカバー１０５が取り付けられている。レンズカバー１０５は、下方にスライドさせられると撮影レンズ１０２、ＡＦイルミネータ１０３、フラッシュ１０４を露出させる一方で、上方にスライドさせられると、これらを覆うことで保護するようになっている。
【００２５】
尚、ＤＳＣ１００は、レンズカバー１０５が下方にスライドさせられると、自動的に電源オンするようにもなっている。
【００２６】
また筐体１０１の上面１０１Ｂには、撮影ボタン１０６、モード切替ボタン１０７及び電源ボタン１０８が設けられている。さらに筐体１０１の背面１０１Ｃには、タッチスクリーン１０９が設けられている。
【００２７】
モード切替ボタン１０７は、ＤＳＣ１００の動作モードを、撮影モード又は再生モードに切り替える為のハードウェアキーである。またタッチスクリーン１０９は、ユーザの指（ペンなどでも可）によるタッチ操作が可能な表示デバイスである。
【００２８】
ＤＳＣ１００は、例えば電源ボタン１０８が押下されて電源オンすると、又はモード切替ボタン１０７の押下により動作モードを撮影モードに切り替えるよう指示されると、撮影モードで起動する。
【００２９】
尚、ＤＳＣ１００は、主な撮影モードとして、静止画像を撮影する静止画像撮影モードと、動画像を撮影する動画像撮影モードとを有している。
【００３０】
具体的に、静止画像撮影モード時、ＤＳＣ１００は、撮影ボタン１０６が押下されると被写体の静止画像を記録する。一方、動画像撮影モード時、ＤＳＣ１００は、撮影ボタン１０６が押下されると動画像の記録を開始して、再度撮影ボタン１０６が押下されると動画像の記録を終了する。
【００３１】
またＤＳＣ１００は、モード切替ボタン１０７の押下により動作モードを再生モードに切り替えるよう指示されると、再生モードに切り換わる。するとＤＳＣ１００は、記録した画像のうちの例えば１つをタッチスクリーン１０９に表示する。そしてＤＳＣ１００は、タッチスクリーン１０９に対するタッチ操作に応じて、表示する画像を切り替える。
【００３２】
［１−２−２．ＤＳＣのハードウェア構成］
次に、図３を用いて、ＤＳＣ１００のハードウェア構成について説明する。
【００３３】
ＤＳＣ１００は、ＣＰＵ１１０が、ＲＯＭ１１１に書き込まれたプログラムをＲＡＭ１１２に展開して実行することで各種処理を行うと共に、入力部１１３からの入力信号に応じて各部を制御する。因みに、ＣＰＵは、Central  Processing  Unitの略、ＲＯＭは、Read  Only  Memoryの略、ＲＡＭは、Random  Access  Memoryの略である。
【００３４】
入力部１１３は、上述した撮影ボタン１０６、モード切替ボタン１０７、電源ボタン１０８や、ズームボタン、タッチパネルなどを含み、これらの操作に応じた入力信号をＣＰＵ１１０に送る。ＣＰＵ１１０は、入力部１１３から送られてくる入力信号をもとに、どのボタンが操作されたのかを認識する。尚、タッチパネルは、ディスプレイ１１４とともに上述したタッチスクリーン１０９を構成するようになっている。
【００３５】
ＣＰＵ１１０は、例えば入力部１１３の電源ボタンが押下されて電源オンすると、又はモード切替ボタン１０７の押下により動作モードを撮影モードに切り替えるよう指示されると、撮影モードで動作する。
【００３６】
すると撮像部１１５は、撮像制御部１１６の制御のもと、撮影レンズ１０２を介して取り込んだ被写体からの光を撮像素子で電気信号に変換（すなわち光電変換）することで、アナログの画像信号を得る。そして撮像部１１５は、この画像信号をデジタルの画像信号に変換した後、撮像制御部１１６に送る。
【００３７】
さらに、この画像信号は、撮像制御部１１６から画像処理部１１７に送られ、この画像処理部１１７によりディスプレイ１１４に表示する為の処理が施された後、表示制御部１１８に送られる。
【００３８】
表示制御部１１８は、ディスプレイ１１４を制御して、この画像信号に基づく画像をディスプレイ１１４に表示させる。この結果、ディスプレイ１１４には、被写体の画像がそのままスルー画（モニタリング画像などとも呼ばれる）として表示される。これにより、ＤＳＣ１００は、撮影者に被写体を確認させることができる。
【００３９】
またこのとき表示制御部１１８は、メニューやアイコンなどのグラフィックス信号を生成して、これを画像信号に重畳する。この結果、ディスプレイ１１４には、スルー画と共に、撮影に係わるメニューやアイコンなどが表示される。
【００４０】
またこのときＣＰＵ１１０は、撮像制御部１１６を介して得られる画像に対して顔検出処理を行う。この結果、人物の顔を検出すると、ＣＰＵ１１０は、表示制御部１１８を介して、ディスプレイ１１４に表示させているスルー画上に、顔として検出した領域（これを顔領域とも呼ぶ）を囲う顔枠を表示させる。
【００４１】
さらにこのとき、ズームボタンが押下されてズームイン又はズームアウトが指示されたとする。すると、ＣＰＵ１１０は、ズームを制御してズームイン又はズームアウトを行う。
【００４２】
具体的に、ＣＰＵ１１０は、撮像制御部１１６に対して、ズーム倍率を指定する。撮像制御部１１６は、指定されたズーム倍率でズームするよう撮像部１１５を制御する。この結果、ズームイン又はズームアウトが行われる。
【００４３】
この結果、ディスプレイ１１４に表示されているスルー画が拡大（ズームイン）又は縮小（ズームアウト）される。
【００４４】
ここで、例えばメニューから静止画像撮影モードが選択されている状態で、入力部１１３の撮影ボタン１０６が押下されたとする。すると、ＣＰＵ１１０は、静止画像を記録する。
【００４５】
具体的に、画像処理部１１７は、ＣＰＵ１１０の制御のもと、撮像制御部１１６から送られてくる画像信号を所定の静止画像フォーマットでエンコードすることで、静止画像データを生成する。
【００４６】
また画像処理部１１７は、ＣＰＵ１１０の制御のもと、当該画像信号に基づく画像を縮小したサムネイル画像のデータを生成する。
【００４７】
またこのときＣＰＵ１１０は、タイマなどの計時部（図示せず）から現在の日時（つまり撮影日時）を取得する。
【００４８】
そしてＣＰＵ１１０は、静止画像データに、サムネイル画像のデータや撮影日時などを付加情報として付与して、記憶媒体制御部１１９に送る。
【００４９】
記憶媒体制御部１１９は、この静止画像データを静止画像ファイルとして記憶媒体１２０に記憶させる。このようにして、ＤＳＣ１００は、静止画像を記録する。因みに、この記憶媒体１２０は、例えば、着脱可能なメモリカードである。
【００５０】
一方、動画像撮影モードが選択されている状態で、入力部１１３の撮影ボタン１０６が押下されたとする。すると、ＣＰＵ１１０は、動画像の記録を開始する。
【００５１】
具体的に、画像処理部１１７は、ＣＰＵ１１０の制御のもと、撮像制御部１１６から送られてくる画像信号を所定の動画像フォーマットでエンコードすることで、動画像データを生成していく。
【００５２】
またこのとき、音声処理部１２１は、ＣＰＵ１１０の制御のもと、マイクロホン１２２から入力されるアナログの音声信号を、デジタルの音声信号に変換した後、ＣＰＵ１１０に送る。
【００５３】
ＣＰＵ１１０は、この音声信号を所定の音声フォーマットでエンコードすることで、音声データを生成していく。
【００５４】
そしてＣＰＵ１１０は、このようにして生成された動画像データと音声データとを多重化することで動画像音声データを生成して、この動画像音声データをＲＡＭ１１２に一時記憶させた後、順次記憶媒体制御部１１９に送る。記憶媒体制御部１１９は、この動画像音声データを順次記憶媒体１２０に記憶させていく。
【００５５】
その後、再び撮影ボタン１０６が押下されると、ＣＰＵ１１０は、動画像の記録を終了する。
【００５６】
すなわちＣＰＵ１１０は、このときＲＡＭ１１２に残存する動画像音声データを、記憶媒体制御部１１９に送る。記憶媒体制御部１１９は、この動画像音声データを記憶媒体１２０に記憶させる。この結果、撮影開始から終了までの一連の動画像音声データが記憶媒体１２０に記憶されたことになる。
【００５７】
またＣＰＵ１１０は、動画像の先頭フレームを縮小したサムネイル画像のデータを生成する。さらにＣＰＵ１１０は、タイマなどの計時部（図示せず）から現在の日時（つまり撮影日時）を取得する。
【００５８】
そしてＣＰＵ１１０は、記憶媒体制御部１１９を介して、一連の動画像音声データに、サムネイル画像のデータ、撮影日時などを付加情報として付与することにより、この動画像音声データを動画像ファイルとして記憶媒体１２０に記憶させる。このようにして、ＤＳＣ１００は、動画像を記録する。
【００５９】
さらにＣＰＵ１１０は、各画像（静止画像又は動画像）の撮影日時をもとに、記憶媒体１２０に記録されている各画像を撮影日時単位でグルーピングする。
【００６０】
具体的にＣＰＵ１１０は、例えば、各画像を、撮影日時に基づいて、時間軸上に並べ、時間軸上に隣接する２つの画像の撮影日時の差が所定値以上である場合に、２つの画像の間を、グループの境界とするようにして、各画像をグルーピングする。
【００６１】
実際、記憶媒体１２０に記録されている各画像は、旅行などのイベント単位で、時間的にまとまっていることが多い。ゆえにＣＰＵ１１０は、上述したようにして各画像をグルーピングすることで、各画像をイベント単位にグルーピングするようになっている。
【００６２】
そしてＣＰＵ１１０は、イベントを個別に識別可能なイベント識別情報を生成し、各画像に対応するイベントを示すイベント識別情報を各画像ファイルの付加情報に登録する。
【００６３】
尚このイベント識別情報は、イベントの名称のように、そのイベントが何であるのかを特定するものではなく、単にそのイベントを他のイベントと区別するために、例えば個々のイベントに順番に付された番号として生成される。
【００６４】
これによりＣＰＵ１１０は、各画像をイベント単位にグルーピングでき、どの画像とどの画像が同じイベントであるかを判別できるようになっている。
【００６５】
またＤＳＣ１００では、このようにしてイベント単位にグルーピングされた画像に対して、メニューなどからユーザがイベントの名称を登録できるようにもなっている。尚イベントの名称も各画像ファイルの付加情報に登録される。
【００６６】
またＣＰＵ１１０は、例えば入力部１１３のモード切替ボタン１０７の操作により動作モードを再生モードに切り替えるよう指示されると、再生モードで動作する。
【００６７】
するとＣＰＵ１１０は、記憶媒体制御部１１９を介して、記憶媒体１２０から例えば撮影日時が最も新しいファイルを読み出して、ＲＡＭ１１２に一時記憶させる。
【００６８】
ここで、このファイルが静止画像ファイルである場合、ＣＰＵ１１０は、この静止画像ファイルから静止画像データを抽出して、画像処理部１１７に送る。
【００６９】
画像処理部１１７は、この静止画像データをエンコードされたときと同一の静止画像フォーマットでデコードすることで元の画像信号を得る。ＣＰＵ１１０は、この画像信号を、一旦ＲＡＭ１１２に書き戻した後、表示制御部１１８に送る。
【００７０】
表示制御部１１８は、ディスプレイ１１４を制御して、この画像信号に基づく静止画像をディスプレイ１１４に表示させる。このようにしてＤＳＣ１００は、静止画像を再生する。
【００７１】
一方、読み出したファイルが動画像ファイルである場合、ＣＰＵ１１０は、この動画像ファイルから、動画像データと音声データとを分離抽出して、動画像データを画像処理部１１７に送る。
【００７２】
画像処理部１１７は、この動画像データをエンコードされたときと同一の動画像フォーマットでデコードすることで元の画像信号を得る。この画像信号は、ＣＰＵ１１０により、一旦ＲＡＭ１１２に書き戻された後、順次表示制御部１１８に送られる。
【００７３】
表示制御部１１８は、ディスプレイ１１４を制御して、画像信号に基づく動画像をディスプレイ１１４に表示させる。
【００７４】
またこのときＣＰＵ１１０は、音声データをエンコードされたときと同一の音声フォーマットでデコードすることで元の音声信号を得、これをＲＡＭ１２に書き戻した後、順次音声処理部１２１に送る。音声処理部１２１は、音声信号をデジタルからアナログに変換して、この音声信号に基づく音声をスピーカ１２３から出力させる。このようにしてＤＳＣ１００は、動画像を再生する。
【００７５】
尚、ＤＳＣ１００は、電源制御部１２４が、バッテリ（図示せず）から得られる電力を各部に供給することで動作するようになっている。
【００７６】
またＤＳＣ１００は、外部インタフェース部１２５を介して外部装置（例えばパーソナルコンピュータなど）に接続されると、記憶媒体１２０に記憶された画像ファイルを当該外部装置に転送するようになっている。
【００７７】
因みに、ＤＳＣ１００のＣＰＵ１１０が、上述した情報処理装置１の人物検出部３、画像抽出部４、エフェクト処理設定部５、エフェクト処理部６、制御部７に対応するものである。さらにＤＳＣ１００の記憶媒体１２０が、情報処理装置１の記憶部２に対応するものである。
【００７８】
［１−２−３．ダイジェスト動画像の作成］
ところでＤＳＣ１００では、記憶媒体１２０に記録されている画像（静止画像又は動画像）の中から、ユーザにより指定された人物や当該人物と関係性の高い人物が写っている画像を抽出して結合することにより、動画像を作成するようになっている。このような動画像のことを、ダイジェスト動画像とも呼ぶ。以下、このダイジェスト動画像の作成について、詳しく説明する。
【００７９】
尚このダイジェスト動画像の作成では、ユーザにより指定された人物と関係性が高い人物を検出するために人間関係グラフを利用するようになっており、まずこの人間関係グラフのグラフ構造から説明する。
【００８０】
図４に人間関係グラフのグラフ構造を概念的に示す。この図４に示すように、人間関係グラフＨｇは、人物を表すノードＮｄ（図中ではＮｄ１〜Ｎｄ８）と、ノードＮｄ間を結ぶエッジＥｇ（図中ではＥｇ１〜Ｅｇ１２）とでなるグラフ構造を有している。
【００８１】
各ノードＮｄには、ＤＳＣ１００に登録されている人物の顔画像が対応付けられている。また各エッジＥｇは、結んでいる一方のノードＮｄが表す人物と、もう一方のノードＮｄが表す人物との親密度を表している。尚、ここでは、人物と人物との親しさを表す指標として親密度を用いている。
【００８２】
ここで、エッジＥｇは、その太さが太いほど、結んでいる双方のノードＮｄが表す人物間の親密度が高いこと、すなわち双方のノードＮｄが表す人物同士がより親しい仲であることを意味する。
【００８３】
一方で、ノードＮｄ間がエッジＥｇで結ばれていなければ、双方のノードＮｄが表す人物同士が親しい仲ではないことを意味する。
【００８４】
次に、人間関係グラフＨｇのデータ構造について説明する。図５に人間関係グラフＨｇのデータ構造を示す。この図５に示すように、人間関係グラフＨｇは、各ノードＮｄが表す人物の属性を管理する為の人物属性テーブルＴｂ１と、各エッジＥｇが表す人物間の親密度を管理する為の親密度テーブルＴｂ２とでなるデータ構造を有している。
【００８５】
この人物属性テーブルＴｂ１と親密度テーブルＴｂ２は、記憶媒体１２０に記憶されている。
【００８６】
ここで、説明の都合上、人物の顔画像が登録された顔辞書を説明してから、人物属性テーブルＴｂ１及び親密度テーブルＴｂ２について説明する。図６に顔辞書Ｆｄのデータ構造を示す。この図６に示すように、顔辞書Ｆｄは、顔辞書テーブルＴｂ３と顔画像ファイルＦｐとでなるデータ構造を有している。
【００８７】
この顔辞書テーブルＴｂ３と顔画像ファイルＦｐは、記憶媒体１２０に記憶されている。
【００８８】
顔辞書テーブルＴｂ３は、人物ごとの顔画像データが含まれる顔画像ファイルＦｐを人物ごとに管理する為のテーブルであり、人物ごとに、人物ＩＤと顔画像ファイルＦｐのファイル名とが、顔画像情報として記載される。
【００８９】
人物ＩＤは、人物ごとに割り当てられたＩＤである。尚、複数の顔画像ファイルＦｐが記憶されている人物の顔画像情報には、１つの人物ＩＤに対して複数のファイル名が記載されるようになっている。顔画像ファイルＦｐは、任意の画像から切り出された顔画像のデータをファイル化したものである。
【００９０】
これに対して、人物属性テーブルＴｂ１には、顔辞書テーブルＴｂ３に登録されている人物ごとに、人物ＩＤ、所属グループＩＤ、記録枚数及び性別などが、属性情報として記載される。
【００９１】
所属グループＩＤは、各人物が所属しているグループを識別する為のものである。尚、複数のグループに所属している人物の属性情報には、１つの人物ＩＤに対して複数のグループＩＤが記載されるようになっている。
【００９２】
記録枚数は、ＤＳＣ１００で撮影された各人物の画像の枚数、すなわち記憶媒体１２０に記録されている各人物の画像ファイル（上述の顔画像ファイルＦｐは除く）の数である。例えば、記憶媒体１２０に、或る人物の画像ファイルが１０個記録されているとすれば、この人物の属性情報には記録枚数が「１０」と記載される。性別は、各人物の性別を示すものである。
【００９３】
また親密度テーブルＴｂ２には、顔辞書テーブルＴｂ３に記載されている人物間の親密度が、人物ＩＤと人物ＩＤとの組み合わせごとに記載される。親密度は、例えば「−２０」から「＋２０」の範囲の整数で表され、値が大きいほど親しい仲であることを示すようになっている。
【００９４】
尚、親密度は、所定の条件のもとに変化し、「０」を基準として、「０」以下であれば親しくないこと、「０」より大きければ親しいことを意味する。
【００９５】
また、親密度テーブルＴｂ２には、人物と人物との親密度として、一方の人物側から見た親密度と、もう一方の人物側から見た親密度とが別々に記載されるようになっている。
【００９６】
実際、親密度テーブルＴｂ２には、例えば人物ＩＤ＝０の人物と人物ＩＤ＝２の人物との親密度として、人物ＩＤ＝０の人物側から見た親密度（横０、縦２）が「８」、人物ＩＤ＝２の人物側から見た親密度（横２、縦０）が「２」のように記載される。
【００９７】
これら顔辞書テーブルＴｂ３、人物属性テーブルＴｂ１及び親密度テーブルＴｂ２に登録されている顔画像情報、属性情報及び親密度が、人物ＩＤにより対応付けられて、上述した人間関係グラフＨｇのグラフ構造が表される。
【００９８】
尚、顔辞書テーブルＴｂ３に登録されている顔画像は、ダイジェスト動画像の作成時に、ダイジェスト動画像の元となる画像から検出された人物の個人識別などにも利用される。
【００９９】
例えば、撮像画像から人物の顔が検出されたとする。このときＣＰＵ１１０は、検出した顔の領域（すなわち顔領域）を検出顔画像として切り出す。そしてＣＰＵ１１０は、この検出顔画像と、顔辞書テーブルＴｂ３に顔画像ファイルＦｐとして登録されている顔画像（これを登録顔画像とも呼ぶ）の各々とを比較して類似度を算出する。
【０１００】
そしてＣＰＵ１１０は、類似度が所定の閾値以上となる登録顔画像を、検出顔画像と同一人物の顔画像であると見なすことで、撮像画像から検出された人物が、この登録顔画像に対応する人物ＩＤの人物であると識別する。
【０１０１】
このように顔画像を比較することで個人識別を行う場合、人物ごとの登録顔画像の数が多くなるほど、認識精度が向上する。
【０１０２】
ゆえに、人物ごとに、光源環境、顔の向き、表情などが異なる顔画像を用意して、これらを顔辞書テーブルＴｂ３に登録するようにすれば、個人識別の精度は格段と向上する。
【０１０３】
ところで、ＤＳＣ１００では、顔辞書Ｆｄへの顔画像の登録、及び人間関係グラフＨｇの更新を、画像の記録時に自動的に行うことができるようになっている。
【０１０４】
ここで、顔辞書Ｆｄへの顔画像を登録する処理（これを顔画像登録処理とも呼ぶ）の手順と、人間関係グラフＨｇを更新する処理（これを人間関係グラフ更新処理とも呼ぶ）の手順について説明する。
【０１０５】
まず図７に示すフローチャートを用いて、顔画像登録処理の手順（これを顔画像登録処理手順とも呼ぶ）ＲＴ１について説明する。
【０１０６】
因みに、この顔画像登録処理手順ＲＴ１は、ＤＳＣ１００のＣＰＵ１１０が、ＲＯＭ１１１に書き込まれているプログラムに従って実行する顔画像登録処理の手順である。
【０１０７】
ＣＰＵ１１０は、画像を記録したときに、この画像から人物の顔を検出すると、この画像から顔領域を検出顔画像として切り出し、顔画像登録処理を開始する。ＣＰＵ１１０は、まず顔画像登録処理手順ＲＴ１のステップＳＰ１に移る。
【０１０８】
ステップＳＰ１においてＣＰＵ１１０は、画像から切り出した検出顔画像と、顔辞書テーブルＴｂ３に登録されている登録顔画像とを比較することで、個人識別を行う個人識別処理を行う。
【０１０９】
図８に、この個人識別処理の手順（これを個人識別処理手順とも呼ぶ）ＳＲＴ１を示す。ＣＰＵ１１０は、個人識別処理を開始すると、この個人識別処理手順ＳＲＴ１のステップＳＰ１００に移る。
【０１１０】
ステップＳＰ１００においてＣＰＵ１１０は、顔辞書テーブルＴｂ３に少なくとも１個の人物ＩＤが登録されているか否かを判別する。
【０１１１】
このステップＳＰ１００で否定結果を得ると、このことは、まだ顔辞書テーブルＴｂ３に一人も登録されていないことを意味する。このときＣＰＵ１１０は、入力された顔画像に対応する人物は登録されていないとして、この個人識別処理を終了する。
【０１１２】
これに対して、ステップＳＰ１００で肯定結果を得ると、このときＣＰＵ１１０は、ステップＳＰ１０１に移る。ステップＳＰ１０１においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ１０２に移る。この変数ｉは、顔辞書テーブルＴｂ３に登録されている人物を人物ｉとして順番に指定する為のものである。
【０１１３】
ステップＳＰ１０２においてＣＰＵ１１０は、変数ｉの値が、顔辞書テーブルＴｂ３に登録されている人物の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ１０２は、検出顔画像と、顔辞書テーブルＴｂ３に登録されている全ての人物の登録顔画像とを比較し終えたか否かを判別するステップである。
【０１１４】
ここで、まだ全ての人物の登録顔画像と比較し終えていないことにより、このステップＳＰ１０２で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ１０３に移る。
【０１１５】
ステップＳＰ１０３においてＣＰＵ１１０は、変数ｊに０を代入して、次のステップＳＰ１０４に移る。この変数ｊは、人物ｉの登録顔画像を登録顔画像ｊとして順番に指定する為のものである。
【０１１６】
ステップＳＰ１０４においてＣＰＵ１１０は、変数ｊの値が、顔辞書テーブルＴｂ３に登録されている、人物ｉの登録顔画像の数ｎ［ｉ］と等しいか否か判別する。すなわち、このステップＳＰ１０４は、検出顔画像と、顔辞書テーブルＴｂ３に登録されている、人物ｉの全ての登録顔画像とを比較し終えたか否かを判別するステップである。
【０１１７】
ここで、まだ人物ｉの全ての登録顔画像と比較し終えていないことにより、このステップＳＰ１０４で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ１０５に移る。
【０１１８】
ステップＳＰ１０５においてＣＰＵ１１０は、検出顔画像と、人物ｉの登録顔画像ｊとの類似度を算出して、次のステップＳＰ１０６に移る。ステップＳＰ１０６においてＣＰＵ１１０は、類似度が所定の閾値以上であるか否かを判別する。
【０１１９】
このステップＳＰ１０６で肯定結果を得ると、このことは、検出顔画像と、人物ｉの登録顔画像ｊとが同一人物のものであることを意味する。このときＣＰＵ１１０は、ステップＳＰ１０７に移る。ステップＳＰ１０７においてＣＰＵ１１０は、検出顔画像が人物ｉのものであると判別して、この人物ｉの人物ＩＤを取得し、次のステップＳＰ１０８に移る。
【０１２０】
これに対して、ステップＳＰ１０６で否定結果を得ると、このことは、検出顔画像と、人物ｉの登録顔画像ｊとが同一人物のものではないことを意味する。このときＣＰＵ１１０は、ステップＳＰ１０７での処理を行わずに、ステップＳＰ１０８に移る。
【０１２１】
ステップＳＰ１０８においてＣＰＵ１１０は、変数ｊにｊ＋１を代入することにより、人物ｉの登録顔画像の中から、現在指定している登録顔画像の次の登録顔画像を指定して、ステップＳＰ１０４に戻る。
【０１２２】
以降、ＣＰＵ１１０は、ステップＳＰ１０４で肯定結果を得るまで、すなわち検出顔画像と、人物ｉの全ての登録顔画像とを比較し終えるまで、ステップＳＰ１０４〜ＳＰ１０８の処理を繰り返す。
【０１２３】
そして、人物ｉの全ての登録顔画像と比較し終えたことにより、このステップＳＰ１０４で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ１０９に移る。
【０１２４】
ステップＳＰ１０９においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、現在指定している人物の次の人物を指定して、ステップＳＰ１０２に戻る。
【０１２５】
以降、ＣＰＵ１１０は、ステップＳＰ１０２で肯定結果を得るまで、すなわち検出顔画像と、全ての人物の登録顔画像とを比較し終えるまで、ステップＳＰ１０２〜ＳＰ１０９までの処理を繰り返す。
【０１２６】
そして、全ての人物の登録顔画像と比較し終えたことにより、このステップＳＰ１０２で肯定結果を得ると、ＣＰＵ１１０は、この個人識別処理を終了する。
【０１２７】
このようにしてＣＰＵ１１０は、検出顔画像との類似度が所定の閾値以上となる登録顔画像の人物を、検出顔画像に対応する人物と識別して、この人物の人物ＩＤを取得するようになっている。尚、類似度が閾値以上となる登録顔画像の人物が複数存在する場合、例えば、最も類似度が高い登録顔画像の人物の人物ＩＤを取得するようにする。
【０１２８】
このような個人識別処理を終了すると、ＣＰＵ１１０は、次のステップＳＰ２（図７）に移る。ステップＳＰ２においてＣＰＵ１１０は、個人識別処理の結果として、検出顔画像に対応する人物の人物ＩＤを取得したか否かを判別する。
【０１２９】
このステップＳＰ２で肯定結果を得ると、このことは、検出顔画像に対応する人物の人物ＩＤを取得したこと、すなわち検出顔画像に対応する人物の人物ＩＤが顔辞書テーブルＴｂ３に登録されていることを意味する。
【０１３０】
このときＣＰＵ１１０は、ステップＳＰ３に移り、検出顔画像を顔画像ファイルＦｐとして記憶媒体１２０に記憶すると共に、この顔画像ファイルＦｐのファイル名を、取得した人物ＩＤに対応付けて顔辞書テーブルＴｂ３に登録する。このようにして登録した後、ＣＰＵ１１０は、顔画像登録処理を終了する。
【０１３１】
これに対して、ステップＳＰ３で否定結果を得ると、このことは、検出顔画像に対応する人物の人物ＩＤが顔辞書テーブルＴｂ３に登録されていないことを意味する。
【０１３２】
このときＣＰＵ１１０は、ステップＳＰ４に移り、検出顔画像を顔画像ファイルＦｐとして記憶媒体１２０に記憶すると共に、この顔画像ファイルＦｐのファイル名を、新たに発行した人物ＩＤに対応付けて顔辞書テーブルＴｂ３に登録する。このようにして登録した後、ＣＰＵ１１０は、顔画像登録処理を終了する。
【０１３３】
このような顔画像登録処理により、ＣＰＵ１１０は、任意の画像から抽出した人物の顔画像を顔辞書Ｆｄに登録するようになっている。
【０１３４】
この顔画像登録処理は、人間関係グラフＨｇの更新と共に行われる処理であり、この点をふまえ、次に、図９及び図１０に示すフローチャートを用いて、人間関係グラフ更新処理の手順（これを人間関係グラフ更新処理手順とも呼ぶ）ＲＴ２について説明する。
【０１３５】
因みに、この人間関係グラフ更新処理手順ＲＴ２は、ＤＳＣ１００のＣＰＵ１１０が、ＲＯＭ１１１に書き込まれているプログラムに従って実行する人間関係グラフ更新処理の手順である。
【０１３６】
ＣＰＵ１１０は、例えば、静止画像撮影モードで静止画像ファイルを記憶媒体１２０に記憶させた後、この人間関係グラフ更新処理を開始して、人間関係グラフ更新処理手順ＲＴ２のステップＳＰ２０に移る。
【０１３７】
ステップＳＰ２０においてＣＰＵ１１０は、静止画像ファイルに基づく静止画像から人物の顔を検出して、次のステップＳＰ２１に移る。ステップＳＰ２１においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ２２に移る。このときの変数ｉは、静止画像から検出された人物の顔を、人物ｉの顔として順番に指定する為のものである。
【０１３８】
ステップＳＰ２２においてＣＰＵ１１０は、変数ｉの値が、静止画像から検出された人物の顔の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ２２は、静止画像から検出された人物の顔を全て指定し終えたか否かを判別するステップである。
【０１３９】
ここで、まだ全ての人物の顔を指定し終えていないことにより、このステップＳＰ２２で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ２３に移る。
【０１４０】
ステップＳＰ２３においてＣＰＵ１１０は、静止画像から人物ｉの顔領域を検出顔画像として切り出して、次のステップＳＰ２４に移る。ステップＳＰ２４においてＣＰＵ１１０は、上述した顔画像登録処理を行うことにより、人物ｉの検出顔画像を顔辞書テーブルＴｂ３に登録して、次のステップＳＰ２５に移る。
【０１４１】
ステップＳＰ２５においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、静止画像から検出された人物の顔の中から、現在指定している顔の次の顔を指定して、ステップＳＰ２２に戻る。
【０１４２】
以降、ＣＰＵ１１０は、ステップＳＰ２２で肯定結果を得るまで、すなわち静止画像から切り出された検出顔画像を全て顔辞書テーブルＴｂ３に登録し終えるまで、ステップＳＰ２２〜ＳＰ２５の処理を繰り返す。
【０１４３】
そして、全ての検出顔画像を顔辞書テーブルＴｂ３に登録し終えたことにより、このステップＳＰ２２で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ２６に移る。
【０１４４】
ステップＳＰ２６においてＣＰＵ１１０は、再び変数ｉに０を代入して、次のステップＳＰ２７に移る。このときの変数ｉは、静止画像から切り出された検出顔画像に対応する人物を人物ｉとして順番に指定する為のものである。
【０１４５】
ステップＳＰ２７においてＣＰＵ１１０は、変数ｉの値が、静止画像から切り出された検出顔画像の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ２８は、静止画像から切り出された検出顔画像の各々に対応する人物を人物ｉとして全て指定し終えたか否かを判別するステップである。
【０１４６】
ここで、まだ全ての人物を指定し終えていないことにより、このステップＳＰ２７で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ２８に移る。
【０１４７】
ステップＳＰ２８においてＣＰＵ１１０は、静止画像から切り出したｉ番目の検出顔画像に対応する人物ｉの人物ＩＤを、顔辞書テーブルＴｂ３から取得して、次のステップＳＰ２９に移る。
【０１４８】
ステップＳＰ２９においてＣＰＵ１１０は、顔辞書テーブルＴｂ３から取得した人物ｉの人物ＩＤが、人間関係グラフＨｇに登録されているか否かを判別する。
【０１４９】
このステップＳＰ２９で否定結果を得ると、このことは、人物ｉの人物ＩＤが人間関係グラフＨｇにまだ登録されていないことを意味する。
【０１５０】
このときＣＰＵ１１０は、ステップＳＰ３０に移り、人物ｉの人物ＩＤを人間関係グラフＨｇの人物属性テーブルＴｂ１に新規で追加して、次のステップＳＰ３１に移る。
【０１５１】
ステップＳＰ３１においてＣＰＵ１１０は、ｉ番目の検出顔画像から、人物ｉの性別を判別して、これをこの人物ｉの属性情報として、人物属性テーブルＴｂ１に記載して、次のステップＳＰ３２に移る。
【０１５２】
尚、顔画像から人物の性別を判別する方法については、種々のアルゴリズムが知られている。例えば、顔画像から、顔の形状や色、髪型、目や口の位置などの特徴量を検出し、その特徴量と、予め用意された性別ごとの特徴量とを比較して、これらの相関値が高い方の性別を、人物の性別として判別するものがある。
【０１５３】
これに対して、ステップＳＰ２９で肯定結果を得ると、このことは、人物ｉの人物ＩＤが人間関係グラフＨｇに登録済であることを意味する。
【０１５４】
このときＣＰＵ１１０は、ステップＳＰ３０及びＳＰ３１での処理を行わずに、ステップＳＰ３２に移る。
【０１５５】
ステップＳＰ３２においてＣＰＵ１１０は、今回記録した静止画像から人物ｉの検出顔画像が検出されたこと、つまり今回人物ｉが撮影されたことから、この人物ｉの属性情報である記録枚数を更新する。すなわち、ＣＰＵ１１０は、この人物ｉの属性情報である記録枚数を、現在の記録枚数＋１に更新して、次のステップＳＰ３３に移る。
【０１５６】
ここまでのステップＳＰ２８〜ＳＰ３２の処理により、人物ｉに関して人物属性テーブルＴｂ１の更新が終了したことになる。
【０１５７】
ステップＳＰ３３（図１０）においてＣＰＵ１１０は、変数ｊに０を代入して、次のステップＳＰ３４に移る。このときの変数ｊは、静止画像から検出された、人物ｉ以外の人物を人物ｊとして順番に指定する為のものである。
【０１５８】
ステップＳＰ３４においてＣＰＵ１１０は、変数ｊの値が、静止画像から切り出された検出顔画像の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ３４は、静止画像から切り出された、人物ｉ以外の全ての人物を指定し終えたか否かを判別するステップである。
【０１５９】
ここで、まだ全ての人物を指定し終えていないことにより、このステップＳＰ３４で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３５に移る。ステップＳＰ３５においてＣＰＵ１１０は、人物ｉと、人物ｉ以外の人物ｊとの親密度を算出して、親密度テーブルＴｂ２に記載する。
【０１６０】
具体的に、ＣＰＵ１１０は、まず人物ｊの人物ＩＤを、顔辞書テーブルＴｂ３から取得する。そしてＣＰＵ１１０は、人物ｉの人物ＩＤと人物ｊの人物ＩＤとをもとに、人物ｉ側から見た人物ｉと人物ｊとの親密度を親密度テーブルＴｂ２から検索する。
【０１６１】
検索の結果、親密度が得られると、このことは、過去に人物ｉ側から見た人物ｉと人物ｊとの親密度が算出され、親密度テーブルＴｂ２に記載されていることを意味する。このときＣＰＵ１１０は、親密度テーブルＴｂから得られた親密度を過去親密度とする。
【０１６２】
一方、検索の結果、親密度が得られなければ、このことは、過去１度も人物ｉ側から見た人物ｉと人物ｊとの親密度が算出されてなく、親密度テーブルＴｂ２に記載されていないことを意味する。このときＣＰＵ１１０は、過去親密度を「０」とする。
【０１６３】
さらにＣＰＵ１１０は、今回記録した静止画像をもとに、人物ｉ側から見た人物ｉと人物ｊとの親密度を算出（具体的な算出方法については後述する）して、これを画像内の親密度（これを画像親密度とも呼ぶ）とする。そしてＣＰＵ１１０は、過去親密度に画像親密度を加算して得られた値を、人物ｉ側から見た人物ｉと人物ｊとの新たな親密度として、親密度テーブルＴｂ２に記載する。
【０１６４】
このとき、ＣＰＵ１１０は、人物ｉ側から見た人物ｉと人物ｊとの過去親密度が親密度テーブルＴｂ２に記載されていれば、この過去親密度を今回算出した新たな親密度で更新する。一方、過去親密度が記載されていなければ、今回算出した親密度を、人物ｉ側から見た人物ｉと人物ｊの親密度として親密度テーブルＴｂ２に新規で追加する。
【０１６５】
すなわち、人物ｉ側から見た人物ｉと人物ｊとの過去親密度をＣｐａｓｔ［ｉ，ｊ］とすると、画像親密度をＣｐｉｃｔｕｒｅ［ｉ，ｊ］とすると、新たな親密度Ｃｇｒａｐｈ［ｉ，ｊ］は、次式（１）により表される。
【０１６６】
【数１】
2011082915.tif 000003
【０１６７】
上述したように今回記録した静止画像から得られる画像親密度Ｃｐｉｃｔｕｒｅ［ｉ，ｊ］は、例えば、人物ｉと人物ｊの双方ともに顔の笑顔度が低い場合などに−（負）の値を取るようになっている。これにより、例えば、昔は仲が良かったが、現在は仲が良くない人物同士であれば、静止画像を記録するごとに、親密度テーブルＴｂ２に記載される親密度が下がっていくことになる。このように、親密度テーブルＴｂ２には、過去の親密度と、今回記録した画像における親密度の双方を反映した親密度が記載されるようになっている。
【０１６８】
このようにして、人物ｉ側から見た人物ｉと人物ｊとの親密度を算出して親密度テーブルＴｂ２に記載した後、ＣＰＵ１１０は、ステップＳＰ３６に移る。ステップＳＰ３６においてＣＰＵ１１０は、変数ｊにｊ＋１を代入（ただし、人物ｉと人物ｊとが同一人物にならないようｊ＝ｉはスキップ）することにより、現在指定している人物ｊの次の人物を指定して、ステップＳＰ３４に戻る。
【０１６９】
以降、ＣＰＵ１１０は、ステップＳＰ３４で肯定結果を得るまで、すなわち人物ｉと、人物ｉ以外の全ての人物ｊとの親密度を算出して親密度テーブルＴｂ２に記載し終えるまで、ステップＳＰ３４〜ＳＰ３６までの処理を繰り返す。
【０１７０】
そして、人物ｉと、人物ｉ以外の全ての人物ｊとの親密度を算出して親密度テーブルＴｂ２に記載し終えたことにより、このステップＳＰ３４で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３７に移る。
【０１７１】
ここまでのステップＳＰ３３〜ＳＰ３６の処理により、人物ｉに関して親密度テーブルＴｂ２の更新が終了したことになる。
【０１７２】
ステップＳＰ３７においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、現在指定している人物ｉの次の人物を指定して、ステップＳＰ２７（図９）に戻る。
【０１７３】
以降、ＣＰＵ１１０は、ステップＳＰ２７で肯定結果を得るまで、すなわち静止画像から検出された全ての人物に関して人間関係グラフＨｇを更新し終えるまで、ステップＳＰ２７〜ステップＳＰ３７の処理を繰り返す。
【０１７４】
そして、静止画像から検出された全ての人物に関して人間関係グラフＨｇを更新し終えたことにより、このステップＳＰ２７で肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ３８に移る。
【０１７５】
ステップＳＰ３８においてＣＰＵ１１０は、更新し終えた人間関係グラフＨｇのグラフ構造をもとに、登録されている人物の各々が所属する所属グループを再判別して、人物属性テーブルＴｂ１に記載さている各人物の所属グループを更新する。尚、各人物の所属グループを判別する方法については後述する。
【０１７６】
このようにして所属グループを更新した後、ＣＰＵ１１０は、人間関係グラフ更新処理を終了する。
【０１７７】
このような人間関係グラフ更新処理により、ＣＰＵ１１０は、画像を記録したときに、顔辞書Ｆｄへ顔画像を登録すると共に人間関係グラフＨｇを更新するようになっている。
【０１７８】
ここで、各人物の所属グループを判別する方法について簡単に説明する。ノードＮｄとエッジＥｇでなるデータ構造から、各ノードＮｄ（すなわち各人物）を分類する方法については、種々のアルゴリズムが知られている。例えば、ノードＮｄとエッジＥｇの繋がり具合から、各ノードＮｄを分類するアルゴリズムとして、GirvanとNewmanによるＧＮ法が知られている（非特許文献１参照）。
【非特許文献１】M.E.J.Newman  and  M.Girvan,Finding  and  evaluating  community  structure  in  networks.  Phys.Rev.69,026113(2004)
【０１７９】
このＧＮ法は、階層的クラスタリングの一手法であり、与えられた多数のデータ（ノードＮｄに相当）の相関性を表す指標を定義して、この指標により表される相関性の強弱をもとにデータを分類する方法である。
【０１８０】
このＧＮ法では、ノードＮｄ間を結ぶエッジＥｇに対して、「Ｂｅｔｗｅｅｎｎｅｓｓ」という指標を定義している。「Ｂｅｔｗｅｅｎｎｅｓｓ」は、適当なノードＮｄ間の経路の集合を与えたときに、通る回数が多いエッジＥｇほど大きくなるように定義されている。そしてこの「Ｂｅｔｗｅｅｎｎｅｓｓ」が大きいエッジＥｇは、グループ間を繋ぐエッジＥｇであると予測できる。
【０１８１】
この理由は、仮に２つのクラスタ（グループ）で共有するエッジＥｇが数本しか存在しないとすれば、クラスタ間の移動は、必ずこの数本のうちのいずれかを通るからである。
【０１８２】
ゆえに「Ｂｅｔｗｅｅｎｎｅｓｓ」が小さいエッジＥｇで結ばれたノードＮｄが同一グループに属するものと見なすことができる。
【０１８３】
実際、このＧＮ法を用いて、各ノードＮｄが属するグループを判別する場合、まず人間関係グラフＨｇ内の全てのエッジＥｇに対して、「Ｂｅｔｗｅｅｎｎｅｓｓ」を算出する。次に「Ｂｅｔｗｅｅｎｎｅｓｓ」の大きなエッジＥｇを人間関係グラフＨｇから取り除く。さらに残りの全てのエッジＥｇに対して、再度「Ｂｅｔｗｅｅｎｎｅｓｓ」を算出する。このような手順を繰り返し行う。
【０１８４】
この結果、各ノードＮｄが属するグループ、すなわち各人物の所属グループが判別される。
【０１８５】
ＣＰＵ１１０は、このようなアルゴリズムを用いて、各人物の所属グループを判別するようになっている。
【０１８６】
次に、ダイジェスト動画像の作成処理の手順（これをダイジェスト作成処理手順とも呼ぶ）について説明する。尚、ここでは、ダイジェスト作成処理手順の概要を説明してから、その詳細を説明していくこととする。
【０１８７】
図１１及び図１２に、ダイジェスト作成処理手順の概要であるダイジェスト作成処理手順ＲＴ３を示す。因みに、このダイジェスト作成処理手順ＲＴ３は、ＤＳＣ１００のＣＰＵ１１０が、ＲＯＭ１１１に書き込まれているプログラムに従って実行するダイジェスト作成処理の手順である。
【０１８８】
ＣＰＵ１１０は、例えば入力部１１３を介してダイジェスト動画像の作成が指示されると、ダイジェスト作成処理を開始して、ダイジェスト作成処理手順ＲＴ３のステップＳＰ４０に移る。
【０１８９】
ステップＳＰ４０においてＣＰＵ１１０は、図１３に示すように、イベント指定画面Ｅｇをディスプレイ１１４に表示させる。尚このイベント指定画面Ｅｇでは、ユーザにイベントを指定させることにより、ダイジェスト動画像の元となる画像のグループをユーザに指定させるようになっている。
【０１９０】
具体的にイベント指定画面Ｅｇには、記憶媒体１２０に記憶されている画像のイベントを示すイベント行Ｌｅ（Ｌｅ１〜Ｌｅ３）が並べられて表示される。イベント行Ｌｅには、各イベントの撮影月日やユーザにより登録された各イベントの名称などが表示される。またイベント行Ｌｅには、当該イベント行Ｌｅが示すイベントにグルーピングされている画像のサムネイル画像Ｔｐ（Ｔｐ１〜Ｔｐｎ）が横一列に並べられて表示される。尚、サムネイル画像Ｔｐはイベント指定画面Ｅｇに入りきる分だけ表示させるようにしてもよいし、タッチパネルに対するドラッグ操作に応じてサムネイル画像Ｔｐをスクロールさせるようにしてもよい。
【０１９１】
またイベント指定画面Ｅｇには、上ボタンＵｂ及び下ボタンＤｂが表示される。イベント指定画面Ｅｇに全てのイベント行Ｌｅが入りきらない場合は、ユーザが上ボタンＵｂ又は下ボタンＤｂをタッチ操作することにより、イベント行Ｌｅが上下にスクロールするようになっている。
【０１９２】
このようなイベント指定画面Ｅｇを表示させた後、ＣＰＵ１１０は、次のステップＳＰ４１に移る。       
【０１９３】
ステップＳＰ４１においてＣＰＵ１１０は、イベント指定画面Ｅｇにおいてユーザによりイベントが指定されるまで待ち受ける。尚ＣＰＵ１１０は、イベント指定画面Ｅｇにおいて、ユーザによりイベント行Ｌｅがタッチ操作されると、当該イベント行Ｌｅに対応するイベントが指定されたと認識するようになっている。ＣＰＵ１１０は、当該指定されたイベントにグルーピングされている画像を、ダイジェスト動画像を作成する際に用いるようになっている。
【０１９４】
ＣＰＵ１１０は、このようにしてユーザによりイベントが指定されると、このステップＳＰ４１において肯定結果を得て、次のステップＳＰ４２に移る。
【０１９５】
ステップＳＰ４２においてＣＰＵ１１０は、指定されたイベントにグルーピングされている各画像から人物を検出する人物検出処理（詳しくは後述する）を行って、次のステップＳＰ４３に移る。
【０１９６】
ステップＳＰ４３においてＣＰＵ１１０は、人物検出処理の結果、人物が検出されたか否かを判別する。このステップＳＰ４３において肯定結果が得られると、ＣＰＵ１１０は、ステップＳＰ４４に移る。
【０１９７】
ステップＳＰ４４においてＣＰＵ１１０は、後述する主人公指定画面における、検出された人物ごとの表示優先度（これを、人物表示優先度とも呼ぶ）を算出する人物表示優先度算出処理（詳しくは後述する）を行って、次のステップＳＰ４５に移る。
【０１９８】
ステップＳＰ４５においてＣＰＵ１１０は、後述する主人公指定画面における、検出された人物が所属するグループごとの表示優先度（これを、グループ表示優先度とも呼ぶ）を算出するグループ表示優先度算出処理（詳しくは後述する）を行う。そしてＣＰＵ１１０は、次のステップＳＰ４６に移る。
【０１９９】
ステップＳＰ４６においてＣＰＵ１１０は、図１４に示すように、検出された人物の中から、ダイジェスト動画像における主要な人物となる主人公をユーザに指定させるための主人公指定画面Ａｇを表示させる。尚、ダイジェスト動画像は、ユーザにより指定された主人公や当該主人公と関係性の高い人物が写っている画像を抽出して結合することにより、作成されるようになっている。
【０２００】
具体的に主人公指定画面Ａｇには、人物検出処理により検出された人物を示す人物アイコンＦｉ（Ｆｉ１〜Ｆｉｎ）が表示される。この人物アイコンＦｉには、当該人物アイコンＦｉが示す人物の顔画像が表示される。尚ここで表示される顔画像は、指定されたイベントに含まれる画像の中から切り出された顔画像であってもよいし、顔辞書Ｆｄに登録されている顔画像Ｆｄであってもよい。
【０２０１】
因みにＣＰＵ１１０は、このような人物アイコンＦｉを、人物表示優先度の高い順に左から右に並べて表示するようになっている。またＣＰＵ１１０は、主人公指定画面Ａｇに全ての人物アイコンＦｉを表示しきれない場合は、人物表示優先度の高い人物を示す人物アイコンＦｉを優先的に表示するようになっている。
【０２０２】
また主人公指定画面Ａｇには、人物検出処理により検出された人物が人間関係グラフＨｇにおいて所属するグループを示すグループアイコンＧｉ（Ｇｉ１〜Ｇｉｎ）が表示される。グループアイコンＧｉ内には、当該グループアイコンＧｉが示すグループに所属しており且つ人物検出処理により検出された人物の代表的な顔画像が表示される。
【０２０３】
因みにＣＰＵ１１０は、このようなグループアイコンＧｉを、グループ表示優先度の高い順に左から右に並べて表示するようになっている。またＣＰＵ１１０は、主人公指定画面Ａｇに全てのグループアイコンＧｉを表示しきれない場合は、グループ表示優先度の高いグループを示すグループアイコンＧｉを優先的に表示するようになっている。
【０２０４】
ＣＰＵ１１０は、入力部１１３のタッチパネルを介して人物アイコンＦｉがタッチ操作されると、図１５に示すように、当該人物アイコンＦｉを強調して表示させる。このときＣＰＵ１１０は、当該人物アイコンＦｉが示す人物をダイジェスト動画像の主人公候補として選択している状態である。
【０２０５】
またＣＰＵ１１０は、人物アイコンＦｉが示す人物が主人公候補として選択している状態で当該人物アイコンＦｉが再度タッチ操作されると、当該人物アイコンＦｉ上にバツ印を表示させる。このときＣＰＵ１１０は、当該人物アイコンＦｉが示す人物が含まれている画像をダイジェスト動画像に含まないようにする状態である。尚、このような人物を除外人物とも呼ぶ。つまりＣＰＵ１１０は、このとき当該人物アイコンＦｉが示す人物を除外人物候補として選択している状態である。
【０２０６】
またＣＰＵ１１０は、このように人物アイコンＦｉが示す人物が除外人物候補として選択している状態で当該人物アイコンＦｉが再度タッチ操作されると、当該人物アイコンＦｉ上のバツ印を非表示にし、最初の状態に戻す。このときＣＰＵ１１０は、当該人物アイコンＦｉが示す人物を主人公候補又は除外人物候補として選択していない状態、つまり非選択の状態である。
【０２０７】
またＣＰＵ１１０は、人物アイコンＦｉと同様に、グループアイコンＧｉがタッチ操作されるごとに、当該グループアイコンＧｉが示すグループの状態を主人公候補として選択、除外人物候補として選択、非選択の順に遷移させるようになっている。
【０２０８】
因みにＣＰＵ１１０は、主人公指定画面Ａｇにおいて、一又は複数の人物アイコンＦｉ又はグループアイコンＧｉを主人公候補又は除外人物候補として選択することができるようになっている。
【０２０９】
またＣＰＵ１１０は、ユーザにより決定ボタンＣｂ（図１４）がタッチ操作されると、このとき主人公候補として選択している状態である人物又はグループがユーザによりダイジェスト動画像の主人公として指定されたと認識するようになっている。尚ＣＰＵ１１０は、グループが指定された場合は、当該グループに所属しており且つ人物検出処理により検出された全ての人物をダイジェスト動画像の主人公として設定するようになっている。
【０２１０】
またＣＰＵ１１０は、ユーザにより決定ボタンＣｂがタッチ操作された時点で除外人物候補として選択している状態である人物又はグループがダイジェスト動画像から除外する除外人物として指定されたとして認識するようになっている。尚ＣＰＵ１１０は、グループが指定された場合は、当該グループに所属しており且つ人物検出処理により検出された全ての人物をダイジェスト動画像の除外人物として設定するようになっている。
【０２１１】
ＣＰＵ１１０は、このような主人公指定画面Ａｇを表示させると、次のステップＳＰ４７に移る。
【０２１２】
ステップＳＰ４７においてＣＰＵ１１０は、主人公指定画面Ａｇにおいてユーザにより主人公が指定される（つまり主人公候補が選択された状態で決定ボタンＣｂがタッチ操作される）まで待ち受ける。そして、ユーザにより主人公が指定されると、このステップＳＰ４７において肯定結果を得て、ＣＰＵ１１０は、ステップＳＰ４８（図１２）に移る。
【０２１３】
ステップＳＰ４８においてＣＰＵ１１０は、図１６に示すように、ダイジェスト動画像の時間長（つまり総再生時間）を指定させる総再生時間指定画面Ｓｇを表示させる。
【０２１４】
この総再生時間指定画面Ｓｇでは、例えば分単位でダイジェスト動画像の総再生時間を指定できるようになっている。具体的にＣＰＵ１１０は、ユーザにより入力部１１３のタッチパネルを介して増加ボタンＭｂが選択されるごとに表示させている総再生時間Ｔａを１分ずつ増加し、減少ボタンＳｂが選択されるごとに表示させている総再生時間Ｔａを１分ずつ減少させる。そしてＣＰＵ１１０は、ユーザにより作成開始ボタンＫｂが選択されると、表示されている総再生時間Ｔａを、作成するダイジェスト動画像の総再生時間として指定されたと認識する。
【０２１５】
尚、この総再生時間指定画面Ｓｇでは、ユーザにより指定されたイベントの名称及び当該イベントの画像のサムネイル画像Ｔｐや、ユーザにより指定された主人公の顔画像なども表示されるようになっている。
【０２１６】
このような総再生時間指定画面Ｓｇを表示させると、ＣＰＵ１１０は次のステップＳＰ４９に移る。
【０２１７】
ステップＳＰ４９においてＣＰＵ１１０は、ダイジェスト動画像の総再生時間がユーザにより指定されるまで待ち受ける。そしてダイジェスト動画像の総再生時間がユーザにより指定されたことにより、このステップＳＰ４９で肯定結果を得ると、ＣＰＵ１１０は、次のステップＳＰ５０に移る。
【０２１８】
ステップＳＰ５０においてＣＰＵ１１０は、ユーザにより指定された主人公及び総再生時間に基づいて、ダイジェスト動画像を構成する画像を抽出してダイジェスト動画像を作成する編集処理（詳しくは後述する）を行う。そしてＣＰＵ１１０は、ダイジェスト作成処理を終了する。
【０２１９】
一方、ユーザにより指定されたイベントの画像から人物が検出されなかったことよりステップＳＰ４３（図１１）において否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ５１に移る。
【０２２０】
ステップＳＰ５１においてＣＰＵ１１０は、上述したステップＳＰ４８と同様に、ダイジェスト動画像の総再生時間を指定させる総再生時間指定画面Ｓｇを表示させ、次のステップＳＰ５２に移る。尚この場合、ユーザによりダイジェスト動画像の主人公は指定されないので、総再生時間指定画面ＳｇにはステップＳＰ４８の場合と異なり当該主人公の顔画像は表示されない。
【０２２１】
ステップＳＰ５２においてＣＰＵ１１０は、ダイジェスト動画像の総再生時間がユーザにより指定されるまで待ち受ける。そしてダイジェスト動画像の総再生時間がユーザにより指定されたことにより、このステップＳＰ５２で肯定結果を得ると、ＣＰＵ１１０は、次のステップＳＰ５３に移る。
【０２２２】
ステップＳＰ５３においてＣＰＵ１１０は、ユーザにより指定されたイベントの画像を元にダイジェスト動画像を作成する。尚この場合ＣＰＵ１１０は、例えば画像と共に記録された音声から盛り上がり部分を検出し、当該盛り上がり部分に対応する画像をユーザにより指定された総再生時間に応じて抽出して結合して、ダイジェスト動画像を作成するようになっている。そしてＣＰＵ１１０は、作成したダイジェスト動画像を記憶媒体１２０に記憶し、ダイジェスト作成処理を終了する。
【０２２３】
次に、ダイジェスト作成処理に含まれる各処理について詳しく説明する。まず上述したステップＳＰ４２の人物検出処理について詳しく説明する。
【０２２４】
図１７に、人物検出処理の手順（これを人物検出処理手順とも呼ぶ）ＳＲＴ２を示す。
【０２２５】
ＣＰＵ１１０は、人物検出処理を開始すると、人物検出処理手順ＳＲＴ２のステップＳＰ２００に移る。ステップＳＰ２００においてＣＰＵ１１０は、ユーザにより指定されたイベントにグルーピングされている画像を記憶媒体１２０から読み出す。
【０２２６】
ＣＰＵ１１０は、読み出した画像が静止画像であれば静止画像そのものを要素画像として設定し、動画像であれば動画像を所定枚数（例えば数秒分）のフレームごとに切り分けたものを要素画像として設定する。
【０２２７】
この要素画像とは、ダイジェスト動画像の構成単位となるものであり、ＣＰＵ１１０は、複数の要素画像をつなぎ合わせてダイジェスト動画像を作成するようになっている。尚、要素画像が静止画像の場合には、当該静止画像を予め設定された時間（例えば数秒程度）継続して再生し続けるように、ダイジェスト動画像を作成するようになっている。
【０２２８】
ＣＰＵ１１０は、このように要素画像を設定すると、要素画像ごとに要素ＩＤを割り当てて、次のステップＳＰ２０１に移る。
【０２２９】
ステップＳＰ２０１においてＣＰＵ１１０は、設定された要素画像に対して顔検出処理を行う。
【０２３０】
顔検出については、特開２００８−４０７１０号公報にも開示されているように、種々のアルゴリズムが知られている。例えば、画像から、肌色領域と目や口の位置などの顔の特徴量とを検出し、その特徴量の位置関係から肌色領域が人物の顔であるかを判別するものがある。また、画像から得られた輝度データと、顔のテンプレート画像とのマッチング処理を行って、これらの相関値が或る値以上となる場合に顔であると判別するものがある。
【０２３１】
ＣＰＵ１１０は、これらのアルゴリズムを用いて、顔検出処理を行った後、次のステップＳＰ２０２に移る。尚、ＣＰＵ１１０は、顔検出処理の結果、検出した顔ごとに、画像内の顔の座標（これを顔座標とも呼ぶ）とサイズ（これを顔サイズとも呼ぶ）を顔検出情報として得るようになっている。
【０２３２】
また、この顔検出処理では、目や口の位置が顔のどちら側に寄っているかなどにより、画像内における顔の向きを検出できるようにもなっている。また、この顔検出処理では、目や口の傾きなどにより、笑顔度を検出できるようにもなっている。ＣＰＵ１１０は、これら顔の向き及び笑顔度も、顔検出情報として得るようになっている。
【０２３３】
ステップＳＰ２０２においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ２０３に移る。この変数ｉは、要素画像から検出された人物の顔を、人物ｉの顔として順番に指定する為のものである。
【０２３４】
ステップＳＰ２０３においてＣＰＵ１１０は、変数ｉの値が、要素画像から検出された人物の顔の数Ｎと等しいか否か判別する。すなわち、このステップＳＰ２０３は、要素画像から検出された人物の顔を全て指定し終えたか否かを判別するステップである。
【０２３５】
ここで、まだ全ての人物の顔を指定し終えていないことにより、このステップＳＰ２０３で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ２０４に移る。
【０２３６】
ステップＳＰ２０４においてＣＰＵ１１０は、要素画像から人物ｉの顔領域を検出顔画像として切り出して、次のステップＳＰ２０５に移る。ステップＳＰ２０５においてＣＰＵ１１０は、切り出した検出顔画像をもとに、上述した個人識別処理を行って、次のステップＳＰ２０６に移る。尚、ＣＰＵ１１０は、この個人識別処理の結果、人物ｉが識別できた場合にのみ、この人物ｉの人物ＩＤを得る。
【０２３７】
ステップＳＰ２０６においてＣＰＵ１１０は、人間関係グラフＨｇからこの人物ＩＤに対応する所属グループＩＤを取得することにより、人物ｉの所属グループを判別して、次のステップＳＰ２０７に移る。
【０２３８】
ステップＳＰ２０７においてＣＰＵ１１０は、人物ｉに関して得られた情報を、検出人物情報として図１８に示す要素画像テーブルＴｂ４に記載する。
【０２３９】
要素画像テーブルＴｂ４は、要素画像から顔が検出された人物に関する検出人物情報を要素画像ごとに管理するためのテーブルである。まず要素画像テーブルＴｂ４には、要素画像ごとに、当該要素画像から検出された人物ｉの人物ＩＤ、人物ｉの所属グループＩＤが検出人物情報として記載される。また検出人物情報と各要素画像とを対応づけるよう、要素ＩＤと検出人物情報とが対応づけられて要素画像テーブルＴｂ４に記載される。
【０２４０】
さらに要素画像テーブルＴｂ４には、検出人物情報として人物ｉごとの顔検出情報が記載される。
【０２４１】
具体的に顔検出情報の顔座標は、顔領域の中心座標で表される。さらに顔検出情報の顔サイズは、顔領域の縦と横のサイズを、撮像画像の縦と横のサイズをそれぞれ「１」として、「０」〜「１」の範囲で正規化して得られる値で表される。つまり、この顔サイズは、撮像画像のサイズに対する比率で表される。
【０２４２】
さらに顔検出情報の顔の向きは、例えば「右」、「左」、［正面］で表される。さらに顔検出情報の笑顔度は、例えば「−１０」から「＋１０」の範囲の整数で表され、値が大きいほど笑顔であることを示す。具体的には、「０」を基準として、「０」以下であれば、笑顔ではないこと、「０」より大きければ笑顔であることを意味する。
【０２４３】
ＣＰＵ１１０は、このような要素画像テーブルＴｂ４に対して、人物ｉに関して得られた、要素ＩＤ、人物ＩＤ、所属グループＩＤ及び顔検出情報を検出人物情報として記載した後、次のステップＳＰ２０８に移る。
【０２４４】
ステップＳＰ２０８においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、要素画像から検出された人物の顔の中から、現在指定している顔の次の顔を指定して、ステップＳＰ２０３に戻る。
【０２４５】
以降、ＣＰＵ１１０は、ステップＳＰ２０３で肯定結果を得るまで、すなわち要素画像から検出された人物を識別し終えるまで、ステップＳＰ２０３〜ＳＰ２０８の処理を繰り返す。
【０２４６】
そして、全ての要素画像から検出された人物を識別し終えたことにより、ステップＳＰ２０３で肯定結果を得ると、ＣＰＵ１１０は、人物検出処理を終了する。
【０２４７】
このような人物検出処理によりＣＰＵ１１０は、要素画像から人物を検出するようになっている。
【０２４８】
次に、上述したダイジェスト作成処理のステップＳＰ４４の算出処理について詳しく説明する。
【０２４９】
図１９に、人物表示優先度算出処理の手順（これを人物表示優先度算出処理手順とも呼ぶ）ＳＲＴ３を示す。
【０２５０】
ＣＰＵ１１０は、人物表示優先度算出処理を開始すると、人物表示優先度算出処理手順ＳＲＴ３のステップＳＰ３００に移る。
【０２５１】
ステップＳＰ３００においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ３０１に移る。このときの変数ｉは、要素画像テーブルＴｂ４に記載されている人物（すなわち要素画像から検出された人物）を人物ｉとして順番に指定する為のものである。
【０２５２】
ステップＳＰ３０１においてＣＰＵ１１０は、変数ｉの値が、要素画像テーブルＴｂ４に記載されている人物の数Ｎと等しいか否か判別する。すなわちこのステップＳＰ３０１は、要素画像テーブルＴｂ４に記載されている人物を人物ｉとして全て指定し終えたか否かを判別するステップである。
【０２５３】
ここで、まだ全ての人物を人物ｉとして指定し終えていないことにより、このステップＳＰ３０１で否定結果を得ると、ＣＰＵ１１０は、ステップＳＯ３０２に移る。
【０２５４】
ステップＳＰ３０２においてＣＰＵ１１０は、人物ｉの表示優先度Ｐ［ｉ］を算出する。具体的にこのＰ［ｉ］の算出方法は、以下に示す２項目の考え方に基づいている。
【０２５５】
第１に、人間関係グラフＨｇに記載されている人物ｉの記録枚数（つまり記憶媒体１２０に記録されている人物ｉの画像ファイルの数）Ｎ（ｇｒａｐｈ）［ｉ］が多いほど、表示優先度Ｐ［ｉ］を高くする。
【０２５６】
第２に、設定した全ての要素画像における人物ｉの登場回数Ｎ（ｐｉｃｔｕｒｅ）［ｉ］が多いほど、表示優先度Ｐ［ｉ］を高くする。尚、人物ｉの登場回数Ｎ（ｐｉｃｔｕｒｅ）［ｉ］は、要素画像テーブルＴｂ４に基づいて算出される。また要素画像が動画像である場合、各フレームにおいて人物ｉが検出されることにより一つの要素ＩＤに対して人物ｉが複数回検出されるが、一つの要素ＩＤに対しては人物ｉの登場回数Ｎ（ｐｉｃｔｕｒｅ）［ｉ］は１回として数える。
【０２５７】
このとき上述した２項目の考え方に基づくと、表示優先度Ｐ［ｉ］は、例えば次式（２）より表される。
【０２５８】
【数２】
2011082915.tif 000004
【０２５９】
尚、Ｗａ、Ｗｂの各々は、Ｎ（ｇｒａｐｈ）［ｉ］、Ｎ（ｐｉｃｔｕｒｅ）［ｉ］の各々に対して重み付けを行うための重み係数である。因みに、Ｗａ、Ｗｂは固定でもよいし、例えばユーザによる設定などによって、動的に変化させるようにしてもよい。また上述した２項目の考え方のいずれか１つのみを用いて、人物ｉの表示優先度Ｐ［ｉ］を算出するようにしてもよい。すなわちＷａ又はＷｂのいずれかが０であってもよい。
【０２６０】
このようにしてＣＰＵ１１０は、人物ｉの表示優先度Ｐ［ｉ］を算出すると、次のステップＳＰ３０３に移る。
【０２６１】
ステップＳＰ３０３においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、現在指定している人物ｉの次の人物を指定して、ステップＳＰ３０１に戻る。
【０２６２】
以降ＣＰＵ１１０は、ステップＳＰ３０１で肯定結果を得るまで、すなわち要素画像から検出された全ての人物の表示優先度Ｐ［ｉ］を算出し終えるまでステップＳＰ３０１〜ステップＳＰ３０３の処理を繰り返す。
【０２６３】
そして全ての人物の表示優先度Ｐ［ｉ］を算出し終えたことにより、このステップＳＰ３０１で肯定結果を得ると、ＣＰＵ１１０は、人物表示優先度算出処理を終了する。
【０２６４】
このような人物表示優先度算出処理により、ＣＰＵ１１０は、主人公指定画面Ａｇを表示させる際に用いる人物表示優先度を算出するようになっている。
【０２６５】
次に、上述したダイジェスト作成処理のステップＳＰ４５のグループ表示優先度算出処理について詳しく説明する。
【０２６６】
図２０に、グループ表示優先度算出処理の手順（これをグループ表示優先度算出処理手順とも呼ぶ）ＳＲＴ４を示す。
【０２６７】
ＣＰＵ１１０は、グループ表示優先度算出処理を開始すると、グループ表示優先度算出処理手順ＳＲＴ４のステップＳＰ４００に移る。
【０２６８】
ステップＳＰ４００においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ４０１に移る。このときの変数ｉは、要素画像テーブルＴｂ４に記載されているグループ（すなわち要素画像から検出された人物の所属するグループ）をグループｉとして順番に指定するためのものである。
【０２６９】
ステップＳＰ４０１においてＣＰＵ１１０は、変数ｉの値が、要素画像テーブルＴｂ４に記載されているグループの数Ｎと等しいか否かを判別する。すなわちこのステップＳＰ４０１は、要素画像テーブルＴｂ４に記載されているグループをグループｉとして全て指定し終えたか否かを判別するステップである。
【０２７０】
ここでまた全てのグループをグループｉとして指定し終えていないことにより、このステップＳＰ４０１で否定結果を得ると、ＣＰＵ１１０は、ステップＳＰ４０２に移る。
【０２７１】
ステップＳＰ４０２においてＣＰＵ１１０は、グループｉの表示優先度Ｇ［ｉ］を０に初期化して、次のステップＳＰ４０３に移る。
【０２７２】
ステップＳＰ４０３においてＣＰＵ１１０は、変数ｊに０を代入して、次のステップＳＰ４０４に移る。このときの変数ｊは、要素画像テーブルＴｂ４に記載されており且つグループｉに所属する人物を人物ｊとして順番に指定するためのものである。
【０２７３】
ステップＳＰ４０４においてＣＰＵ１１０は、変数ｊの値が、要素画像テーブルＴｂ４に記載されており且つグループｉに所属している人物の数Ｍ［ｉ］と等しいか否か判別する。すなわちこのステップＳＰ４０４は、要素画像テーブルＴｂ４に記載されており且つグループｉに所属している人物を人物ｊとして全て指定し終えたか否かを判別するステップである。
【０２７４】
ここでまだ全ての人物を人物ｊとして指定し終えていないことにより、このステップＳＰ４０４で否定結果を得ると、ＣＰＵ１１０は、次のステップＳＰ４０５に移る。
【０２７５】
ステップＳＰ４０５においてＣＰＵ１１０は、変数ｋに０を代入して次のステップＳＰ４０６に移る。このときの変数ｋは、人物ｊに対して、要素画像テーブルＴｂ４に記載されており且つ人物ｊと同じグループｉに所属している人物を人物ｋとして順番に指定する為のものである。
【０２７６】
ステップＳＰ４０６においてＣＰＵ１１０は、変数ｋの値が、要素画像テーブルＴｂ４に記載されており且つグループｉに所属している人物の数Ｍ［ｉ］と等しいか否かを判別する。すなわち、このステップＳＰ４０６は、要素画像テーブルＴｂ４に記載されており且つ人物ｊとグループｉに所属している人物を人物ｋとして全て指定し終えたか否かを判別するステップである。
【０２７７】
ここでまだ全ての人物を人物ｋとして指定し終えていないことにより、このステップＳＰ４０６で否定結果を得ると、ＣＰＵ１１０は、次のステップＳＰ４０７に移る。
【０２７８】
ステップＳＰ４０７においてＣＰＵ１１０は、要素画像テーブルＴｂ４に基づいて、人物ｊ及び人物ｋの両方が登場した要素画像の数Ｎ（ｐｉｃｔｕｒｅ）［ｊ、ｋ］を算出する。そしてＣＰＵ１１０は、現時点でのグループｉの表示優先度Ｇ［ｉ］に、人物ｉ及び人物ｋの組に対するＮ（ｐｉｃｔｕｒｅ）［ｊ、ｋ］を加算して得られた値を、グループｉの新たな表示優先度Ｇ［ｉ］として、ステップＳＰ４０８に移る。
【０２７９】
ステップＳＰ４０８においてＣＰＵ１１０は、変数ｋにｋ＋１を代入（ただし、人物ｊと人物ｋとが同一人物にならないようｋ＝ｊはスキップ）することにより、現在指定している人物ｋの次の人物を指定して、ステップＳＰ４０６に戻る。
【０２８０】
以降ＣＰＵ１１０は、ステップＳＰ４０６で肯定結果が得られるまで、ステップＳＰ４０６〜ステップＳＰ４０８までの処理を繰り返す。
【０２８１】
この結果ＣＰＵ１１０は、人物ｊと順に指定した全ての人物ｋとの組における人物ｊ及び人物ｋの両方が登場している要素画像の数Ｎ（ｐｉｃｔｕｒｅ）［ｊ、ｋ］の合計値をグループｉの表示優先度Ｇ［ｉ］として得る。すなわちＣＰＵ１１０は、人物ｊに関するＮ（ｐｉｃｔｕｒｅ）［ｊ、ｋ］の合計値をグループｉの表示優先度Ｇ［ｉ］として得る。そしてＣＰＵ１１０は、上述のステップＳＰ４０６で肯定結果を得ると、ステップＳＰ４０９に移る。
【０２８２】
ステップＳＰ４０９においてＣＰＵ１１０は、変数ｊにｊ＋１を代入することにより現在指定している人物ｊの次の人物を指定して、ステップＳＰ４０４に戻る。
【０２８３】
以降ＣＰＵ１１０は、ステップＳＰ４０４で肯定結果を得るまで、ステップＳＰ４０４〜ステップＳＰ４０９までの処理を繰り返す。
【０２８４】
この結果ＣＰＵ１１０は、要素画像テーブルＴｂ４に記載されており且つグループｉに所属する全ての人物ｊに関するＮ（ｐｉｃｔｕｒｅ）［ｊ、ｋ］の合計値をグループｉの表示優先度Ｇ［ｉ］として得る。ＣＰＵ１１０は、この表示優先度Ｇ［ｉ］を主人公指定画面Ａｇの表示の際に用いるグループｉの表示優先度として設定する。そしてＣＰＵ１１０は、上述のステップＳＰ４０４で肯定結果を得ると、ステップＳＰ４１０に移る。
【０２８５】
ステップＳＰ４１０においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、現在指定しているグループｉの次のグループを指定して、ステップＳＰ４０１に戻る。
【０２８６】
以降ＣＰＵ１１０は、ステップＳＰ４０１で肯定結果を得るまで、すなわち要素画像から検出された人物の所属する全てのグループの表示優先度Ｇ［ｉ］を算出し終えるまで、ステップＳＰ４０１〜ステップＳＰ４１０の処理を繰り返す。
【０２８７】
そして全てのグループの表示優先度Ｇ［ｉ］を算出し終えたことにより、上述したステップＳＰ４０１で肯定結果を得ると、ＣＰＵ１１０は、グループ表示優先度算出処理を終了する。
【０２８８】
このようなグループ表示優先度算出処理によりＣＰＵ１１０は、主人公指定画面Ａｇを表示させる際に用いるグループ表示優先度を算出するようになっている。
【０２８９】
尚ＣＰＵ１１０は、上述したように人物表示優先度に基づいて人物アイコンＦｉを並べた主人公指定画面Ａｇを表示させるようになっているが、その後ユーザにより人物アイコンＦｉが主人公候補として選択されると、人物アイコンＦｉを並び変えるようになっている。以下、このような人物アイコンＦｉの並び替え処理について説明する。
【０２９０】
例えば、図２１（Ａ）に示すように、主人公指定画面Ａｇにおいて、人物アイコンＦｉ１〜Ｈｉ７が左から順に並べられているとする。ここで、ユーザにより主人公候補として例えば人物アイコンＦｉ６が示す人物ｆが選択されると、ＣＰＵ１１０は、図２１（Ｂ）に示すよう、人物アイコンＦｉ６を一番左端に表示させるよう、人物アイコンＦｉを並び替える。
【０２９１】
またこのときＣＰＵ１１０は、人物アイコンＦｉ６が示す人物ｆを基準とした、各人物アイコンＦｉの示す人物ｊの表示優先度Ｐｆ［ｊ］を算出する。そしてＣＰＵ１１０は、人物アイコンＦｉ６以外の人物アイコンＦｉを、人物アイコンＦｉ６の右側に、表示優先度Ｐｆ［ｊ］の高い順に左から右へ並べるようになっている。
【０２９２】
具体的に人物ｆを基準とした人物ｊの表示優先度Ｐｆ［ｊ］の算出方法は、以下に示す２項目の考え方に基づいている。
【０２９３】
第１に、人間関係グラフＨｇに記載されている人物ｆ側から見た人物ｆと人物ｊとの過去親密度Ｃ（ｇｒａｐｈ）［ｆ，ｊ］が大きいほど、人物ｆを基準とした人物ｊの表示優先度Ｐｆ［ｊ］を高くする。
【０２９４】
第２に、各要素画像ｎにおける人物ｆ側から見た人物ｆと人物ｊとの画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］の合計値が大きいほど、人物ｆを基準とした人物ｊの表示優先度Ｐｉ［ｊ］を高くする。因みにＣＰＵ１１０は、要素画像ｎが動画像の場合は、例えば各フレームにおける人物ｆと人物ｊの画像親密度の平均値をＣ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］として算出する。
【０２９５】
このとき上述した２項目の考え方に基づくと、人物ｆを基準とした人物ｊの表示優先度Ｐｆ［ｊ］は、例えば次式（３）より表される。
【０２９６】
【数３】
2011082915.tif 000005
【０２９７】
尚、Ｗｃ、Ｗｄの各々は、Ｃ（ｇｒａｐｈ）［ｆ，ｊ］、Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］の各々に対して重み付けを行うための重み係数である。因みに、Ｗｃ、Ｗｄは固定でもよいし、例えばユーザによる設定などによって、動的に変化させるようにしてもよい。また、上述した２項目の考え方のいずれか１つのみを用いて、人物ｆを基準とした人物ｊの表示優先度Ｐｆ［ｊ］を算出するようにしてもよい。すなわちＷｃ又はＷｄのいずれかが０であってもよい。
【０２９８】
ところで、この人物ｆを基準とした人物ｊの表示優先度Ｐｆ［ｊ］を算出するうえで必要となる画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］の算出方法は、以下に示す３項目の考え方に基づいている。
【０２９９】
第１に、要素画像ｎにおける人物ｆと人物ｊとの距離が近いほど、Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を高くする。この場合、例えば、顔領域複数個分（例えば５個分）の距離を基準距離とする。そして、人物ｆと人物ｊとの距離が、基準距離と等しければ、Ｃｎｏｗ［ｉ，ｊ］を０、基準距離以下であれば＋（正）の値、基準距離より離れていれば−（負）の値となるようにする。
【０３００】
第２に、要素画像ｎにおける人物ｆと人物ｊの顔の向きが向かい合っていれば、Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を高くし、向かい合っていなければ、Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を低くする。また人物ｆと人物ｊの顔の向きが向かい合っていなくても、人物ｆの顔の向きが人物ｊの方を向いていれば、Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を少し高くする。この場合、例えば、人物ｆの顔の向きが人物ｊの方を向いていればＣ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を＋の値、人物ｊの方を向いていなければ、−の値とする。
【０３０１】
第３に、要素画像ｎにおける人物ｆと人物ｊの笑顔度が大きいほど、Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を高くする。この場合、例えば、人物ｆの笑顔度と人物ｊの笑顔度の合計値をＣ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］とする。ゆえに、例えば、人物ｆも人物ｊも笑顔でないとすれば、Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］の値は−の値となる。
【０３０２】
このように、要素画像ｎにおける人物ｆと人物ｊとの距離、顔の向き、笑顔度などをもとに、＋の値から−の値を取り得る画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を算出するようになっている。尚、この場合、３項目の考え方のいずれか１つに限らず、複数を組み合わせて画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を算出するようにしてもよい。
【０３０３】
そして、これら３項目の考え方に基づく所定の演算式により、Ｃ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］が算出される。このとき、ＣＰＵ１１０は、要素画像テーブルＴｂ４に記載されている、人物ｆと人物ｊの顔座標、顔の向き、笑顔度を用いて、このＣ（ｐｉｃｔｕｒｅ）［ｎ，ｆ，ｊ］を算出するようになっている。
【０３０４】
このようにしてＣＰＵ１１０は、ユーザにより主人公候補として選択された人物ｆを基準とした人物ｊの表示優先度Ｐｆ［ｊ］を算出し、これに基づいて人物アイコンＦｉを左から右に並べて表示させる。すなわちＣＰＵ１１０は、ユーザにより選択された人物ｆと関係性の高い順に人物アイコンＦｉを左から右に並べて表示させる。これによりＤＳＣ１００は、ユーザに選択された人物ｆと関係性の高い人物、すなわち次に主人公として選択される可能性の高い人物を左よりに表示させることができ、ユーザが次の主人公を探す手間を軽減させることができる。
【０３０５】
また図２１（Ｃ）に示すように、複数の人物アイコンＦｉ（例えばＦｉ６とＦｉ１）が主人公候補として選択された場合、ＣＰＵ１１０は、例えば最初に選択された人物アイコンＦｉ６を左端に表示させ２番目に選択された人物アイコンＦｉ１をその右隣に表示させる。
【０３０６】
またこの場合ＣＰＵ１１０は、人物アイコンＦｉ６が示す人物ｆを基準とした人物ｊの表示優先度Ｐｆ［ｊ］及び人物アイコンＦｉ１が示す人物ａを基準とした人物ｊの表示優先度Ｐａ［ｊ］の合計値を、人物ｊの表示優先度として設定する。つまりＣＰＵ１１０は、複数の人物が主人公候補として選択された場合は、選択された人物ごとに当該人物を基準とした他の人物の表示優先度を算出し、その合計値を最終的な表示優先度として用いて人物アイコンＦｉを表示させるようになっている。
【０３０７】
次に、上述したダイジェスト作成処理のステップＳＰ５０の編集処理について詳しく説明する。図２２に、編集処理の手順（これを編集処理手順とも呼ぶ）ＳＲＴ５を示す。ＣＰＵ１１０は、編集処理を開始すると、編集処理手順ＳＲＴ５のステップＳＰ５００に移る。
【０３０８】
ステップＳＰ５００においてＣＰＵ１１０は、要素画像ごとに抽出優先度を算出する抽出優先度算出処理を行う。尚、抽出優先度とは、ダイジェスト動画像に用いる要素画像を抽出するための指標となるものであり、ユーザにより指定された主人公に基づくものである。
【０３０９】
図２３及び図２４に、この抽出優先度算出処理の手順（これを抽出優先度算出処理手順とも呼ぶ）ＳＲＴ６を示す。ＣＰＵ１１０は、抽出優先度算出処理を開始すると、この抽出優先度算出処理手順ＳＲＴ６のステップＳＰ６００に移る。
【０３１０】
ステップＳＰ６００においてＣＰＵ１１０は、変数ｉに０を代入して、次のステップＳＰ６０１に移る。このときの変数ｉは、要素画像テーブルＴｂ４に記載されている要素画像を要素画像ｉとして順番に指定するものである。
【０３１１】
ステップＳＰ６０１においてＣＰＵ１１０は、変数ｉの値が、要素画像テーブルＴｂ４に記載されている要素画像の数Ｎと等しいか否かを判別する。すなわちこのステップＳＰ６０１は、要素画像テーブルＴｂ４に記載されている要素画像を要素画像ｉとして全て指定し終えたか否かを判別するステップである。
【０３１２】
ここでまだ全ての要素画像を要素画像ｉとして指定し終えていないことにより、このステップＳＰ６０１で否定結果を得ると、ＣＰＵ１１０は、次のステップＳＰ６０２に移る。
【０３１３】
ステップＳＰ６０２においてＣＰＵ１１０は、要素画像ｉの抽出優先度Ｈ［ｉ］を０に初期化して、次のステップＳＰ６０３に移る。
【０３１４】
ステップＳＰ６０３においてＣＰＵ１１０は、要素画像テーブルＴｂ４に基づいて、主人公指定画面Ａｇにおいてユーザにより指定された除外人物が要素画像ｉから検出されたか否かを判別する。
【０３１５】
このステップＳＰ６０３において否定結果を得ると、ＣＰＵ１１０は、次のステップＳＰ６０４に移る。
【０３１６】
ステップＳＰ６０４においてＣＰＵ１１０は、変数ｊに０を代入して、次のステップＳＰ６０５に移る。このときの変数ｊは、主人公指定画面Ａｇにおいてユーザにより指定された主人公の人物ＩＤを記載した主人公リストに記載されている人物を主人公ｊとして順番に指定するものである。尚ＣＰＵ１１０は、ユーザにより主人公が指定された時点で、この主人公リストを生成しておくようになっている。
【０３１７】
ステップＳＰ６０５においてＣＰＵ１１０は、変数ｊの値が、主人公リストに記載されている人物の数Ｍと等しいか否か判別する。すなわちこのステップＳＰ６０５は、主人公リストに記載されている人物を主人公ｊとして全て指定し終えたか否かを判別するステップである。
【０３１８】
ここでまだ全ての主人公を主人公ｊとして指定し終えていないことにより、このステップＳＰ６０５で否定結果を得ると、ＣＰＵ１１０は、次のステップＳＰ６０６に移る。
【０３１９】
ステップＳＰ６０６においてＣＰＵ１１０は、主人公ｊにおける要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］を算出する。具体的に、このＨ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］の算出方法は、以下に示す２項目の考え方に基づいている。
【０３２０】
第１に、要素画像ｉにおいて主人公ｊが占める面積の割合Ｒ［ｉ、ｊ］が大きいほど、Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］を高くする。ＣＰＵ１１０は、要素画像ｉが静止画像の場合は、静止画像における主人公ｊの顔領域の占める面積の割合をＲ［ｉ、ｊ］とする。またＣＰＵ１１０は、要素画像ｉが動画像の場合は、例えば各フレームにおける主人公ｊの顔領域の占める面積の割合を算出し、その平均値をＲ［ｉ、ｊ］とする。
【０３２１】
第２に、要素画像ｉにおいて主人公ｊの笑顔度Ｓ［ｉ，ｊ］が大きいほど、Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］を高くする。ＣＰＵ１１０は、要素画像ｉが静止画像の場合は、静止画像における主人公ｊの笑顔度とする。またＣＰＵ１１０は、要素画像ｉが動画像の場合は、例えば各フレームにおける主人公ｊの笑顔度を算出し、その平均値をＳ［ｉ，ｊ］とする。
【０３２２】
このとき上述した２項目の考え方に基づくと、主人公ｊにおける要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］は、例えば次式（４）より表される。
【０３２３】
【数４】
2011082915.tif 000006
【０３２４】
尚、要素画像ｉから主人公ｊが検出されていない場合は、Ｒ［ｉ，ｊ］、Ｓ［ｉ，ｊ］ともに０となり、主人公ｊにおける要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］は０となる。
【０３２５】
またＷｅ、Ｗｆの各々は、Ｒ［ｉ、ｊ］、Ｓ［ｉ、ｊ］の各々に対して重み付けを行うための重み係数である。因みに、Ｗｅ、Ｗｆは固定でもよいし、例えばユーザによる設定などによって、動的に変化させるようにしてもよい。また、上述した２項目の考え方のいずれか１つのみを用いて、主人公ｊにおける要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］を算出するようにしてもよい。すなわちＷｅ又はＷｆのいずれかが０であってもよい。
【０３２６】
そしてＣＰＵ１１０は、現時点での要素画像ｉの抽出優先度Ｈ［ｉ］に、主人公ｊにおける要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］を加算して得られた値を、要素画像ｉの新たな抽出優先度Ｈ［ｉ］とする。そしてＣＰＵ１１０は、次のステップＳＰ６０７に移る。
【０３２７】
ステップＳＰ６０７においてＣＰＵ１１０は、変数ｋに０を代入して、次のステップＳＰ６０８に移る。このときの変数ｋは、主人公ｊに対して、要素画像ｉから検出された人物を人物ｋとして順番に指定するものである。
【０３２８】
ステップＳＰ６０８（図２４）においてＣＰＵ１１０は、変数ｋの値が、要素画像ｉから検出された人物の数Ｌ［ｉ］と等しいか否か判別する。すなわちこのステップＳＰ６０８は、要素画像ｉから検出され且つ主人公ｊ以外の人物を人物ｋとして全て指定し終えたか否かを判別するステップである。
【０３２９】
ここでまだ全ての人物を人物ｋとして指定し終えていないことにより、このステップＳＰ６０８で否定結果を得ると、ＣＰＵ１１０は、次のステップＳＰ６０９に移る。
【０３３０】
ステップＳＰ６０９においてＣＰＵ１１０は、主人公ｊ及び人物ｋの組における要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］を算出する。具体的に、このＨ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］の算出方法は、以下に示す２項目の考え方に基づいている。
【０３３１】
第１に、人間関係グラフＨｇに記載されている主人公ｊ側から見た主人公ｊと人物ｋとの過去親密度Ｃ（ｇｒａｐｈ）［ｊ，ｋ］が大きいほど、Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］を高くする。
【０３３２】
第２に、要素画像ｉにおける主人公ｊ側から見た主人公ｊと人物ｋとの画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｊ，ｋ］が大きいほど、Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］を高くする。
【０３３３】
尚、この画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｊ，ｋ］は、上述した人物アイコンＦｉの並び替え処理における画像親密度と同様に算出する。
【０３３４】
すなわち、要素画像ｉにおける主人公ｊと人物ｋの顔の位置から、主人公ｊと人物ｋとの距離を求め、当該距離が近いほど画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｊ，ｋ］を高くする。
【０３３５】
また、要素画像ｉにおける主人公ｊと人物ｋの顔の向きから、主人公ｊと人物ｋが向き合っているほど、画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｊ，ｋ］を高くする。
【０３３６】
また、要素画像ｉにおける主人公ｊと人物ｋの笑顔度から、主人公ｊと人物ｋの笑顔度が大きいほど、画像親密度Ｃ（ｐｉｃｔｕｒｅ）［ｊ，ｋ］を高くする。
【０３３７】
因みにＣＰＵ１１０は、要素画像ｉが動画像の場合は、例えば各フレームにおける主人公ｊと人物ｋの親密度の平均値をＣ（ｐｉｃｔｕｒｅ）［ｊ，ｋ］として算出する。
【０３３８】
そして上述した２項目の考え方に基づくと、主人公ｊ及び人物ｋの組における要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］は、例えば次式（５）より表される。
【０３３９】
【数５】
2011082915.tif 000007
【０３４０】
またＷｇ、Ｗｈの各々は、Ｃ（ｇｒａｐｈ）［ｊ，ｋ］、Ｃ（ｐｉｃｔｕｒｅ）［ｊ，ｋ］の各々に対して重み付けを行うための重み係数である。因みに、Ｗｇ、Ｗｈは固定でもよいし、動的に変化させるようにしてもよい。また上述した２項目の考え方のいずれか１つのみを用いて、人物ｉの表示優先度Ｐ［ｉ］を算出するようにしてもよい。すなわちＷｇ又はＷｈのいずれかが０であってもよい。
【０３４１】
動的に変化させる場合、まずユーザに、過去の親密度を優先するか、ダイジェスト動画像の元となる画像（すなわちユーザにより指定されたイベントの画像）内の親密度を優先するかを選択させる。
【０３４２】
ここで、過去の親密度を優先するよう選択された場合、ＣＰＵ１１０は、Ｗｇ＞Ｗｈとなるように、Ｗｇ及びＷｈを変化させる。すなわち画像内の親密度よりも、人間関係グラフＨｇに記載されている過去の親密度に対する重み付けを大きくする。
【０３４３】
一方、画像内の親密度を優先するよう選択された場合、ＣＰＵ１１０は、Ｗｇ＜Ｗｈとなるように、Ｗｇ及びＷｈを変化させる。すなわち人間関係グラフＨｇに記載されている過去の親密度よりも、画像内の親密度に対する重み付けを大きくする。
【０３４４】
これによりＤＳＣ１００は、ユーザの所望に応じて、過去の親密度と画像内の親密度のどちらかを優先して、主人公ｊ及び人物ｋの組における要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］を算出することができる。
【０３４５】
そしてＣＰＵ１１０は、現時点での要素画像ｉの抽出優先度Ｈ［ｉ］に、主人公ｊ及び人物ｋの組における要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］を加算して得られた値を、要素画像ｉの新たな抽出優先度Ｈ［ｉ］とする。そしてＣＰＵ１１０は、次のステップＳＰ６１０に移る。
【０３４６】
ステップＳＰ６１０においてＣＰＵ１１０は、変数ｋにｋ＋１を代入（ただし、主人公ｊと人物ｋとが同一人物にならないようｋ＝ｊはスキップ）することにより、現在指定している人物ｋの次の人物を指定して、ステップＳＰ６０８に戻る。
【０３４７】
以降ＣＰＵ１１０は、ステップＳＰ６０８で肯定結果が得られるまで、ステップＳＰ６０８〜ステップＳＰ６１０までの処理を繰り返す。
【０３４８】
この結果ＣＰＵ１１０は、主人公ｊにおける要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］と、主人公ｊと人物ｋとの全ての組における要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］の合計値とを、要素画像ｉの抽出優先度Ｈ［ｉ］に加算することになる。そしてＣＰＵ１１０は、上述のステップＳＰ６０８で肯定結果を得ると、ステップＳＰ６１１に移る。
【０３４９】
ステップＳＰ６１１においてＣＰＵ１１０は、変数ｊにｊ＋１を代入することにより、現在指定している主人公ｊの次の主人公を指定して、ステップＳＰ６０５に戻る。
【０３５０】
以降ＣＰＵ１１０は、ステップＳＰ６０５で肯定結果が得られるまで、ステップＳＰ６０５〜ステップＳＰ６１１までの処理を繰り返す。この結果ＣＰＵ１１０は、全ての主人公ｊに関する要素画像ｉの抽出優先度（すなわちＨ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ］及びＨ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］）の合計値を要素画像ｉの抽出優先度Ｈ［ｉ］として得る。ＣＰＵ１１０は、この要素画像ｉの抽出優先度Ｈ［ｉ］を、ダイジェスト動画像に用いる要素画像ｉを抽出する際に用いるようになっている。そしてＣＰＵ１１０は、ステップＳＰ６１３に移る。
【０３５１】
一方ステップＳＰ６０３において、主人公指定画面Ａｇにおいてユーザにより指定された除外人物が要素画像ｉから検出されたことより肯定結果を得ると、ＣＰＵ１１０は、ステップＳＰ６１２に移る。
【０３５２】
ステップＳＰ６１２においてＣＰＵ１１０は、要素画像ｉの抽出優先度Ｈ［ｉ］を「−１」として設定して、ステップＳＰ６１３に移る。このように、ダイジェスト動画像から除外するよう指定された除外人物が検出された要素画像ｉにおいては、要素画像ｉの抽出優先度Ｈ［ｉ］を負の値に設定する。これにより、他の要素画像よりも抽出優先度Ｈ［ｉ］が低くなるため、当該他の要素画像ｉをダイジェスト動画像に用いる要素画像として抽出されないようにできる。
【０３５３】
ステップＳＰ６１２においてＣＰＵ１１０は、変数ｉにｉ＋１を代入することにより、現在指定している要素画像ｉの次の要素画像を指定して、ステップＳＰ６０１に戻る。
【０３５４】
以降ＣＰＵ１１０は、ステップＳＰ６０１で肯定結果を得るまで、すなわち全ての要素画像の抽出優先度Ｈ［ｉ］を算出し終えるまで、ステップＳＰ６０１〜ステップＳＰ６１１の処理を繰り返す。
【０３５５】
そして全ての要素画像の抽出優先度Ｈ［ｉ］を算出し終えたことにより、上述したステップＳＰ６０１で肯定結果を得ると、ＣＰＵ１１０は、抽出優先度算出処理手順ＳＲＴ６を終了する。そしてＣＰＵ１１０は、編集処理手順ＲＴ５における次のステップＳＰ５０１（図２２）に移る。
【０３５６】
ステップＳＰ５０１においてＣＰＵ１１０は、ダイジェスト動画像に用いる要素画像を抽出するための、要素画像の抽出優先度Ｈ［ｉ］の閾値（これを抽出優先度閾値とも呼ぶ）を設定する。ＣＰＵ１１０は、抽出優先度閾値以上の要素画像を抽出して結合することによりダイジェスト動画像を作成するようになっている。
【０３５７】
図２５（Ａ）に、各要素画像の時間長（つまり再生時間）Ｔｄ（Ｔｄ１〜Ｔｄ８）と抽出優先度Ｈ［ｉ］の一例を示す。ＣＰＵ１１０は、抽出優先度閾値以上の要素画像の再生時間Ｔｄの合計値が、ユーザにより指定されたダイジェスト動画像の総再生時間Ｔａを越えない最大の値となるよう抽出優先度閾値を設定するようになっている。
【０３５８】
例えば図２５（Ｂ）に示す一例では、抽出優先度以上の要素画像の再生時間の合計値はＴｄ１＋Ｔｄ２＋Ｔｄ５＋Ｔｄ８となり、総再生時間Ｔａを越えてしまうので、抽出優先度閾値が不適切となる。
【０３５９】
また例えば図２５（Ｃ）に示す一例では、抽出優先度閾値以上の要素画像の再生時間の合計値はＴｄ２＋Ｔｄ８となり、総再生時間Ｔａを越えないため、抽出優先度閾値が適切となる。
【０３６０】
ＣＰＵ１１０は、このように総再生時間Ｔａに対して適切な抽出優先度閾値を設定すると、全ての要素画像の中から、抽出優先度閾値以上の抽出優先度Ｈ［ｉ］である要素画像を抽出して、次のステップＳＰ５０２に移る。
【０３６１】
ステップＳＰ５０２においてＣＰＵ１１０は、抽出した要素画像を例えば撮影日時順につなぎあわせることにより、ダイジェスト動画像を作成する。そしてＣＰＵ１１０は、当該ダイジェスト動画像とこのダイジェスト画像における主人公リストとを対応付けて記憶媒体１２０に記憶させ、編集処理を終了する。
【０３６２】
このような編集処理により、ＣＰＵ１１０は、ユーザにより指定された主人公や当該主人公と関係性の高い人物が写っている画像を抽出してダイジェスト動画像を作成するようになっている。
【０３６３】
ここまで説明した各処理により、ＤＳＣ１００は、人間関係グラフＨｇや各画像に基づいて、ユーザにより指定された主人公と関係性の高い人物を検出し、当該人物や当該主人公の写っているダイジェスト動画像を作成するようになっている。
【０３６４】
ところでこのダイジェスト動画像の作成は、ＣＰＵ１１０がダイジェスト作成プログラムを実行することで実現される機能である。ここで、このダイジェスト作成プログラムの実行に直接関与するハードウェアとデータについて説明する。
【０３６５】
図２６に示すように、ダイジェスト作成プログラムＤｐは、ＲＯＭ１１１に格納されている。このダイジェスト作成プログラムＤｐは、ＲＡＭ１１２に展開された後、ＣＰＵ１１０に読み込まれるようになっている。
【０３６６】
またダイジェスト作成プログラムＤｐの実行に必要なデータは、記憶媒体１２０に記憶されている。このデータは、上述した人間関係グラフＨｇの人物属性テーブルＴｂ１及び親密度テーブルＴｂ２、顔辞書Ｆｄの顔辞書テーブルＴｂ３、顔画像ファイルＦｐ、ＤＳＣ１００における撮像画像（静止画像又は動画像）Ｃｐなどである。
【０３６７】
これらのデータは、適宜、記憶媒体制御部１１９を介してＲＡＭ１１２に展開された後、ＣＰＵ１１０により読み込まれるようになっている。
【０３６８】
具体的に、ＣＰＵ１１０は、ダイジェスト作成プログラムＤｐをＲＯＭ１１２から読み込んで実行することで、各部を制御して上述したダイジェスト動画像の作成を行う。このときＣＰＵ１１０は、必要なデータを記憶媒体制御部１１９を介して記憶媒体１２０から読み込み、更新したデータについては、記憶媒体制御部１１９を介して記憶媒体１２０に書き戻す。
【０３６９】
このようにＣＰＵ１１０は、ダイジェスト作成プログラムＤｐを実行するうえで、プログラム及びデータの読み込み、プログラムの実行、プログラム実行結果（例えば更新したデータ）の出力を担うようになっている。
【０３７０】
［１−２−４．ダイジェスト動画像の再生］
またＤＳＣ１００では、上述したように作成されたダイジェスト動画像に対して主人公や主人公と関係性の高い人物を際立たせるようなエフェクト処理を施しながら、当該ダイジェスト動画像を再生できるようになっている。以下、このダイジェスト動画像の再生について、詳しく説明する。
【０３７１】
図２７に、ダイジェスト動画像を再生するダイジェスト再生処理の手順の概要であるダイジェスト再生処理手順ＲＴ４を示す。因みに、このダイジェスト再生処理手順ＲＴ４は、ＤＳＣ１００のＣＰＵ１１０が、ＲＯＭ１１１に書き込まれているプログラムに従って実行するダイジェスト再生処理の手順である。
【０３７２】
ＣＰＵ１１０は、例えば入力部１１３を介して、記憶媒体１２０に記憶されているダイジェスト動画像の再生が指示されると、ダイジェスト再生処理を開始して、ダイジェスト再生処理手順ＲＴ４のステップＳＰ６０に移る。
【０３７３】
ステップＳＰ６０においてＣＰＵ１１０は、図２８に示すように、再生するダイジェスト動画像をユーザに指定させるためのダイジェスト指定画面Ｄｇをディスプレイ１１４に表示させる。
【０３７４】
具体的にダイジェスト指定画面Ｄｇには、記憶媒体１２０に記憶されている各ダイジェスト動画像を示すダイジェスト行Ｌｄ（Ｌｄ１〜Ｌｄ３）が並べられて表示される。
【０３７５】
ダイジェスト行Ｌｄには、ダイジェスト動画像を構成する画像のイベントについて撮影月日や名称などが表示される。またダイジェスト行Ｌｄには、ダイジェスト動画像を構成する画像のサムネイル画像Ｔｐ（Ｔｐ１〜Ｔｐｎ）が横一列に並べられて表示される。
【０３７６】
またダイジェスト行Ｌｄには、ダイジェスト動画像に対応付けられて記憶されている主人公リストをもとに、ダイジェスト動画像の主人公を示す主人公アイコンＳｉ（Ｓｉ１〜Ｓｉｎ）が表示される。尚主人公アイコンＳｉには、当該主人公アイコンＳｉが示す主人公の代表的な顔画像が表示される。これによりＤＳＣ１００は、ユーザに各ダイジェスト動画像における主人公を確認させることができるようになっている。
【０３７７】
ＣＰＵ１１０は、このようなダイジェスト指定画面Ｄｇを表示させた後、次のステップＳＰ６１に移る。
【０３７８】
ステップＳＰ６１においてＣＰＵ１１０は、ダイジェスト指定画面Ｅｇにおいてユーザによりダイジェスト動画像が指定されるまで待ち受ける。具体的にＣＰＵ１１０は、入力部１１３のタッチパネルを介して、ユーザによりダイジェスト行Ｌｄがタッチ操作されることにより、ユーザに当該ダイジェスト行Ｌｄに対応するダイジェスト動画像が指定されたと認識するようになっている。
【０３７９】
そしてユーザによりダイジェスト動画像が指定されると、このステップＳＰ６１において肯定結果を得て、ＣＰＵ１１０は、次のステップＳＰ６２に移る。
【０３８０】
ステップＳＰ６２においてＣＰＵ１１０は、ユーザにより指定されたダイジェスト動画像に施すエフェクト処理を設定するエフェクト設定処理を行う。尚、ＣＰＵ１１０は、当該ダイジェスト動画像を構成する全ての要素画像において、要素画像ごとにエフェクト設定処理を行うようになっている。
【０３８１】
図２９に、このエフェクト設定処理の手順（これをエフェクト設定処理手順とも呼ぶ）ＳＲＴ７を示す。ＣＰＵ１１０は、エフェクト設定処理を開始すると、このエフェクト設定処理手順ＳＲＴ７のステップＳＰ７００に移る。
【０３８２】
ステップＳＰ７００においてＣＰＵ１１０は、当該要素画像に対して顔検出処理を行い、検出した顔ごとに顔座標及び顔サイズを顔検出情報として得る。そしてＣＰＵ１１０は、顔検出情報を元に、要素画像から人物の顔領域を検出顔画像として切り出して上述した個人識別処理を行う。
【０３８３】
そしてＣＰＵ１１０は、個人識別処理の結果と、ダイジェスト動画像と対応付けられて記憶されている主人公リストとに基づいて、当該要素画像に主人公が写っているか否かを判別する。
【０３８４】
このステップＳＰ７００において否定結果が得られると、ＣＰＵ１１０は、次のステップＳＰ７０１に移る。ステップＳＰ７０１においてＣＰＵ１１０は、当該要素画像に対して何のエフェクト処理も行わないよう設定して、エフェクト設定処理を終了する。
【０３８５】
一方ステップＳＰ７００において肯定結果が得られると、ＣＰＵ１１０は、次のステップＳＰ７０２に移る。
【０３８６】
ステップＳＰ７０２においてＣＰＵ１１０は、要素画像に写っている主人公ｉ側から見た、主人公ｉと、当該要素画像に写っている他の人物ｊとの過去親密度Ｃ（ｇｒａｐｈ）［ｉ，ｊ］を人間関係グラフＨｇから取得する。そしてＣＰＵ１１０は、Ｃ（ｇｒａｐｈ）［ｉ，ｊ］が所定閾値（例えば＋１０など）以上の人物ｊを主人公ｉと親密度の高い人物として認識する。そしてＣＰＵ１１０は、要素画像に、主人公又は主人公と親密度の高い人物が合わせて所定人数（例えば３人）以上写っているか否かを判別する。
【０３８７】
このステップＳＰ７０２において否定結果が得られると、このときＣＰＵ１１０は次のステップＳＰ７０３に移る。
【０３８８】
ステップＳＰ７０３においてＣＰＵ１１０は、要素画像に写っている人物が所定人数（例えば５人）以上写っているか否かを判別する。
【０３８９】
このステップＳＰ７０３において肯定結果が得られると、このときＣＰＵ１１０はステップＳＰ７０４に移る。
【０３９０】
またステップＳＰ７０２において主人公又は主人公と親密度の高い人物が合わせて所定人数以上写っていることより肯定結果が得られると、このときＣＰＵ１１０は、ステップＳＰ７０４に移る。
【０３９１】
ステップＳＰ７０４においてＣＰＵ１１０は、要素画像に対して、主人公にズームインするようなエフェクト処理（これをズームインエフェクトとも呼ぶ）を行うよう設定する。
【０３９２】
具体的にズームインエフェクトでは、最終的に主人公の顔領域の総面積が、要素画像の面積に対して一定の割合（例えば１０％程度）となるように、要素画像の拡大倍率が決定される。そしてズームインエフェクトでは、このようにして決定された拡大倍率に向かって、要素画像を順次拡大していくようになっている。
【０３９３】
そしてこのようなズームインエフェクトの結果、図３０に示すように、ディスプレイ１１４に表示される要素画像の構図が、要素画像に対して一定の大きさで主人公を捉えた構図となる。これによりＤＳＣ１００は、要素画像を再生する際に、当該要素画像に写っている人物が比較的多い場合などにも主人公を際立たせることができるようになっている。
【０３９４】
このようにＣＰＵ１１０は、主人公又は主人公と親密度が高い人物が合わせて所定人数以上の場合、又は要素画像に写っている人物が所定人数以上の場合は、主人公に対するズームインエフェクトを設定する。そしてＣＰＵ１１０は、エフェクト設定処理手順ＳＲＴ７を終了する。
【０３９５】
一方ステップＳＰ７０３において要素画像に写っている人物が所定人数以下であることより否定結果が得られると、ＣＰＵ１１０は次のステップＳＰ７０５に移る。
【０３９６】
ステップＳＰ７０５においてＣＰＵ１１０は、顔検出情報に基づいて、主人公又は主人公と親密度が高い人物において各人物間の距離が所定閾値以内か否かを判別することにより当該距離が近いか否かを判別する。
【０３９７】
このステップＳＰ７０５において肯定結果が得られると、ＣＰＵ１１０は、次のステップＳＰ７０６に移る。
【０３９８】
ステップＳＰ７０６においてＣＰＵ１１０は、図３１に示すように、主人公又は主人公と親密度が高い人物の顔領域をそれぞれ囲む略円状の領域外の明度を下げるようなエフェクト処理（これを強調エフェクトとも呼ぶ）を設定する。これによりＤＳＣ１００は、要素画像を再生する際に、主人公や主人公と親密度が高い人物を際立たせることができるようになっている。
【０３９９】
このようにＣＰＵ１１０は、主人公又は主人公と親密度が高い人物において各人物間の距離が近い場合には、強調エフェクトを設定して、エフェクト設定処理手順ＳＲＴ７を終了する。
【０４００】
一方ステップＳＰ７０５において否定結果が得られると、ＣＰＵ１１０は、次のステップＳＰ７０７に移る。
【０４０１】
ステップＳＰ７０７においてＣＰＵ１１０は、要素画像に写っている主人公又は主人公と親密度が高い人物において、一人ずつ順にズームインし、その間にズームアウトを挟むようなエフェクト処理を設定する。尚、このようなエフェクト処理をズームイン＆ズームアウトエフェクトとも呼ぶ。
【０４０２】
具体的に、ズームイン＆ズームアウトエフェクトでは、図３２に示すように、主人公又は主人公と親密度が高い人物において、まず例えば左端の人物に対してズームインしていく。その後、いったんズームアウトして要素画像の全体を写し、さらに次の主人公又は主人公と親密度が高い人物に対してズームインしていく。このような処理を要素画像に写っている全ての主人公又は主人公と親密度が高い人物のズームインが終わるまで繰り返す。これによりＤＳＣ１００は、要素画像を再生する際に、当該要素画像において主人公や主人公と親密度が高い人物間の距離が遠い場合でも、主人公や主人公と親密度が高い人物を際立たせることができるようになっている。
【０４０３】
このようにＣＰＵ１１０は、主人公又は主人公と親密度が高い人物において各人物間の距離が遠い場合には、ズームイン＆ズームアウトエフェクトを設定して、エフェクト設定処理手順ＳＲＴ７を終了する。
【０４０４】
このようなエフェクト設定処理手順ＳＲＴ７によりＣＰＵ１１０は、各要素画像に対して、主人公又は主人公と親密度の高い人物を際立たせるようなエフェクト処理を設定するようになっている。
【０４０５】
そしてＣＰＵ１１０は、ユーザにより指定されたダイジェスト動画像を構成する全ての要素画像においてこのエフェクト設定処理を終了すると、ダイジェスト再生処理手順ＲＴ４において次のステップＳＰ６３（図２７）に移る。
【０４０６】
ステップＳＰ６３においてＣＰＵ１１０は、このようにして設定されたエフェクト処理を、画像処理部１１７を介して要素画像に施したのち、表示制御部１１８を介してディスプレイ１１４に送り、ダイジェスト再生処理手順ＲＴ４を終了する。この結果、ディスプレイ１１４に主人公又は主人公と親密度の高い人物を際立たせるエフェクト処理が施されたダイジェスト動画像が表示される。
【０４０７】
このようなダイジェスト再生処理手順ＲＴ４により、ＣＰＵ１１０は、主人公又は主人公と親密度の高い人物を際立たせるエフェクト処理を施しながらダイジェスト動画像を再生するようになっている。
【０４０８】
因みに、このダイジェスト動画像の再生は、ＣＰＵ１１０がダイジェスト再生プログラムを実行することで実現される機能である。ここで、このダイジェスト再生プログラムの実行に直接関与するハードウェアとデータについて説明する。
【０４０９】
図２６に示すように、ダイジェスト再生プログラムＳｐは、ＲＯＭ１１１に格納されている。このダイジェスト再生プログラムＳｐは、ＲＡＭ１１２に展開された後、ＣＰＵ１１０に読み込まれるようになっている。
【０４１０】
またダイジェスト再生プログラムＳｐの実行に必要なデータは、記憶媒体１２０に記憶されている。このデータは、上述した人間関係グラフＨｇの人物属性テーブルＴｂ１及び親密度テーブルＴｂ２、顔辞書Ｆｄの顔辞書テーブルＴｂ３、顔画像ファイルＦｐ、ダイジェスト動画像ファイルＤｉ、主人公リストＬｈなどである。
【０４１１】
これらのデータは、適宜、記憶媒体制御部１１９を介してＲＡＭ１１２に展開された後、ＣＰＵ１１０により読み込まれるようになっている。
【０４１２】
具体的に、ＣＰＵ１１０は、ダイジェスト再生プログラムＳｐをＲＡＭ１１２から読み込んで実行することで、各部を制御して上述したダイジェスト動画像の再生を行う。このときＣＰＵ１１０は、必要なデータを、記憶媒体制御部１１９を介して記憶媒体１２０から読み込み、更新したデータについては、記憶媒体制御部１１９を介して記憶媒体１２０に書き戻す。
【０４１３】
このようにＣＰＵ１１０は、ダイジェスト再生プログラムＳｐを実行するうえで、プログラム及びデータの読み込み、プログラムの実行、プログラム実行結果（例えば更新したデータ）の出力を担うようになっている。
【０４１４】
［１−２−５．ＤＳＣの機能構成］
次に、ダイジェスト作成プログラム及びダイジェスト再生プログラムを実行したときのＣＰＵ１１０のソフトウェア的な機能構成について図３３を用いて説明する。
【０４１５】
ＣＰＵ１１０は、ダイジェスト作成プログラムを実行することにより、複数の画像（例えばユーザにより指定されたイベントの画像）Ｐｉにおいて、ダイジェスト動画像の構成単位となる要素画像Ｙｉを設定する要素画像設定部２０１として機能する。
【０４１６】
またＣＰＵ１１０は、設定された要素画像Ｙｉから人物を検出して、この人物の情報（検出人物情報）を要素画像テーブルＴｂ４に記載する人物検出部２０２として機能する。
【０４１７】
さらにＣＰＵ１１０は、人物検出部２０２により検出した人物を示す人物アイコンＦｉを並べて表示させる主人公指定画面Ａｇを、表示制御部１１８を介して表示部としてのディスプレイ１１４に表示させる画面表示制御部２０３として機能する。
【０４１８】
さらにＣＰＵ１１０は、入力部１１３を介してダイジェスト動画像の主人公が指定されると、複数の要素画像Ｙｉの中からダイジェスト動画像を作成するための要素画像Ｙｉを抽出する画像抽出部２０４として機能する。
【０４１９】
さらにＣＰＵ１１０は、画像抽出部２０４により抽出された要素画像Ｙｉを結合することによりダイジェスト動画像Ｄｉを作成し、当該ダイジェスト動画像Ｄｉを記録する画像編集記録部２０５として機能する。
【０４２０】
さらにＣＰＵ１１０は、記憶媒体制御部１１９を介して記憶媒体１２０へのデータの読み書きを制御するデータアクセス部２０６として機能する。データアクセス部２０６は、要素画像設定部２０１、人物検出部２０２、画面表示制御部２０３、画像抽出部２０４、画像編集記録部２０５と、記憶媒体制御部１１９との間で、記憶媒体１２０に記憶されているデータの授受を行う。
【０４２１】
このような機能構成により、ＣＰＵ１１０は、上述したダイジェスト動画像の作成を実現するようになっている。
【０４２２】
またＣＰＵ１１０は、ダイジェスト再生プログラムを実行することにより、入力部１１３を介して再生するよう指示されたダイジェスト動画像Ｄｉに対して施すエフェクト処理を設定するエフェクト処理設定部２０７として機能する。
【０４２３】
さらにＣＰＵ１１０は、エフェクト処理設定部２０７により設定されたエフェクト処理をダイジェスト動画像Ｄｉに対して画像処理部１１７を介して施すエフェクト処理部２０８として機能する。
【０４２４】
さらにＣＰＵ１１０は、記憶媒体制御部１１９を介して記憶媒体１２０へのデータの読み書きを制御するデータアクセス部２０６として機能する。データアクセス部２０６は、エフェクト処理設定部２０７及びエフェクト処理部２０８と、記憶媒体制御部１１９との間で、記憶媒体１２０に記憶されているデータの授受を行う。
【０４２５】
このような機能構成により、ＣＰＵ１１０は、上述したダイジェスト動画像の再生を実現するようになっている。
【０４２６】
［１−２−６．動作及び効果］
以上の構成においてＤＳＣ１００は、入力部１１３を介してダイジェスト動画像の元となる画像（静止画像又は動画像）のグループとしてイベントが指定されると、当該イベントの画像からダイジェスト動画像の構成単位となる要素画像を設定する。
【０４２７】
そしてＤＳＣ１００は、設定した要素画像から人物を検出すると、検出した人物の中からダイジェスト動画像における主要な人物である主人公を指定させるための主人公指定画面Ａｇをディスプレイ１１４に表示させる。
【０４２８】
ＤＳＣ１００は、この主人公指定画面Ａｇにおいて、ユーザにより入力部１１３を介してダイジェスト動画像の主人公が指定されると、要素画像ごとに抽出優先度を算出する。
【０４２９】
このときＤＳＣ１００は、人間関係グラフＨｇに記載されている、当該主人公に関する人間関係情報（当該主人公と他の人物との親密度など）を用いてこの抽出優先度を算出するようになっている。尚この抽出優先度は、当該主人公と関係性のある人物が写っている要素画像ほど高くなるように算出される。
【０４３０】
そしてＤＳＣ１００は、当該抽出優先度に基づいてダイジェスト動画像を構成する要素画像を抽出し、当該抽出した要素画像をつなぎあわせることによりダイジェスト動画像を作成する。ＤＳＣ１００は、このダイジェスト動画像を記憶媒体１２０に記憶させる。これによりこのダイジェスト動画像が再生されると、当該抽出した要素画像が連続して再生されることとなる。
【０４３１】
このようにＤＳＣ１００は、ユーザにより指定されたイベントにおける複数の画像の中から、ユーザにより指定された主人公と関係性の高い人物が写っている画像を抽出して結合するようにした。
【０４３２】
こうすることでＤＳＣ１００は、ユーザに煩雑な操作を行わせることなく、ユーザにより指定された主人公と関係性の高い人物が写っている画像を再生させることができる。すなわちＤＳＣ１００は、ユーザに、煩雑な操作を行わせることなく、ユーザにとって有用で価値のある画像を確認させることができる。
【０４３３】
またＤＳＣ１００は、ユーザにより指定された主人公と検出した他の人物との過去の親密度（人間関係グラフＨｇに記載されている親密度）と、要素画像内の親密度（画像親密度）とを用いて、抽出優先度を算出するようにした。
【０４３４】
具体的にＤＳＣ１００は、ユーザにより指定された主人公と検出した他の人物との過去親密度が高いほど、当該人物が写っている要素画像の抽出優先度を高くするようにした。こうすることでＤＳＣ１００は、ユーザにより指定された主人公との過去親密度が高い人物が写っている要素画像を優先的に抽出することができる。
【０４３５】
またＤＳＣ１００は、ユーザにより指定された主人公と検出した他の人物との画像親密度が高いほど、当該人物が写っている要素画像の抽出優先度を高くするようにした。こうすることでＤＳＣ１００は、ユーザにより指定された主人公との要素画像内の親密度が高い人物が写っている要素画像を優先的に抽出することができる。
【０４３６】
さらにＤＳＣ１００は、入力部１１３を介して指定された主人公の要素画像における顔の面積の割合が高いほど、当該要素画像の抽出優先度を高くするようにした。こうすることでＤＳＣ１００は、入力部１１３を介して指定された主人公がより大きく写っている要素画像を優先的に抽出することができる。
【０４３７】
さらにＤＳＣ１００は、入力部１１３を介して指定された主人公の笑顔度が高いほど、当該要素画像の抽出優先度を高くするようにした。こうすることでＤＳＣ１００は、入力部１１３を介して指定された主人公が笑顔で写っている要素画像を優先的に抽出することができる。
【０４３８】
またＤＳＣ１００は、抽出する要素画像の再生時間の合計値が、入力部１１３を介して指定されたダイジェスト動画像の総再生時間を越えない最大の値となるよう、要素画像を抽出するための抽出優先度の閾値を設定する。そしてＤＳＣ１００は、当該閾値以上の抽出優先度である要素画像を抽出して結合することによりダイジェスト動画像を作成するようにした。
【０４３９】
こうすることでＤＳＣ１００は、ユーザにより指定された主人公と関係性の高い人物が写っており且つユーザの所望に合った総再生時間のダイジェスト動画像を作成することができる。ＤＳＣ１００は、例えばユーザにより短めの総再生時間が指定された場合は、抽出優先度が特に高い画像をまとめたダイジェスト動画像を作成することができる。またＤＳＣ１００は、例えばユーザにより長めの総再生時間が指定された場合は、抽出優先度がある程度高い画像までを含めたダイジェスト動画像を作成することができる。
【０４４０】
またＤＳＣ１００は、主人公指定画面Ａｇ上に、検出された人物を示す人物アイコンＦｉを並べて表示させる。このときＤＳＣ１００は、ユーザにより指定されたイベントの画像における各人物が写っている画像の枚数をもとに各人物の表示優先度を算出し、当該表示優先度が高い順に人物アイコンＦｉを左から右に並べて表示させるようにした。
【０４４１】
こうすることでＤＳＣ１００は、ユーザにより指定されたイベントの画像において主要な被写体である人物がどれかをユーザに通知することができる。
【０４４２】
さらにＤＳＣ１００は、この主人公指定画面Ａｇにおいて、入力部１１３を介して人物アイコンＨｇに対する選択操作（つまりタッチ操作）が行われると、当該人物アイコンＨｇが示す人物をダイジェスト動画像の主人公候補として選択する。このときＤＳＣ１００は、人間関係グラフＨｇに記載されている、当該選択操作が行われた人物アイコンＦｉが示す人物とその他の人物アイコンＨｇが示す人物との親密度に基づいて、人物アイコンＦｉを並び替える。
【０４４３】
こうすることでＤＳＣ１００は、主人公候補と親密度の高い順に人物アイコンＦｉを並べることができるので、主人公候補と親密度の高い人物がどれかをユーザに通知することができる。
【０４４４】
またＤＳＣ１００は、主人公指定画面Ａｇ上に、検出された人物が所属するグループを示すグループアイコンＧｉを並べて表示させる。ＤＳＣ１００は、グループアイコンＧｉを主人公候補として選択している状態で決定ボタンＣｂがタッチ操作されると、すなわちグループアイコンＧｉに対する選択決定操作が行われると、当該グループアイコンＧｉが指定されたと認識する。そしてＤＳＣ１００は、検出された人物のうち当該指定されたグループアイコンＧｉが示すグループに所属している全ての人物がダイジェスト動画像の主人公として指定されたと認識するようにした。
【０４４５】
こうすることでＤＳＣ１００は、ダイジェスト動画像の主人公となる人物を複数人まとめてユーザに指定させることができるので、ダイジェスト動画像の主人公を指定させる操作におけるユーザの手間を軽減することができる。
【０４４６】
またＤＳＣ１００は、記憶媒体１２０に記憶させたダイジェスト動画像を再生する際に、人間関係グラフＨｇから、ダイジェスト動画像の主人公と当該ダイジェスト動画像から検出された他の人物との親密度を取得する。ＤＳＣ１００は、この親密度をもとに、ダイジェスト動画像の主人公と親密度の高い人物を検出する。
【０４４７】
そしてＤＳＣ１００は、ダイジェスト動画像の主人公や当該主人公と親密度の高い人物が際立つようなエフェクト処理を設定して当該ダイジェスト動画像に施し、当該エフェクト処理を施したダイジェスト動画像を再生させる。
【０４４８】
こうすることでＤＳＣ１００は、ダイジェスト動画像において、その主人公や当該主人公と親密度の高い人物を印象的に再生することができるので、ユーザにとって一段と有用な画像をユーザに確認させることができる。
【０４４９】
またＤＳＣ１００は、記録した画像から、記録対象人物同士の親密度を算出して、この親密度を、人間関係グラフＨｇにフィードバックすることで、人間関係グラフＨｇを更新する。こうすることでＤＳＣ１００は、ユーザの手を煩わすことなく、画像を記録するごとに、自動的に人間関係グラフＨｇを更新することができる。
【０４５０】
以上の構成によれば、ＤＳＣ１００は、ユーザによりダイジェスト動画像の主人公が指定されると、当該主人公に関する人間関係情報を用いて、複数の画像の中からダイジェスト動画像を構成する画像を抽出するようにした。これにより、ＤＳＣ１００は、ユーザに煩雑な操作を行わせることなく、複数の画像の中から、ユーザにより指定された人物と関係性が高い人物（例えばユーザと仲の良い人物）が写っている画像を抽出してダイジェスト動画像を作成することができる。かくしてＤＳＣ１００は、当該ダイジェスト動画像を再生するだけで、ユーザに煩雑な操作を行わせることなくユーザにとって有用な画像を確認させることができる。
【０４５１】
＜２．他の実施の形態＞
［２−１．他の実施の形態１］
尚、上述した実施の形態では、ＤＳＣ１００が、自動的に人間関係グラフＨｇを更新するようにした。これに限らず、更新された人間関係グラフＨｇをユーザが編集できるようにしてもよい。この場合、ＣＰＵ１１０は、人間関係グラフＨｇの人物属性テーブルＴｂ１と親密度テーブルＴｂ２とをディスプレイ１１４に表示させ、入力部１１３の操作に応じてこれらに記載された内容を更新する。同様に、顔辞書Ｆｄについても、ユーザが編集できるようにしてもよい。
【０４５２】
［２−２．他の実施の形態２］
また、上述した実施の形態では、ＤＳＣ１００が、動画像も静止画像と同様１つの画像として扱い、例えば、自動撮影モードで動画像を記録した場合、画像の記録枚数を現在の値＋１と更新するようにした。これに限らず、動画像を複数の画像として扱うようにしてもよい。
【０４５３】
例えば、動画像を記録した場合に、この動画像に、或る人物が含まれるフレームがＮ個あったとする。この場合、ＤＳＣ１００は、この人物の画像の記録枚数を現在の値＋Ｎと更新する。このように、動画像を、静止画像（すなわちフレーム）の集合として扱うようにしてもよい。
【０４５４】
［２−３．他の実施の形態３］
さらに、上述した実施の形態では、画像を記録したときに、この画像から検出された人物ｉと人物ｊとの親密度を、人間関係グラフＨｇ上で更新するようにした。このとき、ＤＳＣ１００は、記録した画像をもとに算出した画像親密度に、人間関係グラフＨｇに記載されている過去親密度を加えた値を、新たな親密度とするようにした。
【０４５５】
これに限らず、例えば、人間関係グラフＨｇの親密度テーブルＴｂ２に、親密度ごとの更新日時を記載するようにして、この更新日時に基づいて、過去親密度を重み付けするようにしてもよい。
【０４５６】
この場合、人物ｉ側から見た人物ｉと人物ｊとの過去親密度をＣｐａｓｔ［ｉ，ｊ］、画像親密度をＣｐｉｃｔｕｒｅ［ｉ，ｊ］とすると、新たな親密度Ｃｇｒａｐｈ［ｉ，ｊ］は、次式（６）により表される。
【０４５７】
【数６】
2011082915.tif 000008
【０４５８】
ここで、Ｗｐが、過去親密度Ｃｐａｓｔ［ｉ，ｊ］に対して重み付けを行う為の重み付け係数である。この重み付け係数を、過去親密度の更新日時（すなわち人物ｉと人物ｊの直近の撮影日時）が古いほど小さくするようにすれば、親密度を更新するときに、過去親密度に対する重み付けが小さくなる。こうすることで、画像親密度を重視した親密度を得ることができる。
【０４５９】
さらに、これに限らず、画像親密度を重視するか、過去親密度を重視するかに応じて、これらのどちらか一方に対して重み付けを行うようにしてもよい。
【０４６０】
［２−４．他の実施の形態４］
さらに上述した実施の形態では、人間関係グラフＨｇの人物属性テーブルＴｂ１に、性別を人物の属性情報として記載するようにした。ここで、この人物属性テーブルＴｂ１に記載された性別と親密度テーブルＴｂ２に記載された親密度を参照すれば、各人物が男性と女性のどちらと親密度が高い傾向にあるかを判別することができる。
【０４６１】
そのうえで、例えば主人公ｊ及び人物ｋの組における要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］の算出時に、主人公ｊが男性と親密度が高い傾向にあるならば、人物ｋが男性である場合に、女性である場合よりも抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］を高くするようにする。
【０４６２】
このようにすれば、ＤＳＣ１００は、ユーザにより指定された主人公と一段と親密度の高い人物が写っている画像を抽出できるので、ユーザにとって一段と有用な画像を集めたダイジェスト動画像を作成することができる。
【０４６３】
さらに、人物の性別に限らず、人物の年代（例えば２０代）を人物属性テーブルＴｂ１に記載するようにしてもよい。
【０４６４】
こうすることで、性別と同様、各人物がどの年代と親密度が高い傾向にあるかを判別することができる。
【０４６５】
そして性別と同様に、主人公ｊ及び人物ｋの組における要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］の算出にこの年代を利用すれば、ユーザにとって一段と有用な画像を集めたダイジェスト動画像を作成することができる。
【０４６６】
このように、主人公ｊ及び人物ｋの組における要素画像ｉの抽出優先度Ｈ（ｃｈａｒａｃｔｅｒ）［ｉ，ｊ，ｋ］の算出時に、人物属性テーブルＴｂ１に記載された属性情報を利用するようにしてもよい。
【０４６７】
尚、各人物の年代も、性別と同様、顔画像から判別するようにすればよい。実際、
顔画像から人物の年代を判別する方法については、種々のアルゴリズムが知られている。例えば、顔画像から、顔の形状や色、髪型、皺、目や口の位置などの複数の特徴量を検出する。さらにこれら複数の特徴量を所定数のグループに分類して、グループごとに、予め用意された年代ごとの特徴量と比較することで年代を判別する。そしてグループごとに判別された年代のうち、例えば、最も多く判別された年代を、この顔画像の人物の年代と判別する。
【０４６８】
［２−５．他の実施の形態５］
さらに上述した実施の形態では、ユーザにより指定されたイベントにグルーピングされている静止画像及び動画像から、ダイジェスト動画像を構成するための要素画像を設定して、ダイジェスト要素画像を作成するようにした。
【０４６９】
これに限らず、ＣＰＵ１１０は、静止画像のみの集合から人間関係グラフＨｇを用いて静止画像を抽出してダイジェスト動画像を作成するようにしてもよい。またＣＰＵ１１０は、動画像のみの集合から人間関係グラフＨｇを用いて動画像の任意の部分を抽出してダイジェスト動画像を作成するようにしてもよい。
【０４７０】
また上述した実施の形態では、ＣＰＵ１１０は、動画像を所定枚数のフレームごとに切り分けたものを要素画像として設定するようにした。これに限らずＣＰＵ１１０は、動画像の各フレームを要素画像として設定するようにしてもよい。
【０４７１】
［２−６．他の実施の形態６］
さらに上述した実施の形態では、ＣＰＵ１１０は、抽出優先度閾値以上の要素画像の再生時間Ｔｄの合計値が、ユーザにより指定されたダイジェスト動画像の総再生時間Ｔａを越えない最大の値となるよう抽出優先度閾値を設定するようにした。
【０４７２】
これに限らず、ＣＰＵ１１０は、例えば、抽出優先度閾値以上の要素画像の再生時間Ｔｄの合計値と、ユーザにより指定されたダイジェスト動画像の総再生時間Ｔａとの差分が最小値となるように、抽出優先度閾値を設定するようにしてもよい。
【０４７３】
すなわちＣＰＵ１１０は、抽出優先度閾値以上の要素画像の再生時間Ｔｄの合計値が、ユーザにより指定されたダイジェスト動画像の総再生時間Ｔａに適した値になるように抽出優先度閾値を設定すればよい。
【０４７４】
［２−７．他の実施の形態７］
さらに上述した実施の形態では、ダイジェスト動画像の総再生時間Ｔａを、入力部１１３を介してユーザに指定させるようにした。
【０４７５】
これに限らず、ダイジェスト動画像の総再生時間Ｔａは予め固定であってもよいし、ユーザにより指定されたイベントにグルーピングされた画像の枚数などによって動的に設定されるものであってもよい。
【０４７６】
またＣＰＵ１１０は、予め総再生時間を複数設定しておき、複数の総再生時間のそれぞれに応じてダイジェスト動画像を複数作成し、その中から記録したいダイジェスト動画像をユーザに選択させるようにしてもよい。
【０４７７】
［２−８．他の実施の形態８］
さらに上述した実施の形態では、ＣＰＵ１１０は、ダイジェスト動画像において、静止画像である要素画像の再生時間を予め設定しておくようにした。
【０４７８】
これに限らずＣＰＵ１１０は、要素画像ｉの抽出優先度Ｈ［ｉ］に応じて要素画像ｉの再生時間を設定するようにしてもよい。すなわち図３４に示すように、情報処理装置１としてのＤＳＣ１００に、上述した人間関係情報記憶制御部２、人物検出部３、画像抽出部４に加え、再生時間設定部８を設けるようにしてもよい。この再生時間設定部８は、画像抽出部４により抽出された画像ごとに、当該画像の抽出優先度に応じて当該画像の再生時間を設定するようになっており、例えばＤＳＣ１００のＣＰＵ１１０がこの再生時間設定部８として機能する。
【０４７９】
この場合ＤＳＣ１００では、例えば主人公や主人公と関係性の高い人物が写っているとみなされる程度に抽出優先度閾値が予め設定されているとする。そしてＣＰＵ１１０は、抽出優先度閾値以上の要素画像ｉを抽出すると、ユーザにより指定されたダイジェスト動画像の総再生時間に応じて、要素画像ｉの再生時間を設定する。
【０４８０】
例えばＣＰＵ１１０は、要素画像ｉの抽出優先度Ｈ［ｉ］が高いほど当該用度画像ｉの再生時間を長くするように設定し、要素画像ｉの抽出優先度Ｈ［ｉ］が低いほど当該用度画像ｉの再生時間を短くするように設定する。
【０４８１】
これによりＤＳＣ１００は、ダイジェスト動画像を再生する際に、抽出優先度Ｈ［ｉ］の高い要素画像ｉ（例えば主人公及び主人公と親密度の高い人物が一緒に写っている画像）などをより長く再生することができる。ゆえにＤＳＣ１００は、ユーザにとって一段と有用な画像をユーザに確認させることができる。
【０４８２】
［２−９．他の実施の形態９］
さらに上述した実施の形態では、ＣＰＵ１１０は、主人公指定画面Ａｇにおいて、人物アイコンＦｉを人物表示優先度の高い順に左から右に並べて表示させるようにしたが、この他種々の順番で人物アイコンＦｉを表示させるようにしてもよい。
【０４８３】
またＣＰＵ１１０は、主人公指定画面Ａｇにおいて、グループアイコンＧｉをグループ表示優先度の高い順に左から右に並べて表示させるようにしたが、この他種々の順番でグループアイコンＧｉを表示させるようにしてもよい。
【０４８４】
［２−１０．他の実施の形態１０］
さらに上述した実施の形態では、ＣＰＵ１１０は、ユーザにより人物アイコンＦｉに対する選択操作が行われると、当該人物を基準とした表示優先度に基づいた順番で他の人物アイコンＦｉを表示させるようにした。
【０４８５】
これに限らずＣＰＵ１１０は、ユーザによりグループアイコンＧｉに対する選択操作が行われると、当該グループアイコンＧｉが示すグループを基準とした表示優先度で、他のグループアイコンＧｉを並び替えるようにしてもよい。この場合、ＣＰＵ１１０は、選択されたグループに所属する人物と他のグループに所属する人物との過去親密度や画像親密度を用いて、当該グループを基準とした表示優先度を算出するようにすればよい。
【０４８６】
［２−１１．他の実施の形態１１］
さらに上述した実施の形態では、ＣＰＵ１１０は、エフェクト設定処理において、人間関係グラフＨｇに記載されている過去親密度を用いて、主人公と親密度の高い人物を検出するようにした。
【０４８７】
これに限らずＣＰＵ１１０は、エフェクト設定処理において、要素画像における主人公と他の人物との画像親密度を算出し、当該画像親密度に基づいて主人公と親密度の高い人物を検出するようにしてもよい。
【０４８８】
これによりＣＰＵ１１０は、要素画像において主人公と親密度の高い人物（例えば主人公と向かい合っている人物など）を際立たせるようなエフェクトを設定することができる。
【０４８９】
またＣＰＵ１１０は、エフェクト設定処理において、要素画像における主人公と他の人物との過去親密度及び画像親密度の両方を用いて、主人公と親密度の高い人物を検出するようにしてもよい。
【０４９０】
［２−１２．他の実施の形態１２］
さらに上述した実施の形態では、要素画像に対して、ズームインエフェクト、強調エフェクト、ズームイン＆ズームアウトエフェクトのいずれかのエフェクト処理を設定するようにした。
【０４９１】
これに限らずＣＰＵ１１０は、主人公や主人公と親密度の高い人物を際立たせるようなエフェクトであれば、この他種々のエフェクト処理を設定するようにしてもよい。また種々のエフェクト処理を設定する条件も、上述のものに限らず、種々の条件によりエフェクト処理を設定するようにしてもよい。
【０４９２】
例えばＣＰＵ１１０は、主人公と他の人物との親密度に応じてエフェクト処理を設定するようにしてもよい。この場合ＣＰＵ１１０は、例えば、主人公と他の人物との親密度が所定の第１閾値以上の場合はこれらの人物に対して強調エフェクトを設定する。またＣＰＵ１１０は、当該親密度が当該第１閾値よりも高い第２閾値以上の場合は、これらの人物に対してズームインエフェクトを設定する。これによりＤＳＣ１００は、ダイジェスト動画像を再生する際に、主人公との親密度がより高い人物をより際立たせるようにすることができる。
【０４９３】
［２−１３．他の実施の形態１３］
さらに、上述した実施の形態では、人間関係グラフＨｇに記載された親密度を用いて、設定した要素画像の中から、ダイジェスト動画像を作成するための要素画像を抽出するようにした。これに限らず、人物間の関係を表す指標（すなわち関係度）となる情報であれば、親密度以外の情報を用いて、要素画像を抽出するようにしてもよい。
【０４９４】
［２−１４．他の実施の形態１４］
さらに、上述した実施の形態では、ＣＰＵ１１０は、記憶媒体１２０に記憶されている画像の中から人間関係グラフＨｇを用いて抽出した画像を結合してダイジェスト動画像を作成するようにした。これに限らず、ＣＰＵ１１０は、抽出した画像をこの他種々の方法で再生させるようにしてもよい。
【０４９５】
例えばＣＰＵ１１０は、当該抽出した画像を順番に再生させるためのプレイリストを作成し、当該プレイリストに従って当該抽出した画像を再生させるようにしてもよい。また例えば、ＣＰＵ１１０は、当該抽出した画像を一覧で並べた画面をディスプレイ１１４に表示させるようにしてもよい。
【０４９６】
［２−１５．他の実施の形態１５］
さらに、上述した実施の形態では、人間関係グラフＨｇ及び顔辞書Ｆｄのデータを、ＤＳＣ１００の記憶媒体１２０に記憶させるようにした。これに限らず、例えば、ＤＳＣ１００に、フラッシュメモリを設けて、このフラッシュメモリに、人間関係グラフＨｇ及び顔辞書Ｆｄのデータを記憶させるようにしてもよい。
【０４９７】
［２−１６．他の実施の形態１６］
さらに、上述した実施の形態では、情報処理装置としてのＤＳＣ１００に、人間関係情報記憶制御部、人物検出部、画像抽出部、制御部、エフェクト処理設定部、エフェクト処理部としてのＣＰＵ１１０を設けるようにした。
【０４９８】
本発明はこれに限らず、同様の機能を有するのであれば、上述したＤＳＣ１００の各機能部を、他の種々のハードウェアもしくはソフトウェアにより構成するようにしてもよい。
【０４９９】
さらに上述した実施の形態では、ＤＳＣ１００に本発明を適用するようにした。これに限らず、デジタルビデオカメラ、パーソナルコンピュータ、携帯型電話機、ゲーム機など、この他種々の情報処理装置に適用するようにしてもよく、また適用することができる。
【０５００】
［２−１７．他の実施の形態１７］
さらに上述した実施の形態では、各種処理を実行するためのプログラムを、ＤＳＣ１００のＲＯＭ１１１に書き込んでおくようにした。
【０５０１】
これに限らず、このプログラムを例えば記憶媒体１２０に書き込んでおき、ＤＳＣ１００のＣＰＵ１１０が、このプログラムを記憶媒体１２０から読み出して実行するようにしてもよい。またＤＳＣ１００に、フラッシュメモリと、ネットワーク通信部を設けて、このプログラムを、ネットワーク通信部を介してダウンロードしてフラッシュメモリにインストールするようにしてもよい。
【０５０２】
［２−１８．他の実施の形態１８］
さらに本発明は、上述した実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。
【０５０３】
さらに上述した実施の形態と他の実施の形態は一例であり、本発明の要旨を逸脱しない範囲であれば、この他、種々の形態に本発明を適用するようにしてもよく、また適用することができる。
【産業上の利用可能性】
【０５０４】
本発明は、例えばデジタルスチルカメラやデジタルビデオカメラなどの情報処理装置で広く利用することができる。
【符号の説明】
【０５０５】
１……情報処理装置、２……人間関係情報記憶制御部、３……人物検出部、４……画像抽出部、５……エフェクト処理設定部、６……エフェクト処理部、７……制御部、８……再生時間設定部、１００……ＤＳＣ（デジタルスチルカメラ）、１１０……ＣＰＵ、１１１……ＲＯＭ、１１２……ＲＡＭ、１１３……入力部、１１４……ディスプレイ、１１７……画像処理部、１１８……表示制御部、１１９……記憶媒体制御部、１２０……記憶媒体。
【図１】
2011082915.tif 000009
【図２】
2011082915.tif 000010
【図３】
2011082915.tif 000011
【図４】
2011082915.tif 000012
【図５】
2011082915.tif 000013
【図６】
2011082915.tif 000014
【図７】
2011082915.tif 000015
【図８】
2011082915.tif 000016
【図９】
2011082915.tif 000017
【図１０】
2011082915.tif 000018
【図１１】
2011082915.tif 000019
【図１２】
2011082915.tif 000020
【図１３】
2011082915.tif 000021
【図１４】
2011082915.tif 000022
【図１５】
2011082915.tif 000023
【図１６】
2011082915.tif 000024
【図１７】
2011082915.tif 000025
【図１８】
2011082915.tif 000026
【図１９】
2011082915.tif 000027
【図２０】
2011082915.tif 000028
【図２１】
2011082915.tif 000029
【図２２】
2011082915.tif 000030
【図２３】
2011082915.tif 000031
【図２４】
2011082915.tif 000032
【図２５】
2011082915.tif 000033
【図２６】
2011082915.tif 000034
【図２７】
2011082915.tif 000035
【図２８】
2011082915.tif 000036
【図２９】
2011082915.tif 000037
【図３０】
2011082915.tif 000038
【図３１】
2011082915.tif 000039
【図３２】
2011082915.tif 000040
【図３３】
2011082915.tif 000041
【図３４】
2011082915.tif 000042