(57)【要約】【課題】枚数の制限に合わせて、撮影された画像を適切な枚数にグループ分けする。【解決手段】クラスタリング部９１は、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし、グループ作成部１０１は、二分木構造において、ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードの２つの子ノードに対応するクラスタに含まれる画像どうしの距離が所定の閾値以下となる場合、２つの子ノードに対応するクラスタそれぞれに含まれる画像のグループであって、そのグループに含まれる画像の枚数が所定の制限枚数以下であるグループを作成する。本発明は、例えば、HDDレコーダなどの画像やコンテンツを記録または再生する情報処理装置に適用することができる。【選択図】図３
2008269076.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングするクラスタリング手段と、
前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するグループ作成手段と
を備える情報処理装置。
【請求項２】
前記メタデータは、前記画像が撮影された撮影時刻を示し、
前記クラスタリング手段は、前記複数の画像のそれぞれの撮影時刻に基づいて、前記撮影時刻の時間間隔のより小さい前記画像どうしをより強く結び付けるように、前記複数の画像を、前記二分木構造のノードに対応する前記クラスタにクラスタリングし、
前記グループ作成手段は、前記二分木構造において、前記ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードが有する前記２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの前記撮影時刻の時間間隔が前記閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が前記制限枚数以下であるグループを作成する
請求項１に記載の情報処理装置。
【請求項３】
前記閾値は、前記グループに含まれる前記画像を前記撮影時刻の順に並べたときに、隣接する前記画像どうしの前記撮影時刻の時間間隔として許容される最大値として設定された値である
請求項２に記載の情報処理装置。
【請求項４】
前記グループ作成手段は、注目ノードの左側の子ノードである左ノードに包含されるノードのうちの右端に位置する左側右端ノード、および注目ノードの右側の子ノードである右ノードに包含されるノードのうちの左端に位置する右側左端ノードのそれぞれに割り当てられている前記画像の前記撮影時刻の時間間隔が前記閾値以下となる場合、前記左ノードと前記右ノードとに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が前記制限枚数以下である前記グループを作成する
請求項２に記載の情報処理装置。
【請求項５】
前記グループ作成手段は、
注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が、前記制限枚数以下であるかを判定し、
注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードを新たな注目ノードとして、その新たな注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下であるかを判定し、
注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードと、注目ノードの前記２つの子ノードのうちの他の１つの子ノードの下位階層のノードとに対応する前記クラスタそれぞれに含まれる前記画像の枚数の和が制限枚数以下となる画像のグループを作成する
請求項２に記載の情報処理装置。
【請求項６】
複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし、
前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成する
ステップを含む情報処理方法。
【請求項７】
複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングするクラスタリング手段と、
前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するグループ作成手段と
を備える情報処理装置として、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、例えば、撮影された画像を適切な枚数にグループ分けすることができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、HDD（Hard Disk Drive）レコーダやパーソナルコンピュータなどの機器において、記録されているコンテンツを分類するために、様々なクラスタリングの技術が提案されている。この技術を用いて、記録されている画像を分類して、銀塩カメラで撮影された写真のアルバムのようなコンテンツを作成することが考えられる。
【０００３】
銀塩カメラで撮影された写真をアルバムに保存する場合、例えば、イベント毎、撮影された場所毎、日付毎にアルバムを分けたり、ページを分けたりして写真を保存することができる。ユーザは、それぞれのページに、イベント、場所、日付などが近い写真を、そのページの大きさや写真の枚数に応じて配置することができる。
【０００４】
そこで、HDDレコーダやパーソナルコンピュータにおいても、銀塩カメラで撮影された写真のアルバムのように、写真や動画などの画像を分類するために、ユーザが目的の画像を容易に探し出すことができるように、画像をクラスタリングするクラスタリング技術が提案されている（例えば、特許文献１参照）。
【０００５】
【特許文献１】特開２００６−３４４００５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、クラスタリングされた画像について、１つのクラスタに含まれる画像の枚数の制限を考慮したものはまだ提案されていない。そのため、クラスタリングされた画像を表示する場合、任意の枚数の画像が表示されることになる。
【０００７】
クラスタリングされた画像は、クラスタ毎に、例えば、撮影時刻の早い順に表示されるが、一画面に表示される画像の枚数に制限がある場合、撮影時刻の間隔が短い画像同士など、一画面に表示された方が望ましいものが、別の画面に表示されてしまうことがある。
【０００８】
図１は、特許文献１に記載のクラスタリング技術によって画像をクラスタリングすることにより得られる二分木構造のクラスタツリーを示している。
【０００９】
図１のクラスタツリーでは、撮影時刻がｔ＝０である画像PIC0、撮影時刻がｔ＝４である画像PIC1、撮影時刻がｔ＝６である画像PIC2、撮影時刻がｔ＝９である画像PIC3、撮影時刻がｔ＝１０である画像PIC4の５枚の画像がクラスタリングされている。
【００１０】
すなわち、図１のクラスタツリーでは、ノードｎ１をルートノード（親ノード（１階層だけ上位階層のノード）を有しないノード）として、そのノードｎ１が、子ノード（１階層だけ下位階層のノード）としてのノードｐ１およびｎ３を有している。
【００１１】
ノードｐ１は、子ノードを有せずに、画像が割り当てられるノード（リーフノード）であり、リーフノードであるノードｐ１には、画像PIC0が割り当てられている。
【００１２】
ノードｎ３は、子ノードとしてのノードｐ２およびｎ４を有しており、ノードｎ２は、子ノードとしてのノードｐ２およびｐ３を有し、ノードｎ４は、子ノードとしてのノードｐ４およびｐ５を有している。
【００１３】
ノードｐ２，ｐ３，ｐ４，ｐ５は、いずれも、リーフノードであり、ノードｐ２，ｐ３，ｐ４，ｐ５には、画像PIC1，PIC2，PIC3，PIC4がそれぞれ割り当てられている。
【００１４】
なお、クラスタツリーにおいて、ノードは、クラスタに対応し、あるノードｎに対応するクラスタには、そのノードｎを、直接的または間接的に上位階層のノードとするリーフノード（ノードｎがリーフノードである場合には、そのノードｎ）に割り当てられている画像が属する（含まれる）。
【００１５】
したがって、図１のクラスタツリーにおいて、例えば、リーフノードｐ１に対応するクラスタには、そのリーフノードｐ１に割り当てられている画像PIC0が属する。
【００１６】
また、例えば、ノードｎ２に対応するクラスタには、そのノードｎ２を親ノードとするノードｐ２に割り当てられている画像PIC1と、やはり、ノードｎ２を親ノードとするノードｐ３に割り当てられている画像PIC2とが属する。
【００１７】
さらに、例えば、ノードｎ４に対応するクラスタには、そのノードｎ４を親ノードとするノードｐ４に割り当てられている画像PIC3と、やはり、ノードｎ４を親ノードとするノードｐ５に割り当てられている画像PIC4とが属する。
【００１８】
ここで、以下、適宜、ノードｎに対応するクラスタをクラスタｎとも記載する。
【００１９】
図１に示されるようにクラスタリングされた画像PIC0乃至PIC4が、１つのクラスタに含まれる画像の枚数の制限（一画面に表示される画像の枚数の制限）を、例えば３枚として表示される場合、画像PIC0乃至PIC4の５枚の画像は、含まれる画像が３枚以内のクラスタ毎、すなわち画像PIC0を含むクラスタｐ１、画像PIC1およびPIC2を含むクラスタｎ２、並びに画像PIC3およびPIC4を含むクラスタｎ４の３つのクラスタ毎に表示される。すなわち、５枚の画像PIC0乃至PIC4は、１枚と２枚と２枚との３つの画面（ページ）に分けて表示される。
【００２０】
しかしながら、画像PIC0乃至PIC4が、１つのクラスタに含まれる画像の枚数の制限を３枚として表示される場合には、例えば、３枚と２枚との２つのページに分けて表示された方が好ましいことがある。
【００２１】
本発明は、このような状況に鑑みてなされたものであり、枚数の制限に合わせて、撮影された画像を適切な枚数にグループ分けすることができるようにするものである。
【課題を解決するための手段】
【００２２】
本発明の一側面の情報処理装置、またはプログラムは、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングするクラスタリング手段と、前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するグループ作成手段とを備える情報処理装置、または情報処理装置として、コンピュータを機能させるプログラムである。
【００２３】
前記メタデータが、前記画像が撮影された撮影時刻を示す場合、前記クラスタリング手段には、前記複数の画像のそれぞれの撮影時刻に基づいて、前記撮影時刻の時間間隔のより小さい前記画像どうしをより強く結び付けるように、前記複数の画像を、前記二分木構造のノードに対応する前記クラスタにクラスタリングさせ、前記グループ作成手段には、前記二分木構造において、前記ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードが有する前記２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの前記撮影時刻の時間間隔が前記閾値以下となるときに、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が前記制限枚数以下であるグループを作成させることができる。
【００２４】
前記閾値は、前記グループに含まれる前記画像を前記撮影時刻の順に並べたときに、隣接する前記画像どうしの前記撮影時刻の時間間隔として許容される最大値として設定された値とされる。
【００２５】
前記グループ作成手段には、注目ノードの左側の子ノードである左ノードに包含されるノードのうちの右端に位置する左側右端ノード、および注目ノードの右側の子ノードである右ノードに包含されるノードのうちの左端に位置する右側左端ノードのそれぞれに割り当てられている前記画像の前記撮影時刻の時間間隔が前記閾値以下となる場合、前記左ノードと右ノードとに対応する前記クラスタそれぞれに含まれる前記画像の前記グループであって、その前記グループに含まれる前記画像の枚数が前記制限枚数以下である前記グループを作成させることができる。
【００２６】
前記グループ作成手段には、注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が、前記制限枚数以下であるかを判定させ、注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードを新たな注目ノードとして、その新たな注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下であるかを判定させ、注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードと、注目ノードの前記２つの子ノードのうちの他の１つの子ノードの下位階層のノードとに対応する前記クラスタそれぞれに含まれる前記画像の枚数の和が制限枚数以下となる画像のグループを作成させることができる。
【００２７】
本発明の一側面の情報処理方法は、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし、前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するステップを含む。
【００２８】
本発明の一側面においては、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の画像どうしをより強く結び付けるように、複数の画像が、二分木構造のノードに対応するクラスタにクラスタリングされ、二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応するクラスタに含まれる画像どうしの距離が所定の閾値以下となる場合、２つの子ノードに対応するクラスタそれぞれに含まれる画像のグループであって、そのグループに含まれる画像の枚数が所定の制限枚数以下であるグループが作成される。
【発明の効果】
【００２９】
以上のように、本発明の一側面によれば、画像をグループ分けすることができ、特に、例えば、枚数の制限に合わせて、撮影された画像を適切な枚数にグループ分けすることができる。
【発明を実施するための最良の形態】
【００３０】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３１】
本発明の一側面の情報処理装置、またはプログラムは、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングするクラスタリング手段（例えば、図３のクラスタリング部９１）と、前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するグループ作成手段（例えば、図３のグループ作成部１０１）とを備える情報処理装置（例えば、図２のHDDレコーダ１）、または情報処理装置として、コンピュータを機能させるプログラムである。
【００３２】
前記メタデータは、前記画像が撮影された撮影時刻を示す場合、前記クラスタリング手段には、前記複数の画像のそれぞれの撮影時刻に基づいて、前記撮影時刻の時間間隔のより小さい前記画像どうしをより強く結び付けるように、前記複数の画像を、前記二分木構造のノードに対応する前記クラスタにクラスタリングさせ（例えば、図１４のステップＳ１３）、前記グループ作成手段には、前記二分木構造において、前記ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードが有する前記２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの前記撮影時刻の時間間隔が前記閾値以下となるときに、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像の前記グループであって、その前記グループに含まれる前記画像の枚数が前記制限枚数以下である前記グループを作成させることができる（例えば、図１８のステップＳ５３、並びに図２０のステップＳ７１およびステップＳ７２）。
【００３３】
前記グループ作成手段には、注目ノードの左側の子ノードである左ノードに包含されるノードのうちの右端に位置する左側右端ノード、および注目ノードの右側の子ノードである右ノードに包含されるノードのうちの左端に位置する右側左端ノードのそれぞれに割り当てられている前記画像の前記撮影時刻の時間間隔が前記閾値以下となる場合、前記左ノードと右ノードとに対応する前記クラスタそれぞれに含まれる前記画像の前記グループであって、その前記グループに含まれる前記画像の枚数が前記制限枚数以下である前記グループを作成させることができる（例えば、図１８のステップＳ５３、並びに図２０のステップＳ７１およびステップＳ７２）。
【００３４】
前記グループ作成手段には、注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が、前記制限枚数以下であるかを判定させ（例えば、図２０のステップＳ７３）、注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードを新たな注目ノードとして、その新たな注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下であるかを判定させ（例えば、図２０のステップＳ７７）、注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードと、注目ノードの前記２つの子ノードのうちの他の１つの子ノードの下位階層のノードとに対応する前記クラスタそれぞれに含まれる前記画像の枚数の和が制限枚数以下となる画像のグループを作成させることができる（例えば、図２０のステップＳ７４）。
【００３５】
本発明の一側面の情報処理方法は、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし（例えば、図１４のステップＳ１３）、前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するステップ（例えば、図１６のステップＳ３３）を含む。
【００３６】
図２は、本発明を適用したHDDレコーダの一実施の形態の構成例を示すブロック図である。
【００３７】
図２のHDDレコーダ１は、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。HDDレコーダ１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、HDDレコーダ１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。
【００３８】
AV信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、デジタルBS（Broadcasting Satellite）チューナもしくはデジタルCS（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。
【００３９】
HDDレコーダ１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。
【００４０】
図２のHDDレコーダ１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３，A/D（Analog to Digital）コンバータ１４、切換部１５，NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１，NTSCエンコーダ２２、およびD/A（Digital to Analog）コンバータ２３から構成される。
【００４１】
コーデック１１は、図示せぬ外部装置から供給されるAV信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１６に供給する。
【００４２】
サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるAV信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、サンプリングレートが変換されたデジタルオーディオ信号を切換部１５に供給する。
【００４３】
アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。
【００４４】
A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、アナログオーディオ信号をA/D変換した結果であるデジタルオーディオ信号を切換部１５に供給する。
【００４５】
切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。
【００４６】
NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。また、NTSCデコーダ１６は、NTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。
【００４７】
HDDレコーダ１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、NTSC方式のデジタルビデオ信号とデジタルオーディオ信号とを合成した信号である合成デジタルAV信号を、エンコーダ１７に供給するとともに、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。一方、HDDレコーダ１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成デジタルAV信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。
【００４８】
エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルAV信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果得られるエンコードデータを記録再生部１８に供給する。
【００４９】
記録再生部１８は、例えば、ハードディスクまたは光ディスクなどの記録媒体で構成される。記録再生部１８は、エンコーダ１７から供給されたエンコードデータを記録媒体に記録する。また、記録再生部１８は、記録媒体に記録されたエンコードデータをデコーダ２１に供給する。すなわち、記録再生部１８は、記録されたエンコードデータを再生する。
【００５０】
操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、HDDレコーダ１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、その操作を示す信号（操作信号）を制御部２０に供給する。
【００５１】
制御部２０は、例えば、マイクロプロセッサなどからなり、操作部１９から供給される操作信号に基づいて、HDDレコーダ１全体を制御する。
【００５２】
デコーダ２１は、記録再生部１８から供給されたエンコードデータに対して、例えば、MPEG（Moving Picture Experts Group）方式など、上述した方式に対応する方式に従ったデコード処理を施す。デコーダ２１は、デコード処理の結果である、エンコードデータを伸張復号したデジタルAV信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、デジタルAV信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。
【００５３】
NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換し、モニタ２に供給する。
【００５４】
D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換し、スピーカ３に供給する。
【００５５】
このような構成により、HDDレコーダ１は入力された映像信号および音声信号を記録または再生することができる。
【００５６】
図３は、図２のHDDレコーダ１の記録再生部１８および制御部２０の構成例を示すブロック図である。
【００５７】
記録再生部１８は、画像データベース３１、テンプレートデータベース３２、およびコンテンツデータベース３３から構成される。以下、画像データベース３１を画像DB（Database）３１と称し、テンプレートデータベース３２をテンプレートDB３２と称し、コンテンツデータベース３３をコンテンツDB３３と称する。
【００５８】
画像DB３１は、図２のエンコーダ１７から供給された画像と、画像の属性を示すメタデータを対応づけて記憶する。
【００５９】
テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックに配置される画像の背景となる背景画像のデータである背景テンプレートを記録する。また、テンプレートDB３２は、背景テンプレートと、その属性を示すメタデータとを対応づけて記録する。
【００６０】
さらに、テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックにおける画像の配置および配置される画像の枚数を設定する情報である配置テンプレートを記録する。テンプレートDB３２には、画像の配置または画像の枚数に応じた複数の配置テンプレートが記録され、そのうちの最大の画像の枚数を設定する配置テンプレートによって、スクラップブックの１ページに配置される画像の枚数が制限される。
【００６１】
例えば、テンプレートDB３２に、配置される画像の枚数が１枚に設定されている配置テンプレートと、配置される画像の枚数が２枚に設定されている配置テンプレートと、配置される画像の枚数が３枚に設定されている配置テンプレートとが記録されている場合、作成されるスクラップブックの１ページに配置される画像の枚数は、多くても３枚に制限される。配置テンプレートに設定される画像の枚数は、予め決められていてもよいし、ユーザによって設定されるようにしてもよい。
【００６２】
コンテンツDB３３は、グループに分けられた画像が、グループ毎に配置されてなるコンテンツであるスクラップブックのデータを記録する。なお、コンテンツ（スクラップブック）の詳細は後述する。
【００６３】
制御部２０は、選択部５１、記録再生制御部５２、表示制御部５３、メタデータ抽出部５４、およびコンテンツ作成部５５から構成される。
【００６４】
選択部５１は、ユーザの指示に応じて、画像またはスクラップブックを選択する。より具体的には、例えば、選択部５１は、操作部１９から供給される、モニタ２に表示される画像、またはスクラップブックを選択する操作を示す操作信号に基づいて、ユーザが操作部１９を操作することにより選択した画像またはスクラップブックを示す情報を記録再生制御部５２に供給する。
【００６５】
記録再生制御部５２は、記録再生部１８が行う記録と再生とを制御する。また、記録再生制御部５２は、例えば、選択部５１から供給される情報に基づいて、記録再生部１８から画像、背景テンプレート、配置テンプレート、またはスクラップブックのデータを読み出し、表示制御部５３やメタデータ抽出部５４、コンテンツ作成部５５に供給する。
【００６６】
表示制御部５３は、モニタ２に表示される画像またはスクラップブックの表示を制御する。より具体的には、表示制御部５３は、記録再生制御部５２によって記録再生部１８から読み出された画像またはスクラップブックのデータを基に、デコーダ２１のデコード処理を制御する。
【００６７】
メタデータ抽出部５４は、記録再生制御部５２から供給される画像に付加されているメタデータを抽出し、コンテンツ作成部５５に供給する。
【００６８】
コンテンツ作成部５５は、演算部７１およびテンプレート設定部７２から構成され、グループ分けされた画像がグループ毎に配置されてなるコンテンツであるスクラップブックを作成し、記録再生制御部５２に供給する。
【００６９】
すなわち、コンテンツ作成部５５を構成する演算部７１は、クラスタリング部９１およびグループ分け処理部９２を含む。
【００７０】
クラスタリング部９１は、画像のクラスタを生成するための所定の条件に基づいて、画像のクラスタリングを行う。画像のクラスタを生成するための条件は、予め用意されている複数の条件の中からユーザにより選択されるようにしてもよい。例えば、クラスタリング部９１は、メタデータ抽出部５４から供給されるメタデータに基づいて、画像のクラスタリングを行う。より具体的には、例えば、クラスタリング部９１は、同じイベントを表すメタデータが付加されている画像からなる１つのクラスタを生成する。
【００７１】
また、クラスタリング部９１は、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングする。例えば、クラスタリング部９１は、イベントを表すメタデータが付加されている画像からなる１つのクラスタにおいて、複数の画像のそれぞれの撮影時刻に基づいて、撮影時刻の時間間隔のより小さい画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングする。クラスタリング部９１は、画像のクラスタリングの結果、すなわち、クラスタツリー（の情報）を、グループ分け処理部９２に供給する。
【００７２】
グループ分け処理部９２は、グループ作成部１０１を含み、クラスタリング部９１から供給されたクラスタリングの結果であるクラスタツリーのノードに対応するクラスタに含まれる画像の枚数が、最小時間間隔閾値以下になるように、画像のグループ分けをする。
【００７３】
ここで、最小時間間隔閾値は、１つのグループに含まれる画像を撮影時刻の順に並べたときに、隣接する画像どうしの撮影時刻の時間間隔として許容される最大値であり、例えば、予めユーザによって設定される。
【００７４】
グループ分け処理部９２において、グループ作成部１０１は、二分木構造のクラスタツリーにおいて、ルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応するクラスタに含まれる画像どうしの距離が所定の閾値以下となる場合、２つの子ノードに対応するクラスタそれぞれに含まれる画像のグループであって、そのグループに含まれる画像の枚数が所定の制限枚数以下であるグループを作成する。例えば、グループ作成部１０１は、クラスタリング部９１から供給されたクラスタツリーの二分木構造において、ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードが有する２つの子ノードに対応するクラスタに含まれる画像どうしの撮影時刻の時間間隔が最小時間間隔閾値以下であれば、その２つの子ノードに対応するクラスタそれぞれに含まれる画像を１つのグループとする。
【００７５】
但し、撮影時刻の時間間隔が所定の閾値以下の画像を、無制限に、１つのグループに含めると、そのグループに含まれる画像の枚数が多くなりすぎることがあるため、グループ作成部１０１は、グループに含める画像の枚数を、所定の制限枚数以下に制限する。制限枚数は、一画面に表示される画像の最大枚数であり、テンプレートDB３２に記録されている配置テンプレートにより設定される画像の枚数のうちの最大値に等しい。
【００７６】
より具体的には、グループ作成部１０１は、注目ノードの左側の子ノードである左ノードに包含されるノード（左ノードを直接的または間接的に上位階層のノードとするリーフノードであり、左ノードがリーフノードである場合には、左ノードそのもの）のうちの右端に位置する左側右端ノード、および注目ノードの右側の子ノードである右ノードに包含されるノード（右ノードを直接的または間接的に上位階層のノードとするリーフノードであり、右ノードがリーフノードである場合には、右ノードそのもの）のうちの左端に位置する右側左端ノードのそれぞれに割り当てられている画像の撮影時刻の時間間隔が最小時間間隔閾値以下であり、かつ、注目ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、その注目ノードに対応するクラスタに含まれる画像を１つのグループとする。
【００７７】
一方、注目ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下でない場合、グループ作成部１０１は、注目ノードの２つの子ノードのうちの１つの子ノードに対応するクラスタに含まれる画像の枚数が、制限枚数以下であるかを判定する。
【００７８】
注目ノードの２つの子ノードのうちの１つの子ノードに割り当てられている画像の枚数が制限枚数以下でない場合、グループ作成部１０１は、注目ノードの２つの子ノードのうちの１つの子ノードを新たな注目ノードとして、上述の処理、すなわち、新たな注目ノードに対応するクラスタに含まれる画像の枚数が、制限枚数以下であるかを判定する処理を繰り返す。
【００７９】
また、注目ノードの２つの子ノードのうちの１つの子ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、グループ作成部１０１は、注目ノードの２つの子ノードのうちの１つの子ノードと、注目ノードの２つの子ノードのうちの他の１つの子ノードの下位階層のノードとのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下となる画像のグループを作成する。
【００８０】
テンプレート設定部７２は、グループ分けされた画像がグループ毎に配置されるスクラップブックに対して、背景テンプレートおよび配置テンプレートを設定する。
【００８１】
より具体的には、テンプレート設定部７２は、メタデータ抽出部５４から供給されるメタデータに応じた背景テンプレートを、記録再生部１８から記録再生制御部５２に読み出させて供給させる。テンプレート設定部７２は、記録再生制御部５２から供給された背景テンプレートを、グループの画像が配置されるスクラップブックに設定し、スクラップブックの背景を決める。
【００８２】
また、テンプレート設定部７２は、グループの画像の枚数に応じた配置テンプレートを、記録再生部１８から記録再生制御部５２に読み出させて供給させる。テンプレート設定部７２は、記録再生制御部５２から供給された配置テンプレートを、グループの画像が配置されるスクラップブックに設定し、スクラップブックのページ毎の画像の配置および配置される枚数を決める。
【００８３】
コンテンツ作成部５５は、グループ分け処理部９２によってグループ分けされた画像と、テンプレート設定部７２によって設定された背景テンプレートおよび配置テンプレートとを基に、複数の画像がグループ毎に配置されたスクラップブックを作成し、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給する。これにより、スクラップブックは、コンテンツDB３３に保存される。
【００８４】
図４は、画像のクラスタの例を示す図である。
【００８５】
図４において、画像ｐ１乃至画像ｐ２５は、記録再生部１８の画像DB３１に記録されている画像を示す。図４の１つの四角形は１枚の画像を表す。また、画像ｐ１乃至画像ｐ２５には、それぞれメタデータが付加されている。
【００８６】
図４の例においては、画像ｐ１乃至画像ｐ１２には、イベントを表すメタデータとして「結婚式」が付加されている。画像ｐ１３乃至画像ｐ１９には、イベントを表すメタデータとして「お花見」が付加されている。画像ｐ２０乃至画像ｐ２５には、イベントを表すメタデータとして「社員旅行」が付加されている。
【００８７】
クラスタリング部９１は、画像ｐ１乃至画像ｐ２５に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。
【００８８】
具体的には、図４に示すように、クラスタリング部９１は、画像ｐ１乃至画像ｐ１２からなるクラスタ、画像ｐ１３乃至画像ｐ１９からなるクラスタ、および画像ｐ２０乃至画像ｐ２５からなるクラスタを生成する。
【００８９】
例えば、このように生成されたそれぞれのクラスタに含まれる画像は、クラスタ毎のフォルダによりまとめて管理される。具体的には、画像ｐ１乃至画像ｐ１２は「結婚式」の名称のフォルダにより管理される。また、画像ｐ１３乃至画像ｐ１９は「お花見」の名称のフォルダにより管理される。さらに、画像ｐ２０乃至画像ｐ２５は「社員旅行」の名称のフォルダにより管理される。例えば、それぞれのクラスタに属する画像を示す情報が、記録再生部１８に記録される。
【００９０】
次に、クラスタ毎のフォルダによって管理される画像に対して、クラスタリング部９１により行われる二分木構造のクラスタツリーの作成の処理の詳細について説明する。
【００９１】
図５乃至図１３を参照して、１００枚の画像ｐ１乃至画像ｐ１００を対象とした二分木構造のクラスタツリーの作成の処理について説明する。
【００９２】
図５乃至図１３において、「ｐ」の文字と数字がその中に書かれている１つの円は１枚の画像が割り当てられたリーフノードを表し、「ｎ」の文字と数字がその中に書かれている１つの円は子ノードを有するノードを表す。ここで、以下、適宜、リーフノードｐに割り当てられた画像を、画像ｐとも記載する。
【００９３】
また、図の右方は、左方より時間的に後の方向であるものとする。なお、ここでは、画像ｐ１乃至画像ｐ１００を、撮影時刻順（画像ｐ１が一番古く、画像ｐ１００が一番新しいデータ）にクラスタリングの対象とする場合について説明する。
【００９４】
クラスタリングがまだ行われていない状態で、最初の撮影により得られた画像ｐ１がクラスタツリーに挿入されたとき（クラスタリングの対象とされたとき）、初期の状態ではクラスタツリーのルートノードとなるノードが存在しないから、図５に示されるように、ルートノードｐ１が新たに作成され、画像ｐ１がルートノードｐ１に割り当てられる。
【００９５】
画像ｐ１に続けて撮影された画像ｐ２がクラスタツリーに挿入されたとき、図６に示されるように、ノードｎ１およびｐ２が新たに作られ、画像ｐ２がノードｐ２に割り当てられる。さらに、画像ｐ２の撮影時刻は画像ｐ１の撮影時刻より後であるから、ノードｎ１には、画像ｐ１が割り当てられたノードｐ１が左の子ノードとして結び付けられ、画像ｐ２が割り当てられたノードｐ２が右の子ノードとして結び付けられる。ノードｎ１はノードｐ１に代わってルートノードとなる。
【００９６】
ノードｎ１の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。ノードの時刻として、そのノードを親のノードとする２つの子ノードの撮影時刻の平均値（中間の時刻）が記録されるようにしてもよい。
【００９７】
画像ｐ２に続けて撮影された画像ｐ３がクラスタツリーに挿入され、図７に示されるように、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3が、画像ｐ２の撮影時刻と画像ｐ１の撮影時刻の時間間隔tdp1p2より小さいとき、図８に示されるように、ノードｎ２およびｐ３が新たに作られ、画像ｐ３がノードｐ３に割り当てられる。さらに、ノードｎ２には、その左の子ノードとして画像ｐ２が割り当てられたノードｐ２が結び付けられ、右の子ノードとして画像ｐ３が割り当てられたノードｐ３が結び付けられる。また、ノードｎ２が、ノードｐ２の代わりに右の子ノードとしてノードｎ１に結び付けられる。
【００９８】
ノードｎ２の最小時刻として画像ｐ２の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。また、このとき、ノードｎ２の親のノードであるノードｎ１の最大時刻が画像ｐ３の撮影時刻で上書きされる。
【００９９】
画像ｐ３に続けて撮影された画像ｐ４がクラスタツリーに挿入され、図９に示されるように、画像ｐ４の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp3p4が、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3より大きく、かつ、画像ｐ４の撮影時刻とノードｎ２の最大時刻の時間間隔tdn2maxp4が、ノードｎ２の最小時刻と画像ｐ１の撮影時刻の時間間隔tdp1n2minより大きいとき、図１０に示されるように、ノードｎ３およびｐ４が新たにルートノードとして作られ、画像ｐ４がノードｐ４に割り当てられる。また、ノードｎ３には、その左の子ノードとしてノードｎ１が結び付けられ、右の子ノードとして画像ｐ４が割り当てられたノードｐ４が結び付けられる。
【０１００】
ノードｎ３の最小時刻として画像ｐ１の最小時刻が記録され、最大時刻として画像ｐ４の撮影時刻が記録される。
【０１０１】
画像ｐ４に続けて撮影された画像ｐ５がクラスタツリーに挿入され、図１１に示されるように、画像ｐ５の撮影時刻と画像ｐ４の撮影時刻の時間間隔tdp4p5より、画像ｐ４の撮影時刻とノードｎ１の最大時刻の時間間隔tdn1maxp4の方が大きいとき、図１２に示されるように、ノードｎ４およびｐ５が新たに作られ、画像ｐ４がノードｐ４に割り当てられる。また、ノードｎ４には、その左の子ノードとして画像ｐ４が割り当てられたノードｐ４が結び付けられ、右の子ノードとして画像ｐ５が割り当てられたノードｐ５が結び付けられる。さらに、ノードｎ４が、ノードｐ４の代わりに右の子ノードとしてノードｎ３に結び付けられる。
【０１０２】
ノードｎ４の最小時刻として画像ｐ４の撮影時刻が記録され、最大時刻として画像ｐ５の撮影時刻が記録される。また、このとき、ノードｎ４の親のノードであるノードｎ３の最大時刻が画像ｐ５の撮影時刻で上書きされる。
【０１０３】
この時点で、画像ｐ１乃至画像ｐ５の５枚の画像それぞれが割り当てられたノードｐ１乃至ｐ５と、ノードｎ１乃至ノードｎ４とからなる二分木構造のクラスタツリーが形成された状態になる。
【０１０４】
クラスタツリーにおいて、ノードはクラスタに対応する。したがって、図１２に示されるようなクラスタツリーが作成されたとき、ノードｎ３に対応するクラスタに含まれる画像は画像ｐ１乃至画像ｐ５の５枚の画像となり、ノードｎ１に対応するクラスタに含まれる画像は画像ｐ１乃至画像ｐ３の３枚の画像となる。また、ノードｎ２に対応するクラスタに含まれる画像は画像ｐ２および画像ｐ３の２枚の画像となり、ノードｎ４に対応するクラスタに含まれる画像は画像ｐ４および画像ｐ５の２枚の画像となる。
【０１０５】
このように、画像が新たに挿入される毎に、画像の撮影時刻の時間間隔のより小さい画像同士、または、画像の撮影時刻とノードに対して設定（記録）された時刻の時間間隔のより小さい画像とノードが、同じノードにぶらさがるように結び付けられていく。
【０１０６】
撮影が繰り返し行われ、画像ｐ６乃至画像ｐ１００がクラスタツリーに挿入されたときも同様にして処理が行われ、最終的に、ルートノードｎrootに対応するクラスタに画像ｐ１乃至画像ｐ１００が含まれる、図１３に示されるような二分木構造のクラスタツリーが得られる。
【０１０７】
なお、この処理は、撮影されるたびにリアルタイムに行われるようにしてもよいし、ユーザの指示に基づいて、所定のフォルダ等に記録されている画像に対して行われるようにしてもよい。
【０１０８】
次に、HDDレコーダ１におけるスクラップブックの作成処理について説明する。
【０１０９】
HDDレコーダ１において、例えば、操作部１９が操作されることによって制御部２０がスクラップブックの作成処理の指示を取得すると、スクラップブックの作成処理が開始される。
【０１１０】
図１４は、HDDレコーダ１におけるスクラップブックの作成処理の例を示すフローチャートである。
【０１１１】
ステップＳ１１において、選択部５１は、操作部１９から供給される、スクラップブックの作成の指示を表す操作信号に応じ、メタデータに基づいてクラスタリングを行うことを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、選択部５１からの情報に基づいて、画像DB３１に記録されている画像を読み出し、メタデータ抽出部５４に供給する。メタデータ抽出部５４は、記録再生制御部５２からの画像からメタデータを抽出し、コンテンツ作成部５５に供給して、処理は、ステップＳ１１からステップＳ１２に進む。
【０１１２】
コンテンツ作成部５５では、ステップＳ１２において、演算部７１のクラスタリング部９１が、メタデータ抽出部５４から供給されるメタデータに基づいて、画像のクラスタリングを行って、処理は、ステップＳ１３に進む。より具体的には、クラスタリング部９１は、同じイベントを表すメタデータが付加されている画像からなる１つのクラスタを生成する。
【０１１３】
より具体的には、例えば、図４に示される、画像DB３１に記録されている画像ｐ１乃至画像ｐ２５について、例えば、メタデータ「社員旅行」に注目した場合には、クラスタリング部９１は、メタデータ抽出部５４から供給されるメタデータが「社員旅行」である画像ｐ２０乃至画像ｐ２５を、１つのクラスタにクラスタリングする。
【０１１４】
ステップＳ１３において、クラスタリング部９１は、ステップＳ１２で生成した１つのクラスタに含まれる画像のそれぞれの撮影時刻に基づいて、撮影時刻の時間間隔のより小さい画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングする。例えば、クラスタリング部９１は、図５乃至図１３を参照して説明したようにして、画像ｐ２０乃至画像ｐ２５の６枚の画像がノードに割り当てられたクラスタツリーを作成する。クラスタリング部９１は、画像のクラスタリングの結果、すなわち、クラスタツリー（の情報）を、グループ分け処理部９２のグループ作成部１０１に供給する。
【０１１５】
ステップＳ１３の後、処理は、ステップＳ１４に進み、コンテンツ作成部５５のテンプレート設定部７２は、ステップＳ１３でクラスタリングされた画像に付加されているメタデータに応じた背景テンプレートを、記録再生制御部５２を介して、記録再生部１８のテンプレートDB３２から読み出す。例えば、テンプレート設定部７２は、記録再生部１８より、画像ｐ２０乃至画像ｐ２５のメタデータである「社員旅行」に応じた背景テンプレートを、記録再生制御部５２に読み出させて供給させる。
【０１１６】
ステップＳ１４の後、処理は、ステップＳ１５に進み、テンプレート設定部７２は、色区再生制御部５２から供給された背景テンプレートをスクラップブックに設定して、処理は、ステップＳ１５に進む。すなわち、テンプレート設定部７２は、画像ｐ２０乃至画像ｐ２５が配置されるスクラップブックの背景を決める。
【０１１７】
ここで、図１５は、背景テンプレートの構成の例を示す図である。
【０１１８】
図１５には、３つの背景テンプレート１１１−１乃至１１１−３が示されており、背景テンプレート１１１−１乃至１１１−３は、それぞれメタデータを有する。
【０１１９】
テンプレート設定部７２は、クラスタリングされた画像に付加されているメタデータに対応するメタデータを有する背景テンプレートを、クラスタリングされた画像に付加されているメタデータに応じた背景テンプレートとして、スクラップブックに設定する。
【０１２０】
図１４の説明に戻り、ステップＳ１６において、演算部７１のグループ分け処理部９２は、グループ分けの処理を行って、処理は、ステップＳ１７に進む。
【０１２１】
ステップＳ１７において、テンプレート設定部７２は、グループ分けされたグループに含まれる画像の枚数に応じて、ページ毎の配置テンプレートを読み出し、処理は、ステップＳ１８に進む。
【０１２２】
ステップＳ１８において、テンプレート設定部７２は、スクラップブックの各ページに対して、読み出されたページ毎の配置テンプレートを設定して、処理は、ステップＳ１９に進む。
【０１２３】
ステップＳ１９において、コンテンツ作成部５５は、スクラップブックを保存し、処理は終了する。より具体的には、コンテンツ作成部５５は、グループ分けされた画像と、背景テンプレートおよび配置テンプレートとを基に、複数の画像がグループ毎に配置されたスクラップブックを作成し、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給する。
【０１２４】
次に、図１６乃至図２０を参照して、グループ分け処理部９２のグループ分けの処理について説明する。
【０１２５】
図１６は、図１４のフローチャートのステップＳ１６の、グループ分けの処理の詳細を説明するフローチャートである。
【０１２６】
ステップＳ３１において、グループ分け処理部９２のグループ作成部１０１は、図１４のステップＳ１３で、クラスタリング部９１から供給されたクラスタリングの結果であるクラスタツリーにおけるルートノードＮROOTを注目ノードＮpとして、処理は、ステップＳ３２に進む。
【０１２７】
ステップＳ３２において、グループ分け処理部９２のグループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像について作成されるグループを初期化する。より具体的には、グループ分け処理部９２は、空のグループを作成する。
【０１２８】
その後、処理は、ステップＳ３２からステップＳ３３に進み、グループ分け処理部９２のグループ作成部１０１は、グループの作成の処理を行って、処理はリターンする。
【０１２９】
図１７は、図１６のフローチャートのステップＳ３３の、グループの作成の処理の詳細を説明するフローチャートである。
【０１３０】
ステップＳ５１において、グループ作成部１０１は、注目ノードＮpがリーフノードであるか否かを判定する。ステップＳ５１において、注目ノードＮpがリーフノードであると判定された場合、処理はステップＳ５２に進む。
【０１３１】
ステップＳ５２において、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像を、注目ノードＮpについてステップＳ３２で作成した１つのグループの画像とし、処理はリターンする。
【０１３２】
一方、ステップＳ５１において、注目ノードＮpがリーフノードでない場合、処理はステップＳ５３に進む。
【０１３３】
ステップＳ５３において、グループ作成部１０１は、注目ノードＮpの左側右端ノードＲm（ｌ（Ｎp））および右側左端ノードＬm（ｒ（Ｎp））のそれぞれに対応するクラスタに含まれる画像の撮影時刻の時間間隔が最小時間間隔閾値以下であるか否かを判定する。
【０１３４】
ステップＳ５３において、左側右端ノードＲm（ｌ（Ｎp））および右側左端ノードＬm（ｒ（Ｎp））のそれぞれに対応するクラスタに含まれる画像の撮影時刻の時間間隔が最小時間間隔閾値以下でないと判定された場合、処理は、ステップＳ５４に進む。
【０１３５】
ここで、注目ノードＮpの左ノードｌ（Ｎp）に包含されるノードのうちの右端に位置するノード（リーフノード）を左側右端ノードＲm（ｌ（Ｎp））と表し、注目ノードＮpの右ノードｒ（Ｎp）に包含されるノードのうちの左端に位置するノード（リーフノード）を右側左端ノードＬm（ｒ（Ｎp））と表すこととする。
【０１３６】
グループの作成の処理では、左側右端ノードＲm（ｌ（Ｎp））に割り当てられている画像の撮影時刻と、右側左端ノードＬm（ｒ（Ｎp））に割り当てられている画像の撮影時刻との時間間隔が、最小時間間隔閾値以下であれば、後述するように、注目ノードＮpに対応するクラスタに含まれる画像のうちの一部または全部が含まれるグループが作成される。
【０１３７】
ステップＳ５４において、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像の撮影時刻の時間間隔がグループ分割閾値を超えているか否かを判定する。
【０１３８】
グループ分割閾値は、注目ノードＮpに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきの程度によって、その子ノードに対応するクラスタに含まれる画像をそれぞれ別のグループとするか、または同じグループとするかを決定する値である。例えば、グループ分割閾値は、注目ノードに対応するクラスタに含まれる画像の撮影時刻の時間間隔の標準偏差と、注目ノードの子ノードに対応するクラスタに含まれる画像の撮影時刻の時間間隔の偏差との比と比較される値であり、この比較によって、その子ノードに対応するクラスタに含まれる画像をそれぞれ別のグループとするか、または同じグループとするかが決定される。
【０１３９】
ステップＳ５４において、注目ノードＮpに対応するクラスタに含まれる画像の撮影時刻の時間間隔がグループ分割閾値を超えていると判定された場合、すなわち、注目ノードＮpに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきが大きい場合、処理はステップＳ５５に進む。
【０１４０】
ステップＳ５５において、グループ作成部１０１は、グループ分割閾値を超えた子ノードに対応するクラスタに含まれる画像をそれぞれ別のグループとして、処理は、ステップＳ５６に進む。すなわち、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきの程度に応じて、撮影時刻の並びを維持したまま、画像を、例えば、グループＡおよびグループＢの２つのグループに分ける。なお、ここでは、画像がグループＡおよびグループＢの２つのグループに分けられることとしたが、注目ノードＮpに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきの程度に応じて、画像は、２以上のグループに分けられる。
【０１４１】
ステップＳ５６において、グループ作成部１０１は、ステップＳ５５において分けられた画像のグループのうちのグループＡの最上位階層のノードをルートノードとする二分木構造を１つのクラスタツリーとみなし、そのグループＡについてのクラスタツリーのルートノードを注目ノードＮpとして、処理は、ステップＳ５７に進む。
【０１４２】
ステップＳ５７において、グループ作成部１０１は、グループＡについてのクラスタツリーについて、図１７のフローチャートで示されるグループの作成の処理を再帰的に行う。
【０１４３】
ステップＳ５８において、グループ作成部１０１は、ステップＳ５５において分けられた画像のグループのうちのグループＢの最上位階層のノードをルートノードとする二分木構造を１つのクラスタツリーとみなし、そのグループＢについてのクラスタツリーのルートノードを注目ノードＮpとして、処理は、ステップＳ５９に進む。
【０１４４】
ステップＳ５９において、グループ作成部１０１は、グループＢについてのクラスタツリーについて、図１７のフローチャートで示されるグループの作成の処理を再帰的に行って、処理はリターンする。
【０１４５】
一方、ステップＳ５４において、注目ノードＮpの子ノードである左ノードｌ（Ｎp）に対応するクラスタに含まれる画像の撮影時刻と、右ノードｒ（Ｎp）に対応するクラスタに含まれる画像の撮影時刻との時間間隔がグループ分割閾値を超えていないと判定された場合、すなわち、注目ノードＮpに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきが小さい場合、処理は、ステップＳ６０に進み、グループ作成部１０１は、左ノードｌ（Ｎp）を新たな注目ノードＮpとする。
【０１４６】
ステップＳ６０の後、処理は、ステップＳ６１に進み、グループ作成部１０１は、新たな注目ノードＮpについて、グループの作成の処理を再帰的に行って、処理は、ステップＳ６２に進む。
【０１４７】
ステップＳ６２において、グループ作成部１０１は、右ノードｒ（Ｎp）を新たな注目ノードＮpとする。
【０１４８】
ステップＳ６２の後、処理は、ステップＳ６３に進み、グループ作成部１０１は、新たな注目ノードＮpについて、グループの作成の処理を再帰的に行って、処理はリターンする。
【０１４９】
一方、ステップＳ５３において、左側右端ノードＲm（ｌ（Ｎp））および右側左端ノードＬm（ｒ（Ｎp））のそれぞれに割り当てられている画像の撮影時刻の時間間隔が、最小時間間隔閾値以下であると判定された場合、処理はステップＳ６４に進み、注目ノードＮpを引数とする関数join_restricted(Np)が呼び出され、グループ作成部１０１は、関数join_restricted(Np)の処理を行って、処理はリターンする。
【０１５０】
ここで、注目ノードＮpを引数とする関数join_restricted(Np)は、グループ内の画像の枚数を制限する関数であり、関数join_restricted(Np)の処理では、グループ内の画像の枚数が制限枚数以下に制限される。
【０１５１】
図１８は、図１７のフローチャートのステップＳ６４の、関数join_restricted(Np)の処理の詳細を説明するフローチャートである。
【０１５２】
ステップＳ７１において、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。
【０１５３】
制限枚数は、上述したように、一画面に表示される画像の最大枚数である。
【０１５４】
ステップＳ７１において、注目ノードＮpに対応するクラスタに含まれる画像の枚数が制限枚数以下であると判定された場合、処理はステップＳ７２に進む。
【０１５５】
ステップＳ７２において、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる全ての画像を１つのグループとして、処理はリターンする。
【０１５６】
一方、ステップＳ７１において、注目ノードＮpに対応するクラスタに含まれる画像の枚数が制限枚数以下でないと判定された場合、処理はステップＳ７３に進む。
【０１５７】
ステップＳ７３において、グループ作成部１０１は、左ノードｌ（Ｎp）に対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。
【０１５８】
ステップＳ７３において、左ノードｌ（Ｎp）に対応するクラスタに含まれる画像の枚数が制限枚数以下であると判定された場合、処理は、ステップＳ７４に進み、グループ作成部１０１は、左ノードｌ（Ｎp）および右ノードｒ（Ｎp）を引数とする関数join_left(l(Np),r(Np))を呼び出し、これにより、その関数join_left(l(Np),r(Np))の処理を行って、処理はリターンする。
【０１５９】
ここで、左ノードｌ（Ｎp）および右ノードｒ（Ｎp）を引数とする関数join_left(l(Np),r(Np))は、グループ内の画像の枚数を決定する関数であり、関数join_left(l(Np),r(Np))の処理では、注目ノードＮpに対応するクラスタに含まれる画像の左側、すなわち、撮影時刻の古いものから、制限枚数以下の枚数となる画像のグループを作成する処理が行われる。
【０１６０】
一方、ステップＳ７３において、左ノードｌ（Ｎp）に対応するクラスタに含まれる画像の枚数が制限枚数以下でないと判定された場合、処理はステップＳ７５に進む。
【０１６１】
ステップＳ７５において、グループ作成部１０１は、右ノードｒ（Ｎp）に対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。右ノードｒ（Ｎp）に対応するクラスタに含まれる画像の枚数が制限枚数以下であると判定された場合、処理は、ステップＳ７６に進み、グループ作成部１０１は、左ノードｌ（Ｎp）および右ノードｒ（Ｎp）を引数とする関数join_right(l(Np),r(Np))を呼び出し、これにより、その関数join_right(l(Np),r(Np))の処理を行って、処理はリターンする。
【０１６２】
ここで、左ノードｌ（Ｎp）および右ノードｒ（Ｎp）を引数とする関数join_right(l(Np),r(Np))は、グループ内の画像の枚数を決定する関数であり、関数join_right(l(Np),r(Np))の処理は、注目ノードＮpに対応するクラスタに含まれる画像の右側、すなわち、撮影時刻の新しいものから、制限枚数以下の枚数となる画像のグループを作成する処理が行われる。
【０１６３】
一方、ステップＳ７５において、注目ノードＮpの右ノードｒ（Ｎp）に対応するクラスタに含まれる画像の枚数が制限枚数以下でないと判定された場合、処理はステップＳ７７に進む。
【０１６４】
ステップＳ７７において、グループ作成部１０１は、左ノードｌ（Ｎp）を新たな注目ノードＮpとし、処理はステップＳ７８に進む。ステップＳ７８において、グループ作成部１０１は、関数join_restricted(Np)を呼び出し、関数join_restricted(Np)の処理を行って、処理は、ステップＳ７９に進む。
【０１６５】
ステップＳ７９において、グループ作成部１０１は、右ノードｒ（Ｎp）を新たな注目ノードＮpとし、処理はステップＳ８０に進む。ステップＳ８０において、グループ作成部１０１は、関数join_restricted(Np)を呼び出し、関数join_restricted(Np)の処理を行って、処理はリターンする。
【０１６６】
図１９は、図１８のフローチャートのステップＳ７４の、関数join_left(l(Np),r(Np))の処理の詳細を説明するフローチャートである。
【０１６７】
ステップＳ９１において、グループ作成部１０１は、注目ノードＮpの左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。
【０１６８】
ステップＳ９１において、注目ノードＮpの左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下でないと判定された場合、処理は、ステップＳ９２に進む。
【０１６９】
ステップＳ９２において、グループ作成部１０１は、右ノードｒ（Ｎp）がリーフノードであるか否かを判定する。
【０１７０】
ステップＳ９２において、右ノードｒ（Ｎp）がリーフノードであると判定された場合、処理は、ステップＳ９３に進む。
【０１７１】
ステップＳ９３において、グループ作成部１０１は、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。
【０１７２】
ステップＳ９３において、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であると判定された場合、処理は、ステップＳ９９に進む。
【０１７３】
また、ステップＳ９３において、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下でないと判定された場合、処理はステップＳ９４に進む。
【０１７４】
ステップＳ９４において、グループ作成部１０１は、左ノードｌ（Ｎp）に対応するクラスタに含まれる画像で１つのグループを作成するとともに、右ノードｒ（Ｎp）に対応するクラスタに含まれる画像で１つのグループを作成し、処理はリターンする。
【０１７５】
一方、ステップＳ９２において、右ノードｒ（Ｎp）がリーフノードでないと判定された場合、処理は、ステップＳ９５に進む。
【０１７６】
ステップＳ９５において、グループ作成部１０１は、右ノードｒ（Ｎp）の左ノードｌ（ｒ（Ｎp））を右ノードｒ（Ｎp）として、処理は、ステップＳ９６に進む。
【０１７７】
ステップＳ９６では、グループ作成部１０１は、左ノードｌ（Ｎp）および右ノードｒ（Ｎp）を引数とする関数join_left(l(Np),r(Np))を再帰的に呼び出し、関数join_left(l(Np),r(Np))の処理を、再帰的に行って、処理は、ステップＳ９７に進む。
【０１７８】
ステップＳ９７において、グループ作成部１０１は、右ノードｒ（Ｎp）の右ノードｒ（ｒ（Ｎp））を注目ノードＮpとして、処理は、ステップＳ９８に進む。
【０１７９】
ステップＳ９８では、グループ作成部１０１は、注目ノードＮpを引数とする関数join_restricted(Np)を再帰的に呼び出し、関数join_restricted(Np)の処理を、再帰的に行って、処理はリターンする。
【０１８０】
一方、ステップＳ９１において、グループ作成部１０１は、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であると判定した場合、処理は、ステップＳ９９に進む。
【０１８１】
ステップＳ９９において、グループ作成部１０１は、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とに対応するクラスタに含まれる画像で１つのグループを作成して、処理はリターンする。
【０１８２】
図２０は、図１８のフローチャートのステップＳ７６の、関数join_right(l(Np),r(Np))の処理の詳細を説明するフローチャートである。
【０１８３】
ステップＳ１１１において、グループ作成部１０１は、注目ノードＮpの左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。
【０１８４】
ステップＳ１１１において、注目ノードＮpの左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下でないと判定された場合、処理は、ステップＳ１１２に進む。
【０１８５】
ステップＳ１１２において、グループ作成部１０１は、左ノードｌ（Ｎp）がリーフノードであるか否かを判定する。
【０１８６】
ステップＳ１１２において、左ノードｌ（Ｎp）がリーフノードであると判定された場合、処理は、ステップＳ１１３に進む。
【０１８７】
ステップＳ１１３において、グループ作成部１０１は、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。
【０１８８】
ステップＳ１１３において、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であると判定された場合、処理は、ステップＳ１１９に進む。
【０１８９】
また、ステップＳ１１３において、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下でないと判定された場合、処理はステップＳ１１４に進む。
【０１９０】
ステップＳ１１４において、グループ作成部１０１は、左ノードｌ（Ｎp）に対応するクラスタに含まれる画像で１つのグループを作成するとともに、右ノードｒ（Ｎp）に対応するクラスタに含まれる画像で１つのグループを作成し、処理はリターンする。
【０１９１】
一方、ステップＳ１１２において、左ノードｌ（Ｎp）がリーフノードでないと判定された場合、処理は、ステップＳ１１５に進む。
【０１９２】
ステップＳ１１５において、グループ作成部１０１は、左ノードｌ（Ｎp）の右ノードｒ（ｌ（Ｎp））を左ノードｌ（Ｎp）として、処理は、ステップＳ１１６に進む。
【０１９３】
ステップＳ１１６では、グループ作成部１０１は、左ノードｌ（Ｎp）および右ノードｒ（Ｎp）を引数とする関数join_right(l(Np),r(Np))を再帰的に呼び出し、関数join_right(l(Np),r(Np))の処理を、再帰的に行って、処理は、ステップＳ１１７に進む。
【０１９４】
ステップＳ１１７において、グループ作成部１０１は、左ノードｌ（Ｎp）の左ノードｌ（ｌ（Ｎp））を注目ノードＮpとして、処理は、ステップＳ１１８に進む。
【０１９５】
ステップＳ１１８では、グループ作成部１０１は、注目ノードＮpを引数とする関数join_restricted(Np)を再帰的に呼び出し、関数join_restricted(Np)の処理を、再帰的に行って、処理はリターンする。
【０１９６】
一方、ステップＳ１１１において、グループ作成部１０１は、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であると判定した場合、処理は、ステップＳ１１９に進む。
【０１９７】
ステップＳ１１９において、グループ作成部１０１は、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とに対応するクラスタに含まれる画像で１つのグループを作成して、処理はリターンする。
【０１９８】
次に、図２１を参照して、図１６乃至図２０を参照して説明した、グループ分け処理部９２のグループ分け処理によって得られる、画像のグループの具体例について説明する。
【０１９９】
図２１は、クラスタリング部９１から供給されたクラスタツリーの例を示す図である。
【０２００】
図２１のクラスタツリーでは、ノードＮ11がルートノードＮROOTとされ、２つの子ノードとして、ノードＮ21とノードＮ22とを有している。ノードＮ21は、２つの子ノードとして、ノードＮ31とノードＮ32とを有しており、ノードＮ32は、２つの子ノードとして、ノードＮ41とノードＮ42とを有している。そして、ノードＮ41は、２つの子ノードとして、ノードＮ51とノードＮ52とを有しており、ノードＮ42は、２つの子ノードとして、ノードＮ53とノードＮ54とを有している。
【０２０１】
さらに、図２１のクラスタツリーでは、ノードＮ31，Ｎ51，Ｎ52，Ｎ53，Ｎ54，Ｎ22がそれぞれ、子ノードが接続されていないノードであるリーフノードとなっている。そして、リーフノードＮ31，Ｎ51，Ｎ52，Ｎ53，Ｎ54，Ｎ22には、画像PIC0，PIC1，PIC2，PIC3，PIC4，PIC5がそれぞれ割り当てられている。
【０２０２】
また、図２１において、画像PIC0乃至PIC5の下の時間軸には、画像PIC0乃至PIC5のそれぞれの撮影時刻が示されている。すなわち、画像PIC0の撮影時刻はｔ＝０であり、画像PIC1の撮影時刻はｔ＝４であり、画像PIC2の撮影時刻はｔ＝６である。また、画像PIC3の撮影時刻はｔ＝９であり、画像PIC4の撮影時刻はｔ＝１０であり、画像PIC5の撮影時刻はｔ＝２０である。
【０２０３】
まず、グループ分け処理部９２のグループ作成部１０１は、クラスタツリーにおけるルートノードＮROOTを注目ノードＮpとする。図２１においては、ルートノードＮ11が注目ノードＮpとされる。
【０２０４】
そして、グループの初期化がなされた後、処理は、グループの作成の処理に進む。
【０２０５】
グループの作成の処理において、グループ作成部１０１は、注目ノードＮpがリーフノードであるか否かを判定する。注目ノードＮpであるノードＮ11は、リーフノードでないと判定されるので、グループ作成部１０１は、注目ノードＮpの左側右端ノードＲm（ｌ（Ｎp））および右側左端ノードＬm（ｒ（Ｎp））のそれぞれに対応するクラスタに含まれる画像の撮影時刻の時間間隔が最小時間間隔閾値以下であるか否かを判定する。
【０２０６】
図２１において、ノードＮ11が注目ノードＮpである場合、左側右端ノードＲm（ｌ（Ｎp））は、注目ノードＮpであるノードＮ11の左ノードｌ（Ｎp）（＝Ｎ21）に包含されるノードＮ31，Ｎ32，Ｎ41，Ｎ42，Ｎ51，Ｎ52，Ｎ53，Ｎ54のうちの右端に位置するノードＮ54となり、右側左端ノードＬm（ｒ（Ｎp））は、注目ノードＮpであるノードＮ11の右ノードｒ（Ｎp）（＝Ｎ22）に包含されるノードＮ22のうちの左側に位置するノードＮ22となる。
【０２０７】
ここで、最小時間間隔閾値を８とした場合、左側右端ノードＲm（ｌ（Ｎp））および右側左端ノードＬm（ｒ（Ｎp））のそれぞれに割り当てられている画像の撮影時刻の時間間隔は、ノードＮ54に割り当てられている画像PIC4の撮影時刻ｔ＝１０と、ノードＮ22に割り当てられている画像PIC5の撮影時刻ｔ＝２０との差として得られる１０であり、最小時間間隔閾値以下でないので、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像の撮影時刻の時間間隔がグループ分割閾値を超えているか否かを判定する。
【０２０８】
図２１においては、ノードＮ11に対応するクラスタに含まれる画像の撮影時刻の時間間隔は、グループ分割閾値を超えていないとすると、グループ作成部１０１は、左ノードｌ（Ｎp）を新たな注目ノードＮpとする。すなわち、図２１において、注目ノードＮpがノードＮ11であるので、ノードＮ11の左ノードｌ（Ｎp）であるノードＮ21が新たな注目ノードＮpとされる。
【０２０９】
次に、グループ作成部１０１は、新たな注目ノードＮpであるノードＮ21について、グループの作成の処理を再帰的に行う。
【０２１０】
グループ作成部１０１は、注目ノードＮpがリーフノードであるか否かを判定する。注目ノードＮpであるノードＮ21はリーフノードでないので、グループ作成部１０１は、注目ノードＮpの左側右端ノードＲm（ｌ（Ｎp））および右側左端ノードＬm（ｒ（Ｎp））のそれぞれに対応するクラスタに含まれる画像の撮影時刻の時間間隔が最小時間間隔閾値以下であるか否かを判定する。
【０２１１】
ここで、最小時間間隔閾値を８とした場合、ノードＮ21が注目ノードＮpであるときは、左側右端ノードＲm（ｌ（Ｎp））および右側左端ノードＬm（ｒ（Ｎp））のそれぞれに割り当てられている画像の撮影時刻の時間間隔は、ノードＮ31に割り当てられている画像PIC0の撮影時刻ｔ＝０と、ノードＮ51に割り当てられている画像PIC1の撮影時刻ｔ＝４との差４であり、最小時間間隔閾値以下であるので、グループ作成部１０１は、ステップＳ６４において、注目ノードＮpを引数とする関数join_restricted(Np)の処理を行う。
【０２１２】
関数join_restricted(Np)の処理において、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。ここで、例えば、制限枚数は３枚とすると、図２１において、注目ノードＮpであるノードＮ21に対応するクラスタに含まれる画像の枚数は、画像PIC0乃至PIC4の５枚であり、制限枚数の３枚以下でないので、グループ作成部１０１は、左ノードｌ（Ｎp）に対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。
【０２１３】
図２１においては、ノードＮ21が注目ノードＮpである場合には、その注目ノードＮpの左ノードｌ（Ｎp）であるノードＮ31に対応するクラスタに含まれる画像の枚数は、画像PIC0の１枚であり、制限枚数の３枚以下であるので、グループ作成部１０１は、左ノードｌ（Ｎp）および右ノードｒ（Ｎp）を引数とする関数join_left(l(Np),r(Np))を呼び出す。
【０２１４】
関数join_left(l(Np),r(Np))の処理において、グループ作成部１０１は、注目ノードＮpの左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。
【０２１５】
図２１においては、例えば、ノードＮ21が注目ノードＮpである場合には、左ノードであるノードＮ31と右ノードであるノードＮ32とに対応するクラスタに含まれる画像の枚数の和は、画像PIC0の１枚と画像PIC1乃至PIC4の４枚との和の５枚であり、制限枚数の３枚以下でないので、グループ作成部１０１は、右ノードｒ（Ｎp）がリーフノードであるか否かを判定する。
【０２１６】
図２１において、ノードＮ21が注目ノードである場合、その右ノードであるノードＮ32はリーフノードでないので、グループ作成部１０１は、右ノードｒ（Ｎp）の左ノードｌ（ｒ（Ｎp））を右ノードｒ（Ｎp）とする。すなわち、図２１において、ノードＮ21が注目ノードＮpであるので、右ノードｒ（Ｎp）であるノードＮ32の左ノードＮ41が、注目ノードＮpの右ノードｒ（Ｎp）とされる。
【０２１７】
次に、グループ作成部１０１は、左ノードｌ（Ｎp）および右ノードｒ（Ｎp）を引数とする関数join_left(l(Np),r(Np))を再帰的に呼び出し、関数join_left(l(Np),r(Np))の処理を、再帰的に行う。
【０２１８】
関数join_left(l(Np),r(Np))の処理において、グループ作成部１０１は、注目ノードＮpの左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。
【０２１９】
図２１においては、ノードＮ21が注目ノードＮpであり、左ノードであるノードＮ31と右ノードであるノードＮ41とに対応するクラスタに含まれる画像の枚数の和は、画像PIC0の１枚と画像PIC1およびPIC2の２枚との和の３枚であり、制限枚数の３枚以下であるので、グループ作成部１０１は、左ノードｌ（Ｎp）と右ノードｒ（Ｎp）とに対応するクラスタに含まれる画像で１つのグループを作成する。すなわち、グループ作成部１０１は、図２１におけるノードＮ31とノードＮ41とに対応するクラスタに含まれる画像PIC0乃至PIC2の３枚の画像が含まれるグループＣ1を生成する。
【０２２０】
また、グループ作成部１０１は、右ノードｒ（Ｎp）の右ノードｒ（ｒ（Ｎp））を注目ノードＮpとする。すなわち、グループ作成部１０１は、図２１における右ノードｒ（Ｎp）であるノードＮ32の右ノードＮ42を注目ノードＮpとし、グループ作成部１０１は、注目ノードＮpを引数とする関数join_restricted(Np)を再帰的に呼び出し、関数join_restricted(Np)の処理を、再帰的に行う。
【０２２１】
関数join_restricted(Np)の処理において、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。図２１において、注目ノードＮpであるノードＮ42に対応するクラスタに含まれる画像の枚数は、画像PIC3乃至PIC4の２枚であり、制限枚数の３枚以下であるので、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる全ての画像を１つのグループとする。すなわち、グループ作成部１０１は、図２１におけるノードＮ42に対応するクラスタに含まれる画像PIC3乃至PIC4の２枚の画像が含まれるグループＣ2を作成する。
【０２２２】
さらに、グループ作成部１０１は、右ノードｒ（Ｎp）を新たな注目ノードＮpとする。すなわち、図２１において、注目ノードＮpがノードＮ11である場合の、ノードＮ11の右ノードｒ（Ｎp）であるノードＮ22が新たな注目ノードＮpとされる。
【０２２３】
グループ作成部１０１は、新たな注目ノードＮpについて、グループの作成の処理を再帰的に行う。
【０２２４】
グループの作成の処理において、グループ作成部１０１は、注目ノードＮpがリーフノードであるか否かを判定する。注目ノードＮpであるノードＮ22はリーフノードであるので、グループ作成部１０１は、注目ノードＮpに対応するクラスタに含まれる画像を１つのグループとする。注目ノードＮpであるノードＮ22はリーフノードであるので、グループ作成部１０１は、１枚の画像PIC5のみが含まれる１つのグループＣ3を作成する。
【０２２５】
このようにして、グループ作成部１０１は、クラスタリング部９１から供給されたクラスタツリーのノードに対応するクラスタに含まれる画像の枚数が制限枚数以下であり、含まれる画像どうしの撮影時間の時間間隔が最小時間間隔閾値以下であるグループを作成する。
【０２２６】
従来の手法によれば、図２１に示される画像PIC0乃至PIC5についての二分木構造は、画像PIC0の画像が１枚のグループ、画像PIC1およびPIC2の画像が２枚のグループ、画像PIC3およびPIC4の画像が２枚のグループ、および画像PIC5の画像が１枚のグループにグループ分けされる。
【０２２７】
本発明の手法によれば、図２１に示される画像PIC0乃至PIC5についての二分木構造は、画像PIC0乃至PIC2の画像が３枚のグループＣ1と、画像PIC3およびPIC4の画像が２枚のグループＣ2と、画像PIC5の画像が１枚のグループＣ3とにグループ分けされる。このようにグループ分けされた画像は、スクラップブックのページにグループ毎に配置される。
【０２２８】
図２２は、配置テンプレートの構成の例を示す図である。配置テンプレートは、スクラップブックの各ページに配置される画像の枚数を決定する。図２２に示されるように、配置テンプレート１３１−１は４枚、配置テンプレート１３１−２は３枚、配置テンプレート１３１−３は２枚、配置テンプレート１３１−４は１枚の画像をそれぞれ配置するためのものである。このような配置テンプレート１３１−１乃至１３１−４によって、スクラップブックのページあたりの枚数が制限される。
【０２２９】
図２３は、スクラップブックのページの構成の例を示す図である。
【０２３０】
図２３の例において、ページ１５１には、背景テンプレート１１１および配置テンプレート１３１が設定されている。背景テンプレート１１１は、例えば、ページ１５１に配置されている４枚の画像のメタデータと同じメタデータを有する。また、配置テンプレート１３１によって、例えば、４枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。ユーザは、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができる。
【０２３１】
図２４は、スクラップブックの構成の例を示す図である。
【０２３２】
図２４の例において、スクラップブック１７１は、ページ１５１乃至ページ１５５の５ページで構成される。スクラップブック１７１のページ１５１乃至ページ１５５に配置されている画像は全て、同じイベントを表すメタデータを有する。スクラップブック１７１には、そのメタデータに対応する背景テンプレート１１１が設定される。ページ１５１は、スクラップブック１７１の表紙となる。ページ１５２乃至ページ１５５には、ページ１５１と同様に、それぞれ配置テンプレート１３１−１乃至１３１−４によって決定される枚数の画像が配置される。
【０２３３】
以上のように、HDDレコーダ１は、撮影された画像がページあたりの枚数の制限に合わせて適切な枚数にグループ分けされ、配置されてなるスクラップブックを作成することができる。
【０２３４】
このようにして、一画面に表示する画像の枚数に制限があった場合でも、それぞれの画面にはまとまった内容の画像が表示されるため、ユーザは違和感を覚えない。
【０２３５】
また、上述した説明においては、クラスタリング部９１は、画像の撮影時刻を示すメタデータに基づいて、クラスタリングを行うようにしたが、画像の撮影場所を示すメタデータや、画像に関するキーワードを示すメタデータに基づいて、クラスタリングを行うようにしてもよい。
【０２３６】
次に、HDDレコーダ１におけるスクラップブックの表示処理について説明する。
【０２３７】
HDDレコーダ１は、例えば、操作部１９が操作され、制御部２０がスクラップブックの表示処理の指示を取得すると処理を開始する。
【０２３８】
図２５は、スクラップブックの表示処理の例を示すフローチャートである。
【０２３９】
ステップＳ１３１において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックを表示する一覧の表示パターンを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックを表示する一覧の表示パターンを示す情報を記録再生制御部５２に供給する。
【０２４０】
ステップＳ１３２において、記録再生制御部５２は、記録再生部１８から記録されている全部のスクラップブックを読み出す。記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックを表示する一覧の表示パターンを示す情報に応じて、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２にスクラップブックの一覧を表示させる。
【０２４１】
ステップＳ１３３において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックの一覧からスクラップブックの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報を記録再生制御部５２に供給する。
【０２４２】
図２６乃至図２８は、モニタ２に表示されるスクラップブックの一覧の例を示す図である。
【０２４３】
図２６は、インデックス形式で表示されるスクラップブックの一覧の例を示す図である。図２６の例においては、モニタ２の画面１９１上に、それぞれのスクラップブックの表紙となる１ページ目が一覧として表示されている。ユーザは、操作部１９を操作し、カーソル２１１を移動させスクラップブックの１つを選択することができる。
【０２４４】
図２７は、カレンダーを用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示されるカレンダー表示領域と、右方に表示されるプレビュー画面表示領域とから構成される。カレンダー表示領域には、例えば、スクラップブックに付加されている日付を表すメタデータに基づいて、カレンダーの対応する日の欄に、それぞれのスクラップブックの表紙となる１ページ目が表示される。プレビュー画面表示領域には、カレンダー表示領域のカーソル２３１−１により選択される日に存在するスクラップブックのプレビュー画面２３１−２が表示される。
【０２４５】
図２７の例においては、１１月を表すカレンダー表示領域において、カーソル２３１−１によって１１月１８日が選択されている。プレビュー画面表示領域には、選択された１１月１８日のメタデータが付加されているスクラップブックのプレビュー画面２３１−２が表示される。
【０２４６】
図２８は、地図を用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示される地図表示領域と、右方に表示される一覧表示領域とから構成される。地図表示領域には、所定の地域を表す地図が表示される。ユーザは、表示される地図上の所定の場所を選択することができる。一覧表示領域には、例えば、ユーザにより選択された場所のメタデータが付加されているスクラップブックの一覧が表示される。
【０２４７】
図２８の例においては、地図表示領域の地図上の「東京都」がカーソル２５１−１により選択されている。一覧表示領域には、「東京都」のメタデータが付加されているスクラップブックの表紙が表示される。ユーザは、表示された一覧から、スクラップブックの１つを選択することができる。
【０２４８】
このようにして、表示されたスクラップブックの一覧からスクラップブックの１つを選択することができる。
【０２４９】
図２５の説明に戻り、ステップＳ１３４において、記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報に基づいて、選択されたスクラップブックを表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に選択されたスクラップブックの最初のページを表示させる。
【０２５０】
ステップＳ１３５において、記録再生制御部５２は、表示されているスクラップブックの次のページが存在しないか否かを判定する。ステップＳ１３５において、次のページが存在しないと判定された場合、処理は終了する。
【０２５１】
一方、ステップＳ１３５において、次のページが存在すると判定された場合、処理はステップＳ１３６に進む。
【０２５２】
ステップＳ１３６において、制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に選択されたスクラップブックの次のページを表示させ、処理はステップＳ１３５に戻る。
【０２５３】
このように、HDDレコーダ１は、スクラップブックを表示させることができる。
【０２５４】
なお、上述した説明では、画像からスクラップブックを作成するものとしたが、スクラップブックからスクラップブックを作成するようにしてもよい。
【０２５５】
また、上述した説明において、クラスタリングの処理およびグループ分けの処理は、単純に、画像の撮影時刻の時間間隔を用いて行われるものとしたが、画像全体の撮影間隔の平均を基準とした分散に基づいて行われるようにしてもよい。
【０２５６】
このように、複数のデータをクラスタリングするようにした場合には、撮影された画像をグループ分けすることができる。また、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし、二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応するクラスタに含まれる画像どうしの距離が所定の閾値以下となる場合、２つの子ノードに対応するクラスタそれぞれに含まれる画像のグループであって、そのグループに含まれる画像の枚数が所定の制限枚数以下であるグループを作成するようにした場合には、枚数の制限に合わせて、撮影された画像を適切な枚数にグループ分けすることができる。
【０２５７】
また、本発明をHDDレコーダに適用した実施の形態について説明したが、本発明は、コンテンツを記録または再生する機能を有する、その他の情報処理装置に適用することができる。
【０２５８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、制御部２０に、リムーバブルメディア５からインストールされる。
【０２５９】
なお、本明細書において、リムーバブルメディア５に格納されるプログラムを記述するステップは、記載された順序に沿って時系列に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０２６０】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２６１】
【図１】従来のクラスタツリーの分割の手法を説明する図である。
【図２】本発明の一実施の形態であるHDDレコーダの例を示す図である。
【図３】HDDレコーダの制御部の構成の例を示すブロック図である。
【図４】画像のクラスタの例を示す図である。
【図５】二分木構造のクラスタツリーの作成について説明する図である。
【図６】二分木構造のクラスタツリーの作成について説明する図である。
【図７】二分木構造のクラスタツリーの作成について説明する図である。
【図８】二分木構造のクラスタツリーの作成について説明する図である。
【図９】二分木構造のクラスタツリーの作成について説明する図である。
【図１０】二分木構造のクラスタツリーの作成について説明する図である。
【図１１】二分木構造のクラスタツリーの作成について説明する図である。
【図１２】二分木構造のクラスタツリーの作成について説明する図である。
【図１３】二分木構造のクラスタツリーの作成について説明する図である。
【図１４】スクラップブックの作成処理の例を説明するフローチャートである。
【図１５】背景テンプレートの例を示す図である。
【図１６】グループ分けの処理を説明するフローチャートである。
【図１７】グループの作成の処理を説明するフローチャートである。
【図１８】関数join_restricted(Np)の処理を説明するフローチャートである。
【図１９】関数join_left(Np)の処理を説明するフローチャートである。
【図２０】関数join_right(Np)の処理を説明するフローチャートである。
【図２１】クラスタリング部から供給されたクラスタツリーを示す図である。
【図２２】配置テンプレートの例を示す図である。
【図２３】スクラップブックのページの構成の例を示す図である。
【図２４】スクラップブックの構成の例を示す図である。
【図２５】スクラップブックの表示処理の例を説明するフローチャートである。
【図２６】スクラップブックの一覧の表示の例を示す図である。
【図２７】スクラップブックの一覧の表示の他の例を示す図である。
【図２８】スクラップブックの一覧の表示のさらに他の例を示す図である。
【符号の説明】
【０２６２】
１  HDDレコーダ，  ２  モニタ，  ５  リムーバブルメディア，  １８  記録再生部，  １９  操作部，  ２０  制御部，  ３１  画像DB，  ３２  テンプレートDB，  ３３  コンテンツDB，  ５１  選択部，  ５２  記録再生制御部，  ５３  表示制御部，  ５４  メタデータ抽出部，  ５５  コンテンツ作成部，  ７１  演算部，  ７２  テンプレート設定部，  ９１  クラスタリング部，  ９２  グループ分け処理部，  １０１  グループ作成部
【図１】
2008269076.tif 000003
【図２】
2008269076.tif 000004
【図３】
2008269076.tif 000005
【図４】
2008269076.tif 000006
【図５】
2008269076.tif 000007
【図６】
2008269076.tif 000008
【図７】
2008269076.tif 000009
【図８】
2008269076.tif 000010
【図９】
2008269076.tif 000011
【図１０】
2008269076.tif 000012
【図１１】
2008269076.tif 000013
【図１２】
2008269076.tif 000014
【図１３】
2008269076.tif 000015
【図１４】
2008269076.tif 000016
【図１５】
2008269076.tif 000017
【図１６】
2008269076.tif 000018
【図１７】
2008269076.tif 000019
【図１８】
2008269076.tif 000020
【図１９】
2008269076.tif 000021
【図２０】
2008269076.tif 000022
【図２１】
2008269076.tif 000023
【図２２】
2008269076.tif 000024
【図２３】
2008269076.tif 000025
【図２４】
2008269076.tif 000026
【図２５】
2008269076.tif 000027
【図２６】
2008269076.tif 000028
【図２７】
2008269076.tif 000029
【図２８】
2008269076.tif 000030