(57)【要約】【課題】スライドショーの視聴者に馴染みのあるＢＧＭを、リアルタイムに自動で再生可能にする。【解決部】スライドショーを再生するときにリアルタイムに視聴者を認識し、その視聴者がスライドショーの写真の中に被写体として映っているか顔認識して判別する。被写体として映っていたら、その人物がスライドショーの写真の撮影期間に聴いていた音楽をその人物の音楽再生履歴から取得し、スライドショーのＢＧＭとして再生する。【選択図】図２
2017073607.tif 000002
【特許請求の範囲】
【請求項１】
生成時期が明らかな素材画像を含むコンテンツを視聴しようとする視聴者を撮影した撮影画像を取得し、取得した撮影画像から前記視聴者を認識する視聴者認識手段と、
前記素材画像から被写体となった人物を認識する人物認識手段と、
認識された前記視聴者と前記人物とを照合する照合手段と、
前記照合手段により前記視聴者が前記人物とされた場合、当該素材画像の生成時期に前記視聴者が再生した音を当該音の再生履歴を基に取得する音取得手段と、
前記取得した音を前記素材画像の再生に同期して再生する再生手段と、を備えて成る、
コンテンツ再生システム。
【請求項２】
前記音取得手段は、前記視聴者が携行した音楽再生装置で再生され、所定の音楽管理手段に保持されている音楽の再生履歴に基づき、前記素材画像の生成時期に再生された音楽を取得する、
請求項１に記載のコンテンツ再生システム。
【請求項３】
前記素材画像は予め撮影された複数の写真画像であり、
前記音取得手段は、最も早い撮影時刻から最も遅い撮影時刻までを撮影時刻範囲とし、この撮影時刻範囲において再生された音楽を取得する、
請求項２に記載のコンテンツ再生システム。
【請求項４】
前記音取得手段は、前記撮影時刻範囲に前記視聴者により再生された音楽が存在しない場合、前記撮影時刻範囲を基準として所定時間分だけ範囲を拡げ、拡げた時間内で再生された音楽の取得を可能にする、
請求項３に記載のコンテンツ再生システム。
【請求項５】
前記音取得手段は、前記拡げた時間内において再生された音楽が見つからない場合は、見つかるまで前記時間をさらに拡げる、
請求項４に記載のコンテンツ再生システム。
【請求項６】
前記音楽の再生履歴が予め指定された特定者に限り公開されている場合、前記音取得手段は、前記視聴者が前記特定者に該当することを条件として前記音楽を取得する、
請求項２ないし５のいずれか一項に記載のコンテンツ再生システム。
【請求項７】
前記音楽の再生履歴には再生時刻範囲が定められており、再生時刻範囲ごとに前記特定者が指定されている、
請求項６に記載のコンテンツ再生システム。
【請求項８】
個々の前記音楽の再生が特定者に限り許容されている場合、前記音取得手段は、前記視聴者が前記特定者に該当することを条件として前記音楽を取得する、
請求項２ないし５のいずれか一項に記載のコンテンツ再生システム。
【請求項９】
前記音取得手段は、前記視聴者により再生された音楽を取得できない場合は、前記再生履歴によらない所定ルールに従って音又は音楽を取得する、
請求項２ないし８のいずれか一項に記載のコンテンツ再生システム。
【請求項１０】
前記音取得手段は、素材画像の枚数と素材画像一枚当たりの表示時間との積からコンテンツ再生時間を算出し、当該コンテンツ再生時間に適合する音楽を取得する、
請求項３ないし９のいずれか一項に記載のコンテンツ再生システム。
【請求項１１】
前記音取得手段は、前記コンテンツ再生時間より長くかつ当該コンテンツ再生時間に一番近くなるように組み合わされた複数の音楽を取得する、
請求項１０に記載のコンテンツ再生システム。
【請求項１２】
前記視聴者を撮影する撮影手段と、
人物の顔の特徴を表す顔特徴量データと当該人物を識別するための人物ＩＤとが登録された顔情報ＤＢへのアクセスを可能にする通信手段とを備えており、
前記視聴者認識手段は、前記撮影手段が撮影した前記視聴者の撮影画像から当該視聴者の顔の特徴量を表す顔特徴量データを抽出し、この顔特徴量データに適合する人物ＩＤを前記顔情報ＤＢより特定することにより、当該視聴者をリアルタイムに認識する、
請求項１に記載のコンテンツ再生システム。
【請求項１３】
前記人物認識手段は、前記素材画像に映っている人物についての前記顔特徴量データを抽出し、この顔特徴量データに適合する人物ＩＤを前記顔情報ＤＢより特定することにより、当該素材画像の被写体となっている人物を認識する、
請求項１２に記載のコンテンツ再生システム。
【請求項１４】
前記素材画像が複数であり、前記視聴者認識手段が複数の視聴者を認識し、かつ、前記人物認識手段が複数の被写体となった人物を認識した場合、視聴者ごとの前記素材画像における出現回数を集計する第１集計手段を備えており、
前記音取得手段は、出現回数が多い視聴者が再生した音楽を優先して取得する、
請求項１３に記載のコンテンツ再生システム。
【請求項１５】
前記素材画像が複数であり、前記視聴者認識手段が複数の視聴者を認識し、かつ、前記人物認識手段が複数の被写体となった人物を認識した場合、前記素材画像の最も早い撮影時刻から最も遅い撮影時刻までを撮影時刻範囲とし、この撮影時刻範囲に再生された音楽の再生回数を視聴者ごとに集計する第２集計手段を備えており、
前記音取得手段は、再生回数が多い視聴者が再生した音楽を優先して取得する、
請求項１４に記載のコンテンツ再生システム。
【請求項１６】
前記素材画像が複数であり、前記視聴者認識手段が複数の視聴者を認識し、かつ、前記人物認識手段が複数の被写体となった人物を認識した場合、すべての前記素材画像の再生時間における各視聴者の出現数の分布を集計する第３集計手段を備えており、
前記音取得手段は、前記第３集計手段により集計された分布に従い第１視聴者の出現数が第２視聴者の出現数より多い時間帯では第１視聴者が聴いていた音楽の再生が可能になるように各音楽を取得する、
請求項１３に記載のコンテンツ再生システム。
【請求項１７】
前記素材画像が複数であり、前記視聴者認識手段が複数の視聴者を認識し、かつ、前記人物認識手段が複数の被写体となった人物を認識した場合、すべての前記素材画像の再生時間における各視聴者の数の増減の変化を検出する検出手段を備えており、
前記音取得手段は、前記変化が検出された場合、検出後の視聴者に対する前記集計の結果に基づいて音楽を取得する、
請求項１３ないし１６のいずれか一項に記載のコンテンツ再生システム。
【請求項１８】
前記変化が検出された場合、前記再生手段は再生中のコンテンツにおける音楽の再生を終了させ、新たに取得した音楽の再生を開始する、
請求項１７に記載のコンテンツ再生システム。
【請求項１９】
１人以上の視聴者の指定を受け付ける受付手段を備えており、前記音取得手段は、前記受付手段により指定された視聴者については、前記集計の結果に関わらず、当該視聴者が再生した音楽を取得する、
請求項１３ないし１８のいずれか一項に記載のコンテンツ再生システム。
【請求項２０】
再生された音楽の再生履歴を、それを聴いた人物の識別情報と共に所定の音楽管理手段に保持する工程と、
人物の顔特徴を表す顔特徴量データを、当該人物の識別情報と共に顔情報ＤＢへ登録する工程と、
予め撮影された素材画像を含むコンテンツを視聴する視聴者を撮影し、これにより得られた撮影画像から前記視聴者についての前記顔特徴量データを導出し、導出した顔特徴量データと前記顔情報ＤＢに登録された顔特徴量データとを照合することにより、当該視聴者の識別情報を特定する工程と、
特定した視聴者の識別情報に対応する音楽を前記音楽管理手段から取得する工程と、
取得した音楽を前記素材画像の再生に同期して再生する工程と、
を有する、コンテンツ再生方法。
【請求項２１】
カメラを有するコンピュータを、請求項１ないし１８のいずれか一項に記載されたコンテンツ再生システムとして動作させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば素材画像を含むコンテンツを再生する際に、そのコンテンツを視聴しようとする視聴者が聴いた音を、自動的に選択して各素材画像と同期して再生するコンテンツ再生システムに関する。
【背景技術】
【０００２】
旅行などで撮影した多数の写真画像を一定時間ごとに切替表示する「スライドショー」と呼ばれる技術がある。近年は、スライドショーを利用する際に、バックグラウンド音楽（ＢＧＭ）を併せて再生することも行われている。例えば特許文献１には、選択された写真画像の撮影時期を検出し、その撮影時期に最も売れた音楽やその時期に再生された音楽を併せて再生するデータ再生装置が開示されている。また、特許文献２には、スライドショーの写真中の被写体と、視聴者との間の親密度や年齢差に応じて予め決めておいた候補の中から音楽を選択する電子アルバムが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０１１３９５号公報
【特許文献２】特開２００６−１５５０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されたデータ表示システムにおいて、スライドショーの際に再生される音楽は、写真画像の撮影時期に最も売れた音楽などであり、スライドショーの視聴者の行為に由来するものではない。そのため、視聴者にとって必ずしも馴染みのある音楽とは限らない。また、特許文献２の従来技術では、視聴者と写真中の被写体の親密度や年齢差に応じた特別の音楽テーブルを別途用意しておく必要があり、音楽テーブルの作成に手間がかかる。このような問題は、写真画像を用いたスライドショーに限らず、例えば複数フレームの静止画像で構成され、音の情報を含む動画などのコンテンツを再生する際にも、同様に生じる。
【０００５】
本発明は、素材画像を含むコンテンツを再生する際に、視聴者にとって馴染みのある音を自動的に選択して素材画像と同期して再生するコンテンツ再生システム及びコンテンツ再生方法を提供することを主たる課題とする。
本発明の他の課題は、コンピュータをコンテンツ再生システムと動作させる上で好適となるコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明のコンテンツ再生システムは、生成時期が明らかな素材画像を含むコンテンツを視聴しようとする視聴者を撮影した撮影画像を取得し、取得した撮影画像から前記視聴者を認識する視聴者認識手段と、前記素材画像から被写体となった人物を認識する人物認識手段と、認識された前記視聴者と前記人物とを照合する照合手段と、前記照合手段により前記視聴者が前記人物とされた場合、当該素材画像の生成時期に前記視聴者が再生した音を当該音の再生履歴を基に取得する音取得手段と、前記取得した音を前記素材画像の再生に同期して再生する再生手段と、を備えて成る。
【発明の効果】
【０００７】
本発明によれば、素材画像の生成時期に再生された音が素材画像の再生に同期して自動的に再生される。
【図面の簡単な説明】
【０００８】
【図１】コンテンツ再生システムの全体構成図。
【図２】第１実施形態に係るコンテンツ再生システムの機能構成図。
【図３】リスナー登録処理の手順説明図。
【図４】顔情報登録処理の手順説明図。
【図５】音楽再生履歴記録処理の手順説明図。
【図６】スライドショー再生処理の手順説明図。
【図７】視聴者の出現回数と音楽再生履歴との対応例を示す図。
【図８】撮影時刻範囲の音楽再生回数と音楽再生履歴との対応例を示す図。
【図９】写真画像の再生時刻と視聴者ごとの出現数の分布例を示す図。
【図１０】視聴者数が変化するスライドショー再生処理の手順説明図。
【図１１】第５実施形態に係るコンテンツ再生システムの機能構成図。
【図１２】音楽再生履歴の公開範囲を指定する対応テーブルの例示図。
【図１３】音楽再生時刻範囲が定められている場合の対応テーブルの例示図。
【図１４】第６実施形態に係るコンテンツ再生システムの機能構成図。
【図１５】音楽データの公開範囲を指定する対応テーブルの例示図。
【図１６】変形例に係るコンテンツ再生システムの全体構成図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態例を説明する。
＜第１実施形態＞
図１は、第１実施形態に係るコンテンツ再生システム（以下、「本システム」という）の全体構成図である。第１実施形態では、コンテンツが素材画像の集合であるスライドショーであり、それを視聴しようとする視聴者が、素材画像の撮影時に音楽を聴いていた場合の例を説明する。素材画像の一部又は全部は、メタデータなどにより、その生成時期（撮影時刻）が明らかであるものとする。なお、素材画像は写真のような静止画だけでなく、複数フレームの静止画像から構成される動画像であっても良い。以下では、素材画像が写真画像（静止画）である場合を例として説明する。本システム１は、音楽再生装置１００、カメラ１０５が接続されたコンテンツ再生装置１１０、音楽選択サーバ１２０及び音楽データサーバ１３０をインターネットなどのネットワークＮに接続して構成される。音楽再生装置１００は視聴者が携行するものである。ネットワークＮはインターネットなどの公衆通信回線である。音楽選択サーバ１２０及び音楽データサーバ１３０は、音楽再生装置１００に音楽を提供し、かつ、提供した音楽の再生履歴などを管理する音楽管理手段として機能する。なお、音楽選択サーバ１２０及び音楽データサーバ１３０は、一つのサーバで構成することもできる。
【００１０】
音楽再生装置１００は、例えばスマートフォン、ｉＰｏｄ  ｔｏｕｃｈ（米国アップル社の登録商標）のような携帯音楽プレーヤーであり、操作用の表示デバイスを備えている。また、所定の音楽再生用のコンピュータプログラムがインストールされており、装置内に種々の機能を形成する。音楽選択サーバ１２０及び音楽データサーバ１３０は、音楽再生装置１００に音楽を提供するＷｅｂサーバの一種であり、所定のサーバプログラムを実行することにより、後述する各種機能を形成する。
【００１１】
コンテンツ再生装置１１０は、例えば通信デバイス、表示デバイス、操作デバイス、スピーカのような装置デバイスのほか、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＨＤＤを有するコンピュータである。通信デバイスはネットワークＮを通じて音楽選択サーバ１２０及び音楽データサーバ１３０などとの通信を可能にする通信手段である。表示デバイスはディスプレイであり、操作デバイスは、キーボード等の操作部を構成するものである。スピーカは、再生された音ないし音楽を出力する。ＣＰＵ（Central Processing Unit）は、コンテンツ再生用のコンピュータプログラム（以下、「コンテンツ再生ＡＰ」という）を実行する。これにより、ネットワークＮへの接続や、上記の装置内デバイスの動作を総括的に制御する制御手段として機能する。また、後述する種々の機能をコンピュータ内に形成する。ＲＡＭ（Random Access Memory）はＣＰＵの主メモリ、ワークエリア等として使用される。ＲＯＭ（Read Only Memory）は、コンテンツ再生ＡＰの実行を可能にする制御プログラムなどが記憶される。ＨＤＤは上記コンテンツ再生ＡＰや当該コンテンツ再生ＡＰの実行により生じた各種データのほか、動作コンテンツの再生に必要な素材画像や音源データなどを格納するストレージである。なお、コンテンツ再生装置１１０は、コンピュータ機能を備えたスマートフォン又はタブレット端末、あるいは、テレビとセットアップボックスのセットなどで構成しても良い。
【００１２】
図２は、本システム１の機能構成図である。図１及び図２を参照すると、音楽再生装置１００には、音楽再生部１０１、音楽再生履歴送信部１０２、リスナー登録部１０３の機能が形成される。音楽再生部１０１は、例えばネットワークＮ側（音楽選択サーバ１２０、音楽データサーバ１３０など）から音楽データを取得し、取得した音楽データを再生する。リスナー登録部１０３は、音楽再生装置１００のユーザ（リスナー）を識別するためのリスナーＩＤ（ＩＤは識別情報の略、以下同じ）の登録に関する処理を行う。音楽再生履歴送信部１０２は、音楽再生装置１００を識別するための音楽再生装置ＩＤ及びリスナーＩＤを伴う音楽再生履歴などを音楽選択サーバ１２０に送信する。音楽選択サーバ１２０は、音楽再生履歴ＤＢ（ＤＢはデータベースの略、以下同じ）１４２を保有しており、この音楽再生履歴ＤＢ１４２に、リスナーＩＤと音楽再生装置ＩＤとを保持する。音楽再生履歴ＤＢ１４２に保持されたデータは、音楽選択部１２２が適宜読み出し、音楽データサーバ１３０から該当する音楽データを取得する際に用いられる。
【００１３】
コンテンツ再生装置１１０は、視聴者認識部１１１、集計部１１２、被写体認識部１１３の機能を装置内に形成する。コンテンツ再生装置１１０は、また、要求データ送信部１１４、データ受信部１１５、コンテンツ再生部１１６、視聴者・被写体照合部１１７、顔情報登録部１１８、素材画像選択部１１９の機能も形成する。ＨＤＤには、顔画像ＤＢ１４１が構築される。顔情報ＤＢ１４１には、人物の顔情報、すなわち当該人物の顔の特徴を定量化した顔特徴量データが、当該人物を識別するための人物ＩＤと関連付けて登録（保存）される。顔特徴量データと人物ＩＤの登録は、顔情報登録部１１８により行われる。なお、顔情報ＤＢ１４１は、コンテンツ再生装置１１０がアクセス可能な場所であれば、装置外に存在しても良い。
【００１４】
視聴者認識部１１１は視聴者識別手段として機能する。すなわち、素材画像を含むコンテンツを視聴しようとする視聴者を撮影した撮影画像をカメラ１０５から取得する。そして、取得した撮影画像からその視聴者を認識する。認識は顔画像認識処理により行う。具体的には、撮影画像のうち顔画像の特徴量を表す顔特徴量データを導出した後、その顔特徴量データを基に、顔情報ＤＢ１４１からその視聴者の人物ＩＤを特定する。視聴者認識部１１１は、この顔画像認識処理をリアルタイムに行う。
【００１５】
被写体認識部１１３は人物認識手段として機能する。複数の素材画像の各々から、それぞれ被写体となった人物を認識する。認識は顔画像認識処理により行う。具体的には、素材画像のうち顔画像の特徴量を表す顔特徴量データを導出した後、その顔特徴量データを基に、顔情報ＤＢ１４１から各人物の人物ＩＤを特定する。素材画像は、素材画像選択部１１９から出力される。素材画像選択部１１９は、ＨＤＤに格納されている大量の素材画像の中からスライドショーとして再生する複数の素材画像を選択する。そして、選択した素材画像を被写体認識部１１３に出力する。なお、素材画像が動画像である場合は、動画像を構成する各フレームを、１つの静止画像とみなして上記処理を各フレームに対して行っても良いし、１つの代表フレームのみを対象とすることもできる。例えば、動画像が素材画像として選択される際に、ユーザに対して、顔検出処理を各フレームに対して行うか、代表フレームに対して行うかを選択させるインタフェースを提示しても良い。
視聴者・被写体照合部１１７は、認識された視聴者と人物とを照合する照合手段として機能する。具体的には、視聴者認識部１１１により特定された人物ＩＤと被写体認識部１１３により特定された人物ＩＤとを照合し、両ＩＤが一致するかどうかを判別する。
【００１６】
集計部１１２は、取得したい音楽の範囲を決定する条件、例えば時間などを集計する。例えば、素材画像が複数の場合、素材画像の撮影時刻を当該素材画像のメタデータから取得し、最も早い撮影時刻から最も遅い撮影時刻までを上記範囲（条件）の一例となる撮影時刻範囲として導出する。要求データ送信部１１４は、ネットワークＮ側の音楽管理手段（音楽選択サーバ１２０，音楽データサーバ１３０）へ音楽選択の要求データを送信する。要求データは、取得したい音楽を要求するデータである。データ受信部１１５は、この要求データに従い、例えば音楽再生履歴を基に特定された音楽を音楽選択サーバ１２０から取得する。詳しくは後述するが、視聴者が携行した音楽再生装置１００において再生された音楽の音楽再生履歴に基づき、素材画像の生成時期に再生された音楽を取得する。第１実施形態では、集計部１１２，要求データ送信部１１４、データ受信部１１５、音楽選択サーバ１２０、音楽データサーバ１３０により、音取得手段を実現する。
【００１７】
コンテンツ再生部１１６は、素材画像選択部１１９において選択された複数の素材画像を順次再生する。その際、素材画像の再生に同期して音楽を再生する。再生された表示画像は表示デバイスに表示され、再生された音楽はスピーカから出力される。すなわち、第１実施形態では、コンテンツ再生部１１６及び装置内デバイスにより再生手段を実現する。
【００１８】
音楽選択サーバ１２０は、図２に示される音楽再生履歴保存部１２１と音楽選択部１２２の機能をサーバ内に形成する。また、ＨＤＤなどのストレージに音楽再生履歴ＤＢ１４２を構築する。音楽再生履歴保存部１２１は、音楽再生装置１００から再生された音楽を識別するための音楽ＩＤと、その音楽の再生時刻と、その音楽再生装置１００を識別するための音楽再生装置ＩＤとを取得する。そして、取得したこれらのデータを音楽再生履歴として音楽再生履歴ＤＢ１４２に保存する。なお、音楽ＩＤは音楽を一意に識別できるものであれば良く、音楽の題名とアーティスト名でも良いし、任意の数値などでも良い。音楽選択部１２２は、要求データ送信部１１４から送信された要求データを受信し、この要求データに適合する音楽を音楽再生履歴の中から選択する。また、選択した音楽に対応する音楽データを音楽データ取得部１３２から取得し、コンテンツ再生部１１６へ送信する。音楽データは音源指定データあるいはそれ自体でスピーカを鳴動可能なデータである。なお、音楽再生履歴ＤＢ１４２は、音楽選択サーバ１２０がアクセス可能な場所であれば、サーバ外に存在しても良い。
【００１９】
音楽データサーバ１３０は、図２に示される音楽データ登録部１３１と音楽データ取得部１３２とをサーバ内に形成する。また、ＨＤＤなどのストレージに音楽データＤＢ１４３を構築する。音楽データ登録部１３１は、音楽ＩＤと音楽データとを対応付けて音楽データＤＢ１４３へ保存する。音楽データ取得部１３２は、音楽選択部１２２から受信した音楽ＩＤに対応する音楽データを音楽データＤＢ１４３から取得し、音楽選択部１２２へ送信する。また、音楽選択部１２２からの問合せに対して、音楽情報（音楽の長さなど）を返信する。なお、音楽データＤＢ１４３は、音楽データサーバ１３０がアクセス可能な場所であれば、サーバ外に存在しても良い。
【００２０】
次に、本システム１の動作例を図３〜６を用いて説明する。図３は、リスナー登録処理の手順説明図である。この処理は、音楽再生装置１００のＩＤとリスナーＩＤを本システム１へ登録する処理であり、リスナー登録部１０３が主体的に実行する。リスナー登録処理が選択されると、音楽再生装置１００は、表示デバイスにリスナー登録用画面を表示させる。リスナー登録部１０３は、リスナー登録用画面を通じてリスナーが入力したリスナーＩＤを取得する（Ｓ１０１）。また、送信指示を受け付ける。すると、リスナー登録部１０３は、リスナーＩＤと音楽再生装置ＩＤとを音楽選択サーバ１２０へ送信するための処理を行う（Ｓ１０２）。音楽選択サーバ１２０は、リスナーＩＤと音楽再生装置ＩＤとを関連付けて音楽再生履歴ＤＢ１４２へ登録する。
【００２１】
図４は、顔情報登録処理の手順説明図である。この処理は、本システム１を利用する人物（リスナー、視聴者など）の顔情報を本システム１へ登録する処理であり、上記のとおり、顔情報登録部１１８が主体的に実行する。本実施形態において、リスナーと視聴者とを区別する必要がない場合は「ユーザ」と称する。つまり、上述した視聴者ＩＤ及びリスナーＩＤを「ユーザＩＤ」と呼ぶ場合がある。
ユーザによる何らかの操作を検知すると、コンテンツ再生装置１１０は、カメラを起動させ、視聴者の顔を撮影させる。これにより、顔画像を取得する。また、表示デバイスに人物登録画面を表示させ、ユーザに顔画像を確認させた上で、ユーザＩＤの入力を受け付ける。これにより、顔情報登録部１１８は、ユーザＩＤと顔画像とを取得する（Ｓ３０１）。顔情報登録部１１８は、取得した顔画像を解析し、顔特徴量データを算出する（Ｓ３０２）。そして、算出した顔特徴量データをユーザＩＤと対応付け、人物の照合用データとして顔情報ＤＢ１４１へ登録する（Ｓ３０３）。このような処理をユーザ毎に行う。このとき、写真画像を使って登録を行っても良い。例えばある人物が被写体となった写真画像をコンテンツ再生装置１１０が読み込み、ユーザが選定した写真画像の顔領域と、その顔領域に対応付けたユーザＩＤとを取得し、登録しても良い。
【００２２】
図５は、音楽再生履歴記録処理の手順説明図である。この処理は、音楽再生装置１００と音楽選択サーバ１２０とが協働で実行する。ユーザが、音楽再生装置１００において、聞きたい音楽を順次再生したとする。音楽再生装置１００は、ユーザによる再生ボタンの押下を検知すると（Ｓ２０１）、曲ごとに、再生を行うとともに、再生開始時刻と再生終了時刻とを装置内に記録する（Ｓ２０２）。その後、停止ボタンの押下を検知したとする（Ｓ２０３）。すると、音楽再生装置１００は、再生ボタンの押下時刻から停止ボタンの押下時刻までの間で再生された１曲以上の音楽のうち、一定時間（例えば１５秒以上）以上再生されたものを抽出する（Ｓ２０４）。これは、誤操作などにより短時間しか再生されていない音楽は履歴に残さないようにするためである。抽出された音楽がない場合は記録処理を終える（Ｓ２０５：Ｎ）。抽出された音楽があった場合（Ｓ２０５：Ｙ）、音楽再生装置１００は、その再生開始時刻または再生終了時刻と、再生回数、音楽ＩＤ、音楽再生装置ＩＤを対応付け、これらを音楽再生履歴として音楽選択サーバ１２０へ送信する（Ｓ２０６）。音楽選択サーバ１２０は、音楽再生履歴を音楽再生履歴ＤＢ１４２へ登録する。
【００２３】
次に、スライドショー再生を行うときの本システム１の動作例を説明する。図６は、スライドショー再生処理の手順説明図である。図中、左側はコンテンツ再生装置１１０側、右側はネットワークＮ（音楽選択サーバ１２０等）側の処理である。なお、これらの処理の実行に先立ち、前述したリスナー登録処理、顔情報登録処理、音楽再生履歴記録処理が既に実行されているものとする。また、音楽再生履歴に対応する音楽データが音楽データサーバ１３０に登録されているものとする。
【００２４】
コンテンツ再生装置１１０は、素材画像選択部１１９が、ユーザの指示に基づき、スライドショー再生をする写真画像を選択する（Ｓ４０１）。写真画像が選択されると、素材画像選択部１１９は、コンテンツ再生装置１１０のＨＤＤに保存されている写真画像の一覧を伴う選択用画面を表示デバイスに表示させる。この選択用画面を通じてユーザが指定した順に複数の写真画像をスライドショー再生に用いる写真画像として特定する。なお、写真画像は、予めコンテンツ再生装置１１０内に保存されるもののほか、カメラや可搬式の記憶媒体に保存されているものを取り込んでも良い。また、ネットワークＮ上に保管されている写真画像をダウンロードして保存しても良い。
【００２５】
素材画像選択部１１９による写真画像の選択が終わると、コンテンツ再生装置１１０は、被写体認識部１１３が、選択された写真画像の被写体となった人物を認識する。つまり、写真画像に映っている人物の顔画像から顔の特徴量を抽出し、その特徴量と一致する顔特徴量データを顔情報ＤＢ１４１から検索し、その被写体の人物ＩＤを特定する（Ｓ４０２）。これにより、スライドショーの再生対象となる複数の写真画像と、そこに映っている人物の特定が完了する。
【００２６】
引き続き、視聴者が、スライドショーの視聴を開始したとする。なお、以下の説明は、視聴者が１人である場合の例である。視聴者は、コンテンツ再生装置１１０に接続されたカメラ１０５の前に存在する。コンテンツ再生装置１１０は、カメラ１０５から撮影画像を得る。視聴者認識部１１１は、撮影画像の顔領域から顔の特徴量を抽出し、顔特徴量データを生成する。そして、顔特徴量データに適合するデータを顔情報ＤＢ１４１から検索し、視聴者を特定する。すなわち、視聴者の人物ＩＤを特定する（Ｓ４０３）。
【００２７】
次に、視聴者・被写体照合処理を行う（Ｓ４０４）。この処理は、視聴者がスライドショーの再生対象となる写真画像に被写体として映っているかどうかを判別する処理であり、視聴者・被写体照合部１１７が実行する。視聴者・被写体照合部１１７は、Ｓ４０２で特定された被写体の人物ＩＤとＳ４０３で特定された視聴者の人物ＩＤとを照合し、合致するかどうかを判定する。存在しない場合、視聴者が写真画像の中に被写体として映っていないとみなす（Ｓ４０５：Ｎ）。この場合、コンテンツ再生装置１１０は、所定ルールによる音又は音楽の選択を行う（Ｓ４１９）。例えば、予め用意されたリストの中から、任意の音又は音楽のＩＤを指定することにより音又は音楽の選択を行う。Ｓ４０５において、視聴者が写真画像に被写体として映っていると判定した場合（Ｓ４０５：Ｙ）、集計部１１２で、写真画像の全写真の撮影時刻を取得し、写真画像全体の撮影時刻範囲を算出する（Ｓ４０６）。つまり、全写真のうち一番早い撮影時刻と一番遅い撮影時刻とを集計し、それを撮影時刻範囲とする。また、写真画像の枚数と写真画像一枚当たりの表示時間との積からコンテンツ再生時間を算出する。コンテンツ再生時間を算出するのは、当該時間に適合する音楽を取得できるようにするためである。写真一枚当たりの表示時間は、システムが決めた固定値でも良いし、ユーザが好きな時間を予め指定したりしても良い。その後、要求データ送信部１１４が、撮影時刻範囲、視聴者の人物ＩＤ、スライドショー再生時間を含む、音楽の要求データをネットワークＮ側、例えば音楽選択サーバ１２０へ送信する（Ｓ４０７）。
【００２８】
ネットワークＮ側では、音楽選択サーバ１２０が、要求データの受信を待つ（Ｓ４０８、Ｓ４０９：Ｎ）。要求データを受信した場合（Ｓ４０９：Ｙ）、当該要求データに含まれる人物ＩＤに対応するユーザを検索する（Ｓ４１０）。すなわち、視聴者の人物ＩＤに一致するユーザＩＤが登録されているかどうかを音楽再生履歴ＤＢ１４２の検索により確認する。一致するユーザＩＤがなかった場合（Ｓ４２０：Ｎ）、音楽選択サーバ１２０は、その旨をコンテンツ再生装置１１０に通知する。この場合、コンテンツ再生装置１１０は、Ｓ４１９により曲の選択を行う。一方、視聴者に一致するユーザＩＤが特定できた場合（Ｓ４２０：Ｙ）、音楽選択サーバ１２０は、撮影時刻範囲にそのユーザが再生した音楽の再生履歴のリスト（音楽再生履歴）とそれぞれの音楽の再生回数を音楽再生履歴ＤＢ１４２から取得する（Ｓ４１１）。そして、音楽再生履歴の中から、スライドショーの再生時間に適合するように何曲かを選択する集計・候補選択処理を行う（Ｓ４１２）。
【００２９】
ここで、集計・候補選択処理（Ｓ４１２）について詳しく説明する。この処理は、音楽選択部１２２が行う。音楽選択部１２２は、まず、音楽再生履歴における音楽を再生回数が多い順に並べる。そして上位から順番に音楽の再生時間（曲の長さ）を音楽データサーバ１３０へ問い合わせる。そして音楽の再生時間の合計がスライドショーの再生時間より長くかつその再生時間に一番近くなるように組み合わされた複数の音楽を選択する。本例では、音楽再生履歴に１５曲分が記録され、スライドショー再生時間が１０分であるものとする。また、再生回数が多い順に、Ｍ１、Ｍ２、Ｍ３、Ｍ４、・・・、Ｍ１５のＩＤが付されているものとする。音楽選択部１２２は、Ｍ１から順に音楽の長さを音楽データサーバ１３０の音楽データ取得部１３２へ問い合せる。そして、その結果、Ｍ１の長さが５分、Ｍ２の長さが４分、Ｍ３の長さが３分であったとする。この時点で３曲の合計が１２分であり、スライドショーの再生時間１０分より長く、かつ近い時間となったため、Ｍ１、Ｍ２、Ｍ３を選択結果とする。
【００３０】
なお、音楽データ取得部１３２へ問い合せた結果、例えば、候補となる音楽数がなく、あるいは数が不足して、スライドショーの再生時間に足りない場合がある。また、音楽再生履歴に記録されている音楽であっても音楽データＤＢ１４３に音楽データが登録されていない場合がある（Ｓ４１３：Ｎ）。このような場合、音楽選択サーバ１２０は、コンテンツ再生装置１１０へ候補となる音楽が存在しない旨を通知する。通知を受けたコンテンツ再生装置１１０は、Ｓ４１９の処理を行う。つまり、所定ルールで音楽を選択する。
候補となる音楽が存在する場合（Ｓ４１３：Ｙ）、音楽データサーバ１３０は、選択したＭ１、Ｍ２、Ｍ３の音楽データを音楽データ取得部１３２を通じて音楽データＤＢ１４３から取得する（Ｓ４１４）。そして、音楽選択サーバ１２０（音楽選択部１２２）を通じて、これらの音楽データをコンテンツ再生装置１１０へ送信する（Ｓ４１５）。コンテンツ再生装置１１０は、要求データを送信した後、音楽データの受信を待っている（Ｓ４１６、Ｓ４１７：Ｎ）。音楽データを受信した場合（Ｓ４１７：Ｙ）、コンテンツ再生装置１１０は、その音楽データに従う音楽が写真画像の再生に同期して再生されるように制御する（Ｓ４１８）。
【００３１】
なお、Ｓ４１９において、撮影時刻範囲に視聴者が再生した音楽が存在しなかった場合、撮影時刻範囲を基準として、所定時間分だけ範囲を拡げ、拡げた時間内で再生された音楽を取得し、再生するようにしても良い。例えば、予め拡げる時間を撮影時刻範囲の前後１時間を所定時間として定めておき、その範囲で再生された音楽を取得する。あるいは、再生された音楽が見つかるまで、時間を拡げ、撮影時刻範囲に最も近い時期で当該視聴者が再生した音楽を取得するようにしても良い。
【００３２】
別の例として、音楽再生履歴に記録されている音楽がスライドショー再生時間に比べて短い場合や音楽再生履歴に１曲だけが音楽データＤＢ１４３に登録されている場合がある。このような場合、その１曲は音楽データをコンテンツ再生装置１１０へ送信し、不足する分の音楽は所定ルールに従って独自に選択して送信するようにしても良い。
【００３３】
第１実施形態によれば、例えばある視聴者が過去に参加した旅行の写真画像をスライドショーとして見る時、その視聴者がその場で音楽を選択する等の行為を行うことなく自動的にＢＧＭが再生される。また、再生されるＢＧＭは、例えばその視聴者が旅行中によく聴いていた音楽などが自動的に選択される。そのため、その視聴者がスライドショーを見て旅行中の体験をよりよく思い出せる効果がある。
＜第２実施形態＞
第１実施形態ではスライドショーの視聴者が１人である例を説明した。第２実施形態では、視聴者が複数存在する場合の例を説明する。システム構成及び各部の機能については、第１実施形態と同じである。第１実施形態と異なるのは、図６のＳ４０３，Ｓ４０４の処理である。すなわち、第２実施形態では、図６のＳ４０３において、カメラ１０５に映った複数の視聴者のそれぞれの顔画像から顔特徴量データを抽出し、全員分の人物ＩＤを特定する。そして、Ｓ４０４において、スライドショーで再生する写真集合の中に、被写体として映っているかどうかを視聴者全員について調べる。視聴者のうち１人だけが写真画像の被写体として映っていた場合は、その後の手順は第１実施形態で述べた手順をそのまま適用できる。
【００３４】
一方、写真画像が複数であり、視聴者認識部１１１が複数の視聴者を認識し、かつ、被写体認識部１１３が複数の被写体となった人物を認識した場合は、第１実施形態とその処理手順が少し異なる。この場合は、Ｓ４０４において、視聴者ごとの写真画像中の出現数を集計し（第１集計手段）、対応テーブルを作成する。図７は対応テーブルの例示図であり、ＣＯＬ７１列、ＣＯＬ７２列、ＣＯＬ７３列を有する。ＣＯＬ７１列には視聴者ＩＤが記録される。図示の例では、視聴者Ａ〜Ｄが視聴者ＩＤとなる。ＣＯＬ７２は、視聴者Ａ〜Ｄの４名それぞれについて、写真集合の中に被写体として現れた数が記録される。ＣＯＬ７３は音楽再生履歴であり、再生回数の多い順に、また、出現数の多い人物順に高くなる優先度がつけられている。図７の例では、Ｄ、Ａ、Ｂ、Ｃの順に優先度が高くなる。コンテンツ再生装置１１０は、これらの優先度を、視聴者ＩＤ、撮影時刻範囲、スライドショー再生時間と共に音楽選択サーバ１２０へ送信する（Ｓ４０７）。音楽選択サーバ１２０は、Ｓ４１１の処理で、全ての視聴者についてそれぞれ、撮影時刻範囲に聴いていた音楽の曲リストを取得する。なお本例では全ての視聴者Ａ〜Ｄの再生履歴情報および全ての音楽データが存在しているとする。
【００３５】
音楽選択サーバ１２０は、視聴者全員分の音楽の履歴一覧から音楽を選択する処理を行う（Ｓ４１２）。ここで、前述の優先度を用いる。まず、各人物の音楽再生履歴を再生回数が多い順にリストアップし、それぞれの音楽の長さを調べる。その結果、図７のＣＯＬ７３列のようになったとする。次に、前述の優先度を参照し、出現回数が多い視聴者から順に音楽を選択する。つまり、コンテンツ再生装置１１０において、出現回数が多い視聴者が再生した音楽を優先して取得できるようにする。その際、スライドショーの再生時間より長くかつ近くなるように各音楽を選択する。なお、本例ではスライドショーの再生時間は２０分とする。その結果、ＭＤ１、ＭＡ１、ＭＢ１、ＭＣ１、ＭＤ２の５曲が選択され、これらの音楽がスライドショーのＢＧＭとして再生される。
このようにすると、スライドショーの視聴者が複数でも、なるべく全員に対して、旅行中に聴いていた音楽をＢＧＭとして流すことができる。さらに、スライドショーの写真画像に多く現れる人物の聴いていた音楽が優先してＢＧＭとして再生される。
【００３６】
また、別の例として、図８のように撮影時刻範囲内の再生回数を用いて音楽を選択しても良い。すなわち、図６のＳ４０８において、視聴者の人物ＩＤと撮影時刻範囲とスライドショー再生時間を受信した後、Ｓ４１２で、視聴者ごとの撮影時刻範囲の音楽の再生回数を集計し（第２集計手段）、図８に例示される対応テーブルを作成する。図７に例示された対応テーブルとの対比では、ＣＯＬ８２列だけが異なる。また、図７の例と同様に、各人物の音楽の再生履歴を再生回数が多い順にリストアップし、それぞれの音楽の長さを調べる。その結果、図８に例示される対応テーブルのＣＯＬ８３列のようになったとする。音楽選択サーバ１２０は、再生回数が多い視聴者が再生した音楽を優先し、かつスライドショーの再生時間より長くかつ近くなるよう選択する。なお、本例でもスライドショーの再生時間は２０分とする。その結果、ＭＣ１、ＭＡ１、ＭＢ１、ＭＤ１、ＭＣ２の５曲が選択される。
コンテンツ再生装置１１０は、これらの音楽をスライドショーのＢＧＭとして再生する。このようにすると、スライドショーの視聴者のうち旅行中によく聴いていた人物の音楽が優先してＢＧＭとして再生される。
【００３７】
また、別の例として、視聴者のうち一部の人物の指定を受け付ける受付手段を備え、指定された人物については上記の集計の結果に関わらず、当該人物が再生した音楽を選択しても良い。すなわち、図６のＳ４０３で視聴者を複数特定した結果の人物一覧を、例えばコンテンツ再生装置１１０の画面上に表示する。これらの処理は被写体認識部１１３が行う。視聴者は、表示された一覧から一部の人物を選択する。ここで、ユーザが１人物のみ選択した場合は第１実施形態で述べた手順と同様に音楽をすれば良い。一方、ユーザが２人物以上選択した場合、本実施形態で前述した手順を用いて音楽を選択すれば良い。このようにすると、例えばスライドショーを特別に見てほしい人物がいた場合、その人物に対して好適な音楽をＢＧＭとして再生でき、その人物に対して強い印象を与えることができる。
【００３８】
＜第３実施形態＞
第３実施形態では、写真画像における複数の視聴者の出現頻度が異なる場合の例を説明する。例えば、スライドショーの視聴者が第１視聴者Ａと第２視聴者Ｂの２名とする。また、スライドショーの写真画像は、各視聴者Ａ，Ｂが行った旅行中に撮影したものであるとする。また、各視聴者Ａ，Ｂは、それぞれの音楽再生装置１００を用いて旅行中に異なる音楽を再生して（聴いて）いたとする。つまり、要求データに基づき、音楽選択サーバ１２０において音楽が複数選択され、これらをコンテンツ再生装置１１０で取得したとする。なお、以下の説明は図６をもとに、第２実施形態と異なる部分についてのみ行う。
【００３９】
図６に示したＳ４０４の処理で、写真画像の被写体として第１視聴者Ａと第２視聴者Ｂが映っていることが確認されたとする。この場合、集計部１１２は、写真画像のスライドショーの再生時刻と各写真画像に第１視聴者Ａと第２視聴者Ｂの出現分布を集計する（第３集計手段）。集計の結果、図９のような出現回数の分布が現れたとする。図９のＦＦ０１は第１視聴者Ａの写真画像の再生時刻に対する出現数である。ＦＦ０２は第２視聴者Ｂの写真画像の再生時刻に対する出現数である。図示の例ではスライドショーで複数の写真画像を再生した場合、前半は第１視聴者Ａが多く出現し、後半は第２視聴者Ｂが多く出現している。第１視聴者Ａの出現数ＦＦ０１のピークは時刻ｔ０１であり、第２視聴者Ｂの出現数ＦＦ０２のピークは時刻ｔ０３である。出現数ＦＦ０１と出現数ＦＦ０２は、時刻ｔ０２で交差する。
【００４０】
データ受信部１１５では、集計された分布に従い第１視聴者Ａの出現数が第２視聴者Ｂの出現数より多い時間帯（再生開始時刻〜ｔ０１〜ｔ０２）では第１視聴者Ａが聴いていた音楽の再生が可能になるように音楽を取得する。また、交差時刻ｔ０２以降の時間帯（ｔ０２〜ｔ０３〜再生終了時刻）では第２被写体Ｂが聴いていた音楽の再生が可能になるように音楽を取得する。
【００４１】
図６のＳ４１８においてスライドショーを再生する際には、交差時刻ｔ０２に達するまでは第１視聴者Ａが聴いていた音楽をＢＧＭとして再生する。そして、交差時刻ｔ０２になったタイミングで、再生中の音楽をフェードアウト等して終了し、第２被写体Ｂが聴いていた音楽の再生する。そのため、各視聴者Ａ，Ｂが旅行中によく聴いていた音楽を、自分が多く出現する時間帯に合わせてＢＧＭとして流すことができる。
【００４２】
＜第４実施形態＞
第４実施形態では、すべての素材画像の再生時間における視聴者数の増減の変化を検出した場合の例を説明する。視聴者数の増減はカメラ１０５による撮影画像の顔認識処理の結果により検出する。つまり顔認識処理部１１１が検出手段として機能する。この場合、音取得手段は、変化が検出された場合、第１ないし第３実施形態において説明した集計並びに音楽選択、取得の処理を検出後の視聴者に対して行う。図１０は、コンテンツ再生装置１１０側の処理手順の説明図である。音楽選択サーバ１２０側の処理は図６と同様であるため、省略する。また、多くの処理が図６で説明した処理と同様であるため、違いのある部分を中心に説明を行う。
【００４３】
例えば、ある視聴者Ｃが１人でスライドショーを見ていたとする。このときは、図６に示したＳ４０１〜Ｓ４２０の手順で音楽が選択されスライドショーが再生される。ここで、スライドショーを再生している途中で、予め決められた一定時間を経過したときに（Ｓ４２１、Ｓ４２２）、再度スライドショーの視聴者をカメラ１０５で撮影する。スライドショーの視聴者数に変化がない場合は（Ｓ４２３：Ｎ）、引き続きスライドショーの再生を継続する（Ｓ４１８）。Ｓ４２３の処理で、他の視聴者Ｄが視聴者Ｃと共に認識されたとする（Ｓ４２３：Ｙ）。つまり、視聴者Ｄが視聴者Ｃと一緒にスライドショーを見始めたとする。この場合、図６のＳ４０４〜Ｓ４１７の処理が再度実行される。このときの音楽の選択処理は、第２実施形態で示した手順で行われる。Ｓ４１８では、コンテンツ再生部１１６が、スライドショーの再生途中であっても現在再生中のＢＧＭを終了させる。そして、新たに選択された音楽の再生を開始する。以上の手順を、スライドショーの再生が終了するまで繰り返し行う。
なお、上記例は、スライドショーの再生中に視聴者が増えた場合の例であるが、逆に、視聴者が減った場合でも同様の手順で対応できる。つまり、視聴者の人物数の増減や人物の変化に対して対応できる。
【００４４】
以上のようにすると、スライドショー再生の途中で、ある視聴者Ｘが加わった時でも、視聴者Ｘが旅行中によく聴いていた音楽をＢＧＭで再生することができ、視聴者Ｘにとっても効果的なスライドショーを再生できる。また、スライドショー再生の途中である視聴者Ｙが退席した場合、その後は視聴者Ｙが旅行中に聴いていた音楽が再生されなくなる。そのため、視聴者Ｙ以外の残りの視聴者たちが、聞いた覚えのない音楽を聞かされて不自然さを感じることがなくなる利点がある。
【００４５】
＜第５実施形態＞
第５実施形態では、音楽の再生履歴に対して公開範囲を設定でき、その設定に従って音楽の選択を行う例を説明する。図１１は、本システム１の機能構成図である。構成要素の多くは図２と共通する。図２との違いは、音楽選択サーバ１２０に、再生履歴公開範囲判別部１２３と、音楽再生履歴公開範囲設定部１２４とが追加される点である。
【００４６】
音楽再生履歴公開範囲設定部１２４は、音楽再生装置１００による音楽の再生履歴を、誰に公開しても良いかという公開範囲を設定する機能を有する。「公開範囲」とは、例えば「予め指定した特定者に限り公開する」、「誰に対しても公開する」、「リスナー本人のみ公開する」といった情報をいう。音楽再生履歴公開範囲設定部１２４は、これらの公開範囲の情報を音楽ＩＤと対応付けて音楽再生履歴ＤＢ１４２に保存する。
【００４７】
再生履歴公開範囲判別部１２３は、音楽選択部１２２から音楽ＩＤと視聴者の人物ＩＤとを受信し、コンテンツ再生装置１１０からの要求データに含まれる視聴者が音楽の再生履歴の公開範囲に入っているかを判別する。また、判別した結果を音楽選択部１２２へ送信する。
【００４８】
次に、第５実施形態によるコンテンツ再生の処理手順例を説明する。本例では、視聴者Ｕ００１〜Ｕ００５の５人がスライドショーを視聴しており、視聴者Ｕ００１だけがスライドショーの写真画像に被写体として映っているものとする。まず、視聴者Ｕ００１は、音楽再生履歴の公開範囲を登録する処理を行う。なお、この処理は、音楽再生装置１００で音楽を再生する前から、その後スライドショーを再生するまでの間であれば、どのタイミングでそれを行っても良い。
【００４９】
音楽再生履歴の公開範囲の指定は、対応テーブルを用いて行う。対応テーブルの例を図１２及び図１３に示す。図１２に例示した対応テーブルは、指定項目ＣＯＬ９１毎に、音楽ＩＤＣＯＬ９２と公開範囲となる特定者の範囲ＣＯＬ９３が指定されている。Ｕ００１，Ｕ００２，Ｕ００３は特定者の人物ＩＤである。音楽ＩＤＣＯＬ９２には、音楽ＩＤとしてＭ００１〜Ｍ０１５が指定されている。範囲ＣＯＬ９３には、全員か、特定の人物ＩＤだけが指定されている。例えば、項目Ｎｏ．１００１によれば、音楽ＩＤがＭ００２の音楽が再生されたという情報は、Ｕ００１の人物ＩＤで識別される視聴者本人のほか，Ｕ００２，Ｕ００３の人物ＩＤで識別される人物に対して公開される。つまり、そのような特定者に該当することを条件として音楽ＩＤがＭ００２の音楽の再生履歴に触れ、それを取得することができる。また、項目Ｎｏ．１００２によれば、音楽ＩＤがＭ００３で指定される音楽の再生履歴は、視聴者（Ｕ００１）本人にしか公開されない。以上のような方式では、１曲ごとそれぞれに対して音楽再生履歴の公開範囲の対象とする特定者を指定できる。
【００５０】
音楽再生履歴に再生時刻範囲が定められており、再生時刻範囲ごとに特定者が指定されている場合がある。例えば、図１３の対応テーブルは、音楽の再生時刻範囲に対する特定者の対応関係を示す対応テーブルである。図１３に例示した対応テーブルは、指定項目ＣＯＬ１０１毎に、音楽の再生時刻範囲ＣＯＬ１０２と公開範囲となる特定者ＣＯＬ１０３が指定されている。例えば、項目Ｎｏ．２０００によれば、２０１０／０５／０１  ０９：００以前に再生された音楽は、Ｕ００１の人物ＩＤで識別される視聴者本人にしか公開されない。また、項目Ｎｏ．２００１によれば、２０１０／０５／０１  ０９：０１〜２０１０／０５／０２  ２２：００の期間に再生された音楽は、視聴者（Ｕ００１）本人のほか、Ｕ００２、Ｕ００３の人物ＩＤで識別される人物にも公開される。以上のような方式では、例えば旅行期間中に聴いていた音楽は特定の人物にのみ公開し、旅行期間以外のときに聴いていた音楽は本人以外誰にも公開しない、といった指定が可能となる。
【００５１】
以上のような音楽再生履歴の公開範囲を指定するための作業は、例えば、入力機能を備えた音楽再生装置１００を用いて行う。また別の例として、例えば音楽再生装置１００に保存された音楽リストをコンテンツ再生装置１１０に読み込み、コンテンツ再生装置１１０上で公開範囲を指定する作業をしても良い。このように指定された結果は、音楽再生履歴公開範囲設定部１２４を通じて音楽再生履歴ＤＢ１４２に保存される。
【００５２】
次に、第５実施形態におけるスライドショーを再生する際の処理手順を説明する。なお、多くの処理は、図６を用いて説明したこれまでの処理と同様であるため、違いのある部分を中心に説明を行う。
第５実施形態では、図６において、Ｓ４０１〜Ｓ４０６でスライドショーの視聴者と、写真画像の被写体とを認識する。本例では、視聴者Ｕ００１が写真画像の被写体として映っていたとする。この場合、コンテンツ再生装置１１０は、Ｓ４０７において、音楽選択サーバ１２０へ視聴者Ｕ００１に関するデータを送信する。その際、視聴者Ｕ００１の人物ＩＤだけではなく、被写体として映っていない他の視聴者Ｕ００２〜Ｕ００５の人物ＩＤもあわせて送信する。また、写真集合の撮影時刻範囲と、スライドショーの再生時間も送信する。
【００５３】
音楽選択サーバ１２０側では、被写体に映っていた視聴者Ｕ００１が撮影時刻範囲に聴いていた音楽の再生履歴を取得する（図６，Ｓ４０８〜Ｓ４１１）。そして、Ｓ４１２にて再生履歴の中からＢＧＭとして再生する音楽を選択する際に、図１２や図１３のような再生履歴の公開範囲の情報を用いる。
【００５４】
ここで、図１２を用いる場合のＳ４１２の処理例を説明する。なお、取得した音楽の曲リスト（履歴一覧）には、音楽ＩＤがＭ００１〜Ｍ０１５の音楽が指定されていたとする。また受信した視聴者の人物ＩＤはＵ００１〜Ｕ００５であるものとする。
まず、音楽選択サーバ１２０は、音楽再生履歴の中から、視聴者全員の人物ＩＤが公開範囲対象に含まれている音楽を選択する。図１２によれば、Ｍ００２、Ｍ００３の音楽ＩＤで識別される音楽はＵ００４及びＵ００５の人物ＩＤで識別される視聴者に対しては非公開である。そのため、音楽ＩＤがＭ００１，Ｍ００４〜Ｍ０１５だけが視聴者Ｕ００１〜Ｕ００５に公開される音楽となる。そして、選択されたＭ００１、Ｍ００４〜Ｍ０１５の中から、第４実施形態で説明した手順で音楽を選択する。
【００５５】
次に、図１３を用いる場合のＳ４１２の処理例を説明する。なお、取得した音楽の曲リスト（履歴一覧）には、音楽ＩＤがＭ００１〜Ｍ０１５の音楽が指定されおり、全ての音楽の再生時刻が２０１０／０５／０１  ０９：０１〜２０１０／０５／０２  ２２：００の範囲であったとする。また、受信した視聴者の人物ＩＤはＵ００１〜Ｕ００５であったとする。この場合、音楽選択サーバ１２０は、まず、音楽の再生時刻を調べる。そして、視聴者全員の人物ＩＤが公開範囲対象に含まれている時刻範囲にある音楽のみを選択する。図１３の項目Ｎｏ．２００１の例では、音楽ＩＤがＭ００１〜Ｍ０１５の音楽の再生時刻の範囲では、Ｕ００４、Ｕ００５の人物ＩＤは公開範囲対象に含まれていない。そのため、Ｍ００１〜Ｍ０１５全ての音楽は選択されない。つまり、曲の候補がないため（Ｓ４１３：Ｎ）、一般的な手法を用いて音楽の選択を行うことになる（Ｓ４１９）。このような手順によれば、例えばある視聴者（Ｕ００１）が他の視聴者（Ｕ００４、Ｕ００５）に対して、聴いていたことを知られたくない音楽があった場合、その音楽は、他の視聴者（Ｕ００４、Ｕ００５）がいる前ではスライドショーで再生されない。そのため、視聴者のプライバシーを守ったうえで、音楽を自動選択することが可能となる。
【００５６】
＜第６実施形態＞
第６実施形態では、個々の音楽の再生が特定者に限り許容されている場合の例を説明する。例えば、音楽の再生が特定者である会員に制限される会員サービスを使用した場合の例を説明する。図１４は、第６実施形態において必要なシステムの機能構成図である。構成要素の多くは図１１と共通する。図１１との相違点は、音楽データサーバ１３０内に、音楽データ公開範囲判別部１３３が追加された点である。なお、これに対応し、音楽データ登録部１３１には、音楽の再生に用いる音楽データごとにその音楽データを誰に公開して良いかという公開範囲を設定する機能が付加される。また、設定された公開範囲を音楽ＩＤと対応付けて音楽データＤＢ１４３に保存する機能も付加される。音楽データ公開範囲判別部１３３は、音楽データ取得部１３２から音楽ＩＤと視聴者の人物ＩＤを受信し、視聴者が音楽データの公開範囲内に入っている特定者に該当するかどうかを判別する。コンテンツ再生装置１１０では、視聴者が特定者に該当することを条件として音楽を取得することができる。
【００５７】
次に、第６実施形態におけるコンテンツ再生の処理手順例を説明する。本例では、音楽データを再生することが登録した会員に制限される会員サービスに加入する必要があるものとする。また、スライドショーの視聴者がＵ００１〜Ｕ００５の人物ＩＤで識別される５人であり、全員が会員サービスに加入しているものとする。また、Ｕ００１の人物ＩＤで識別される視聴者だけがスライドショーの写真画像に映っているものとする。
【００５８】
まず、会員サービスの管理者の操作により、音楽データサーバ１３０の音楽データ登録部１３１が、音楽データの公開範囲を登録する処理を行う。例えば、Ｍ００１〜Ｍ５００の音楽ＩＤで識別される複数の音楽を準備する。そして、これらを音楽データＤＢ１４３に登録する際、対応テーブルに人物ＩＤと音楽ＩＤとを対応付けて登録する。対応テーブルの一例を図１５に示す。会員サービスには有料プランと無料プランがあり、有料プランの会員のみ聞くことができる音楽が用意されているとする。このような場合は図１５中の項目Ｎｏ．３００１のように、一部のユーザに対してのみ公開するように公開範囲が設定される。設定された公開範囲は、音楽ＩＤをキーとして音楽データＤＢ１４３に保存される。
【００５９】
次に、スライドショーを再生する際の処理手順を説明するが、多くの処理は図６を用いて他の実施形態で説明した処理と同様であるため、違いのある部分を中心に説明を行う。図６のＳ４０１〜Ｓ４０６において、スライドショーの視聴者と写真画像の被写体とが認識されるが、本例では、Ｕ００１の人物ＩＤで識別される視聴者が写真画像の被写体として映っている。Ｓ４０７では、コンテンツ再生装置１１０から、ネットワーク側の音楽選択サーバ１２０へ要求データが送信される。その際、Ｕ００１の人物ＩＤだけではなく、被写体として映っていないＵ００２〜Ｕ００５の人物ＩＤもあわせて送信する。また、写真集合の撮影時刻範囲と、スライドショーの再生時間も送信する。
【００６０】
音楽選択サーバ１２０は、要求データとして、被写体に映っていたＵ００１が撮影時刻範囲に聴いていた音楽の再生履歴を取得する（Ｓ４０８〜Ｓ４１１）。そして、Ｓ４１２の集計・候補選択処理において、再生履歴の中からＢＧＭとして再生する音楽を選択する際に、図１５に例示した対応テーブルから、音楽ＩＤに対する公開範囲対象を参照する。例えば、取得した音楽の曲リスト（履歴一覧）にＭ０９５〜Ｍ１０５の音楽ＩＤが記録されていたとする。取得した視聴者の人物ＩＤはＵ００１〜Ｕ００５なので、曲リストの中から、視聴者全員の人物ＩＤが公開範囲対象に含まれている音楽を選択する。図１５によれば、Ｍ０９５〜Ｍ１００の音楽ＩＤは、Ｕ００１〜Ｕ００５の人物ＩＤで識別される全員が公開対象であるが、Ｍ１０１〜Ｍ１０５の音楽ＩＤは、Ｕ００４とＵ００５の人物ＩＤで識別される視聴者には公開されていない。そのため、ここでは、Ｍ０９５〜Ｍ１００の音楽ＩＤが選択される。次に、選択されたＭ０９５〜Ｍ１００の音楽ＩＤから、第５実施形態で述べた手順で音楽を選択する。このようにすれば、例えばＵ００４、Ｕ００５の人物ＩＤで識別される視聴者が会員サービスの契約上聞けない音楽については、Ｕ００４、Ｕ００５がいる前ではスライドショーでその音楽が再生されることはない。これにより、サービス形態に応じた音楽の選択や、音楽データの著作権上の問題が起きないような音楽の選択が可能となる。
【００６１】
＜第７実施形態＞
第７実施形態では、第１ないし第６実施形態を別の種類の装置や、図２で示した構成要素の装置上の配置が異なる場合で実現する例を説明する。第１実施形態では、音楽再生装置１００がネットワークＮに直接接続できる場合の例であったが、本発明は、このような接続形態に限定されない。例えば、図１６に示されるように、ネットワークＮに直接接続される音楽再生装置１００に代えて、コンテンツ再生装置１１０を介してネットワークＮに接続される音楽再生装置１４０を用いることができる。この場合の機能構成は、第１ないし第６実施形態とほぼ同様であるが、音楽再生装置１００の音楽再生履歴送信部１０２とリスナー登録部１０３の機能に若干の相違がある。つまり、図３に示したリスナー登録処理と、図５に示した音楽再生履歴記録処理の手順に若干の相違がある。但し、説明の便宜上、音楽再生装置１４０においても音楽再生装置１００と同様、音楽再生履歴送信部１０２とリスナー登録部１０３の機能が備えられているものとする。
【００６２】
第７実施形態におけるリスナー登録処理は、以下のように行われる。
コンテンツ再生装置１１０に音楽再生装置１４０が接続されると、コンテンツ再生装置１１０は、音楽再生装置１４０（リスナー登録部１０３）にアクセスし、画面上に登録画面を表示させる。ユーザがコンテンツ再生装置１１０の入力装置を通じて自分のリスナーＩＤを入力したとする。すると音楽再生装置ＩＤとリスナーＩＤとがセットで音楽選択サーバ１２０に送信され、音楽再生履歴ＤＢ１４２に保存される。
【００６３】
図５の音楽再生履歴記録処理は以下のように行う。まず、音楽を再生し、その再生開始終了時刻を音楽再生装置１４０内に記録しておく（Ｓ２０１〜Ｓ２０３）。Ｓ２０３の後、任意のタイミングでユーザが音楽再生装置１４０をコンテンツ再生装置１１０に接続する。コンテンツ再生装置１１０は、音楽再生履歴送信部１０２へ上記の要求データを送信し、前述のＳ２０４〜Ｓ２０６の処理を行う。つまり、音楽再生装置１４０の持つ再生履歴情報がコンテンツ再生装置１１０経由で音楽選択サーバ１２０へ送信され、音楽再生履歴ＤＢ１４２へ保存される。このようにすれば、自らネットワーク接続機能を持たない音楽再生装置１４０であっても、本システム１を利用できる利点がある。
【００６４】
別の例として、リスナー登録部１０３が音楽再生装置１００，１４０内になく、例えば音楽選択サーバ１２０などに存在しても良い。この場合、音楽再生装置１００，１４０から音楽再生装置ＩＤを音楽選択サーバ１２０へ送信する機能ブロックを設ける。ユーザは、音楽再生装置１００，１４０からネットワークＮを通じて音楽選択サーバ１２０に接続し、当該音楽選択サーバ１２０に用意されたリスナー登録画面にアクセスする。そして、そのリスナー登録画面上でリスナーＩＤを入力し、リスナー登録処理を行う。このとき、同時に音楽再生装置ＩＤも音楽選択サーバ１２０へ送信され、リスナーＩＤと対応付けて音楽再生履歴ＤＢ１４２に保持される。
【００６５】
また、以上は、音楽再生装置ＩＤを音楽再生装置１００，１４０から送信する場合の例であるが、音楽再生装置ＩＤをユーザが手動で入力して登録しても良い。例えば図示しないパーソナルコンピュータなどのユーザ端末からリスナー登録部１０３などで用意された登録画面にアクセスして音楽再生装置ＩＤとリスナーＩＤとを入力して登録するようにしても良い。この場合、音楽再生装置ＩＤが分かっていれば、リスナー登録時に音楽再生装置１００，１４０を用意する必要がないという利点がある。
【００６６】
別の例として、図２に示したコンテンツ再生装置１１０の機能ブロックのうち、１１１〜１１４、１１６〜１１８がコンテンツ再生装置１１０内になく、音楽選択サーバ１２０に配置されていても良い。この場合、全ての素材画像の写真画像や動画を音楽選択サーバ１２０にアップロードされているものとする。そして、図６のコンテンツ再生装置１１０側の処理は、Ｓ４１８を除き、全て音楽選択サーバ１２０側で実施する。すなわち、Ｓ４０１において、ユーザから音楽選択サーバ１２０にアップロードされた写真画像の中からスライドショー再生する写真画像の選択を受け付ける。その後のＳ４０２〜Ｓ４１７までの処理は、全て音楽選択サーバ１２０において実施する。なお、Ｓ４０７、Ｓ４０８間やＳ４１５、Ｓ４１６間のデータの授受は、異なる音楽選択サーバ間で実施しても良いし、同一音楽選択サーバにおいて行っても良い。そして、Ｓ４１８では、コンテンツ再生装置１１０が、音楽選択サーバ１２０から素材コンテンツと音楽データをダウンロードし、コンテンツ再生部１１６でスライドショーなどの動画コンテンツを再生する。なお、図４の顔情報登録処理も音楽選択サーバ１２０において実施する。つまり、音楽選択サーバ１２０にアップロード済みの写真画像に対して、ユーザが顔領域とユーザＩＤを指定して登録する。このような形態では、コンテンツ再生装置１１０は、ネットワーク通信および動画再生の簡単な機能を用意するだけで良いという利点がある。
【００６７】
以上のように、図１、図１１、図１４、図１６に示した機能構成図は例示であり、機能ブロックは図示された各装置やサーバに存在しなければならないものではない。最も単純な例では、音楽再生装置１００，１４０、音楽選択サーバ１２０、音楽データサーバ１３０が有する機能をコンテンツ再生装置１１０が備えるようにしても良い。この場合、コンテンツ再生装置１１０が単独で本システム１を構成するものとなる。
【００６８】
機能構成に上記のようなバリエーションが存在しても、本システム１は、少なくとも以下の工程を有するコンテンツ再生方法の実施が可能になる。
（１）再生された音楽の再生履歴を、それを聴いた人物の識別情報と共に所定の音楽管理手段に保持させる工程。
（２）人物の顔特徴を表す顔特徴量データを、当該人物の識別情報と共に顔情報ＤＢへ登録する工程。
（３）予め撮影された素材画像を含むコンテンツを視聴する視聴者を撮影し、これにより得られた撮影画像から前記視聴者についての前記顔特徴量データを導出し、導出した顔特徴量データと前記顔情報ＤＢに登録された顔特徴量データとを照合することにより、当該視聴者の識別情報を特定する工程。
（４）特定した視聴者の識別情報に対応する音楽を前記音楽管理手段から取得する工程。
（５）取得した音楽を前記素材画像の再生に同期して再生する工程。
【００６９】
＜その他の実施形態＞
以上、第１〜第７実施形態例を詳述したが、本発明は例えば、システム、装置、方法、コンピュータプログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、コンテンツ再生装置１１０のような一つの装置に適用しても良い。また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【図１】
2017073607.tif 000003
【図２】
2017073607.tif 000004
【図３】
2017073607.tif 000005
【図４】
2017073607.tif 000006
【図５】
2017073607.tif 000007
【図６】
2017073607.tif 000008
【図７】
2017073607.tif 000009
【図８】
2017073607.tif 000010
【図９】
2017073607.tif 000011
【図１０】
2017073607.tif 000012
【図１１】
2017073607.tif 000013
【図１２】
2017073607.tif 000014
【図１３】
2017073607.tif 000015
【図１４】
2017073607.tif 000016
【図１５】
2017073607.tif 000017
【図１６】
2017073607.tif 000018