(57)【特許請求の範囲】
【請求項１】
画像データを再生可能な再生手段に接続される画像再生装置であって、
記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出する抽出手段と、
前記第１条件充足画像データが前記再生手段により再生されているときに、音声入力手段に入力された音声に一致するキーワードを抽出する音声キーワード抽出手段と、
前記第１条件充足画像データが前記再生手段により再生されているときに、該再生中の前記第１条件充足画像データが抽出された際に適用された第１の抽出条件と前記抽出されたキーワードとの関係に基づき第２の抽出条件を決定し、前記記憶手段に格納された画像データのうち前記第２の抽出条件を満たす第２条件充足画像データに関する情報を提示する提示手段と、を備える画像再生装置。
【請求項２】
前記第２の抽出条件は、前記第１の抽出条件よりも狭い抽出範囲で前記画像データを抽出するための抽出条件である、請求項１に記載の画像再生装置。
【請求項３】
前記第１の抽出条件は、時期的な抽出条件であり
前記第２の抽出条件は、前記第１の抽出条件に比して時期的に前後する期間の前記画像データを抽出するための抽出条件である、請求項１に記載の画像再生装置。
【請求項４】
前記第２の抽出条件は、特定の人物が含まれる画像データを抽出するための抽出条件である、請求項１ないし３のいずれか１項記載の画像再生装置。
【請求項５】
画像データを再生可能な再生手段に接続される画像再生装置であって、
記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出する抽出手段と、
前記第１条件充足画像データが前記再生手段により再生されているときに、音声入力手段に入力された音声からユーザの盛り上がりを示すキーワードを抽出する音声キーワード抽出手段と、
前記第１条件充足画像データが前記再生手段により再生されているときに、前記抽出されたユーザの盛り上がりを示すキーワードに基づきユーザの盛り上がり度合いを算出し、該算出したユーザの盛り上がり度合いに応じて前記記憶手段に格納された画像データのうち前記第１の抽出条件に関連する第２の抽出条件を満たす第２条件充足画像データに関する情報を提示する提示手段と、を備える画像再生装置。
【請求項６】
画像データを再生可能な再生手段に接続されたコンピュータに、
記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出させ、
前記第１条件充足画像データが前記再生手段により再生されているときに、音声入力手段に入力された音声に一致するキーワードを抽出させ、
前記第１条件充足画像データが前記再生手段により再生されているときに、該再生中の前記第１条件充足画像データが抽出された際に適用された第１の抽出条件と前記抽出されたキーワードとの関係に基づき第２の抽出条件を決定させ、前記記憶手段に格納された画像データのうち前記第２の抽出条件を満たす第２条件充足画像データに関する情報を提示させることを特徴とする、画像再生プログラム。
【請求項７】
画像データを再生可能な再生手段に接続されたコンピュータが、
記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出し、
前記第１条件充足画像データが前記再生手段により再生されているときに、音声入力手段に入力された音声に一致するキーワードを抽出し、
前記第１条件充足画像データが前記再生手段により再生されているときに、該再生中の前記第１条件充足画像データが抽出された際に適用された第１の抽出条件と前記抽出されたキーワードとの関係に基づき第２の抽出条件を決定し、前記記憶手段に格納された画像データのうち前記第２の抽出条件を満たす第２条件充足画像データに関する情報を提示することを特徴とする、画像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置、画像再生プログラム、及び画像再生方法に関する。
【背景技術】
【０００２】
従来、家庭において、デジタルカメラや携帯電話、ビデオカメラの普及にともない、撮影された写真やビデオを管理するニーズが高まっている。一例として、パーソナルコンピュータなどの大容量の記憶デバイスを備えた情報処理装置に撮影された写真やビデオを格納し、撮影した日付、撮影した場所、撮影された人物などで管理する方法が知られている。
【０００３】
パーソナルコンピュータなどで写真やビデオを鑑賞する際に、内容が関連する写真やビデオを自発的に提案するシステムが存在する。例えば、ＹｏｕＴｕｂｅ（登録商標）のようなＷｅｂ上での動画共有サイトにおいては、ある動画を鑑賞する際に、鑑賞終了時に関連する動画を選択できる画面が表示されるようになっている（例えば、非特許文献１参照）。これによって、鑑賞者（ユーザ）は、続けて他の関連した動画を見続けることができる。
【０００４】
また、コンテンツ表示中におけるユーザの発話時に音声認識を行い、発話からキーワードの抽出を行って、抽出されたキーワードに基づいてコンテンツのタグを登録する画像表示システムが知られている（例えば、特許文献１参照）。このシステムは、音声認識からのキーワード付与時に、各キーワードの出現回数のヒストグラムを保持しておき、画像の切り換え時に、ヒストグラムが類似した画像を選択する機能を有している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２２４７１５号公報
【非特許文献】
【０００６】
【非特許文献１】ＹｏｕＴｕｂｅ＜URL:www.youtube.com/＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ＹｏｕＴｕｂｅのようなＷｅｂ上での動画共有サイトでは、多くのユーザによるアクセス状況に基づいて動画の関連性を決定しているため、特定のユーザが鑑賞している際の心や感情の状況を反映させることができない。
【０００８】
また、特許文献１に記載のシステムでは、ユーザの発話によって付加されたキーワードを統計処理したヒストグラムを用いて類似画像を表示するため、ユーザが鑑賞したことのない未タグ付けの画像については類似画像を選択することができない。また、そもそもコンテンツの内容を反映させて類似した画像を選択している訳ではないため、偶然に類似と判断される画像が出現する可能性があり、類似判定の精度に疑問が生じる。
【０００９】
従って、これらの従来技術では、ユーザの意向に合う画像を提供することができない場合がある。
【００１０】
一つの側面では、本発明は、ユーザの意向に合う画像を提供することが可能な画像再生装置等を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するための一態様は、
画像データを再生可能な再生手段に接続される画像再生装置であって、
記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出する抽出手段と、
前記第１条件充足画像データが前記再生手段により再生されているときに、音声入力手段に入力された音声に一致するキーワードを抽出する音声キーワード抽出手段と、
前記第１条件充足画像データが前記再生手段により再生されているときに、該再生中の前記第１条件充足画像データが抽出された際に適用された第１の抽出条件と前記抽出されたキーワードとの関係に基づき第２の抽出条件を決定し、前記記憶手段に格納された画像データのうち前記第２の抽出条件を満たす第２条件充足画像データに関する情報を提示する提示手段と、を備える画像再生装置である。
【発明の効果】
【００１２】
一実施態様によれば、ユーザの意向に合う画像を提供することが可能な画像再生装置等を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施例に係る画像再生装置１が利用される様子を概念的に示す図である。
【図２】本発明の第１実施例に係る画像再生装置１のハードウエア構成例である。
【図３】本発明の第１実施例に係る画像再生装置１の論理構成例である。
【図４】画像データベース１４Ａに格納されるデータの一例である。
【図５】アルバムルールデータベース１４Ｂに格納されるデータの一例である。
【図６】アルバムルールデータベースに従って作成されたアルバム情報データベース１４Ｃの一例である。
【図７】アルバム情報データベース１４Ｃが指定するＸＭＬファイルの内容の一例である。
【図８】音声キーワードデータベース１４Ｄに格納されるデータの一例である。
【図９】本実施例の画像再生装置１によって実行されるメイン処理の流れを示すフローチャートの一例である。
【図１０】通常アルバム作成処理の流れを示すフローチャートの一例である。
【図１１】アルバムデータ作成処理の流れを示すフローチャートの一例である。
【図１２】鑑賞処理の流れを示すフローチャートの一例である。
【図１３】音声認識モジュールの処理の流れを示すフローチャートの一例である。
【図１４】関連アルバム作成処理の流れを示すフローチャートの一例である。
【図１５】関連アルバムデータ作成処理の流れを示すフローチャートの一例である。
【図１６】アルバムが再生されているときの画像表示部Ｄの表示画面例である。
【図１７】関連アルバムが作成されたときの画像表示部Ｄの表示画面例である。
【図１８】関連アルバムの一覧が画像表示部Ｄにより表示された様子を示す図である。
【図１９】第２実施例に係る画像データベース１４Ａに格納されるデータの一例である。
【図２０】第２実施例に係る画像データベース１４Ａに付属して格納される画像被写体関連テーブルの一例である。
【図２１】第２実施例に係るアルバムルールデータベース１４Ｂに格納されるデータの一例である。
【図２２】第２実施例に係る音声キーワードデータベース１４Ｄに格納されるデータの一例である。
【図２３】第２実施例の画像再生装置２が実行するメイン処理の流れを示すフローチャートの一例である。
【図２４】第２実施例の画像再生装置２が実行する音声キーワード登録処理の流れを示すフローチャートの一例である。
【図２５】第３実施例に係る画像再生装置３の論理構成例である。
【図２６】盛り上がりワードデータベース１４Ｅに格納されるデータの一例である。
【図２７】第３実施例の画像再生装置３により実行される処理の流れを示すフローチャートの一例である。
【図２８】音声認識モジュールの処理の流れを示すフローチャートの一例である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００１５】
＜第１実施例＞
以下、図面を参照し、本発明の第１実施例に係る画像再生装置、画像再生プログラム、及び画像再生方法について説明する。
【００１６】
図１は、本発明の第１実施例に係る画像再生装置１が利用される様子を概念的に示す図である。画像再生装置１は、例えばマイクロフォン４６及びテレビジョン放映機１００に接続されて利用される。画像再生装置１とマイクロフォン４６は、例えば専用ケーブル４６Ａで接続され、画像再生装置１とテレビジョン放映機１００は、例えばＨＤＭＩ（High-Definition  Multimedia  Interface）ケーブル１１０で接続される。画像再生装置１が再生する画像は、例えばテレビジョン放映機１００によってユーザ（鑑賞者）２００に提供される。なお、テレビジョン放映機１００を表示手段として用いるのはあくまで一例であり、情報処理装置である画像再生装置１の専用モニターを表示手段として用いてもよし、プロジェクターを表示手段として用いてもよい。また、マイクロフォン４６は、情報処理装置である画像再生装置１に内蔵されたものが用いられてもよい。
【００１７】
［ハードウエア構成］
図２は、本発明の第１実施例に係る画像再生装置１のハードウエア構成例である。画像再生装置１は、例えば、ＣＰＵ１０と、ＲＡＭ１２と、ＨＤＤ（Hard  Disk  Drive）１４と、を備える。また、画像再生装置１は、グラフィックインターフェース２０と、入力インターフェース２２と、シリアルバスインターフェース２４と、メモリカードスロット２６と、光学ドライブ装置２８と、通信インターフェース３０と、を備える。
【００１８】
なお、係る構成は一例であり、画像再生装置１は、フラッシュメモリやＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）、ＲＯＭ（Read  Only  Memory）等の記憶装置を備えてもよい。また、画像再生装置１は、ＵＳＢ（Universal  Serial  Bus）コネクタを備え、ＵＳＢメモリ等の記憶媒体を装着可能としてもよい。
【００１９】
ＣＰＵ１０は、例えば、プログラムカウンタや命令デコーダ、各種演算器、ＬＳＵ（Load  Store  Unit）、汎用レジスタ等を有する演算処理装置としてのプロセッサである。ＲＡＭ１２は、ワーキングメモリとして機能し、ＣＰＵ１０により実行されるプログラムがＨＤＤ１４から展開されたり、プログラムの実行結果が一時的に格納されたりする。
【００２０】
ＨＤＤ１４には、ＣＰＵ１０により実行される各種プログラムの他、画像データベース１４Ａ、アルバムルールデータベース１４Ｂ、アルバム情報データベース１４Ｃ、音声キーワードデータベース１４Ｄ等のデータが格納される。これらのデータは、予め格納されていたり、画像再生装置１の処理によって作成又は更新等されたりする。
【００２１】
画像再生装置１には、前述したテレビジョン放映機１００の他、キーボード４２、マウス４４、マイクロフォン４６等の周辺機器が接続される。グラフィックインターフェース２０はテレビジョン放映機１００の表示制御を行い、入力インターフェース２２は、キーボード４２及びマウス４４に対してなされたユーザの操作を信号に変換して画像再生装置１の本体部に送信する。また、入力インターフェース２２は、マイクロフォン４６に入力されたユーザの発話を信号に変換して画像再生装置１の本体部に送信する。
【００２２】
また、画像再生装置１には、カメラ５０、ビデオ５２、携帯電話５４等の機器が接続可能となっている。シリアルバスインターフェース２４は、コンテンツデータを保持し、送信可能なこれらの機器との通信を制御する。
【００２３】
また、画像再生装置１は、メモリカード６０、光ディスク６２等の記憶媒体が装着可能となっている。メモリカードスロット２６は、メモリカード６０が装着されるとメモリカード６０に記憶されたコンテンツデータを読み取る。光学ドライブ装置２８は、光ディスク６２が装着されると光ディスク６２に記憶されたコンテンツデータを読み取る。
【００２４】
通信インターフェース３０は、ネットワーク７０を介した他のコンピュータとの通信を制御する。ネットワーク７０は、インターネット、ＬＡＮ（Local  Area  Network）、無線ネットワーク等である。
【００２５】
ＣＰＵ１０が実行するプログラムは、メモリカード６０や光ディスク６２等の記憶媒体から取得してもよいし、通信インターフェース３０がネットワーク７０を介して他のコンピュータからダウンロードしてもよい。また、ＣＰＵ１０が実行するプログラムは、画像再生装置１の予め補助記憶装置１６やＲＯＭ等に格納されていてもよい。
【００２６】
シリアルバスインターフェース２４、メモリカードスロット２６、光学ドライブ装置２８、通信インターフェース３０により取得される画像データは、静止画像や動画像等の画像データである。
【００２７】
画像データは、例えばカメラ５０、ビデオ５２、携帯電話５４等の機器において撮影等されたものが、シリアルバスインターフェース２４を介して入力され、ＨＤＤ１４に格納されるという流れで取得される。また、画像データは、例えばメモリカード６０に格納されたものが、メモリカードスロット２６によって読み取られ、ＨＤＤ１４に格納されるという流れで取得される。また、画像データは、例えば光ディスク６２に格納されたものが、光学ドライブ装置２８によって読み取られ、ＨＤＤ１４に格納されるという流れで取得される。また、画像データは、通信インターフェース３０がネットワーク７０を介して他のコンピュータから取得したものが、ＨＤＤ１４に格納されるという流れで取得される。ＨＤＤ１４に格納された画像データ群は、後述するように、画像データベース１４Ａとして扱われる。
【００２８】
以下、画像データは、何らかの機器により撮影されたものであることを前提として説明する。
【００２９】
［論理構成］
図３は、第１実施例に係る画像再生装置１の論理構成例である。画像再生装置１は、アルバム作成部Ａ、鑑賞状況通知部Ｂ、表示画像制御部Ｃ、画像表示部Ｄ、音声受信部Ｅ、音声キーワード抽出部Ｆを備える。
【００３０】
これらの論理構成のうち、アルバム作成部Ａ、鑑賞状況通知部Ｂ、表示画像制御部Ｃ、音声キーワード抽出部Ｆは、例えばＣＰＵ１０がＨＤＤ１４等に格納されたプログラムを実行することにより機能する機能ブロックである。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＬＳＩ（Large  Scale  Integrated  circuit）、ＩＣ（Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウエア手段であっても構わない。
【００３１】
また、画像表示部Ｄはグラフィックインターフェース２０及びテレビジョン放映機１００を指し、音声受信部Ｅは入力インターフェース２２の一機能である。
【００３２】
また、図３に示す各論理構成は、ＨＤＤ１４等に格納された画像データベース１４Ａ、アルバムルールデータベース１４Ｂ、アルバム情報データベース１４Ｃ、音声キーワードデータベース１４Ｄを利用して処理を行う。
【００３３】
［アルバム作成］
アルバム作成部Ａは、第１作成部Ａ＿１、第２作成部Ａ＿２を含む。請求項１における「抽出手段」は、例えば第１又は第２実施例における第１作成部Ａ＿１に対応する。また、請求項１における「提示手段」は、例えば第１又は第２実施例における第２作成部Ａ＿２、表示画像制御部Ｃ、及び音声受信ハンドラに対応する。
【００３４】
ここでは、第１作成部Ａ＿１の処理について説明する。図４は、画像データベース１４Ａに格納されるデータの一例である。図中、「ＩＤ」は、画像データを一意に特定するための固有のＩＤである。「ファイル名」は、情報処理装置５における写真・ビデオのファイル名である。「格納先」は、情報処理装置５において写真・ビデオのファイルが格納されているフォルダのパスである。「画像種別」は、静止画像の場合はＰ、動画像の場合はＭと規定される。「撮影日時」は、画像データが撮影された写真やビデオである場合、これらが撮影された日時である。通常、市販のデジタルカメラで撮影した写真には、写真ファイルのＥｘｉｆ情報に撮影日時が記録されているため、画像データベース１４Ａには係る情報が転載される。また、画像データがビデオデータである場合は、ファイルのタイムスタンプで撮影日時が判断可能である。「撮影場所」は、写真やビデオを撮影した場所の情報である。市販のデジタルカメラやビデオカメラには、撮影時にＧＰＳの情報を受信し、撮影後の写真やビデオに情報を付加することが可能なものが存在する。また、場所情報のついていない写真についても、地図上で場所を指示することでＧＰＳ情報を付加することのできるソフトウェアも存在する。これらの手段を利用して付加された情報を記載する。
【００３５】
第１作成部Ａ＿１は、予め定められたタイミングで、画像データベース１４Ａからアルバムルールデータベース１４Ｂに定められた抽出条件に従ってアルバムを作成する。「アルバム」とは、テーマ性をもった画像データを集めた画像データ群であり、例えばスライドショー等の形式でユーザに画像が提供される際の単位となるものである。第１作成部Ａ＿１が作成したアルバムは、アルバム情報データベース１４Ｃに格納される。請求項１における「第１条件充足画像データ」は、例えば第１又は第２実施例におけるアルバムに対応する。
【００３６】
アルバムルールデータベース１４Ｂに記載されたアルバムの作成条件（画像データの抽出条件）は、例えば、画像の撮影日時に関する条件である。また、アルバムの作成条件は、例えば顔認識技術により判断される被写体に関する条件、或いは写真に他の認識技術によってタグ付けされている情報に関するものである。また、アルバムの作成条件は、これらが組み合わされたものであってもよい。アルバムの作成条件は、特定の条件に合致するものを抽出するために、例えば条件文の組み合わせで記載されている。
【００３７】
アルバムの作成条件としては、例えば以下のようなものが存在し得る。なお、下記の作成条件は、後述する第２実施例及び第３実施例において使用されるものを含む。
・特定の期間内に撮影されたこと  例：「２００７年のアルバム」  →２００７年に撮影された画像を集めたアルバム。
・複数年にまたがった特定の期間内に撮影されたこと  例：「ゴールデンウィークのアルバム」  →４／２９〜５／５までに撮影された画像を集めたアルバム。期間内であれば、撮影年は問わず集めてくる。
・特定の時間帯に撮影されたこと  例：「夕暮れどきのアルバム」  →夕暮れ時として１７時〜１９時を想定した場合、その間の時間帯に撮影された画像を集めたアルバム。撮影した年・月・日は問わず集めてくる。
・特定の人物が写っていること  例：「Ａ子さんのアルバム」  →顔認識技術を使って認識し、「Ａ子さん」と名付けられた人物が写っている画像を集めたアルバム。なお、第１作成部Ａ＿１は、顔認識技術を使わず、ユーザが事前に「Ａ子さん」が写っている画像にタグ付けした情報を利用してもよい。なお、顔認識技術を用いる場合であっても、ユーザが予め人名と基準となる顔画像の対応付けを行っていると好適である。
・特定の場所で撮影されたこと  例：「北海道のアルバム」  →画像に付与されているＧＰＳ情報等を利用して撮影場所を特定し、北海道で撮影された画像を集めたアルバム。なお、第１作成部Ａ＿１は、ＧＰＳ情報が記録されていない画像であっても、ユーザが事前に地理情報をタグ付けしたものを利用してもよい。
・特定の被写体が写っていること  例：「電車のアルバム」  →画像中に写っているものから電車を認識する技術を用いて画像に「電車」とタグ付けされたものを集めたアルバム。なお、第１作成部Ａ＿１は、電車の認識技術を使わず、ユーザが事前に手動で電車の写っている画像にタグ付けした情報を利用してもよい。また、被写体は電車に限らず、他の物体であってもよい。例えば、「時価のマグロ」、「フォアグラ」、「ブルゴーニュワイン」などの食事、「ねこ」、「ぞう」などの動物、「サボテン」などの植物、「東京タワー」などのランドマークなどが該当する。第１作成部Ａ＿１は、これらの被写体についても、タグ情報を付加されているのであれば、そのタグ情報を利用してアルバムを作成すればよい。
・上記条件を複数組み合わせたものであること  例：「２００６年の夕暮れどきのＡ子さんのアルバム」  →２００６年に撮影され、かつ撮影時間が夕暮れどきのもので、かつ被写体としてＡ子さんが写っている画像を集めたアルバム。
【００３８】
また、アルバムの作成条件には、上記のように抽出するための条件の他に、各アルバムに含まれる最大の画像の数が記載されている。第１作成部Ａ＿１は、条件に合致した画像がこの数を超えている場合には、最大の画像の数になるように、例えばランダムに画像をピックアップしてアルバムを作成する。
【００３９】
アルバム情報データベース１４Ｃは、第１作成部Ａ＿１によってアルバムルールデータベース１４Ｂの抽出条件に合致した画像データから作成されたアルバムが格納される。
【００４０】
鑑賞状況通知部Ｂは、鑑賞時の状況を他の機能ブロックに通知する。例えば、鑑賞状況通知部Ｂは、入力インターフェース２２を介してユーザの操作を検知し、表示画像制御部Ｃに対してアルバムの再生開始を指示する。
【００４１】
表示画像制御部Ｃは、アルバム情報データベース１４Ｃから、指示されたアルバムを選択して画像表示部Ｄに表示させる。また、表示画像制御部Ｃは、現在表示中のアルバムの情報を、アルバム作成部Ａからの要求に応じて答える処理を行う。
【００４２】
以下、より詳細にアルバムの作成条件について説明する。図５は、アルバムルールデータベース１４Ｂに格納されるデータの一例である。図中、「ＩＤ」はアルバムルールを一意に特定するための固有の値である。「アルバム名」は、アルバムルールに従って作成されたアルバムに付けられる名称である。システムにプリセットされた決まった名称の場合（例えば「お正月」）は、そのまま記載されている。システムがアルバムを作成する時点で決まる名称の場合は、(*)という文字で記載されており、アルバムが作成された時点で決められる。例えば、ＩＤ＝１０９のアルバムの場合、５月１０日に撮影された画像を集めたアルバムを作成する場合には、各(*)の部分に値を埋め込み、「５月１０日」というアルバム名にする。
【００４３】
「日付条件」、「時間条件」には、各アルバムを作成する際に集める画像の時期的条件を記載する。日付条件は、撮影日付に関する条件であり、時間条件は撮影時間に関する条件である。アルバムの種類によっては、日付条件だけのものもあれば、時間条件だけのもの、あるいは日付条件と時間条件を組み合わせたものがある。これは、各アルバムのレコード中の日付条件、時間条件の値で示されている。日付条件、時間条件の値の記載ルールは、例えば、日付の年をＹｎ、月をＭｎ、日をＤｎ、時間の時間をＨＨｎ、分をＭＭｎ、秒をＳＳｎ、と記載し、それらの条件に合致するものを抽出する。また、ＮＵＬＬとなっている場合には、条件なしをしめす。
【００４４】
「日付条件」についての記載ルールは、以下のように定められている。
・条件がある場合は、条件式を記載する。条件がない場合はＮＵＬＬを記載する。
・条件が記載されていない値は、該当する年、月、日の値は取りうる全ての値とする。例えば、ＩＤ＝１の「お正月」のアルバムの場合、日付条件が「Ｍｎ＝１，１≦Ｄｎ≦７」となっているが、これは「すべての年の画像について、１月１日から１月７日までの期間に撮影された画像を集める」という条件を示している。
・年の値にＹが記載されている場合、アルバムを作成する日の年を代入する。月の値がＭの場合、アルバムを作成する日の月を代入する。日の値がＤの場合、アルバムを作成する日の日を代入する。例えば、２０１１年５月１０日にアルバムを作成する場合、ＩＤ＝１０９のアルバムの条件は「Ｍｎ＝Ｍ，Ｄｎ＝Ｄ」となっているが、Ｍ＝５、Ｄ＝１０を当てはめ、「すべての年の画像について、５月１０日に撮影された画像を集める」という条件を示す。
・Ｙ、Ｍ、Ｄの値から数を引き算している場合、その引いた数だけさかのぼることを示す。例えば、２０１１年５月１０日にアルバムを作成する場合、ＩＤ＝１１０の「３ヶ月前」のアルバムの条件は「Ｙｎ＝Ｙ，Ｍｎ＝Ｍ−３」となっているが、Ｙ＝２０１１、Ｍ＝５を当てはめ、「２０１１年２月に撮影された画像を集める」という条件を示す。なお、同じ日にＩＤ＝１１１の「半年前」のアルバムを作成する場合は、条件が「Ｙｎ＝Ｙ，Ｍｎ＝Ｍ−６」となっているため、Ｙ＝２０１１、Ｍ＝５をあてはめると月の値が負の値になってしまうが、この場合には月の値を＋１２し、年の値を−１することにする。その結果、月の値は５−６＋１２＝１１となるため、「２０１０年１１月に撮影された画像を集める」という条件になる。
・値がＲの場合、取りうる値をランダムで選択することを示す。例えば、ＩＤ＝２０６のアルバムの場合、条件が「Ｙｎ＝Ｒ」となっているが、Ｒの値をランダムに選択し、結果Ｒ＝２００５となった場合、条件は「２００５年に撮影された画像を集める」という条件になる。また、アルバム名称に(*)が含まれるので、この場合のアルバム名は「２００５年」のアルバムとなる。
【００４５】
「時間条件」についての記載ルールは、以下のようになっている。
・条件がある場合は、条件式を記載する。条件がない場合はＮＵＬＬを記載する。
・条件が記載されていない値は、該当する時、分、秒の値は取りうる全ての値とする。例えば、ＩＤ＝１２１０の「定時きっかり」のアルバムの時間条件は「ＭＭｎ＝０」となっているが、これは「すべての時間について、撮影時間が０分０秒から０分５９秒までの画像を集める」という条件を示す。
【００４６】
「日付条件と時間条件」を組み合わせたアルバムについては、例えば、ＩＤ＝１０２の「春はあけぼの」というアルバムの場合、日付条件は「３≦Ｍｎ≦５」、時間条件は「４≦ＨＨｎ≦７」となっている。これは、「すべての年の画像について、撮影日が３月から５月までの期間で、撮影時間が４時から７時までの間に撮影された画像を集める」となり、春の早朝に撮影された画像が集まったアルバムになる。
【００４７】
「最大画像数」は、各アルバムについて使用される画像の最大数を表す。例えば、ＩＤ＝１１２の「１月」のアルバムの場合、最大数は「４６」となっている。アルバムの条件に合致する画像がこの最大数よりも多い場合、最大数分だけの画像が実際のアルバムとして使われる。例えば、１月に撮影した画像の数が１２０個あった場合、そのうちの４６個だけが選択されてアルバムとして使われる。
【００４８】
図６は、アルバムルールデータベースに従って作成されたアルバム情報データベース１４Ｃの一例である。アルバムデータは、例えばＸＭＬファイルのフォーマットに従った単一ファイルに記録されるため、図６に示すデータは、ＸＭＬファイルのパスを記述したものである。
【００４９】
図７は、アルバム情報データベース１４Ｃが指定するＸＭＬファイルの内容の一例である。以下、XMLファイル内の各タグについて説明する。「My  Album」は、アルバムであることを示すタグである。「Album」は、個々のアルバムデータを示すタグである。アルバムの中に複数の子アルバムが含まれてもよいため、「My  Album」の下に個々のアルバムデータを格納するタグで分けることができるように設定されている。「Id」には、アルバムルールデータベース１４ＢのアルバムのＩＤが記載される。「Name」には、アルバムの名前が記載される。「Description1」、「Description2」は、アルバムが再生される際に表示されるアルバムの説明文である。
【００５０】
「Picture  List」は、アルバムに含まれる画像のリストを示すタグであり、以下のタグを含む。「Count」は、画像の数を示す。図７に示す例の場合は３である。「File0」、「 File1」、「File2」には、・・・個々の画像のパスが記載される。画像の数に応じてFileの後の数字が増えていく。
【００５１】
「Effect」は、アルバムを鑑賞する際に使われる効果を示すタグである。図７例では、「Oshogatsu」となっていて、これはお正月にふさわしい背景画像の上で個々の画像を再生するということを示す。「Sound」は、アルバムを再生する際に使われるＢＧＭ（Back  Ground  Music）のファイル名を示すタグである。「Template  Name」は、アルバムを再生する際に使われるテンプレートを示すタグである。
【００５２】
［音声情報を用いた関連アルバムの作成］
ところで、上記説明したような手法で作成されるアルバムを再生するだけでは、アルバムを鑑賞中のユーザの心や感情の状況を反映させることができない場合がある。
【００５３】
アルバムを鑑賞している最中にユーザが何気なく発した言葉には、鑑賞している時点でのユーザの心や感情の状況が反映され、直接的には、今みたいと思いついた画像について言葉に発する場合もある。例えば、「２００８年のアルバム」を家族で鑑賞しており、年の初めからその年の行事や日常の中で撮った写真やビデオを鑑賞しているものとする。ここで、例えば８月頭にパリに旅行に行ったときの写真が出てきたときに、「楽しかったね」、「またいきたいね」、「そういえば、帰りの飛行機からオーロラが見えたね」といった、パリ旅行の場面を振り返った会話がなされる場合がある。また、「この年の秋はフランス料理にはまっちゃって、レストランによく行ったよね」とか「次の年はドイツに行ったね」といった、パリ旅行の後の行動に関わるような会話がなされたりする。その会話の中には、鑑賞している人たちの心や感情、あるいは意向が含まれていると考えられる。
【００５４】
そこで、本実施例の画像再生装置１では、音声受信部Ｅ、及び音声キーワード抽出部Ｆによってユーザの発話に含まれる特定のキーワードを抽出し、これに基づいて関連アルバムを作成する。
【００５５】
音声受信部Ｅは、マイクロフォン４６に入力された音声をデジタル信号処理して音声キーワード抽出部Ｆに送信する。音声キーワード抽出部Ｆは、入力されたデジタル信号としての音声の中に、音声キーワードデータベース１４Ｄに格納されたキーワードが含まれるか否かを判定し、含まれると判定したキーワードを、アルバム作成部Ａ（第２作成部Ａ＿２）に送信する。なお、音声キーワード抽出部Ｆは、一般的な音声認識技術を利用した処理を実行する。
【００５６】
音声キーワードデータベース１４Ｄは、音声認識をするにあたって受信した音声に反応するためのキーワードを事前に設定するための、キーワードを格納したデータベースである。
【００５７】
図８は、音声キーワードデータベース１４Ｄに格納されるデータの一例である。「ＩＤ」は音声キーワードを一意に特定するための固有の値である。「表示名」は、音声キーワードを画面上に表示する必要がある場合に使用する文字列である。「発音」は、音声受信部から入力された音声に対して音声認識技術によって音声とマッチングをとるためのキーワードである。「関連条件」は、音声がキーワードに合致した場合に、アルバム作成部Ａに対して通知する条件を記載したものである。
【００５８】
関連条件は、先のアルバムルールデータベースに記載されている日付条件、時間条件の値の記載ルールと同じく、日付の年をＹｎ、月をＭｎ、日をＤｎ、時間の時間をＨＨｎ、分をＭＭｎ、秒をＳＳｎ、と記載し、それらに対する条件として記述するものとする。例えば、ＩＤ＝１の場合、関連条件欄には「Ｙｎ＝Ｙ−１」と記載されているが、これは「今日現在の年号から１を引いた年、月と日はいつでもよい」を示す。今日現在が２０１１年５月１０日だったとすると、「２０１０年の初めから終わりまで」という意味になる。
【００５９】
また、他の例でいうとＩＤ＝１０００８の場合、関連条件欄には「Ｙｎ＝２０００，Ｍｎ＝１２，Ｄｎ＝３１」と記載されているが、これは「２０００年１２月３１日」を示す。また、ＩＤ＝５００１の場合、「６≦ＨＨｎ≦９」と記載されているが、これは「撮影日付はいつでもよく、撮影時間が６時から９時の間、分、秒の値は何でもよい」ということを示す。つまり、朝方の時間帯を表すことができる。
【００６０】
また、日付条件、時間条件とは異なるタイプの条件も存在し得る。例えば、ＩＤ＝２０００１の「もっとみたい」の場合、条件には「Ｍｏｒｅ」と書かれている。これは、期間を絞り込む条件を意味する。絞り込む内容は、鑑賞中のアルバムに応じて異なる。ＩＤ＝２０００２は「Ｎｅｘｔ」、ＩＤ＝２０００３は「Ｐｒｅｖｉｏｕｓ」だが、これらは時間的に後（Ｎｅｘｔ）や前（Ｐｒｅｖｉｏｕｓ）の条件を示す。具体的な条件は、アルバムに応じて異なる。ＩＤ＝２０００４は「Ｎｅｗ」だが、これは新規の条件でアルバムを作成することを示す。
【００６１】
第２作成部Ａ＿２は、アルバムが再生されている最中に音声キーワード抽出部Ｆからキーワードを受信したタイミングで、受信したキーワードと、表示画像制御部Ｃから取得した再生中のアルバムの情報との関係から、関連アルバムを生成する。請求項１における「第２条件充足画像データ」は、例えば第１又は第２実施例における関連アルバムに対応する。
【００６２】
このような処理の流れによって、ユーザがアルバム鑑賞中に発した音声を認識し、鑑賞者が次に鑑賞したい望むであろう画像を提示することが可能になる。鑑賞者が次に鑑賞したい望むであろう画像には、当初のアルバムルールを更に絞り込んだ条件で抽出された画像データ、当初のアルバムルールに係る時間的条件に対して時間的に前後する条件で抽出された画像データが含まれ得る。従って、ユーザの意向に合う画像をタイミング良く提供することができる。
【００６３】
［処理フロー等］
以下、上記説明したアルバム作成処理、アルバム再生処理、関連アルバム作成処理等について、より具体的に説明する。
【００６４】
（メイン処理）
図９は、本実施例の画像再生装置１によって実行されるメイン処理の流れを示すフローチャートの一例である。
【００６５】
画像再生装置１が起動すると、イベントハンドラが常駐する（Ｓ２００）。イベントハンドラは、各種オペレーティングシステムに備わっているものであり、定期的・不定期のイベント通知に反応して、各種処理を行う。
【００６６】
イベントハンドラから「アルバム作成イベント」が通知されると、「通常アルバム作成処理」が開始される（Ｓ２０２）。通常アルバムとは、アルバム作成部Ａの第１作成部Ａ＿１が作成するアルバムである。アルバム作成イベントは、例えば以下のタイミングで発行される。
・定期的にある一定の時間間隔をおいて発行
・システム起動時に一度だけ発行
・日付が変わったときに一度発行
・画像をシステムに取り込んだ際に発行。
【００６７】
また、イベントハンドラから「鑑賞開始イベント」が通知されたときに、「鑑賞処理」が開始される（Ｓ２０４）。鑑賞開始イベントは、例えば、ユーザがアルバムを鑑賞しようとして、アルバムの再生用アプリケーションを起動させたタイミングで発行される。
【００６８】
また、イベントハンドラから「終了イベント」が通知されたときに、オペレーティングシステム自体が終了する。
【００６９】
（通常アルバム作成処理）
図１０は、通常アルバム作成処理の流れを示すフローチャートの一例である。
【００７０】
通常アルバム作成処理が開始されると、第１作成部Ａ＿１は、アルバムルールデータベース１４Ｂから、今回作成するアルバムのルールの集合であるアルバム作成ルール一覧１２Ａを生成し、ＲＡＭ１２等に格納する（Ｓ３００）。
【００７１】
アルバム作成ルール一覧１２Ａは、アルバムルールデータベース１４Ｂに記載されている全てのルールであってもよいし、アルバムを作成する日付に鑑賞するとした場合にふさわしい内容のアルバムを選択するためのルールの集合であってもよい。例えば、アルバムを作成する日付が２月１０日だった場合、バレンタインデーの２月１４日が近いこともあり、以前のバレンタインデーに撮影した画像をみたくなると考えて、ＩＤ＝２の「バレンタインデーのアルバム」を作成することが考えられる。また、真夏の暑い時期に真冬に撮影した画像を鑑賞しても気分が乗らないと想定したり、年末になるとその年の１年を振り返りたくなるだろう、といった想定のもとで、作成するアルバムの種類を絞り込んでもよい。作成するアルバムの種類を絞り込む理由としては、鑑賞するのにふさわしいアルバムが作成されたときに、タイムリーにユーザに通知するという演出を行うためであったり、アルバムを小出しにすることで楽しみを持続するといった効果を狙ってのことであったりする。
【００７２】
次に、第１作成部Ａ＿１は、未処理のアルバム作成ルールが存在するか否かを判定する（Ｓ３０２）。未処理のアルバム作成ルールが存在しない場合、第１作成部Ａ＿１は、本フローチャートの処理を終了する。
【００７３】
未処理のアルバム作成ルールが存在する場合、第１作成部Ａ＿１は、アルバム作成ルール一覧から、未処理のアルバム作成ルールを一つ取得する（Ｓ３０４）。取得した未処理のアルバム作成ルールは、アルバム作成ルール一覧から削除される。
【００７４】
次に、第１作成部Ａ＿１は、取得したアルバム作成ルールに従い、アルバムデータ作成処理を実行する（Ｓ３０６）。アルバムデータ作成処理は、アルバム作成ルールに従って個々のアルバムを作成する処理であり、以下に図１１で説明される。
【００７５】
（アルバムデータ作成処理）
図１１は、アルバムデータ作成処理の流れを示すフローチャートの一例である。
【００７６】
まず、第１作成部Ａ＿１は、入力されたアルバム作成ルール１２Ａａに記載されている日付条件と時間条件を取得し、その日付条件及び時間条件に合致する画像データを画像データベース１４Ａから検索する（Ｓ４００）。入力されたアルバム作成ルール１２Ａａとは、アルバム作成ルール一覧１２Ａのうち、図１０のＳ３０４で取得されたものを指す。
【００７７】
次に、第１作成部Ａ＿１は、検索結果の画像データが存在するか否かを判定する（Ｓ４０２）。検索結果の画像データが存在しない場合、第１作成部Ａ＿１は、本フローチャートの処理を終了する。
【００７８】
検索結果の画像データが存在する場合、第１作成部Ａ＿１は、検索結果の画像データの数と、アルバム作成ルール１２Ａａに記載されている最大画像数を比較する。そして、第１作成部Ａ＿１は、検索結果の画像データの数が最大画像数以下の場合は検索結果の数の画像データを、検索結果の数が最大画像数を超える場合は最大画像数分の画像データをピックアップする（Ｓ４０４）。
【００７９】
ここで、第１作成部Ａ＿１が最大画像数分の画像データをピックアップする方法は、ランダムに選択する方法であってもよいし、或いはピンぼけや見切れなどの失敗写真を除外する処理を行ってピックアップする方法であってもよい。
【００８０】
次に、第１作成部Ａ＿１は、ピックアップされた画像データを用いてアルバムを作成する（Ｓ４０６）。第１作成部Ａ＿１は、作成したアルバムをアルバム情報データベース１４Ｃに追加し、本フローチャートの処理を終了する。
【００８１】
係る処理によって、本実施例の画像再生装置１は、作成されたアルバムがアルバム情報データベース１４Ｃに登録された状態になる。
【００８２】
（鑑賞処理）
イベントハンドラから「鑑賞開始イベント」が通知されると、「鑑賞処理」が開始される。図１２は、鑑賞処理の流れを示すフローチャートの一例である。鑑賞処理は、例えば表示画像制御部Ｃによって実行される。
【００８３】
まず、表示画像制御部Ｃは、音声認識モジュールの常駐を開始させる（Ｓ５００）。音声認識モジュールは、音声受信部Ｅがマイクロフォン４６から音声を受信可能な状態となるように設定し、音声キーワード判定部Ｆが音声受信部Ｅから受信した音声を逐次解析できるように準備する。
【００８４】
次に、表示画像制御部Ｃは、ユーザがアルバムを選択するか、鑑賞終了を選択するまで待機する（Ｓ５０２）。
【００８５】
ユーザがアルバムを選択すると、表示画像制御部Ｃは、鑑賞用に選択されたアルバムに関連する音声キーワードを音声キーワードデータベース１４Ｄから取得し、音声認識モジュールに設定する（Ｓ５０４）。
【００８６】
ここで、表示画像制御部Ｃは、関連するキーワードの一覧を取得するために、例えばアルバムルールデータベース１４Ｂに記載された各ルールごとに反応するキーワードを対応付けた一覧を利用する。そして、表示画像制御部Ｃは、今回ユーザが鑑賞しようとしているアルバムに記載されているルールＩＤについて、一覧から対応するキーワードを読み取る。
【００８７】
次に、表示画像制御部Ｃは、アルバム情報によって特定される画像を、アルバム情報に記載されている情報に従って画像表示部Ｄに表示させる（Ｓ５０６）。これによって、ユーザによるアルバムの鑑賞が開始される。この間にユーザが音声を発すると、常駐している音声認識モジュールが反応して後述する音声認識モジュールの処理を行う。表示画像制御部Ｃは、鑑賞中のアルバムの鑑賞が終了した場合やユーザが別のアルバムを鑑賞するための操作を行った場合は、Ｓ５０２に戻って処理を実行する。
【００８８】
表示画像制御部Ｃは、ユーザが鑑賞終了を選択すると、音声認識モジュールの常駐を終了させる（Ｓ５０８）。
【００８９】
（音声認識モジュールの処理）
図１３は、音声認識モジュールの処理の流れを示すフローチャートの一例である。
【００９０】
音声認識モジュールが常駐を開始すると、音声受信ハンドラが起動する（Ｓ６００）。音声受信ハンドラは、発生したイベントに応じたメッセージを受信するために待機する。
【００９１】
音声受信ハンドラは、音声受信イベントを受信すると、受信した音声が、設定された音声キーワードに一致するか否かを音声キーワード抽出部Ｆに判定させる（Ｓ６０２）。受信した音声が、設定された音声キーワードに一致しなかった場合、音声受信ハンドラは、Ｓ６００に戻り、受信待ち状態となる。
【００９２】
一方、受信した音声が、設定された音声キーワードに一致した場合、音声受信ハンドラは、現在ユーザが鑑賞中のアルバムと受信したキーワードに関連する関連アルバムを作成するように、第２作成部Ａ＿２に指示する（Ｓ６０４）。
【００９３】
関連アルバムの作成が終了すると、音声受信ハンドラは、作成された関連アルバム一覧１２Ｃ（後述）を画面に表示するように表示画像制御部Ｃに指示する（Ｓ６０６）。
【００９４】
第２作成部Ａ＿２が関連アルバムを作成している間に新たな音声受信イベントを受信した場合は、音声受信ハンドラは、現在の処理に並行してＳ６０４の処理を行うようなスレッド処理を行ってよい。また、音声受信ハンドラは、関連アルバム作成処理が完了するまで次の音声受信イベントの受信を無視してもよい。
【００９５】
音声受信ハンドラが常駐終了イベントを受信した場合、音声認識モジュールは常駐を終了する。
【００９６】
（関連アルバム作成処理）
図１４は、関連アルバム作成処理の流れを示すフローチャートの一例である。本フローチャートは、図１３のフローチャートにおけるＳ６０４で音声受信ハンドラから指示がなされたときに開始され、第２作成部Ａ＿２によって実行される。
【００９７】
まず、第２作成部Ａ＿２は、音声に一致した音声キーワードに対応する条件を、音声キーワードデータベース１４Ａから取得する（Ｓ７００）。
【００９８】
音声キーワードから条件を取得する処理について説明する。図８に示すように、音声に一致した音声キーワードが「きょねん」だった場合、関連条件として「Ｙｎ＝Ｙ−１」が得られる。従って、音声キーワードに対応する条件は、当日の日付が２０１１年５月１０日だとすると、「２０１０年に撮影された画像」となる。
【００９９】
次に、第２作成部Ａ＿２は、上記取得した条件と、現在表示中のアルバムの情報から、今回作成する関連アルバムの作成ルールの集合である関連アルバム作成ルール一覧１２Ｂを生成する（Ｓ７０２）。
【０１００】
本ステップの処理において、第２作成部Ａ＿２は、まず現在再生中のアルバムのアルバム情報から、対応するアルバムルールＩＤを取得する。具体的には、第２作成部Ａ＿２は、図７に示すアルバム情報に記載されている「Album  Id」の値を読み取ればよい。現在表示中のアルバムが「お正月のアルバム」の場合、アルバムルールＩＤはＩＤ＝１となる。
【０１０１】
次に、第２作成部Ａ＿２は、アルバムルールデータベース１４Ｂから、上記ＩＤに合致したアルバムの日付条件と時間条件を取得する。ＩＤ＝１の場合、日付条件は「Ｍｎ＝１，１≦Ｄｎ≦７」、時間条件は「なし」である。
【０１０２】
そして、第２作成部Ａ＿２は、今回作成する関連アルバムの条件を決定する。第２作成部Ａ＿２は、音声キーワードデータベース１４Ｄから取得した関連条件と、アルバムルールデータベース１４Ｂから取得した日付条件、時間条件について、論理演算でＡＮＤを取ることが可能か否かで関連アルバムの条件を決定可能か否か判断する。第２作成部Ａ＿２は、例えば以下のルールで上記判断を行い決定する。
（Ａ）関連条件が日時に関する条件の場合、
・（ア）ＡＮＤを取れる場合：ＡＮＤを取った結果を条件とする。
・（イ）ＡＮＤを取れない場合：関連条件を新規条件として設定する。
（Ｂ）関連条件が日時に関する条件でない場合、
・（ア）Ｍｏｒｅの場合：鑑賞中のアルバムの期間を絞り込むような条件を関連条件とする。
・（イ）Ｎｅｘｔの場合：鑑賞中のアルバムの期間の次の期間を関連条件とする。
・（ウ）Ｐｒｅｖｉｏｕｓの場合：鑑賞中のアルバムの期間の前の期間を関連条件とする。
・（エ）Ｎｅｗの場合：鑑賞中のアルバムとは無関係に、新しい関連条件を設定する。
【０１０３】
上記の例では、関連条件が「Ｙｎ＝Ｙ−１」、日付・時間条件は「Ｍｎ＝１，１≦Ｄｎ≦７」であるため、条件のＡＮＤを取ると、「Ｙｎ＝Ｙ−１，Ｍｎ＝１，１≦Ｄｎ≦７」が得られる。第２作成部Ａ＿２は、得られた条件を関連アルバムの生成条件とする。
【０１０４】
ＡＮＤを取れない場合、例えば、音声キーワードが「きょねん」、鑑賞中のアルバムがＩＤ＝２１６の「２００６年」のアルバム、閲覧している日が２０１１年５月１０日の場合には、関連条件が「Ｙｎ＝２０１０」、日付・時間条件が「Ｙｎ＝２００６」となる。この場合、ＡＮＤを取るとＹｎ＝φとなり、ＡＮＤ条件が生成できない。第２作成部Ａ＿２は、この場合には、新規条件として「Ｙｎ＝２０１０」を設定し、２０１０年のアルバムを作成する。第２作成部Ａ＿２は、単に「Ｙｎ＝２０１０」の２０１０年のアルバムという条件にしてもよいし、あるいは期間を区切って複数のアルバムにすることもできる。第２作成部Ａ＿２は、２つに分けるなら、「Ｙｎ＝２０１０，Ｍｎ≦６」、「Ｙｎ＝２０１０，７≦Ｍｎ」とすることで、２０１０年上半期のアルバムと、２０１０年下半期のアルバムの２つが条件として生成することができる。この場合、関連アルバム作成ルール一覧は、２つの条件が登録されることになる。
【０１０５】
また、関連条件が日時・時間に関わらない場合の例は、以下のようになる。現在鑑賞しているアルバムがＩＤ＝１１３の「２月」の場合、日付条件は「Ｍｎ＝２」となる。この場合、関連情報がそれぞれ以下の場合、関連アルバム作成ルールには以下の条件が登録される。
・Ｍｏｒｅの場合：絞り込む条件として、「２月上旬」→日付条件は「Ｍｎ＝２，Ｄｎ≦１０」、「２月中旬」→日付条件は「Ｍｎ＝２，１１≦Ｄｎ≦２０」、「２月下旬」→日付条件は「Ｍｎ＝２，２１≦Ｍｎ」と分け、それぞれの条件が登録される。
・Ｎｅｘｔの場合の例：「３月」→日付条件は「Ｍｎ＝３」を登録する。
・Ｐｒｅｖｉｏｕｓの場合：「１月」→日付条件は「Ｍｎ＝１」を登録する。
・Ｎｅｗの場合：アルバムルール一覧からランダムに選択した条件を登録する。
【０１０６】
第２作成部Ａ＿２は、このように関連アルバムルール一覧１２Ｂを生成すると、関連アルバムルール一覧１２Ｂに未処理の関連アルバム作成ルールが存在するか否かを判定する（Ｓ７０４）。
【０１０７】
未処理の関連アルバム作成ルールが存在する場合、第２作成部Ａ＿２は、関連アルバムルール一覧１２Ｂから未処理の関連アルバムルールを取得し（Ｓ７０６）、関連アルバムデータ作成処理を行う（Ｓ７０８）。第２作成部Ａ＿２は、関連アルバムデータ作成処理を行うと、Ｓ７０４に戻り判定を行う。
【０１０８】
未処理の関連アルバム作成ルールが存在しない場合、第２作成部Ａ＿２は、本フローチャートの処理を終了する。
【０１０９】
図１５は、関連アルバムデータ作成処理の流れを示すフローチャートの一例である。本フローチャートは、第２作成部Ａ＿２によって実行される。
【０１１０】
まず、第２作成部Ａ＿２は、図１４のＳ７０６で取得した関連アルバム作成ルール１２Ｂａに記載されている日付条件と時間条件を抽出し、日付条件、時間条件に合致する画像を、画像データベース１４Ａから検索する（Ｓ８００）。
【０１１１】
次に、第２作成部Ａ＿２は、検索結果の画像データが存在するか否かを判定する（Ｓ８０２）。
【０１１２】
検索結果の画像データが存在する場合、第２作成部Ａ＿２は、関連アルバム作成ルール１２Ｂａと、表示中のアルバムの作成ルールが同一か否かを判定する（Ｓ８０４）。
【０１１３】
関連アルバム作成ルール１２Ｂａと、表示中のアルバムの作成ルールが同一である場合、第２作成部Ａ＿２は、Ｓ８００における検索結果の画像データから、表示中のアルバムに使用されている画像データを除外したものの一覧を作成する（Ｓ８０６）。
【０１１４】
次に、第２作成部Ａ＿２は、Ｓ８００における検索結果の画像データから、表示中のアルバムに使用されている画像を除外した画像データが存在するか否かを判定する（Ｓ８０８）。
【０１１５】
上記除外した画像データが存在する場合及びＳ８０４で否定的な判定を得た場合、第２作成部Ａ＿２は、検索結果の画像データ及び除外後の画像データから、関連アルバム作成ルールに記載の最大画像数を最大値として画像データをピックアップする（Ｓ８１０）。本ステップにおいて、第２作成部Ａ＿２は、まず検索結果の画像データ、及びＳ８０６において作成された一覧に含まれる画像データの数と、関連アルバム作成ルールに記載されている最大画像数を比較する。そして、第２作成部Ａ＿２は、検索結果の画像データの数＋除外結果の画像データの数が最大画像数以下であれば、検索結果の画像データの数＋除外結果の画像データの数分の画像データをピックアップする。一方、第２作成部Ａ＿２は、検索結果の画像データの数＋除外結果の画像データの数が最大画像数を超える場合は、最大画像数分の画像データをピックアップする。画像をピックアップする手法としては、ランダムに選択する手法が採用されてもよいし、ピンぼけや見切れなどの失敗写真を除外することでピックアップする手法が採用されてもよい。
【０１１６】
次に、第２作成部Ａ＿２は、ピックアップされた画像をもとに、アルバムを作成し、作成したアルバムを関連アルバム一覧１２Ｃに追加して（Ｓ８１２）、本フローチャートを終了する。ここで、関連アルバム一覧１２ＣはＲＡＭ１２にのみ格納される（すなわち、電源オフ時には消去される）ものとしてもよいし、シャットダウン時にＨＤＤ１４に格納されて保存されてもよい。
【０１１７】
第２作成部Ａ＿２は、Ｓ８０２又はＳ８０８で否定的な判定を得た場合は、本フローチャートを終了する。
【０１１８】
［画面例］
以下、上記説明した処理によって表示される画面の変化について説明する。
【０１１９】
図１６は、アルバムが再生されているときの画像表示部Ｄの表示画面例である。
【０１２０】
図１６に示す画面が表示されているときにユーザが表示中のアルバムに関連する音声キーワードを発話すると、関連アルバムが作成される。この結果、図１７に示すように、例えば「おすすめアルバム」と表示される画像領域Ｄａがポップアップ表示される。図１７は、関連アルバムが作成されたときの画像表示部Ｄの表示画面例である。
【０１２１】
ユーザが「おすすめアルバム」と表示された画像領域Ｄａをクリック又はタッチ操作すると、図１８に示すように、おすすめアルバム（＝音声キーワードに基づき作成された関連アルバム）の一覧がドロップダウン表示される。図１８は、関連アルバムの一覧が画像表示部Ｄにより表示された様子を示す図である。そして、ユーザが関連アルバムの一覧のうちいずれかをクリック又はタッチ操作すると、選択された関連アルバムの再生が開始される。図中、Ｄａａ、Ｄａｂ、Ｄａｃが各関連アルバムを再生させるための指示領域となっている。
【０１２２】
［まとめ］
以上説明した第１実施例の画像再生装置、画像再生プログラム、及び画像再生方法によれば、アルバムが再生されているときに、ユーザの発話に含まれる音声キーワードとアルバムの作成ルールとの関係に基づき関連アルバムの作成ルールを設定することができる。また、第１実施例の画像再生装置等によれば、関連アルバムを作成し、関連アルバムに関する情報を提示することができる。これらの結果、第１実施例の画像再生装置等によれば、ユーザの意向に合う画像を提供することができる。
【０１２３】
また、第１実施例の画像再生装置等によれば、音声キーワードデータベース１４Ｄに、時期的条件を絞り込むような抽出条件を設定しておくことにより、ユーザが興味を持つであろう抽出範囲をクローズアップした関連アルバムを作成して提供することができる。
【０１２４】
また、第１実施例の画像再生装置等によれば、音声キーワードデータベース１４Ｄに、時期的に前後するような抽出条件を設定しておくことにより、ユーザが更に広い範囲に興味を持っている状況に対応することができる。
【０１２５】
＜第２実施例＞
以下、図面を参照し、本発明の第２実施例に係る画像再生装置、画像再生プログラム、及び画像再生方法について説明する。
【０１２６】
第２実施例の画像再生装置等は、概念図、ハードウエア構成、論理構成等について第１実施例の画像再生装置等と共通するため、各構成要素について同一の符号を付し、相違点を中心に説明する。
【０１２７】
第２実施例に係る画像再生装置２は、画像データの再生中に検知した音声キーワードに基づいて、指定の期間の関連アルバム（第１実施例と同じ）や特定の人物に関連する関連アルバムを作成する。
【０１２８】
図１９は、第２実施例に係る画像データベース１４Ａに格納されるデータの一例である。図中、「被写体ｉｎｄｅｘ」は、被写体を一意に特定するための固有のＩＤである。「被写体名」は、ユーザが理解できる形の文字列である。被写体名としては、例えば被写体の名前を記録すればよい。被写体として認識されたが、特に名前をつけていないものについては、「Ｎｏ  Ｎａｍｅ」と記載し、まだ名前が付けられていないことがわかるようにしておくものとする。「属性」は、被写体との関係性を示すものであり、本人、妻、息子、娘、友人、同僚等が記載される。「被写体呼び名」は、被写体の呼び方を示したものであり、音声認識用に登録される。
【０１２９】
図２０は、第２実施例に係る画像データベース１４Ａに付属して格納される画像被写体関連テーブルの一例である。図中、「Ｉｎｄｅｘ」は、データを一意に特定するための固有のＩＤである。「画像ｉｄ」は、画像データベース１４Ａの画像テーブルで管理している画像を指し示すＩＤ情報である。「被写体ｉｄ」は、画像データベース１４Ａの被写体テーブルで管理している被写体を指し示すＩＤ情報である。「被写体領域」は、画像中の被写体の顔が写っている領域を表す。顔の領域は、顔認識処理時に判断された領域情報を記載すればよく、例えば顔の領域の「（左上の座標）−（右下の座標）」という形式で表現される。顔の領域は、領域が確定できる他の記述方法で表現されてもよい。例えば、「（左上の座標）−縦サイズ×横サイズ」という記述方法が採用されてもよい。
【０１３０】
図２０において、画像ｉｄ＝１２０１の写真については、Ｉｎｄｅｘ＝２２３、２２４、２２５の３つのレコードが対応している。Ｉｎｄｅｘ＝２２３は、画像ｉｄ＝１２０１の写真の中に、被写体ｉｄ＝１の被写体の顔が、（１３，０）−（１５７，２２０）の領域にあるということを示している。同様に、Ｉｎｄｅｘ＝２２４は、画像ｉｄ＝１２０１の写真の中に、被写体ｉｄ＝２の被写体の顔が、（３１１，３８）−（１４７，１９４）の領域にあるということを示している。また、Ｉｎｄｅｘ＝２２５は、画像ｉｄ＝１２０１の写真の中に、被写体ｉｄ＝４の被写体の顔が、（１８１，１２）−（１０８，１４７）の領域にあるということを示している。
【０１３１】
図２１は、第２実施例に係るアルバムルールデータベース１４Ｂに格納されるデータの一例である。第２実施例に係るアルバムルールデータベース１４Ｂは、第１実施例に係るアルバムルールデータベース１４Ｂに格納されたデータに加え、顔認識に関わるアルバムルールが追加になっている。
【０１３２】
図中、「ＩＤ」、「アルバム名」、「日付条件」、「時間条件」、「最大画像個数」については、第１実施例で説明したものと同じである。
【０１３３】
「顔条件」は、第２実施例特有のパラメータであり、各アルバムを作成する際に集める画像について、顔認識結果の条件が記載されている。
【０１３４】
「顔条件」は、以下のルールに従う。
・Ｎｎ  ：名前の登録の有無の条件を示す。記載がなければ、認識されたすべての人物が対象となる。Ｙと記載されている場合は、名前の登録がされている人物だけが対象となる。Ｎと記載されている場合は、名前の登録がされていない人物だけが対象となる。
・Ｐｃｏｕｎｔ  ：画像中に写っている人物の人数の条件を示す。記載がなければ、人数を問わない。記載されている場合は、その数字の人数だけが写っている画像を対象とする。例えば、ＩＤ＝１０００４のアルバムの場合、Ｐｃｏｕｎｔの条件が「１０≦Ｐｃｏｕｎｔ」となっているが、この場合は、「１０人以上写っている画像」ということになる。
・Ｐｎａｍｅ  ：特定の人物が写っているかどうかの条件を示す。記載がなければ、被写体は特定しない。被写体ｉｎｄｅｘの値が記載されている場合は、その人が写っている画像という条件になる。Ｒの場合は、ｉｎｄｅｘの値を、取りうる値の中からランダムに選択する。例えば、ＩＤ＝１０００１のアルバムの場合、Ｐｎａｍｅの条件が「Ｐｎａｍｅ＝Ｒ」となっているが、Ｒの値をランダムに選択し、結果Ｒ＝３となった場合、条件は「太郎の写っている画像」ということになる。また、アルバム名称に(*)が含まれるので、この場合のアルバム名は「太郎さんの個展」アルバムとなる。なお、この例の場合、「Ｐｃｏｕｎｔ＝１」という条件があるので、「太郎だけが写っているアルバム」ということになる。
【０１３５】
また、ＭａｘＣｏｕｎｔの場合は、すべての画像中に出てくる人物を数え上げ、最も多くの画像に写っている人物のｉｎｄｅｘを当てはめることにする。これにより、システム中の画像に最も登場する回数の多い人物についてのアルバムを作成することができる。
【０１３６】
なお、「顔条件」と日付条件、時間条件は組み合わせることが可能である。例えば、「花子の写っている２００９年の画像」をアルバムにする場合、日付条件を「Ｙｎ＝２００９」、顔条件を「Ｐｎａｍｅ＝４」とすればよい。
【０１３７】
図２２は、第２実施例に係る音声キーワードデータベース１４Ｄに格納されるデータの一例である。第２実施例に係る音声キーワードデータベース１４Ｄは、第１実施例に係る音声キーワードデータベース１４Ｄに格納されたデータに加え、顔認識に関わるキーワードが追加されている。図中、ＩＤ＝５０００１以降が、顔認識に関わるキーワードである。「表示名」には、被写体テーブルの被写体名がコピーされる。「発音」は、被写体テーブルの被写体呼び名の値がコピーされる。「関連条件」には、被写体テーブルの被写体ｉｎｄｅｘの値が条件として記入される。
【０１３８】
（メイン処理）
図２３は、第２実施例の画像再生装置２が実行するメイン処理の流れを示すフローチャートの一例である。
【０１３９】
画像再生装置２が起動すると、イベントハンドラが常駐する（Ｓ９００）。イベントハンドラは、各種オペレーティングシステムに備わっているものであり、定期的・不定期のイベント通知に反応して、各種処理を行う。
【０１４０】
イベントハンドラから「音声キーワード登録イベント」が通知されると、「音声キーワード登録処理」が開始される（９０２）。音声キーワード登録処理では、ユーザが選択した画像データに対する顔認識の結果である認識データと、人物の名前及びその読み仮名を、ユーザ操作により音声キーワードデータベースに登録することを受け付ける処理である。音声キーワード登録処理によって、ユーザが人物の名前を呼んだときに当該人物を音声キーワードとして認識することができる。
【０１４１】
イベントハンドラから「アルバム作成イベント」が通知されると、「通常アルバム作成処理」が開始される（Ｓ９０４）。通常アルバム作成処理については第１実施例と同様であるため、説明を省略する。
【０１４２】
また、イベントハンドラから「鑑賞開始イベント」が通知されたときに、「鑑賞処理」が開始される（Ｓ９０６）。鑑賞処理については第１実施例と同様であるため、説明を省略する。
【０１４３】
また、イベントハンドラから「終了イベント」が通知されたときに、オペレーティングシステム自体が終了する。
【０１４４】
図２４は、第２実施例の画像再生装置２が実行する音声キーワード登録処理の流れを示すフローチャートの一例である。本フローチャートは、例えば音声キーワード抽出部Ｆの一機能として実行される。また、本フローチャートは、ユーザが所望の画像データに対して顔認識処理を画像再生装置２に指示した、或いは画像再生装置２が自動的に新規登録画像に対して顔認識処理行った後に開始される。
【０１４５】
まず、顔認識機能で認識された顔のうち、名前が未登録の顔画像に対して、名前を登録するかどうかをユーザに選択させる（Ｓ１０００）。ユーザが名前を登録しないことを選択した場合、音声キーワード抽出部Ｆは、本フローチャートの処理を終了する。
【０１４６】
ユーザが名前を登録することを選択した場合、音声キーワード抽出部Ｆは、顔に対応付けて名前などの情報をユーザに登録させるための情報登録画面を表示し、ユーザの入力がなされるまで待機する（Ｓ１００２）。
【０１４７】
ユーザの入力がなされると、音声キーワード抽出部Ｆは、ユーザから入力された名前、呼び方、属性の情報を、画像データベース１４Ａに付随する画像被写体関連テーブルに書き込む（Ｓ１００４）。音声キーワード抽出部Ｆは、名前を「被写体名」、属性を「属性」、呼び方を「被写体呼び名」として書き込む。
【０１４８】
次に、音声キーワード抽出部Ｆは、追加された画像被写体関連テーブルの値を、音声キーワードデータベース１４Ｄに書き込み（Ｓ１００６）、Ｓ１０００に戻る。音声キーワード抽出部Ｆは、被写体名を「表示名」、被写体呼び名を「発音」、被写体ｉｎｄｅｘを「関連条件」として書き込む。
【０１４９】
以上のような処理により、顔画像に対応付けられた名前が、音声キーワードとして登録され、当該音声キーワードが発話されたときに関連アルバムが作成され、第１実施例のように「おすすめアルバム」等の画像領域Ｄａが表示される
以下、その他の処理について説明する。
【０１５０】
通常アルバム作成処理については、主要な流れは第１実施例と同様であるが、図１０のフローチャートにおけるＳ３００では、今回作成するアルバムのルールに顔認識によるアルバムの選択肢が含まれる。例えば、２０１１年の年末に、その年一年で撮影した人物についてのアルバムを作成する、という場合には、「２０１１年の真彦さん」、「２０１１年の明菜さん」、「２０１１年の太郎さん」、「２０１１年の花子さん」というアルバムを選択すればよい。これによって、顔認識に関連するアルバムが、通常アルバム作成処理において作成されることになる。
【０１５１】
鑑賞処理については、音声キーワードデータベース１４Ｄに、名前の呼び方が登録されているため、画像の再生中に音声キーワードデータベース１４Ｄに登録されている名前が発話されたときに、関連アルバム作成処理が開始されることになる。
【０１５２】
関連アルバム作成処理では、反応した音声キーワードが「たろう」だった場合、音声キーワードデータベース１４Ｄを検索して、ＩＤ＝５０００３が得られる。第２作成部Ａ＿２は、該当するレコードに対して、関連条件欄の値を参照し、関連条件「Ｐｎａｍｅ＝３」を取得する。第２実施例に係る第２作成部Ａ＿２は、現在表示中のアルバムが「花子さんの個展」のアルバム（ＩＤ＝１０００１でＲ＝４）の場合、このアルバムの日付条件、時間条件、顔条件を取得する。この場合、日付条件、時間条件はＮＵＬＬ、顔条件は「Ｎｎ＝Ｙ，Ｐｃｏｕｎｔ＝１，Ｐｎａｍｅ＝４」となっている。
【０１５３】
第２実施例に係る第２作成部Ａ＿２は、日付条件、時間条件に関する関連アルバムの作成に関しては、第１実施例と同様のロジックで関連アルバムの作成を行う。一方、第２実施例に係る第２作成部Ａ＿２は、顔条件については、ＡＮＤをとる場合と新規条件とする場合の２つを条件とする。上記の例では、ＡＮＤを取ると「Ｎｎ＝Ｙ，Ｐｃｏｕｎｔ＝１，  Ｐｎａｍｅ＝３ＡＮＤ４」となるが、「太郎さんと花子さんが一緒に写っていて、被写体は１つ」という条件は矛盾するので、ＡＮＤは取れないことになる。この場合、新規条件が採用され、「Ｎｎ＝Ｙ，Ｐｃｏｕｎｔ＝１，Ｐｎａｍｅ＝３」となり、「太郎さんの個展」が作成される。このような処理によって、花子さんの個展のアルバムの再生中に、「たろう」という言葉が発話された場合に、関連アルバムとして「太郎さんの個展」のアルバムが作成される。
【０１５４】
なお、本実施例では、顔認識機能による顔タグについての例を記載したが、別の認識方法による別のタグであっても同様に応用することが可能ある。例えば、食事内容を解析する画像解析エンジンがあった場合には、「フランス料理」「フォアグラ」などのタグが各画像に付加されることが想定される。従って、これらのタグの読み方を登録しておくことで、本実施例と同様の処理にて「フランス料理のアルバム」などを関連アルバムとして表示することが可能になる。
【０１５５】
以上説明した第２実施例の画像再生装置、画像再生プログラム、及び画像再生方法によれば、アルバムが再生されているときに、ユーザの発話に含まれる音声キーワードとアルバムの作成ルールとの関係に基づき関連アルバムの作成ルールを設定することができる。また、第２実施例の画像再生装置等によれば、関連アルバムを作成し、関連アルバムに関する情報を提示することができる。これらの結果、第２実施例の画像再生装置等によれば、ユーザの意向に合う画像を提供することができる。
【０１５６】
また、第２実施例の画像再生装置等によれば、音声キーワードデータベース１４Ｄに、人物に関する抽出条件を設定しておくため、ユーザがその時点で興味を持った人物についての画像の再生を提案することができる。
【０１５７】
＜第３実施例＞
以下、図面を参照し、本発明の第３実施例に係る画像再生装置、画像再生プログラム、及び画像再生方法について説明する。
【０１５８】
図２５は、第３実施例に係る画像再生装置３の論理構成例である。画像再生装置３は、アルバム作成部Ａ、鑑賞状況通知部Ｂ、表示画像制御部Ｃ、画像表示部Ｄ、音声受信部Ｅ、音声キーワード抽出部Ｆ、鑑賞状況判定部Ｇを備える。請求項５における「抽出手段」は、例えば本実施例における第１作成部Ａ＿１に対応する。また、請求項５における「提示手段」は、例えば本実施例における第２作成部Ａ＿２、表示画像制御部Ｃ、及び音声受信ハンドラに対応する。また、請求項５における「第１条件充足画像データ」は、例えば本実施例におけるアルバムに対応し、請求項５における「第２条件充足画像データ」は、例えば本実施例における関連アルバムに対応する。
【０１５９】
これらの論理構成のうち、アルバム作成部Ａ、鑑賞状況通知部Ｂ、表示画像制御部Ｃ、音声キーワード抽出部Ｆ、鑑賞状況判定部Ｇは、例えばＣＰＵ１０がＨＤＤ１４等に格納されたプログラムを実行することにより機能する機能ブロックである。なお、これらの機能ブロックが明確に分離したプログラムによって実現される必要はなく、サブルーチンや関数として他のプログラムによって呼び出されるものであってもよい。また、機能ブロックの一部が、ＬＳＩ、ＩＣやＦＰＧＡ等のハードウエア手段であっても構わない。
【０１６０】
また、画像表示部Ｄはグラフィックインターフェース２０及びテレビジョン放映機１００を指し、音声受信部Ｅは入力インターフェース２２の一機能である。
【０１６１】
また、図２５に示す各論理構成は、ＨＤＤ１４等に格納された画像データベース１４Ａ、アルバムルールデータベース１４Ｂ、アルバム情報データベース１４Ｃ、音声キーワードデータベース１４Ｄ、盛り上がりワードデータベース１４Ｅを利用して処理を行う。
【０１６２】
盛り上がりワードデータベース１４Ｅは、ユーザの発話中に含まれる、盛り上がりを示す言葉を集めたデータベースである。図２６は、盛り上がりワードデータベース１４Ｅに格納されるデータの一例である。図中、「ＩＤ」は、盛り上がりワードを一意に特定するための固有の値である。「発音」は、音声受信部から入力された音声に対して、音声認識技術によって音声とマッチングをとるためのキーワードである。ここに記載されたとおりに発音されたかどうかを判定するのに使用する。「盛り上がり度数」は、盛り上がり方を数値化したものであり、値が大きいほど盛り上がっているとみなす。図２６の例では、盛り上がり度数の最大値が５、最小値が１となっている。
【０１６３】
第３実施例の画像再生装置３が第１実施例の画像再生装置１と異なる主要な点は、鑑賞処理、及び音声認識モジュールの処理であるため、以下ではこれらについてのみ説明する。
【０１６４】
図２７は、第３実施例の画像再生装置３により実行される処理の流れを示すフローチャートの一例である。
【０１６５】
まず、表示画像制御部Ｃは、音声認識モジュールの常駐を開始させる（Ｓ１１００）。音声認識モジュールは、音声受信部Ｅがマイクロフォン４６から音声を受信可能な状態となるように設定し、音声キーワード判定部Ｆが音声受信部Ｅから受信した音声を逐次解析できるように準備する。
【０１６６】
次に、表示画像制御部Ｃは、盛り上がりワードを音声認識モジュールに設定する（Ｓ１１０２）。
【０１６７】
次に、表示画像制御部Ｃは、ユーザがアルバムを選択するか、鑑賞終了を選択するまで待機する（Ｓ１１０４）。
【０１６８】
ユーザがアルバムを選択すると、表示画像制御部Ｃは、鑑賞用に選択されたアルバムに関連する音声キーワードを音声キーワードデータベース１４Ｄから取得し、音声認識モジュールに設定する（Ｓ１１０６）。
【０１６９】
ここで、表示画像制御部Ｃは、関連するキーワードの一覧を取得するために、例えばアルバムルールデータベース１４Ｂに記載された各ルールごとに反応するキーワードを対応付けた一覧を利用する。そして、表示画像制御部Ｃは、今回ユーザが鑑賞しようとしているアルバムに記載されているルールＩＤについて、一覧から対応するキーワードを読み取る。
【０１７０】
次に、表示画像制御部Ｃは、アルバム情報によって特定される画像を、アルバム情報に記載されている情報に従って画像表示部Ｄに表示させる（Ｓ１１０８）。これによって、ユーザによるアルバムの鑑賞が開始される。この間にユーザが音声を発すると、常駐している音声認識モジュールが反応して後述する音声認識モジュールの処理を行う。表示画像制御部Ｃは、鑑賞中のアルバムの鑑賞が終了した場合やユーザが別のアルバムを鑑賞するための操作を行った場合は、Ｓ５０２に戻って処理を実行する。
【０１７１】
表示画像制御部Ｃは、ユーザが鑑賞終了を選択すると、音声認識モジュールの常駐を終了させる（Ｓ１１１０）。
【０１７２】
（音声認識モジュールの処理）
図２８は、音声認識モジュールの処理の流れを示すフローチャートの一例である。
【０１７３】
音声認識モジュールが常駐を開始すると、音声受信ハンドラが起動する（Ｓ１２００）。音声受信ハンドラは、発生したイベントに応じたメッセージを受信するために待機する。
【０１７４】
音声受信ハンドラは、音声受信イベントを受信すると、受信した音声が、設定された音声キーワード又は盛り上がりワードに一致するか否かを音声キーワード抽出部Ｆに判定させる（Ｓ１２０２）。受信した音声が、設定された音声キーワードと盛り上がりワードのいずれにも一致しなかった場合、音声受信ハンドラは、Ｓ１２００に戻り、受信待ち状態となる。
【０１７５】
受信した音声が、設定された音声キーワードに一致した場合、音声受信ハンドラは、現在ユーザが鑑賞中のアルバムと受信したキーワードに関連する関連アルバムを作成するように、第２作成部Ａ＿２に指示する（Ｓ１２０４）。
【０１７６】
関連アルバムの作成が終了すると、音声受信ハンドラは、作成された関連アルバム一覧１２Ｃを画面に表示するように表示画像制御部Ｃに指示する（Ｓ１２０６）。
【０１７７】
第２作成部Ａ＿２が関連アルバムを作成している最中に新たな音声受信イベントを受信した場合は、現在の処理に並行してＳ１２０４の処理を行うようなスレッド処理にしてもよいし、関連アルバム作成処理が完了するまで次の音声受信イベントの受信を無視してもよい。
【０１７８】
一方、受信した音声が、設定された盛り上がりワードに一致した場合、音声受信ハンドラは、今回受信した盛り上がりワードの盛り上がり度数を、累計の盛り上がり度数に加算する（Ｓ１２０８）。
【０１７９】
そして、音声受信ハンドラは、累計の盛り上がり度数が閾値を超えたか否かを判定する（Ｓ１２１０）。累計の盛り上がり度数が閾値を超えない場合、音声受信ハンドラは、Ｓ１２００に戻り、受信待ち状態となる。
【０１８０】
累計の盛り上がり度数が閾値を超えた場合、音声受信ハンドラは、現在再生中のアルバムに関連するアルバムを作成するように第２作成部Ａ＿２に指示する（Ｓ１２１２）。
【０１８１】
関連アルバムの作成が終了すると、音声受信ハンドラは、作成された現在再生中のアルバムに関連するアルバムの一覧を画面に表示するように表示画像制御部Ｃに指示する（Ｓ１２１４）。
【０１８２】
音声受信ハンドラが常駐終了イベントを受信した場合、音声認識モジュールは常駐を終了する。
【０１８３】
Ｓ１２１０では、例えば、閾値が８に設定されている場合、盛り上がりワードが「すばらしい」と「とってもすてき」の２語を検知すると、合計が１０となり閾値を超える。また、盛り上がりワードが「へー」と「なるほど」の２語の場合、合計が６となり、閾値を超えない。
【０１８４】
累計の盛り上がり度数が閾値を超えた場合に作成される関連アルバムは、現在表示中のアルバムにより深く関連したものにすることで、続けて盛り上がりを演出することが可能になる。そのため、関連アルバムは、以下のルールで作成することにする。
・鑑賞中のアルバムの、一部期間にフォーカスしたアルバム（例：「２００７年のアルバム」の場合、「２００７年の１月〜６月」「２００７年の７月〜１２月」など。「お正月のアルバム」の場合、「２０１０年のお正月」「２０１１年のお正月」など。）
・鑑賞中のアルバムの、被写体にフォーカスしたアルバム（例：「２００７年のアルバム」の場合、「２００７年の太郎さんのアルバム」や「２００７年の花子さんのアルバム」など）。
【０１８５】
盛り上がりワードによる関連アルバムの一覧は、音声キーワードによる関連アルバムの一覧の表示と同じに表示してもよいし、別に表示してもよい。
【０１８６】
以上の処理の流れにより、鑑賞中の盛り上がりを認識して、現在のアルバムに関連する新しいアルバムを提案することが可能になる。
【０１８７】
以上説明した第３実施例の画像再生装置、画像再生プログラム、及び画像再生方法によれば、アルバムが再生されているときに、ユーザの発話に含まれる音声キーワードとアルバムの作成ルールとの関係に基づき関連アルバムの作成ルールを設定することができる。また、第３実施例の画像再生装置等によれば、関連アルバムを作成し、関連アルバムに関する情報を提示することができる。これらの結果、第３実施例の画像再生装置等によれば、ユーザの意向に合う画像を提供することができる。
【０１８８】
また、第３実施例の画像再生装置等によれば、予め設定した盛り上がりワードが発話されたときに、その累積の盛り上がり度合いが閾値を超えたときに関連アルバムを作成するため、ユーザの状態に応じた画像を提供することができる。
【０１８９】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１９０】
以上の説明に関し、さらに以下の項を開示する。
（付記１）
画像データを再生可能な再生手段に接続される画像再生装置であって、
前記記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出する抽出手段と、
音声入力手段に入力された音声に一致するキーワードを抽出する音声キーワード抽出手段と、
前記第１条件充足画像データが前記再生手段により再生されているときに、該再生中の前記第１条件充足画像データが抽出された際に適用された第１の抽出条件と前記抽出されたキーワードとの関係に基づき第２の抽出条件を決定し、前記記憶手段に格納された画像データのうち前記第２の抽出条件を満たす第２条件充足画像データに関する情報を提示する提示手段と、を備える画像再生装置。
（付記２）
前記第２の抽出条件は、前記第１の抽出条件よりも狭い抽出範囲で前記画像データを抽出するための抽出条件である、付記１に記載の画像再生装置。
（付記３）
前記第１の抽出条件は、時期的な抽出条件であり
前記第２の抽出条件は、前記第１の抽出条件に比して時期的に前後する期間の前記画像データを抽出するための抽出条件である、付記１に記載の画像再生装置。
（付記４）
前記第２の抽出条件は、特定の人物が含まれる画像データを抽出するための抽出条件である、付記１ないし３のいずれか１項記載の画像再生装置。
（付記５）
画像データを再生可能な再生手段に接続される画像再生装置であって、
前記記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出する抽出手段と、
音声入力手段に入力された音声からユーザの盛り上がりを示すキーワードを抽出する音声キーワード抽出手段と、
前記第１条件充足画像データが前記再生手段により再生されているときに、前記抽出されたユーザの盛り上がりを示すキーワードに基づきユーザの盛り上がり度合いを算出し、該算出したユーザの盛り上がり度合いに応じて前記記憶手段に格納された画像データのうち前記第１の抽出条件に関連する第２の抽出条件を満たす第２条件充足画像データに関する情報を提示する提示手段と、を備える画像再生装置。
（付記６）
画像データを再生可能な再生手段に接続されたコンピュータに、
記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出させ、
音声入力手段に入力された音声に一致するキーワードを抽出させ、
前記第１条件充足画像データが前記再生手段により再生されているときに、該再生中の前記第１条件充足画像データが抽出された際に適用された第１の抽出条件と前記抽出されたキーワードとの関係に基づき第２の抽出条件を決定させ、前記記憶手段に格納された画像データのうち前記第２の抽出条件を満たす第２条件充足画像データに関する情報を提示させることを特徴とする、画像再生プログラム。
（付記７）
前記第２の抽出条件は、前記第１の抽出条件よりも狭い抽出範囲で前記画像データを抽出するための抽出条件である、付記６に記載の画像再生プログラム。
（付記８）
前記第１の抽出条件は、時期的な抽出条件であり
前記第２の抽出条件は、前記第１の抽出条件に比して時期的に前後する期間の前記画像データを抽出するための抽出条件である、付記６に記載の画像再生プログラム。
（付記９）
前記第２の抽出条件は、特定の人物が含まれる画像データを抽出するための抽出条件である、付記６ないし８のいずれか１項記載の画像再生プログラム。
（付記１０）
画像データを再生可能な再生手段に接続されたコンピュータが、
前記記憶手段に格納された画像データから第１の抽出条件を満たす第１条件充足画像データを抽出し、
音声入力手段に入力された音声に一致するキーワードを抽出し、
前記第１条件充足画像データが前記再生手段により再生されているときに、該再生中の前記第１条件充足画像データが抽出された際に適用された第１の抽出条件と前記抽出されたキーワードとの関係に基づき第２の抽出条件を決定し、前記記憶手段に格納された画像データのうち前記第２の抽出条件を満たす第２条件充足画像データに関する情報を提示することを特徴とする、画像再生方法。
【符号の説明】
【０１９１】
１、２、３  画像再生装置
１０    ＣＰＵ
１２    ＲＡＭ
１４    ＨＤＤ
１４Ａ  画像データベース
１４Ｂ  アルバムルールデータベース
１４Ｃ  アルバム情報データベース
１４Ｄ  音声キーワードデータベース
１４Ｅ  盛り上がりワードデータベース
２０    グラフィックインターフェース
２２    入力インターフェース
２４    シリアルバスインターフェース
２６    メモリカードスロット
２８    光学ドライブ装置
３０    通信インターフェース
４２    キーボード
４４    マウス
４６    マイクロフォン
４６Ａ  専用ケーブル
５０    カメラ
５２    ビデオ
５４    携帯電話
６０    メモリカード
６２    光ディスク
７０    ネットワーク
１００  テレビジョン放映機
１１０  ＨＤＭＩケーブル
２００  ユーザ
Ａ      アルバム作成部
Ｂ      鑑賞状況通知部
Ｃ      表示画像制御部
Ｄ      画像表示部
Ｅ      音声受信部
Ｆ      音声キーワード抽出部
Ｇ      鑑賞状況判定部
【図１】
0005790509.tif 000002
【図２】
0005790509.tif 000003
【図３】
0005790509.tif 000004
【図４】
0005790509.tif 000005
【図５】
0005790509.tif 000006
【図６】
0005790509.tif 000007
【図７】
0005790509.tif 000008
【図８】
0005790509.tif 000009
【図９】
0005790509.tif 000010
【図１０】
0005790509.tif 000011
【図１１】
0005790509.tif 000012
【図１２】
0005790509.tif 000013
【図１３】
0005790509.tif 000014
【図１４】
0005790509.tif 000015
【図１５】
0005790509.tif 000016
【図１６】
0005790509.tif 000017
【図１７】
0005790509.tif 000018
【図１８】
0005790509.tif 000019
【図１９】
0005790509.tif 000020
【図２０】
0005790509.tif 000021
【図２１】
0005790509.tif 000022
【図２２】
0005790509.tif 000023
【図２３】
0005790509.tif 000024
【図２４】
0005790509.tif 000025
【図２５】
0005790509.tif 000026
【図２６】
0005790509.tif 000027
【図２７】
0005790509.tif 000028
【図２８】
0005790509.tif 000029