(57)【要約】【課題】音センサにより取得された音情報を反映させた表示制御を可能にするデジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体の提供。【解決手段】デジタルフォトフレーム３００は、画像を表示する表示部３４０と、表示部３４０の表示制御を行う表示制御部３１８と、周囲音を検知する音センサにより検知された音情報を取得する音情報取得部３０４を含む。表示制御部３１８は、取得された音情報に応じて、表示部３４０に表示される画像の表示態様を変化させる表示制御を行う。【選択図】図２
2010181461.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
前記表示部の表示制御を行う表示制御部と、
周囲音を検知する音センサにより検知された音情報を取得する音情報取得部とを含み、
前記表示制御部は、
取得された前記音情報に応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
【請求項２】
請求項１において、
取得された前記音情報に基づいて、ユーザの発話を検知する発話検知部を含み、
前記表示制御部は、
ユーザの発話の検知結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
【請求項３】
請求項２において、
前記表示制御部は、
ユーザの発話が検知された場合に、表示コンテンツの詳細情報又は関連情報を表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項４】
請求項２又は３において、
ユーザの視認状態を判断する視認状態判断部を含み、
前記表示制御部は、
ユーザの発話の検知結果及びユーザの視認状態の判断結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記表示制御部は、
ユーザの発話の検知結果に基づいて、コンテンツの表示タイミングを制御することを特徴とするデジタルフォトフレーム。
【請求項６】
請求項５において、
前記発話検知部は、
ユーザの無発話状態を検知し、
前記表示制御部は、
ユーザの無発話状態が検知された場合に、コンテンツのスライド表示において次のコンテンツへの切り替え処理を行うことを特徴とするデジタルフォトフレーム。
【請求項７】
請求項１において、
取得された前記音情報に基づいて、ユーザの発話の音声認識を行う音声認識部を含み、
前記表示制御部は、
音声認識結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
【請求項８】
請求項７において、
前記音声認識部は、
音声認識によりユーザの発話キーワードを抽出し、
前記表示制御部は、
抽出された前記発話キーワードに基づき選択されたコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項９】
請求項８において、
前記表示制御部は、
表示コンテンツに関連づけられたタグキーワードと前記発話キーワードとが一致した場合には、前記タグキーワードに対応するコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１０】
請求項８において、
前記表示制御部は、
表示コンテンツに関連づけられたタグキーワードと前記発話キーワードが一致しなかった場合には、前記タグキーワードと前記発話キーワードとのＡＮＤ検索により選択されたコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１１】
請求項８において、
前記表示制御部は、
前記タグキーワードと前記発話キーワードとが一致した場合には、前記タグキーワードに対応するコンテンツを表示し、前記タグキーワードと前記発話キーワードとが一致しなかった場合には、前記タグキーワードと前記発話キーワードとのＡＮＤ検索により選択されたコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１２】
請求項８において、
前記表示制御部は、
ユーザの発話から複数の異なる発話キーワードが抽出された場合に、複数の異なる発話キーワードのＡＮＤ検索により選択されたコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１３】
請求項８において、
ユーザの視認状態を判断する視認状態判断部を含み、
前記表示制御部は、
ユーザの発話が検知された場合に、音声認識の結果及びユーザの視認状態の判断結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１４】
請求項１３において、
前記表示制御部は、
ユーザの発話が検知され、ユーザが前記表示部を注視していると判断された場合には、表示コンテンツに関連づけられたタグキーワードにより選択されたコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１５】
請求項１４において、
前記表示制御部は、
ユーザが前記表示部を注視していると判断され、前記タグキーワードと前記発話キーワードとが一致した場合には、前記タグキーワードにより選択されたコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１６】
請求項１４又は１５において、
前記表示制御部は、
ユーザの発話が検知されたが、ユーザが前記表示部を注視していないと判断された場合には、前記発話キーワードに対応するコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１７】
請求項８乃至１６のいずれかにおいて、
前記表示制御部は、
抽出された発話キーワードの出現回数をカウントし、出現回数が所定回数を超えた発話キーワードに対応するコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１８】
請求項８において、
前記表示制御部は、
コンテンツ画像を構成する複数の表示オブジェクトに関連づけられたタグキーワードが、前記発話キーワードに一致した場合に、一致したタグキーワードが関連づけられた表示オブジェクトを拡大表示する制御、或いは当該表示オブジェクトの詳細情報又は関連情報を表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項１９】
請求項１８において、
前記表示制御部は、
前記タグキーワードが前記発話キーワードに一致しなかった場合には、前記複数の表示オブジェクトを順次拡大表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項２０】
請求項７において、
前記音声認識部は、
ユーザの発話音声からユーザの話者認識を行い、
前記表示制御部は、
話者認識されたユーザに対応するコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項２１】
請求項７において、
前記音声認識部は、
ユーザの発話音声からユーザの感情状態を認識し、
前記表示制御部は、
認識された前記感情状態に対応するコンテンツを表示する制御を行うことを特徴とするデジタルフォトフレーム。
【請求項２２】
請求項１乃至２１のいずれかにおいて、
ユーザと前記表示部との位置関係を判断する位置関係判断部を含み、
前記表示制御部は、
ユーザと前記表示部との距離が所定距離以内である場合に、取得された前記音情報に応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
【請求項２３】
請求項１乃至２２のいずれかにおいて、
前記表示制御部は、
取得された前記音情報に基づいて、前記表示部の表示をオンにする制御を行うことを特徴とするデジタルフォトフレーム。
【請求項２４】
請求項１乃至２３のいずれかにおいて、
前記表示制御部は、
取得された前記音情報に基づいて、ユーザの操作指示を特定し、特定された操作指示に応じた表示制御を行うことを特徴とするデジタルフォトフレーム。
【請求項２５】
コンテンツを選択するコンテンツ選択部と、
選択されたコンテンツに基づいて、デジタルフォトフレームの表示部に表示される画像の表示指示を行う表示指示部とを含み、
前記表示指示部は、
周囲音を検知する音センサにより検知された音情報に応じて、前記表示部に表示される画像の表示態様を変化させる表示指示を行うことを特徴とする情報処理システム。
【請求項２６】
画像を表示する表示部の表示制御を行う表示制御部と、
周囲音を検知する音センサにより検知された音情報を取得する音情報取得部として、
コンピュータを機能させ、
前記表示制御部は、
取得された前記音情報に応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするプログラム。
【請求項２７】
コンピュータ読み取り可能な情報記憶媒体であって、請求項２６に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体等に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラなどのデジタルカメラで撮影した画像を手軽に再生できる装置として、デジタルフォトフレームが脚光を浴びている。このデジタルフォトフレームは、フォトスタンドの写真を入れる部分が液晶ディスプレイに置き換えられた形態の装置であり、メモリカードや通信装置を介して読み込まれたデジタルの画像データ（電子写真）の再生処理を行う。
【０００３】
デジタルフォトフレームの従来技術としては例えば特許文献１に開示される技術がある。この従来技術では、電話回線接続装置を、デジタルフォトフレームであるデジタルフォトスタンドに具備させて、フォトスタンドと有線又は無線の電話回線との間の伝送路の形成を実現している。
【０００４】
しかしながら、これまでのデジタルフォトフレームでは、デジタルカメラ等で撮影された画像を単に再生する機能しか有しておらず、周囲音やユーザの発話などを反映させた表示制御は行われていなかった。このため再生画像が単調であり、ユーザに対して多様なコンテンツを表示することができなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３２４４７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、音センサにより取得された音情報を反映させた表示制御を可能にするデジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像を表示する表示部と、前記表示部の表示制御を行う表示制御部と、周囲音を検知する音センサにより検知された音情報を取得する音情報取得部とを含み、前記表示制御部は、取得された前記音情報に応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うデジタルフォトフレームに関係する。
【０００８】
本発明の一態様によれば、音センサにより検知された音情報が取得される。そして取得された音情報に応じて表示部に表示される画像の表示態様が変化するように、デジタルフォトフレームの表示部の表示制御が行われる。従って、音センサにより取得された音情報を反映させた表示制御が可能になり、多様な画像表現を実現できる。
【０００９】
また本発明の一態様では、取得された前記音情報に基づいて、ユーザの発話を検知する発話検知部を含み、前記表示制御部は、ユーザの発話の検知結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行ってもよい。
【００１０】
このようにすれば、ユーザの発話に応じて表示画像が変化するようになり、ユーザの発話を反映させた表示制御が可能になる。
【００１１】
また本発明の一態様では、前記表示制御部は、ユーザの発話が検知された場合に、表示コンテンツの詳細情報又は関連情報を表示する制御を行ってもよい。
【００１２】
このようにすれば、例えば表示されているコンテンツに対してユーザが興味等を持って発話すると、その発話に応じて表示コンテンツの詳細情報や関連情報が表示されるようになり、これまでにないデジタルフォトフレームのインターフェース環境を提供できる。
【００１３】
また本発明の一態様では、ユーザの視認状態を判断する視認状態判断部を含み、前記表示制御部は、ユーザの発話の検知結果及びユーザの視認状態の判断結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行ってもよい。
【００１４】
このようにすれば、ユーザの発話の検知結果のみならず、ユーザの視認状態も反映させた表示制御が可能になる。
【００１５】
また本発明の一態様では、前記表示制御部は、ユーザの発話の検知結果に基づいて、コンテンツの表示タイミングを制御してもよい。
【００１６】
このようにすれば、ユーザは、発話することによってコンテンツの表示タイミングを変化させることが可能になり、これまでにないタイプのインターフェース環境を提供できる。
【００１７】
また本発明の一態様では、前記発話検知部は、ユーザの無発話状態を検知し、前記表示制御部は、ユーザの無発話状態が検知された場合に、コンテンツのスライド表示において次のコンテンツへの切り替え処理を行ってもよい。
【００１８】
このようにすれば、ユーザが表示コンテンツに興味等を持って発話している状態では現在の表示コンテンツの表示が維持され、無発話状態が検知されると、次のコンテンツに切り替わるため、スライド表示に好適なインターフェース環境を提供できる。
【００１９】
また本発明の一態様では、取得された前記音情報に基づいて、ユーザの発話の音声認識を行う音声認識部を含み、前記表示制御部は、音声認識結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行ってもよい。
【００２０】
このようにすれば、ユーザの発話の音声認識結果に応じてデジタルフォトフレームの表示画像の表示態様が変化するようになり、ユーザの発話の音声認識結果を反映させた表示制御が可能になる。
【００２１】
また本発明の一態様では、前記音声認識部は、音声認識によりユーザの発話キーワードを抽出し、前記表示制御部は、抽出された前記発話キーワードに基づき選択されたコンテンツを表示する制御を行ってもよい。
【００２２】
このようにすれば、ユーザが発話すると、その発話を構成する発話キーワードにより選択されたコンテンツが表示されるようになり、ユーザの発話キーワードによる表示制御が可能になる。
【００２３】
また本発明の一態様では、前記表示制御部は、表示コンテンツに関連づけられたタグキーワードと前記発話キーワードとが一致した場合には、前記タグキーワードに対応するコンテンツを表示する制御を行ってもよい。
【００２４】
このようにすれば、表示されているコンテンツに対して興味等を持ったユーザがそのコンテンツに関連等する発話キーワードを発話し、その発話キーワードが表示コンテンツのタグキーワードに一致すると、一致したタグキーワードに対応するコンテンツが表示されるようになる。これにより、次に表示されるコンテンツの内容に対してユーザの意思等を反映させることができ、これまでにないタイプのデジタルフォトフレームの提供が可能になる。
【００２５】
また本発明の一態様では、前記表示制御部は、表示コンテンツに関連づけられたタグキーワードと前記発話キーワードが一致しなかった場合には、前記タグキーワードと前記発話キーワードとのＡＮＤ検索により選択されたコンテンツを表示する制御を行ってもよい。
【００２６】
このようにすれば、表示されているコンテンツに対してユーザが発話キーワードを発話し、その発話キーワードが表示コンテンツのタグキーワードに一致しない場合には、発話キーワードとタグキーワードのＡＮＤ検索より選択されたコンテンツが表示されるようになる。これにより、ユーザの興味や意思等をある程度反映させて、次のコンテンツを表示できるようになり、変化に富んだ多様なコンテンツ表示が可能になる。
【００２７】
また本発明の一態様では、前記表示制御部は、前記タグキーワードと前記発話キーワードとが一致した場合には、前記タグキーワードに対応するコンテンツを表示し、前記タグキーワードと前記発話キーワードとが一致しなかった場合には、前記タグキーワードと前記発話キーワードとのＡＮＤ検索により選択されたコンテンツを表示する制御を行ってもよい。
【００２８】
このようにすれば、タグキーワードと発話キーワードが一致した場合にはタグキーワードに対応するコンテンツが表示され、一致しなかった場合にはＡＮＤ検索により選択されたコンテンツが表示されるようになるため、ユーザの興味や意思等をある程度反映させた多様なコンテンツ表示が可能になる。
【００２９】
また本発明の一態様では、前記表示制御部は、ユーザの発話から複数の異なる発話キーワードが抽出された場合に、複数の異なる発話キーワードのＡＮＤ検索により選択されたコンテンツを表示する制御を行ってもよい。
【００３０】
このようにすれば、ユーザの発話を構成する複数の発話キーワードから、ユーザが望むコンテンツを類推して、次のコンテンツを表示できるようになる。
【００３１】
また本発明の一態様では、ユーザの視認状態を判断する視認状態判断部を含み、前記表示制御部は、ユーザの発話が検知された場合に、音声認識の結果及びユーザの視認状態の判断結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行ってもよい。
【００３２】
このようにすれば、ユーザの発話が検知された場合に、その発話の音声認識結果とユーザの視認状態の両方を反映させた表示制御が可能になり、多様なコンテンツ表示が可能になる。
【００３３】
また本発明の一態様では、前記表示制御部は、ユーザの発話が検知され、ユーザが前記表示部を注視していると判断された場合には、表示コンテンツに関連づけられたタグキーワードにより選択されたコンテンツを表示する制御を行ってもよい。
【００３４】
このようにすれば、表示コンテンツに対してユーザが発話し、且つ、ユーザがその表示コンテンツを注視した場合には、ユーザがその表示コンテンツに興味等を持っていると考え、表示コンテンツのタグキーワードにより選択されたコンテンツを表示できるようになる。
【００３５】
また本発明の一態様では、前記表示制御部は、ユーザが前記表示部を注視していると判断され、前記タグキーワードと前記発話キーワードとが一致した場合には、前記タグキーワードにより選択されたコンテンツを表示する制御を行ってもよい。
【００３６】
このようにすれば、表示コンテンツを注視しているユーザが、その表示コンテンツのタグキーワードと一致する発話キーワードが発話した場合に、次に表示するコンテンツとして、タグキーワードにより選択されたコンテンツを表示できるようになる。
【００３７】
また本発明の一態様では、前記表示制御部は、ユーザの発話が検知されたが、ユーザが前記表示部を注視していないと判断された場合には、前記発話キーワードに対応するコンテンツを表示する制御を行ってもよい。
【００３８】
このようにすれば、ユーザが発話したが、表示コンテンツを注視していない場合には、ユーザの発話キーワードの方を優先し、次に表示するコンテンツとして発話キーワードに対応するコンテンツを表示できるようになる。
【００３９】
また本発明の一態様では、前記表示制御部は、抽出された発話キーワードの出現回数をカウントし、出現回数が所定回数を超えた発話キーワードに対応するコンテンツを表示する制御を行ってもよい。
【００４０】
このようにすれば、ユーザの発話に反応してコンテンツ表示が頻繁に変化してしまう事態を防止できるようになる。
【００４１】
また本発明の一態様では、前記表示制御部は、コンテンツ画像を構成する複数の表示オブジェクトに関連づけられたタグキーワードが、前記発話キーワードに一致した場合に、一致したタグキーワードが関連づけられた表示オブジェクトを拡大表示する制御、或いは当該表示オブジェクトの詳細情報又は関連情報を表示する制御を行ってもよい。
【００４２】
このようにすれば、ユーザが興味等を持った表示オブジェクトを拡大表示したり、その詳細情報や関連情報を表示できるようになる。
【００４３】
また本発明の一態様では、前記表示制御部は、前記タグキーワードが前記発話キーワードに一致しなかった場合には、前記複数の表示オブジェクトを順次拡大表示する制御を行ってもよい。
【００４４】
このようにすれば、タグキーワードと発話キーワードが一致しなかった場合にも、複数の表示オブジェクトが順次拡大表示されるようになり、これまでにないタイプのコンテンツ表示が可能になる。
【００４５】
また本発明の一態様では、前記音声認識部は、ユーザの発話音声からユーザの話者認識を行い、前記表示制御部は、話者認識されたユーザに対応するコンテンツを表示する制御を行ってもよい。
【００４６】
このようにすれば、ユーザの発話音声からそのユーザの話者認識を行い、そのユーザの趣味・嗜好等を反映させたコンテンツをユーザに表示できるようになる。
【００４７】
また本発明の一態様では、前記音声認識部は、ユーザの発話音声からユーザの感情状態を認識し、前記表示制御部は、認識された前記感情状態に対応するコンテンツを表示する制御を行ってもよい。
【００４８】
このようにすれば、音センサにより取得された音情報を有効活用して、ユーザの感情状態を反映させたコンテンツ表示が可能になる。
【００４９】
また本発明の一態様では、ユーザと前記表示部との位置関係を判断する位置関係判断部を含み、前記表示制御部は、ユーザと前記表示部との距離が所定距離以内である場合に、取得された前記音情報に応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行ってもよい。
【００５０】
このようにすれば、ユーザがデジタルフォトフレームに近づいて、ユーザの音声を検出できる状態になってから、音情報に基づく表示制御を実行できるようになる。
【００５１】
また本発明の一態様では、前記表示制御部は、取得された前記音情報に基づいて、前記表示部の表示をオンにする制御を行ってもよい。
【００５２】
このようにすれば、音センサにより取得された音情報を有効活用して、デジタルフォトフレームの表示部の表示オン制御を実現できるようになる。
【００５３】
また本発明の一態様では、前記表示制御部は、取得された前記音情報に基づいて、ユーザの操作指示を特定し、特定された操作指示に応じた表示制御を行ってもよい。
【００５４】
このようにすれば、音センサにより取得された音情報を有効活用して、デジタルフォトフレームの操作指示を実現できるようになる。
【００５５】
また本発明の他の態様は、コンテンツを選択するコンテンツ選択部と、選択されたコンテンツに基づいて、デジタルフォトフレームの表示部に表示される画像の表示指示を行う表示指示部とを含み、前記表示指示部は、周囲音を検知する音センサにより検知された音情報に応じて、前記表示部に表示される画像の表示態様を変化させる表示指示を行う情報処理システムに関係する。
【００５６】
本発明の他の態様によれば、音センサにより検知された音情報に応じて、表示部に表示される画像の表示態様が変化するように、デジタルフォトフレームの表示部の表示制御が指示される。従って、音センサにより取得された音情報を反映させた表示制御が可能になり、多様な画像表現を実現できる。
【００５７】
また本発明の他の態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【図面の簡単な説明】
【００５８】
【図１】図１（Ａ）、図１（Ｂ）はデジタルフォトフレームの例を示す図。
【図２】本実施形態のデジタルフォトフレームの構成例。
【図３】図３（Ａ）、図３（Ｂ）は発話検知による表示制御手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は発話検知結果及び視認状態の判断結果に基づく表示制御手法の説明図。
【図５】発話検知に基づく表示制御手法を説明するためのフローチャート。
【図６】注視状態の判断処理を説明するためのフローチャート。
【図７】図７（Ａ）、図７（Ｂ）は発話検知による表示制御手法の他の例の説明図及びフローチャート。
【図８】音声認識による表示制御手法の説明図。
【図９】音声認識による表示制御手法の説明図。
【図１０】音声認識による表示制御手法の説明図。
【図１１】音声認識による表示制御手法の説明図。
【図１２】音声認識による第１の表示制御手法を説明するためのフローチャート。
【図１３】音声認識による第２の表示制御手法を説明するためのフローチャート。
【図１４】発話キーワードの出現回数をカウントして表示コンテンツを選択する手法を説明するためのフローチャート。
【図１５】図１５（Ａ）、図１５（Ｂ）はコンテンツ画像が複数の表示オブジェクトにより構成される場合の表示制御手法の説明図。
【図１６】コンテンツ画像が複数の表示オブジェクトにより構成される場合の表示制御手法を説明するためのフローチャート。
【図１７】ユーザの登録情報を利用した表示制御手法の説明図。
【図１８】図１８（Ａ）、図１８（Ｂ）はユーザの登録情報を利用した表示制御手法の説明図。
【図１９】図１９（Ａ）、図１９（Ｂ）はユーザとの位置関係を利用した表示制御手法の説明図。
【図２０】図２０（Ａ）〜図２０（Ｃ）はユーザとの位置関係の検出手法の説明図。
【図２１】音情報に基づき表示をオンにしたり操作指示を特定する手法を説明するためのフローチャート。
【図２２】本実施形態のシステム構成の変形例。
【発明を実施するための形態】
【００５９】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００６０】
１．構成
図１（Ａ）に本実施形態のデジタルフォトフレーム３００（デジタルフォトプレーヤ、画像再生装置）の例を示す。図１（Ａ）は、いわゆるフォトスタンドタイプのデジタルフォトフレームの例である。このデジタルフォトフレーム３００は、家の中などの任意の場所にユーザにより設置される。そして、デジタルの画像データや音データなどのコンテンツ情報の再生処理（画像再生、音再生）を実行する。デジタルフォトフレーム３００は、例えばユーザの明示的な再生指示がなくても、画像等のコンテンツ情報（メディア情報）を自動的に再生することができる。例えば写真のスライドショーを自動的に実行したり、映像の自動再生を行う。
【００６１】
なお図１（Ａ）はフォトスタンドタイプのデジタルフォトフレームの例であるが、例えば図１（Ｂ）に示すように、壁掛けタイプのものであってもよい。この壁掛けタイプのデジタルフォトフレームとしては、例えば電気泳動型ディスプレイ等により実現される電子ペーパなどを用いることができる。また、デジタルフォトフレーム３００に、コンテンツ情報の再生指示ボタンなどを設けたり、リモコンを用いて再生指示ができるようにしてもよい。
【００６２】
デジタルフォトフレーム３００は、例えばＳＤカード等のメモリカードのインターフェースを備えることができる。或いは、無線ＬＡＮ、ブルートゥースなどの無線通信のインターフェースや、ＵＳＢ等の有線の通信インターフェースを備えることができる。例えばユーザが、メモリカードにコンテンツ情報を保存して、デジタルフォトフレーム３００のメモリカードインターフェースに装着すると、デジタルフォトフレーム３００は、メモリカードに保存されたコンテンツ情報の自動再生（スライドショー等）を実行する。或いは、デジタルフォトフレーム３００は、無線通信や有線通信によりに外部からコンテンツ情報を受信すると、このコンテンツ情報の再生処理（自動再生処理）を実行する。例えば、ユーザが所持するデジタルカメラや携帯電話機などの携帯型電子機器がブルートゥース等の無線機能を有する場合には、この無線機能を利用して、携帯型電子機器からデジタルフォトフレーム３００にコンテンツ情報を転送する。すると、デジタルフォトフレーム３００は、転送されたコンテンツ情報の再生処理を実行する。
【００６３】
図２に本実施形態のデジタルフォトフレーム（広義には画像表示装置）３００の構成例を示す。このデジタルフォトフレーム３００は、処理部３０２、記憶部３２０、通信部３３８、表示部３４０、センサ３５０、操作部３６０を含む。なおこれらの一部の構成要素（例えば通信部、操作部、センサ）を省略したり、他の構成要素（例えばスピーカ）を追加するなどの種々の変形実施が可能である。
【００６４】
処理部３０２は、各種の制御処理や演算処理を行う。例えばデジタルフォトフレーム３００の記憶部３２０や表示部３４０などの上述の各部の制御を行ったり全体的な制御を行う。この処理部３０２の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、当該処理部３０２に接続された情報記憶媒体３３０に記憶されたプログラムなどにより実現できる。
【００６５】
記憶部３２０は、処理部３０２、通信部３３８などのワーク領域となるものであり、その機能はＲＡＭなどのメモリやＨＤＤ（ハードディスクドライブ）などにより実現できる。この記憶部３２０は、画像や音などのコンテンツ情報を記憶するコンテンツ情報記憶部３２２、取得された音情報を記憶する音情報記憶部３２４、取得された検知情報を記憶する検知情報記憶部３２５、登録キーワード（一般登録キーワード、ユーザ登録キーワード）を記憶する登録キーワード記憶部３２６、特定されたユーザ状態を記憶するユーザ状態記憶部３２７、ユーザの登録情報や感性モデル情報等のユーザ情報を記憶するユーザ情報記憶部３２８を含む。
【００６６】
情報記憶媒体３３０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、メモリカードや光ディスクなどにより実現できる。処理部３０２は、情報記憶媒体３３０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体３３０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【００６７】
通信部３３８（通信インターフェース）は、無線や有線の通信などにより外部デバイス（例えばサーバ、携帯型電子機器）との間で情報のやり取りを行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００６８】
表示部３４０は、コンテンツ情報である画像を表示するためのものであり、例えば液晶ディスプレイや、有機ＥＬなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。なお表示部３４０をタッチパネルディスプレイ（タッチスクリーン）により構成してもよい。
【００６９】
センサ３５０（音センサ、ユーザ検知センサ等）は、検知結果に基づいて検知情報を出力するデバイスである。センサ３５０としては、例えば音センサを用いることができる。音センサは音を電気信号等に変換するセンサであり、音の物理量である音圧を測定するマイクロホンなどである。マイクロフォンとしては、ムービング・コイル型やリボン型のダイナミックマイクロフォンや、音声信号の振動による静電容量の変化を検知するコンデンサ型のマイクロフォンや、圧電効果を利用する圧電型のマイクロフォンや、カーボン型のマイクロフォンなどを用いることができる。
【００７０】
またセンサ３５０としてはユーザ検知センサを用いることができる。ユーザ検知センサとしては、焦電センサなどの人感センサや、ＣＣＤ、ＣＭＯＳセンサなどの撮像センサや、超音波センサなどの距離センサや、ユーザの動作状態（手や体の動き）を検知するモーションセンサなどを用いることができる。
【００７１】
焦電センサは、人等が発生する赤外線を受光し、赤外線を熱に変換し、その熱を素子の焦電効果で電荷に変えるセンサである。この焦電センサを用いることで、検知範囲（検知エリア）にユーザ（人）が存在するか否かや、検知範囲に存在するユーザの動きや、検知範囲内に存在するユーザの人数などを検知できる。撮像センサ（イメージセンサ）は、１次元又は２次元の光学情報を、時系列の電気信号に変換する光センサである。この撮像センサを用いることで、検知範囲にユーザが存在するか否かや、検知範囲に存在するユーザの動きや、検知範囲内に存在するユーザの人数などを検知できる。また撮像センサを用いた顔画像認識により、ユーザの人物認証を実現できる。また撮像センサを用いた顔検出により、ユーザと表示部３４０との距離や表示部３４０に対するユーザの視線の角度などの位置関係を検出できる。或いは、ユーザの視野範囲内に表示部３４０が入っている状態か否かや、ユーザが表示部３４０を注視している状態か否かなどのユーザの視認状態を検出できる。或いはユーザが接近中なのか否かなども検出できる。
【００７２】
なおセンサ３５０は、センサデバイス自体であってもよいし、センサデバイスの他に制御部や通信部等を含むセンサ機器であってもよい。また検知情報は、センサから直接得られる１次情報であってもよいし、１次情報を加工処理（情報処理）することで得られる２次情報であってもよい。
【００７３】
またセンサ３５０は、デジタルフォトフレーム３００に直接に取り付けてもよいし、ホームセンサなどをセンサ３５０として利用してもよい。センサ３５０をデジタルフォトフレーム３００に取り付ける場合には、図１（Ａ）に示すように、センサ３５０をデジタルフォトフレーム３００の例えば枠の部分に取り付けることができる。或いは有線のケーブル等を用いてセンサ３５０とデジタルフォトフレーム３００を接続する形態にしてもよい。
【００７４】
操作部３６０は、ユーザが各種情報を入力するためのものであり、例えば操作ボタンやリモコン装置などにより実現できる。ユーザは、この操作部３６０を用いて、ユーザ登録を行ったり、自身が所望する再生コンテンツ（お気に入り画像）の登録などを行うことができる。例えばユーザは、操作部３６０を用いて、ユーザ登録情報を入力することができる。なお表示部３４０がタッチパネルディスプレイにより構成される場合には、表示部３４０が操作部３６０の機能を兼ねることになる。
【００７５】
処理部３０２は、音情報取得部３０４、検知情報取得部３０５、発話検知部３０６、音声認識部３０７、ユーザ状態判断部３１０、登録処理部３１４、コンテンツ選択部３１６、表示制御部３１８を含む。なお、これらの一部の構成要素（例えば検知情報取得部、ユーザ状態判断部、登録処理部、コンテンツ選択部等）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００７６】
音情報取得部３０４は、センサ３５０の１つである音センサにより検知された音情報を取得する処理を行う。例えば音センサにより音声や音楽等の音（周囲音）が検知されて、検知結果である音情報が出力されると、音情報取得部３０４は、その音情報を取り込む。そして取り込まれた音情報は記憶部３２０の音情報記憶部３２４に記憶される。同様に、検知情報取得部３０５は、センサ３５０の１つであるユーザ検知センサによりユーザ状態等が検知されて、検知結果である検知情報（撮像情報等）が出力されると、その検知情報を取り込む。そして、取り込まれた検知情報は検知情報記憶部３２５に記憶される。
【００７７】
なおセンサ３５０として、ホームセンサ等の外部のセンサを用いる場合には、通信部３３８が音情報や検知情報を受信し、音情報取得部３０４、検知情報取得部３０５は、受信した音情報や検知情報を取得することになる。
【００７８】
発話検知部３０６は、センサ３５０である音センサにより取得された音情報に基づいて、ユーザの発話（会話）を検知する。例えば人間の音声に特有の周波数成分や振幅（パワー）を有する音を抽出して、ユーザの発話を雑音から区別して検知する。具体的には一定の振幅レベル以上の音に対して特定周波数帯域を通過させるフィルタ処理等を行ってユーザの発話を検知する。なお音情報による検知対象は、ユーザの発話に限定されず、物音・騒音・生活音等であってもよいし、ユーザが発する咳やくしゃみや拍手の音であってもよい。
【００７９】
音声認識部３０７は、音センサにより取得された音情報に基づいて、ユーザの発話の音声認識を行う。そして音声認識によりユーザの発話キーワード（単語）を抽出する。或いはユーザの発話音声からユーザの話者認識を行ったり、ユーザの感情状態を認識する。
【００８０】
ここで音声認識は、人間（出演者、ユーザ）の話す音声言語をコンピュータにより解析し、テキストデータとして抽出する処理である。音声認識は、音響分析、認識デコーダ、音響モデル、辞書、言語モデルにより実現される。音響分析では、人間の音声をフーリエ解析等の信号処理により特徴量情報に変換する。認識デコーダでは、特徴量情報に基づいてテキストデータを出力する。具体的には音響情報と言語情報を総合的に判断して音声をテキストデータに変換する。この認識デコーダでの判断処理は、隠れマルコフモデルや動的時間伸縮法などの統計的手法により実現される。辞書は、認識対象の単語（ワード）をデータ化したものであり、音素列と単語を関連づけるものである。言語モデルは、辞書の単語についての確率をデータ化したものである。具体的には各単語の出現確率や接続確率をデータ化する。このような音響分析、認識デコーダ、音響モデル、辞書、言語モデルを用いた音声認識により、音センサにより取得された音情報からユーザの発話キーワードを適正に抽出できるようになる。なお発話検知部３０６での発話の検知は、音声認識部３０７による音声認識を利用して実現することができる。即ち音声認識エンジンの機能を活用してユーザの発話を検知する。
【００８１】
ユーザ状態判断部３１０は、検知情報取得部３０５により取得された検知情報に基づいてユーザ状態を判断する。例えば、取得された検知情報に基づいて、表示部３４０に対するユーザの視認状態や、ユーザ（人物）と表示部３４０との位置関係等を判断する。そして、ユーザの視認状態や位置関係を表すユーザ状態の情報は、ユーザ状態記憶部３２７に記憶される。
【００８２】
ここで視認状態は、ユーザの視野範囲の状態や注視状態などであり、具体的には、ユーザの視野範囲（ビューボリューム）に表示部３４０が入っているか否かや、ユーザが表示部３４０を注視しているか否かなどである。このユーザの視認状態は視認状態判断部３１１が判断する。例えばユーザの視認状態として、ユーザが表示部３４０を注視している状態か否かを判断する。
【００８３】
また位置関係は、ユーザと表示部３４０との距離や、表示部３４０に対するユーザの視線方向などであり、ユーザと表示部３４０との位置関係は、位置関係判断部３１２が判断する。例えば、ユーザと表示部３４０との位置関係として、ユーザと表示部３４０との間の距離（距離情報、距離パラメータ）を判断する。
【００８４】
なおセンサ３５０として、ユーザを撮像する撮像センサが設けられたとする。この場合には、ユーザ状態判断部３１０（位置関係判断部）は、撮像センサからの撮像情報に基づいて、ユーザの顔領域（矩形の枠領域）を検出する。そして検出された顔領域のサイズに基づいて、ユーザと表示部３４０との間の距離を判断（推定）する。またユーザ状態判断部３１０は、検出された顔領域を内包し顔領域よりもサイズが大きな計測領域を設定する。即ち顔領域にオーバーラップする計測領域を設定する。そして計測領域内に顔領域が存在する時間を計測し、計測された時間に基づいて、ユーザが表示部３４０を注視しているか否かを判断する。例えば計測領域内への存在時間が所定時間以上であった場合に、ユーザが注視していたと判断する。
【００８５】
或いは、ユーザ状態判断部３１０は、ユーザに対する自動焦点合わせ処理（オートフォーカス機能）により、ユーザと表示部３４０との間の距離を判断してもよい。例えばアクティブ方式を採用した場合には、デジタルフォトフレーム３００等に赤外線や超音波を射出するデバイスを設けると共に、センサ３５０として赤外線や超音波の受光センサを設ける。そしてユーザからの反射光を受光センサにより検知することで、ユーザとの距離等を検出すればよい。またパッシブ方式を採用した場合には、センサ３５０として撮像センサを設け、撮像画像に対して、位相差検出方式やコントラスト検出方式による画像処理を行うことで、ユーザとの距離等を検出すればよい。
【００８６】
登録処理部３１４はユーザの登録処理を行う。例えばユーザ登録情報の設定処理を行う。具体的には、ユーザ登録画面等においてユーザが、操作部３６０等を用いてユーザ登録情報を入力した場合に、入力されたユーザ登録情報をユーザに関連づけてユーザ情報記憶部３２８に記憶する。ここでユーザ登録情報は、例えばユーザのＩＤ、パスワードや、表示部３４０に表示される画像のカスタマイズ情報などを含むことができる。そして表示部３４０にはユーザ登録情報を反映させた画像が表示されることになる。
【００８７】
なお、ユーザの登録処理の際に、ユーザの音声をユーザ登録情報として登録してもよい。例えばユーザの音声の特徴量情報をユーザ登録情報としてユーザ情報記憶部３２８に記憶して登録する。そして音声認識部３０７により話者認識を行う場合には、音センサにより取得された音情報と登録されたユーザの音声の特徴量情報とを比較して、発話しているユーザが登録ユーザであるか否かを判断する。また、センサ３５０として撮像センサを設け、この撮像センサによってユーザを撮像し、ユーザの顔画像の特徴量情報をユーザ登録情報として登録してもよい。この場合には、撮像センサにより取得された画像情報とユーザの顔画像の特徴量情報を比較して、撮像されたユーザが登録ユーザであるか否かを判断する人物認証を行う。
【００８８】
コンテンツ選択部３１６は、ユーザに提示するコンテンツの選択処理を行う。例えば、取得された音情報に基づく発話検知や音声認識の結果に基づいて、コンテンツ情報記憶部３２２から対応するコンテンツの情報を読み出して、ユーザに提示するコンテンツを選択する。或いは、通信部３３８を介して、ホームサーバ等の外部サーバからコンテンツの情報を受信することで、コンテンツを選択する。
【００８９】
表示制御部３１８は、表示部３４０の表示制御を行う。例えば、コンテンツ選択部３１６が、コンテンツ情報記憶部３２２からコンテンツ情報を読み出したり通信部３３８によりコンテンツ情報を受信することで、コンテンツを選択すると、表示制御部３１８は、選択されたコンテンツの画像を表示部３４０に表示するための制御を行う。
【００９０】
そして本実施形態では、音情報取得部３０４が、音センサにより検知された音情報を取得すると、表示制御部３１８は、取得された音情報に応じて、表示部３１８に表示される画像の表示態様を変化させる表示制御を行う。ここで表示態様を変化させるとは、画像の内容そのものを変化させたり、画像を表示するタイミングや表示時間や表示方法等を変化させることである。例えば表示制御部３１８により行われる表示態様を変化させる表示制御としては、表示画像（コンテンツ画像）自体を変化させる制御、表示タイミングや表示時間や切り替え速度を変化させる制御、表示方法（フェード、ワイプ、スクロール等のスライド表示方法）を変化させる制御、画像のコントラストや色調や画像エフェクト（例えばレトロ調）を変化させる制御、画像の拡大率や縮小率を変化させる制御、或いは、画面分割数を変化させる制御などを想定できる。或いは、発話（会話）のスピード、トーン、パワーなどに応じて、画像の表示態様を変化させたり、発話から話者認識を行い、話者認識されたユーザに応じた表示態様で画像を表示してもよい。或いは発話の音声認識により抽出されたキーワードに応じた表示制御を行ったり、発話音声から喜び・怒り・緊張・平常などの感情が認識された場合に、その感情に応じた表示制御を行ってもよい。或いは発話（会話）に応じて画面をズームしたり、コンテンツに関する話題が検出された場合に、スライドの切り替え時間を速くしたり、会話のスピードが速い場合に、表示切り替えをゆっくりにしたり、表示時間を長くしてもよい。
【００９１】
また表示制御部３１８は、発話検知部３０６が、音センサにより取得された音情報に基づいてユーザの発話を検知すると、ユーザの発話の検知結果（発話の検知の有無等）に基づいて、表示部３４０に表示される画像の表示態様を変化させてもよい。例えばユーザの発話が検知されると、発話検知時に表示されているコンテンツである表示コンテンツの詳細情報や関連情報を表示する。例えば表示コンテンツに設定されているテーマの詳細な情報やそのテーマに関連する情報を表示する。
【００９２】
また表示制御部３１８は、視認状態判断部３１１が、ユーザの視認状態を判断すると、ユーザの発話の検知結果及びユーザの視認状態の判断結果に基づいて、表示部３４０に表示される画像の表示態様を変化させてもよい。例えばユーザが発話しているか否か及びユーザが表示部３４０を注視しているか否かに応じて、表示画像の表示態様を変化させる。
【００９３】
また表示制御部３１８は、ユーザの発話の検知結果に基づいて、コンテンツの表示タイミングを制御してもよい。例えば発話検知部（音声認識部）３０６によりユーザの無発話状態が検知された場合に、コンテンツのスライド表示において次のコンテンツ（スライド）への切り替え処理を行う。具体的には、ユーザが発話をしていると判断される場合には、現在のコンテンツ（現在のスライド）の表示を続け、無発話期間が所定時間を超えると、次のコンテンツ（次のスライド）に切り替える。
【００９４】
また表示制御部３１８は、音声認識部３０７によりユーザの発話の音声認識が行われた場合に、音声認識結果に基づいて、表示部３４０に表示される画像の表示態様を変化させてもよい。例えば音声認識によりユーザの会話中から抽出可能なキーワードである発話キーワードが抽出されると、抽出された発話キーワードに基づき選択されたコンテンツを表示する。具体的には発話キーワードをテーマとするコンテンツや発話キーワードにより検索されたコンテンツを表示する。
【００９５】
或いは表示制御部３１８は、表示コンテンツに関連づけられて設けられたキーワードであるタグキーワードと発話キーワードとが一致した場合には、タグキーワードに対応するコンテンツを表示する。例えば発話キーワードをテーマとするコンテンツやタグキーワードにより検索されたコンテンツを表示する。一方、タグキーワードと発話キーワードが一致しなかった場合には、タグキーワードと発話キーワードとのＡＮＤ検索により選択されたコンテンツを表示する。例えばタグキーワードは、表示コンテンツに関連づけられてコンテンツ情報記憶部３２２に記憶される。そして、ユーザの発話から１又は複数の発話キーワードが抽出されると、抽出された発話キーワードの中に、タグキーワードに一致する発話キーワードがあるか否かを照合する。そしていずれかの発話キーワードがタグキーワードに一致すると、そのタグキーワードに関連づけられたコンテンツを表示する。一方、いずれの発話キーワードもタグキーワードに一致しない場合には、タグキーワードと発話キーワードのＡＮＤ検索によりコンテンツを選択して表示する。例えばタグキーワード及び発話キーワードの両方をテーマとするコンテンツを検索して表示する。なおユーザの発話から複数の異なる発話キーワードが抽出された場合に、複数の異なる発話キーワードのＡＮＤ検索により選択されたコンテンツを表示してもよい。例えばこれらの複数のキーワードの組み合わせをテーマとするコンテンツを検索して表示する。
【００９６】
また表示制御部３１８は、発話検知部３０６によりユーザの発話が検知された場合に、音声認識部３０７による音声認識の結果及び視認状態判断部３１１によるユーザの視認状態の判断結果に基づいて、表示部３４０に表示される画像の表示態様を変化させてもよい。例えばユーザの発話が検知され、且つユーザが表示部３４０を注視していると判断されると、発話検知時に表示されているコンテンツに関連づけられたタグキーワードにより選択されたコンテンツを表示する。具体的には、ユーザが注視しており、タグキーワードと発話キーワードとが一致した場合には、タグキーワードに対応するコンテンツ（タグキーワードにより検索されたコンテンツ、タグキーワードに関連するコンテンツ）を表示する。一方、ユーザの発話が検知されたが、ユーザが表示部３４０を注視していない場合には、発話キーワードに対応するコンテンツを表示する。例えば発話キーワードにより検索されたコンテンツや発話キーワードとタグキーワードによりＡＮＤ検索されたコンテンツを表示する。
【００９７】
またコンテンツ画像が複数の表示オブジェクトを含んだ画像により構成され、当該画像に含まれる各表示オブジェクトに各タグキーワードが関連づけられていたとする。そして表示オブジェクトに関連づけられたタグキーワードが、発話キーワードに一致すると、表示制御部３１８は、一致したタグキーワードが関連づけられた表示オブジェクトを拡大表示したり、当該表示オブジェクトの詳細情報又は関連情報を表示する。例えば第１〜第Ｎ（Ｎは２以上の整数）の表示オブジェクトに対して第１〜第Ｎのタグキーワードが関連づけられており、第Ｋ（１≦Ｋ≦Ｎ）のタグキーワードが発話キーワードに一致すると、第Ｋの表示オブジェクトを拡大したり、第Ｋの表示オブジェクトの詳細情報や関連情報を表示する。一方、第１〜第Ｎの表示オブジェクトのいずれのタグキーワードも発話キーワードに一致しなかった場合には、第１〜第Ｎの表示オブジェクトを順次（順番）に拡大表示する。
【００９８】
また表示制御部３１８は、抽出された発話キーワードの出現回数をカウントし、出現回数が所定回数を超えた発話キーワードに対応するコンテンツを表示してもよい。例えば音声認識により抽出された発話キーワードのヒストグラムを作成し、出現回数（出現頻度）が所定回数を超えた発話キーワードを検出する。そして検出された発話キーワードに対応するコンテンツ（発話キーワードにより検索されるコンテンツ）を選択して表示する。なお出現回数が所定回数を超える発話キーワードが複数存在する場合には、例えば出現回数が多い発話キーワードに対応するコンテンツを優先して表示してもよい。
【００９９】
また音声認識部３０７が、ユーザの発話音声からユーザの話者認識を行ったとする。具体的にはユーザ情報記憶部３２８に登録されているユーザの音声の特徴量情報と、取得された音声情報に基づいて話者認識（ユーザ認識）を行う。すると表示制御部３１８は、話者認識されたユーザに対応するコンテンツを表示する。例えば、ユーザの趣味・嗜好等がユーザ登録情報として登録されていた場合には、そのユーザ登録情報に応じたコンテンツを選択して表示する。或いは、音声認識部３０７が、ユーザの発話音声からユーザの感情状態を認識した場合には、表示制御部３１８は、認識された感情状態に対応するコンテンツを表示してもよい。例えばユーザが悲しんでいる状態である場合には、ユーザの気休めとなるコンテンツを表示し、ユーザがストレス状態である場合には、ユーザをリラックスさせるコンテンツを表示する。またユーザが盛り上がっている状態や笑い声が検知された場合には、更にユーザを盛り上げるコンテンツを表示する。
【０１００】
また位置関係判定部３１２が、ユーザと表示部３４０との位置関係を判断したとする。具体的には、ユーザと表示部３４０との間の距離を判断したとする。すると表示制御部３１８は、ユーザと表示部３４０との距離が所定距離以内である場合に、取得された音情報に応じて、表示画像の表示態様を変化させる。例えば所定距離よりも遠い場合には、音情報が検出されてもそれは雑音であるとして、音情報に基づく表示制御を実行せず、所定距離よりも近づいた場合に、上述したような音情報に基づく表示制御を実行する。なお、ユーザと表示部３４０との距離は、距離そのもののみならず、距離と等価なパラメータであってもよい。
【０１０１】
また表示制御部３１８は、取得された音情報に基づいて、表示部３４０の表示をオンにする制御を行ってもよい。例えば検知された音が一定レベル以上である場合に、表示部３４０の表示をオンして、コンテンツ画像を表示する。そして、例えば無音状態期間が所定時間以上経過すると、表示部３４０の表示をオフする。また取得された音情報に基づいて、ユーザの操作指示を特定し、特定された操作指示に応じた表示制御を行ってもよい。例えばコンテンツのスライド表示における「進む」「戻る」「停止」などのユーザの操作指示を、音情報に基づいて特定し、特定された操作指示にしたがってスライド表示を制御する。
【０１０２】
２．発話検知による表示制御
本実施形態ではユーザの発話の検知結果に基づいて種々の表示制御を行うことができる。例えば図３（Ａ）にユーザの発話の検知結果の例を模式的に示す。即ち、検知された音の周波数解析を行った結果、検知された音の周波数が所定周波数の帯域であり、その振幅が所定レベル以上である場合に、検知された音は、物音や騒音などの雑音ではなく、ユーザの発話音声であると判断する。そして図３（Ｂ）に示すように、発話検知時に表示されていたコンテンツの詳細情報や関連情報を表示する。即ち、表示コンテンツのテーマ（タグキーワード）についての詳細な情報や、そのテーマに関連づけられた情報を表示する。例えば表示コンテンツが北海道の写真である場合（コンテンツのテーマが北海道である場合）には、北海道についての詳細情報（北海道についての観光情報、名産物情報等の各種情報）や関連情報（北海道のテーマに予め関連づけられた情報）を表示する。
【０１０３】
またユーザの注視状態等の視認状態が判断された場合には、発話の検知結果に加えて、視認状態の判断結果を反映させて、表示制御を行ってもよい。例えば図４（Ａ）では、センサ３５０である音センサによりユーザの発話が検知されると共に、ユーザが表示部３４０を注視しているか否かが判断される。そして、例えば所定時間内にユーザの発話とユーザの注視が検知された場合に、その時に表示されているコンテンツの詳細情報や関連情報を表示する。このようにすれば、表示コンテンツに興味を持って発話したり、表示コンテンツを注視しているユーザに対して、その表示コンテンツについての詳細情報や関連情報を伝えることができ、これまでにないデジタルフォトフレームを実現できる。
【０１０４】
例えばユーザの注視状態の検知は、センサ３５０である撮像センサを用いて実現できる。即ち図４（Ｂ）に示すように、撮像センサからの撮像情報に基づいて、ユーザの顔領域ＦＡＲを検出する。次に検出された矩形の顔領域ＦＡＲに対応する計測領域ＳＡＲを設定する。この計測領域ＳＡＲは、顔領域ＦＡＲを内包し、顔領域ＦＡＲよりもサイズが大きな領域である。この計測領域ＳＡＲは、例えば顔領域ＦＡＲをオーバーサイジングすることで設定できる。そして、この計測領域ＳＡＲ内に顔領域ＦＡＲが存在する時間を計測し、計測された時間に基づいて、ユーザが表示部３４０を注視しているか否かを判断する。例えば顔領域ＦＡＲが計測領域ＳＡＲ内に一定時間以上位置していた場合には、ユーザが表示部３４０を注視していると判断する。
【０１０５】
次に発話検知による表示制御手法について図５のフローチャートを用いて説明する。まずコンテンツを表示する（ステップＳ１）。例えばランダムに又はユーザ情報（登録されたユーザの個人情報）に基づいてコンテンツを選択して表示する。そして音センサによりユーザの発話が検知されたか否かを判断し、発話が検知された場合にはユーザが表示部３４０（デジタルフォトフレーム、表示コンテンツ）を注視しているか否かを判断する（ステップＳ２、Ｓ３）。そして注視している場合には、現在表示されているコンテンツの詳細情報又は関連情報のコンテンツを選択して表示する（ステップＳ４）。
【０１０６】
次に注視状態の検出処理について図６のフローチャートを用いて説明する。まず、撮像センサ（カメラ）を用いた顔検出により、顔領域（枠領域）を検出する（ステップＳ２１）。次に、検出された顔領域を内包し、顔領域よりもサイズが大きな計測領域を設定する（ステップＳ２２）。即ち図４（Ｂ）に示すように、顔領域をオーバーサイジングした計測領域を設定する。そして計測領域内に顔領域が存在する時間をタイマを用いて計測する（ステップＳ２３）。即ち計測領域の設定後、タイマの計測を開始し、顔領域が計測領域内に位置する時間を計測する。そして所定時間以上、経過したか否かを判断し（ステップＳ２４）、経過した場合には注視状態であると判断する。
【０１０７】
なお注視状態の検出手法は図６の手法に限定されない。例えばユーザの赤目を検出することで注視状態を検出してもよい。或いは、２台のカメラ（ステレオカメラ）で撮影されたユーザの顔画像の目周辺の画像領域の明暗から、瞳孔の位置を検出し、検出された瞳孔の中心位置と眼球の中心位置から、ユーザの視線方向を検出し、ユーザが注視状態か否かを判断してもよい。
【０１０８】
また発話検知による表示制御手法も図５の手法に限定されない。例えばユーザの発話の検知結果に基づいて、コンテンツの表示タイミングを制御してもよい。具体的には、ユーザの無発話状態が検知された場合に、コンテンツのスライド表示において次のコンテンツへの切り替え処理を行う。
【０１０９】
例えば図７（Ａ）では、コンテンツＣＴ１（スライド１）が表示されているときに発話が検知されている。そして発話が検知されている期間においては次のコンテンツＣＴ２（スライド２）への切り替えは行わず、現在のコンテンツＣＴ１を表示する。具体的には無発話期間が所定時間を超えない場合には、コンテンツＣＴ１の表示を続ける。一方、無発話期間が所定時間を超えると、次のコンテンツＣＴ２に切り替える。そしてコンテンツＣＴ２の表示中においても、無発話期間がカウントされ、無発話期間が所定時間を超えない場合には、コンテンツＣＴ２の表示を続ける。一方、無発話期間が所定時間を超えると、次のコンテンツＣＴ３に切り替える。
【０１１０】
このようにすれば、表示コンテンツに対してユーザが興味を持っており発話している場合には、そのコンテンツの表示が維持され、ユーザの発話が途切れると、次のコンテンツに切り替わるようになる。これにより、これまでにはないデジタルフォトフレームのスライド表示制御を実現できる。
【０１１１】
図７（Ｂ）に、図７（Ａ）の表示制御手法のフローチャートを示す。まずスライド表示のコンテンツＣＴｉを表示する（ステップＳ３１）。そして音センサによりユーザの発話を検知し、ユーザの無発話期間（発話が検知されない期間）が所定時間を超えたか否かを判断する（ステップＳ３２、Ｓ３３）。そして所定時間を超えた場合には、ｉを１だけインクリメントして、次のコンテンツに切り替える（ステップＳ３４）。
【０１１２】
３．音声認識による表示制御
本実施形態ではユーザの発話の音声認識結果に基づいて種々の表示制御を行うことができる。例えば音声認識によりユーザの発話キーワードを抽出し、抽出された発話キーワードに基づき選択されたコンテンツを表示する。即ち図８では、ユーザの発話キーワードである「北海道」や「Ｅ動物園」が音声認識により抽出されている。この場合には、発話キーワードに基づき選択されたコンテンツとして、「北海道」にある「Ｅ動物園」の詳細情報や関連情報を表示する。
【０１１３】
具体的には、音センサにより周囲音を検知して音情報を取得する。次に、取得された音情報を音声認識によりテキスト情報に変換し、得られたテキスト情報の中から単語を抽出する。そして、抽出された単語と、登録キーワード記憶部３２６（キーワードデータベース）に記憶された登録キーワードとの照合処理を行い、抽出された単語が登録キーワードであるか否かを判定する。そして抽出された単語が登録キーワードである場合には、その単語を発話キーワードであると判定する。これにより、意味のない情報や不快な情報がユーザに提示されてしまう事態を防止できる。
【０１１４】
そして、得られた発話キーワードに基づいて、デジタルフォトフレームのコンテンツ情報記憶部３２２やサーバ（ホームサーバ、外部サーバ）から、発話キーワードに対応（関連）するコンテンツを検索する。そして、検索されたコンテンツの画像を表示する。
【０１１５】
このようにすれば、表示されているコンテンツに対して興味等を持ったユーザがそのコンテンツに関連等する発話キーワードを発話すると、その発話キーワードに対応するコンテンツが表示されるようになり、これまでにないタイプのデジタルフォトフレームを実現できる。
【０１１６】
ここで登録キーワードとしては、一般登録キーワードと個人登録キーワードがある。一般登録キーワードは、例えば物・動物・植物・人名・地名などの一般的に通じる名詞などである。この一般登録キーワードは、辞書登録情報として一般辞書データベースに登録される。なお、必要に応じてジャンルをユーザが個人で取捨選択できるようにしてもよい。一方、個人登録キーワードは、例えば家族・親戚・友人の名前や、ユーザの趣味・嗜好情報や、ユーザのお気に入りの場所・店や、個人所有の画像に付与されたタグなどである。この個人登録キーワードは、ユーザ登録情報としてユーザ辞書データベースに登録される。例えば「いいなー、北海道」という一般登録キーワードを含む発話が認識された場合には、北海道に関する情報や画像を表示する。一方、「Ａ叔母さんが今度来るって」という個人登録キーワードを含む発話が認識された場合には、Ａ叔母さんのタグが付いた個人撮影写真を表示する。
【０１１７】
また本実施形態では、表示コンテンツに関連づけられたタグキーワードと発話キーワードとが一致した場合に、タグキーワードに対応するコンテンツを表示してもよい。
【０１１８】
例えば図９では、表示コンテンツのタグキーワードとして「北海道」、「旬の食材」、「鮭」、「カニ」、「ウニ」が関連づけられている。そしてユーザの発話からは「カニ」という発話キーワードが音声認識により抽出されており、「カニ」という発話キーワードが表示コンテンツのタグキーワードに一致している。この場合には、ユーザが「カニ」の情報に対して興味を持っていると判断し、「カニ」に対応するコンテンツとして、「カニ」についての詳細情報や関連情報を表示する。このようにすれば、表示コンテンツの表示内容（テーマ）のうち、ユーザが興味を持った内容についての詳細情報や関連情報を表示できるようになり、ユーザにとって好適なインターフェース環境を実現できる。
【０１１９】
また本実施形態では、表示コンテンツに関連づけられたタグキーワードと発話キーワードが一致しなかった場合に、タグキーワードと発話キーワードとのＡＮＤ検索により選択されたコンテンツを表示してもよい。
【０１２０】
例えば図１０では、表示コンテンツのタグキーワードとして「カニ」が関連づけられている。そしてユーザの発話からは「料理」という発話キーワード（一般登録キーワード）が音声認識により抽出されており、タグキーワードである「カニ」と発話キーワードである「料理」は一致していない。この場合には、ユーザが「カニ」の「料理」に対して興味を持っていると類推し、「カニ」と「料理」のＡＮＤ検索により選択されたコンテンツを表示する。具体的には「カニ料理」についての詳細情報や関連情報を表示する。このようにすれば、表示コンテンツの内容とユーザの発話内容の両方を考慮したコンテンツを、次のコンテンツとして表示できるようになり、多様なコンテンツ表示が可能になる。
【０１２１】
また本実施形態では、ユーザの発話から複数の異なる発話キーワードが抽出された場合に、複数の異なる発話キーワードのＡＮＤ検索により選択されたコンテンツを表示してもよい。
【０１２２】
例えば図１１では、表示コンテンツを見たユーザの発話から「カニ」、「料理」という異なる複数の発話キーワードが抽出されている。この場合にも、ユーザが「カニ」の「料理」に対して興味を持っていると類推し、「カニ」と「料理」のＡＮＤ検索により選択されたコンテンツを表示する。具体的には「カニ料理」についての詳細情報や関連情報を表示する。このようにすれば、表示コンテンツを見たユーザの発話内容から適切なコンテンツを選択して、ユーザに表示できるようになる。
【０１２３】
図１２に音声認識による本実施形態の第１の表示制御手法のフローチャートを示す。まずランダムに又はユーザ情報（個人情報）に基づいてコンテンツを選択する（ステップＳ４１）。そして選択されたコンテンツを表示する（ステップＳ４２）。
【０１２４】
次に、音センサからの音情報に基づき、ユーザの発話が検知されたか否かを判断する（ステップＳ４３）。そして、発話が検知された場合には、音声認識により発話キーワードが抽出されたか否かを判断する（ステップＳ４４）。そしてユーザの発話が検知されない場合や発話キーワードが抽出されなかった場合にはステップＳ４１に戻る。
【０１２５】
ステップＳ４４で発話キーワードが抽出された場合には、表示コンテンツのタグキーワードに一致する発話キーワードが抽出されたか否かを判断する（ステップＳ４５）。そして、タグキーワードに一致する発話キーワードが抽出された場合には、タグキーワードに対応するコンテンツを選択する（ステップＳ４６）。即ち図９で説明したように、タグキーワードと発話キーワードが一致した場合には、そのタグキーワードの関連情報や詳細情報を表示する。一方、タグキーワードに一致する発話キーワードが抽出されなかった場合には、タグキーワードと発話キーワードのＡＮＤ検索を行い、ＡＮＤ検索により抽出されたコンテンツを選択する（ステップＳ４７、Ｓ４８）。即ち図１０で説明したように、タグキーワードと発話キーワードが一致しなかった場合には、タグキーワードと発話キーワードのＡＮＤ検索により選択されたコンテンツを表示する。
【０１２６】
このように図１２の第１の表示制御手法では、タグキーワードと同じ発話キーワードが検知されると、タグキーワードの詳細情報又は関連情報（以下、適宜、詳細・関連情報と記載）が表示され、タグキーワードとは異なる発話キーワードが検知されると、ＡＮＤ検索が行われてコンテンツが表示される。これにより多様なコンテンツ表示が可能になる。
【０１２７】
図１３に音声認識による本実施形態の第２の表示制御手法のフローチャートを示す。図１３の第２の表示制御手法では、ユーザの発話検知・音声認識の結果に加えて、ユーザの視認状態である注視状態の判断結果によりコンテンツの表示制御を行っている。
【０１２８】
まずランダムに又はユーザ情報に基づいてコンテンツを選択する（ステップＳ５１）。そして選択されたコンテンツを表示する（ステップＳ５２）。次に、ユーザの発話が検知されたか否かを判断し、検知されなかった場合にはユーザが表示部（表示コンテンツ）を注視しているか否かを判断する（ステップＳ５３、Ｓ５４）。そして、注視していた場合には、表示コンテンツのタグキーワードのいずれかに対応するコンテンツを選択する（ステップＳ５５）。例えば図９のように表示コンテンツに対して「北海道」、「旬の食材」、「鮭」、「カニ」、「ウニ」のタグキーワードが関連づけられていた場合には、これらのタグキーワードのいずれかについての詳細・関連情報を表示する。
【０１２９】
ステップＳ５３で発話が検知された場合には、音声認識により発話キーワードを抽出する（ステップＳ５６）。そして、ユーザが表示部を注視しているか否かを判断し、注視していない場合には、抽出された発話キーワードに対応するコンテンツを選択する（ステップＳ５７、Ｓ５８）。例えば、ユーザの発話キーワードが辞書データベースに登録されている登録キーワード（一般登録キーワード等）である場合に、その登録キーワードに関連したコンテンツを選択して表示する。
【０１３０】
ステップＳ５７でユーザが注視していると判断された場合には、表示コンテンツのタグキーワードに一致する発話キーワードが抽出されたか否かを判断する（ステップＳ５９）。そして、タグキーワードに一致する発話キーワードが抽出された場合には、他の登録キーワードが発話キーワードとして抽出されたか否かを判断する（ステップＳ６０）。そして他の登録キーワードが抽出された場合には、発話キーワードに一致したタグキーワードと、抽出された登録キーワードとのＡＮＤ検索によりコンテンツを選択する（ステップＳ６１）。一方、他の登録キーワードが抽出されなかった場合には、発話キーワードに一致したタグキーワードに対応するコンテンツを選択する（ステップＳ６２）。
【０１３１】
例えば発話キーワードとして「カニ」、「料理」が抽出され、表示コンテンツのタグキーワードが「カニ」であったとする。この場合には、発話キーワードの「カニ」とタグキーワードの「カニ」が一致しており、且つ、他の登録キーワードである「料理」が発話キーワードとして抽出されている。従って、この場合には「カニ」と「料理」のＡＮＤ検索によりコンテンツが選択される。一方、発話キーワードとして「カニ」だけが抽出され、他の登録キーワードが発話キーワードとして抽出されなかった場合には、タグキーワードである「カニ」の詳細・関連情報が選択されて表示される。
【０１３２】
ステップＳ５９でタグキーワードに一致する発話キーワードが抽出されなかった場合には、他の登録キーワードが発話キーワードとして抽出されたか否かを判断する（ステップＳ６３）。そして、他の登録キーワードが抽出された場合には、表示コンテンツのいずれかのタグキーワードと、抽出された登録キーワードのＡＮＤ検索によりコンテンツを選択し、抽出されなかった場合には、表示コンテンツのいずれかのタグキーワードに対応するコンテンツを選択する（ステップＳ６４、Ｓ６５）。
【０１３３】
例えば表示コンテンツのタグキーワードが「カニ」、「鮭」、「ウニ」であり、発話キーワードとして「料理」が抽出されたとする。この場合には、発話キーワードとタグキーワードは一致していないが、他の登録キーワードである「料理」が発話キーワードとして抽出されている。従って、「カニ」、「鮭」、「ウニ」のいずれかと「料理」のＡＮＤ検索によりコンテンツが選択される。例えば「カニ料理」、「鮭料理」、「ウニ料理」のコンテンツが選択される。一方、表示コンテンツのタグキーワードが「カニ」、「鮭」、「ウニ」であり、他の登録キーワードが発話キーワードとして抽出されなかったとする。この場合には、「カニ」、「鮭」、「ウニ」のいずれかに対応するコンテンツが選択されて表示される。
【０１３４】
以上のように図１３の第２の表示制御手法では、ユーザの発話が検知された場合に、音声認識の結果及びユーザの視認状態の判断結果に基づいて、表示画像の表示態様を変化させている。
【０１３５】
例えば、ユーザの発話は検知されたが（ステップＳ５３）、ユーザが注視していない場合には（ステップＳ５７）、発話キーワードに対応するコンテンツを表示する（ステップＳ５８）。即ち、ユーザの発話の音声認識を行い、表示されているコンテンツに関係なく、音声認識より抽出された発話キーワード（登録キーワード）によりコンテンツを選択する。
【０１３６】
一方、ユーザの発話が検知され（ステップＳ５３）、ユーザが注視している場合には（ステップＳ５７）、表示コンテンツのタグキーワードにより選択されたコンテンツを表示する。具体的には、ユーザが注視しており、タグキーワードと発話キーワードとが一致した場合には、一致したタグキーワードにより選択されたコンテンツを表示する。例えば、タグキーワードと発話キーワードが一致すると共に、他の登録キーワード（一般登録キーワード）が抽出された場合には、タグキーワードと登録キーワードとのＡＮＤ検索を行ってコンテンツを選択する（ステップＳ６１）。また、タグキーワードと発話キーワードが一致するが、他の登録キーワードが抽出されなかった場合には、タグキーワードに対応するコンテンツを選択する（ステップＳ６２）。
【０１３７】
また、タグキーワードと発話キーワードが一致しないが、他の登録キーワードが抽出された場合には、表示コンテンツのいずれかのタグキーワードと登録キーワードとのＡＮＤ検索によりコンテンツを選択する（ステップＳ６４）。また登録キーワードが抽出されなかった場合には、表示コンテンツのいずれかのタグキーワードの詳細・関連情報を選択する（ステップＳ６５）。
【０１３８】
以上のようにすれば、ユーザの注視とユーザの発話キーワードの両方を反映させたインテリジェントな表示制御を実現でき、デジタルフォトフレームによる多様なコンテンツ表示を実現できる。
【０１３９】
なお本実施形態では、抽出された発話キーワードの出現回数をカウントし、出現回数が所定回数を超えた発話キーワードに対応するコンテンツを表示するようにしてもよい。このような処理を行う場合のフローチャートを図１４に示す。
【０１４０】
まず、ユーザの発話が検知されたか否かを判断し、検知された場合には音声認識により発話キーワードを抽出する（ステップＳ９１、Ｓ９２）。そして、発話キーワードの出現回数をカウントする（ステップＳ９３）。例えば各発話キーワードの出現回数のヒストグラムを作成する。そして、発話キーワードの出現回数が所定回数を超えたか否かを判断し、超えた場合に、その発話キーワードに対応するコンテンツを表示コンテンツとして選択する（ステップＳ９４、Ｓ９５）。
【０１４１】
このようにすれば、ユーザの発話に反応してコンテンツ画像が頻繁に変化してしまうような事態を防止でき、ユーザにとって見やすいコンテンツ画像を表示できるようになる。
【０１４２】
なお、発話キーワードの出現回数や発話キーワード履歴を蓄積して記録し、よく使われる発話キーワードに対応するコンテンツの表示頻度を高くするように制御してもよい。
【０１４３】
或いは、多数の他のユーザの発話キーワード履歴を保有する外部のデータベースサーバにアクセスし、ユーザがよく使うキーワードと同じようなキーワードをよく使う他のユーザを特定し、特定された他のユーザの発話キーワード履歴に基づいて、コンテンツを選択してもよい。このような協調フィルタリング処理を行うことで、ユーザの嗜好に沿った発話キーワードによるコンテンツ選択を実現できるようになる。
【０１４４】
４．複数の表示オブジェクトの表示制御
本実施形態では、コンテンツ画像が複数の表示オブジェクトを含んだ画像により構成される場合に、各表示オブジェクトのタグキーワードと発話キーワードの一致を判断し、一致した場合に、その表示オブジェクトを拡大表示してもよい。
【０１４５】
例えば図１５（Ａ）では、コンテンツ画像として「カニ」、「鮭」、「ウニ」を表す複数の表示オブジェクトが表示されている。そして、これらの表示オブジェクトには「カニ」、「鮭」、「ウニ」のタグキーワードが設定されている。
【０１４６】
そしてユーザの発話キーワードとして「カニ」が検知されると、「カニ」の表示オブジェクトを中心とする拡大表示を行ったり、「カニ」についての詳細・関連情報を表示する。同様に、ユーザの発話キーワードとして「鮭」が検知されると、「鮭」の表示オブジェクトを拡大表示したり、「鮭」についての詳細・関連情報を表示し、発話キーワードとして「ウニ」が検知されると、「ウニ」の表示オブジェクトを拡大表示したり、「ウニ」についての詳細・関連情報を表示する。
【０１４７】
一方、「カニ」、「鮭」、「ウニ」のタグキーワードに一致する発話キーワードが抽出されなかった場合には、「カニ」、「鮭」、「ウニ」の表示オブジェクトを順次拡大表示する。例えば「カニ」、「鮭」、「ウニ」の順番で表示オブジェクトを拡大表示する。
【０１４８】
このようにすれば、ユーザが興味を持った表示オブジェクトを拡大表示したり、その詳細・関連情報を表示できるようになり、例えば生物などの図鑑のコンテンツ表現をデジタルフォトフレームにより実現できるようになる。
【０１４９】
なお、表示オブジェクトを拡大表示しているときに、ユーザの発話を検知した場合に、拡大表示されている表示オブジェクトの詳細・関連情報を表示するようにしてもよい。この場合に、例えば「そうそう、これ、これ」などのような、「こそあど」言葉にのみ反応して、拡大表示されている表示オブジェクトの詳細・関連情報を表示してもよい。
【０１５０】
また複数の表示オブジェクトにより構成されたコンテンツ画像の表示態様としては種々の態様を想定できる。例えば図１５（Ｂ）に示すように「天気情報」、「交通情報」、「株価情報」、「時間情報」などの複数の分割画面にコンテンツ画像が分割される場合には、これらの各分割画面が表示オブジェクトになる。そしてユーザの発話キーワードとして「天気」が検知されると、「天気情報」の分割画面である表示オブジェクトが拡大表示される。同様にユーザの発話キーワードとして「交通」、「株価」、「時間」が検知されると、各々、「交通情報」、「株価情報」、「時間情報」の分割画面である表示オブジェクトが拡大表示される。
【０１５１】
図１６に複数の表示オブジェクトの表示制御手法のフローチャートを示す。まず、ランダムに又はユーザ情報に基づいてコンテンツを選択し、選択されたコンテンツを表示する（ステップＳ７１、Ｓ７２）。
【０１５２】
次に、コンテンツの表示オブジェクトが複数か否かを判断し、表示オブジェクトが複数ではなく単数である場合には、ユーザの発話が検知されたか否かを判断する（ステップＳ７３、Ｓ７４）。そして、発話が検知された場合には、その表示オブジェクトの詳細・関連情報のコンテンツを選択する（ステップＳ７５）。一方、発話が検知されなかった場合には、ランダムに又はユーザ情報に基づいてコンテンツを選択する（ステップＳ７１）。
【０１５３】
表示オブジェクトが複数である場合には、ユーザの発話が検知されたか否かを判断し、発話が検知されなかった場合には、ユーザが注視しているか否かを判断する（ステップＳ７６、Ｓ７７）。そして、ユーザが注視している場合には、複数の表示オブジェクトを順次拡大表示する制御を行う（ステップＳ７８）。
【０１５４】
ステップＳ７６で、ユーザの発話が検知された場合には、音声認識により発話キーワードを抽出する（ステップＳ７９）。そして、ユーザが注視しているか否かを判断し、注視していない場合には、発話キーワードに対応するコンテンツを選択する（ステップＳ８０、Ｓ８１）。例えば、ユーザの発話キーワードが辞書データベースに登録されている登録キーワードである場合に、その登録キーワードに関連したコンテンツを選択して表示する。
【０１５５】
ステップＳ８０でユーザが注視していると判断された場合には、複数の表示オブジェクトの各表示オブジェクトに関連づけられたタグキーワードに一致する発話キーワードが抽出されたか否かを判断する（ステップＳ８２）。そして、抽出された場合には、一致したタグキーワードが関連づけられた表示オブジェクトの拡大表示や、その表示オブジェクトについての詳細・関連情報を選択する（ステップＳ８３）。一方、抽出されなかった場合には、複数の表示オブジェクトを順次拡大表示する制御を行う（ステップＳ７８）。
【０１５６】
以上のように図１６では、コンテンツ画像の複数の表示オブジェクトに関連づけられたタグキーワードが、発話キーワードに一致した場合には、一致したタグキーワードが関連づけられた表示オブジェクトを拡大表示したり、その詳細情報又は関連情報を表示する（ステップＳ８３）。一方、タグキーワードが発話キーワードに一致しなかった場合には、複数の表示オブジェクトを順次拡大表示する制御を行う（ステップＳ７８）。このようにすることで、ユーザの発話を反映させた多様なコンテンツ表示を実現でき、これまでにないデジタルフォトフレームの表示制御を実現できる。
【０１５７】
５．表示制御手法の変形例
次に本実施形態の表示制御手法の種々の変形例について説明する。例えば本実施形態では、ユーザの発話音声からユーザの話者認識を行い、話者認識されたユーザに対応するコンテンツを表示するようにしてもよい。
【０１５８】
例えば図１７では、ユーザ登録情報として、ユーザのＩＤ、パスワード、ユーザの趣味・嗜好等が入力される。具体的には、ユーザの趣味・嗜好がコンサート鑑賞であることが入力されている。そして入力されたユーザ登録情報は、ユーザ情報としてユーザ情報記憶部３２８に記憶される。なお趣味・嗜好等以外にも、ユーザのお気に入りの情報、画面モードの設定、スライド表示方法等を、ユーザ登録情報として入力できるようにしてもよい。
【０１５９】
このようなユーザ登録情報を入力した後に、ユーザの音声登録が行われる。具体的には、ユーザが、音センサであるマイクに向かって自分の名前を喋ることで、音声を入力して音声登録を行う。そして、入力されたユーザの音声の特徴量情報が抽出され、抽出された特徴量情報が、図１７で入力されたユーザ登録情報（趣味・嗜好情報等）と関連づけて登録される。このようにして、ユーザの登録処理が実現される。
【０１６０】
このようにデジタルフォトフレーム３００にユーザ登録情報が登録された状態で、音センサによりユーザの発話音声が検知されて、ユーザの話者認識が行われたとする。この場合には、発話認識結果とユーザ登録情報とに基づいて、デジタルフォトフレーム３００の表示コンテンツを選択する。具体的には図１７では、ユーザの趣味・嗜好がコンサート鑑賞であることがユーザ登録情報として入力されている。従って、音センサからの音情報に基づいて、そのユーザが話者認識されると、図１８（Ａ）に示すように、複数の候補コンテンツの中から、コンサート情報を紹介するコンテンツが選択されて表示される。また例えば図１７のユーザ登録画面において、ユーザの趣味・嗜好として料理が入力されたとする。この場合には、そのユーザが話者認識されると、図１８（Ｂ）に示すように、料理のレシピ情報を紹介するコンテンツが選択されて表示される。
【０１６１】
以上のようにすることで、ユーザの趣味・嗜好等を反映したコンテンツが自動的に選択されて、デジタルフォトフレームに表示されるようになるため、ユーザの利便性を向上できる。
【０１６２】
例えばこのようなコンサート情報をユーザが取得する手法として、ユーザが視聴しているアーティストのコンサート情報や料理のレシピ情報をＰＣ（パーソナルコンピュータ）等を利用して検索する手法が考えられる。しかしながら、この手法では、ユーザは種々の操作をしなければならず、ユーザにとって手間になる。
【０１６３】
この点、図１７〜図１８（Ｂ）に示す手法によれば、予めユーザ登録情報を入力しておくことで、ユーザが意識しなくても、音楽情報や番組情報に対応する候補コンテンツの中から、ユーザの趣味・嗜好に応じたコンテンツが自動的に選択されて、デジタルフォトフレーム３００に表示されるようになる。従って、ユーザの利便性を向上でき、ユーザの趣味・嗜好を反映させたコンテンツを表示できるデジタルフォトフレーム３００の提供が可能になる。
【０１６４】
なお本実施形態では、ユーザの発話音声からユーザの感情状態を認識し、認識された前記感情状態に対応するコンテンツを表示するようにしてもよい。例えば、ユーザの発話（会話）から笑い声が検知されて、ユーザの感情状態が喜んでいる状態であると判断された場合には、デジタルフォトフレーム３００の表示部３４０に対してエフェクトとして盛り上げる演出表示を行う。一方、ユーザの感情状態が緊張状態だと判断された場合には、ユーザをリラックスさせるようなコンテンツが選択されて表示される。
【０１６５】
ユーザの感情状態（感性の状態）を認識する手法としては種々の手法が考えられる。例えばユーザの感情状態を、平常状態、興奮状態、リラックス状態、喜び状態、悲しみ状態などの複数の状態に分類する。そして、ユーザの音声の認識結果に基づいて、ユーザの感情状態が、これらの各状態のいずれの状態にあるのかを判定する。また各状態における感情状態のレベルについても判定する。具体的には「大変喜んでいる状態」なのか、「少し喜んでいる状態」なのかを判断する。例えばユーザの発話音声の特徴量情報を音声のリズムやトーンなどを解析することで、感情状態を定量的に検出して、上述の各種判定を実現する。
【０１６６】
また本実施形態では、ユーザとの位置関係を判断し、ユーザと表示部３４０との距離が所定距離以内である場合、即ち近い場合に、取得された音情報に応じて、表示画像の表示態様を変化させてもよい。
【０１６７】
例えば図１９（Ａ）に示すように、ユーザとの距離が遠い場合、即ち所定距離以上である場合には、音情報に基づく表示制御を行わず、図１９（Ｂ）に示すように、ユーザとの距離が所定距離以内である近い場合に、音情報に基づく表示制御を行う。このようにすれば、ユーザがデジタルフォトフレーム３００に接近して、ユーザの音声を確実に検出できる状態になってから、音情報に基づく表示制御を実行できるようになる。これにより、雑音等により表示画像の表示態様が頻繁に変化してしまうなどの事態を防止でき、ユーザにとって見やすい高品質な画像を表示できる。
【０１６８】
ここでユーザとの位置関係の検出手法としては種々の手法が考えられる。例えば図２０（Ａ）では、センサ３５０として、ＣＣＤ、ＣＭＯＳセンサなどの撮像センサ（カメラ）を用いる。そして撮像センサからの撮像情報に基づいて、矩形の枠領域であるユーザの顔領域ＦＡＲを検出する。また顔領域ＦＡＲに映ったユーザの画像に対する画像認識処理を行い、ユーザの顔画像の特徴点データを抽出する。この特徴点データは、例えば顔画像の認識結果として、ユーザ登録情報と関連づけて登録される。
【０１６９】
ユーザと表示部３４０との間の位置関係を検出する場合には、撮像センサからの撮像情報に基づいて、顔領域ＦＡＲのサイズを求める。そして求められたサイズに基づいて、ユーザと表示部３４０との間の距離を判断する。
【０１７０】
例えば図２０（Ｂ）では、顔領域ＦＡＲのサイズが小さいため（所定サイズ以下であるため）、ユーザとの距離は遠いと判断される。この場合には、例えば図１９（Ａ）に示すように、音情報に基づく表示制御は行わないようにする。
【０１７１】
一方、図２０（Ｃ）では、顔領域ＦＡＲのサイズが大きいため（所定サイズよりも大きいため）、ユーザとの距離は近いと判断される。そして、このようにユーザとの距離が近くなって、ユーザがデジタルフォトフレーム３００に近づいたと判断された場合には、図１９（Ｂ）に示すように、音情報に基づく表示制御を行う。即ち音センサにより取得された音情報に基づいて表示画像の表示態様を変化させる。
【０１７２】
ここで顔領域の検出手法としては種々の手法が考えられる。例えば、顔検出を行うためには、撮像センサで撮影された撮像画像において、顔がある場所と他の物体とを区別して、顔領域を切り出す必要がある。顔は、目、鼻、口等から構成され、これらの形状・位置関係は個人差はあるものの、ほぼ共通した特徴を有する。そこで、この共通な特徴を用いて、顔を他の物体から識別して画面の中から切り出す。このための手がかりとしては、肌の色、顔の動き、形、大きさ等がある。肌の色を用いる場合には、ＲＧＢデータを色相・輝度・彩度からなるＨＳＶデータに変換し、人の肌の色相を抽出する手法を採用する。
【０１７３】
或いは、多数の人の顔パターンから生成した平均顔パターンを顔テンプレートとして作成してもよい。そして、この顔テンプレートを撮像画像の画面上で走査して、撮像画像との相関を求め、最も相関値が高い領域を顔領域として検出する。
【０１７４】
なお検出精度を高めるため、複数の顔テンプレートを辞書データとして用意し、これらの複数の顔テンプレートを用いて顔領域を検出してもよい。或いは目、鼻、口の特徴や、これらの位置関係や、顔の中のコントラストなどの情報も考慮して、顔領域を検出してもよい。或いは、ニューラルネットワークモデルを用いた統計的なパターン認識により顔領域を検出することも可能である。
【０１７５】
図２０（Ａ）〜図２０（Ｃ）の検出手法によれば、顔領域ＦＡＲのサイズによりユーザと表示部３４０の距離を検出できるのみならず、ユーザが表示部３４０を見ているか否かも同時に検出できるという利点がある。即ち、ユーザの視線が表示部３４０の方に向いていなかった場合には、顔テンプレートとの相関値が低くなるため、顔領域ＦＡＲは非検出になる。従って、顔領域ＦＡＲが検出されたということは、ユーザの視線が表示部３４０の方に向いており、ユーザの視野範囲内に表示部３４０が入っていることと等価になる。そして、この状態で、顔領域ＦＡＲのサイズを検出して、音情報に基づき表示制御を行い、コンテンツを表示すれば、表示部３４０を見ているユーザに対して適切にコンテンツ画像を表示できるようになる。これにより、これまでにないタイプのデジタルフォトフレーム３００を提供できる。
【０１７６】
また本実施形態では、取得された音情報に基づいて、デジタルフォトフレーム３００の表示部３４０の表示をオンにしたり、ユーザの操作指示を特定して表示制御を行うようにしてもよい。例えば会話や音楽やテレビの音などの生活音が検知されると、表示をオンにする。また操作指示に関連する発話キーワードが検知された場合に、その発話キーワードに応じた表示制御を行う。例えばスライド表示中に、「進む」の発話キーワードが検知されると、次のコンテンツを表示し、「戻る」の発話キーワードが検知されると、前のコンテンツに戻って表示する。
【０１７７】
図２１に、このような表示制御を行う場合のフローチャートを示す。まず音センサにより音情報が検知されたか否かを判断し、検知された場合にはデジタルフォトフレーム３００の表示部３４０の表示をオンにする（ステップＳ１０１、Ｓ１０２）。そして、音情報により操作指示が特定されたか否かを判断する（ステップＳ１０３）。具体的にはユーザの発話の音声認識を行い、抽出された発話キーワードの中に、操作指示に対応するキーワードに一致する発話キーワードがあるか否かを判断する。そして、ユーザによる操作指示が特定された場合には、特定された操作指示にしたがった表示制御を行う（ステップＳ１０４）。
【０１７８】
６．システム構成の変形例
図２２の本実施形態のシステム構成の変形例について示す。この変形例のシステムでは、サーバ２００（広義には情報処理システム、狭義にはホームサーバ）が設けられている。このサーバ２００は、処理部２０２、記憶部２２０、通信部２３８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。なお、図２と同様の構成要素については、同様の符号を付してその説明を省略する。
【０１７９】
処理部２０２は、サーバ管理処理などの各種の処理を行うものであり、ＣＰＵ等のプロセッサやＡＳＩＣなどにより実現できる。記憶部２２０は、処理部２０２や通信部２３８のワーク領域となるものであり、例えばＲＡＭやＨＤＤ等により実現できる。通信部２３８は、デジタルフォトフレーム３００や、外部サーバ６００との間で、有線又は無線で通信を行うためのものであり、通信用ＡＳＩＣ又は通信用プロセッサなどにより実現できる。例えばデジタルフォトフレーム３００とサーバ２００は、例えば無線ＬＡＮ等のネットワークで通信接続される。
【０１８０】
処理部２０２は、登録処理部２１４、コンテンツ選択部２１６、表示指示部２１８を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【０１８１】
登録処理部２１４は、図１７で説明したユーザの登録処理を行う。そして、ユーザの登録情報は、記憶部２２０のユーザ情報記憶部２２８に記憶されて登録される。
【０１８２】
コンテンツ選択部２１６は、ユーザに提示するコンテンツの選択処理を行う。例えば記憶部２２０のコンテンツ情報記憶部２２２からコンテンツ情報を読み出したり、外部サーバ６００にアクセスしてコンテンツ情報を受信することで、ユーザに提示するコンテンツを選択する。
【０１８３】
表示指示部２１８は、コンテンツ選択部２１６により選択されたコンテンツに基づいて、デジタルフォトフレーム３００の表示部３４０に表示される画像の表示指示を行う。具体的にはコンテンツ選択部２１６により選択されたコンテンツの画像を表示部３４０に表示するための指示を行う。例えば周囲音を検知する音センサにより検知された音情報に応じて、表示部３４０に表示される画像の表示態様を変化させる表示指示を行う。そしてデジタルフォトフレーム３００の表示制御部３１８は、サーバ２００の表示指示部２１８からの指示にしたがって、表示部３４０の表示制御を行う。これにより、取得された音情報に応じて表示部３４０に表示される画像の表示態様が変化するようになる。
【０１８４】
図２２の変形例によれば、コンテンツの選択処理やユーザの登録処理等をサーバ２００が行うため、デジタルフォトフレーム３００の処理負荷を軽減できる。従って、デジタルフォトフレーム３００の処理部３０２（ＣＰＵ）の処理能力が低い場合も、本実施形態の処理を実現できるようになる。なお、これらの処理を、ホームサーバ２００とデジタルフォトフレーム３００の分散処理により実現してもよい。
【０１８５】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またデジタルフォトフレーム、情報処理システムの構成、動作や、表示制御手法、音声認識手法、視認状態判定手法等も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１８６】
２００  サーバ、２０２  処理部、２１４  登録処理部、２１６  コンテンツ選択部、
２１８  表示指示部、２２０  記憶部、２２２  コンテンツ情報記憶部、
２２８  ユーザ情報記憶部、２３８  通信部、
３００  デジタルフォトフレーム、３０２  処理部、３０４  音情報取得部、
３０５  検知情報取得部、３０６  発話検知部、３０７  音声認識部、
３１０  ユーザ状態判断部、３１１  視認状態判断部、３１２  位置関係判断部、
３１４  登録処理部、３１６  コンテンツ選択部、３１８  表示制御部、
３２０  記憶部、３２２  コンテンツ情報記憶部、３２４  音情報記憶部、
３２５  検知情報記憶部、３２６  登録キーワード記憶部、３２７  ユーザ状態記憶部、３２８  ユーザ情報記憶部、３３０  情報記憶媒体、３３８  通信部、３４０  表示部、
３５０  センサ、３６０  操作部、６００  外部サーバ
【図１】
2010181461.tif 000003
【図２】
2010181461.tif 000004
【図３】
2010181461.tif 000005
【図４】
2010181461.tif 000006
【図５】
2010181461.tif 000007
【図６】
2010181461.tif 000008
【図７】
2010181461.tif 000009
【図８】
2010181461.tif 000010
【図９】
2010181461.tif 000011
【図１０】
2010181461.tif 000012
【図１１】
2010181461.tif 000013
【図１２】
2010181461.tif 000014
【図１３】
2010181461.tif 000015
【図１４】
2010181461.tif 000016
【図１５】
2010181461.tif 000017
【図１６】
2010181461.tif 000018
【図１７】
2010181461.tif 000019
【図１８】
2010181461.tif 000020
【図１９】
2010181461.tif 000021
【図２０】
2010181461.tif 000022
【図２１】
2010181461.tif 000023
【図２２】
2010181461.tif 000024