(57)【要約】【課題】  未整理の写真画像を容易に整理可能とする。【解決手段】  写真画像ＤＢ１３に保存されている写真画像は、表示装置４に順番に表示する際に、マイク６から該写真画像を検索する際のキーワードを音声で入力する。音声認識部１６は、入力される音声を音声認識して単語を抽出し、対応する写真画像のＩＤに関連付けてインデックスＤＢ１８に記録する。このようにして、写真画像毎に、キーワードを対応付ける。そして、写真画像を検索する際には、検索部１９は、入力装置１０またはマイク６から入力される検索語をキーワードとしてインデックスＤＢ１８から写真画像のＩＤを取得し、該ＩＤに対応する写真画像のフィル名を写真画像ＤＢ１３から読み出して表示装置４に表示する。【選択図】    図２
2006301757.tif 000002
【特許請求の範囲】
【請求項１】
データを記憶するデータ記憶手段と、
前記データ記憶手段に記憶されているデータを順次表示する表示手段と、
前記表示手段にデータが表示される度に、音声を入力する音声入力手段と、
前記音声入力手段から入力された音声を音声認識する音声認識手段と、
前記音声認識手段により音声認識された単語を、前記表示手段に表示されているデータに関連付けて記憶するキーワード記憶手段と、
検索語を入力する検索語入力手段と、
前記キーワード記憶手段と前記データ記憶手段とを検索して、前記検索語入力手段から入力される検索語に合致する単語に関連付けられているデータを特定する検索手段と、
前記検索手段により特定されたデータを前記表示手段に提示する提示手段と
を具備することを特徴とするデータ閲覧装置。
【請求項２】
前記データ記憶手段に記憶されているデータの閲覧履歴を記憶する閲覧履歴記憶手段と、
前記閲覧履歴記憶手段に記憶されている閲覧履歴に基づいて、前記検索手段により特定されたデータ毎の重要度を算出する重要度算出手段とを具備し、
前記提示手段は、前記重要度算出手段により算出された重要度に基づいて、前記検索手段により特定されたデータを前記表示手段に提示することを特徴とする請求項１記載のデータ閲覧装置。
【請求項３】
前記データ記憶手段に記憶されているデータの印刷履歴を記憶する印刷履歴記憶手段と、
前記印刷履歴記憶手段に記憶されている印刷履歴に基づいて、前記検索手段により特定されたデータの重要度を算出する重要度算出手段とを具備し、
前記提示手段は、前記重要度算出手段により算出された重要度に基づいて、前記検索手段により特定されたデータを前記表示手段に提示することを特徴とする請求項１記載のデータ閲覧装置。
【請求項４】
記憶装置に記憶されているデータを表示装置に順次表示する度に、マイクから入力される音声を音声認識し、該音声認識された単語を前記表示装置に表示されているデータに関連付けて記憶しておき、前記記憶装置に記憶されているデータを検索する際には、入力される検索語に合致する単語に関連付けられているデータを検索し、検索されたデータを前記表示装置に提示することを特徴とするデータ検索方法。
【請求項５】
記憶されているデータを閲覧する際に、
記憶されているデータを表示装置に順次表示するステップと、
データを順次表示する度にマイクから入力される音声を音声認識するステップと、
該音声認識された単語を前記表示装置に表示されているデータに関連付けて記憶するステップとをコンピュータに実行させ、
記憶されているデータを検索する際には、
検索語を入力するステップと、
入力される検索語に合致する単語に関連付けられているデータを検索するステップと、
検索されたデータを前記表示装置に提示するステップと
をコンピュータに実行させることを特徴とするデータ検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ閲覧装置、データ検索方法およびデータ検索プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラが一般家庭に急速に普及している。デジタルカメラでは、従来の銀塩フィルムの写真に比べ、手軽に撮影し、消去することができる。また、１枚のメモリカードに１００枚以上の写真を保存することもできることもあり、より大量の写真が撮影される傾向にある。上記デジタルカメラでは、１度に１００枚以上の写真が撮影できるため、頻繁にデジタルカメラを使う場合、１年間の写真の枚数は数千枚に達する。
【０００３】
このようなデジタルカメラで大量に撮影された写真を保存するには、パーソナルコンピュータのＨＤＤ（ハードディスク）や、大容量ＨＤＤなどを備えたフォトストレージなどが利用される。該フォトストレージには、高精細の液晶ディスプレイが備えられ、その場で高品質の写真画像を閲覧できる製品もある。このような製品に備えられたスライドショー機能を利用して、家族や友人などと談笑しながら写真の閲覧を楽しむといった使い方もされている。また、直接、プリンタに接続して所望の写真を印刷する機能も備えられている。
【０００４】
こうした状況において、後から目的の写真を見つけやすくするためには、アルバムソフトウェアを利用したり、保存するフォルダを適切に管理し、予め整理しておく必要がある。しかしながら、デジタルカメラやフォトストレージにおいて、こうした整理を常に行うには、利用者にとって手間のかかることである。
【０００５】
そこで、大量の写真画像を少ない手間で、簡単に見つけられる技術として、大量の写真画像の中から、キーワード検索によって所望の写真画像を見つけるための方法がいくつか提案されている。例えば、撮影装置にキーワードボタンを設けることによって特定のキーワードを写真画像に追加できるようにする技術が提案されている（例えば特許文献１参照）。また、複数の画像をグループ化して、一括してコメントを付与することによって、画像に対してキーワードを追加する利用者の作業を軽減する技術が提案されている（例えば特許文献２参照）。
【特許文献１】特開２００２−３４４７２１号公報
【特許文献２】特開２０００−１０１８９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術では、いずれの場合でも、利用者が撮影時または写真画像の整理時にコメントを追加（入力）しなければならず、結局、写真画像の整理という点では利用者に大きな負担をかけるという問題が生じる。
【０００７】
本発明は、このような事情を考慮してなされたものであり、その目的は、利用者に煩わしい操作を行わせることなく、未整理の写真画像の中から容易に所望する写真画像を検索することができるデータ閲覧装置、データ検索方法およびデータ検索プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明は、データを記憶するデータ記憶手段と、前記データ記憶手段に記憶されているデータを順次表示する表示手段と、前記表示手段にデータが表示される度に、音声を入力する音声入力手段と、前記音声入力手段から入力された音声を音声認識する音声認識手段と、前記音声認識手段により音声認識された単語を、前記表示手段に表示されているデータに関連付けて記憶するキーワード記憶手段と、検索語を入力する検索語入力手段と、前記キーワード記憶手段と前記データ記憶手段とを検索して、前記検索語入力手段から入力される検索語に合致する単語に関連付けられているデータを特定する検索手段と、前記検索手段により特定されたデータを前記表示手段に提示する提示手段とを具備することを特徴とする。
この発明によれば、データ記憶手段に記憶されているデータを表示手段に順次表示する際に、前記表示手段にデータが表示される度に、音声入力手段から入力される音声を、音声認識手段により音声認識し、該音声認識された単語を、前記表示手段に表示されているデータに関連付けてキーワード記憶手段に記憶しておき、データを検索する際には、検索手段により、前記キーワード記憶手段と前記データ記憶手段とを検索して、検索語入力手段から入力される検索語に合致する単語に関連付けられているデータを特定し、提示手段により特定されたデータを前記表示手段に提示する。したがって、特に写真画像などのデータに対するキーワード追加作業を行わせることなく、閲覧時に入力した音声により、所望の写真画像を容易に検索することができるという利点が得られる。
【０００９】
本発明は、上記の発明において、前記データ記憶手段に記憶されているデータの閲覧履歴を記憶する閲覧履歴記憶手段と、前記閲覧履歴記憶手段に記憶されている閲覧履歴に基づいて、前記検索手段により特定されたデータ毎の重要度を算出する重要度算出手段とを具備し、前記提示手段は、前記重要度算出手段により算出された重要度に基づいて、前記検索手段により特定されたデータを前記表示手段に提示することを特徴とする。
この発明によれば、データの閲覧履歴を閲覧履歴記憶手段に記憶するようにし、重要度算出手段により、閲覧履歴に基づいて前記検索手段により特定されたデータ毎の重要度を算出し、前記提示手段により、該重要度に基づいてデータを提示する。したがって、より多く閲覧された写真画像、すなわち利用者がより興味を持っている写真画像を優先して提示することができるという利点が得られる。
【００１０】
本発明は、上記の発明において、前記データ記憶手段に記憶されているデータの印刷履歴を記憶する印刷履歴記憶手段と、前記印刷履歴記憶手段に記憶されている印刷履歴に基づいて、前記検索手段により特定されたデータの重要度を算出する重要度算出手段とを具備し、前記提示手段は、前記重要度算出手段により算出された重要度に基づいて、前記検索手段により特定されたデータを前記表示手段に提示することを特徴とする。
この発明によれば、データの印刷履歴を印刷履歴記憶手段に記憶するようにし、重要度算出手段により、印刷履歴に基づいて前記検索手段により特定されたデータ毎の重要度を算出し、前記提示手段により、該重要度に基づいてデータを提示する。したがって、より多く印刷された写真画像、すなわち利用者がより興味を持っている写真画像を優先して提示することができるという利点が得られる。
【００１１】
また、上述した課題を解決するために、本発明は、記憶装置に記憶されているデータを表示装置に順次表示する度に、マイクから入力される音声を音声認識し、該音声認識された単語を前記表示装置に表示されているデータに関連付けて記憶しておき、前記記憶装置に記憶されているデータを検索する際には、入力される検索語に合致する単語に関連付けられているデータを検索し、検索されたデータを前記表示装置に提示することを特徴とする。
この発明によれば、データの閲覧時にデータ毎に入力される音声から音声認識された単語を、表示されているデータに関連付けて記憶しておき、データを検索する際には、入力される検索語に合致する単語に関連付けられているデータを検索し、検索されたデータを提示する。したがって、特に写真画像などのデータに対するキーワード追加作業を行わせることなく、閲覧時に入力した音声により、所望の写真画像を容易に検索することができるという利点が得られる。
【００１２】
また、上述した課題を解決するために、本発明は、記憶されているデータを閲覧する際に、記憶されているデータを表示装置に順次表示するステップと、データを順次表示する度にマイクから入力される音声を音声認識するステップと、該音声認識された単語を前記表示装置に表示されているデータに関連付けて記憶するステップとをコンピュータに実行させ、記憶されているデータを検索する際には、検索語を入力するステップと、入力される検索語に合致する単語に関連付けられているデータを検索するステップと、検索されたデータを前記表示装置に提示するステップとをコンピュータに実行させることを特徴とする。
この発明によれば、記憶されているデータを閲覧する際に、データ毎に入力される音声から音声認識された単語を、表示されているデータに関連付けて記憶しておき、記憶されているデータを検索する際には、入力される検索語に合致する単語に関連付けられているデータを検索し、検索されたデータを提示する。したがって、特に写真画像などのデータに対するキーワード追加作業を行わせることなく、閲覧時に入力した音声により、所望の写真画像を容易に検索することができるという利点が得られる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態による電子機器を、図面を参照して説明する。
図１は、本発明の実施形態によるフォトストレージの外観を示す外観図である。フォトストレージ１には、カードスロット２、Ｉ／Ｆ端子３、表示装置４、操作ボタン５およびマイク６が設けられている。カードスロット２またはＩ／Ｆ端子（ＵＳＢなど）３は、デジタルカメラに接続され、該デジタルカメラで撮影された写真画像を取り込み、内蔵されたハードディスク（後述）に蓄積する。本体には、液晶ディスプレイなどからなる表示装置４が備えられ、内部に備えられたハードディスクに蓄積された写真画像を閲覧できるようになっている。また、操作ボタン５は、利用者による操作により、閲覧する写真画像の検索指示や、閲覧指示、各種設定などを行う。マイク６は、写真閲覧中に利用者の音声を録音し、そこで使われた単語を写真検索用に記録する。
【００１４】
次に、図２は、本実施形態によるフォトストレージの構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図において、表示装置４は、本体に備えられているが、ビデオ出力端子などを介してデータを外部出力して、外部ディスプレイで表示するようにしてもよい。入力装置１０は、上述した操作ボタン５に加え、タッチパネルなどを含んでもよい。Ｉ／Ｆ部１１は、上記カードスロット２およびＩ／Ｆ端子３を含み、デジタルカメラ３０やプリンタ４０などが接続される。
【００１５】
制御部１２は、所定のプログラムに従って全体の動作を制御する。写真画像ＤＢ（データベース）１３は、Ｉ／Ｆ部１１を介してデジタルカメラ３０から取り込まれた写真画像を蓄積する。写真画像ＤＢ１３は、図３に示すように、写真画像のＩＤ毎に、撮影日時、ファイル名（格納場所）等を保存する。印刷指示部１４は、該写真画像ＤＢ１３に保存されている写真画像を、Ｉ／Ｆ部１１を介して接続されているプリンタ４０で印刷する。印刷した写真画像の印刷履歴は、写真画像毎の印刷回数として、インデックス作成部１７を通してインデックスＤＢ１８の印刷回数テーブル（後述）に記録される。
【００１６】
スライドショー実行部１５は、写真画像ＤＢ１３に保存されている写真画像を表示装置４でスライドショー表示する。音声認識部１６は、上記スライドショー実行中に、マイク６から入力される利用者の音声を認識し、該音声から単語を抽出する。該単語は、インデックス作成部１７を通して、そのときにスライドショー表示されている写真画像と関連付けられて、インデックスＤＢ１８のキーワードテーブル（後述）に記録される。
【００１７】
インデックス作成部１７は、印刷指示部１４による写真画像の印刷履歴を、写真画像毎の印刷回数として、インデックスＤＢ１８の印刷回数テーブル（後述）に記録する。インデックス作成部１７は、スライドショー実行に、各写真画像の表示累計時間を示す閲覧時間を、写真画像と関連付けてインデックスＤＢ１８の閲覧時間テーブルに記録する。また、インデックス作成部１７は、スライドショー実行中に、音声認識部１６からの単語を、そのときにスライドショー表示されている写真画像と関連付けて、インデックスＤＢ１８のキーワードテーブル（後述）に記録する。検索部１９は、入力装置１０またはマイク６から入力される検索語（マイクの場合、音声による検索語）に従って、インデックスＤＢ１８を検索し、該当する写真画像を写真画像ＤＢ１３から抽出する。
【００１８】
インデックスＤＢ１８は、図４に示す印刷回数テーブル１８−１、図５に示す閲覧時間テーブル１８−２、図６に示すキーワードテーブル１８−３を備える。印刷回数テーブル１８−１は、図４に示すように、写真画像のＩＤ毎に、印刷した回数を対応付けて記憶する。閲覧時間テーブル１８−２は、図５に示すように、写真画像のＩＤ毎に、スライドショー表示における閲覧時間（表示累計時間）を対応付けて記憶する。キーワードテーブル１８−３は、図６に示すように、写真画像ＩＤ毎にキーワード（スライドショー表示中に音声認識により取得した単語）を対応付けて記憶する。
【００１９】
次に、上述した本実施形態の動作について説明する。ここで、図７は、本実施形態のフォトストレージによる写真画像の閲覧時の動作を説明するためのフローチャートである。写真画像閲覧時においては、まず、次に表示すべき写真画像があるか否かを判断し（Ｓ１０）、次の写真画像がある場合には、その写真画像を表示装置４で表示し（Ｓ１２）、該写真画像の表示中には、周囲の音声をマイク６で録音する（Ｓ１４）。次に、マイク６から入力される音声を音声認識し（Ｓ１６）、音声に含まれる単語を取得し（Ｓ１８）、キーワードテーブル１８−３に記録する（Ｓ２０）。
【００２０】
次に、次の写真表示の指示があったか否かを判断し（Ｓ２２）、指示がなければ、ステップＳ１４へ戻り、上述した処理を繰り返す。すなわち、利用者は、写真画像が表示されると、その写真画像に対してインデックスとなるような単語をマイク３に向かって発声し、その後、操作ボタン５を操作することで、次の写真表示の指示を出す。これにより、表示されている写真画像毎にインデックスとなるような単語が記憶されることになる。
【００２１】
一方、次の写真表示の指示があった場合には、当該写真画像に対応付けて、閲覧時間を閲覧時間テーブル１８−２に記録し（Ｓ２４）、前述したステップＳ１０へ戻り、上述した処理を繰り返す。そして、表示すべき写真画像がなくなると（ステップＳ１０のＮＯ）、当該処理を終了する。
【００２２】
上述した閲覧時の動作では、次の写真表示を利用者の指示で行っているが、スライドショー表示のように一定時間毎に次の写真画像を表示するような場合であってもよい。この場合、利用者の指示により一時停止等の操作が行われることで、写真画像毎の閲覧時間が変わるので、写真画像毎の閲覧時間の変化を記録するようにしてもよい。
【００２３】
次に、図８は、本実施形態のフォトストレージによる写真画像の検索時の動作を説明するためのフローチャートである。まず、検索語を入力装置（タッチパネルを含む）１０からの文字入力、またはマイク６から音声入力する（Ｓ４０）。なお、マイク６から入力した場合には、音声認識部１６により音声認識を行って単語を抽出することになるが、ここでは説明を省略する。図示の例では「ゴルフ」という検索語が入力されている。
【００２４】
次に、キーワードテーブル１８−３を検索して、キーワードが合致する写真画像のＩＤを取得する（Ｓ４２）。このとき、複数の写真画像に同じキーワードが登録されている場合も在り得る。この場合、合致する全ての写真画像のＩＤを取得することになる。図示の例では、ＩＤ＝２、ＩＤ＝３が取得される。
【００２５】
次に、検索結果（１つ以上のＩＤ）から１つのＩＤを取得し（Ｓ４４）、閲覧時間テーブル１８−２から該ＩＤに対する閲覧時間を取得し（Ｓ４６）、印刷回数テーブル１８−１から該ＩＤに対する印刷回数を取得する（Ｓ４８）。図示の例では、ＩＤ＝２に対しては、閲覧時間＝１０秒、印刷回数＝５回となり、ＩＤ＝３に対しては、閲覧時間＝１０秒、印刷回数＝０回となる。
【００２６】
次に、閲覧時間や印刷回数が大きい値であるほど、重要度が高くなるように、重要度＝ＬＯＧ（閲覧時間／Ｔ１）＋ＬＯＧ（印刷回数）となる式に従って重要度を計算する。なお、Ｔ１は、スライドショー表示におけるデフォルトの表示時間である。また、閲覧時間＝０、または印刷回数＝０の場合には、エラー回避のために、その項を０とする。該重要度は、利用者の興味度合いを表す指標となる。
【００２７】
その他、重要度を算出するためのパラメータとして、次のような利用者の興味度合いが反映される情報を用いてもよい。
（１）印刷の仕方
ａ．紙の大きさ
ｂ．紙の種類（普通紙／写真用光沢紙）
ｃ．印刷画質（標準／高画質）
【００２８】
（２）編集履歴
ａ．画質修正、レタッチ
ｂ．グリーティングカード、フレーム
【００２９】
（３）外部出力
ａ．メモリカード出力
ｂ．ネットワーク送信
ｃ．外部端子接続（大画面ディスプレイでの閲覧）
【００３０】
（４）音声特徴
ａ．声の大きさ
ｂ．音声が入力されている時間
ｃ．音声の抑揚
ｄ．音声の有無
【００３１】
重要度の計算が終わると、全てのＩＤについて重要度を計算したか否かを判断し（Ｓ５２）、検索結果に未処理のＩＤが残っている場合には、ステップＳ４４へ戻り、上述した処理を繰り返す。これにより、検索結果である全てのＩＤの重要度が計算される。図示の例では、それぞれの重要度は、ＩＤ＝２に対しては、１．００、ＩＤ＝３に対しては、０．３０となる。
【００３２】
一方、全てのＩＤについて重要度を計算した場合には、重要度順に写真画像のファイル名を表示装置４に表示する。図示の例では、ＩＤ＝２に対応する写真画像のファイル名「ＤＳＣ００００２．ｊｐｇ」、ＩＤ＝３に対応する写真画像のファイル名「ＤＳＣ００００３．ｊｐｇ」が上から順番に表示される。
【００３３】
なお、上述した検索動作では、音声認識を行って単語によるキーワード検索を実行しているが、音声認識をせずに、音声の波形形状でインデックスを作成して検索するようにしてもよい。
【００３４】
上述した実施形態によれば、写真画像閲覧時に、利用者の音声から音声認識部１６によりキーワードを取得し、閲覧している写真画像のキーワードとしてインデックスＤＢ１８に保存することにより、特に写真画像に対するキーワード追加作業を行わせることなく、閲覧時に入力した音声により、所望の写真画像を検索することができる。また、閲覧時間や印刷履歴などに従って、検索する際の写真画像の重要度を算出することにより、利用者がより興味を持っている写真画像を優先して提示することができる。
【００３５】
なお、上述した実施形態では、写真画像に対する検索であったが、これに限らず、ビデオ映像などの検索に適用してもよい。
【００３６】
また、上述した実施形態においては、上述した印刷指示部１４、スライドショー実行部１５、音声認識部１６、インデックス作成部１７、検索部１９などによる一連の処理の過程は、制御部１２によるプログラム実行により実現されてもよい。これらのプログラムは、コンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを制御部１２が読み出して実行することによって、上記処理が行われる。すなわち、印刷指示部１４、スライドショー実行部１５、音声認識部１６、インデックス作成部１７、検索部１９などは、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工・演算処理を実行することにより、実現されるものである。
【００３７】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態によるフォトストレージの外観を示す外観図である。
【図２】本実施形態によるフォトストレージの構成を示すブロック図である。
【図３】写真画像ＤＢのデータ構成を示す概念図である。
【図４】インデックスＤＢの印刷回数テーブルのデータ構成を示す概念図である。
【図５】インデックスＤＢの閲覧時間テーブルのデータ構成を示す概念図である。
【図６】インデックスＤＢのキーワードテーブルのデータ構成を示す概念図である。
【図７】写真画像の閲覧時の動作を説明するためのフローチャートである。
【図８】写真画像の検索時の動作を説明するためのフローチャートである。
【符号の説明】
【００３９】
１…フォトストレージ、２…カードスロット、３…Ｉ／Ｆ端子、４…表示装置（表示手段、提示手段）、５…操作ボタン、６…マイク（音声入力手段、検索語入力手段）、１０…入力装置（検索語入力手段）、１１…Ｉ／Ｆ部、１２…制御部（提示手段）、１３…写真画像ＤＢ（データ記憶手段）、１４…印刷指示部、１５…スライドショー実行部、１６…音声認識部（音声認識手段）、１７…インデックス作成部、１８…インデックスＤＢ、１８−１…印刷回数テーブル（印刷履歴記憶手段）、１８−２…閲覧時間テーブル（閲覧履歴記憶手段）、１８−３…キーワードテーブル（キーワード記憶手段）、１９…検索部（検索手段、重要度算出手段）、３０…デジタルカメラ、４０…プリンタ
【図１】
2006301757.tif 000003
【図２】
2006301757.tif 000004
【図３】
2006301757.tif 000005
【図４】
2006301757.tif 000006
【図５】
2006301757.tif 000007
【図６】
2006301757.tif 000008
【図７】
2006301757.tif 000009
【図８】
2006301757.tif 000010