(57)【要約】【課題】  音楽再生機能と画像表示機能を備えた携帯情報端末で楽曲再生を行う場合に、その楽曲再生と共に、ユーザにとって魅力的で且つ飽きのこない画像表示を可能にする。【解決手段】  楽曲を再生する音声処理部２３と、再生宙の楽曲から音声認識処理により歌詞を抽出する歌詞抽出部２６と、その抽出された歌詞から所定のルールに基づいてキーワードを抽出するキーワード抽出部２７と、当該抽出されたキーワードに基づいて、ローカルストレージ部１８やインターネット上のウェブページ等の検索先から画像を検索する画像検索部２５と、その検索された画像を表示する表示部１４とを有する。【選択図】  図１
2008008954.tif 000002
【特許請求の範囲】
【請求項１】
楽曲を再生する音声処理部と、
上記音声処理部が再生している楽曲から、音声認識処理により歌詞を抽出する歌詞抽出部と、
上記歌詞抽出部が抽出した歌詞から、所定のルールに基づいてキーワードを抽出するキーワード抽出部と、
上記キーワード抽出部が抽出したキーワードに基づいて、所定の検索先から画像を検索する画像検索部と、
上記画像検索部により検索された画像を表示する表示部と、
を有することを特徴とする携帯情報端末。
【請求項２】
上記歌詞抽出部が上記再生中の楽曲から歌詞を抽出する際の抽出区間若しくは抽出時間長と、上記キーワード抽出部が上記歌詞からキーワードを抽出する際の上記所定のルールと、上記画像検索部が画像を検索する際の上記所定の検索先の、少なくとも何れかをユーザが任意に設定するための操作部を有することを特徴とする請求項１記載の携帯情報端末。
【請求項３】
画像を保存するストレージ部と、
所定の外部ネットワークへ接続する通信部とを有し、
上記画像検索部は、上記キーワードに基づいて画像を検索する際に、先ず上記ストレージ部を上記検索先として画像の検索を行い、当該ストレージ部から画像の検索が出来なかった時には、上記通信部を介して接続された外部ネットワークを上記検索先として画像の検索を行うことを特徴とする請求項１記載の携帯情報端末。
【請求項４】
上記ストレージ部は、ユーザが別途取得した画像を保存しており、当該画像には上記キーワードにより参照可能な情報が付加されていることを特徴とする請求項３記載の携帯情報端末。
【請求項５】
上記画像検索部は、上記キーワードに基づいて検索される画像に対して所定のフィルタリング処理を行うことを特徴とする請求項１記載の携帯情報端末。
【請求項６】
上記キーワード抽出部は、上記歌詞から抽出されるキーワードに対して所定のフィルタリング処理を行うことを特徴とする請求項１記載の携帯情報端末。
【請求項７】
上記検索された画像が上記表示部上で切り替え表示される際に、それら切り替えられる画像に所定のエフェクト処理を施す画像処理部を有することを特徴とする請求項１記載の携帯情報端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽再生機能と画像表示機能を備えた携帯型音楽再生装置や携帯電話端末等の携帯情報端末に関する。
【背景技術】
【０００２】
特開平９−２８８６８１号の公開特許公報（特許文献１）には、外部記憶装置に格納されている各背景映像データに現れる事象に関連する語がキーワードとして管理されており、演奏対象の楽曲データが通信回線を介してダウンロードされた時に、その歌詞データからそこに含まれる単語などのキーワードが抽出され、その抽出されたキーワードに対応する背景映像データが、各背景映像データに対応付けされたキーワードを参照して検索されて表示されることにより、歌詞データの内容に応じた背景映像を自動的に選択して表示等することが可能となされた背景映像検索表示装置及び方法が開示されている。
【０００３】
また、特開２０００−２９４８０号の公開特許公報（特許文献２）には、データ格納部・検索部に複数種類の単語毎に複数種類の画像データを対応させて記憶し、複数種類のカテゴリ毎の音声認識用辞書を記憶しておき、カラオケ曲再生時に、マイクから歌唱音声の音声信号を入力して音声認識部へ送り、その音声認識部がデータ格納部・検索部で切り替えられた音声認識用辞書をスキャンして音声信号に該当する単語を認識し、データ格納部・検索部が上記認識された単語に対応する複数種類の画像データを検索し、その各画像データの中から任意に幾つかを組み合わせ、映像・演奏処理部が上記組み合わされた各画像データに基づく画像をテレビモニタに表示するような音楽再生装置が開示されている。
【０００４】
また、特開２００１−３４２７５号の公開特許公報（特許文献３）には、データベース側のカラオケ情報メモリに記録されている歌詞情報を、キーワードメモリに記憶されているキーワード情報に基づいて歌詞情報分析回路で分析し、歌詞中に含まれるキーワードに対応する背景画像をカラオケ情報と共に端末装置に配信し、再生時にモニタに表示される歌詞テロップに含まれるキーワードに対応する背景画像を再生して、カラオケ曲の進行と共に背景画像を更新するようにした通信カラオケシステムが開示されている。
【０００５】
さらに、特開２００５−２５０２４２号の公開特許公報（特許文献４）には、オーディオ情報中のボーカル情報を音声認識した歌詞情報を生成する音声認識処理部と、歌詞情報とボーカル情報を関連付ける管理情報を生成する情報管理部と、オーディオ情報と歌詞情報及び管理情報を記憶する記憶部と、記憶部に記憶された歌詞情報を視認可能な歌詞としてディスプレイ等に表示させる歌詞情報再生部と、記憶部に記憶されたオーディオ情報を受聴可能な音としてスピーカ等から出力させるオーディオ情報再生部とを備えて構成され、ユーザ等が所定の指示をしたときに、音声認識処理部及び情報管理部が生成する歌詞情報及び管理情報とオーディオ情報とを記憶部が記憶し、また、歌詞情報再生部とオーディオ情報再生部が管理情報に基づいて記憶部に記憶されているオーディオ情報と歌詞情報を再生して歌詞と音楽等を視聴可能に提示するようになされた情報処理装置及び方法等が開示されている。
【０００６】
【特許文献１】特開平９−２８８６８１号公報（図１）
【特許文献２】特開２０００−２９４８０号公報（図１）
【特許文献３】特開２００１−３４２７５号公報（図１）
【特許文献４】特開２００５−２５０２４２号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、画像を表示可能なディスプレイを備えた携帯型音楽再生装置や音楽再生可能な携帯電話端末等のように、少なくとも音楽再生機能と画像表示機能を備えた携帯情報端末において楽曲再生を行うような場合にも、その楽曲の再生に合わせて、ディスプレイ上に何らかの画像表示を行うことができれば、ユーザは、例えば外出先や電車に乗っている時、野外、自宅等の様々なシチュエーションで楽曲と同時に画像を楽しむことができ、ユーザにとって非常に魅力的な機器になると考えられる。
【０００８】
しかしながら、上述したような従来から存在する技術を、当該携帯情報端末に単純に適用した場合、楽曲のデータの他に、その楽曲のイメージに合致した画像データを予め用意しておかなければならない。
【０００９】
さらに、楽曲再生中にディスプレイに表示される画像は、その楽曲のイメージに合わせて予め用意された画像であるため、ユーザにとって本当に魅力的な画像であるとは必ずしも言えず、また、楽曲のイメージ通りの画像しか表示されないため意外性が無く、ユーザが飽きてしまい易い。
【００１０】
本発明は、このような実情に鑑みて提案されたものであり、少なくとも音楽再生機能と画像表示機能を備えた携帯情報端末において楽曲再生を行うような場合に、その楽曲再生と共に、ユーザにとって本当に魅力的で且つユーザが飽きてしまうことのない画像表示を行うことができる携帯情報端末を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の携帯情報端末は、楽曲を再生する音声処理部と、再生されている楽曲から音声認識処理により歌詞を抽出する歌詞抽出部と、その抽出された歌詞から所定のルールに基づいてキーワードを抽出するキーワード抽出部と、その抽出したキーワードに基づいて所定の検索先から画像を検索する画像検索部と、当該検索された画像を表示する表示部とを有数ことにより、上述した課題を解決する。
【００１２】
すなわち、本発明によれば、再生中の楽曲の歌詞から抽出されたキーワードに基づいて、所定の検索先から画像を検索するようになされているため、その検索された画像は、当該再生中の楽曲のイメージに合致するように予め用意された画像とは異なる。
【発明の効果】
【００１３】
本発明においては、再生中の楽曲の歌詞から抽出されたキーワードに基づいて、所定の検索先から画像を検索し、その検索画像を表示するようになされているため、その表示画像は、再生中の楽曲のイメージに合致するように予め用意された画像とは異なる画像となり、したがって、ユーザにとって本当に魅力的で且つユーザが飽きてしまうことのない画像表示が可能なっている。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら、本発明の携帯情報端末の一実施形態について説明する。
【００１５】
なお、本実施形態では、本発明の携帯情報端末の一例として、音楽再生機能と画像表示機能を備えた携帯電話端末を挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもなく、例えば音楽再生機能と画像表示機能を備えたＰＤＡ（Personal Digital Assistants）やデジタルカメラ等の各種の携帯情報端末にも適用可能である。
【００１６】
〔携帯電話端末の概略的な内部構成〕
図１には、本発明実施形態の携帯電話端末の概略的な内部構成を示す。
【００１７】
通信アンテナ１２は、例えば内蔵アンテナであり、通話やパケット通信のための信号電波の送受信を行う。通信回路１１は、送受信信号の周波数変換、変調と復調等を行う。なお、パケット通信により送受信されるデータは、電子メールデータ、動画像や静止画の画像データ、音声データ、ＨＴＭＬ（Hyper Text Markup Language）データ、プログラムデータ、その他の各種データである。ここで、上記通信アンテナ１２及び通信回路１１の受信データが通話音声のデータである場合、その通話音声のデータはデータラインを介して音声処理部２３へ送られ、それ以外の受信データは一旦、制御部１０へ送られて処理された後、必要に応じて当該制御部１０から各部へ送られる。
【００１８】
音声処理部２３は、上記通信アンテナ１２及び通信回路１１から通話音声の受信データが供給された時、その通話音声の受信データを復号化し、当該復号化後の通話音声データをデータラインを介してスピーカ２０へ送る。また、音声処理部２３は、楽曲が再生される際には、その圧縮されている楽曲データの伸長・復号化処理を行ったり、図示しないデジタルテレビジョン受信機能により受信したテレビジョン音声データの伸長・復号化や、図示しないデジタルラジオ受信機能により受信したラジオ音声データの伸長・復号化等をも行い、その伸長・復号化処理後の楽曲データやテレビジョン／ラジオ音声データをデータラインを介してスピーカ２０へ送る。
【００１９】
スピーカ２０は、携帯電話端末に設けられている受話用のスピーカやリンガ（着信音）、音楽再生、アラーム音出力用のスピーカであり、ディジタル／アナログ変換器と増幅器を含み、通話音声やリンガ音，再生された楽曲のデータを、ディジタル／アナログ変換及び増幅した後、出力する。これにより、通話音声やリンガ音，楽曲等の音が得られることになる。
【００２０】
イヤホン接続端子２１にはイヤホンが接続可能となされている。イヤホン接続端子２１にイヤホンが接続された場合、当該イヤホンへ上記通話音声や再生された音楽の信号が出力されることになる。
【００２１】
マイクロホン２２は、送話用のマイクロホンであり、アナログ／ディジタル変換器と増幅器を含む。このマイクロホン２２を介して入力された通話音声信号は、増幅器により所定のレベルに増幅された後、アナログ／ディジタル変換器によりディジタル音声データに変換され、データラインを介して音声処理部２３へ送られて符号化された後、データラインを介して通信回路１１へ送られて変調、周波数変換等の各種処理を受け、通信アンテナ１２から送信される。
【００２２】
操作部１３は、本実施形態の携帯電話端末の筐体上に設けられている１２キー部、矢印キー、発話キー、クリアキー、終話／電源キー、図示しないカメラ機能のシャッターボタン、楽曲再生時の再生キーや停止キー，ボリュームキー，早送りキー，早戻しキー等の操作デバイスと、それら操作デバイスの操作に応じた操作信号を発生する操作信号発生器とからなる。ユーザは、この操作部１３を操作することにより、通話のための発着呼や電子メール文の作成、電子メールの送受信、インターネットへの接続、撮影の実行、楽曲の選択（選曲）や楽曲の再生開始、再生停止、早送り、早戻し、ボリューム調整、各種メニュー選択や機能設定等の指示操作を行う。
【００２３】
リモコン接続端子２８は、例えば楽曲再生用のリモートコントローラが接続される端子である。当該リモコン接続端子に楽曲再生用リモートコントローラが接続された場合には、当該リモートコントローラを介した選曲や楽曲の再生開始、再生停止、早送り、早戻し、ボリューム調整等の指示操作が可能となる。
【００２４】
表示部１４は、本実施形態の携帯電話端末の筐体上に設けられている液晶等のディスプレイとそのディスプレイを駆動するためのディスプレイ駆動回路とからなる。ディスプレイ駆動回路は、画像処理部２４から供給された画像信号に基づいて、上記ディスプレイを駆動する。これにより、ディスプレイには、画像や文字等が表示される。
【００２５】
ローカルストレージ１８は、ＨＤＤ（ハードディスクドライブ）若しくは不揮発性大容量メモリからなる大容量の記録デバイスである。それらＨＤＤや不揮発性大容量メモリは、本実施形態の携帯電話端末に内蔵されていても良いし、着脱可能となされていても良い。本実施形態の場合、当該ローカルストレージ１８には、静止画像や動画像データ、その他のデータが保存されている。
【００２６】
ここで、当該ローカルストレージ１８に保存されている静止画像や動画像は、例えば、図示しないカメラ機能により撮影された画像、送受信された電子メールに添付された画像、図示しないテレビジョン受信機能により受信した画像、ウェブ等の外部のネットワークを経由して取得した画像などであり、それぞれファイル名が付けられ、また、フォルダ分けされている場合にはそれらフォルダにも名前が付けられて保存されている。また、当該ローカルストレージ１８に保存されている画像には、必要に応じて、様々なコメントやメッセージ等のテキストや、カメラ撮影時の撮影情報、撮影位置・撮影地名、撮影日時、撮影者名、電子メールの送信元や発信元、メールタイトルやメール本文、メールプロパティ、テレビジョン放送における録画番組名、出演者名、作品名、ウェブページのＵＲＬやコメントなど、様々な情報が埋め込み若しくはリンクされている。
【００２７】
画像処理部２４は、表示部１４に表示される画像の処理を行う。また、画像処理部２４は、制御部１０による制御の元で、上記ローカルストレージ１８やシステム用メモリ部１５から読み出された圧縮符号化されている静止画像や動画像データ、インターネット等を介して取得した静止画像や動画像データ、デジタルテレビジョン放送を受信した動画像や静止画像データ等を伸張復号化等し、その伸張復号化後の静止画像や動画像データをデータラインを介して表示部１４へ送って表示させる。その他、画像処理部２４は、カメラ機能により撮影された静止画像や動画像のデータ、テレビジョン受信機能により受信した動画像や静止画像データを必要に応じて圧縮符号化等して、それら静止画像や動画像データを、制御部１０による制御の元でローカルストレージ１８等に送り、記憶させる。
【００２８】
システム用メモリ部１５は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭは、ＯＳ（Operating System）、制御部１０が各部を制御するための制御プログラムコード、各種の初期設定値、フォントデータ、辞書データ、着信音やキー操作音等の音データ、後述する楽曲再生時における歌詞データ作成やキーワード抽出、そのキーワードに基づく画像検索等を行うための本発明実施形態にかかる楽曲イメージ表示プログラムコード、その他、一般的な携帯電話端末に搭載される各種のアプリケーションプログラムコード、当該端末の機器識別情報（ＩＤ）などを記憶している。このＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能なＲＯＭを含み、電子メールデータ、電話帳や電子メールアドレス帳のデータ、スケジュール帳のデータ、通信履歴等の様々なデータ、ユーザ辞書データ、静止画や動画データ、キー操作音等の音データ、その他、後述するようなユーザによる様々な設定情報等を保存することも可能となされている。ＲＡＭは、制御部１０が各種のデータ処理を行う際の作業領域として、随時データを格納する。
【００２９】
制御部１０は、ＣＰＵからなり、上記システム用メモリ部１５に記憶されているＯＳや各種プログラムに基づいて、当該端末の様々な制御を行う。特に、本実施形態の場合、制御部１０は、システム用メモリ部１５に記憶されている楽曲イメージ表示プログラムを実行することにより、後述する楽曲再生時における歌詞データ作成やキーワード抽出、そのキーワードに基づく画像検索等を行うための各種制御や演算処理を行う。
【００３０】
楽曲メモリ部１６は、複数の楽曲データを格納している。当該楽曲メモリ部１６に保存されている楽曲は、外部の音楽再生機器から入力された楽曲や、デジタルテレビジョン放送やデジタルラジオ放送により受信された楽曲、インターネット等を経由して取得された楽曲、所定の楽曲提供サービスにより提供された楽曲、或いは、当該端末購入時に予め保存された楽曲など何れであっても良い。なお、当該楽曲メモリ部１６は、ローカルストレージ部１８に含まれていても良いし、システム用メモリ部１５に含まれていても良い。
【００３１】
歌詞抽出部２６は、上記楽曲メモリ部１６内の楽曲の中から選曲されてリアルタイムに再生されている楽曲や、デジタルテレビジョン放送，デジタルラジオ放送により受信されてリアルタイムに再生されている楽曲、インターネット等を経由して取得されてリアルタイムに再生されている楽曲、所定の楽曲提供サービスから取得してリアルタイムに再生されている楽曲等から、例えば音声認識処理により歌詞を抽出して当該楽曲の歌詞データを作成する。当該歌詞抽出部２６による歌詞抽出は、その楽曲の一部区間の歌詞のみでも良いが、好ましくはその楽曲の全ての歌詞を抽出する。
【００３２】
また、本実施形態において、上記楽曲から歌詞を抽出する区間や時間の長さは、ユーザが任意に設定可能となされている。勿論、当該歌詞抽出区間や時間の長さは、携帯電話端末にデフォルトで設定されていても良い。当該歌詞抽出部２６により抽出された歌詞は、歌詞メモリ部１７に保存され、さらに、必要に応じて表示部１４のディスプレイ上に表示される。
【００３３】
歌詞メモリ部１７は、上記歌詞抽出部２６が抽出した歌詞を保存する。なお、当該歌詞メモリ部１７は、ローカルストレージ部１８に含まれていても良いし、システム用メモリ部１５に含まれていても良い。
【００３４】
キーワード抽出部２７は、上記歌詞抽出部２６が作成した歌詞データから、所定のルールに基づいてキーワードを抽出して画像検索部２６へ送り、また、必要に応じてキーワードを歌詞メモリ部１７やシステム用メモリ部１５に保存させる。
【００３５】
ここで、当該歌詞抽出部２６が上記歌詞データからキーワードを抽出する際の上記所定のルールとしては、例えば、或る設定期間内の歌詞単語の中で最も多く使用された単語を抽出キーワードとするようなルールや、或る設定期間内の歌詞単語の中で最も大きく発声された単語を抽出キーワードとするようなルール、或る設定期間内の複数の単語の中からランダムに選択した単語をキーワードとするようなルールなどを一例として挙げることができる。
【００３６】
また、本実施形態において、当該歌詞抽出部２６にて上記設定期間の長さや何れのルールを用いるか等は、ユーザが任意に設定可能となされており、例えば、一定時間や可変時間に設定可能であり、また、楽曲のフレーズ毎の区切りや、歌詞の内容に応じた区切りなどにも設定可能となされている。勿論、当該長さは携帯電話端末にデフォルトで設定されていても良い。上記設定期間の長さや使用されるルールは、携帯電話端末にデフォルトで設定されていても良い。
【００３７】
画像検索部２５は、上記キーワード抽出部２７にて抽出されたキーワードに基づいて、静止画像や動画像の検索を行う。
【００３８】
ここで、当該画像検索部２５が上記キーワードに基づいて画像検索を行う検索先は、上記ローカルストレージ部１８や、インターネット上のウェブページ、画像提供サービス用のサーバ等を挙げることができる。
【００３９】
上記ローカルストレージ部１８を検索先として画像検索を行う場合、画像検索部２５は、当該ローカルストレージ部１８に保存されている画像のファイル名やフォルダ名、画像に埋め込み若しくはリンクされているテキストやカメラ撮影時の撮影情報、撮影位置・撮影地名、撮影日時、撮影者名、電子メールの送信元や発信元、メールタイトルやメール本文、メールプロパティ、テレビジョン放送における録画番組名、出演者名、作品名、ウェブにおけるＵＲＬやコメントなどを参照して、上記キーワードのイメージに合った画像、或いは、キーワードのイメージとは正反対の画像、キーワードから類推可能な画像、キーワードと結びつけると面白い画像や意外な画像などを検索する。
【００４０】
上記インターネット上のウェブページを検索先として画像検索を行う場合、上記画像検索部２５は、いわゆるインターネット上の検索エンジンのように、上記キーワードに基づいて、インターネット上に存在する様々な静止画像や動画像を検索する。また、上記インターネット上のウェブページを検索先とする場合、画像検索部２５は、好ましくない画像が検索されるのを防ぐためのフィルタリング処理、或いは逆に、例えば所望のジャンル等の画像のみが検索されるようなフィルタリング処理を行うことも可能となされている。
【００４１】
上記画像提供サービス用サーバを検索先として画像検索を行う場合、上記画像検索部２５は、その画像提供サービス用サーバへ、上記キーワードを画像検索のリクエスト情報として送信し、そのリクエスト情報に応じて画像提供サービス用サーバから提供された静止画像や動画像を取得する。
【００４２】
なお、フィルタリング処理は、上記インターネットを経由して画像検索を行う際だけでなく、例えば、上記キーワード抽出部２７にてキーワードを抽出する際に行っても良い。すなわち、この場合、上記キーワード抽出部２７では、好ましくない画像が検索されてしまう可能性が高いキーワードを抽出しないようなフィルタリング処理や、逆に、例えば所望のジャンル等の画像が検索される可能性が高いキーワードのみを抽出するようなフィルタリング処理を行うことも可能となされている。
【００４３】
また、本実施形態において、当該画像検索部２５が上記ローカルストレージ部１８やウェブページ、画像提供サービス用サーバ等の何れを検索先にするかは、ユーザが任意に設定可能となされているが、好ましくは、先ず最初にローカルストレージ部１８を検索し、当該ローカルストレージ部１８に適当な画像が存在しない時にインターネット上のウェブサーバや画像提供サービス用サーバを検索する。
【００４４】
ここで、上記ローカルストレージ部１８を検索先として画像を検索する際に、上記ファイル名やフォルダ名、画像に埋め込み若しくはリンクされているテキストやカメラ撮影時の撮影情報、撮影位置・撮影地名、撮影日時、撮影者名、電子メールの送信元や発信元、メールタイトルやメール本文、メールプロパティ、テレビジョン放送における録画番組名、出演者名、作品名、ウェブにおけるＵＲＬやコメントなどの何れを参照するかについても、ユーザが任意に設定可能となされている。
【００４５】
同様に、上記インターネット上のウェブページを検索先として画像を検索する際にどのような画像を検索するか、或いは、画像提供サービス用サーバにどのようなタイミングでリクエストを送るか等についても、ユーザが任意に設定可能となされている。
【００４６】
また、画像検索部２５は、その楽曲再生において過去に画像検索に用いられたキーワードが、例えば歌詞メモリ部１７或いはシステム用メモリ部１５等に保存されている場合には、当該過去に使用されたキーワードを新たな画像検索に用いないようにすることで、同じ楽曲が何度も再生された際に毎回同じような画像が検索されてしまうことを防止する設定も可能となされている。
【００４７】
勿論、上述したことは、本実施形態の携帯電話端末にデフォルトで設定されていても良い。
【００４８】
そして、上記画像検索部２５にて検索された静止画像や動画像のデータは、画像処理部２４へ送られ、そこで例えば伸長復号化や画像の大きさの調整等の必要な処理が施された後、表示部１４へ送られてディスプレイ上に表示される。
【００４９】
ここで、上記画像検索部２５にて検索された画像が一つの静止画像若しくは一つの動画像である場合、上記ディスプレイにはその一つの画像のみが表示されることになり、一方、上記検索された画像が複数ある場合には、それら画像が例えば順番若しくはランダムに選択されてディスプレイに表示されたり、複数の画像が一画面上に同時に表示されたりする。
【００５０】
このように検索画像が複数ある場合において、本実施形態では、上記順番に表示する表示方式、ランダムに表示する表示方式、一画面に複数画像を同時に表示する表示方式等の何れの方式を使用するかを、ユーザが任意に設定可能となされている。なお、画像処理部２４は、上記検索画像を切り替えて表示する際に、例えばフェードイン・フェードアウトなどのエフェクト処理を行っても良い。
【００５１】
その他、図１には図示を省略しているが、本実施形態の携帯電話端末は、外部メモリインターフェース、外部ケーブル用コネクタ、赤外線通信機能、電子財布機能、時計機能、カメラ機能、デジタルテレビジョン受信機能、デジタルラジオ受信機能、バイブレータ機能、ＬＥＤ表示機能、ＧＰＳ機能、バッテリ、電力制御機能など、一般的な携帯電話端末が備えている各構成要素についても備えている。なお、それら一般的な携帯電話端末が備えている回路構成やその他の構成の説明については省略する。
【００５２】
また、上述したような歌詞抽出部２６の機能、上記キーワード抽出部２７の機能、上記画像検索部２５の機能は、制御部１０がプログラムにより実行しても良い。
【００５３】
〔楽曲再生時の処理フロー〕
図２には、本発明実施形態の携帯電話端末において、楽曲再生が行われている時に実行される上記歌詞データの作詞、キーワード抽出、画像検索の処理の流れを示す。
【００５４】
図２において、制御部１０は、ステップＳ１として、操作部１３を介し、ユーザにより所望の楽曲が選曲され、更にその楽曲の再生開始の指示がユーザから成されるたことを知ると、ステップＳ２の処理として、システム用メモリ部１５に保存されている様々なユーザ設定情報の中から、本実施形態にかかる楽曲イメージ表示プログラムが扱うユーザ設定情報を読み出す。すなわちこのとき読み出されるユーザ設定情報は、上記歌詞抽出部２６、キーワード抽出部２７、画像検索部２５が実行する処理について、前述したようにユーザが任意に設定した情報である。
【００５５】
次に、歌詞抽出部２６は、ステップＳ３の処理として、当該再生されている楽曲についてリアルタイムに音声認識処理を行って歌詞を抽出して歌詞データを作成し、その歌詞データをキーワード抽出部２７へ送ると共に、歌詞メモリ部１７へ保存させる。
【００５６】
上記歌詞抽出部２６から歌詞データが供給されたキーワード抽出部２７は、ステップＳ４の処理として、前記所定のルールにより決められている、前記キーワード抽出を行う設定期間が経過したか否か判定し、未だ設定期間が経過していない時はステップＳ５へ処理を進める。
【００５７】
ステップＳ５の処理に進むと、画像検索部２５は、既に検索により得られた画像が存在するか判定する。ここで、上記楽曲の再生が開始された当初は検索済みの画像は存在しないため、画像検索部２５は、ステップＳ６へ処理を進め、予め用意されているメッセージ（例えば画像検索待ち等のメッセージ）や予めデフォルトで用意されている画像を画像処理部２４へ送り、表示部１４のディスプレイ上に表示させる。そして、画像検索部２５は、ステップＳ１４にて楽曲の再生が終わっていない時には、ステップＳ４へ処理を戻す。
【００５８】
次に、上記ステップＳ４にて上記設定期間が経過すると、ステップＳ７の処理に進み、キーワード抽出部２７は、前述した所定のルールとして設定されている設定抽出条件（最も多く使用された単語、最も大きく発声された単語等の抽出条件）に合致する単語を、上記設定期間の歌詞内の単語の中からキーワードとして抽出する。
【００５９】
そして、キーワード抽出部２７は、ステップＳ８の処理として、上記ステップＳ７でのキーワード抽出処理によりキーワードの抽出が出来たか否か判定し、キーワードの抽出が出来なかった時にはステップＳ５へ処理を進める。ここで、上記楽曲の再生が開始された当初は、当該ステップＳ５において、前述同様に検索済みの画像は存在しないため、画像検索部２５は、ステップＳ６へ処理を進め、予め用意されているメッセージ若しくはデフォルトの画像をディスプレイ上に表示させた後、ステップＳ１４にて楽曲の再生が終わっていない場合にはステップＳ４へ処理を戻す。
【００６０】
一方、上記ステップＳ８にてキーワードの抽出が出来たと判定された場合、画像検索部２５は、ステップＳ９の処理として、上記キーワードに基づいて画像の検索を行う。すなわち、この時の画像検索部２５は、例えば、先ず最初にローカルストレージ部１８を検索し、当該ローカルストレージ部１８に適当な画像が存在しない時にインターネット上のウェブサーバや画像提供サービス用サーバを検索する。
【００６１】
そして、画像検索部２５は、ステップＳ１０の処理として、上記ステップＳ９での画像検索処理により画像が検索できたか否か判定し、画像検索が出来なかった時にはステップＳ５へ処理を進める。ここで、上記楽曲の再生が開始された当初は、当該ステップＳ５において、前述同様に検索済みの画像は存在しないため、画像検索部２５は、ステップＳ６へ処理を進め、上記メッセージ若しくはデフォルト画像をディスプレイ上に表示させた後、ステップＳ１４にて楽曲の再生が終わっていない場合にはステップＳ４へ処理を戻す。
【００６２】
一方、上記ステップＳ１０にて画像検索が出来たと判定された場合、画像検索部２５は、ステップＳ１１の処理として、その検索された画像の数を確認する。ここで、検索画像が一つのみである場合には、ステップＳ１２へ処理を進め、その画像をディスプレイ上に表示させた後、ステップＳ１４にて楽曲の再生が終わっていない場合にはステップＳ４へ処理を戻す。また、上記検索された画像が複数ある場合、画像検索部２５は、ステップＳ１３の処理として、前述した表示方式として設定されている設定表示方式（順番に表示、ランダムに表示、複数を同時に表示等）を用いて、その画像をディスプレイ上に表示させた後、ステップＳ１４にて楽曲の再生が終わっていない場合にはステップＳ４へ処理を戻す。
【００６３】
本実施形態では、上述の処理を楽曲の再生が終了するまで繰り返す。
【００６４】
なお、上記楽曲の再生がある程度進行し、上記ステップＳ４の設定期間が例えば複数回経過したような場合、その後の或る設定期間においてステップＳ４で当該期間が経過する前と判定されている場合であっても、上記ステップＳ５では過去に検索された画像が存在している場合があり、また、ステップＳ８において当該設定期間にキーワード抽出が出来なかった場合でも、ステップＳ５では検索済み画像が存在することがあり、同様に、ステップＳ１０において当該設定期間に画像検索が成功しなかった場合でも、ステップＳ５では検索済み画像が存在することがあり、それらの場合には、ステップＳ５からステップＳ１１へ処理が進むことになる。すなわちこの場合、ステップＳ１２やステップＳ１３では、それ以前に検索された画像が引き続きディスプレイ上に表示されることになる。
【００６５】
〔まとめ〕
以上説明したように、本実施形態の携帯電話端末においては、楽曲の再生中に音声認識によりリアルタイムに歌詞を取得し、さらに、ユーザが設定した所定のルールに基づいて歌詞中からキーワードを抽出し、そして、そのキーワードに基づいて、ローカルストレージ部１８やウェブページ等のような、ユーザが予め設定した場所を検索して画像を取得し、その取得した画像をディスプレイ上に表示させるようにしているため、従来のように、楽曲のイメージに合致した画像データを予め用意しておく必要がない。
【００６６】
また、本実施形態によれば、楽曲再生中にディスプレイに表示される画像は、上記ローカルストレージ１８に保存されている画像、すなわち、ユーザがカメラ機能により撮影した画像やユーザがやり取りした電子メールに添付された画像、ユーザがテレビジョン放送から録画した画像、ユーザが過去にインターネット等を経由して取得した画像であったり、いわゆるインターネット上の検索エンジンを用いた検索により得られるような様々な画像であったり、画像提供サービス用サーバから提供される画像であったりするため、当該携帯電話端末のユーザにとって有用で且つ思い出深く、意外性もあり、ユーザにとって楽しい画像となっている。
【００６７】
さらに、本実施形態によれば、上記画像を検索するためのキーワードの抽出ルールや画像検索設定等をユーザが任意に変更・追加可能となされているため、同じ楽曲を何度も再生する場合であっても、その都度、様々な画像が表示されることになり、ユーザが飽きてしまうことはない。
【００６８】
その他、本実施形態によれば、楽曲再生中にリアルタイムに歌詞を抽出しているため、ユーザはその楽曲の歌詞をリアルタイムに知ることができ、また、その歌詞は歌詞メモリ部１７に保存されるため、その後ユーザは歌詞を何時でも確認することができる。
【００６９】
このように、本実施形態の携帯電話端末は、よりユーザにとって魅力的な機器となっている。
【００７０】
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。
【図面の簡単な説明】
【００７１】
【図１】本発明実施形態の携帯電話端末の概略的な内部構成を示すブロック図である。
【図２】本発明実施形態の携帯電話端末において、楽曲再生が行われている時に実行される歌詞データの作詞、キーワード抽出、画像検索の処理の流れを示すフローチャートである。
【符号の説明】
【００７２】
１０  制御部、１１  通信回路、１２  通信用のアンテナ、１３  操作部、１４  表示部、１５  システム用制御部、１６  楽曲メモリ部、１７  歌詞メモリ部、１８  ローカルストレージ部、２０  スピーカ、２１、イヤホン接続端子、２２  マイクロホン、２３  音声処理部、２４  画像処理部、２５  画像検索部、２６  歌詞抽出部、２７  キーワード抽出部、２８  リモコン接続端子
【図１】
2008008954.tif 000003
【図２】
2008008954.tif 000004