(57)【要約】【課題】静止画や動画に文字を重ねて表示する際に視認性を向上させる。【解決手段】ＣＰＵ１１は、撮影した静止画像や動画像、フラッシュメモリ１８に記録されている静止画像、動画像などを再生する際に、音声認識処理部１９により変換され、テキスト分割処理部２０により分割されたテキストを、表示装置１５に再生中の静止画像や動画像上に重ねて表示する。このとき、テキスト長が画面サイズより小さい場合には、そのままセンタリング表示や縦書き表示する。また、テキスト長が画面サイズより大きい（画面に入りきらない）場合には、テキスト文字のフォントを小さいものに変換したり、テキストの語彙を短縮語彙に変換したり、スクロールしたりするなどして表示する。【選択図】  図１
2004357092.tif 000002
【特許請求の範囲】
【請求項１】
音声データが付加された画像データを再生表示する情報機器において、
画像データを表示する表示手段と、
画像データに付加された音声データを認識して文字データに変換する音声認識手段と、
前記音声認識手段により変換された文字データを、前記表示手段に表示されている画像データに重ねて表示させる文字表示制御手段と
を具備することを特徴とする情報機器。
【請求項２】
前記音声認識手段により変換された文字データが前記表示手段の一画面内に表示可能である否かを判断する判断手段を備え、
前記文字表示制御手段は、
前記判断手段により文字データが一画面上に入りきらないと判断された場合、文字データをスクロール表示させることを特徴とする請求項１記載の情報機器。
【請求項３】
前記文字表示制御手段は、
前記判断手段により文字データが一画面上に入りきると判断された場合、文字データの全文を一画面上に表示させることを特徴とする請求項１記載の情報機器。
【請求項４】
前記文字表示制御手段は文字データの文字サイズを縮小する縮小手段を備え、
前記文字表示制御手段は、前記判断手段により文字データが一画面上に入りきらないと判断された場合、前記縮小手段により文字サイズが縮小された文字データの全文を一画面上に表示させることを特徴とする請求項１記載の情報機器。
【請求項５】
前記文字表示制御手段は文字データに含まれる語彙を短縮語に置換する短縮語置換手段を備え、
前記文字表示制御手段は、前記判断手段により文字データが一画面上に入りきらないと判断された場合、
前記短縮語置換手段により語彙が置換された文字データの全文を一画面上に表示させることを特徴とする請求項１記載の情報機器。
【請求項６】
前記音声認識手段により変換された文字データを所定の長さで分割する分割手段を更に備え、
前記文字表示制御手段は、
前記分割手段により分割された文字データ毎に所定のタイミングで、前記表示手段に表示されている画像データに重ねて表示させることを特徴とする請求項１ないし５のいずれかに記載の情報機器。
【請求項７】
前記文字表示制御手段は、画像データの再生時間に基づいて、前記分割手段により分割された文字データ毎に表示時間を設定する表示時間設定手段を備え、前記分割手段により分割された文字データ毎に、前記表示時間設定手段により設定された表示時間に基づいて表示させることを特徴とする請求項６記載の情報機器。
【請求項８】
前記表示手段に表示されている文字データの切換指示を行なう指示手段を更に備え、
前記文字表示制御手段は、
前記指示手段から切換指示があると、前記表示手段に表示されている文字データを、前記分割手段により分割された次の文字データに切り換えることを特徴とする請求項６または７に記載の情報機器。
【請求項９】
画像データを撮影する撮影手段と、
音声を記録する音声記録手段と、
前記撮影手段により撮影された画像データに前記音声記録手段により記録された音声データを埋め込む埋め込み手段とを具備し、
前記音声認識手段は、前記撮影手段により撮影された画像データに埋め込まれている音声データを認識して文字データに変換することを特徴とする請求項１ないし８のいずれかに記載の情報機器。
【請求項１０】
通信回線網を介して機器間でメールを送受信するメール送受信手段を具備し、
前記音声認識手段は、前記メール送受信手段により送受信されるメールに添付されている画像データに埋め込まれている音声データを認識して文字データに変換することを特徴とする請求項１ないし８のいずれかに記載の情報機器。
【請求項１１】
音声データが埋め込まれた画像データを再生表示するデータ表示方法において、
前記画像データに埋め込まれた音声データを認識して文字データに変換し、該文字データを、前記画像データに重ねて表示させることを特徴とするデータ表示方法。
【請求項１２】
前記文字データが一画面内に表示可能である否かを判断し、文字データが一画面上に入りきらないと判断された場合、文字データをスクロール表示させることを特徴とする請求項１１記載のデータ表示方法。
【請求項１３】
前記文字データが一画面上に入りきると判断された場合、文字データの全文を一画面上に表示させることを特徴とする請求項１１記載のデータ表示方法。
【請求項１４】
前記文字データが１画面上に入りきらないと判断された場合、文字データの文字サイズを縮小し、縮小された文字データの全文を一画面上に表示させることを特徴とする請求項１１記載のデータ表示方法。
【請求項１５】
前記文字データが一画面上に入りきらないと判断された場合、文字データに含まる語彙を短縮語に置換し、短縮語に置換された文字データの全文を一画面上に表示させることを特徴とする請求項１１記載のデータ表示方法。
【請求項１６】
前記文字データを所定の長さで分割し、分割された文字データ毎に、前記静止画あるいは動画に重ねて表示させることを特徴とする請求項１１ないし１５のいずれかに記載のデータ表示方法。
【請求項１７】
前記静止画あるいは動画の再生時間に基づいて、前記分割された文字データ毎に表示時間を設定し、分割された文字データ毎に、前記設定された表示時間に基づいて表示させることを特徴とする請求項１６記載のデータ表示方法。
【請求項１８】
前記文字データの切換指示があると、画面上に表示されている文字データを、分割された次の文字データに切り換えることを特徴とする請求項１６または１７に記載のデータ表示方法。
【請求項１９】
前記画像データは、撮影手段により撮影されたものであり、前記音声データは、音声記録手段により記録されたものであることを特徴とする請求項１１ないし１８のいずれかに記載のデータ表示方法。
【請求項２０】
前記画像データは、通信回線網を介して機器間で送受信されるメールに添付されたものであることを特徴とする請求項１１ないし１８のいずれかに記載のデータ表示方法。
【請求項２１】
画像データを撮影する撮影手段と、
音声を記録する音声記録手段と、
前記撮影手段により撮影された画像データに前記音声記録手段により記録された音声データを埋め込む埋め込み手段と、
前記画像データを表示する表示手段と、
前記画像データに埋め込まれた音声データを認識して文字データに変換する音声認識手段と、
前記音声認識手段により変換された文字データを、前記表示手段に表示されている画像データに重ねて表示させる文字表示制御手段と
を具備したことを特徴とするデジタルカメラ。
【請求項２２】
通信回線網を介して機器間でメールを送受信するメール送受信手段と、
前記メール送受信手段により送受信されるメールに添付されている画像データに埋め込まれている音声データを認識して文字データに変換する音声認識手段と、
前記音声認識手段により変換された文字データを、前記メールに添付されている画像データに重ねて表示させる表示制御手段と
を具備したことを特徴とする情報機器。
【請求項２３】
前記情報機器は、携帯電話機であることを特徴とする請求項２２記載の情報機器。
【請求項２４】
前記音声認識手段は、前記メールに添付されている画像データに埋め込まれている音声データを可聴音に変換せずに認識することを特徴とする請求項２２または２３のいずれかに記載の情報機器。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の情報機器に係り、撮影した静止画や動画に音声データを関連付けて録音して記憶する情報機器、デジタルカメラおよびデータ表示方法に関する。
【０００２】
【従来の技術】
従来より、デジタルカメラには、画像（静止画、動画）の撮影機能に加え、音声を録音する機能を有し、録音した音声データを上記画像データに埋め込んで記憶することが可能となっている。また、携帯電話においては、カメラを備え、撮影した画像データに録音した音声データを埋め込み、該画像データをメールに添付して送受信する機能を備えるものがある。
【０００３】
従来、このようなデジタルカメラや携帯電話にあっては、再生中の画像データに音声データが埋め込まれていた場合、音声データをスピーカで出力していた。しかしながら、周囲の雑音が大きい場合などには、音声が聞き取りにくかったり、周囲が静かな場合などには、周りに迷惑をかけたりするという問題があった。そこで、画像データに埋め込まれた音声データをテキストに変換し、画像データの再生中に文字として表示させることができれば、ユーザにとって利便性が向上する。
【０００４】
例えば、携帯電話においては、カメラを備え、撮影した画像データをメールに添付して送受信し、メールに画像データが添付されていた場合、画像データを表示するとともに、該画像データ上にメール本文を重ねて表示する技術が提案されている（例えば特許文献１、特許文献２、特許文献３参照）。
【０００５】
特許文献１に記載されている技術では、画像データにメール本文を重ねて表示する際に、画像データの明度、コントラストを補正するとともに、文字色を画像データの色度に応じて設定することで文字の視認性を向上させている。また、画像データが表示しきれない場合には、表示エリアに表示されない部分をスクロールして表示させるようになっている。
【０００６】
また、特許文献２に記載されている技術では、メールに画像データが添付されていた場合、画像データを表示するとともに、該画像データ上にメール本文を重ねて表示する。このとき、メール本文が長い場合、画像データを固定した状態でメール本文のみをスクロールすることができるようになっている。
【０００７】
また、特許文献３に記載されている技術では、多くの画像データの中から所望する画像データを検索するために、画像データ毎に、内容が分かるような音声を関連付け、該音声を可変速再生して目的の画像データを探すようになっている。また、上記音声を音声認識によりテキストに変換し、該テキストを画像データのインデックスとして用いて、画像データのソート（並び替え）を行なうようになっている。
【０００８】
また、特許文献４に記載されている技術では、音楽データの再生中に、再生中の音楽に適した被写体（歌詞）を撮影すると、音楽データの再生タイミングに合わせて撮影した被写体の画像を記憶し、次回の音楽データ再生時には、再生タイミングに合わせて対応する画像を表示するようになっている。被写体として歌詞を撮影した場合には、歌詞（イメージ）をテキストデータに変換することで、音楽データの再生に合わせて歌詞（テキスト）を表示するようになっている。
【０００９】
【特許文献１】
特開２００２−１４０２６５号公報
【特許文献２】
特開２００２−２８８０８２号公報
【特許文献３】
特開２００２−４１５２９号公報
【特許文献４】
特開２０００−３５０１４６号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１による従来技術では、テキストが長文であった場合、画像データを表示した画面一杯にテキストが表示されてしまい画像データが見にくくなるという問題があった。仮に、上述した特許文献２にあるように、メール本文が長い場合、画像データを固定した状態でメール本文のみを行単位でスクロールしたとしても、それ以外の表示方法はなく、表現方法が乏しいという問題がある。また、上述した特許文献３による従来技術では、音声データをテキストへ変換する音声認識技術などが開示されているが、変換したテキストの表示方法などについては何ら記述されていない。また、特許文献４による従来技術では、変換したテキストの表示方法については、単に画像データに重ねて表示するか、異なる領域に表示するとしており、それ以外の表示方法はなく、表現方法が乏しく、画像データおよびテキストデータの視認性を向上させることができない。
【００１１】
また、従来のデジタルカメラや携帯電話においては、上述した携帯電話のように画像データの再生中に、これら画像データに埋め込まれた音声データをテキストに変換し、該テキストを文字として表示させる技術は提案されていない。仮に、特許文献１ないし４に記載されている従来技術をデジタルカメラや携帯電話に適用したとしても、上述した課題、すなわち画像が見にくくなる、表現方法が乏しいという課題が残ってしまうという問題があった。
【００１２】
そこで本発明は、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができる情報機器、デジタルカメラおよびデータ表示方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的達成のため、請求項１記載の発明による情報機器は、音声データが付加された画像データを再生表示する情報機器において、画像データを表示する表示手段と、画像データに付加された音声データを認識して文字データに変換する音声認識手段と、前記音声認識手段により変換された文字データを、前記表示手段に表示されている画像データに重ねて表示させる文字表示制御手段とを具備することを特徴とする。
【００１４】
また、好ましい態様として、例えば請求項２記載のように、請求項１記載の情報機器において、前記音声認識手段により変換された文字データが前記表示手段の一画面内に表示可能である否かを判断する判断手段を備え、前記文字表示制御手段は、前記判断手段により文字データが一画面上に入りきらないと判断された場合、文字データをスクロール表示させるようにしてもよい。
【００１５】
また、好ましい態様として、例えば請求項３記載のように、請求項１記載の情報機器において、前記文字表示制御手段は、前記判断手段により文字データが一画面上に入りきると判断された場合、文字データの全文を一画面上に表示させるようにしてもよい。
【００１６】
また、好ましい態様として、例えば請求項４記載のように、請求項１記載の情報機器において、前記文字表示制御手段は文字データの文字サイズを縮小する縮小手段を備え、前記文字表示制御手段は、前記判断手段により文字データが１画面上に入りきらないと判断された場合、前記縮小手段により文字サイズが縮小された文字データの全文を一画面上に表示させるようにしてもよい。
【００１７】
また、好ましい態様として、例えば請求項５記載のように、請求項１記載の情報機器において、前記文字表示制御手段は文字データに含まれる語彙を短縮語に置換する短縮語置換手段を備え、前記文字表示制御手段は、前記判断手段により文字データが一画面上に入りきらないと判断された場合、前記短縮語置換手段により語彙が置換された文字データの全文を一画面上に表示させるようにしてもよい。
【００１８】
また、好ましい態様として、例えば請求項６記載のように、請求項１ないし５のいずれかに記載の情報機器において、前記音声認識手段により変換された文字データを所定の長さで分割する分割手段を更に備え、前記文字表示制御手段は、前記分割手段により分割された文字データ毎に所定のタイミングで、前記表示手段に表示されている静止画あるいは動画に重ねて表示させるようにしてもよい。
【００１９】
また、好ましい態様として、例えば請求項７記載のように、請求項６記載の情報機器において、前記文字表示制御手段は、画像データの再生時間に基づいて、前記分割手段により分割された文字データ毎に表示時間を設定する表示時間設定手段を備え、前記分割手段により分割された文字データ毎に、前記表示時間設定手段により設定された表示時間に基づいて表示させるようにしてもよい。
【００２０】
また、好ましい態様として、例えば請求項８記載のように、請求項６または７に記載の情報機器において、前記表示手段に表示されている文字データの切換指示を行なう指示手段を更に備え、前記文字表示制御手段は、前記指示手段から切換指示があると、前記表示手段に表示されている文字データを、前記分割手段により分割された次の文字データに切り換えるようにしてもよい。
【００２１】
また、好ましい態様として、例えば請求項９記載のように、請求項１ないし８のいずれかに記載の情報機器において、画像データを撮影する撮影手段と、音声を記録する音声記録手段と、前記撮影手段により撮影された画像データに前記音声記録手段により記録された音声データを埋め込む埋め込み手段とを具備し、前記音声認識手段は、前記撮影手段により撮影された画像データに埋め込まれている音声データを認識して文字データに変換するようにしてもよい。
【００２２】
また、好ましい態様として、例えば請求項１０記載のように、請求項１ないし８のいずれかに記載の情報機器において、通信回線網を介して機器間でメールを送受信するメール送受信手段を具備し、前記音声認識手段は、前記メール送受信手段により送受信されるメールに添付されている画像データに埋め込まれている音声データを認識して文字データに変換するようにしてもよい。
【００２３】
上記目的達成のため、請求項１１記載の発明によるデータ表示方法は、音声データが埋め込まれた画像データを再生表示するデータ表示方法において、前記画像データに埋め込まれた音声データを認識して文字データに変換し、該文字データを、前記画像データに重ねて表示させることを特徴とする。
【００２４】
また、好ましい態様として、例えば請求項１２記載のように、請求項１１記載のデータ表示方法において、前記文字データが一画面内に表示可能である否かを判断し、文字データが一画面上に入りきらないと判断された場合、文字データをスクロール表示させるようにしてもよい。
【００２５】
また、好ましい態様として、例えば請求項１３記載のように、請求項１１記載のデータ表示方法において、前記文字データが一画面上に入りきると判断された場合、文字データの全文を一画面上に表示させるようにしてもよい。
【００２６】
また、好ましい態様として、例えば請求項１４記載のように、請求項１１記載のデータ表示方法において、前記文字データが１画面上に入りきらないと判断された場合、文字データの文字サイズを縮小し、縮小された文字データの全文を一画面上に表示させるようにしてもよい。
【００２７】
また、好ましい態様として、例えば請求項１５記載のように、請求項１１記載のデータ表示方法において、前記文字データが一画面上に入りきらないと判断された場合、文字データに含まる語彙を短縮語に置換し、短縮語に置換された文字データの全文を一画面上に表示させるようにしてもよい。
【００２８】
また、好ましい態様として、例えば請求項１６記載のように、請求項１１ないし１５のいずれかに記載のデータ表示方法において、前記文字データを所定の長さで分割し、分割された文字データ毎に、前記静止画あるいは動画に重ねて表示させるようにしてもよい。
【００２９】
また、好ましい態様として、例えば請求項１７記載のように、請求項１６記載のデータ表示方法において、前記静止画あるいは動画の再生時間に基づいて、前記分割された文字データ毎に表示時間を設定し、分割された文字データ毎に、前記設定された表示時間に基づいて表示させるようにしてもよい。
【００３０】
また、好ましい態様として、例えば請求項１８記載のように、請求項１６または１７に記載のデータ表示方法において、前記文字データの切換指示があると、画面上に表示されている文字データを、分割された次の文字データに切り換えるようにしてもよい。
【００３１】
また、好ましい態様として、例えば請求項１９記載のように、請求項１１ないし１８のいずれかに記載のデータ表示方法において、前記画像データは、撮影手段により撮影されたものであり、前記音声データは、音声記録手段により記録されたものであってもよい。
【００３２】
また、好ましい態様として、例えば請求項２０記載のように、請求項１１ないし１８のいずれかに記載のデータ表示方法において、前記画像データは、通信回線網を介して機器間で送受信されるメールに添付されたものであってもよい。
【００３３】
上記目的達成のため、請求項２１記載の発明によるデジタルカメラは、画像データを撮影する撮影手段と、音声を記録する音声記録手段と、前記撮影手段により撮影された画像データに前記音声記録手段により記録された音声データを埋め込む埋め込み手段と、前記画像データを表示する表示手段と、前記画像データに埋め込まれた音声データを認識して文字データに変換する音声認識手段と、前記音声認識手段により変換された文字データを、前記表示手段に表示されている画像データに重ねて表示させる文字表示制御手段とを具備したことを特徴とする。
【００３４】
上記目的達成のため、請求項２２記載の発明による情報機器は、通信回線網を介して機器間でメールを送受信するメール送受信手段と、前記メール送受信手段により送受信されるメールに添付されている画像データに埋め込まれている音声データを認識して文字データに変換する音声認識手段と、前記音声認識手段により変換された文字データを、前記メールに添付されている画像データに重ねて表示させる表示制御手段とを具備したことを特徴とする。
【００３５】
また、好ましい態様として、例えば請求項２３記載のように、請求項２２記載の情報機器において、前記情報機器は、携帯電話機であってもよい。
【００３６】
また、好ましい態様として、例えば請求項２４記載のように、請求項２２または２３のいずれかに記載の情報機器において、前記音声認識手段は、前記メールに添付されている画像データに埋め込まれている音声データを可聴音に変換せずに認識するようにしてもよい。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態を、デジタルカメラに適用した一実施例として、図面を参照して説明する。
【００３８】
Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、レンズ１は、いわゆる写真レンズであり、被写体を光学的に撮影し、ＣＣＤ２上に結像する。ＣＣＤ２は、電荷をアレイ状に転送するＭＯＳ（ｍｅｔａｌ−ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）構造のデバイスで、タイミング発生器（ＴＧ）３、垂直ドライバ４によって駆動され、一定周期毎に光電変換出力を１画面分出力する。タイミング発生器３および垂直ドライバ４は、ＣＣＤ２の読み出しに必要なタイミング信号を生成する。サンプルホールド回路（Ｓ／Ｈ）５は、ＣＣＤ２から読み出された時系列的なアナログ信号を、ＣＣＤ２の解像度に適合した周波数でサンプリングする。Ａ／Ｄ変換器６は、サンプリングされた信号をデジタル信号（ベイヤーデータ）に変換する。
【００３９】
カラープロセス回路７は、Ａ／Ｄ変換器６の出力から輝度・色差マルチプレクス信号（以下、ＹＵＶ信号と言う）を生成するためのカラープロセス処理を行なう。カラープロセス処理では、上記ベイヤーデータがＲ，Ｇ，Ｂデータに変換され、さらに、デジタルの輝度、色差マルチプレクス信号（Ｙ，Ｃｂ，Ｃｒデータ）に変換される。
【００４０】
ＤＭＡコントローラ８は、カラープロセス回路７とＤＲＡＭ１０（正確にはＤＲＡＭインターフェース９）との間のデータ転送を、ＣＰＵ１１の介在なしに行なうものであり、いわゆるダイレクト・メモリ転送（ＤＭＡ：ｄｉｒｅｃｔ  ｍｅｍｏｒｙ  ａｃｃｅｓｓ）を行なうものである。ＤＭＡコントローラ８は、カラープロセス回路７のＹ，Ｃｂ，Ｃｒデータ出力を、同じくカラープロセス回路７の同期信号、メモリ書き込みイネーブル、クロック出力を用いて、一度、ＤＭＡコントローラ８内部のバッファに書き込み、ＤＲＡＭインターフェース（ＤＲＡＭＩ／Ｆ）９を介してＤＲＡＭ１０にＤＭＡ転送を行なう。ＤＲＡＭインターフェース９は、ＤＲＡＭ１０とＤＭＡコントローラ８との間の信号インターフェース、およびＤＲＡＭ１０とバスとの間の信号インターフェースをとるものである。ＤＲＡＭ１０は、ＤＲＡＭインターフェース９を介してＤＭＡコントローラ８からＤＭＡ転送される画像データ（Ｙ，Ｃｂ，Ｃｒデータ）を蓄積する。
【００４１】
ＣＰＵ１１は、プログラムＲＯＭ２０に記録された、所定のプログラムを実行してカメラの動作を集中制御するものであり、メインスイッチ、記録／再生モード切り換えスイッチ、機能選択キー、シャッターキーなどの実施ボタンを含む操作部１６が接続されている。記録モードでは、そのモード用のプログラムが、また、再生モードでは、そのモード用のプログラムがプログラムＲＯＭ２０からＣＰＵ１１の内部のＲＡＭにロードされて実行される。ＣＰＵ１１は、上記画像データ（Ｙ，Ｃｂ，Ｃｒデータ）のＤＲＡＭ１０へのＤＭＡ転送終了後に、該画像データ（Ｙ，Ｃｂ，Ｃｒデータ）を、ＤＲＡＭインターフェース９を介してＤＲＡＭ１０から読み出し、ＶＲＡＭコントローラ１２を介してＶＲＡＭ１３に書き込む。
【００４２】
ＣＰＵ１１は、上記シャッターキーが押下された記録保存の状態では、ＤＲＡＭ１０に書き込まれている１フレーム分のＹ，Ｃｂ，Ｃｒデータを、ＤＲＡＭインターフェース９を介して、Ｙ，Ｃｂ，Ｃｒの各コンポーネント毎にＭＣＵ単位で、１フレームを８０×６０ブロック（「０」〜「４７９９」）に分割した、１６×１６ピクセルからなるＭＣＵブロック毎に読み出して、さらに付加する画像のＭＣＵブロックを挿入してＪＰＥＧ処理部１７に送る。該ＪＰＥＧ処理部１７に送られた画像データは、ＤＣＴ変換、量子化、符号化といった処理を経て圧縮される。ＣＰＵ１１は、圧縮後の画像データに、ヘッダ情報を付加して、不揮発性メモリであるフラッシュメモリ１８に書き込む。上記ヘッダ情報には、画像に関する情報などが含まれる。
【００４３】
上記ＤＣＴ変換では、上記ＭＣＵブロックのデータ（以下、単にＭＣＵデータという）は、所定ピクセルからなるブロックの輝度成分データと、所定ピクセルからなるブロックの色差成分データとを１組として、個々のブロック毎に、周波数成分の大きさを示すＤＣＴ係数へ変換される。そして、ＣＰＵ１１は、上記１フレーム分のＹ，Ｃｂ，Ｃｒデータの圧縮処理およびフラッシュメモリ１８への全圧縮データの書き込みが終了すると、再度、ＣＣＤ２からＤＲＡＭ１０への経路を起動する。
【００４４】
ＶＲＡＭコントローラ１２は、ＶＲＡＭ１３とバスとの間、およびＶＲＡＭ１３とデジタルビデオエンコーダ１４との間のデータ転送を制御するものであり、表示用画像（プレビュー画像）のＶＲＡＭ１３への書き込みと、同画像のＶＲＡＭ１３からの読み出しを制御する。
【００４５】
ＶＲＡＭ１３は、いわゆるビデオＲＡＭであり、プレビュー画像が書き込まれると、そのプレビュー画像がデジタルビデオエンコーダ１４を介して表示装置１５に送られ、表示されるようになっている。なお、ビデオＲＡＭには、書き込み用と読み出し用の２つのポートを備え、画像の書き込みと読み出しを同時並行的に行なうことができるようになっている。
【００４６】
デジタルビデオエンコーダ（以下、単にビデオエンコーダという）１４は、上記画像データ（Ｙ，Ｃｂ，Ｃｒデータ）を、ＶＲＡＭコントローラ１２を介してＶＲＡＭ１３から周期的に読み出して、該画像データを元にビデオ信号を発生して表示装置１５に出力する。これにより、記録モードの状態における表示装置１５には、現在、ＣＣＤ２から取り込まれている画像情報に基づくスルー画像が表示される。表示装置１５は、例えば２７９×２２０の画素数からなる、カメラ本体の裏側に取り付けられた数インチ程度の小型の液晶パネルである。
【００４７】
ＪＰＥＧ処理部１７は、ＪＰＥＧの圧縮と伸長を行なう部分である。ＪＰＥＧの圧縮パラメータは圧縮処理の都度、ＣＰＵ１１から与えられる。なお、ＪＰＥＧ処理部１７は、処理速度の点で専用のハードウェアにより実現することが好ましいが、ＣＰＵ１１でソフト的に行なうことも可能である。
【００４８】
フラッシュメモリ１８は、書き換え可能な読み出し専用メモリ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）のうち、電気的に全ビット（又はブロック単位）の内容を消して内容を書き直せるものを指す。フラッシュメモリ１８は、カメラ本体から取り外せない固定型であってもよいし、カード型やパッケージ型のように取り外し可能なものであってもよい。
【００４９】
音声認識処理部１９は、撮影した画像データ（静止画像や動画像）、記録されている画像データ（静止画像、動画像など）に埋め込まれた音声、または付加された音声を認識し、テキストに変換する。画像データに埋め込まれた、あるいは付加された音声データは、所定のフォーマット（例えば、ＷＡＶ形式、ＭＰ３形式、ＰＣＭ形式など）により符号化されている。テキスト分割処理部２０は、上記音声認識部１９により変換されたテキストを解析し、句点、読点、もしくは文末を検出してテキストを分割する。
【００５０】
また、プログラムＲＯＭ２１は、ＣＰＵ１１の動作用のプログラム（撮影用プログラムや、静止画・動画再生プログラム、テキスト表示用プログラムなど）や、上記音声認識処理部１９により変換されたテキストを、再生されている静止画像や動画像上に表示する際に、所定の語彙を短縮語彙（例えば、ワールドカップ杯→Ｗ杯など）に変換するための短縮類語データベースを記憶している。ＪＰＥＧ処理部１７は、原画像データを所定の圧縮率で圧縮し、フラッシュメモリ１８に保存する。
【００５１】
ＣＰＵ１１は、上記プログラムＲＯＭ２０の各種プログラムに従って各部を制御する。特に、本実施形態では、ＣＰＵ１１は、撮影した静止画像や動画像、フラッシュメモリ１８に記録されている静止画像、動画像などを再生する際に、音声認識処理部１９により変換され、テキスト分割処理部２０により分割されたテキストを、表示装置１５に再生中の静止画像や動画像上に表示するようになっている。このとき、ＣＰＵ１１は、テキスト長が画面サイズより小さい場合には、そのままセンタリング表示や縦書き表示する。また、テキスト長が画面サイズより大きい（画面に入りきらない）場合には、テキスト文字のフォントを小さいものに変換したり、テキストの語彙を短縮語彙に変換したり、スクロールしたりするなどして表示する。テキストの表示方法、すなわち縮小するか、短縮するかなどは、ユーザによって設定可能となっている。また、本第１実施形態では、再生中の静止画や動画像、および変換されたテキストの双方が見やすいように、１行分のテキスト表示領域を確保して表示するようにしているが、表示装置１５の表示領域の大きさによっては、２行分、あるいは３行分など、複数行のテキスト表示領域を確保して表示するようにしてもよい。
【００５２】
Ａ−２．第１実施形態の動作
次に、上述した第１実施形態によるデジタルカメラの動作について説明する。ここで、図２は、本第１実施形態の動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、撮影した静止画像、フラッシュメモリ１８に記録されている静止画像などを再生する際に、ステップＳ１０で、音声データがあるか否かを判断する。静止画像に音声データがない場合には、当該処理を終了し、通常の再生を行なう。
【００５３】
一方、静止画像に音声データがある場合には、ステップＳ１２で、音声認識処理部１９により静止画像に音声データを認識し、テキストデータに変換する。次に、ステップＳ１４で、テキスト分割処理部２０により、上記テキストデータの句点、読点または文末を認識し、テキストを分割し、ステップＳ１６で、変数Ｎを「１」だけインクリメントする。該変数Ｎは、分割したテキストをカウントするもので、初期値は「０」である。
【００５４】
次に、ステップＳ１８で、縦書き表示モードに設定されているか否かを判断する。縦書き表示にするか否かは、予めユーザにより設定されているものとする。ここで、縦書き表示に設定されている場合には、ステップＳ２０で、表示テキストを縦書き用の文字フォントに変換した後、ステップＳ２２へ進む。一方、縦書き表示に設定されていなければ、そのままステップＳ２２へ進む。
【００５５】
次に、ステップＳ２２では、音声認識により変換されたテキスト長が画面サイズより大であるか否かを判断する。テキスト長が画面サイズと同じか、小さければ、ステップＳ２４で、図４に示すように、再生中の静止画像の下部中央にセンタリング表示する。図示の例では、音声データが「おきなわのうみ」であり、音声認識の結果、テキストが「沖縄の海」となる。そして、この場合、テキスト「沖縄の海」が画面サイズより小さいので、再生画面の下部にセンタリング表示されている。
【００５６】
一方、テキスト長が画面サイズより大である場合には、ステップＳ２６で、縮小モードであるか否かを判断する。そして、縮小モードに設定されている場合には、ステップＳ２８で、縮小可能であるか否か、すなわち既に最小文字サイズになっていないかを判断する。そして、縮小可能であるならば、ステップＳ３０で、テキストの文字サイズを縮小し、ステップＳ２２へ戻り、上述した処理を繰り返し、ステップＳ２８で、文字サイズを段階的に縮小し、テキスト長が画面サイズと同じか、小さくなれば、ステップＳ２４で、図５に示すように、再生中の静止画像の下部中央にセンタリング表示する。
【００５７】
一方、縮小過程で、これ以上縮小すると、判読が難しくなるサイズまで縮小しても、画面サイズより小さくならなければ、後述する短縮処理（ステップＳ３４）へ進む。
【００５８】
一方、縮小モードに設定されていない場合には、ステップＳ３２で、短縮モードであるか否かを判断する。そして、短縮モードに設定されていない場合には、ステップＳ４０で、図６（ａ）〜（ｃ）に順次示すように、再生画面の下部に、右から左へ流れるようにスクロール表示する。
【００５９】
一方、短縮モードに設定されている場合には、ステップＳ３４で、短縮類語データベースを検索し、ステップＳ３６で、マッチングするか否かを判断する。そして、マッチングする語彙があれば、ステップＳ３８で、その語彙を短縮語彙に変換し、ステップＳ２２へ戻り、上述した処理を繰り返し、ステップＳ３２で、テキストに含まれる語彙を短縮語彙に変換し、テキスト長が画面サイズと同じか、小さくなれば、ステップＳ２４で、再生中の静止画像または動画像の下部中央にセンタリング表示する。図７には、テキストに含まれる語彙「ワールドカップ」が短縮語彙「Ｗ杯」に変換される様子を示している。
【００６０】
一方、テキストに含まれる語彙を短縮語彙に変換し、短縮すべき語彙がなくなり、かつテキスト長が画面サイズより大きい場合、例えば、図７に示すテキストの場合には、ステップＳ４０で、図８に示すように、テキストをスクロール表示する。
【００６１】
次に、ステップＳ４２で、所定のキー操作が行なわれたか否かを判断し、所定のキー操作が行なわれるまで待機し、テキストを画面上に表示させておく。スクロール表示の場合には、一旦、一文のスクロールが終わっても、再度、スクロールを繰り返す。
【００６２】
そして、画面上にテキストを表示させた状態で、所定のキー操作が行なわれると、ステップＳ４４で、テキストが終了であるか否かを判断し、まだ、表示すべきテキストがあれば、ステップｓ１６へ戻り、変数Ｎを「１」だけインクリメントし、前述した処理に従って、次の分割したテキストの再生を行なう。一方、分割したテキストの全てを表示し終えれば、当該処理を終了する。
【００６３】
また、図９には、表示テキストを縦書き用の文字フォントに変換する様子を示しており、図１０には、再生画面上に縦書きでテキストを表示する様子を示している。縦書きテキストについても、前述したセンタリング、縮小、短縮、スクロール表示のいずれもが有効である。
【００６４】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
Ｂ−１．第２実施形態の構成
なお、デジタルカメラの構成は、図１に示す第１実施形態によるデジタルカメラと同様であるので説明を省略する。本第２実施形態では、前述した第１実施形態の動作に加えて、動画に添付された音声の表示を制御することを特徴としている。静止画であれば、再生時間の長短を考慮せずに、静止画を表示した状態で、テキストを表示すればよいが、動画の場合、可能な限り、動画再生時間内で全てのテキストを表示することが望ましい。但し、再生時間が短いような場合には、テキスト一文の表示時間が短くなる可能性があり、あまり短いと、判読するのが難しくなるので、容易に判読できるような手段が必要となる。そこで、本第２実施形態では、動画再生時間内で、全てのテキストを表示させつつ、表示時間が短くなるようなテキストについては、判読可能とすることを優先し、全体として、円滑に、かつ容易に動画に添付された音声をテキスト表示する手段を提供する。
【００６５】
Ｂ−２．第２実施形態の動作
ここで、図１１および図１２は、本発明の第２実施形態の動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、撮影した動画像、フラッシュメモリ１８に記録されている動画像などを再生する際に、ステップＳ６０で、動画像に添付された音声データがあるか否かを判断する。動画像に添付された音声データがない場合には、当該処理を終了し、通常の動画再生を行なう。
【００６６】
一方、動画像に添付された音声データがある場合には、ステップＳ５２で、音声認識処理部１９により静止画像、動画像に音声データを認識し、テキストデータに変換する。次に、ステップＳ５４で、動画像の再生時間Ｔを取得する。そして、ステップＳ５６で、テキスト分割処理部２０により、上記テキストデータの句点、読点または文末を認識してテキストを分割し、ステップＳ５８で、分割数おび動画再生時間に従って、各分割テキストの表示時間を自動的に算出する。本第２実施形態では、例えば、分割数が３つであれば、動画再生時間を３分割するという単純な演算により、各分割テキストの表示時間を算出する。これ以外には、分割テキストの長さ（文字数）に応じて、表示時間を長くしたり短くしたりするようにしてもよい。
【００６７】
次に、ステップＳ６０で、動画の再生が終了したか否かを判断し、再生が終了していれば、当該処理を終了する。一方、再生が終了していなければ、ステップＳ６２で、変数Ｎを「１」だけインクリメントする。該変数Ｎは、分割したテキストをカウントするもので、初期値は「０」である。次に、ステップＳ６４で、テキストの表示時間を計時する表示カウンタをスタートする。
【００６８】
次に、ステップＳ６６で、変数Ｎで示される、分割テキスト長（文字数）が画面サイズより大であるか否かを判断する。そして、テキスト長が画面サイズと同じか、小さければ、ステップＳ６８で、再生中の動画像の下部中央にセンタリング表示する。
【００６９】
一方、テキスト長が画面サイズより大である場合には、ステップＳ７０で、縮小モードであるか否かを判断する。そして、縮小モードに設定されている場合には、ステップＳ７２で、縮小可能であるか否か、すなわち既に最小文字サイズになっていないかを判断する。そして、縮小可能であるならば、ステップＳ７４で、テキストの文字サイズを縮小し、ステップＳ６６へ戻り、上述した処理を繰り返し、ステップＳ７４で、文字サイズを段階的に縮小し、テキスト長が画面サイズと同じか、小さくなれば、ステップＳ６８で、再生中の動画像の下部中央にセンタリング表示する。
【００７０】
一方、縮小過程で、これ以上縮小すると、判読が難しくなるサイズまで縮小しても、画面サイズより小さくならなければ、短縮処理（ステップＳ７８）へ進む。
【００７１】
一方、縮小モードに設定されていない場合には、ステップＳ７６で、短縮モードであるか否かを判断する。そして、短縮モードに設定されていない場合には、ステップＳ８４で、再生画面の下部に、右から左へ流れるようにスクロール表示する。
【００７２】
一方、短縮モードに設定されている場合には、ステップＳ７８で、短縮類語データベースを検索し、ステップＳ８０で、マッチングするか否かを判断する。そして、マッチングする語彙があれば、ステップＳ８２で、その語彙を短縮語彙に変換し、ステップＳ６６へ戻り、上述した処理を繰り返し、ステップＳ８２で、テキストに含まれる語彙を短縮語彙に変換し、テキスト長が画面サイズと同じか、小さくなれば、ステップＳ６８で、再生中の動画像の下部中央にセンタリング表示する。
【００７３】
一方、テキストに含まれる語彙を短縮語彙に変換し、短縮すべき語彙がなくなり、かつテキスト長が画面サイズより大きい場合には、ステップＳ８４で、テキストをスクロール表示する。
【００７４】
次に、ステップＳ８６で、表示時間が終了したか否かを判断し、終了していなければ、ステップＳ８８で、所定のキー操作が行なわれたか否かを判断し、所定のキー操作が行なわれなければ、分割したテキストの表示を継続する。一方、表示時間内に所定のキー操作が行なわれると、ステップＳ６０へ戻り、動画再生が終了していなければ、変数Ｎを「１」だけインクリメントし、前述した処理に従って、次の分割したテキストの表示を行なう。これは、動画再生時間がテキストの長さに比べて十分に長い場合、１つ１つの分割されたテキストの表示時間が長くなりすぎて冗長になってしまうためで、この場合、ユーザが所定のキー操作を行なうことで、次の分割したテキストの表示へ移行させることが可能となっている。
【００７５】
一方、表示時間が終了すると、ステップＳ９０で、該分割したテキストに対する表示時間が所定時間（例えば、２秒）より短いか否かを判断する。これは、分割したテキストの表示時間が極端に短いと、判読するのが難しくなるためにである。そして、表示時間が所定時間以上であれば、ステップＳ９２で、テキストが終了であるか否かを判断し、まだ、表示すべきテキストがあれば、ステップＳ６０へ戻り、動画再生が終了していなければ、変数Ｎを「１」だけインクリメントし、前述した処理に従って、次の分割したテキストの表示を行なう。一方、分割したテキストの全てを表示し終えれば、当該処理を終了する。
【００７６】
一方、分割したテキストに対する表示時間が所定時間より短い場合には、判読が難しい可能性があるので、ステップＳ９４で、動画再生を一時停止する。そして、ステップＳ９６で、所定のキー操作が行なわれたか否かを判断し、所定のキー操作が行なわれるまで待機し、動画再生を一時停止するとともに、分割テキストを画面上に表示させておく。スクロール表示の場合には、動画再生を一時停止するとともに、分割テキストのスクロールを繰り返す。
【００７７】
そして、一時停止した再生動画上にテキストを表示させた状態で、所定のキー操作が行なわれると、ステップＳ９８で、テキストが終了であるか否かを判断し、まだ、表示すべきテキストがあれば、ステップＳ１００で、動作再生の一時停止を解除し（再生を再開し）、ステップＳ６０へ戻り、動画再生が終了していなければ、変数Ｎを「１」だけインクリメントし、前述した処理に従って、次の分割したテキストの再生を行なう。一方、分割したテキストの全てを再生し終えれば、当該処理を終了する。
【００７８】
なお、上述した第２実施形態では、縦書きについて説明しなかったが、第１実施形態と同様に、縦書きテキストについても、前述したセンタリング、縮小、短縮、スクロール表示のいずれもが有効である。
【００７９】
Ｃ．第３実施形態
次に、本発明の第３実施形態を、カメラ付き携帯電話に適用した一実施例として、図面を参照して説明する。
【００８０】
Ｃ−１．第３実施形態の構成
図１３（ａ），（ｂ）は、携帯電話１の外観を示す模式図である。本第３実施形態における携帯電話１は、蓋部と本体部からなる二つ折り構造であり、図１３（ａ）は、携帯電話１を開いた状態での正面図を示し、図１３（ｂ）は、携帯電話１を開いた状態での背面図を示したものである。アンテナ１１は、蓋部の背面に設けられており、伸縮自在となっている。スピーカ１２は、蓋部の前面側に設けられており、音声出力を行なう。表示部（メイン表示部）１３は、カラーＬＣＤ（液晶表示器）であり、１２０ドット（幅）×１６０ドット（高さ）である。該表示部１３には、画像付き（背景画付き）メールの画像（写真）と本文とを同時に表示可能となっている。
【００８１】
キー操作部１４は、本体部の前面に設けられており、メールキー１４１、アドレスキー１４２、カメラキー１４３、サブメニューキー１４４、十字キー（４方向カーソルキー）１４５、センターキー（決定キー）１４６、オフフックキー１４７、オンフックキー１４８、テンキー１４９などからなる。メールキー１４１は、メール機能を起動し、メールメニューを表示するためのものである。アドレスキー１４２は、送信先のメールアドレスや発呼先の電話番号などを選択する際に用いるアドレス帳を開くためのものである。カメラキー１４３は、カメラ機能を起動し、カメラメニューを表示するためのものである。なお、このカメラキー１４３は、メール作成モードやメール表示モードにおいてメール本文と背景画像とを重ね合わせて表示しているときには、表示をメール本文のみにしたり背景画像のみにしたりする表示切換キーとしての機能を備えている。
【００８２】
サブメニューキー１４４は、各機能におけるサブメニューを表示させるためのものである。十字キー１４５は、各機能において表示されたメニューの中から所望のメニューを選択したり、テンキーでデータを入力する際にデータ入力位置をシフトさせたりするためのものである。センターキー（決定キー）１４６は十字キー１４５の操作で選択されたメニューなどを確定するためのものである。オフフックキー１４７は通話を開始するためのものであり、オンフックキー１４８通話を終了するためのものである。テンキー１４９は、電話番号や文字の入力の際に使用するものである。マイク１５は、本体部の下部に設けられており、音声入力を行なう。
【００８３】
サブ表示部１６は、蓋部の背面に設けられている。背面キー１７は、透明、または半透明部材で構成され、着信の際、発光するＬＥＤ１７１を内蔵している。撮像レンズ１８は、蓋部２の背面、上記サブ表示部１６の下部に設けられている。報知スピーカ１９は、着信などを報知するものであり、蓋部を本体部に閉じた状態でも報知音が聞こえるように、本体部の裏面に配置されている。
【００８４】
次に、図１４は、携帯電話１の回路構成を示すブロック図である。無線送受信部２０は、無線によりアンテナ１１を介して音声やデータ（メールデータ）を送受する。無線信号処理部２１は、無線送受信部２０で受信した音声やデータ（メールデータ）を復調し、あるいは無線送受信部２０へ送信するための音声やデータを変調するなどの無線通信に必要な処理をする。制御部２２は、各種動作および全体の動作を制御する。
【００８５】
画像メモリ２３は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像され、画像処理プログラム領域２４１３に格納されたプログラムにより圧縮符号化された画像ファイルを格納するためのメモリである。ＲＯＭ２４は、書換可能なＦｌａｓｈ  ＲＯＭで構成され、本発明の特徴となる、後述の各種プログラムを格納する。
【００８６】
ドライバ２５は、表示部１３を駆動させる。ドライバ２６は、サブ表示部１６を駆動させる。加入者情報記憶部２７は、本携帯電話１を呼び出すための電話番号や、操作者（加入者）のＩＤ等、プロフィールデータを格納する。ＲＯＭ２８は、制御部１８を制御する各種プログラムなどを格納する。ＲＡＭ２９は、無線通信端末として必要な各種データを記憶し、かつ制御部２５が動作する上で必要なデータを格納するとともに、メールデータやメールに添付された画像データなどを格納記憶する。
【００８７】
音声信号処理部２００は、マイク１５から入力された音声信号を符号化処理して無線信号処理部２１へ出力したり、無線信号処理部２１から入力された通信相手からの音声信号を復号化してスピーカ１２を駆動させ、音声を出力する。撮像モジュール１８１は、ＣＣＤ、若しくはＣＭＯＳで構成され、カラー画像を取り込む。ＤＳＰ１８２は、撮像モジュール１８１に取り込まれた画像を符号化処理する。報知ドライバ１９２は、報音スピーカ１９、バイブレータ１９１、ＬＥＤ１７１を駆動させるためのドライバである。
【００８８】
Ｃ−２．第３実施形態の動作
次に、本第３実施形態による携帯電話の動作について説明する。ここで、図１５は、本第３実施形態による携帯電話の動作を説明するためのフローチャートである。また、図１６および図１７は、携帯電話の表示例を示す模式図である。
携帯電話では、ステップＳ１１０で、メールを受信したか否か、あるいはステップＳ１１２で、メールの受信フォルダの選択が検出されたか否かを判断する。そして、メールを受信したか、あるいは受信フォルダが選択されると、ステップＳ１１４で、受信リストを表示する。
【００８９】
図１６は、表示部１３に表示される受信リストの表示例を示す模式図である。アイコン１３０１は、バッテリの充電量を表わしている。また、アイコン１３０２は、電波受信状態を表わしている。また、受信リストでは、アイコン１３０３〜１３０６でメールの既読／未読を判別できるようになっている。すなわち、アイコン１３０３は、未読メールを表わしている。また、アイコン１３０４は、未読の画像付きメールを表わしている。また、アイコン１３０５は、既読メールを表わしている。そして、アイコン１３０６は、既読の画像付きメールを表わしている。
【００９０】
そして、ステップＳ１１６で、制御部２２は、画像付きメールが選択されたか否かを判断し、画像付きメールが選択されなかった場合には、ステップＳ１１８で、通常のメール処理へ進む。一方、画像付きメールが選択された場合には、ステップＳ１２０で、図１７（ａ）に示すように、メールに添付されている画像を背景にしてメール本文を表示部１３に表示する。このとき、メール本文がよく見えるように、画像の明度を変えたり、メール本文の文字色を変えたりするようにしてもよい。
【００９１】
画像付きメールが選択されて、メールに添付されている画像を背景にしてメール本文が表示部１３に表示されている状態では、次に、ステップＳ１２２で、キャンセル操作が検出されたか否かを判断するとともに、ステップＳ１２４で、カメラキー１４３が操作されたか否かを判断する。
【００９２】
これらの判断において何れの操作も検出されなかった場合には、ステップＳ１２０へ戻って、図１７（ａ）に示すように、メール本文が重ねられた画像の表示を継続する。一方、キャンセル操作が検出された場合には、ステップＳ１１４へ戻って受信リストの表示へ移行する。
【００９３】
一方、カメラキー１４３が操作された場合には、ステップＳ１２６で、メール本文の表示を徐々に消し、図１７（ｂ）に示すように、背景画像のみの表示にする。その後、第１実施形態で説明した、図２に示すステップＳ１０へ進み、画像データに音声データが添付されているか否かを判断し、音声データが添付されている場合には、音声データを音声認識によりテキストに変換し、図１７（ｃ）に示すように、画像データ上に重ねてテキストを表示する。このとき、第１実施形態と同様に、テキストの長さに応じて、センタリング、縮小、短縮、スクロール表示を行なう。なお、本第３実施形態においても、静止画だけでなく、動画についても同様の処理が可能である。
【００９４】
なお、上述した第１ないし第３実施形態では、画像データに付加されていた音声データをテキストに変換し、センタリング、縮小、短縮、スクロール表示を行なう際、元の音声データの再生出力について説明しなかったが、元の音声データを音声として出力するか、出力しなかをユーザが状況に応じて選択できるようにしてもよい。
【００９５】
また、上述した第１ないし第３実施形態では、デジタルカメラ、カメラ付き携帯電話について説明したが、これに限らず、音声データが付加された画像（静止画、動画）を再生する機能を有する機器であれば適用可能である。例えば、近年、ハードディスクなどの大容量記憶媒体と表示装置とを備え、デジタルカメラやカメラ付き携帯電話で撮影した画像データ（静止画、動画）を記憶する記録媒体を装着すると、記録媒体から画像データを大容量記憶媒体に転送する、いわゆるバックアップする情報機器が実用化されている。
【００９６】
このような情報機器においては、大容量記録媒体に画像データをバックアップするだけでなく、バックアップした画像データを表示装置に表示（スライド表示なども可能）することができるようになっている。この場合、本発明の実施形態として説明してきた、音声認識機能、テキスト表示機能を付加することにより、上述した情報機器においても、バックアップした画像データを表示する際に、画像データに音声データが付加されていた場合、その音声データをテキストに変換し、画像データ上に重ねて表示させることが可能となる。
【００９７】
【発明の効果】
請求項１記載の発明によれば、表示手段に画像データを表示する際、音声認識手段により、画像データに付加された音声データを認識して文字データに変換し、文字表示制御手段により、変換された文字データを、前記表示手段に表示されている画像データに重ねて表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができるという利点が得られる。
【００９８】
また、請求項２記載の発明によれば、判断手段により、前記音声認識手段により変換された文字データが前記表示手段の一画面内に表示可能である否かを判断し、前記文字表示制御手段により、前記判断手段により文字データが一画面上に入りきらないと判断された場合、文字データをスクロール表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【００９９】
また、請求項３記載の発明によれば、前記文字表示制御手段により、前記判断手段により文字データが一画面上に入りきると判断された場合、文字データの全文を一画面上に表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１００】
また、請求項４記載の発明によれば、前記判断手段により文字データが１画面上に入りきらないと判断された場合、前記文字表示制御手段により、前記縮小手段により文字サイズが縮小された文字データの全文を一画面上に表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０１】
また、請求項５記載の発明によれば、前記判断手段により文字データが一画面上に入りきらないと判断された場合、前記文字表示制御手段により、前記短縮語置換手段により語彙が置換された文字データの全文を一画面上に表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０２】
また、請求項６記載の発明によれば、分割手段により、前記音声認識手段により変換された文字データを所定の長さで分割し、前記文字表示制御手段により、前記分割手段により分割された文字データ毎に、所定のタイミングで、前記表示手段に表示されている静止画あるいは動画に重ねて表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０３】
また、請求項７記載の発明によれば、表示時間設定手段により、画像の再生時間に基づいて、前記分割手段により分割された文字データ毎に表示時間を設定し、前記文字表示制御手段により、前記分割手段により分割された文字データ毎に、前記表示時間設定手段により設定された表示時間に基づいて表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０４】
また、請求項８記載の発明によれば、指示手段により、前記表示手段に表示されている文字データの切換指示を行ない、前記文字表示制御手段により、前記指示手段から切換指示があると、前記表示手段に表示されている文字データを、前記分割手段により分割された次の文字データに切り換えるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０５】
また、請求項９記載の発明によれば、埋め込み手段により、音声記録手段により記録した音声データを、撮影手段により画像データに埋め込み、前記音声認識手段により、前記撮影手段により撮影された画像データに埋め込まれている音声データを認識して文字データに変換するようにしたので、デジタルカメラや携帯電話などが備えるカメラによって撮影した画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【０１０６】
また、請求項１０記載の発明によれば、前記音声認識手段により、前記メール送受信手段により通信回線網を介して機器間で送受信されるメールに添付されている画像データに埋め込まれている音声データを認識して文字データに変換するようにしたので、携帯電話などの通信機器によって受信されたメールに添付されている画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【０１０７】
また、請求項１１記載の発明によれば、画像データに埋め込まれた音声データを認識して文字データに変換し、該文字データを、前記画像データに重ねて表示させるようにしたので、画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【０１０８】
また、請求項１２記載の発明によれば、前記文字データが一画面内に表示可能である否かを判断し、文字データが一画面上に入りきらないと判断された場合、文字データをスクロール表示させるようにしたので、画像データに埋め込まれた音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０９】
また、請求項１３記載の発明によれば、前記文字データが一画面上に入りきると判断された場合、文字データの全文を一画面上に表示させるようにしたので、画像データに埋め込まれた音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１１０】
また、請求項１４記載の発明によれば、前記文字データが１画面上に入りきらないと判断された場合、文字データの文字サイズを縮小し、縮小された文字データの全文を一画面上に表示させるようにしたので、画像データに埋め込まれた音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１１１】
また、請求項１５記載の発明によれば、前記文字データが一画面上に入りきらないと判断された場合、文字データに含まる語彙を短縮語に置換し、短縮語に置換された文字データの全文を一画面上に表示させるようにしたので、画像データに埋め込まれた音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１１２】
また、請求項１６記載の発明によれば、前記文字データを所定の長さで分割し、分割された文字データ毎に、前記静止画あるいは動画に重ねて表示させるようにしたので、画像データに埋め込まれた音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１１３】
また、請求項１７記載の発明によれば、前記静止画あるいは動画の再生時間に基づいて、前記分割された文字データ毎に表示時間を設定し、分割された文字データ毎に、前記設定された表示時間に基づいて表示させるようにしたので、画像データに埋め込まれた音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１１４】
また、請求項１８記載の発明によれば、前記文字データの切換指示があると、画面上に表示されている文字データを、分割された次の文字データに切り換えるようにしたので、画像データに埋め込まれた音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１１５】
また、請求項１９記載の発明によれば、前記画像データを、撮影手段により撮影されたものとし、前記音声データを、音声記録手段により記録されたものとするようにしたので、デジタルカメラや携帯電話などが備えるカメラによって撮影した画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【０１１６】
また、請求項２０記載の発明によれば、前記画像データを、通信回線網を介して機器間で送受信されるメールに添付されたものとしたので、携帯電話などの通信機器によって受信されたメールに添付されている画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【０１１７】
また、請求項２１記載の発明によれば、埋め込み手段により、前記撮影手段により撮影された画像データに前記音声記録手段により記録された音声データを埋め込み、前記画像データを表示手段で表示する際、音声認識手段により、前記画像データに埋め込まれた音声データを認識して文字データに変換し、文字表示制御手段により、変換された文字データを、前記表示手段に表示されている画像データに重ねて表示させるようにしたので、デジタルカメラなどが備えるカメラによって撮影した画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【０１１８】
また、請求項２２記載の発明によれば、音声認識手段により、メール送受信手段により送受信されるメールに添付されている画像データに埋め込まれている音声データを認識して文字データに変換し、表示制御手段により、前記音声認識手段により変換された文字データを、前記メールに添付されている画像データに重ねて表示させるようにしたので、携帯電話などの通信機器によって受信されたメールに添付されている画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【０１１９】
また、請求項２３記載の発明によれば、情報機器を携帯電話としたので、携帯電話によって受信されたメールに添付されている画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【０１２０】
また、請求項２４記載の発明によれば、前記音声認識手段により、前記メールに添付されている画像データに埋め込まれている音声データを可聴音に変換せずに認識するようにしたので、携帯電話などの通信機器によって受信されたメールに添付されている画像データに埋め込まれた音声データを容易に認識可能にすることができるという利点が得られる。
【図面の簡単な説明】
【図１】本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。
【図２】本第１実施形態の動作を説明するためのフローチャートである。
【図３】本第１実施形態の動作を説明するためのフローチャートである。
【図４】テキストをセンタリング表示した状態を示す模式図である。
【図５】文字サイズを縮小してセンタリング表示した状態を示す模式図である。
【図６】テキストをスクロール表示した状態を示す模式図である。
【図７】テキストに含まれる語彙を短縮語に置換する様子を示す概念図である。
【図８】短縮語に置換したテキストをスクロール表示した状態を示す模式図である。
【図９】テキストを縦書きに変換する様子を示す概念図である。
【図１０】テキストを縦書き表示した状態を示す模式図である。
【図１１】本発明の第２実施形態の動作を説明するためのフローチャートである。
【図１２】本発明の第２実施形態の動作を説明するためのフローチャートである。
【図１３】本発明の第３実施形態による携帯電話の外観を示す模式図である。
【図１４】携帯電話の回路構成を示すブロック図である。
【図１５】本第３実施形態による携帯電話の動作を説明するためのフローチャートである。
【図１６】本第３実施形態による携帯電話の表示例を示す模式図である。
【図１７】本第３実施形態による携帯電話の表示例を示す模式図である。
【符号の説明】
１  レンズ
２  ＣＣＤ
３  タイミング発生器
４  垂直ドライバ
５  サンプルホールド回路
６  Ａ／Ｄ変換器
７  カラープロセス回路
８  ＤＭＡコントローラ
９  ＤＲＡＭインターフェース
１０  ＤＲＡＭ
１１  ＣＰＵ（画像表示制御手段、文字表示制御手段、判断手段、縮小手段、短縮語置換手段、分割手段、表示時間設定手段）
１２  ＶＲＡＭコントローラ
１３  ＶＲＡＭ
１４  デジタルビデオエンコーダ
１５  表示装置
１６  操作部（指示手段）
１７  ＪＰＥＧ処理部
１８  フラッシュメモリ
１９  音声認識処理部（音声認識手段）
２０  テキスト分割処理部
２１  プログラムＲＯＭ
【図１】
2004357092.tif 000003
【図２】
2004357092.tif 000004
【図３】
2004357092.tif 000005
【図４】
2004357092.tif 000006
【図５】
2004357092.tif 000007
【図６】
2004357092.tif 000008
【図７】
2004357092.tif 000009
【図８】
2004357092.tif 000010
【図９】
2004357092.tif 000011
【図１０】
2004357092.tif 000012
【図１１】
2004357092.tif 000013
【図１２】
2004357092.tif 000014
【図１３】
2004357092.tif 000015
【図１４】
2004357092.tif 000016
【図１５】
2004357092.tif 000017
【図１６】
2004357092.tif 000018
【図１７】
2004357092.tif 000019