(57)【要約】【課題】環境音を有効に活用する。【解決手段】  音源特定部１５は、集音音声の音源を特定し、情報取得部１６は、音源特定部１５により特定された音源を示す情報に基づいて、集音音声に関連する情報を情報データベース１７から取得する。画像編集部１８は、情報取得部１６が取得した情報を用いて撮影画像を編集し、記録制御部１９は、画像編集部１８にて編集された画像を、集音音声とともに、記録部２０に記録する。本発明は、例えば、撮影画像と集音音声を記録するビデオカメラに適用できる。【選択図】図１
2005234074.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声の音源を特定する音源特定手段と、
前記音源特定手段により特定された前記音源を示す音源情報に基づいて、前記音声に関連する情報を取得する情報取得手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記情報取得手段により取得された情報を、前記音声とともに記録する記録手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段をさらに備え、
前記記録手段は、前記テキストデータも前記音声とともに記録する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
画像を撮影する撮影手段と、
前記撮影手段により取得された前記画像を、前記情報取得手段により取得された前記情報を用いて編集する画像編集手段と、
前記画像編集手段による編集により得られる編集画像を前記音声とともに記録する記録手段と
をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段をさらに備え、
前記画像編集手段は、前記画像を、前記テキストデータも用いて編集する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記情報取得手段により取得された情報を用いて、電子メールのデータを作成するメール作成手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段をさらに備え、
前記メール作成手段は、前記電子メールのデータを、前記テキストデータも用いて作成する
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記情報取得手段により取得した情報を表示する表示手段をさらに備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記音源特定手段は、ネットワークを介して接続された外部の装置に前記音声を処理させることにより、その音源を特定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記情報取得手段は、ネットワークを介して通信を行うことにより、前記情報を取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
入力された音声の音源を特定する音源特定ステップと、
前記音源特定ステップの処理により特定された前記音源を示す音源情報に基づいて、前記音声に関連する情報を取得する情報取得ステップと
を含むことを特徴とする情報処理方法。
【請求項１２】
入力された音声の音源を特定する音源特定ステップと、
前記音源特定ステップの処理により特定された前記音源を示す音源情報に基づいて、前記音声に関連する情報を取得する情報取得ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１３】
入力された音声の音源を特定する音源特定ステップと、
前記音源特定ステップの処理により特定された前記音源を示す音源情報に基づいて、前記音声に関連する情報を取得する情報取得ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法、記録媒体、並びにプログラムに関し、特に、一般的に雑音とされる環境音を有効に活用することができるようにした情報処理装置および情報処理方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、言語音声認識においては、入力された音声から雑音を除去し、さらにスペクトル分析等の音響分析を行い、音響モデルおよび言語モデルを用いて言語音声の認識が行われる。音響モデルは、通常、音素を単位とした音声特徴量パターン分布の統計モデルであり、隠れマルコフモデル（Hidden Malkov Model）が主流である。言語モデルは、単語間の接続関係を規定する。一般的に使用されている言語モデルは、テキストデータベースから単語の連鎖統計を抽出したもので、単語どうしの接続関係を確率値で与える統計的モデルである（例えば、非特許文献１参照）。
【０００３】
なお、音声から雑音を除去する方法、即ち、雑音と言語音声を区別する方法としては、例えば、LPC（線形予測）分析を用いる方法がある。
【０００４】
一方、最近では、画像の編集は、例えば、PC（Personal Computer）等に搭載されている画像編集機能を用いて行うことができる。また、ビデオカメラ本体に搭載されている画像編集機能を用いて、フラッシュメモリ等に記録された画像の編集を行うことができる。
【０００５】
しかしながら、その前提としてユーザ自身がその機能や装置の編集操作方法等を学習する必要があった。さらに、編集作業を行うには、時間が必要とされるため、ユーザにとっては面倒であることがある。
【０００６】
そこで、画像の編集として、音声認識で得られるテキストデータと撮影画像の合成を行うカメラ装置が提案されている（例えば、特許文献１参照）。
【０００７】
【非特許文献１】IPSJ  MAGAZINE  Vol.41  No.4  Apr.2000  P436−439
【０００８】
【特許文献１】特開２００１−２７５０３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来の音声認識においては言語音声の認識が主であり、言語音声以外の音声は雑音として扱われ、除去の対象とされてきたため、言語音声以外の音声（環境音）は有効に活用されていなかった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、環境音を有効に活用することで、ユーザに対して、より好適な情報を提供することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の情報処理装置は、入力された音声の音源を特定する音源特定手段と、音源特定手段により特定された音源を示す音源情報に基づいて、音声に関連する情報を取得する情報取得手段とを備えることを特徴とする。
【００１２】
本発明の情報処理装置は、情報取得手段により取得された情報を、音声とともに記録する記録手段をさらに備えるようにすることができる。
【００１３】
本発明の情報処理装置は、音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段をさらに備え、記録手段は、テキストデータも音声とともに記録するようにすることができる。
【００１４】
本発明の情報処理装置は、画像を撮影する撮影手段と、撮影手段により取得された画像を、情報取得手段により取得された情報を用いて編集する画像編集手段と、画像編集手段による編集により得られる編集画像を音声とともに記録する記録手段とさらに備えるようにすることができる。
【００１５】
本発明の情報処理装置は、音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段をさらに備え、画像編集手段は、画像を、テキストデータも用いて編集するようにすることができる。
【００１６】
本発明の情報処理装置は、情報取得手段により取得された情報を用いて、電子メールのデータを作成するメール作成手段をさらに備えるようにすることができる。
【００１７】
本発明の情報処理装置は、音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段をさらに備え、メール作成手段は、電子メールのデータを、テキストデータも用いて作成するようにすることができる。
【００１８】
本発明の情報処理装置は、情報取得手段により取得した情報を表示する表示手段をさらに備えるようにすることができる。
【００１９】
音源特定手段は、ネットワークを介して接続された外部の装置に音声を処理させることにより、その音源を特定するようにすることができる。
【００２０】
情報取得手段は、ネットワークを介して通信を行うことにより、情報を取得するようにすることができる。
【００２１】
本発明の情報処理方法は、入力された音声の音源を特定する音源特定ステップと、音源特定の処理により特定された音源を示す音源情報に基づいて、音声に関連する情報を取得する情報取得ステップとを含むことを特徴とする。
【００２２】
本発明の記録媒体に記録されているプログラムは、入力された音声の音源を特定する音源特定ステップと、音源特定ステップの処理により特定された音源を示す音源情報に基づいて、音声に関連する情報を取得する情報取得ステップとを含むことを特徴とする。
【００２３】
本発明のプログラムは、入力された音声の音源を特定する音源特定ステップと、音源特定ステップの処理により特定された音源を示す音源情報に基づいて、音声に関連する情報を取得する情報取得ステップとをコンピュータに実行させることを特徴とする。
【００２４】
本発明においては、入力された音声の音源が特定され、その音源を示す音源情報に基づいて、入力された音声に関連する情報が取得される。
【００２５】
なお、ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００２６】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
【発明の効果】
【００２７】
本発明によれば、入力された音声をもとに、入力された音声に関連する情報の取得ができ、ユーザに対して、より好適な情報を提供するこができる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３０】
請求項１に記載の情報処理装置は、入力された音声の音源を特定する音源特定手段（例えば、図１の音源特定部１５）と、音源特定手段により特定された音源を示す音源情報に基づいて、音声に関連する情報を取得する情報取得手段（例えば、図１の情報取得部１６）とを備えることを特徴とする。
【００３１】
請求項２に記載の情報処理装置は、情報取得手段（例えば、図１の情報取得部１６）により取得された情報を、音声とともに記録する記録手段（例えば、図１の記録制御部１９）をさらに備えることを特徴とする。
【００３２】
請求項３に記載の情報処理装置は、音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段（例えば、図１の言語音声認識部１４）をさらに備え、記録手段（例えば、図１の記録制御部１９）は、テキストデータも音声とともに記録することを特徴とする。
【００３３】
請求項４に記載の情報処理装置は、画像を撮影する撮影手段（例えば、図１の画像入力部１２）と、撮影手段により取得された画像を、情報取得手段（例えば、図１の情報取得部１６）により取得された情報を用いて編集する画像編集手段（例えば、図１の画像編集部１８）と、画像編集手段による編集により得られる編集画像を音声とともに記録する記録手段（例えば、図１の記録制御部１９）とをさらに備えることを特徴とする。
【００３４】
請求項５に記載の情報処理装置は、音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段（例えば、図１の言語音声認識部１４）をさらに備え、画像編集手段（例えば、図１の画像編集部１８）は、画像を、テキストデータも用いて編集することを特徴とする。
【００３５】
請求項６に記載の情報処理装置は、情報取得手段（例えば、図１１の情報取得部１６）により取得された情報を用いて、電子メールのデータを作成するメール作成手段（例えば、図１１のメール作成部５１）をさらに備えることを特徴とする。
【００３６】
請求項７に記載の情報処理装置は、音声に含まれる言語音声を認識し、その言語音声に対応するテキストデータを出力する言語音声認識手段（例えば、図１１の言語音声認識部１４）をさらに備え、メール作成手段（例えば、図１１のメール作成部５１）は、電子メールのデータを、テキストデータも用いて作成することを特徴とする。
【００３７】
請求項８に記載の情報処理装置は、情報取得手段（例えば、図１７の情報取得部１６）により取得した情報を表示する表示手段（例えば、図１７の表示制御部８１）をさらに備えることを特徴とする。
【００３８】
請求項９に記載の情報処理装置は、音源特定手段（例えば、図１の音源特定部１５）が、ネットワークを介して接続された外部の装置に音声を処理させることにより、その音源を特定することを特徴とする。
【００３９】
請求項１０に記載の情報処理装置は、情報取得手段（例えば、図１の情報取得部１６）が、ネットワークを介して通信を行うことにより、情報を取得することを特徴とする。
【００４０】
請求項１１に記載の情報処理方法は、入力された音声の音源を特定する音源特定ステップ（例えば、図８のステップS３の処理）と、音源特定ステップの処理により特定された音源を示す音源情報に基づいて、音声に関連する情報を取得する情報取得ステップ（例えば、図８のステップS４の処理）とを含むことを特徴とする。
【００４１】
請求項１２に記載の記録媒体に記録されているプログラム、および請求項１３に記載のプログラムは、入力された音声の音源を特定する音源特定ステップ（例えば、図８のステップS３の処理）と、音源特定ステップの処理により特定された音源を示す音源情報に基づいて、音声に関連する情報を取得する情報取得ステップ（例えば、図８のステップS４の処理）とを含むことを特徴とする。
【００４２】
このプログラムは、記録媒体（例えば、図２０の磁気ディスク１１１）に記録することができる。
【００４３】
図１は、本発明を適用したビデオカメラの一実施の形態の構成例を示すブロック図である。
【００４４】
ビデオカメラ１０は、音声入力部１１、画像入力部１２、音声認識部１３、情報取得部１６、情報データベース１７、画像編集部１８、記録制御部１９、および記録媒体２０から構成されている。
【００４５】
音声入力部１１は、音声を集音することにより、音声データを取得し、言語音認識部１４、および音源特定部１５、並びに記録制御部１９に供給する。音声入力部１１は、例えば、マイクロホンなどで構成される。
【００４６】
画像入力部１２は、撮影対象を撮影することにより、撮影画像データを取得し、画像編集部１８に供給する。画像入力部１２は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージャなどで構成される。
【００４７】
音声認識部１３は、言語音認識部１４、および音源特定部１５から構成されている。
【００４８】
言語音認識部１４は、音声入力部１１から供給された音声データに含まれる言語音声を音声認識処理し、その言語音声に対応するテキストデータを、画像編集部１８に供給する。
【００４９】
音源特定部１５は、音声入力部１１から供給された音声データに含まれる音声の音源を特定し、その音源を表す音源情報を、情報取得部１６に供給する。
【００５０】
情報取得部１６は、音源特定部１５により供給された音源情報に基づいて、情報データベース１７から、音声入力部１１に入力された音声に関連する情報を取得し、画像編集部１８に供給する。
【００５１】
情報データベース１７は、各種の音声に関連する情報（例えば、特定の音（音源）に直接関連する画像やテキスト情報、さらには、その特定の音が生じるシーンを効果的に表す画像（例えば、エフェクトをかける画像（効果画像）などの、特定の音に間接的に関連する画像やテキスト情報）など）を、音源情報（例えば、「ジェットコースタ」などのキーワード）に対応付けて記憶している。
【００５２】
画像編集部１８は、画像入力部１２により供給される撮影画像データを編集する。即ち、これは、画像編集部１８からの撮影画像データに、言語音声認識部１４から供給されるテキストデータ、または情報取得部１６から供給される情報を合成し、その結果得られる合成画像データを、記録制御部１９へ供給する。
【００５３】
記録制御部１９は、音声入力部１１から供給される音声データと、画像編集部１８から供給される合成画像データとを、記録媒体２０に記録する制御を行う。
【００５４】
記録媒体２０は、例えば、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等で構成される。
【００５５】
図２は、図１の音源特定部１５の構成例を示している。音源特定部１５は、FFT処理部３１、データ比較部３２、および音源特定データベース３３から構成されている。
【００５６】
FFT処理部３１は、音声入力部１１から供給された音声データをFFT（Fast Fourier Transform）処理することにより、周波数スペクトルを得て、データ比較部３２に供給する。
【００５７】
データ比較部３２は、FFT処理部３１から供給された周波数スペクトルと、音源特定データベース３３に記憶されている周波数スペクトルとを比較し、音声入力部１１から供給された音声データの音源を表す音源情報を出力する。
【００５８】
音源特定データベース３３は、各種の音源に対応する周波数スペクトルのモデル（周波数スペクトルモデル）を記憶している。なお、音源特定部３３には、その他、室内、室外、車内等の場所（環境）を特定するために、反射音に関連するデータも記憶するようにしても良い。
【００５９】
ここで、音源特定部１５の処理の概要を、図３を用いて説明する。例えば、遊園地にて、図１のビデオカメラ１０によってジェットコースタを撮影した場合、音声入力部１１では、ジェットコースタの車輪音その他の音が集音される。音源特定部１５は、音声入力部１１で集音された音声（以下、適宜、集音音声と称する）に、音源として、例えば、図３に示すようなジェットコースタの車輪音、乗客の叫び声、遊園地のBGM、遊園地のその他の音、および撮影者のナレーションコメントが含まれていることを特定し、それぞれの音源を表す音源情報を、情報取得部１６に供給する。
【００６０】
音源特定部１５は、例えば以下に示すような周波数スペクトルの比較により、音源を特定する。
【００６１】
即ち、音源特定部１５は、音声入力部１１からの音声データに対してFFT（Fast Fourier Transform）処理を行うことで得られる周波数スペクトルを、音源特定データベース３３に記憶されている周波数スペクトル（モデル）と比較することで音源の特定を行う。
【００６２】
図４は、ある音源の音に対してFFT処理を行うことにより得られた周波数軸スペクトルを示している。なお、図４において、横軸は周波数を示し、縦軸は強度を示している。音源特定部１５は、例えば、図４に示した周波数スペクトルにおいて突出した周波数成分を、音源特定データベース３３に記憶されている、各種音源に対応する周波数スペクトルと比較することにより、音源の特定を行う。
【００６３】
なお、周波数成分（周波数スペクトル）どうしの比較は、例えば、可聴周波数帯域を１６分割や３２分割などして、その分割した周波数帯域ごとに、言わば簡易的に行っても良い。
【００６４】
また、音源特定部１５では、周波数スペクトルの時間変化によって、音源を特定することもできる。音源特定部１５では、例えば、音声入力部１１からの音声から、特定のレベルとなっている周波数が時間の経過に伴い上昇する、あるいは下降する特徴を抽出し、その特徴を、音源特定データベース３３に記憶されている周波数スペクトルと比較することで音源を特定することができる。ここで、図５に、特定のレベルとなっている周波数が上昇する周波数スペクトルを示す。
【００６５】
また、音源特定部１５では、図６に示すような、音声入力部１１からの音声の周波数スペクトルの時間変化、さらには、その高調波成分の分布、および強度を、音源特定データベース３３に記憶されている周波数スペクトルと比較することで音源を特定することができる。
【００６６】
また、音源特定部１５では、図７に示すような、音声入力部１１からの音声の周波数スペクトルの時間変化、および時間経過に伴う減衰特性を、音源特定データベース３３に記憶されている周波数スペクトルと比較することで音源を特定することができる。
【００６７】
図８は、図１のビデオカメラ１０の撮影記録処理を説明するフローチャートである。
【００６８】
ステップS１において、音声入力部１１は音声を集音することにより音声データを取得し、言語音声認識部１４、音源特定部１５、および記録制御部１９に供給する。また、画像入力部１２は、撮影対象を撮影することにより撮影画像データを取得し、画像編集部１８に供給する。
【００６９】
ステップS１からステップS２へ進み、言語音声認識部１４は、一般的な言語音声認識技術を用いて、音声入力部１１から供給された音声データを、対応するテキストデータに変換し、画像編集部１８へ供給して、ステップS３へ進む。
【００７０】
ステップS３において、音源特定部１５（図２）は、FFT処理部３１にて、音声入力部１１から供給された音声データに対してFFT処理を行い、その音声データを周波数スペクトルへ変換し、データ比較部３２へ供給する。
【００７１】
さらに、ステップS３において、データ比較部３２は、FFT処理部３１から供給された周波数スペクトルを、音源特定データベース３３に記憶されている各種の音源に対応する周波数スペクトル（モデル）と比較し、その比較結果に基づいて、音声入力部１１に入力された音声の音源を特定する。データ比較部３２は、特定した音源を示す音源情報を情報取得部１６に供給し、ステップS４に進む。
【００７２】
ステップS４において、情報取得部１６は、音源特定部１５（のデータ比較部３２）から供給された音源情報に基づいて、情報データベース１７から、集音音声（音声入力部１１に入力された音声）に関連する情報を取得し、画像編集部１８に供給する。
【００７３】
ステップS４からステップS５へ進み、画像編集部１８は、画像入力部１２から供給された撮影画像データに対して、言語音認識部１４から供給されたテキストデータ、および情報取得部１６から供給された情報を合成し、その合成画像データを記録制御部１９に供給して、ステップS６へ進む。
【００７４】
ステップS６において、記録制御部１９は、音声入力部１１から供給された音声データと画像編集部１８から供給された合成画像データを、ともに記録媒体２０へ記録し、ステップS１に戻り撮影記録処理を繰り返す。
【００７５】
なお、上述の場合には、撮影画像データに対して編集としての合成を行った合成画像データを記録するようにしたが、撮影画像データに合成する情報やテキスト（テロップ）データは、撮影画像データおよび音声データに関連付けて記録するようにし、再生時に、撮影画像データに合成するようにしても良い。この場合、ユーザ操作により、撮影画像データ、または合成画像データの再生を選択することができる。
【００７６】
また、集音音声に関連する情報の取得を行う処理、および取得した情報を撮影画像データに合成する処理は、撮影（記録）後に行うようにすることも可能である。
【００７７】
図９は、図１のビデオカメラ１０の第１の処理の概要を示す図である。
【００７８】
撮影画像４１は、ビデオカメラ１０によるを撮影によって得られた画像を示している。即ち、撮影画像４１は、例えば、遊園地でジェットコースタを撮影することにより得られた画像である。
【００７９】
効果画像４２は、ビデオカメラ１０で撮影画像４１を撮影した時の集音音声に含まれる音の音源を示す音源情報に基づいて、情報データベース１７から取得された情報としての画像を示している。効果画像４２は、例えば、撮影画像４１に表示されているジェットコースタに乗っているときの恐怖をイメージさせる画像となっている。
【００８０】
図１のビデオカメラ１０では、撮影画像４１に対して、効果画像４２が合成され、その結果、合成画像４３が得られる。
【００８１】
図１０は、図１のビデオカメラ１０の第２の処理の概要を示す図である。
【００８２】
撮影画像４６は、ビデオカメラ１０による撮影によって得られた画像を示している。即ち、撮影画像４６は、例えば、F１（Formula １）レースにおけるレーシングカーを撮影することにより得られた画像である。
【００８３】
情報画像４７は、ビデオカメラ１０で集音音声に含まれる音の音源を示す音源情報に基づいて、情報データベース１７から取得された情報としての画像を示している。情報画像４７は、例えば、撮影画像４６に表示されているレーシングカーのエンジン音から特定されるマシンの画像や、詳細情報を記述したテキスト情報などを含んでいる。
【００８４】
図１のビデオカメラ１０では、撮影画像４６に対して、情報画像４７が合成され、合成画像４８が得られる。
【００８５】
このようにビデオカメラ１０では、撮影時に集音された音声に合わせて撮影画像に効果画像や情報画像を合成するなどの画像編集が行われるので、ユーザが編集を行う手間を省くことができる。
【００８６】
また、鑑賞時において、撮影画像に対し、ユーザの予測しない編集が加えられていることで、より一層の楽しみをユーザへ与えることができる。
【００８７】
さらに、集音音声に含まれる特定の音に関連する画像やテキスト情報が合成されるので、ユーザに対してより有益な情報を提供することができる。
【００８８】
なお、上述した処理は、ビデオカメラと同様に、画像と音声を取得することができる、例えば、デジタルスチルカメラやテレビジョン受像機などで行うことも可能であり、上述の効果と同様の効果を得ることができる。
【００８９】
また、上述の場合には、音声認識部１３、情報取得部１６、および画像編集部１８がビデオカメラ１０内部に実装されているが、音声認識部１３、情報取得部１６、または画像編集部１８のうちの１以上は、外部に設置された装置（外部装置）に実装し、ビデオカメラ１０がネットワークを介して外部装置と通信することにより、音声認識部１３、情報取得部１６、または画像編集部１８が行う処理を外部装置に実行させるようにしても良い。外部装置とは、例えば、PCやサーバなどである。
【００９０】
また、上述の場合には、情報取得部１６が、ビデオカメラ１０本体に内蔵された情報データベース１７から情報を取得するようにしたが、情報取得部１６は、ネットワークを介して外部装置から情報を取得するようにしても良いし、ビデオカメラ１０に着脱可能なリムーバルメディア、例えば、フラッシュメモリなどから情報を取得するようにしても良い。
【００９１】
図１１は、本発明を適用した携帯電話機の一実施の形態の構成例を示すブロック図である。図１１において、図１のビデオカメラ１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００９２】
携帯電話機５０は、音声入力部１１、音声認識部１３、情報取得部１６、情報データベース１７、メール作成部５１、通信部５２から構成されている。
【００９３】
言語音声認識部１４は、音声入力部１１から供給された音声データを音声認識することにより得られるテキストデータを、メール作成部５１に供給する。
【００９４】
情報取得部１６は、音源特定部１５により供給された音源情報に基づいて、情報データベース１７から得られた情報を、メール作成部５１に供給する。
【００９５】
メール作成部５１は、言語音声認識部１４から供給されるテキストデータと、情報取得部１６から供給される情報をもとにメール（電子メール）を作成し、通信部５２へ、そのメールのメールデータを供給する。
【００９６】
通信部５２は、メール作成部５１から供給されたメールデータをインターネット等のネットワークを介して外部（通話相手）へ送信する。
【００９７】
ここで、図１１の本実施の形態では、音声認識部１３、情報取得部１６、およびメール作成部５１が携帯電話機５０内部に実装されているが、音声認識部１３、情報取得部１６、またはメール作成部５１は、外部の装置、例えば、携帯電話会社のデータセンタ（基地局や制御センタ）に設置されているサーバなどに実装することができる。この場合、携帯電話機５０からは、必要なデータを、データセンタに送信させ、音声認識部１３、情報取得部１６、またはメール作成部５１が行う処理を、データセンタで行うようにしても良い。
【００９８】
また、図１１の本実施の形態では、情報取得部１６が携帯電話機５０内部に実装された情報データベース１７から情報を取得するようにしたが、例えば、携帯電話会社のデータセンタ（基地局や制御センタ）に設置されているサーバなどから情報を取得するようにしても良いし、携帯電話機５０に着脱可能なリムーバルメディア、例えば、フラッシュメモリなどから情報を取得するようにしても良い。
【００９９】
図１２は、図１１の携帯電話機５０における処理を説明するフローチャートである。
【０１００】
ステップS２１において、音声入力部１１は、音声データを取得し、音声認識部１３に供給して、ステップS２２へ進む。なお、この音声データは、音声認識部１３に供給される他、電話の音声のデータとして基地局に送信される。
【０１０１】
図１２のフローチャートに従った処理は、例えば、携帯電話機５０において、他の携帯電話機との通信が開始されると開始される。即ち、ステップS２２において、言語音声認識部１４は、音声入力部１１から供給された音声データを音声認識することにより、テキストデータに変換し、メール作成部５１に供給する。
【０１０２】
その後、ステップS２３では、図８のステップS３における場合と同様に、音源特定部１５が、音声入力部１１に入力された音声の音源を特定し、その音源を表す音源情報を、情報取得部１６に供給してステップS２４に進む。ステップS２４では、情報取得部１６は、音源特定部１５から供給された音源情報に基づいて、情報データベース１７から、集音音声（音声入力部１１に入力された音声）に関連する画像を取得し、メール作成部５１に供給する。
【０１０３】
ステップS２４からステップS２５へ進み、メール作成部５１は、通話が終了したか否かの判定を行う。ステップS２５において、通話中である（通話が終了していない）と判定された場合は、ステップS２１へ戻り、ステップS２１乃至ステップS２５の処理を繰り返す。
【０１０４】
また、ステップS２５において、通話が終了したと判定された場合、ステップS２６へ進み、メール作成部５１は、言語音声認識部１４から供給されたテキストデータと、情報取得部１６から供給された画像をもとにメールを作成し、そのメールのメールデータを通信部５２に供給する。
【０１０５】
ここで、メール作成部５１は、言語音声認識部１４からのテキストデータを、例えば、メールのメール本文とする。また、メール作成部５１は、情報取得部１６から供給された画像を、メールの添付ファイルとする。添付ファイルとされた画像は、例えば、メールを開いたときのメール本文の背景画像として用いることができる。
【０１０６】
ステップS２６からステップS２７へ進み、通信部５２は、メール作成部５１から供給されたメールデータを、ネットワークを介して通話相手へ送信し、処理を終了する。
【０１０７】
なお、図１２の実施の形態では、通話時に集音される音声を利用してメールを作成するようにしたが、ユーザがメールを作成する操作を行っているときに音声入力部１１に入力された音声をもとに、その音声に関連する画像を取得し、その画像を、ユーザが作成したメールに添付するようにしても良い。
【０１０８】
図１３は、図１１の携帯電話機５０が送信したメール（のメールデータ）を受信した携帯電話機（以下、適宜、受信機という）における、そのメールの表示例を示している。
【０１０９】
図１３の一番左は、図１１の携帯電話５０のユーザが、遊園地にて通話、またはメールを作成した場合において、そのメールを受信した受信機の画面の表示例である。
【０１１０】
図１３の一番左では、「こんにちは！今日は遊園地に遊びにきています！」のテキストデータとともに、その背景として、遊園地の画像が表示されている。従って受信機のユーザは、携帯電話機５０のユーザが遊園地にいることを認識することができる。
【０１１１】
図１３の左から２番目（中央）は、図１１の携帯電話５０のユーザが、宴会会場にて通話、またはメールを作成した場合において、そのメールを受信した受信機の画面の表示例である。
【０１１２】
図１３の左から2番目では、「今、パーティやっているからおいでよ！！」のテキストデータとともに、その背景として、宴会（パーティ）会場の画像が表示されている。従って受信機のユーザは、携帯電話機５０のユーザが受信機のユーザにパーティに来てもらいたいことを希望していることを認識することができる。
【０１１３】
図１３の左から３番目（一番右）は、図１１の携帯電話５０のユーザが、走行中の自動車内にて通話、またはメールを作成した場合において、そのメールを受信した受信機の画面の表示例である。
【０１１４】
図１３の左から３番目では、「あと１５分でそちらに着きます」のテキストデータとともに、その背景として、走行中の車内からみた道路の画像が表示されている。従って受信機のユーザは、携帯電話機５０のユーザが走行中の自動車内にいることを認識することができる。
【０１１５】
このように携帯電話機５０は、より効果的に通信相手へ情報を伝達することができる。
【０１１６】
図１４は、本発明を適用したICレコーダシステムの一実施の形態の構成例を示す外観図である。
【０１１７】
ICレコーダ６０は、音声を集音し、その集音音声の音源を特定する。さらに、ICレコーダ６０は、特定した音源を示す音源情報に基づいて、集音した音声に関連する画像６２を取得する。また、ICレコーダ６０は、集音音声に含まれる言語音声を音声認識することで、その言語音声をテキストデータに変換し、画像６２および集音音声とともに記録する。
【０１１８】
ここで、画像６２としては、例えば、ICレコーダで集音を行った環境を表す画像（例えば、会議室の画像）が取得される。
【０１１９】
ICレコーダ６０の録音処理により記録された情報を、例えばPC６１に出力すると、PC６１のディスプレイには、ICレコーダ６０で集音された音声に関連する画像６２と、集音音声を音声認識することにより得られたテキストデータが表示されたテキスト画面６３とが表示される。
【０１２０】
図１５は、図１４のICレコーダ６０の内部構成例を示すブロック図である。図１５において、図１のビデオカメラ１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１２１】
ICレコーダ６０は、音声入力部１１、音声認識部１３、情報取得部１６、情報データベース１７、記録制御部６６、記録媒体６７から構成されている。
【０１２２】
音声入力部１１は、音声を集音することにより、音声データを取得し、言語音認識部１４、音源特定部１５および記録制御部６６に供給する。
【０１２３】
言語音声認識部１４は、音声入力部１１から供給された音声データを音声認識することにより得られるテキストデータを、記録制御部６６に供給する。
【０１２４】
情報取得部１６は、音源特定部１５により供給された音源情報に基づいて、情報データベース１７から取得した情報を、記録制御部６６に供給する。
【０１２５】
記録制御部６６は、音声入力部１１から供給される音声データを、言語音声認識部１４から供給されるテキストデータ、および情報取得部１６から供給された情報とともに記録媒体６７に記録する制御を行う。記録媒体６７としては、例えば、フラッシュメモリ等を用いることができる。
【０１２６】
なお、図１５の実施の形態では、音声認識部１３および情報取得部１６がICレコーダ６０内部に実装されているが、音声認識部１３または情報取得部１６は、外部に設置された装置（外部装置）に実装し、ICレコーダ６０がネットワークを介して外部装置と通信することにより、音声認識部１３または情報取得部１６が行う処理を外部装置に実行させるようにしても良い。外部装置とは、例えば、PCやサーバなどである。
【０１２７】
また、図１５の実施の形態では、情報取得部１６が、ICレコーダ６０本体に内蔵された情報データベース１７から情報を取得するようにしたが、情報取得部１６は、ネットワークを介して外部装置から情報を取得するようにしても良いし、ICレコーダ６０に着脱可能なリムーバルメディア、例えば、フラッシュメモリなどから情報を取得するようにしても良い。
【０１２８】
図１６は、ICレコーダ６０の録音処理を説明するフローチャートである。
【０１２９】
ステップS４１において、音声入力部１１は、音声データを取得し、音声認識部１３および記録制御部６６に供給して、ステップS４２へ進む。
【０１３０】
ステップS４２において、言語音声認識部１４は、音声入力部１１から供給された音声データを音声認識することにより、テキストデータに変換し、記録制御部６６に供給する。
【０１３１】
その後、ステップS４３では、図８のステップS３における場合と同様に、音源特定部１５が、音声入力部１１に入力された音声の音源を特定し、その音源を表す音源情報を情報取得部１６に供給してステップS４４に進む。ステップS４４では、情報取得部１６は、音源特定部１５から供給された音源情報に基づいて、情報データベース１７から、集音音声に関連する画像（例えば、駅のホームの画像など、集音を行った環境をイメージさせる画像）を取得し、情報記録部６６に供給する。
【０１３２】
ステップS４４からステップS４５へ進み、記録制御部６６は、言語音声認識部１４から供給されるテキストデータと情報取得部１６から供給される画像データを音声データに対応付けて記録媒体６７に記憶させ、ステップS４１に戻り、録音処理を繰り返す。
【０１３３】
このようにICレコーダ６０は、集音音声を、集音環境をイメージさせる画像とともに記録することで、ユーザが、後に録音内容を確認した際に、内容や録音状況を容易に把握することができる。
【０１３４】
また、ICレコーダ６０においては、例えば、会議中の様子を録音した場合、録音内容を議事録としてPCに出力することができる。また、ICレコーダ６０では、予め登録された音声をもとに、発言者を特定したり、発言時の声の調子から、発言者の感情や、顔の表情を表す画像を付加することも可能である。
【０１３５】
図１７は、本発明を適用した携帯電話機の他の実施の形態の構成例を示すブロック図である。図１７において、図１のビデオカメラ１０における場合と対応するの部分には同一の符号を付してあり、その説明は適宜省略する。
【０１３６】
携帯電話機８０は、音声入力部１１、音源特定部１５、情報取得部１６、情報データベース１７、表示制御部８１、表示部８２から構成されている。
【０１３７】
情報取得部１６は、音源特定部１５から供給される音源情報に基づいて、情報データベース１７から取得した情報を、表示制御部８１へ供給する。
【０１３８】
表示制御部８１は、情報取得部１６から供給された情報を表示部８２に供給して表示させる。
【０１３９】
表示部８２は、例えばLCD（Liquid Crystal Display）などで構成され、表示制御部８１からの画像を、いわゆる待ち受け画面の画像として表示する。
【０１４０】
図１７の実施の形態では、音源特定部１５および情報取得部１６が携帯電話機８０内部に実装されているが、音源特定部１５または情報取得部１６は、外部に設置された装置（外部装置）に実装し、携帯電話機８０がネットワークを介して外部装置と通信することにより、音源特定部１５または情報取得部１６が行う処理を外部装置に実行させるようにしても良い。外部装置とは、例えば、PCやサーバなどである。
【０１４１】
また、図１７の実施の形態では、情報取得部１６が、携帯電話機８０本体に内蔵された情報データベース１７から情報を取得するようにしたが、情報取得部１６は、ネットワークを介して外部装置から情報を取得するようにしても良いし、携帯電話機８０に着脱可能なリムーバルメディア、例えば、フラッシュメモリなどから情報を取得するようにしても良い。
【０１４２】
図１８は、図１７の携帯電話機８０が行う、待ち受け画面を表示する待ち受け画面表示処理を示すフローチャートである。
【０１４３】
ステップS６１において、音声入力部１１は、音声データを取得し、音源特定部１５へ供給してステップS６２へ進む。
【０１４４】
その後、ステップS６２では、図８のステップS３における場合と同様に、音源特定部１５が、音声入力部１１に入力された音声の音源を特定し、その音源を表す音源情報を情報取得部１６に供給してステップS６３へ進む。ステップS６３では、情報取得部１６は、音源特定部１５により供給された音源情報に基づいて、情報データベース１７から、集音音声に関連する画像を取得し、表示制御部８１に供給してステップS６４に進む。
【０１４５】
ステップS６４において、表示制御部８１は、情報取得部１６から供給された画像を表示部８２へ供給して表示させ、ステップS６５へ進む。
【０１４６】
ステップS６５において、音声入力部１１は、現時刻が設定時刻であるか否かの判定を行う。ステップS６５において、現時刻が設定時刻でないと判定された場合は継続して時刻の監視を行い、現時刻が設定時刻であると判定された場合には、ステップS６１へ戻り、ステップS６１乃至ステップS６５の処理を繰り返す。
この場合、携帯電話機８０では、設定時刻を契機にして（トリガとして）、表示部８２に表示される待ち受け画面が切り替えられることになる。
【０１４７】
なお、設定時刻については、例えば、1時間周期、もしくは、朝（6:00）、昼（12:00）、夜（18:00）、深夜（0:00）などの時刻設定を行うことができる。また、本実施の形態では、時刻に対応して待ち受け画面の表示を切り替えるとしたが、音声入力部１１を常にオン状態に保ち、集音音声の変化に合わせて待ち受け画面の表示を切り替えるようにしても良い。
【０１４８】
このように携帯電話機８０では、一定周期もしくは、設定された時刻、または集音音声の変化などを契機にして待ち受け画面の表示の切り替えが可能である。
【０１４９】
図１９は、図１７の携帯電話機８０の表示部８２に表示される待ち受け画面の表示例を示す図である。
【０１５０】
例えば、ある時点においてウグイスの鳴き声を集音した場合、携帯電話機８０は、集音した音声がウグイスの鳴き声（集音した音声の音源がウグイス）であることを特定し、ウグイスに関連する情報である情報画像９１を取得する。そして、携帯電話機８０は、表示部８２に情報画像９１を表示させる。さらに、携帯電話機８０は、その後、別の鳥の鳴き声を集音した場合は、その別の鳥に関連する情報である情報画像９２を取得し、表示部８２の表示を情報画像９２に切り替える。
【０１５１】
なお、図１９では、情報画像９１および情報画像９２には、鳥の画像の他、その鳥の名前（名称）等の鳥に関連する情報も含まれている。
【０１５２】
この場合、携帯電話機８０は、図鑑的な役割も果たすことになる。
【０１５３】
上記においては、鳥の鳴き声を例に挙げて説明したが、もちろん鳥以外の鳴き声に対しても、また、例えば、自動車や飛行機のエンジン音などに対しても同様の処理を行うことができる。また、携帯電話機８０では、その他、例えばある時刻に駅のホームいた場合は、待ち受け画面には駅のホームの画像を表示させることなども可能である。
【０１５４】
なお、例えば、ある一定の時間範囲において表示した画像の履歴を記憶しておくようにすることで、その履歴から、ユーザがある時刻に何処にいたかなどの記憶を思い出すのに役立てることができる。
【０１５５】
また、表示部８２に表示する画像は、ユーザの操作に基づいて、所望のカテゴリに属する画像に制限することが可能である。カテゴリとしては、例えば、風景、動物、自動車などがある。
【０１５６】
なお、本発明は、ビデオカメラや、ICレコーダ、携帯電話機等の他、PDA（Personal Digital Assistants）などの集音機能を少なくとも備えたポータブル機器、さらには、表示機能も備えたポータブル機器、その他に適用することが可能である。
【０１５７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ１００などに、記録媒体からインストールされる。
【０１５８】
この記録媒体は、図２０に示すように、パーソナルコンピュータ１００とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フレキシブルディスクを含む）、光ディスク１１２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク１１３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１５９】
パーソナルコンピュータ１００のCPU１０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU１０１は、バス１０４および入出力インターフェース１０５を介してユーザからキーボードやマウスなどからなる入力部１０６から指令が入力されると、それに対応してROM(Read Only Memory)１０２に格納されているプログラムを実行する。あるいはまた、CPU１０１は、ドライブ１１０に接続された磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、または半導体メモリ１１４から読み出され、記憶部１０８にインストールされたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。さらに、CPU１０１は、通信部１０９を制御して、外部と通信し、データの授受を実行する。
【０１６０】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしても良い。
【０１６１】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１６２】
【図１】本発明を適用したビデオカメラの一実施の形態の構成例を示すブロック図である。
【図２】図１の音源特定部１５の構成例を示すブロック図である。
【図３】図１の音源特定部１５における処理の概要を示す図である。
【図４】周波数スペクトルを示す図である。
【図５】周波数スペクトルの時間変化を示す図である。
【図６】周波数スペクトルの時間変化を示す図である。
【図７】周波数スペクトルの時間変化を示す図である。
【図８】図１のデオカメラ１０の撮影記録処理を説明するフローチャートである。
【図９】図１のビデオカメラ１０における処理の概要を示す図である。
【図１０】図１のビデオカメラ１０における処理の概要を示す図である。
【図１１】本発明を適用した携帯電話機の一実施の形態の構成例を示すブロック図である。
【図１２】図１１の携帯電話機５０における処理を説明するフローチャートである。
【図１３】図１１の携帯電話機５０が送信したメールを受信した携帯電話機におけるメールの表示例を示す図である。
【図１４】本発明を適用したICレコーダシステムの一実施の形態の構成例を示す外観図である。
【図１５】図１４のICレコーダ６０の内部構成例を示すブロック図である。
【図１６】図１４のICレコーダ６０における録音処理を説明するフローチャートである。
【図１７】本発明を適用した携帯電話機の他の実施の形態の構成例を示すブロック図である。
【図１８】図１７の携帯電話機８０の待ち受け画面表示処理を説明するフローチャートである。
【図１９】図１７の携帯電話機８０の処理の概要を示す図である。
【図２０】パーソナルコンピュータの構成例を示す図である。
【符号の説明】
【０１６３】
１０  ビデオカメラ，  １１  音声入力部，  １２  画像入力部，  １３  音声認識部，  １４  言語音声認識部，  １５  音源特定部，  １６  情報取得部，  １７  情報データベース，  １８  画像編集部，  １９  記録制御部，  ２０  記録媒体，  ３１  FFT処理部，  ３２  データ比較部，  ３３  音源特定データベース，  ４１  撮影画像，  ４２  効果画像，  ４３  合成画像，  ４６  撮影画像，  ４７  情報画像，  ４８  合成画像，  ５０  携帯電話機，  ５１  メール作成部，  ５２  通信部，  ６０  ICレコーダ，  ６１  PC，  ６２  画像，  ６３  テキスト画面，  ６６  記録制御部，  ６７  記録媒体，  ８０  携帯電話機，  ８１  表示制御部，  ８２  表示部，  ９１  情報画像，  ９２  情報画像，  １００  パーソナルコンピュータ，  １０１  ＣＰＵ，  １０２  ＲＯＭ，  １０３  ＲＡＭ，  １０４  内部バス，  １０５  入出力インターフェース，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部，  １１０  ドライブ，  １１１  磁気ディスク，  １１２  光ディスク，  １１３  光磁気ディスク，  １１４  半導体メモリ
【図１】
2005234074.tif 000003
【図２】
2005234074.tif 000004
【図３】
2005234074.tif 000005
【図４】
2005234074.tif 000006
【図５】
2005234074.tif 000007
【図６】
2005234074.tif 000008
【図７】
2005234074.tif 000009
【図８】
2005234074.tif 000010
【図９】
2005234074.tif 000011
【図１０】
2005234074.tif 000012
【図１１】
2005234074.tif 000013
【図１２】
2005234074.tif 000014
【図１３】
2005234074.tif 000015
【図１４】
2005234074.tif 000016
【図１５】
2005234074.tif 000017
【図１６】
2005234074.tif 000018
【図１７】
2005234074.tif 000019
【図１８】
2005234074.tif 000020
【図１９】
2005234074.tif 000021
【図２０】
2005234074.tif 000022