(57)【要約】本発明は、所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析部と、前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択部と、前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳部とを有する情報表示システムである。【選択図】図１
2011122521.tif 000002
【特許請求の範囲】
【請求項１】
所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析部と、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択部と、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳部と、
を有する情報表示システム。
【請求項２】
前記感性表現語は、擬音語、及び擬態語の少なくともいずれかである
請求項１に記載の情報表示システム。
【請求項３】
前記信号分析部は、オーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかを分析し、感性音情報を生成する
請求項１又は請求項２に記載の情報表示システム。
【請求項４】
前記感性表現語映像重畳部は、
前記映像に重畳する感性表現語の重畳位置、形状、大きさ、又は色の少なくともいずれかを決定する感性表現語重畳効果制御部と、
前記決定された重畳位置、形状、大きさ、又は色で、感性表現語を前記映像に重畳した感性表現語重畳映像を生成する感性表現語重畳映像生成部と
を有する請求項１から請求項３のいずれかに記載の情報表示システム。
【請求項５】
前記感性表現語重畳効果制御部は、前記映像の動き、色の変化、輝度の変化、又はエッジの変化の少なくともいずれかを検出し、前記感性表現語の重畳位置を決定する
請求項４に記載の情報表示システム。
【請求項６】
前記感性表現語重畳効果制御部は、前記信号分析部により分析されたオーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかに基づいて、前記映像に重畳する感性表現語の形状、大きさ、及び色の少なくともいずれかを決定する
請求項４又は請求項５に記載の情報表示システム。
【請求項７】
前記感性表現語映像重畳部は、前記所定の場から得られた映像信号の映像をスケッチ風の映像に変換する映像変換部を有し、
前記感性表現語重畳映像生成部は、前記変換された映像に前記感性表現語を重畳した感性表現語重畳映像を生成する
請求項１から請求項６のいずれかに記載の情報表示システム。
【請求項８】
前記感性表現語映像重畳部は、
前記オーディオ信号に基づいて、映像上の音の到来方向の位置を推定する到来方向推定部を有し、
前記感性表現語重畳映像生成部は、前記推定された音の到来方向の映像位置に、前記感性表現語を重畳する
請求項１から請求項７のいずれかに記載の情報表示システム。
【請求項９】
所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成し、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択し、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する
情報表示方法。
【請求項１０】
前記感性表現語は、擬音語、及び擬態語の少なくともいずれかである
請求項９に記載の情報表示方法。
【請求項１１】
前記オーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかを分析し、感性音情報を生成する
請求項９又は請求項１０に記載の情報表示方法。
【請求項１２】
前記映像に重畳する感性表現語の重畳位置、形状、大きさ、又は色の少なくともいずれかを決定し、
前記決定された重畳位置、形状、大きさ、又は色で、感性表現語を前記映像に重畳した感性表現語重畳映像を生成する
請求項９から請求項１１のいずれかに記載の情報表示方法。
【請求項１３】
前記映像の動き、色の変化、輝度の変化、又はエッジの変化の少なくともいずれかを検出し、前記感性表現語の重畳位置を決定する
請求項１２に記載の情報表示方法。
【請求項１４】
前記分析されたオーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかに基づいて、前記映像に重畳する感性表現語の形状、大きさ、及び色の少なくともいずれかを決定する
請求項１２又は請求項１３に記載の情報表示方法。
【請求項１５】
前記所定の場から得られた映像信号の映像をスケッチ風の映像に変換し、
前記変換された映像に前記感性表現語を重畳した感性表現語重畳映像を生成する
請求項９から請求項１４のいずれかに記載の情報表示方法。
【請求項１６】
前記オーディオ信号に基づいて、映像上の音の到来方向の位置を推定し、
前記推定された音の到来方向の映像位置に、前記感性表現語を重畳する
請求項９から請求項は請求項１４のいずれかに記載の情報表示方法。
【請求項１７】
所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析処理と、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択処理と、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳処理と、
を有する情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示システム、情報表示方法及びプログラムに関する。
【背景技術】
【０００２】
離れた場所の雰囲気を相手に伝えたいことがある。このような場合、離れたその場所の映像を撮影し、その映像を相手に伝送することにより、その場の視覚的な雰囲気を相手に伝えることができる。しかし、撮影した映像だけの伝達では、その場所の雰囲気を完全に伝えることは不可能である。【０００３】
このような場合、その場に設置されているマイク等で周囲の音を集音して、相手に聞かせることでさらに周囲の雰囲気を伝えることができる。しかしながら、マイクや受話器では、モノラル音しか集音できないため、通話者の周囲の雰囲気を完全に伝えることができないという問題がある。【０００４】
そこで、高音質で臨場感のある電話通信を実現できるステレオ電話装置が提案されている（例えば、特許文献１）。【０００５】
特許文献１に記載されているステレオ電話装置は、ステレオ電話機同士でステレオの音声相互通信を行うことができるので、モノラル音よりも立体感のある音声で会話をすることができる。【０００６】
しかしながら、特許文献１に記載のステレオ装置では、通話用のマイクを使って周囲の環境音も伝えるため、ステレオ電話機同士で通話中に、その場の環境音を相手にうまく伝えることができなかった。【０００７】
そこで、その場の環境音を相手にうまく伝えることを目的とした技術として、特許文献２の技術が提案されている。特許文献２の技術は、通話する際に発信者が受信者に周囲の雰囲気などを伝えたい場合、受信者の電話番号とともにコンテンツサーバの電話番号を入力する。コンテンツサーバには、発信者の周囲の環境音を集音して立体音響データとしてリアルタイムに配信するものや音楽を配信するものなどがある。受信側電話装置では、電話機が発呼する際に送信側で指定されたコンテンツサーバの情報が通知されるので、このＩＰアドレス情報に基づいてコンテンツサーバに接続して立体音響データを取得して、電話装置に接続されたサラウンドシステムで立体音響を再生する。これにより、受信者は、発信者と通話しながら、発信者とほぼ同じ雰囲気を体感できる。【０００８】
上述したような技術を用い、離れた場所で収録した映像と音とを相手に伝達することにより、その場の雰囲気を相手伝えることができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平６−２６８７２２号公報
【特許文献１】特開２００７−３０６５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、人間は、音声を含む様々な音の中で生活しており、音声の意味内容以外にも音自体に対しても感性を感じている。例えば、多数の人間が存在する場を考えたとき、たとえ全ての人間が発声していなくても、人が動き回る音や、資料を開いたりする音などが発生している。このような場合、人間はその場が、例えば、「ガヤガヤ」していると感じる。一方で、多数の人間が存在していても、全く音がないような場合や、殆ど無音に近い場合もある。このような場合、人間はその場が「シーン」としていると感じる。このように、人間は、その場で感じる音（無音の場合も含む）により色々な感性を感じ取る。【００１１】
しかし、特許文献１や特許文献２の技術は、その場で発生している音をなるべく忠実に再現して臨場感のある音場を再生することを目的としており、音以外に人間が感じる色々な感性を伝えることはできなかった。【００１２】
更に、離れた場所から伝送された映像や音をそのまま再生しても、映像内のオブジェクトの動きや、どのような雰囲気なのかは、直感的には伝わりにくかった。【００１３】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、その場の雰囲気や互いの状況を人間の感性に訴えた感性表現語により表し、映像に重畳することによって、互いに感性をより共有しやすくなり、映像内のオブジェクトの動きや雰囲気を直感的に伝わりやすい情報表示システム、情報表示方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記課題を解決する本発明は、所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析部と、前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択部と、前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳部とを有する情報表示システムである。【００１５】
上記課題を解決する本発明は、所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成し、前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択し、前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する情報表示方法である。【００１６】
上記課題を解決する本発明は、所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析処理と、前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択処理と、前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳処理とを有する情報処理装置に実行させるプログラムである。
【発明の効果】
【００１７】
本発明は、今まで、臨場感、すなわち、その場の雰囲気や互いの状況を得るために、忠実な音場や映像を再現することに注視されていた従来のものと比べて、その場の雰囲気や互いの状況を、人間の感性に訴えた感性表現語が重畳された映像により明確に表すことによって、互いに感性をより共有しやすくなり、今までにない臨場感を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】図１は本実施の形態における情報表示システムのブロック図である。
【図２】図２は、第１の実施の形態の情報表示システムのブロック図である。
【図３】図３は感性表現語データベース２１の一例を示した図である。
【図４】図４は感性表現語が重畳された映像の一例を示した図である。
【図５】図５は第２の実施の形態の情報表示システムのブロック図である。
【図６】図６は第３の実施の形態の情報表示システムのブロック図である。
【図７】図７は表示部４で出力される映像の一例を示した図である。
【図８】図８は第４の実施の形態の情報表示システムのブロック図である。
【図９】図９は感性表現語が重畳された映像の一例を示した図である。
【図１０】図１０は第５の実施の形態の情報表示システムのブロック図である。
【図１１】図１１は周波数情報を説明する為の図である。
【図１２】図１２は感性音情報が音圧レベルと周波数重心（正規化値）とである場合、音圧レベル（正規化値）と周波数重心（正規化値）との２次元に感性表現語がマッピングされた感性表現語データベース２１の一例を示した図である。
【図１３】図１３は周波数情報を説明する為の図である。
【図１４】図１４は周波数情報を説明する為の図である。
【図１５】図１５は周波数情報を説明する為の図である。
【図１６】図１６は第６の実施の形態の情報表示システムのブロック図である。
【図１７】図１７は第７の実施の形態の情報表示システムのブロック図である。
【図１８】図１８は第８の実施の形態の情報表示システムのブロック図である。
【図１９】図１９は第８の実施の形態を説明する為の図である。
【図２０】図２０は第９の実施の形態の情報表示システムのブロック図である。
【図２１】図２１は第１０の実施の形態の情報表示システムのブロック図である。
【発明を実施するための形態】
【００１９】
本発明の実施の形態を説明する。
【００２０】
まず、本発明の概要を説明する。
【００２１】
図１は本実施の形態における情報表示システムのブロック図である。
【００２２】
図１に示す如く、本実施の形態の情報表示システムは、入力信号分析部１と、感性表現語選択部２と、感性表現語映像重畳部３と、表示部４とを有する。
【００２３】
入力信号分析部１は、ある所定の場で取得されたオーディオ信号を入力し、オーディオ信号を分析して、その所定の場で発生している音（以下、感性音と記載する）に関する感性音情報を生成する。感性音とは、オーディオ信号を取得した場で発生している様々な音、例えば、音声や、音声以外の環境音を含む概念である。人間は、音声を含む様々な音の中で生活しており、音声の意味内容以外にも音自体に対しても感性を感じている。例えば、多数の人間が存在する場を考えたとき、たとえ全ての人間が発声していなくても、人が動き回る音や、資料を開いたりする音などが発生している。このような場合、人間はその場が、例えば、「ガヤガヤ」していると感じる。一方で、多数の人間が存在していても、全く音がない場合や、発生している音が小さい（オーディオ信号音圧レベルが低い）場合もある。このような場合、人間はその場が「シーン」としていると感じる。このように、人間は、その場で感じる音（無音の場合も含む）により色々な感性を感じ取る。
【００２４】
そこで、入力信号分析部１は、所定の場で発生している感性音のオーディオ信号を分析し、その場ではどのような感性音が発生しているかを分析し、感性音に関する感性音情報を生成する。ここで、感性音情報とは、オーディオ信号の音圧の大きさや、オーディオ信号の周波数、オーディオ信号の種類（例えば、音声や、雨の音や自動車の音等といった音声を除く環境音の種別）等である。
【００２５】
感性表現語選択部２は、入力信号分析部１で生成された感性音情報に基づいて、オーディオ信号を取得した場で発生している感性音に対応した感性表現語を選択する。ここで、感性表現語とは、オーディオ信号を取得した場で発生している音で人が感じる内容、例えば、気持ちや感性、感覚を表現する語である。感性表現語の代表的なものに擬音語や擬態語がある。
【００２６】
例えば、感性音情報がオーディオ信号の音圧レベルである場合、音圧レベルが大きいほど大きな音が発生していると考えられ、オーディオ信号を取得した場では大きな音が発生しており、その場が騒がしいことが判る。そこで、感性表現語選択部２は、「ザワザワ」や、「ガヤガヤ」と言ったその場の雰囲気を感じ取れる擬音語や擬態語の感性表現語を選択する。また、音圧レベルが殆ど０に近く、無音に近いと考えられる場合は、「シーン」と言ったその場の雰囲気を感じ取れる擬音語や擬態語の感性表現語を選択する。
【００２７】
また、感性音情報がオーディオ信号の周波数である場合、音の発生源に応じてオーディオ信号の周波数は変化すると考えられる。そこで、感性表現語選択部２は、オーディオ信号の周波数が低い場合には工事の騒音をイメージさせる「ドッドッ」や車の排気音をイメージさせる「ブーン」、逆に高い場合には「カンカン」のような金属的なイメージを表す感性表現語、あるいは、「コンコン」のような木を打ちたたく感性表現語を選択する。
【００２８】
さらに、オーディオ信号の種別を感性音情報として用いる場合は、その場で生じている音の種別に応じてより正確な感性表現語を感性表現語選択部２で選択する。例えば、工事のドリルなのか車の排気音を区別して、「ドッドッ」あるいは「ブーン」を選択することが出来る。
【００２９】
このように選択された感性表現語は、テキストデータ等の出力にあわせて感性表現語映像重畳部３に出力される。
【００３０】
感性表現語映像重畳部３は、感性音を取得した場から得られる映像の映像信号を入力し、その場の映像に感性表現語選択部２で選択された感性表現語を重畳する。感性表現語を映像に重畳する方法としては、以下のようなものが考えられる。
【００３１】
（１）  オリジナルの映像の予め定められた位置に選択された感性表現語を重畳する。
【００３２】
（２）  感性音の音圧レベルや、周波数情報、音の到来方向などに基づいて、感性表現語の形状（例えば、フォントの種類や、フォントサイズの大きさ）、文字色、重畳位置などを変化させて感性表現語を重畳する。
【００３３】
（３）  映像のうち、動きの大きい領域を検出し、その領域付近に選択された感性表現語を重畳する。
【００３４】
（４）  映像のうち、色の変化、輝度の変化、エッジの変化が少ない領域を検出し、その領域に選択された感性表現語を重畳する。
【００３５】
また、重畳される映像についても、オリジナルの映像のみならず、オリジナルの映像をスケッチ風の映像などの他の映像に変換し、その映像に感性表現語を重畳しても良い。
【００３６】
このようにして、感性表現語が重畳された映像は、映像部４に出力される。
【００３７】
表示部４では、感性表現語が重畳された映像が表示される。
【００３８】
これにより、今まで、臨場感、すなわち、その場の雰囲気や互いの状況を得るために、忠実な音場や映像を再現することに注視されていた従来のものと比べて、その場の雰囲気や互いの状況を、人間の感性に訴えた感性表現語が重畳された映像により明確に表すことによって、互いに感性をより共有しやすくなり、今までにない臨場感を得ることができる。
【００３９】
以下、具体的な実施の形態を説明する。
【００４０】
＜第１の実施の形態＞
第１の実施の形態を説明する。
【００４１】
第１の実施の形態では、ある所定の場で発生している感性音から取得されたオーディオ信号の音の大きさに着目して感性音情報を生成する。そして、感性音情報に基づいて、オーディオ信号を取得した場に適した感性表現語（擬音語、擬態語等）を選択する例を説明する。
【００４２】
図２は、第１の実施の形態の情報表示システムのブロック図である。
【００４３】
第１の実施の形態の情報表示システムは、入力信号分析部１と、感性表現語選択部２と、感性表現語映像重畳部３と、表示部４とを有する。
【００４４】
入力信号分析部１は、音圧レベル算出部１０を有する。音圧レベル算出部１０は、入力された感性音のオーディオ信号の音圧を算出し、音圧レベルを正規化した値（０〜１．０）を感性音情報として感性表現語選択部２に出力する。
【００４５】
感性表現語選択部２は、感性表現語データベース２１と、感性表現語検索部２２とを有する。
【００４６】
感性表現語データベース２１は、感性音情報の値（０〜１．０）に対応する感性表現語が格納されたデータベースである。図３に感性表現語データベース２１の一例を示す。
【００４７】
図３に示される感性表現語データベース２１では、感性音情報の値（音圧レベル：０〜１．０）とそれに対応する感性表現語（例えば、擬音語や、擬態語）を示したものであり、例えば、感性音情報の値が「０．０」の場合の感性表現語は「シーン」であり、感性音情報の値が「０．１」の場合の感性表現語は「コソコソ」である。また、感性音情報の値が「０．９以上、０．９５未満」の値である場合には感性表現語は「ワイワイ」であり、感性音情報の値が「０．９５以上、１以下」の値である場合には感性表現語は「ガヤガヤ」である。このように、感性音情報の値に対応する感性表現語が格納されている。
【００４８】
感性表現語検索部２２は、入力信号分析部１から感性音情報を入力し、この感性音情報に対応した感性表現語を、感性表現語データベース２１から検索する。例えば、入力信号分析部１から得られた感性音情報の値が「０．６４」の場合、感性表現語データベース２１から「０．６４」に対応する感性表現語を選択する。図３に示される感性表現語データベース２１の例では、「０．６４」に対応する感性表現語は、０．６〜０．７の間にある「ペチャペチャ」である。従って、感性音情報の値「０．６４」に対応する感性表現語として「ペチャペチャ」を検索する。検索された感性表現語は、テキストデータ等の形式により、感性表現語映像重畳部３に出力される。
【００４９】
感性表現語映像重畳部３は、感性表現語重畳映像生成部３０を有する。
【００５０】
感性表現語重畳映像生成部３０は、検索された感性表現語を、映像の予め定められた重畳位置に、予め定められたフォントの種類、フォントサイズ、文字色で、重畳した感性表現語重畳映像を生成する。そして、生成した感性表現語重畳映像を表示部４に出力する。
【００５１】
表示部４は、感性表現語映像重畳部３から感性表現語重畳映像を入力し、感性表現語が重畳された映像を表示する。
【００５２】
図４に感性表現語が重畳された映像の一例を示す。図４に示した例は、会議の場で取得された感性音に基づいて選択された感性表現語「がやがや」が、会議の場で撮影された映像に重畳されている例である。
【００５３】
以上の如く、第１の実施の形態では、その場の音の大きさに応じた感性表現語（擬音語や擬態語）を選択することにより、その場の音の大きさに応じた雰囲気や互いの状況を人間の感性に訴えた感性表現語（擬音語や擬態語）を選択し、その選択した感性表現語をその場の映像に重畳する構成としている。このような構成にすることにより、その場の雰囲気や互いの状況を、視覚のみならず、人間の感性に訴えた感性表現語が重畳された映像により明確に表すことによって、互いに感性をより共有しやすくなり、今までにない臨場感を得ることができる。
【００５４】
＜第２の実施の形態＞
第２の実施の形態を説明する。
【００５５】
第２の実施の形態では、感性表現語を重畳する映像を分析して、重畳する感性表現語を効果的に表示する例を説明する。
【００５６】
図５は、第２の実施の形態の情報表示システムのブロック図である。尚、第１の実施の形態と同様な部分については、同じ符号を付して詳細な説明は省略する。
【００５７】
感性表現語重畳映像生成部３は、第１の実施の形態に加え、感性表現語重畳効果制御部３１を有する。
【００５８】
感性表現語重畳効果制御部３１は、入力された映像信号を分析し、例えば、映像の動きの大きい領域を特定し、その領域を示す情報を感性表現語重畳映像生成部３０に出力する。
【００５９】
感性表現語重畳映像生成部３０では、感性表現語重畳効果制御部３１から得られた動きの大きい領域に検索された感性表現語を重畳し、感性表現語重畳映像を生成する。そして、感性表現語重畳映像を表示部４に出力する。
【００６０】
このように、動きの大きい領域を検出し、この領域付近に感性表現語を重畳することにより、音が発生していると推定される位置に効果的に感性表現語を配置できる。
【００６１】
尚、感性表現語重畳効果制御部３１は、動きの大きい領域を検出するのみならず、あるオブジェクトの動きを特定するようにしても良い。例えば、自動車が映っている映像において、自動車の動きを検出する。そして、この動きの情報を感性表現語重畳映像生成部３０に出力する。感性表現語重畳映像生成部３０では、感性表現語選択部２が選択した自動車のエンジン音である感性表現語「ブーン」を自動車の動きに合わせて映像に重畳するようにしても良い。
【００６２】
また、感性表現語重畳効果制御部３１は、動きの大きい領域を検出するのみならず、色の変化、輝度の変化、エッジの変化が少ない領域を検出するようにしても良い。例えば、街頭が映っている映像において、建物の壁や空の領域を検出する。そして、この領域を示す情報を感性表現語重畳映像生成部３０に出力する。感性表現語重畳映像生成部３０では、この領域に検索された感性表現語を重畳するようにしても良い。これにより、感性表現語と映像中の他の物体と重なりにくくなり、より効果的に感性表現語を配置できる。
【００６３】
更に、映像を分析することにより、重畳する感性表現語のフォントの種類や、サイズの大きさ、色を適時変更するようにしても良い。例えば、映像中の物体の領域サイズを分析し、大きい領域にはフォントサイズを大きくし、小さな領域にはフォントサイズを小さくすれば良い。
【００６４】
以上の如く、第２の実施の形態では、映像信号を分析して、感性表現語を重畳する位置や、そのフォント、その大きさ、色を適時変更するので、より一層、その場の雰囲気や互いの状況をより共有しやすくなり、今までにない臨場感を得ることができる。
【００６５】
＜第３の実施の形態＞
第３の実施の形態を説明する。
【００６６】
第３の実施の形態では、感性音を取得した場で撮影されたオリジナルの映像に対して所定の処理を施してスケッチ風の映像に変換し、オリジナルの映像を変化したスケッチ風の映像に対して、選択された感性表現語を重畳する例を説明する。
【００６７】
図６は、第３の実施の形態の情報表示システムのブロック図である。尚、第１、第２の実施の形態と同様な部分については、同じ符号を付して詳細な説明は省略する。
【００６８】
感性表現語重畳映像生成部３は、第２の実施の形態に加え、映像変換部３２を有する。
【００６９】
映像変換部３２は、入力された映像信号のカラー映像を、色の鮮やかなスケッチ風の画像の映像に変換する。映像変換部３２が行う色の鮮やかなスケッチ風の画像に変換する方法は、例えば、特許文献ＷＯ２００６／１０６７５０号公報に記載された技術を用いることができる。
【００７０】
この画像処理方法は、任意の色空間で表されたカラー画像の画像データの成分を、明度が変化しても色度が変化しない色空間または明度が最大値になったときに色度が１点に収束しない色空間における明度および色度に変換する第１の色変換ステップと、前記第１の色変換ステップでの変換で得られた明度に対して空間フィルタリングを施すフィルタリングステップと、前記空間フィルタリングが施された明度と、前記第１の色変換ステップでの変換で得られた色度とを、前記カラー画像の画像データの成分に変換する第２の色変換ステップとを含むことを特徴とする。
【００７１】
そのような方法によれば、第１の色変換ステップで、任意の色空間で表されたカラー画像の画像データの成分を、明度が変化しても色度が変化しない色空間または明度が最大値になったときに色度が１点に収束しない色空間における明度および色度に変換するので、明度に空間フィルタリングを施しても、明度の変化に伴い色度が１点に収束してしまうことがない。従って、人手により色の鮮やかさを調整する必要がなくなる。
【００７２】
例えば、第１の色変換ステップで、ＲＧＢ表現のカラー画像の画像データのＲＧＢ成分を、ＨＳＶ色空間における明度および色度に変換し、第２の色変換ステップで、空間フィルタリングが施された明度と、前記第１の色変換ステップでの変換で得られた色度とを、ＲＧＢ成分に変換する方法であってもよい。
【００７３】
例えば、フィルタリングステップで、カーネルをｆ（ｉ，ｊ）とした場合に、少なくともｉおよびｊがそれぞれｉ，ｊのとり得る最大値と最小値の中間の近傍値であるときにｆ（ｉ，ｊ）＞０を満足し、ｉまたはｊの少なくともいずれか一方がその最大値または最小値となっているときにｆ（ｉ，ｊ）＜０を満足し、各ｉ，ｊに応じたｆ（ｉ，ｊ）の総和が正であるという条件を満足する畳み込み演算を明度に対して行うことにより、空間フィルタリングを施す方法であってもよい。
【００７４】
そのような方法によれば、明度の変化を強調することにより輪郭を生成するとともに、写真画像の陰影等の微妙な変化を反映しないような変換を実現でき、人手を介することなく、カラー画像の画像データを、色の鮮やかなスケッチ風の画像を示す画像データに変換することができる。
【００７５】
また、この画像処理方法は、任意の色空間で表されたカラー画像の画像データの成分を、明度が変化しても飽和度および色相が変化しない色空間または明度が最大値になったときに飽和度および色相が１点に収束しない色空間における明度、飽和度、および色相に変換する第１の色変換ステップと、前記第１の色変換ステップでの変換で得られた明度に対して空間フィルタリングを施すフィルタリングステップと、前記第１の色変換ステップでの変換で得られた飽和度に対して、飽和度の値に応じて、飽和度の値を変化させないかあるいはより大きな値に変化させる強調処理を実行する強調処理ステップと、前記空間フィルタリングが施された明度と、前記強調処理が実行された飽和度と、前記第１の色変換ステップでの変換で得られた色相とを、前記カラー画像の画像データの成分に変換する第２の色変換ステップとを含むことを特徴とする。
【００７６】
そのような方法によれば、第１の色変換ステップで、任意の色空間で表されたカラー画像の画像データの成分を、明度が変化しても飽和度および色相が変化しない色空間または明度が最大値になったときに飽和度および色相が１点に収束しない色空間における明度、飽和度、および色相に変換するので、明度に空間フィルタリングを施しても、明度の変化に伴い飽和度および色相が１点に収束してしまうことがない。従って、人手により色の鮮やかさを調整する必要がなくなる。
【００７７】
例えば、第１の色変換ステップで、ＲＧＢ表現のカラー画像の画像データのＲＧＢ成分を、ＨＳＶ色空間における明度、飽和度、および色相に変換し、第２の色変換ステップで、空間フィルタリングが施された明度と、強調処理が実行された飽和度と、前記第１の色変換ステップでの変換で得られた色相とを、ＲＧＢ成分に変換する方法であってもよい。
【００７８】
例えば、フィルタリングステップで、カーネルをｆ（ｉ，ｊ）とした場合に、少なくともｉおよびｊがそれぞれｉ，ｊのとり得る最大値と最小値の中間の近傍値であるときにｆ（ｉ，ｊ）＞０を満足し、ｉまたはｊの少なくともいずれか一方がその最大値または最小値となっているときにｆ（ｉ，ｊ）＜０を満足し、各ｉ，ｊに応じたｆ（ｉ，ｊ）の総和が正であるという条件を満足する畳み込み演算を明度に対して行うことにより、空間フィルタリングを施す方法であってもよい。
【００７９】
そのような方法によれば、明度の変化を強調することにより輪郭を生成するとともに、写真画像の陰影等の微妙な変化を反映しないような変換を実現でき、人手を介することなく、カラー映像を、色の鮮やかなスケッチ風の映像に変換することができる。
【００８０】
また、強調処理ステップで、飽和度の値が予め定められた閾値未満であるときには飽和度の値を変化させず、飽和度の値が前記閾値を超えているときには飽和度の値を、飽和度の取り得る最大値または当該最大値の近傍値に変化させる方法であってもよい。
【００８１】
そのような方法によれば、子供が描く絵画のような非常に鮮やかな色の映像に変換が可能となる。
【００８２】
強調処理ステップで、飽和度の値を変数とする関数により定まる値を飽和度の値とする方法であってもよい。
【００８３】
感性表現語重畳効果制御部３１は、入力された映像信号（オリジナルの映像）を分析し、例えば、映像の動きの激しい位置を特定し、その位置を示す情報を感性表現語重畳映像生成部３０に出力する。
【００８４】
感性表現語重畳映像生成部３０は、映像変換部３２からのオリジナル映像をスケッチ風に変換した映像に、感性表現語重畳効果制御部３１から得られた映像の動きが激しい位置に検索された感性表現語を重畳し、感性表現語重畳映像を生成する。そして、感性表現語重畳映像を表示部４に出力する。
【００８５】
図７は、表示部４で出力される映像の一例である。図７では、カラーのオリジナル映像をスケッチ風の映像に変換し、このスケッチ風の映像に感性表現語を重畳した一例を示したものである。
【００８６】
以上の如く、第３の実施の形態では、オリジナル映像をスケッチ風に変換することにより、映像信号を取得した場の映像を強調表示することができ、この強調表示されたスケッチ風の映像に選択された感性表現語を重畳することにより、より一層、その場の雰囲気や互いの状況を感性により共有しやすくなり、今までにない臨場感を得ることができる。
【００８７】
＜第４の実施の形態＞
第４の実施の形態を説明する。
【００８８】
第４の実施の形態では、ある所定の場で発生している感性音から取得されたオーディオ信号の音の大きさに着目し、選択された感性表現語の表示効果を変化させる例を説明する。
【００８９】
図８は、第４の実施の形態の情報表示システムのブロック図である。尚、第１、第２、第３の実施の形態と同様な部分については、同じ符号を付して詳細な説明は省略する。
【００９０】
感性表現語重畳効果制御部３１は、入力信号分析部１の音圧レベル算出部１０から感性音情報（感性音のオーディオ信号の音圧レベルを正規化した値（０〜１．０））を入力とし、この感性音情報の値に対応した感性表現語のフォントの大きさを決定する。具体的には、感性音情報の値の大きさに比例して、感性表現語のフォントサイズを大きくしていく制御を行う。そして、感性表現語重畳効果制御部３１は、感性音情報の値の大きさに対応したフォントサイズを、感性表現語重畳映像生成部３０に出力する。
【００９１】
感性表現語重畳映像生成部３０は、感性表現語検索部２２で検索された感性表現語を、感性表現語重畳効果制御部３１で指定されたフォントサイズで映像に重畳し、感性表現語重畳映像を生成する。
【００９２】
表示部４は、感性表現語映像重畳部３０から感性表現語重畳映像を入力し、感性表現語が重畳された映像を表示する。
【００９３】
図９に感性表現語が重畳された映像の一例を示す。図９に示した例は、音圧レベルが低くいため、感性表現語のフォントサイズを小さくして重畳した一例を示している。
【００９４】
以上の如く、第４の実施の形態では、オーディオ信号の音の大きさに着目して、感性表現語のフォントの大きさを決定しているので、映像中に占める感性表現語の大きさの変化によって、より一層、その場の雰囲気や互いの状況を感性により共有しやすくなり、今までにない臨場感を得ることができる。
【００９５】
＜第５の実施の形態＞
第５の実施の形態を説明する。
【００９６】
第５の実施の形態では、上述した実施の形態の構成に加え、ある所定の場で発生している感性音から取得されたオーディオ信号を周波数分析し、音の大きさと周波数スペクトルとに着目して感性音情報を生成する。そして、感性音情報に基づいて、オーディオ信号を取得した場に適した感性表現語を選択すると共に、その感性表現語の表示を変化させる例を説明する。
【００９７】
図１０は、第５の実施の形態の情報表示システムのブロック図である。
【００９８】
入力信号分析部１は、第１の実施の形態に加え、周波数解析部１１を有する。
【００９９】
周波数解析部１１は、入力信号の基本周波数や、周波数重心、周波数帯域や、スペクトル包絡の傾き、倍音数などの音の周波数上での特徴を現す周波数情報を算出する。
【０１００】
各項目の概念図を図１１に示す。
【０１０１】
ここで、基本周波数とは、周期的な音の音高を表す周波数であり、音の振動周期で決まり音の振動周期が短いと音の高さは高くなり、振動周期が長いと音の高さは低くなる。また、周波数重心とは、エネルギを重みとした重み付け平均周波数であり、雑音の場合の音の高さを表す。また、周波数帯域とは、入力されたオーディオ信号が取りうる周波数の帯域である。また、スペクトル包絡とは、スペクトルの大まかな傾向を表し、その傾きは音色に影響する。
【０１０２】
周波数解析部１１は、上述のような周波数情報を感性音情報として出力する。
【０１０３】
感性表現語検索部２２は、音圧レベルと周波数情報とを感性音情報として入力し、感性音情報に対応する感性表現語を感性表現語データベース２１から選択する。このため、感性表現語データベース２１には音圧レベルのみならず、周波数情報も考慮されて学習された感性音情報に対応する感性表現語が格納されている。また、感性表現語検索部２２は、音圧レベルと周波数情報とを感性音情報として入力し、感性表現語データベース２１から音圧レベルと周波数情報とにあった感性表現語を選択する。
【０１０４】
感性表現語重畳効果制御部３１は、音圧レベルと周波数情報とを感性音情報として入力し、感性音情報に基づいて感性表現語の表示効果を制御する。
【０１０５】
感性表現語検索部２２の感性表現語の検索、及び感性表現語重畳効果制御部３１の表示効果の制御の一例を説明する。
【０１０６】
図１２は感性音情報が音圧レベルと周波数重心（正規化値）とである場合、音圧レベル（正規化値）と周波数重心（正規化値）との２次元に感性表現語がマッピングされた感性表現語データベース２１の一例を示したものである。
【０１０７】
感性表現語検索部２２は、例えば、音圧レベルの値が大きく、周波数重心の値が小さい感性音情報を受信すると、オーディオ信号を取得した場では迫力ある音がしていると判断して、感性表現語「ドンドン」を選択する。一方、音圧レベルの値が小さく、周波数重心の値が大きい感性音情報を受信すると、オーディオ信号を取得した場ではもの足りない音がしていると判断して、感性表現語「トントン」を選択する。また、音圧レベルの値が大きく、周波数重心の値も大きい感性音情報を受信すると、オーディオ信号を取得した場では鋭い音がしていると判断して、感性表現語「キンキン」を選択する。一方、音圧レベルの値が小さく、周波数重心の値も小さい感性音情報を受信すると、オーディオ信号を取得した場では鈍い音がしていると判断して、感性表現語「ゴンゴン」を選択する。尚、周波数重心に代えて基本周波数であっても同様である。
【０１０８】
また、感性表現語重畳効果制御部３１は、音圧レベルの値が大きく、周波数重心の値が小さい感性音情報を受信すると、オーディオ信号を取得した場では迫力ある音がしていると判断して、感性表現語「ドンドン」を表示するものとして、丸みを帯びた太字のフォントサイズが大きいものを選択する。一方、音圧レベルの値が小さく、周波数重心の値が大きい感性音情報を受信すると、オーディオ信号を取得した場ではもの足りない音がしていると判断して、感性表現語「トントン」を表示するものとして、細字のフォントサイズが小さいものを選択する。また、音圧レベルの値が大きく、周波数重心の値も大きい感性音情報を受信すると、オーディオ信号を取得した場では鋭い音がしていると判断して、感性表現語「キンキン」を表示するものとして、とげとげしい細字のフォントサイズが大きいものを選択する。一方、音圧レベルの値が小さく、周波数重心の値も小さい感性音情報を受信すると、オーディオ信号を取得した場では鈍い音がしていると判断して、感性表現語「ゴンゴン」を表示するものとして、丸みを帯びた細字のフォントサイズが小さいものを選択する。
【０１０９】
上述では音圧レベルと周波数重心又は基本周波数との例を示したが、これに限られない。感性表現語検索部２２は、例えば、図１３に示すように、周波数情報がスペクトル包絡の傾きであり、その傾きが負の場合には、鈍い印象の感性表現語として濁音がある感性表現語から音圧レベルに対応した感性表現語を選択し、傾きが正の場合には鋭い印象の感性表現語として濁音がない感性表現語から音圧レベルに対応した感性表現語を選択するようにしても良い。
【０１１０】
また、感性表現語重畳効果制御部３１は、周波数情報がスペクトル包絡の傾きであり、その傾きが負の場合には、鈍い印象の感性表現語を表示するものとして、丸みを帯びたフォントから音圧レベルに対応したフォントサイズを選択し、傾きが正の場合には鋭い印象の感性表現語を表示するものとして、とげとげしいフォントから音圧レベルに対応したフォントサイズを選択するようにしても良い。
【０１１１】
また、感性表現語検索部２２は、例えば、図１４に示すように、周波数情報が倍音数であり、その数が多い場合には汚い印象（雑音になる）となる濁音のある感性表現語から音圧レベルに対応した感性表現語を選択し、その数が少ない場合にはきれいな印象（純音に近い）になる濁音が無い感性表現語から音圧レベルに対応した感性表現語を選択するようにしても良い。
【０１１２】
一方、感性表現語重畳効果制御部３１は、周波数情報が倍音数であり、その数が多い場合には汚い印象（雑音になる）となる濁音のある感性表現語を表示するものとして、形の崩れたフォントから音圧レベルに対応したフォントサイズを選択し、その数が少ない場合にはきれいな印象（純音に近い）になる濁音が無い感性表現語を表示するものとして、形の整ったフォントから音圧レベルに対応したフォントサイズを選択するようにしても良い。
【０１１３】
更に、感性表現語検索部２２は、例えば、図１５に示すように、周波数情報が周波数帯域及び周波数重心であり、その帯域が狭く周波数重心が低い場合には鈍い印象（高域の音を含まない）の非金属的な印象を与え、かつ、低い音を表現するような感性表現語から音圧レベルに対応した感性表現語、例えば、「ドンドン」を選択する。一方、その帯域が広く周波数重心が高い場合には鋭い印象（高域の音を含む）の金属的な印象を与え、かつ、高い音を表現するような感性表現語から音圧レベルに対応した感性表現語、例えば、「キンキン」を選択するようにしても良い。
【０１１４】
また、感性表現語重畳効果制御部３１は、周波数情報が周波数帯域及び周波数重心であり、その帯域が狭く周波数重心が低い場合には鈍い印象（高域の音を含まない）の非金属的な印象を与え、かつ、低い音を表現するような感性表現語を表示するものとして、まるみを帯びたフォントから音圧レベルに対応したフォントサイズを選択する。一方、その帯域が広く周波数重心が高い場合には鋭い印象（高域の音を含む）の金属的な印象を与え、かつ、高い音を表現するような感性表現語から音圧レベルに対応した感性表現語を表示するものとして、先のとがった、とげとげした形のフォントから音圧レベルに対応したフォントサイズを選択するようにしても良い。
【０１１５】
感性表現語検索部２２において、上述のように選択された感性表現語のテキストデータは、感性表現語重畳映像生成部３０に入力される。
【０１１６】
また、感性表現語重畳効果制御部３１によって選択されたフォントの種類やフォントサイズ等も、感性表現語重畳映像生成部３０に入力される。
【０１１７】
感性表現語重畳映像生成部３０は、感性表現語検索部２２から感性表現語を、感性表現語重畳効果制御部３１で指定されたフォントの種類やフォントサイズで、映像変換部３２からのオリジナル映像をスケッチ風に変換した映像に重畳した感性表現語重畳映像を生成する。そして、感性表現語重畳映像を表示部４に出力する。
【０１１８】
表示部４は、感性表現語映像重畳部３から感性表現語重畳映像を入力し、感性表現語が重畳された映像を表示する。
【０１１９】
なお、上記で説明した複数の周波数情報を用いても良い。
【０１２０】
また、上記の例では、音圧レベルと周波数情報とを組み合わせた例を説明したが、周波数情報のみを用いて感性表現語を選択したり、感性表現語の表示効果を制御したりすることもできる。
【０１２１】
以上の如く、第５の実施の形態では、感性音情報に音圧レベルに加えて周波数情報を加えることにより、よりその場の雰囲気を表す感性表現語を選択し、より効果的な感性表現語の表示を行うことができる。
【０１２２】
＜第６の実施の形態＞
第６の実施の形態を説明する。
【０１２３】
第６の実施の形態では、上述の実施の形態の構成に加え、ある所定の場で発生している感性音から取得されたオーディオ信号を音声と音声以外の環境音とに識別し、音の大きさ、周波数分析、音声と環境音との識別に着目して感性音情報を生成する。そして、感性音情報に基づいて、オーディオ信号を取得した場に適した感性表現語を選択する。更に、音の種別により、選択された感性表現語の表示効果を変化させる例を説明する。
【０１２４】
図１６は、第６の実施の形態の情報表示システムのブロック図である。
【０１２５】
入力信号分析部１は、上述の実施の形態に加え、音声・環境音判定部１２を有する。
【０１２６】
音声・環境音判定部１２は、入力されたオーディオ信号に対し、人が発声した音声か、その他の環境音かを判定する。判定方法としては、以下の方法が考えられる。
【０１２７】
（１）オーディオ信号のスペクトル形状の時間変化が少なすぎる（定常雑音）、もしくは急激すぎる（突発雑音）のとき、音声を除く環境音と判定する。
【０１２８】
（２）オーディオ信号のスペクトル形状が、フラット、もしくは１／ｆに近いとき、音声を除く環境音と判定する。
【０１２９】
（３）オーディオ信号に対して数ms（8 kHzサンプリングの場合、10次）程度の線形予測を行い、その線形予測ゲインが大きい場合は音声とし、小さい場合は環境音と判定する。また、オーディオ信号に対して十数ms（8 kHzサンプリングの場合、40〜160次）程度の長期予測を行い、その長期予測ゲインが大きい場合は音声とし、小さい場合は環境音と判定する。
【０１３０】
（４）オーディオ信号の入力音をケプストラムに変換し、変換した信号と音声の標準モデルとの距離を測定し、その入力音が一定以上離れていた場合には音声を除く環境音と判定する。
【０１３１】
（５）オーディオ信号の入力音をケプストラムに変換し、変換した信号と音声の標準モデルとの距離と、変換した信号とガーベッジモデルもしくはユニバーサルモデルとの距離とを測定し、ガーベッジモデルもしくはユニバーサルモデルにより近い場合には、その入力音を音声以外の環境音と判定する。
【０１３２】
上述した方法の音声の標準モデルとしては、Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ（ＧＭＭ）やＨｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ（ＨＭＭ）などを用いることができる。ＧＭＭやＨＭＭは予め人が発声した音声から統計的もしくは機械学習のアルゴリズムを用いて作成する。尚、ガーベッジモデルとは、人の発声以外の音から作成したモデルであり、ユニバーサルモデルとは、人の発声した音声とそれ以外の音声を全て合わせて作成したモデルである。
【０１３３】
入力信号分析部１は、音圧レベル算出部１０が算出した音圧レベルと、周波数解析部１１が算出した周波数情報と、音声・環境音判定部１２が算出した音の種別（音声、又は、音声以外の環境音）を感性音情報として、感性表現語検索部２２と感性表現語重畳効果制御部３１とに出力する。
【０１３４】
感性表現語検索部２２は、基本的な構成は上述した実施の形態と同様であるが、音圧レベル、周波数情報及び音の種別（音声、又は、音声以外の環境音）を感性音情報として入力し、感性表現語を検索する。このため、感性表現語データベース２１には音圧レベル、周波数情報のみならず、音声又は音声以外の環境音の種別も考慮されて学習された感性音情報に対応する感性表現語が格納されている。
【０１３５】
感性表現語検索部２２は、例えば、オーディオ信号を取得した場で発生している音が音声であり、基本周波数が高く、音圧レベルが低くい場合には、音声に対応した感性表現語「ヒソヒソ」を検索する。一方、オーディオ信号を取得した場で発生している音が音声であり、基本周波数が低く、音圧レベルが高い場合には音声に対応した感性表現語「ガヤガヤ」を検索する。また、感性表現語検索部２２は、オーディオ信号を取得した場で発生している音が音声以外の環境音であり、周波数重心が低く、音圧レベルが低くい場合には感性表現語「ゴンゴン」等の音声以外の環境音に対応した感性表現語を検索する。一方、オーディオ信号を取得した場で発生している音が音声以外の環境音であり、周波数重心が高く、音圧レベルが高い場合には感性表現語「キンキン」等の音声以外の環境音に対応した感性表現語を検索する。そして、検索された感性表現語は、テキストデータや、Exif等のメタデータや動画検索用のタグに使用する形式にあわせて出力される。
【０１３６】
尚、音声・環境音判定部１２により音声と判断された場合、感性表現語検索部２２は、音圧レベル、周波数情報に基づいて話者数を分析して、その人数に適した感性表現語を選択するようにしても良い。例えば、一人が小さな声で話している場合は「ブツブツ」、大きな声の場合は「ワー」、複数の人が小さな声で話している場合は「ヒソヒソ」、複数の人が大きな声の場合は「ワイワイ」を検索する。
【０１３７】
尚、上記の例では、音圧レベルと、周波数情報と、音声と環境音との識別とを組み合わせた例を説明したが、音声と環境音との識別のみ、音圧レベルと音声と環境音との識別との組み合わせを用いて感性表現語を選択することもできる。
【０１３８】
このように選択された感性表現語テキストデータは、感性表現語重畳映像生成部３０に出力される。
【０１３９】
感性表現語重畳効果制御部３１は、基本的な構成は上述した実施の形態と同様であるが、音圧レベル、周波数情報及び音の種別（音声、又は、音声以外の環境音）を感性音情報として入力し、感性表現語の表示効果を制御する。
【０１４０】
例えば、感性表現語重畳効果制御部３１は、上述した実施の形態の効果制御に加え、音の種別によって感性表現語の表示色を変化させる制御をおこなう。具体的には、音の種別が音声である場合には、感性表現語の表示色を予め定められた色、例えば黒とする。一方、音の種別が音声以外である場合には、感性表現語の表示色を予め定められた色、例えば白とする。
【０１４１】
このように、音の種別により、感性表現語の表示色を変化させることにより、音の発生源の種別を視覚的に認識し易くなる。尚、感性表現語の表示色を変化は一例であり、これに限られない。例えば、音の種別により、感性表現語のフォントの種類やフォントサイズを変更するようにしても良い。
【０１４２】
感性表現語重畳効果制御部３１によって選択されたフォントの色や種類、フォントサイズ等は、感性表現語重畳映像生成部３０に入力される。
【０１４３】
感性表現語重畳映像生成部３０は、感性表現語検索部２２で検索された感性表現語を、感性表現語重畳効果制御部３１で指定されたフォントの色や種類、フォントサイズで、映像変換部３２からのオリジナル映像をスケッチ風に変換した映像に重畳した感性表現語重畳映像を生成する。そして、感性表現語重畳映像を表示部４に出力する。
【０１４４】
表示部４は、感性表現語映像重畳部３から感性表現語重畳映像を入力し、感性表現語が重畳された映像を表示する。
【０１４５】
第６の実施の形態では、音声と音声以外の環境音とを識別しているので、オーディオ信号を取得した場で発生している音の種別に対応した感性表現語の選択及び表示することができる。
【０１４６】
＜第７の実施の形態＞
第７の実施の形態を説明する。
【０１４７】
第７の実施の形態では、第６の実施の形態の構成に加え、更に、音声以外の環境音の種別を識別し、音の大きさ、周波数分析、感性音の識別（音声や、車の音等の環境音の種別）に着目して感性音情報を生成する。そして、感性音情報に基づいて、オーディオ信号を取得した場に適した感性表現語を選択する。更に、音の種別により、選択された感性表現語の表示効果を変化させる例を説明する。
【０１４８】
図１７は、第７の実施の形態の情報表示システムのブロック図である。
【０１４９】
入力信号分析部１は、上述の実施の形態に加え、音声・環境音種別判定部１３を有する。
【０１５０】
音声・環境音種別判定部１３は、入力されたオーディオ信号に対し、人が発声した音声、音声以外の環境音の種別を判定する。判定方法としては、ＧＭＭを使う方法やＨＭＭを使う方法が考えられる。例えば、音声以外の環境音の種類ごとに予め作成されたＧＭＭやＨＭＭが格納されており、入力音に一番距離が近い環境音の種別が選択される。これらの環境音の種別を識別する方法は、文献“音声言語情報処理２９−１４「ＨＭＭを用いた環境音識別の検討」”に記載された技術を参考にすることができる。
【０１５１】
入力信号分析部１は、音圧レベル算出部１０が算出した音圧レベルと、周波数解析部１１が算出した周波数情報と、音声・環境音種別判定部１３が算出した環境音の種別（音声、車の音、雨の音と言った環境音の種別）とを感性音情報として、感性表現語検索部２２と感性表現語重畳効果制御部３１とに出力する。出力する。
【０１５２】
感性表現語検索部２２は、音圧レベル、周波数情報及び環境音の種別（音声、車の音、雨の音と言った環境音の種別）を感性音情報として入力し、感性表現語を選択する。そのため、感性表現語データベース２１には音圧レベル、周波数情報のみならず、音声又は音声以外の環境音の種別も考慮されて学習された感性音情報に対応する感性表現語が格納されている。
【０１５３】
例えば、感性表現語検索部２２は、例えば、オーディオ信号を取得した場で発生している音の種別が「金属を叩く音」であり、周波数重心が高く、音圧レベルが低くい場合には、「金属を叩く音」に対応した感性表現語「カンカン」を検索する。一方、オーディオ信号を取得した場で発生している音の種別が「金属を叩く音」であり、周波数重心が低く、音圧レベルが低くい場合には、「金属を叩く音」に対応した感性表現語「ガンガン」を検索する。そして、検索された感性表現語のテキストデータは、感性表現語重畳映像生成部３０に出力される。
【０１５４】
尚、上記の例では、音圧レベルと、周波数情報と、感性音の識別とを組み合わせた例を説明したが、感性音の識別のみ、音圧レベルと感性音の識別との組み合わせを用いて感性表現語を選択することもできる。
【０１５５】
感性表現語重畳効果制御部３１は、基本的な構成は上述した実施の形態と同様であるが、音圧レベル、周波数情報及び音の種別（音声、環境音の種別）を感性音情報として入力し、感性表現語の表示効果を制御する。
【０１５６】
例えば、感性表現語重畳効果制御部３１は、上述した実施の形態の効果制御に加え、音の種別によって感性表現語の表示色を変化させる制御をおこなう。具体的には、環境音の種別によって感性表現語の表示色を予め定められた色に制御する。例えば、環境音が水の音である場合には、例えば水色とし、環境音が自動車の音ならば灰色とする。
【０１５７】
このように、環境音自体の種別も識別し、感性表現語の表示色を変化させることにより、更に、音の発生源の種別を視覚的に認識し易くなる。尚、感性表現語の表示色を変化は一例であり、これに限られない。例えば、音の種別により、感性表現語のフォントの種類やフォントサイズを変更するようにしても良い。
【０１５８】
感性表現語重畳効果制御部３１によって選択されたフォントの色や種類、フォントサイズ等は、感性表現語重畳映像生成部３０に入力される。
【０１５９】
感性表現語重畳映像生成部３０は、感性表現語検索部２２で検索された感性表現語を、感性表現語重畳効果制御部３１で指定されたフォントの色や種類、フォントサイズで、映像変換部３２からのスケッチ風に変換した映像に重畳した感性表現語重畳映像を生成する。そして、感性表現語重畳映像を表示部４に出力する。
【０１６０】
表示部４は、感性表現語映像重畳部３から感性表現語重畳映像を入力し、感性表現語が重畳された映像を表示する。
【０１６１】
第７の実施の形態では、上述した実施の形態に加え、環境音の種別を識別しているので、オーディオ信号を取得した場で発生している音の種別に対応した感性表現語の選択及び表示をすることができる。
【０１６２】
＜第８の実施の形態＞
第８の実施の形態は、音源の方向を検出し、この結果を感性表現語の表示効果に加えることを特徴とする。
【０１６３】
図１８は、第８の実施の形態の情報表示システムのブロック図である。
【０１６４】
感性表現語重畳映像生成部３は、上述した実施の形態に加え、音源方向推定部３３を有する。
【０１６５】
音源方向推定部３３における到来方向の算出方法を、図１９を用いて説明する。図１９では簡単のため２つのマイクによって音を収録することを想定する。音源４１は十分遠方にあると仮定する。センサはマイクＡ４２と、マイクＢ４３である。このとき音源からの到来方向と２つのマイクの位置関係によって、同じ音が２つのマイクに到達する時間に差が生じることがわかる。到達時間の差をΔｔ、音速をλとすると、到来距離差ｄ４５はλ・Δｔで表される。そして、２つのマイク間距離Ｄ４４が既知であるとすると、到来方向である角度φは数１によって算出することができる。
【０１６６】
【数１】
2011122521.tif 000003
入力信号のチャンネル数が２個以上の場合は、特定のチャンネルのペアから到来方向を算出することができる。また、複数のペアで到来方向を算出し、算出した到来方向を統合してもよい。複数のペアを用いて算出することにより、精度の高い到来方向を算出することができる。
【０１６７】
感性表現語重畳効果制御部３１は、音源方向推定部３３から到来方向を受け、映像上の音の到来方向の位置を推定し、その位置を感性表現語の重畳位置とする。そして、この感性表現語の重畳位置と、感性表現語のフォントの色や種類、フォントサイズ等を、感性表現語重畳映像生成部３０に出力する。
【０１６８】
感性表現語重畳映像生成部３０は、感性表現語検索部２２で検索された感性表現語を、感性表現語重畳効果制御部３１で指定された位置、フォントの色や種類、フォントサイズで、映像変換部３２からのスケッチ風に変換した映像に重畳した感性表現語重畳映像を生成する。そして、感性表現語重畳映像を表示部４に出力する。
【０１６９】
表示部４は、感性表現語映像重畳部３から感性表現語重畳映像を入力し、感性表現語が重畳された映像を表示する。第８の実施の形態では、映像上の音の到来方向の位置に感性表現語を重畳しているので、音源の方向を視認することができる。
【０１７０】
＜第９の実施の形態＞
第９の実施の形態を説明する。
【０１７１】
第９の実施の形態では、オーディオ信号がある一定のレベルにある場合のみ、感性表現語を選択する動作を行う例を説明する。
【０１７２】
図２０は、第９の実施の形態の情報表示システムのブロック図である。
【０１７３】
入力信号分析部１は、上述の実施の形態に加え、アクティブ判定部３４を有する。
【０１７４】
アクティブ判定部３４は、オーディオ信号がある一定のレベルにある場合のみ、音圧レベル算出部１０、周波数解析部１１と、音声・環境音種別判定部１３と、音源位置方向推定部３４とにオーディオ信号を出力する。
【０１７５】
第９の実施の形態では、オーディオ信号がある一定のレベルにある場合のみ、感性表現語を選択する動作を行うので、無駄な感性表現語選択の処理などを防止することができる。
【０１７６】
＜第１０の実施の形態＞
第６の実施の形態を説明する。
【０１７７】
第１０の実施の形態は、上述した実施の形態をプログラムで動作するコンピュータで行う例を説明する。
【０１７８】
図２１は、第１０の実施の形態の情報表示システムのブロック図である。
【０１７９】
第１０の実施の形態の情報表示システムは、コンピュータ５０と、感性表現語データベース２１とを有する。
【０１８０】
コンピュータ５０は、プログラムが格納されるプログラムメモリ５２と、プログラムで動作されるＣＰＵ５１とを有する。
【０１８１】
ＣＰＵ５１は、音声レベル算出部１０の動作と同様な処理を音声レベル算出処理１００で行い、周波数算出部１１の動作と同様な処理を周波数算出処理１０１で行い、音声・環境判定部１２の動作と同様な処理を音声・環境判定処理１０２で行い、感性表現語検索部２２の動作と同様な処理を感性表現語検索処理２００で行う。
【０１８２】
また、ＣＰＵ５１は、感性表現語重畳映像生成部３０の動作と同様な処理を感性表現語重畳映像生成処理で行い、感性表現語重畳効果制御部３１の動作と同様な処理を感性表現語重畳効果制御処理３０１で行い、映像変換部３２の動作と同様な処理を映像変換処理３０２で行い、音源位置方向推定部３３の動作と同様な処理を音源方向推定処理３０３で行う。
【０１８３】
尚、感性表現語データベース２１は、コンピュータ５０の内部に格納されていても良い。
【０１８４】
また、本実施の形態では、第８の実施の形態に相当するものを例にしたが、これに限られず、上述した他の実施の形態に相当するものをコンピュータで実現することもできる。
【０１８５】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１８６】
（付記１）  所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析部と、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択部と、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳部と、
を有する情報表示システム。
【０１８７】
（付記２）  前記感性表現語は、擬音語、及び擬態語の少なくともいずれかである付記１に記載の情報表示システム。
【０１８８】
（付記３）  前記信号分析部は、オーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかを分析し、感性音情報を生成する
付記１又は付記２に記載の情報表示システム。
【０１８９】
（付記４）  前記感性表現語映像重畳部は、
前記映像に重畳する感性表現語の重畳位置、形状、大きさ、又は色の少なくともいずれかを決定する感性表現語重畳効果制御部と、
前記決定された重畳位置、形状、大きさ、又は色で、感性表現語を前記映像に重畳した感性表現語重畳映像を生成する感性表現語重畳映像生成部と
を有する付記１から付記３のいずれかに記載の情報表示システム。
【０１９０】
（付記５）  前記感性表現語重畳効果制御部は、前記映像の動き、色の変化、輝度の変化、又はエッジの変化の少なくともいずれかを検出し、前記感性表現語の重畳位置を決定する
付記４に記載の情報表示システム。
【０１９１】
（付記６）  前記感性表現語重畳効果制御部は、前記信号分析部により分析されたオーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかに基づいて、前記映像に重畳する感性表現語の形状、大きさ、及び色の少なくともいずれかを決定する
付記４又は付記５に記載の情報表示システム。
【０１９２】
（付記７）  前記感性表現語映像重畳部は、前記所定の場から得られた映像信号の映像をスケッチ風の映像に変換する映像変換部を有し、
前記感性表現語重畳映像生成部は、前記変換された映像に前記感性表現語を重畳した感性表現語重畳映像を生成する
付記１から付記６のいずれかに記載の情報表示システム。
【０１９３】
（付記８）  前記感性表現語映像重畳部は、
前記オーディオ信号に基づいて、映像上の音の到来方向の位置を推定する到来方向推定部を有し、
前記感性表現語重畳映像生成部は、前記推定された音の到来方向の映像位置に、前記感性表現語を重畳する
付記１から付記７のいずれかに記載の情報表示システム。
【０１９４】
（付記９）  所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成し、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択し、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する
情報表示方法。
【０１９５】
（付記１０）  前記感性表現語は、擬音語、及び擬態語の少なくともいずれかである
付記９に記載の情報表示方法。
【０１９６】
（付記１１）  前記オーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかを分析し、感性音情報を生成する
付記９又は付記１０に記載の情報表示方法。
【０１９７】
（付記１２）  前記映像に重畳する感性表現語の重畳位置、形状、大きさ、又は色の少なくともいずれかを決定し、
前記決定された重畳位置、形状、大きさ、又は色で、感性表現語を前記映像に重畳した感性表現語重畳映像を生成する
付記９から付記１１のいずれかに記載の情報表示方法。
【０１９８】
（付記１３）  前記映像の動き、色の変化、輝度の変化、又はエッジの変化の少なくともいずれかを検出し、前記感性表現語の重畳位置を決定する
付記１２に記載の情報表示方法。
【０１９９】
（付記１４）  前記分析されたオーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかに基づいて、前記映像に重畳する感性表現語の形状、大きさ、及び色の少なくともいずれかを決定する
を有する付記１２又は付記１３に記載の情報表示方法。
【０２００】
（付記１５）  前記所定の場から得られた映像信号の映像をスケッチ風の映像に変換し、
前記変換された映像に前記感性表現語を重畳した感性表現語重畳映像を生成する
付記９から付記１４のいずれかに記載の情報表示方法。
【０２０１】
（付記１６）  前記オーディオ信号に基づいて、映像上の音の到来方向の位置を推定し、
前記推定された音の到来方向の映像位置に、前記感性表現語を重畳する
付記９から付記は付記１４のいずれかに記載の情報表示方法。
【０２０２】
（付記１７）  所定の場から得られたオーディオ信号を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析処理と、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択処理と、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳処理と、
を有する情報処理装置に実行させるプログラム。
【０２０３】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【０２０４】
本出願は、２０１０年３月３０日に出願された日本出願特願２０１０−０７８１２２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０２０５】
１        入力信号分析部
２        感性表現語選択部
３        感性表現語映像重畳部
１０      音圧レベル算出部
１１      周波数解析部
１２      音声・環境音判定部
１３      音声・環境音種別判定部
２１      感性表現データベース
２２      感性表現語検索部
３０      感性表現語重畳映像生成部
３１      感性表現語重畳効果制御部
３２      映像変換部
３３      音源方向推定部
３４      アクティブ判定部
５０      コンピュータ
５１      ＣＰＵ
５２      プログラムメモリ
【図１】
2011122521.tif 000004
【図２】
2011122521.tif 000005
【図３】
2011122521.tif 000006
【図４】
2011122521.tif 000007
【図５】
2011122521.tif 000008
【図６】
2011122521.tif 000009
【図７】
2011122521.tif 000010
【図８】
2011122521.tif 000011
【図９】
2011122521.tif 000012
【図１０】
2011122521.tif 000013
【図１１】
2011122521.tif 000014
【図１２】
2011122521.tif 000015
【図１３】
2011122521.tif 000016
【図１４】
2011122521.tif 000017
【図１５】
2011122521.tif 000018
【図１６】
2011122521.tif 000019
【図１７】
2011122521.tif 000020
【図１８】
2011122521.tif 000021
【図１９】
2011122521.tif 000022
【図２０】
2011122521.tif 000023
【図２１】
2011122521.tif 000024
【手続補正書】
【提出日】平成24年1月26日(2012.1.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の場から得られたオーディオ信号を分析することにより、オーディオ信号の音圧レベル及びオーディオ信号の音の種別を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析部と、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択部と、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳部と、
を有する情報表示システム。
【請求項２】
前記感性表現語は、擬音語、及び擬態語の少なくともいずれかである
請求項１に記載の情報表示システム。
【請求項３】
前記信号分析部は、前記オーディオ信号の音圧レベル及び前記オーディオ信号の音の種別に加えて、オーディオ信号の周波数の特徴を現す周波数情報を分析し、感性音情報を生成する
請求項１又は請求項２に記載の情報表示システム。
【請求項４】
前記感性表現語映像重畳部は、
前記映像に重畳する感性表現語の重畳位置、形状、大きさ、又は色の少なくともいずれかを決定する感性表現語重畳効果制御部と、
前記決定された重畳位置、形状、大きさ、又は色で、感性表現語を前記映像に重畳した感性表現語重畳映像を生成する感性表現語重畳映像生成部と
を有する請求項１から請求項３のいずれかに記載の情報表示システム。
【請求項５】
前記感性表現語重畳効果制御部は、前記映像の動き、色の変化、輝度の変化、又はエッジの変化の少なくともいずれかを検出し、前記感性表現語の重畳位置を決定する
請求項４に記載の情報表示システム。
【請求項６】
前記感性表現語重畳効果制御部は、前記信号分析部により分析されたオーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかに基づいて、前記映像に重畳する感性表現語の形状、大きさ、及び色の少なくともいずれかを決定する
請求項４又は請求項５に記載の情報表示システム。
【請求項７】
前記感性表現語映像重畳部は、前記所定の場から得られた映像信号の映像をスケッチ風の映像に変換する映像変換部を有し、
前記感性表現語重畳映像生成部は、前記変換された映像に前記感性表現語を重畳した感性表現語重畳映像を生成する
請求項１から請求項６のいずれかに記載の情報表示システム。
【請求項８】
前記感性表現語映像重畳部は、
前記オーディオ信号に基づいて、映像上の音の到来方向の位置を推定する到来方向推定部を有し、
前記感性表現語重畳映像生成部は、前記推定された音の到来方向の映像位置に、前記感性表現語を重畳する
請求項１から請求項７のいずれかに記載の情報表示システム。
【請求項９】
所定の場から得られたオーディオ信号を分析することにより、オーディオ信号の音圧レベル及びオーディオ信号の音の種別を分析し、前記所定の場で発生している音に関する感性音情報を生成し、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択し、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する
情報表示方法。
【請求項１０】
前記感性表現語は、擬音語、及び擬態語の少なくともいずれかである
請求項９に記載の情報表示方法。
【請求項１１】
前記オーディオ信号の音圧レベル及び前記オーディオ信号の音の種別に加えて、オーディオ信号の周波数の特徴を現す周波数情報を分析し、感性音情報を生成する
請求項９又は請求項１０に記載の情報表示方法。
【請求項１２】
前記映像に重畳する感性表現語の重畳位置、形状、大きさ、又は色の少なくともいずれかを決定し、
前記決定された重畳位置、形状、大きさ、又は色で、感性表現語を前記映像に重畳した感性表現語重畳映像を生成する
請求項９から請求項１１のいずれかに記載の情報表示方法。
【請求項１３】
前記映像の動き、色の変化、輝度の変化、又はエッジの変化の少なくともいずれかを検出し、前記感性表現語の重畳位置を決定する
請求項１２に記載の情報表示方法。
【請求項１４】
前記分析されたオーディオ信号の音圧レベル、オーディオ信号の周波数の特徴を現す周波数情報、及びオーディオ信号の音の種別の少なくともいずれかに基づいて、前記映像に重畳する感性表現語の形状、大きさ、及び色の少なくともいずれかを決定する
請求項１２又は請求項１３に記載の情報表示方法。
【請求項１５】
前記所定の場から得られた映像信号の映像をスケッチ風の映像に変換し、
前記変換された映像に前記感性表現語を重畳した感性表現語重畳映像を生成する
請求項９から請求項１４のいずれかに記載の情報表示方法。
【請求項１６】
前記オーディオ信号に基づいて、映像上の音の到来方向の位置を推定し、
前記推定された音の到来方向の映像位置に、前記感性表現語を重畳する
請求項９から請求項は請求項１４のいずれかに記載の情報表示方法。
【請求項１７】
所定の場から得られたオーディオ信号を分析することにより、オーディオ信号の音圧レベル及びオーディオ信号の音の種別を分析し、前記所定の場で発生している音に関する感性音情報を生成する信号分析処理と、
前記感性音情報に基づいて、前記取得場所で発生している音から人が感じる内容を表現する感性表現語を選択する感性表現語選択処理と、
前記所定の場から得られた映像信号の映像に、前記感性表現語を重畳する感性表現語映像重畳処理と、
を有する情報処理装置に実行させるプログラム。
【国際調査報告】
2011122521.tif 000025
2011122521.tif 000026
2011122521.tif 000027