(57)【要約】【課題】  本発明は、立体音響再生方法、通信装置及びプログラムに関し、送信側から送信される音声情報が立体音響情報も持たなくても、受信側（再生側）において送信側の音源の位置情報を考慮した立体音響を再生可能とすることを目的とする。【解決手段】  送信側から送信される音声情報及び動画像情報を受信して音声及び動画像を再生する立体音響再生方法において、動画像情報に基づいて送信側における音源の位置情報を生成し、音源の位置情報に基づいて音声情報を再生して送信側の音源の位置情報を考慮した立体音響を再生するように構成する。【選択図】  図２
2006074386.tif 000002
【特許請求の範囲】
【請求項１】
送信側から送信される音声情報及び動画像情報を受信して音声及び動画像を再生する立体音響再生方法であって、
該動画像情報に基づいて該送信側における音源の位置情報を生成する手順と、
該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生する手順とを含むことを特徴とする、立体音響再生方法。
【請求項２】
送信側から送信された音声情報及び動画像情報を受信する受信手段と、
該動画像情報に基づいて該送信側における音源の位置情報を生成する位置情報生成手段と、
該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生する音声再生手段とを備えたことを特徴とする、通信装置。
【請求項３】
該位置情報生成手段は、該動画像情報が示す動画像中で面積を占める割合が所定値以上の物体の該動画像中の位置に基づいて該送信側の音源の位置情報を擬似的に生成することを特徴とする、付記２記載の通信装置。
【請求項４】
該位置情報生成手段は、該動画像情報が示す動画像中の対象物の位置を連続的に検出し、検出された対象物の位置に基づいて該送信側の音源の位置情報を擬似的、且つ、連続的に生成することを特徴とする、付記２記載の通信装置。
【請求項５】
コンピュータに、送信側から送信される音声情報及び動画像情報を受信して音声及び動画像を再生させるプログラムであって、
該コンピュータに、該動画像情報に基づいて該送信側における音源の位置情報を生成させるステップと、
該コンピュータに、該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生させるステップとを含むことを特徴とする、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体音響再生方法、通信装置及びプログラムに係り、特に動画像情報に基づいて立体音響を再生する立体音響再生方法、そのような立体音響再生方法を用いる通信装置、及びコンピュータに立体音響を再生させるプログラムに関する。
【背景技術】
【０００２】
従来、立体音響を再生する方法としては、動画像内の音源の位置情報を予め送信側から送信する情報に埋め込む方法があった。例えば、ステレオ音源を持つ動画像の音源の位置情報は、ステレオの左右音量差として表される。又、一般的な立体音響再生機構の場合も、情報を送信する送信側から音源の位置情報が送信され、再生側ではこの音源の位置情報に基づいて音源位置の移動を行っている。別の言い方をすると、音源の位置情報は、常に音声情報に付加される形で送出側から再生側へ送信されている。このため、送信側から送信される情報に音源の位置情報等の立体音響情報が含まれない場合には、再生側において立体音響を再生することは不可能であった。
【０００３】
特許文献１には、メインウィンドウに表示された静止画像内をアイコン等により移動し、各移動地点における音声を補完して臨場感を与える音声補完方法が提案されている。具体的には、事前に音響データのデータベースを作成しておき、ユーザが画面上の各地点を指示した際にその地点に対応した音響を再生する。例えば、森の前に泉がある静止画像の場合、ユーザが森をクリックすれば風の音がしたり、泉をクリックすれば水音がするというものである。
【０００４】
特許文献２には、テレビカメラの出力の視聴情報から視聴者支援の利便機能を実現するテレビジョン受像機が提案されている。具体的には、テレビカメラのオートフォーカス機構により視聴距離を計測し、視聴距離に応じた１つの特性でエッジ付加輪郭強調や音量調節の信号処理を行い、視聴距離に応じた最適な画像表示や音声再生等の視聴者支援を行う。
【０００５】
特許文献３には、ビデオカメラで撮影した画像を仮想楽器の映像に合成し、その映像を見ながら動くことにより演奏することができる仮想楽器演奏装置が提案されている。具体的には、演奏者の楽器操作のための動作位置を検出し、仮想楽器を含む画像と演奏者の画像を合成して表示し、仮想楽器と演奏者の２次元の輪郭が接触したときの手先の位置情報から楽器の演奏情報を作り出す。
【特許文献１】特開平８−３０５８２９号公報
【特許文献２】特開平９−２４７５６４号公報
【特許文献３】特開２００２−４１０３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
送信側から送信される音声情報がモノラルであり立体音響情報も持たない場合、受信側（再生側）においてユーザが立体音響を再生可能とする補完情報を付加することもできるが、ユーザが手動で補完情報を付加するのではユーザへの負担が大きく、又、テレビカメラのオートフォーカス機構等により視聴距離を計測して補完情報を自動的に生成するのではシステムが大型化するという問題があった。更に、いずれの場合も、補完情報が受信側（再生側）で閉じた条件下で生成されるので、送信側の音源の位置情報を生成することはできず、受信側（再生側）において送信側の音源の位置情報を考慮した立体音響を再生することは不可能であった。
【０００７】
つまり、従来の技術では、送信側から送信される情報に音源の位置情報が含まれない限り、送信側の音源の位置情報を考慮した立体音響を再生することができないという問題があった。つまり、例えばテレビ電話の場合、送信側から送信される音声情報がモノラルであり立体音響情報も持たなければ、仮に受信側（再生側）が立体音響機構を有していたとしても、送信側の音源の位置情報を考慮した立体音響を再生することは不可能であった。
【０００８】
そこで、本発明は、送信側から送信される音声情報が立体音響情報も持たなくても、受信側（再生側）において送信側の音源の位置情報を考慮した立体音響を再生することのできる立体音響再生方法、通信装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題は、送信側から送信される音声情報及び動画像情報を受信して音声及び動画像を再生する立体音響再生方法であって、該動画像情報に基づいて該送信側における音源の位置情報を生成する手順と、該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生する手順とを含むことを特徴とする立体音響再生方法によって達成できる。
【００１０】
上記の課題は、送信側から送信された音声情報及び動画像情報を受信する受信手段と、該動画像情報に基づいて該送信側における音源の位置情報を生成する位置情報生成手段と、該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生する音声再生手段とを備えたことを特徴とする通信装置によっても達成できる。
【００１１】
上記の課題は、コンピュータに、送信側から送信される音声情報及び動画像情報を受信して音声及び動画像を再生させるプログラムであって、該コンピュータに、該動画像情報に基づいて該送信側における音源の位置情報を生成させるステップと、該コンピュータに、該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生させるステップとを含むことを特徴とするプログラムによっても達成できる。
【発明の効果】
【００１２】
本発明によれば、送信側から送信される音声情報が立体音響情報も持たなくても、受信側（再生側）において送信側の音源の位置情報を考慮した立体音響を再生することのできる立体音響再生方法、通信装置及びプログラムを実現することができる。
【００１３】
又、送信側に特別なハードウェアやソフトウェアを設けることなく、受信側（再生側）に本発明が適用されたハードウェアやソフトウェアが設けられていれば、送信側の音源の位置情報を考慮した立体音響を再生して臨場感のあるテレビ電話機能等を実現することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明になる立体音響再生方法、通信装置及びプログラムの各実施例を、図面と共に説明する。
【実施例】
【００１５】
図１は、本発明になる通信装置の一実施例の要部を示すブロック図である。通信装置の本実施例では、本発明が動画像送受信機能（即ち、テレビ電話機能）を備えた携帯電話に適用されている。通信装置の本実施例は、本発明になる立体音響再生方法の一実施例及び本発明になるプログラムの一実施例を採用する。
【００１６】
図１において、通信装置は、通信装置全体の動作を制御するＣＰＵ１と、メモリ２と、モデム３と、送受信部４と、表示部５と、スピーカ群６と、入力部７とがバス８により接続された構成を有する。アンテナ等の図示は省略する。ＣＰＵ１は、通信装置全体の動作を制御する。メモリ２は、ＣＰＵ１が実行するプログラムや、ＣＰＵ１が実行する演算の中間データ等の各種データを格納する。本実施例では、メモリ２に格納されるプログラムには、プログラムの本実施例及び立体音響機構を実現するプログラム等が含まれる。メモリ２は、ＲＡＭ等の半導体記憶装置に限定されず、磁気ディスク装置等の記憶装置により構成されていても良い。又、メモリ２は、プログラムの本実施例を格納したコンピュータ読み取り可能な記憶媒体で構成されていても良い。
【００１７】
通信装置が送信側として動作する場合、モデム３は通信装置から受信側へ送信する音声情報及び動画像情報を通信プロトコルに適合した形式に変調し、送受信部４は被変調情報を無線電話回線（図示せず）を介して受信側へ送信する夫々周知の構成を有する。又、通信装置が受信側として動作する場合、送受信部４は送信側から無線電話回線を介して被変調情報を受信し、モデム３は被変調情報を通信プロトコルに応じて元の音声情報及び動画像情報に復調する夫々周知の構成を有する。尚、説明の便宜上、送信側の装置は所謂カメラ付携帯電話の機能を備えており、送信側では、音声情報がマイクロホン等を用いた周知の方法で入力され、動画像情報がカメラ等の撮像手段を用いた周知の方法で撮像されるものとする。
【００１８】
表示部５は、ＬＣＤ等の表示装置からなり、通信装置を操作する際のメニューやメッセージ、受信した動画像情報の動画像や送信する動画像等を表示する。スピーカ群６は、受信した音声情報を送信側の音源の位置情報を考慮した立体音響を再生して臨場感のあるテレビ電話機能等を実現可能な配置を有する複数のスピーカからなる。入力部７は、数字や文字等を入力するためのキーと、機能を選択するキー等からなる。
【００１９】
図２は、通信装置の動作を説明するフローチャートである。図２に示す処理は、立体音響再生方法の本実施例に対応する。又、プログラムの本実施例は、ＣＰＵ１等のコンピュータに、図２に示す処理を行わせる。図２に示す処理は、通信装置が送信側からの発呼を受け付けて受信側として動作する場合に開始され、送信側との接続が切断されると終了する。
【００２０】
図２において、ステップＳ１は、同図に示す処理を行う際に必要となる各種パラメータを初期化し、ステップＳ２は、受信した動画像情報の動画像中の対象物、即ち、送信側の音源の初期位置情報をメモリ２に登録する。動画像中の対象物は、動画像中で面積を占める割合が所定値以上の物体や人物である。説明の便宜上、動画像中の対象物の初期位置情報は、表示画面の中心部分で座標（０，０）の位置を示すものとする。
【００２１】
ステップＳ３は、受信した動画像情報の示す動画像中の対象物の位置情報を周知の検出方法で検出する。動画像中の対象物の位置情報は、例えば動画像中で面積を占める割合が所定値以上の物体の位置を輪郭等から検出してトラッキングすることで求めても良い。又、動画像中の対象物の位置情報は、人物の顔と判断できる部分を例えば肌色の部分を検出することで検出してトラッキングすることで求めても良い。図３は、ステップＳ３において動画像中の対象物の位置情報を検出する処理を説明する図である。表示部４に表示された動画像２０中、ステップＳ３は、上記周知の検出方法を用いることで、小さなオブジェクト２３等は背景として認識し、対象物（即ち、送信側の音源）としては認識しない。これにより、動画像２０中で面積を占める割合が所定値以上であるか、或いは、人物として検出される対象物２１が、トラッキングにより連続的に検出される。
【００２２】
ステップＳ４は、ステップＳ３で検出された対象物２１の位置にエラーが発生したか否かを判定する。つまり、送信側において対象物が撮像可能範囲外に出てしまい、対象物２１が動画像２０からはみ出して見えなくなると、ステップＳ４はエラーが発生したと判定する。ステップＳ４の判定結果がＮＯの場合、処理はステップＳ５へ進む。
【００２３】
ステップＳ５は、登録されている対象物の初期位置情報と、ステップＳ３で検出された対象物の位置情報との比較から、送信側における音源の位置情報を擬似的、且つ、連続的に生成する。ここで、生成される音源の位置情報は、対象物の初期位置情報、即ち、中心の座標（０，０）からの相対座標から求められるため、順次得られる対象物の位置情報を毎回初期位置情報と比較することで、比較的簡単な演算により正確な音源の位置情報を生成することができる。ステップＳ６は、ステップＳ５で生成された音源の位置情報をメモリ２に記録する。
【００２４】
図４は、送信側における対象物（被写体）の位置と、受信側において表示される動画像中の対象物の位置との関係を説明する図である。図４において、対象物（被写体）２１０は、カメラ（撮像手段）５０の位置に対して基準位置２１０−Ｏから移動可能である。基準位置２１０−Ｏは、受信側における対象物２１の初期位置に対応する。対象物２１０が基準位置２１０−Ｏにあると、受信側の表示部５には動画像２０Ｏが表示される。対象物２１０がカメラ５０に対して後ろへ遠ざかり位置２１０−Ｂに移動すると、受信側の表示部５には対象物２１がズームアウトした動画像２０Ｂが表示される。対象物２１０がカメラ５０に対して前へ近づき位置２１０−Ｆに移動すると、受信側の表示部５には対象物２１がズームインした動画像２０Ｆが表示される。対象物２１０がカメラ５０に対して左へ遠ざかり位置２１０−Ｌに移動すると、受信側の表示部５には対象物２１が左に移動した動画像２０Ｌが表示される。又、対象物２１０がカメラ５０に対して右へ遠ざかり位置２１０−Ｒに移動すると、受信側の表示部５には対象物２１が右に移動した動画像２０Ｒが表示される。従って、図４からもわかるように、受信側において動画像２０中の対象物２１の位置を検出することで、送信側における音源の位置情報を擬似的、且つ、連続的に生成することができる。
【００２５】
ステップＳ７は、メモリ２に記録した音源の位置情報を立体音響機構に供給し、処理はステップＳ３へ戻る。立体音響機構は、受信した音声情報に音源の位置情報に基づいた頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）等の周知の立体音響処理を施してからスピーカ群６に供給する。これにより、送信側の音源の位置情報を考慮した立体音響が再生される。尚、ステップＳ４の判定結果がＹＥＳであると、処理はステップＳ７へ進むので、この場合は音源の位置情報を生成することなく、前回メモリ２に記録した音源の位置情報に基づいて立体音響処理が行われる。
【００２６】
図５は、立体音響処理により想定される受信側の仮想位置を説明する図である。図５中、図４と同一部分には同一符号を付し、その説明は省略する。通信装置が受信した動画像情報を表示部５に表示して得られる動画像は、通信装置のユーザがあたかも送信側において図５に示すカメラ５０の位置、即ち、受信側（又は、再生側）仮想位置にいるものとして、受信側仮想位置に対する送信側の対象物２１０の位置を検出して送信側における音源の位置情報を擬似的に生成するのに用いられる。これにより、立体音響機構が立体音響を再生するのに用いる音源位置が、送信側の対象物２１０の移動に合わせて移動するので、常に送信側の対象物２１０の実際の位置を反映した立体音響を正確に再生することができる。
【００２７】
本実施例では、立体音響機構は、メモリ２に格納されたプログラムにより実現されている。このため、プログラムの本実施例は、立体音響機構を実現するプログラムと組み合わされていても良い。
【００２８】
又、立体音響機構は、周知の立体音響処理を行うハードウェア（半導体チップ）により実現しても良いことは、言うまでもない。この場合、立体音響処理を高速で行え、ＣＰＵ１への処理負荷も軽減することができる。立体音響処理を行うハードウェアは、図１に示すバス８に接続すれば良い。
【００２９】
立体音響機構としては、例えばSONAPTIC社製のソフトウェアＰ３Ｄ及びＲＯＨＭ社製の半導体チップBU7844を使用し、立体音響アルゴリズムの一部が半導体チップ（ハードウェア）側に搭載されるようにすることも可能である。
【００３０】
図６は、立体音響処理の選択を可能とする動作設定画面を示す図である。図６に示す動作設定画面は、通信装置の入力部７に設けられた所定のキーを操作することで表示部５に表示される。ユーザは、入力部７のキー操作により、「立体音響」及び「通話中画像表示」等の機能を選択可能である。例えば、「通話中画像表示」の機能は、通信装置が受信した画像だけではなく、通信装置のユーザ自身の画像も表示部５に表示する場合にＯＮに設定される。「立体音響」以外の機能は、本発明の要旨とは直接関係がないため、その説明は省略する。
【００３１】
図６において、「立体音響」の機能がＯＮに設定されると、図２に示す処理がイネーブル状態となる。他方、「立体音響」の機能がＯＦＦに設定されると、図２に示す処理がディセーブル状態となる。「立体音響」の機能がＯＮに設定されていると、上記の如く、受信された動画像情報を再生した動画像に基づいて送信側における音源の位置情報を生成し、音源の位置情報に基づいて音声情報を再生することで、送信側の音源の位置情報を考慮した立体音響を再生する処理が行われる。このような立体音響の再生は、送信側から受信した動画像情報に基づいて送信側の音源の位置情報を自動的、且つ、擬似的に生成することで行われるので、送信側の装置は、音声情報に立体音響再生のための音源位置情報等を付加する必要がない。つまり、送信側の装置では特別な処理を行う必要がなく、立体音響の再生は受信側の通信装置内の処理だけで実現することができる。
【００３２】
尚、送信側における音源の位置情報を生成する際、受信した動画像情報に基づいて直接生成しても、受信した動画像情報を再生して得た表示用の動画像に基づいて生成しても良いことは、言うまでもない。
【００３３】
上記実施例では、本発明が携帯電話に適用されているため送信側と受信側は無線電話回線を介して接続されるが、本発明が通常の有線の電話機に適用される場合には、送信側と受信側は通常の電話回線を介して接続されることは言うまでもない。又、本発明を適用可能な通信装置は、音声情報及び画像情報を通信する機能を備えていれば良く、本発明はそのような機能を備えたパーソナルコンピュータやデータ端末等にも同様に適用可能である。
【００３４】
尚、本発明は、以下に付記する発明をも包含するものである。
（付記１）  送信側から送信される音声情報及び動画像情報を受信して音声及び動画像を再生する立体音響再生方法であって、
該動画像情報に基づいて該送信側における音源の位置情報を生成する手順と、
該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生する手順とを含むことを特徴とする、立体音響再生方法。
（付記２）  該位置情報を生成する手順は、該動画像情報が示す動画像中で面積を占める割合が所定値以上の物体の該動画像中の位置に基づいて該送信側の音源の位置情報を擬似的に生成することを特徴とする、付記１記載の立体音響再生方法。
（付記３）  該位置情報を生成する手順は、該動画像中の人物の位置を検出し、検出された人物の位置に基づいて該送信側の音源の位置情報を擬似的に生成することを特徴とする、付記１記載の立体音響再生方法。
（付記４）  該位置情報を生成する手順は、該動画像情報が示す動画像中の対象物の位置を連続的に検出し、検出された対象物の位置に基づいて該送信側の音源の位置情報を擬似的、且つ、連続的に生成することを特徴とする、付記１記載の立体音響再生方法。
（付記５）  送信側から送信された音声情報及び動画像情報を受信する受信手段と、
該動画像情報に基づいて該送信側における音源の位置情報を生成する位置情報生成手段と、
該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生する音声再生手段とを備えたことを特徴とする、通信装置。
（付記６）  該位置情報生成手段は、該動画像情報が示す動画像中で面積を占める割合が所定値以上の物体の該動画像中の位置に基づいて該送信側の音源の位置情報を擬似的に生成することを特徴とする、付記５記載の通信装置。
（付記７）  該位置情報生成手段は、該動画像情報が示す動画像中の人物の位置を検出し、検出された人物の位置に基づいて該送信側の音源の位置情報を擬似的に生成することを特徴とする、付記５記載の通信装置。
（付記８）  該位置情報生成手段は、該動画像情報が示す動画像中の対象物の位置を連続的に検出し、検出された対象物の位置に基づいて該送信側の音源の位置情報を擬似的、且つ、連続的に生成することを特徴とする、付記５記載の通信装置。
（付記９）  該動画像情報が示す動画像を表示する表示手段を更に備えたことを特徴とする、付記５〜８のいずれか１項記載の通信装置．
（付記１０）  コンピュータに、送信側から送信される音声情報及び動画像情報を受信して音声及び動画像を再生させるプログラムであって、
該コンピュータに、該動画像情報に基づいて該送信側における音源の位置情報を生成させるステップと、
該コンピュータに、該音源の位置情報に基づいて該音声情報を再生して、送信側の音源の位置情報を考慮した立体音響を再生させるステップとを含むことを特徴とする、プログラム。
（付記１１）  該位置情報を生成するステップは、該コンピュータに、該動画像情報が示す動画像中で面積を占める割合が所定値以上の物体の該動画像中の位置に基づいて該送信側の音源の位置情報を擬似的に生成させることを特徴とする、付記１０記載のプログラム。
（付記１２）  該位置情報を生成するステップは、該コンピュータに、該動画像情報が示す動画像中の人物の位置を検出し、検出された人物の位置に基づいて該送信側の音源の位置情報を擬似的に生成させることを特徴とする、付記１０記載のプログラム。
（付記１３）  該位置情報を生成するステップは、該コンピュータに、該動画像情報が示す動画像中の対象物の位置を連続的に検出し、検出された対象物の位置に基づいて該送信側の音源の位置情報を擬似的、且つ、連続的に生成させることを特徴とする、付記１０記載のプログラム。
【００３５】
以上、本発明を実施例により説明したが、本発明は上記実施例に限定されるものではなく、種々の変形及び改良が可能であることは、言うまでもない。
【図面の簡単な説明】
【００３６】
【図１】本発明になる通信装置の一実施例の要部を示すブロック図である。
【図２】通信装置の動作を説明するフローチャートである。
【図３】動画像中の対象物の位置を検出する処理を説明する図である。
【図４】送信側における対象物（被写体）の位置と、受信側において表示される動画像中の対象物の位置との関係を説明する図である。
【図５】立体音響処理により想定される受信側の仮想位置を説明する図である。
【図６】立体音響処理の選択を可能とする動作設定画面を示す図である。
【符号の説明】
【００３７】
１      ＣＰＵ
２      メモリ
３      モデム
４      送受信部
５      表示部
６      スピーカ群
７      入力部
８      バス
２０      動画像
２１，２１０      対象物
５０      カメラ
【図１】
2006074386.tif 000003
【図２】
2006074386.tif 000004
【図３】
2006074386.tif 000005
【図４】
2006074386.tif 000006
【図５】
2006074386.tif 000007
【図６】
2006074386.tif 000008