(57)【要約】  本発明は、表示範囲を持つ画像シーケンスを捕捉するためのカメラと、前記表示範囲内で知覚可能ではない周囲事象を捕捉するためのセンサと、前記周囲事象から制御信号を計算するためのプロセッサと、前記捕捉された画像シーケンス及び前記制御信号を受信通信装置へと送信するための送信ユニットと、を有する、送信通信装置に関する。
2011530258.tif 000002
【特許請求の範囲】
【請求項１】
表示範囲を持つ画像シーケンスを捕捉するためのカメラと、
前記表示範囲内で知覚可能ではない周囲事象を捕捉するためのセンサと、
前記周囲事象から制御信号を計算するためのプロセッサと、
前記捕捉された画像シーケンス及び前記制御信号を受信通信装置へと送信するための送信ユニットと、
を有する、送信通信装置。
【請求項２】
前記センサは広角カメラであり、前記制御信号は、前記表示範囲の外において前記広角カメラにより捕捉された画像シーケンスから計算される、請求項１に記載の送信通信装置。
【請求項３】
前記プロセッサは、前記カメラの観測範囲内の人物の顔を検出するための手段と、前記顔の周囲をズームして前記受信通信装置に送信されるべき表示範囲を持つ画像シーケンスを得るための手段と、を有する、請求項２に記載の送信通信装置。
【請求項４】
前記プロセッサは、前記広角カメラの観測範囲に入ってくるオブジェクトの動きを推定して動きベクトルの大きさを導出するための手段を有し、前記動きベクトルの大きさは前記制御信号に含まれる、請求項２に記載の送信通信装置。
【請求項５】
前記プロセッサは、前記観測範囲内であり且つ前記表示範囲外である画素の色情報を計算する手段を有し、前記色情報は前記制御信号に含まれる、請求項４に記載の送信通信装置。
【請求項６】
前記センサは、前記表示範囲の外の音声を検出するように構成されたマイクロフォンアレイであり、前記制御信号は、マイクロフォン信号から計算される、請求項１に記載の送信通信装置。
【請求項７】
前記プロセッサは、音源位置特定を実行して音声事象の方向を検出するための手段を有し、前記音声事象の方向は前記制御信号に含まれる、請求項６に記載の送信通信装置。
【請求項８】
前記プロセッサは、前記捕捉された画像シーケンスの空間的又は時間的解像度を低減するための手段を有する、請求項１に記載の送信通信装置。
【請求項９】
通信ネットワークを通して、送信通信装置から、表示範囲を持つ表示されるべき画像シーケンスに対応するビデオデータと、前記表示範囲内で知覚可能ではない周囲事象を表す制御信号とを別個に受信するための受信ユニットと、
前記ビデオデータを表示するためのディスプレイと、
前記ディスプレイに隣接する光源と、
前記制御信号を解釈して前記周囲事象を導出し、前記制御信号に依存して前記光源を制御するためのコントローラと、
を有する、受信通信装置。
【請求項１０】
前記コントローラは、前記送信通信装置側において前記表示範囲外のオブジェクトの動きと、前記ディスプレイに対する前記オブジェクトの位置とを表す動き情報を導出し、対応する前記光源をスイッチオンするように構成される、請求項９に記載の受信通信装置。
【請求項１１】
前記コントローラは、前記送信通信装置側において前記表示範囲外のオブジェクトの動きの量を表す動きベクトルの大きさを導出するように構成され、前記光源の強度は前記動きベクトルの大きさに比例するよう制御される、請求項９に記載の受信通信装置。
【請求項１２】
前記コントローラは、前記送信通信装置側において前記表示範囲外のオブジェクトの位置及び／又は動きを表す色情報を導出するように構成され、前記光源の色は前記色情報に依存して制御される、請求項９に記載の受信通信装置。
【請求項１３】
前記コントローラは、前記送信通信装置側において前記表示範囲外で発せられた音声の大きさを導出するように構成され、前記光源の強度は前記音声の大きさに比例するよう制御される、請求項９に記載の受信通信装置。
【請求項１４】
前記コントローラは、前記送信通信装置側において前記表示範囲外で発せられた音声の向きを導出し、前記音声が聞こえてくる向きに対応する前記光源をスイッチオンするように構成された、請求項９に記載の受信通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示範囲を持つ画像シーケンスを捕捉するためのカメラと、該捕捉された画像シーケンスを受信通信装置に送信するための送信ユニットと、を有する送信通信装置に関する。
【０００２】
本発明はまた、通信ネットワークを通して送信通信装置から表示範囲を持つ表示されるべき画像シーケンスに対応するビデオデータを受信するための受信ユニットと、該ビデオデータを表示するためのディスプレイと、を有する受信送信装置に関する。
【０００３】
本発明は例えば、ビデオ電話及びビデオ会議システムに有用である。
【背景技術】
【０００４】
ブロードバンドのインターネットにアクセスする人口の増加に伴い、ＶｏＩＰ（Voice Over Internet Protocol）アプリケーションがますます利用されている。帯域幅の制限が減少しているため、インターネットビデオ電話も普及してきそうである。世界中で多くの研究が、信号処理手段によるビデオ電話のオーディオ・ビジュアル品質を改善することに向けられている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、ユーザの体感を向上させる通信装置を提案することにある。
【０００６】
実際には、本発明は以下の観測に基づくものである。従来のビデオ電話及び会議システムを用いると、画像再生が、利用されるディスプレイ自体により制約される。当然ながら、ディスプレイは、通信の近端位置にいる人物が、遠端位置において何が起きているかを知りたいときに見る位置である。この状況において、目が空間的な詳細に対して高い感度を持つ、人間の視覚系の（空間的な）中心部分が刺激される。通常の対面型の通信においては、人物が「実際にそこに居る」場合には、人間の視覚系の中心部分のみならず、視覚系の周辺部分もが刺激される。周辺領域においては、人間の視覚系は、空間的な詳細に対して非常に感度が高くはないが、時間的な詳細（移動する物体）に対して高い感度を持つ。このことは、人間は、誰かが動いているとき、目の隅から迅速に気付くことができることを意味する。人間の周辺視覚を刺激する視覚情報は、「そこに居る」という感覚を与え得るものであるにもかかわらず、現在のビデオ会議及びビデオ電話システムにおいては全く利用されていない。適切な周辺視覚を用いれば、左又は右側において遠端位置において部屋に入ってくる誰かに、当該人物がディスプレイの限られた観測範囲の外に居る場合であっても、気付くことができる。人間の周辺視覚がビデオ電話又はビデオ会議に利用されていないという事実は、本発明者の知識に対して未だ対処されていない問題である。この問題を解決することは、そこに誰かが居るという感覚を改善することを意味し、これが本発明の目的である。
【課題を解決するための手段】
【０００７】
この目的のため、表示範囲を持つ画像シーケンスを捕捉するためのカメラと、前記表示範囲内で知覚可能ではない周囲事象を捕捉するためのセンサと、前記周囲事象から制御信号を計算するためのプロセッサと、前記捕捉された画像シーケンス及び前記制御信号を受信通信装置へと送信するための送信ユニットと、を有する、送信通信装置が提供される。
【０００８】
また、通信ネットワークを通して、送信通信装置から、表示範囲を持つ表示されるべき画像シーケンスに対応するビデオデータと、前記表示範囲内で知覚可能ではない周囲事象を表す制御信号とを別個に受信するための受信ユニットと、前記ビデオデータを表示するためのディスプレイと、前記ディスプレイに隣接する光源と、前記制御信号を解釈して前記周囲事象を導出し、前記制御信号に依存して前記光源を制御するためのコントローラと、を有する、対応する受信通信装置が提供される。
【０００９】
本発明は、表示される視覚情報をディスプレイの範囲外に拡張することにより、ビデオ電話及びビデオ会議における人間の周辺視覚を刺激することを可能とする。本発明を用いることにより、画面に表示されている可視画像外で起こっている遠端位置における事象に気付くことが可能となる。このことは、「そこに居る」という向上させられた感覚を提供する。
【００１０】
本発明の第１の実施例によれば、前記センサは広角カメラであり、前記制御信号は、前記表示範囲の外において前記広角カメラにより捕捉された画像シーケンスから計算される。有利にも、前記プロセッサは、前記カメラの観測範囲内の人物の顔を検出するための手段と、前記顔の周囲をズームして前記受信通信装置に送信されるべき表示範囲を持つ画像シーケンスを得るための手段と、を有する。前記プロセッサは、前記広角カメラの観測範囲に入ってくるオブジェクトの動きを推定して動きベクトルの大きさを導出するための手段を有しても良く、前記動きベクトルの大きさは前記制御信号に含まれても良い。また、前記プロセッサは、前記観測範囲内であり且つ前記表示範囲外である画素の色情報を計算する手段を有しても良く、前記色情報は前記制御信号に含まれても良い。
【００１１】
受信通信装置側においては、前記コントローラは、前記送信通信装置側において前記表示範囲外のオブジェクトの動きと、前記ディスプレイに対する前記オブジェクトの位置とを表す動き情報を導出し、対応する前記光源をスイッチオンするように構成されても良い。前記コントローラは、前記送信通信装置側において前記表示範囲外のオブジェクトの動きの量を表す動きベクトルの大きさを導出するように構成されても良く、前記光源の強度は前記動きベクトルの大きさに比例するよう制御されても良い。また、前記コントローラは、前記送信通信装置側において前記表示範囲外のオブジェクトの位置及び／又は動きを表す色情報を導出するように構成されても良く、前記光源の色は前記色情報に依存して制御されても良い。
【００１２】
本発明の第２の実施例によれば、前記センサは、前記表示範囲の外の音声を検出するように構成されたマイクロフォンアレイであり、前記制御信号は、マイクロフォン信号から計算される。この場合、前記プロセッサは、音源位置特定を実行して音声事象の方向を検出するための手段を有し、前記音声事象の方向は前記制御信号に含まれる。
【００１３】
受信通信装置側においては、前記コントローラは、前記送信通信装置側において前記表示範囲外で発せられた音声の大きさを導出するように構成されても良く、前記光源の強度は前記音声の大きさに比例するよう制御されても良い。また、前記コントローラは、前記送信通信装置側において前記表示範囲外で発せられた音声の向きを導出し、前記音声が聞こえてくる向きに対応する前記光源をスイッチオンするように構成されても良い。
【００１４】
本発明のこれらの及びその他の態様は、以下に記載される実施例を参照しながら説明され明らかとなるであろう。
【００１５】
本発明は、添付図面を参照しながら、例として以下に詳細に説明される。
【図面の簡単な説明】
【００１６】
【図１】本発明による通信システムのブロック図である。
【図２】広角レンズを備えたカメラにより観測される遠端位置におけるリビングルームを示す。
【図３（Ａ）】カメラにより近端位置において捕捉された画像の重要部分が、限られた通信帯域幅で、高いビデオ品質で送信されることを示す。
【図３（Ｂ）】遠端位置において受信され表示される補足画像を示す。
【図４】広角カメラの観測範囲内に居るが主カメラの表示範囲外に居る、遠端位置におけるリビングルームを歩いている人物を示す。
【図５（Ａ）】本発明の第１の実施例による通信システムを示し、遠端位置における広角カメラの観測範囲内に居る人物から検出された動きの量に依存して導出され送信される制御信号を示す。
【図５（Ｂ）】本発明の第１の実施例による通信システムを示し、人物の動きが継続する継続時間の間受信される制御信号に依存して遠端位置において切り換えられる光源を示す。
【図６】広角カメラの観測範囲、ズーム又は表示範囲、並びに動きが観測される左及び右の非ズーム範囲を示す。
【図７（Ａ）】本発明の第２の実施例による通信システムを示し、マイクロフォンアレイを用いて近端位置において検出される大きな音量の事象及びその方向を示す。
【図７（Ｂ）】本発明の第２の実施例による通信システムを示し、遠端位置における大きな音声の事象の継続時間の間スイッチオンされる該音声事象の方向に対応する光源を示す。
【発明を実施するための形態】
【００１７】
図１を参照すると、本発明による通信システムが示されている。該通信システムは、通信ネットワークを通して遠端（以下の説明において送信端とも呼ばれる）位置におけるリモートの通信装置と通信することを意図された、近端（受信端とも呼ばれる）位置におけるローカルの通信装置を有する。該リモートの装置は、ビデオ信号を捕捉するためのカメラと、該ビデオ信号のディジタルビデオ処理を実行し、ビデオ事象を解析及び検出するためのプロセッサと、を有する。ディジタルビデオ処理は例えば、顔追跡及びディジタルズームを含む。処理されたビデオ信号及び検出されたデータ事象は、ビデオエンコーダによりエンコードされ、通信ネットワークを通してローカルの装置に送信される。該ローカルの装置は、該エンコードされたビデオ信号及びデータ事象を受信し、ビデオデコーダによりデコードする。該デコードされたビデオ信号は、リモートの装置の画面上に表示される。ローカルの装置はまた、データ事象を解釈するためのコントローラと、該データ事象の解釈に依存して該コントローラにより制御される画面装置に隣接した少なくとも１つの光源とを有する。カメラの視界内でカメラを見ている顔が検出される顔追跡と、カメラを見ている全ての顔が選択されるように制御される（過度にではない）ディジタルズームとは、当業者に既に知られたものであり、例えばディジタルズームを備えた顔検出及び追跡を特徴とするPhilips社のWebcam SPC1300NCにより実行される。
【００１８】
また、ビデオエンコーダ及びデコーダのための標準的な方法が既に存在すること、及びこれらの方法（例えばビデオ圧縮のためのH.264）が何らかの低ビットレートのプライベートデータ（即ち低ビットレートのデータである事象データ）を担持するための手段を提供することは、当業者には明らかであろう。
【００１９】
本発明は、ディスプレイに隣接して外部光源が存在する場合に、ビデオ電話及び会議システムにおいて適用され得る。本発明は、送信端において、何らかの低ビットレートの事象データを捕捉及び送信する（オーディオ及びビデオに隣接するプライベートデータとして）ための幾分かのインテリジェンスを必要とする。本発明は以下、２つの異なる非限定的な例を通して説明される。
【００２０】
図２を参照すると、ビデオ電話装置のカメラにより捕捉された、典型的なリビングルームのビデオ電話場面が示されている。通信線の該端は、遠端位置である。明らかに、カメラ画像は、ビデオ通信に絶対に必要とされるよりも多くの情報を含んでいる（例えばビデオ通信は壁の殆どがなくとも、植物がなくとも実行可能である）。
【００２１】
通信帯域幅の制限のため、ビデオ処理手段により、高解像度カメラ画像を、カメラを見ている人物の顔が劣化せず周囲が切り取られるように（例えば図３Ｂを参照されたい）、低い解像度の画像へと低減することに意味がある。この機能は、ディジタルズームを備えたビデオ顔検出及び追跡と組み合わせて、上述したような市場における多くのウェブカメラにおいて既に実装されている。近端の部屋にいるユーザにとって有利なことは、会話の相手の顔の特徴（例えば唇、表情、又は目）をよく見ることができることである。このことは、人と人との高品質な通信に非常に重要である。顔検出のためには、Viola及びJonesにより開発されたアルゴリズムが利用されても良い。該アルゴリズムは、「Robust Real-time Object Detection」（Proceeding of the Second International Workshop on Statistical and Computational Theories of Vision - Modeling, Learning, Computing, and Sampling、Vancouver、カナダ、2001年7月13日）に記載されている。本アルゴリズムはまた、「Rapid Object Detection using a Boosted Cascade of Simple Features」（Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)、Vol. I、511-518頁、2001年）に記載されている。Viola及びJonesの検出器は、画像中の顔を、該顔がカメラの方向におおよそ向いている場合にのみ見つけ出すように学習される。その結果、ディジタルズームは、最良の態様で人物の表情を伝えるため、通話に酸化している人物のみをズームする（人物はカメラに顔を向けているときに通話に参加すると仮定されている）。ディジタルズームについては、長方形のズーム領域が、見出された顔位置を中心に配置され、ズーム領域外の画素を無視し、必要であれば、例えばバイリニア（bi-linear）補間のような画素補間方法を用いて、結果の画像を送信解像度にスケーリングする。
【００２２】
図３Ａは、本発明による送信通信装置を示す。該装置は、広角レンズを持つカメラと、カメラ出力を受信し、送信されるべきビデオを出力するためのビデオ処理ユニットと、を有する。遠端位置における広角レンズは、観測角φ１（カメラの視界に対応する）をカバーする。ビデオ顔及び人物検出及び追跡技術を用いて、送信に先立ってビデオ処理ユニットによりディジタルズームが実行され、それにより重要な画像領域（人物が存在する領域）のみが、所与の限られた通信帯域幅において最大限のビデオ品質で送信される。ディジタルビデオズームは、表示角φ２に対応する。以上の例において、ビデオ処理の目的のためと送信の目的のためとで画像を捕捉するために同一のカメラが利用されていることに留意されたい。この場合においては、該カメラは十分に大きな観測角を持つ。代替としては、ビデオ処理の目的のために利用される第１のカメラが、画像を送信するために利用される第２のカメラと異なるものであっても良く、この場合には第１のカメラが第２のカメラよりも大きな観測角を持つ。
【００２３】
図３Ｂにおいて、遠端側において実行されたディジタルズームと組み合わせられた顔検出の結果は、近端側における受信通信装置の画面上に表示される。人物の顔が画面上で良く見え、非言語的なコミュニケーションの手掛かり（表情、目、唇の動き）として重要である。
【００２４】
本発明は、以下の問題に取組むものである。図４に示されたような、遠端位置における部屋に新たな人物が入ってきた場合を考える。この事象は、当該部屋に居る人物には即座に気付かれる。しかしながら、近端位置においては、ソファに座っている２人の人物のみがディスプレイに表示されており、当該事象は画面上の画像の外で起こっているため、気付かれない。カメラズームは該新たな人物に調節されない。なぜなら、該人物は、カメラのほうを見ておらず、それ故該人物の顔が顔検出器により検出されないからである。例えば、該人物は、ビデオ通話に参加する意図なく単に歩いているだけかも知れず、それ故当該人物をも含むようにズームアウトすることは、重要な顔の品質を劣化させ得る。通話の一方の側（即ち遠端位置における人物）は該場面における事象に気付き、通話の他方の側（即ち近端位置における人物）は該事象に気付かないという事実は、近端位置における人物が「そこに居るかのように」感じないということをもたらす。
【００２５】
図５Ａを参照すると、遠端位置において部屋に入ってきた新たな人物が表されている。該新たな人物がカメラの観測範囲に入ると、該新たな人物は遠端位置におけるカメラにより検出される。該新たな人物の動きの量に依存して、ビデオ事象データを表す制御信号がビデオ処理ユニットにより導出され、該制御信号が次いで、送信通信装置の送信ユニット（図示されていない）により近端位置に送信される。
【００２６】
図５Ｂに示されるように、受信通信装置は、近端位置において事象データアイテムを表す制御信号を受信する。本発明の第１の実施例によれば、受信通信装置は、近端位置における人物が「そこに居るかのように」感じられるために、該事象データアイテムを再生するための、ディスプレイに隣接する光源を有する。これら光源は、低い又は非常に低い空間解像度を特徴とする。光源は、遠端位置における該新たな人物の動きの量に対応する強度でスイッチオンされる（動きが大きいほど多くの光）。該光源は、該新たな人物の動きが継続する継続時間の間、スイッチオンされたままである。該新たな人物の空間的な情報も考慮される。該新たな人物が遠端カメラからみて左側に居るときには、近端においてディスプレイの左側における光源がスイッチオンされ、その逆も成り立つ。
【００２７】
送信通信装置のプロセッサは、広角カメラのビューからの画像シーケンスに対して動き推定を実行する。この目的のため、該プロセッサは例えば、動き推定のための３Ｄ再帰探索（３Ｄ−ＲＳ）アルゴリズムを利用する。斯かるアルゴリズムは当業者には知られており、例えば米国特許US6,996,175に記載されている。３Ｄ−ＲＳアルゴリズムに基づいて、該プロセッサは、各カメラ画像について、新たな動きベクトル場を実現し、Ｒ×Ｃ画素（しばしばＲ×Ｃ＝８×８画素の正方形ブロックが用いられる）の各長方形の画像ブロックについて、動きベクトルｖ＝（ｖｘ，ｖｙ）を与える。重要な画像領域の１つは、ＲＬにより示されるカメラ画像におけるズーム領域の左側であり、図６を参照されたい。他の重要な画像領域は、ＲＲより示されるズーム領域の右側である。プロセッサはこのとき、領域ＲＬ及び領域ＲＲの両方において平均動きの尺度を計算する。該尺度は例えば、領域ＲＬ及びＲＲにおける平均動きベクトルの大きさ：
【数１】
2011530258.tif 000003
又は計算がより簡単な（プロセッサにおける演算が少ない）平均動きベクトルの大きさの近似：
【数２】
2011530258.tif 000004
である。ここで、ＮＬ及びＮＲは、それぞれＲＬ及びＲＲにおける非ゼロの動きベクトルの数である。これらの式（１）及び（２）によれば、領域ＲＬ又はＲＲにおいて動いているオブジェクトのサイズが大きい場合に、ｖａｖ，Ｌ又はｖａｖ，Ｒは大きい値を持つ。該動いているオブジェクトが小さい場合にも、該オブジェクトが速く動いている場合には、ｖａｖ，Ｌ又はｖａｖ，Ｒは大きい値を持つ。これら平均動きベクトルの大きさは、受信通信装置に送信される制御信号の一部である。
【００２８】
本発明に対する拡張として、事象データは、領域（ＲＲ又はＲＬ）における画素の平均化された色情報により拡張されても良い。該平均化において、関連する動きベクトルの大きさが小さな一定の閾値を超えている画素のみが考慮され、従って十分な程度動いている画素のみが平均色に寄与するようにされる。
【００２９】
事象データを表す制御信号は次いで、受信通信装置により受信される。該装置は、該制御信号を解釈し、近端位置において光を制御するためのコントローラを含む。
【００３０】
図５Ａにおいて、ディスプレイの左側及び右側における光源が示されている。本発明は２つの光源のセットに限られないことは、当業者には明らかであろう。より多くの光源があっても良く、外部光源があっても良い。ディスプレイの左側における光の強度はｖａｖ，Ｌにより制御され、ｖａｖ，Ｌの値が大きいほど多くの光となるようにされる。より詳細には、左側の光源の強度をＩＬとすると、
ＩＬ＝ｆ（ｖａｖ，Ｌ）                                                （３）
であり、ここでｆ（）は引数とともに単調増加する関数である。ディスプレイの右側に対しても、同様の原理が適用される。式（３）によれば、光源の強度は、新たな事象データが到着する時点まで一定のままとされる。代替としては、光源のより滑らかな挙動のため、事象データに対する時間方向にフィルタ演算（例えば線形補間）が適用される。急激な動きが急激な光変化に導くことを保証するため、動きが急激な大きな変化を呈したときには該時間フィルタは該データを平滑化するべきではなく、連続する平均動きの大きさの絶対差が小さい（一定の閾値より低い）場合にのみ該時間フィルタ該データを平滑化するべきである。
【００３１】
本発明により、近端側における人物は、遠端側における人物が迅速にビデオ事象に迅速に気付くことができるように、表示範囲外において、目の隅から当該ビデオ事象に迅速に気付くことができる。この手段により、近端側の人物にとって、そこに居るかのような向上させられた感覚をもたらす。
【００３２】
更なる時間的な精度のため（人間の目の隅は人間の目の中心部よりも高い時間的解像度を持つことを考慮に入れる）、事象データの生成、及び従って近端光源の制御は、送信されるビデオのフレームレートよりも高いレートで実行される。このため、近端位置において事象データが導出されるカメラは、送信フレームレートよりも高いフレームレートで動作すべきである。
【００３３】
本発明に対する拡張として、事象データは、動いているオブジェクトからの平均色情報を含み、光源は当該色で起動される。
【００３４】
本発明の第２の実施例によれば、事象データは、送信端位置において、ビデオ入力ではなくオーディオから生成される。大きな音声の事象が送信端で検出され、受信端における光源による急激な光のフラッシュに帰着する。有利にも、近端位置における人物は、急激な音声が、自身の家ではなく他方の側から来たものであることを即座に知ることができる。また有利にも、急激な音声の事象の検出は送信端において実行される必要はなく、光源が存在する受信端において入力されるオーディオに対して実行されることもできる。
【００３５】
更に改良された方法においては、大きな音声の事象の方向もが検出され、送信端において事象データに追加される。このとき、受信端においては、該大きな音声の事象の継続時間の間、対応する光源がスイッチオンされる（図７Ｂを参照されたい）。このため、音源位置特定のためのアルゴリズムにより制御されるマイクロフォンアレイが必要とされる。音源位置特定のための斯かるアルゴリズムは当業者には知られたものであり、例えば米国特許US6,774,934に記載されている。
【００３６】
図７Ａにおいて、例えばドアを閉める音のような、大きな音声の事象が送信端位置において検出される。送信通信装置のオーディオプロセッサは、受信端における表示範囲に対応するディジタルビデオズーム範囲φ２の外において当該事象を検出する。該検出されたオーディオ事象は次いで、送信通信装置の送信ユニット（図示されていない）により送信される。該音声の方向もが、マイクロフォンアレイを用いて測定される。図７Ｂにおいて、受信端位置において、該大きな音声の事象の方向に対応する光源が、該音声事象の継続時間の間、スイッチオンされる。
【００３７】
本発明は、ハードウェア及び／又は専用のソフトウェアにより実装されても良い。該ソフトウェアに対応しプログラムメモリにロードされる命令のセットは、通信装置の集積回路に、本発明の実施例による方法を実行させる。該命令のセットは、例えばディスクのようなデータ担体に保存されても良い。該命令のセットは、集積回路のプログラムメモリに該命令のセットをロードするため、データ担体から読み込まれても良く、該集積回路が次いでその役割を実行する。例えば、該ソフトウェアはＣＤ−ＲＯＭにコピーされ、該ＣＤ−ＲＯＭは通信装置と共に販売される。代替としては、該ソフトウェアはインターネットを通して利用可能とされても良い。更に、該専用のソフトウェアは、通信装置のフラッシュメモリ又はＲＯＭ（Read Only Memory）にデフォルトで組み込まれていても良い。
【００３８】
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising、comprises等）」なる語は、請求項又は明細書全体において列記された要素又はステップの存在を除外するものではない。要素の単数形の参照は、斯かる要素の複数の参照を除外するものではなく、その逆も成り立つ。
【図１】
2011530258.tif 000005
【図２】
2011530258.tif 000006
【図３（Ａ）】
2011530258.tif 000007
【図３（Ｂ）】
2011530258.tif 000008
【図４】
2011530258.tif 000009
【図５（Ａ）】
2011530258.tif 000010
【図５（Ｂ）】
2011530258.tif 000011
【図６】
2011530258.tif 000012
【図７（Ａ）】
2011530258.tif 000013
【図７（Ｂ）】
2011530258.tif 000014
【国際調査報告】
2011530258.tif 000015
2011530258.tif 000016
2011530258.tif 000017