(57)【要約】【課題】奥行き感のある映像に対して臨場感のある音声を提示することが可能な映像音声処理装置、ビデオカメラ装置、テレビ会議システム、映像音声処理方法、コンピュータプログラム及び記録媒体を提供する。【解決手段】テレビ会議端末１００のカメラ４１で撮像してなる映像データ、及びマイクロフォン５１，・・５８で周囲の音声を集音してなり遅延部１５で遅延せしめられた音声データを符号化部１６で符号化し、他のテレビ会議端末１００ａの復号化部１８で復号化して表示部６ａ及び音声出力部７に夫々映像信号及び音声信号を出力する。映像データに基づく映像から画像サイズ検出部１３が人の顔の画像サイズを検出し、検出された画像サイズの大小に応じて短長となるようにした時間だけ遅延部１５で音声データを遅延させる。【選択図】図１
2011029789.tif 000002
【特許請求の範囲】
【請求項１】
音声を発する被写体が含まれるべき領域を撮像してなる映像データ及び周囲の音声を集音してなる音声データを取得し、取得した映像データに基づく映像から前記被写体の画像の大きさを検出し、検出した大きさ及び音声を発した被写体が撮像されてから前記音声が集音されるまでの時間差に基づいて、映像信号及び音声信号を出力する各時点を調整する映像音声処理装置であって、
検出した大きさの大小に応じて短長となる時間だけ前記映像信号から前記音声信号を遅延させるようにしてあることを特徴とする映像音声処理装置。
【請求項２】
前記時間は、検出した大きさに反比例する指標値に対応するようにしてあることを特徴とする請求項１に記載の映像音声処理装置。
【請求項３】
前記映像データは、ズームレンズを介して撮像してなるものであり、
前記ズームレンズによる撮像倍率に関わりなく前記時間を算出するようにしてあること
を特徴とする請求項１又は２に記載の映像音声処理装置。
【請求項４】
前記映像信号に基づく映像が表示されるべき画面の大きさを取得する手段を備え、
該手段が取得した大きさの大小に応じて、前記時間を短長に変化させること
を特徴とする請求項１から３までの何れか１項に記載の映像音声処理装置。
【請求項５】
前記映像データは、複数の前記被写体が含まれるべき領域を撮像してなるものであり、
前記音声データは、複数のマイクロフォンで夫々集音してなる複数のデータからなり、
該複数のデータに基づいて、音声が発せられた方向を検出する手段を備え、
該手段が検出した方向に位置する被写体の画像の大きさを検出するようにしてあること
を特徴とする請求項１から４までの何れか１項に記載の映像音声処理装置。
【請求項６】
前記被写体が人の顔であることを特徴とする請求項５に記載の映像音声処理装置。
【請求項７】
音声を発する被写体が含まれるべき領域を撮像して映像データを出力する撮像部と、
周囲の音声を集音して音声データを出力するマイクロフォンと、
請求項１から６までの何れか１項に記載の映像音声処理装置とを備え、
前記撮像部及びマイクロフォンが夫々出力した映像データ及び音声データを前記映像音声処理装置が取得して映像処理及び音声処理するようにしてあること
を特徴とするビデオカメラ装置。
【請求項８】
前記映像音声処理装置から出力される各時点が調整された映像信号及び音声信号を記録媒体に記録させる記録部を備えることを特徴とする請求項７に記載のビデオカメラ装置。
【請求項９】
複数の人の顔が含まれるべき領域を撮像して映像データを出力する撮像部と、
周囲の音声を集音して音声データを出力する複数のマイクロフォンと、
前記撮像部及びマイクロフォンが夫々出力した映像データ及び音声データを取得する請求項５に記載の映像音声処理装置と、
該映像音声処理装置から出力される各時点が調整された映像信号及び音声信号に基づいて、映像及び音声を夫々出力する表示部及び音声出力部と
を備えることを特徴とするテレビ会議システム。
【請求項１０】
前記複数のマイクロフォンは、人の顔が存すべき相異なる位置の周囲の音声を夫々集音するようにしてあり、
予め前記撮像部の撮像位置から前記複数のマイクロフォンまでの距離を夫々検出して記憶する手段を備え、
各マイクロフォンが出力するデータのうち、発せられた音声が最も高レベルで検出されるデータに基づいて前記音声信号を遅延させるようにしてあり、
前記データを出力したマイクロフォンから撮像位置までの距離に応じた音の伝播時間だけ前記音声信号を更に遅延させるようにしてあること
を特徴とする請求項９に記載のテレビ会議システム。
【請求項１１】
音声を発する被写体が含まれるべき領域を撮像してなる映像データ及び周囲の音声を集音してなる音声データを取得し、取得した映像データに基づく映像から前記被写体の画像の大きさを検出し、検出した大きさ及び音声を発した被写体が撮像されてから前記音声が集音されるまでの時間差に基づいて、映像信号及び音声信号を出力する各時点を調整する映像音声処理方法であって、
検出した大きさの大小に応じて短長となる時間だけ前記映像信号から前記音声信号を遅延させるステップを含むことを特徴とする映像音声処理方法。
【請求項１２】
前記時間は、検出した大きさに反比例する指標値に対応させることを特徴とする請求項１１に記載の映像音声処理方法。
【請求項１３】
前記映像データは、ズームレンズを介して撮像してなるものであり、
前記ズームレンズによる撮像倍率に関わりなく前記時間を算出すること
を特徴とする請求項１１又は１２に記載の映像音声処理方法。
【請求項１４】
前記映像信号に基づく映像が表示されるべき画面の大きさを取得するステップを含み、
取得した大きさの大小に応じて、前記時間を短長に変化させること
を特徴とする請求項１１から１３までの何れか１項に記載の映像音声処理方法。
【請求項１５】
前記映像データは、複数の前記被写体が含まれるべき領域を撮像してなるものであり、
前記音声データは、複数のマイクロフォンで夫々集音してなる複数のデータからなり、
該複数のデータに基づいて、音声が発せられた方向を検出するステップを含み、
検出した方向に位置する被写体の画像の大きさを検出すること
を特徴とする請求項１１から１４までの何れか１項に記載の映像音声処理方法。
【請求項１６】
前記被写体が人の顔であることを特徴とする請求項１５に記載の映像音声処理方法。
【請求項１７】
映像データ及び音声データを取得し、映像及び音声処理して映像信号及び音声信号を出力するコンピュータに、音声を発する被写体が含まれるべき領域を撮像してなる映像データに基づく映像から前記被写体の画像の大きさを検出させ、検出させた大きさ及び音声を発した被写体が撮像されてから前記音声が集音されるまでの時間差に基づいて、映像信号及び音声信号を出力する各時点を調整させるコンピュータプログラムであって、
コンピュータに、検出させた大きさの大小に応じて短長となる時間だけ前記映像信号から前記音声信号を遅延させるステップを含むことを特徴とするコンピュータプログラム。
【請求項１８】
前記時間は、検出した大きさに反比例する指標値に対応させることを特徴とする請求項１７に記載のコンピュータプログラム。
【請求項１９】
前記映像データは、ズームレンズを介して撮像してなるものであり、
コンピュータに、前記ズームレンズによる撮像倍率に関わりなく前記時間を算出させること
を特徴とする請求項１７又は１８に記載のコンピュータプログラム。
【請求項２０】
請求項１８又は１９に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を発する被写体が含まれるべき領域を撮像してなる映像データ及び周囲の音声を集音してなる音声データを取得して処理した結果に基づいて、映像信号及び音声信号を出力する映像音声処理装置、該映像音声処理装置を備えるビデオカメラ装置及びテレビ会議システム、映像音声処理方法、並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、表示装置の高解像度化に伴って臨場感溢れる映像の表示が可能になっているが、音声を発する被写体が表示装置に表示される場合、表示された被写体から発せられたように聞こえる音声によって自然な臨場感が与えられるようにするには、映像及び音声の同期タイミングの調整が重要となる。
【０００３】
例えば、花火が炸裂する様子をビデオカメラ装置で撮像及び集音して再生する場合、撮像位置から花火が炸裂した位置までの距離の違いによって花火の開花映像が大小様々な大きさに表示されるのに対し、視聴者に炸裂音が聞こえるまでの時間遅れに差があることが却って違和感を与えるものである。
【０００４】
これに対し、特許文献１では、検出した花火の開花画像の大きさの大小に応じて、音声信号に対する映像信号の遅延時間を短長に変化させることにより、花火が炸裂してから遅れて到来する炸裂音を、開花画像に同期した音声として再生することを可能とする技術が開示されている。
【０００５】
一方、テレビ会議システムでは、会議出席者が含まれる領域をビデオカメラで撮像した映像データに基づく映像信号と、会議室の音声をマイクロフォンで集音した音声データに基づく音声信号とを符号化し、ネットワークを介して受信側に送信する。受信側では、符号化されたデータが復号されて映像信号及び音声信号に分離され、映像信号及び音声信号に基づく映像及び音声が、夫々モニタテレビ及びスピーカへ出力される。
【０００６】
この場合、発言している会議出席者から撮像位置までの距離に応じた音の伝播時間だけ映像信号に対して音声信号が遅れるように集音された場合、又は映像信号に対して音声信号が遅れないように集音された場合の何れであっても、受信側で映像及び音声が視聴されたときには、自然な臨場感に乏しくなる。
【０００７】
これに関し、非特許文献１では、映像及び音声の最適な同期タイミングについて、知覚心理学の観点から調査された結果が報告されている。そこでは、被写体から光と音声とが同時に発せられたと観測者に感じられるときの光及び音声の到来タイミング差が、観測者から被写体までの距離に対する光及び音声の伝播時間差とは異なる値になると結論付けられている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−４８３７４号公報
【非特許文献】
【０００９】
【非特許文献１】伊藤琢実、長谷川光司、春日正男、阿山みよし（宇都宮大）、「奥行き感のある映像についての等価知覚に関する実験」、日本音響学会研究発表会講演論文集、２００８年秋季、第３日９月１２日（金）、p.２９
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に開示された技術は、単に映像と音声とが同時に再生されるようにするものであり、上述したような奥行き感のある映像に対して、非特許文献１で報告されているような視聴者の知覚心理を考慮して自然な臨場感を与えることができるものではなかった。これに対し、発明者らは、被写体から発せられた音声が、光と音との伝播時間差より長く遅延するように提示されたときに、臨場感が増すとの知見を得た。
【００１１】
本発明は斯かる知見に基づいてなされたものであり、その目的とするところは、人の知覚心理を考慮することにより、奥行き感のある映像に対して臨場感のある音声を提示することが可能な映像音声処理装置、該映像音声処理装置を備えるビデオカメラ装置及びテレビ会議システム、映像音声処理方法、並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
本発明に係る映像音声処理装置は、音声を発する被写体が含まれるべき領域を撮像してなる映像データ及び周囲の音声を集音してなる音声データを取得し、取得した映像データに基づく映像から前記被写体の画像の大きさを検出し、検出した大きさ及び音声を発した被写体が撮像されてから前記音声が集音されるまでの時間差に基づいて、映像信号及び音声信号を出力する各時点を調整する映像音声処理装置であって、検出した大きさの大小に応じて短長となる時間だけ前記映像信号から前記音声信号を遅延させるようにしてあることを特徴とする。
【００１３】
本発明に係る映像音声処理装置は、前記時間は、検出した大きさに反比例する指標値に対応するようにしてあることを特徴とする。
【００１４】
本発明に係る映像音声処理装置は、前記映像データは、ズームレンズを介して撮像してなるものであり、前記ズームレンズによる撮像倍率に関わりなく前記時間を算出するようにしてあることを特徴とする。
【００１５】
本発明に係る映像音声処理装置は、前記映像信号に基づく映像が表示されるべき画面の大きさを取得する手段を備え、該手段が取得した大きさの大小に応じて、前記時間を短長に変化させることを特徴とする。
【００１６】
本発明に係る映像音声処理装置は、前記映像データは、複数の前記被写体が含まれるべき領域を撮像してなるものであり、前記音声データは、複数のマイクロフォンで夫々集音してなる複数のデータからなり、該複数のデータに基づいて、音声が発せられた方向を検出する手段を備え、該手段が検出した方向に位置する被写体の画像の大きさを検出するようにしてあることを特徴とする。
【００１７】
本発明に係る映像音声処理装置は、前記被写体が人の顔であることを特徴とする。
【００１８】
本発明に係るビデオカメラ装置は、音声を発する被写体が含まれるべき領域を撮像して映像データを出力する撮像部と、周囲の音声を集音して音声データを出力するマイクロフォンと、上述した発明の何れか１つに記載の映像音声処理装置とを備え、前記撮像部及びマイクロフォンが夫々出力した映像データ及び音声データを前記映像音声処理装置が取得して映像処理及び音声処理するようにしてあることを特徴とする。
【００１９】
本発明に係るビデオカメラ装置は、前記映像音声処理装置から出力される各時点が調整された映像信号及び音声信号を記録媒体に記録させる記録部を備えることを特徴とする。
【００２０】
本発明に係るテレビ会議システムは、複数の人の顔が含まれるべき領域を撮像して映像データを出力する撮像部と、周囲の音声を集音して音声データを出力する複数のマイクロフォンと、前記撮像部及びマイクロフォンが夫々出力した映像データ及び音声データを取得する上述した発明のいずれか一つに記載の映像音声処理装置と、該映像音声処理装置から出力される各時点が調整された映像信号及び音声信号に基づいて、映像及び音声を夫々出力する表示部及び音声出力部とを備えることを特徴とする。
【００２１】
本発明に係るテレビ会議システムは、前記複数のマイクロフォンは、人の顔が存すべき相異なる位置の周囲の音声を夫々集音するようにしてあり、予め前記撮像部の撮像位置から前記複数のマイクロフォンまでの距離を夫々検出して記憶する手段を備え、各マイクロフォンが出力するデータのうち、発せられた音声が最も高レベルで検出されるデータに基づいて前記音声信号を遅延させるようにしてあり、前記データを出力したマイクロフォンから撮像位置までの距離に応じた音の伝播時間だけ前記音声信号を更に遅延させるようにしてあることを特徴とする。
【００２２】
本発明に係る映像音声処理方法は、音声を発する被写体が含まれるべき領域を撮像してなる映像データ及び周囲の音声を集音してなる音声データを取得し、取得した映像データに基づく映像から前記被写体の画像の大きさを検出し、検出した大きさ及び音声を発した被写体が撮像されてから前記音声が集音されるまでの時間差に基づいて、映像信号及び音声信号を出力する各時点を調整する映像音声処理方法であって、検出した大きさの大小に応じて短長となる時間だけ前記映像信号から前記音声信号を遅延させるステップを含むことを特徴とする。
【００２３】
本発明に係る映像音声処理方法は、前記時間は、検出した大きさに反比例する指標値に対応させることを特徴とする。
【００２４】
本発明に係る映像音声処理方法は、前記映像データは、ズームレンズを介して撮像してなるものであり、前記ズームレンズによる撮像倍率に関わりなく前記時間を算出することを特徴とする。
【００２５】
本発明に係る映像音声処理方法は、前記映像信号に基づく映像が表示されるべき画面の大きさを取得するステップを含み、取得した大きさの大小に応じて、前記時間を短長に変化させることを特徴とする。
【００２６】
本発明に係る映像音声処理方法は、前記映像データは、複数の前記被写体が含まれるべき領域を撮像してなるものであり、前記音声データは、複数のマイクロフォンで夫々集音してなる複数のデータからなり、該複数のデータに基づいて、音声が発せられた方向を検出するステップを含み、検出した方向に位置する被写体の画像の大きさを検出することを特徴とする。
【００２７】
本発明に係る映像音声処理方法は、前記被写体が人の顔であることを特徴とする。
【００２８】
本発明に係るコンピュータプログラムは、映像データ及び音声データを取得し、映像及び音声処理して映像信号及び音声信号を出力するコンピュータに、音声を発する被写体が含まれるべき領域を撮像してなる映像データに基づく映像から前記被写体の画像の大きさを検出させ、検出させた大きさ及び音声を発した被写体が撮像されてから前記音声が集音されるまでの時間差に基づいて、映像信号及び音声信号を出力する各時点を調整させるコンピュータプログラムであって、コンピュータに、検出させた大きさの大小に応じて短長となる時間だけ前記映像信号から前記音声信号を遅延させるステップを含むことを特徴とする。
【００２９】
本発明に係るコンピュータプログラムは、前記時間は、検出した大きさに反比例する指標値に対応させることを特徴とする。
【００３０】
本発明に係るコンピュータプログラムは、前記映像データは、ズームレンズを介して撮像してなるものであり、コンピュータに、前記ズームレンズによる撮像倍率に関わりなく前記時間を算出させることを特徴とする。
【００３１】
本発明に係る記録媒体は、上述した発明に記載のコンピュータプログラムを記録してあることを特徴とする。
【００３２】
本発明にあっては、映像データに基づく映像から被写体の画像の大きさを検出し、映像データに基づく映像信号に対して音声データに基づく音声信号を遅延させる方向に補正するように調整する。この場合、検出された被写体の画像の大きさの大小に応じて補正量が小大となるようにする。
つまり、より小さく見える被写体からの音声をより長く遅延させることによって、視覚的な奥行き感から人が無意識に予測する音声の到来タイミングと、実施に人に聞かせる音声のタイミングとを一致させるようにする。
【００３３】
本発明にあっては、検出された被写体の画像の大きさに反比例する指標値に対応する時間だけ、映像信号に対して音声信号を遅延させる方向に補正する。
つまり、画像の大きさと被写体までの距離とが反比例関係にあることから、検出された被写体までの距離の指標値に対応する時間だけ音声信号を遅延させて、撮像位置から遠くにある被写体から発せられた音声ほど映像に対する遅延時間がより長くなるように補正する。例えば、被写体までの距離の指標値の指数関数に対応する時間だけ音声信号を遅延させることとした場合は、前記指数関数の指数を１より大きく（又は小さく）することにより、撮像位置から被写体までの距離に対する遅延時間の補正量の増加率を距離と共に増大させる（又は減少させる）ことができる。
【００３４】
本発明にあっては、ズームレンズを介して撮像された映像データを取得し、検出した被写体の画像の大きさの大小に応じて小大となるようにする補正量を、前記ズームレンズによる撮像倍率の大小に関わりなく算出する。この場合、ズームレンズの焦点距離を大きくして撮像倍率を大きく（又は小さく）することは、撮像位置を見かけ上被写体に近付ける（又は遠ざける）ことと同じ効果がある。
つまり、撮像倍率を大きく（又は小さく）したことによって被写体の画像の大きさが大きく（又は小さく）なった場合、画像の大きさが検出された被写体から、撮像位置までの距離が見かけ上小さく（又は大きく）なったように扱われて、音声を遅延させる方向の補正量が小さく（又は大きく）なる。
【００３５】
本発明にあっては、検出された被写体の画像の大きさの大小に応じて遅延時間の補正量が小大となるようにする場合、出力した映像信号に基づく映像が表示されるべき画面の大きさの大小に応じて前記補正量を更に小大に変化させる。
これにより、前記画面の大きさが大きい（又は小さい）ほど、被写体の画像の大きさがより大きく（又は小さく）検出されたかのように扱う。
【００３６】
本発明にあっては、複数の被写体が含まれるべき領域が撮像された映像データを取得し、複数のマイクロフォンで夫々集音された複数のデータからなる音声データを取得し、前記複数のデータに基づいて音声が発せられた方向を検出して、検出した方向に位置する被写体の画像の大きさを検出する。
これにより、音声を発した被写体が特定されて画像の大きさが検出されるため、複数の被写体が撮像されている場合であっても、発せられた音声についての遅延時間の補正量が被写体に応じて算出される。
【００３７】
本発明にあっては、被写体の大きさとして人の顔の大きさを検出するため、例えば、複数の人が会談する場で撮像及び集音が行われた場合に、撮像位置から遠くに居る人が発した音声ほど補正される遅延時間が長くなるようにする。
【００３８】
本発明にあっては、音声を発する被写体が含まれるべき領域を撮像部で撮像した映像データと、周囲の音声をマイクロフォンで集音した音声データとを、前述の映像音声処理装置が取得して映像及び音声処理する。
これにより、撮像位置から検出された被写体までの距離の指標値に対応する時間だけ音声信号を遅延させて、撮像位置から遠くにある被写体から発せられた音声ほど映像に対する遅延時間がより長くなるように補正することが可能な映像音声処理装置がビデオカメラ装置に適用される。
【００３９】
本発明にあっては、撮像位置から遠くにある被写体から発せられた音声ほど映像に対する遅延時間がより長くなるように補正された映像信号及び音声信号を記録媒体に記録させる。
これにより、自然な臨場感に補正された映像及び音声が、例えば他のビデオ再生装置で再生可能となる。
【００４０】
本発明にあっては、複数の人の顔が含まれるべき領域を撮像部で撮像した映像データと、周囲の音声を複数のマイクロフォンで集音した音声データとを、前述の映像音声処理装置が取得して映像及び音声処理し、例えばネットワークを介して対向する他の映像音声処理装置に接続された表示部及び音声出力部が、前記映像音声処理装置から出力される各時点が調整された映像信号及び音声信号に基づいて夫々映像及び音声を出力する。
これにより、撮像位置から検出された人の顔までの距離の指標値に対応する時間だけ音声信号を遅延させて、撮像位置から遠くに居る人が発した音声ほど映像に対する遅延時間がより長くなるように補正することが可能な映像音声処理装置がテレビ会議システムに適用される。
【００４１】
本発明にあっては、人の顔が存すべき相異なる位置の周囲の音声を複数のマイクロフォンで夫々集音したデータのうち、発せられた音声が最も高レベルで検出されるデータに基づいて音声信号を遅延させるように補正する。また、予め撮像部の撮像位置から各マイクロフォンまでの距離を夫々検出して記憶してあり、前記データを出力したマイクロフォンから撮像位置までの距離に応じた音の伝播時間だけ前記音声信号を更に遅延させる。
これにより、音声が発せられた方向の検出が容易且つ正確となる上、発せられた音声が最寄りのマイクロフォンで高レベルに集音される。また、発せられた音声を集音したマイクロフォンの位置から撮像位置までの距離に応じて音声信号を更に遅延させるため、マイクロフォンから撮像位置までの距離に応じた音の伝播時間を基準の遅延時間として音声を更に遅延させる補正が行われことになり、自然な臨場感が得られるようになる。
【００４２】
本発明にあっては、記録媒体から読み出されたコンピュータプログラムによって、上述した映像音声処理装置の各手段が実現される。
【発明の効果】
【００４３】
本発明によれば、検出された被写体の画像の大きさの大小に応じて短長となるようにした時間だけ音声信号をより長く遅延させる。
これにより、より小さく見える被写体からの音声をより長く遅延させることによって、視覚的な奥行き感から人が無意識に予測する音声の到来タイミングと、実施に人に聞かせる音声のタイミングとを一致させるようにする。
従って、人の知覚心理を考慮することにより、奥行き感のある映像に対して臨場感のある音声を提示することが可能となる。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態１に係るテレビ会議システムの構成例を示すブロック図である。
【図２】カメラによって撮像された被写体の画像サイズを模式的に示す説明図である。
【図３】レンズの画角を模式的に示す説明図である。
【図４】カメラのパン方向への回動可能範囲を模式的に示す説明図である。
【図５】レンズの画角が最小の場合に、カメラで撮像可能な角度範囲を模式的に示す説明図である。
【図６】レンズの画角が最大の場合に、カメラで撮像可能な角度範囲を模式的に示す説明図である。
【図７】レンズによって撮像された映像において検出マイクの画像の位置を算出するための説明図である。
【図８】上記指標：Ｓのｍ次の指数関数を例示するグラフである。
【図９】各マイクロフォンの位置を検出するＣＰＵの処理手順を示すフローチャートである。
【図１０】音声を発した人の顔の画像サイズを検出して音声を遅延させるＣＰＵの処理手順を示すフローチャートである。
【図１１】音声を発した人の顔の画像サイズを検出して音声を遅延させるＣＰＵの処理手順を示すフローチャートである。
【図１２】レベル差算出のサブルーチンに係るＣＰＵの処理手順を示すフローチャートである。
【図１３】本発明の実施の形態２に係るテレビ会議システムの構成例を示すブロック図である。
【図１４】本発明の実施の形態３に係るビデオカメラ装置の構成例を示すブロック図である。
【図１５】音声を発した人の顔の画像サイズを検出して音声を遅延させるＣＰＵの処理手順を示すフローチャートの一部である。
【発明を実施するための形態】
【００４５】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、本発明の実施の形態１に係るテレビ会議システムの構成例を示すブロック図である。図中１００，１００ａはテレビ会議端末であり、テレビ会議端末１００，１００ａは、互いにネットワーク１０１を介して接続されることにより、テレビ会議システムを構成する。本実施の形態１にあっては、テレビ会議端末１００及び１００ａは、後述する夫々の表示部６及び６ａの画面サイズ（画面の大きさ）のみが異なるが、他に異なる部分があってもよい。
【００４６】
テレビ会議端末１００は、撮像部４が撮像した映像データ及びマイクロフォン５１，５２，・・５８が集音した音声データを取得して映像及び音声処理する映像音声処理装置１と、該映像音声処理装置１が出力した映像信号及び音声信号に基づいて夫々映像の表示及び音声の出力を行う表示部６及び音声出力部７とを備える。表示部６はＬＣＤからなる。音声出力部７は、音声信号を入力された音声駆動部７１がスピーカ７２を駆動するようになっている。
【００４７】
撮像部４は、テレビ会議の出席者を含む領域を撮像するカメラ４１の後述するレンズ４１１（図２参照）について焦点距離を増減させるズーム駆動部４２と、カメラ４１をパン方向及びチルト方向に夫々回動させるパンモータ４３及びチルトモータ４４を各駆動するパン駆動部４５及びチルト駆動部４６とを備える。これら３つの駆動部の動作は、後述する制御部１１によって制御される。カメラ４１が撮像して生成したアナログの映像データは、映像音声処理装置１に与えられる。
【００４８】
マイクロフォン５１，５２，・・５８は、テレビ会議の複数の出席者が着座する席の前側に適宜の間隔を隔てて配されており、夫々近傍の出席者が発声した音声を含む周囲の音声を集音してアナログの音声データを生成し、生成した音声データを映像音声処理装置１に与える。
尚、マイクロフォン５１，５２，・・５８の個数は８つに限定されるものではなく、出席者の人数に応じた適宜の個数だけ備えればよい。
【００４９】
映像音声処理装置１は、撮像部４のカメラ４１から与えられたアナログの映像データをＡＤ変換するＡ／Ｄ変換器１２と、該Ａ／Ｄ変換器１２でＡＤ変換されたデジタルの映像データに基づく映像から特定の被写体の画像の大きさ（以下、画像サイズという）を検出して検出結果を制御部１１に与える画像サイズ検出部１３とを備える。
【００５０】
映像音声処理装置１は、また、マイクロフォン５１，５２，・・５８から与えられたアナログの音声データの信号レベルを夫々検出して検出結果を制御部１１に与えるレベル検出部３１，３２，・・３８と、前記アナログの音声データを合成してＡＤ変換するＡ／Ｄ変換器１４とを備える。Ａ／Ｄ変換器１４でＡＤ変換されたデジタルの音声データは、制御部１１から指定された時間だけ遅延部１５で遅延せしめられ、Ａ／Ｄ変換器１２でＡＤ変換されたデジタルの映像データと共に符号化部１６で符号化されて符号化データとして制御部１１に与えられる。
【００５１】
映像音声処理装置１は、更に、ネットワーク１０１を介して他のテレビ会議端末１００ａと通信するためのネットワークＩ／Ｆ部１７と、符号化部１６から制御部１１に与えられた符号化データ、又はネットワークＩ／Ｆ部１７を介して他のテレビ会議端末１００ａから制御部１１に与えられた符号化データを復号して映像信号及び音声信号を生成する復号化部１８と、操作表示、エラー表示等の表示情報を生成するＯＳＤ（On Screen Display）部２３とを備える。復号化部１８が復号したデジタルの映像信号は、ＯＳＤ部２３で表示情報が重畳され、Ｄ／Ａ変換器１９でＤＡ変換されて表示部６に与えられる。また、デジタルの音声信号は、Ｄ／Ａ変換器２０でＤＡ変換されて音声駆動部７１に与えられる。
【００５２】
映像音声処理装置１は、更にまた、テレビ会議端末１００への各種操作を遠隔で行うためのリモートコントローラ（以下、リモコンという）２１から送信された赤外線信号を受信するリモコン受信部２２と、該リモコン受信部２２を介してリモコン２１から指示された操作に基づいてテレビ会議端末１００全体の動作を制御する制御部１１とを備える。リモコン２１には、撮像部４を操作するためのボタン、テンキー、各種のモード設定ボタン、操作の決定ボタン、操作の終了ボタン等の操作キーが配されている（図示せず）。制御部１１のＣＰＵ１１１は、ＲＯＭ１１２、ＲＡＭ１１３及びタイマ１１４と互いにバス接続されており、ＲＯＭ１１２に予め格納されている制御プログラムに従って入出力、演算等の処理を実行することによって上述した各部の動作を制御する。
【００５３】
ＣＰＵ１１１には、また、マイクロフォン５１，５２，・・５８の位置、カメラ４１の撮像範囲、及び他のテレビ会議端末１００ａの表示部６ａの画面サイズを夫々記憶するためのマイク位置メモリ１１ａ、撮像範囲メモリ１１ｂ、及び画面サイズメモリ１１ｃがバス接続されている。画面サイズメモリ１１ｃに記憶される内容は、テレビ会議システムの初期化の際に、ネットワークＩ／Ｆ部１７を介して他のテレビ会議端末１００ａから取得されるようになっている。
尚、これらのメモリに記憶すべき内容をＲＡＭ１１３に記憶するようにしてもよい。
【００５４】
撮像部４のズーム駆動部４２、パン駆動部４５、及びチルト駆動部４６は、夫々制御部１１によって駆動量が制御されている。ズーム駆動部４２に対する駆動量の積算値は、レンズ４１１の焦点距離に対応する指標値となる。パン駆動部４５及びチルト駆動部４６に対する駆動量の積算値は、夫々カメラ４１のパン方向及びチルト方向の回動角度に対応している。各駆動部は、夫々の駆動範囲内で基準となる駆動位置（ホームポジション）が予め定められており、制御部１１が前記ホームポジションからの駆動量を積算することによって、レンズ４１１の焦点距離に対応する指標値と、カメラ４１のパン方向及びチルト方向の回動角度とが求まる。本実施の形態１にあっては、各駆動部のホームポジションは、夫々の駆動範囲の中央となるようにしてあり、パン方向及びチルト方向の回動角度は、夫々のホームポジションを中心に正及び負の角度で表される。
【００５５】
ここで、レンズ４１１の焦点距離と画角とは１対１の関係にあるため、レンズ４１１の焦点距離に対応する指標値は、レンズ４１１の画角に対応する指標値となる。一方、ＲＯＭ１１２には、前記指標値と画角との対応付けがテーブルとして記憶されており、このテーブルを前記指標値について参照することによってレンズ４１１の画角が求まる。このようにして求められたレンズ４１１の画角と、カメラ４１のパン方向及びチルト方向の回動角度とが、撮像範囲メモリ１１ｂに記憶される。
尚、基準となる駆動位置からの駆動量を積算するのではなく、例えば、カメラ４１のパン方向及びチルト方向の回動角度を夫々の角度センサから検出するようにしてもよい。
【００５６】
制御部１１に制御された画像サイズ検出部１３は、Ａ／Ｄ変換器から与えられた映像データに基づく映像に含まれる画像の特徴量に基づいて人の顔の画像及びマイクロフォン５１，５２，・・５８の画像を抽出し、抽出した画像について夫々画像サイズを検出する。本実施の形態１では、人の顔の画像サイズとして顔の横幅を検出するが、顔の縦幅を検出するようにしてもよい。
【００５７】
図２は、カメラ４１によって撮像された被写体の画像サイズを模式的に示す説明図である。焦点距離がｆであるレンズ４１１とＣＣＤ（Carge Coupled Device）４１２とを有するカメラ４１の光軸に垂直な方向の被写体の実際のサイズをＷとし、レンズ４１１から被写体までの距離をｄとした場合、被写体の画像は、レンズ４１１からｆと略等しい距離だけ離隔した位置にあるＣＣＤ４１２上に結像する。但し、ｄはｆに対して十分大きい値であるものとする。このときの被写体の画像サイズをＭとした場合、Ｗに対するＭの比が、ｄに対するｆの比と一致するため、以下の式（１）が成立する。
【００５８】
ｄ＝Ｗ×ｆ／Ｍ・・・・・・・・・・・・・・・（１）
【００５９】
つまり、被写体の実際のサイズ：Ｗ及び焦点距離：ｆが既知の場合、被写体の画像サイズ：Ｍを検出することによって、撮像位置から被写体までの距離：ｄが算出される。
【００６０】
図３は、レンズ４１１の画角を模式的に示す説明図である。ズーム駆動部４２がレンズ４１１の焦点距離を増減させることによってレンズ４１１による撮像倍率を増減させた場合、レンズ４１１の画角は、αからβまで変化する。この場合、画角がβのときの焦点距離に対する、画角がαのときの焦点距離の比が、いわゆるズーム比（ズーム倍率）である。
尚、ここでいう画角は、レンズ４１１が画像を結像させる円形の範囲（いわゆるイメージサークル）内に写し込まれる視野の外縁をレンズ４１１の中心から見込む角度であり、いわゆる対角画角を指すものとする。
【００６１】
図４は、カメラ４１のパン方向への回動可能範囲を模式的に示す説明図である。パン駆動部４５がパンモータ４３を駆動することによってカメラ４１をパン方向に回動させた場合、レンズ４１１の光軸の向きが、水平面内における角度：±γの範囲内で変化する。ここでは、カメラ４１から被写体側を見て右側への回動角度を正の角度とする。図示しないチルト方向についても同様に、レンズ４１１の光軸の向きが、垂直面内における角度：±δの範囲内で変化するものとし、カメラ４１から被写体側を見て仰角方向が正の角度であるものとする。
カメラ４１がパン方向に回動する角度と、レンズ４１１の画角とを組み合わせることにより、カメラ４１で撮像可能なパン方向の角度範囲を広げることが可能となる。チルト方向についても同様である。
【００６２】
図５及び図６は、レンズ４１１の画角が夫々最小及び最大の場合に、カメラ４１で撮像可能な角度範囲を模式的に示す説明図である。例えば図５では、カメラ４１の光軸の向きが水平面内において角度：±γの範囲内で変化し、夫々の光軸の向きにおけるレンズ４１１の画角がαであるため、図に示す角度：θ１（＝２γ＋α）の範囲内で撮像可能となる。同様に図６では、角度：θ２（＝２γ＋β）の範囲内で撮像可能となることが示される。
【００６３】
以下では、図５及び図６に示した撮像範囲を有するカメラ４１でマイクロフォン５１，５２，・・５８の位置を検出する方法について説明する。マイクロフォン５１，５２，・・５８の位置は、テレビ会議において音声を発した出席者の顔の画像を抽出する際に必要となるものであり、テレビ会議の開催前に使用者がリモコン２１を操作することによって検出され、マイク位置メモリ１１ａに書き込まれる。
【００６４】
使用者がリモコン２１のモード設定ボタンを押下してマイクロフォン５１，５２，・・５８の位置を検出するモードに切り替えた場合、復号化部１８は符号化部１６が符号化した符号化データを復号し、表示部６にはカメラ４１が撮像した映像が表示されるようになる。また、カメラ４１のレンズ４１１の焦点距離は一定値（例えば最大値）に固定される。これにより、後に式（１）を適用する際にｆの値が既知となる。
尚、マイクロフォン５１，５２，・・５８の実際のサイズは既知であり、ＲＯＭ１１２に記憶されている。また、各マイクロフォン５１，５２，・・５８には、夫々１，２，・・８の通番が付されているものとする。
【００６５】
その後、表示部６に表示されたマイクロフォン５１の画像が画面の中央に位置するように、使用者がリモコン２１を操作した場合、上述したように、カメラ４１のパン方向及びチルト方向の回動角度が、撮像範囲メモリ１１ｂに逐次記憶される。次いで、使用者がリモコン２１のテンキーからマイクロフォン５１の通番を指定した後に決定ボタンを押下した場合、画像サイズ検出部１３がマイクロフォン５１の画像サイズを検出する。
【００６６】
ここで検出された画像サイズを式（１）のＭに代入し、マイクロフォン５１の実際のサイズをＷに代入することにより、撮像位置（即ちレンズ４１１の位置）からマイクロフォン５１までの距離：ｄが算出される。算出された距離：ｄは、通番対応にマイク位置メモリ１１ａに書き込まれる。このとき、カメラ４１のパン方向及びチルト方向の回動角度が撮像範囲メモリ１１ｂから読み出され、マイクロフォン５１の方向を示すデータとして通番対応にマイク位置メモリ１１ａに書き込まれる。
以上の手順をマイクロフォン５１から５８まで順次繰り返すことにより、撮像位置から各マイクロフォン５１，５２，・・５８までの距離及び方向を夫々示すデータが通番対応にマイク位置メモリ１１ａに書き込まれる。
【００６７】
次に、テレビ会議において音声を発した出席者の顔の画像サイズを検出する方法について説明する。以下では、上述した各マイクロフォン５１，５２，・・５８の通番と同一の通番が、レベル検出部３１，３２，・・３８の夫々に付されているものとする。
【００６８】
各マイクロフォン５１，５２，・・５８が夫々生成した音声データについて、レベル検出部３１，３２，・・３８で逐次検出される信号レベルのうち、最も高レベルに検出されたものが他の信号レベルより所定レベル以上大きい状態が所定時間継続した場合に、出席者が音声を発したものと判定される。この場合、信号レベルを最も高レベルに検出したレベル検出部と同じ通番を有するマイクロフォン（以下、検出マイクという）の方向（パン方向及びチルト方向）をマイク位置メモリ１１ａから読み出して以下に示す処理を行うことにより、撮像された映像における検出マイクの画像の位置を算出することができる。
【００６９】
図７は、レンズ４１１によって撮像された映像において検出マイクの画像の位置を算出するための説明図である。レンズ４１１は画角内の被写体を撮像して、ＣＣＤ４１２が置かれた面上の円（イメージサークル）２００の内側に被写体の画像を結像させる。図７では、円２００の内側に会議机２０１、マイクロフォン５１，５２，・・５８、及び会議の出席者２１１，２１２，・・２１８の画像が結像している。ＣＣＤ４１２は、対角線が円２００の直径に一致するような矩形をなしているため、図７では会議机２０１の画像の一部がＣＣＤ４１２からはみ出している。
【００７０】
ここで、レンズ４１１の画角がα１であり、ＣＣＤ４１２の対角線の長さが２ｒ１（即ち円２００の半径がｒ１）であるものとする。また、円２００及びＣＣＤ４１２の中心を原点としてＸ軸及びＹ軸がＣＣＤ４１２の夫々長辺及び短辺と平行となるように直交座標を取り、座標値が（Ｘ１，Ｙ１）となるマイクロフォン５６が検出マイクである場合を想定する。ＣＣＤ４１２の外縁とＸ軸及びＹ軸とは、夫々±Ｘ２及び±Ｙ２で交わるものとする。更に、マイク位置メモリ１１ａに記憶されているマイクロフォン５６のパン方向及びチルト方向の回動角度が夫々γ１及びδ１であり、撮像範囲メモリ１１ｂに記憶されているカメラ４１のパン方向及びチルト方向の回動角度が夫々γ２及びδ２であるものとする。
【００７１】
この場合、マイクロフォン５６は、レンズ４１１の光軸に対し、パン方向及びチルト方向の角度にして夫々（γ１−γ２）及び（δ１−δ２）だけ傾いた方向にある。換言すれば、カメラ４１をパン方向の角度にして（γ１−γ２）だけ回動させることにより、マイクロフォン５６の画像は、座標値が（０，Ｙ１）である点に移動し、更にカメラ４１をチルト方向の角度にして（δ１−δ２）だけ回動させることにより、マイクロフォン５６の画像は座標の原点に移動する。但し、レンズ４１１の歪曲収差は無視できるものとする。同様に、カメラ４１をチルト方向の角度にして（δ１−δ２）だけ回動させることにより、マイクロフォン５６の画像は、座標値が（０，Ｘ１）である点に移動し、更にカメラ４１をパン方向の角度にして（γ１−γ２）だけ回動させることにより、マイクロフォン５６の画像は座標の原点に移動する。以上のことから、三角関数を用いて以下の式（２），（３）が成立する。
【００７２】
ｔａｎ（α１／２）／ｒ１＝ｔａｎ（γ１−γ２）／Ｘ１・・・（２）
ｔａｎ（α１／２）／ｒ１＝ｔａｎ（δ１−δ２）／Ｙ１・・・（３）
【００７３】
ｒ１は既知の定数であり、α１，γ２，δ２及びγ１，δ１は夫々撮像範囲メモリ１１ｂ及びマイク位置メモリ１１ａから読み取ることが可能であるから、式（２），（３）を満たすＸ１及びＹ１の値を求めることができる。
【００７４】
以上のようにして、検出マイクの方向から、レンズ４１１によって撮像された映像における検出マイクの画像の位置を算出することが可能となる。検出マイクがマイクロフォン５１，５２，・・５５，５８である場合についても同様である。検出マイクの画像の位置が算出された場合、画像サイズ検出部１３は、例えば、検出マイクの画像を中心とする半径ｒ２（ｒ２＜＜ｒ１）の円内に位置する出席者２１６の顔の画像を抽出して顔の画像サイズを検出する。これにより、検出マイクの方向で音声を発した出席者２１６の顔の画像サイズが検出される。
【００７５】
以下では、検出した出席者の顔の画像サイズに応じて音声を遅延させる方法について説明する。マイクロフォン５１，５２，・・５８は、夫々出席者２１１，２１２，・・２１８が発した音声を集音するため、集音された音声を遅延させない場合は、撮像位置から出席者２１１，２１２，・・２１８までの距離の大小に係わらず、撮像された映像とほぼ同じタイミングで音声が提示される。これでは音声が映像に対して不自然に進んでいるように感じられるため、検出マイクから撮像位置までの距離に応じた音の伝播時間だけ音声信号を遅延させる必要がある。
【００７６】
一方、マイク位置メモリ１１ａには、撮像位置からマイクロフォン５１，５２，・・５８までの距離が夫々記憶されているため、撮像位置から検出マイクまでの距離を読み出して音の伝播時間を算出することができる。このようにして算出した時間だけ映像に対して音声を遅延させることにより、撮像位置で集音した音声と略同等の遅延時間で音声を提示することができる。
【００７７】
しかしながら、上述したように音声を遅延させたとしても、奥行き感のある映像を視聴する人にとって、音声の到来タイミングを無意識に遅らせて予測するような知覚心理が働くときは、自然な臨場感が得られない。この場合の知覚心理は、音声を発する被写体（本実施の形態１では出席者２１１，２１２，・・２１８の顔）が画面に表示されたときに、被写体の画像サイズの大小に応じて弱強となるように働く。このため、本実施の形態１にあっては、撮像位置で集音した音声と略同等の遅延時間となるように音声を遅延させるほか、検出した出席者の顔の画像サイズが大小異なるのに応じて短長となる時間を補正量として音声の遅延時間に加算する。
【００７８】
ところで、テレビ会議においてテレビ会議端末１００のカメラ４１が撮像した映像が表示されるのは、他のテレビ会議端末１００ａの表示部６ａの画面であるため、表示部６ａの画面サイズの大小によって画面に表示される出席者２１１，２１２，・・２１８の顔の画像サイズが大小に変化する。このため、本実施の形態１にあっては、基準となる画面サイズに対する表示部６ａの画面サイズの比の値を、検出した出席者の顔の画像サイズに掛け合わせ、前記比の値だけ出席者の顔の画像サイズが大きく検出されたかのように扱うこととする。
【００７９】
次に、音声の遅延時間の補正量について説明する。上述した知覚心理は、画面に表示された被写体の画像サイズから直感される被写体までの距離の大小に応じて働くものと考えられる。そこで、音声の遅延時間の補正量を算出するために、被写体の画像サイズを被写体までの距離に対応させた指標を導入する。
いま、式（１）の両辺をｆで除算し、両辺に定数ｋを掛け合わせ、更に右辺を変形させることによって式（４）が成立する。
【００８０】
ｋ×（ｄ／ｆ）＝ｋ×（１／（Ｍ／Ｗ））・・・・・・・・・（４）
【００８１】
式（４）の右辺は、被写体の実際のサイズで正規化された被写体の画像サイズに反比例する指標であり、左辺は、焦点距離で正規化された被写体までの距離の指標となる。式（４）で表される指標をＳとする。
【００８２】
図８は、上記指標：Ｓのｍ次の指数関数を例示するグラフである。図の横軸は指標：Ｓを表し、縦軸はＳのｍ乗値を表す。指数：ｍは正数とする。図に示すように、指数：ｍの値を１より大きく（又は小さく）することにより、Ｓに対するＳのｍ乗値の増加率が次第に増大する（又は減少する）ように変化させることができる。
【００８３】
ここで、図８の縦軸の尺度を適当に調整して音声の遅延時間の補正量に対応させ、式（４）のｋの値及び上記指数：ｍの値を適当に選ぶことにより、正規化された被写体までの距離の指標値の指数関数に対応する時間を、人の知覚心理を考慮して定めるべき遅延時間の補正量に近似させることができる。この場合、前記ｋ及びｍの値は、例えば、被験者によるオピニオン評価実験を行って定めることができる。
尚、遅延時間の補正量としての時間に近似させるために、被写体までの距離の指標値に対して必ずしも指数関数を適用する必要はなく、他の関数を適用して近似させてもよい。
【００８４】
次に、ズーム駆動部４２がレンズ４１１の焦点距離を増減させて撮像倍率を大小に変化させた場合について説明する。式（４）において焦点距離：ｆの値をｎ倍（ｎは１より大きい正数）にした場合、被写体の画像サイズ：Ｍはｎ倍となるため、撮像倍率をｎ倍にすることは、被写体までの距離を１／ｎに近付けるのと同じ効果があるといえる。この場合の遅延時間の補正量は、上述した知覚心理によればレンズ４１１の焦点距離：ｆを一定にして被写体までの距離を実際に１／ｎに近付けたときと同じ値にすべきである。つまり、遅延時間の補正量は、被写体の実際の大きさに対する被写体の画像サイズを用いて式（４）の右辺で定義される指標：Ｓに基づいて、撮像倍率に関わりなく算出すればよい。
【００８５】
以下に、上述したテレビ会議システムの動作を、それを示すフローチャートを用いて説明する。図９は、各マイクロフォン５１，５２，・・５８の位置を検出するＣＰＵ１１１の処理手順を示すフローチャートである。図９の処理は、使用者がリモコン２１のモード設定ボタンを押下してマイクロフォン５１，５２，・・５８の位置を予め検出するモードに切り替えた場合に起動され、ＲＯＭ１１２に予め格納されている制御プログラムに従って実行される。
【００８６】
この場合、上述したように、復号化部１８は符号化部１６が符号化した符号化データを復号し、表示部６にはレンズ４１１の焦点距離が一定値に固定されたカメラ４１が撮像した映像が表示されるようになっている。また、使用者がリモコン２１を操作してカメラ４１をパン方向及びチルト方向に回動させた場合、図７の処理とは別処理によって、パン方向及びチルト方向の回動角度が撮像範囲メモリ１１ｂに逐次記憶される。各マイクロフォン５１，５２，・・５８の実際のサイズは、ＲＯＭ１１２に記憶されている。
【００８７】
図９の処理が起動された場合、ＣＰＵ１１１は、リモコン受信部２２がリモコン２１から赤外線信号を受信したか否かを判定する（ステップＳ１１）。受信していないと判定した場合（ステップＳ１１：ＮＯ）、ＣＰＵ１１１は、赤外線信号を受信するまで待機する。赤外線信号を受信したと判定した場合（ステップＳ１１：ＹＥＳ）、ＣＰＵ１１１は、テンキーが操作されたか否かを判定する（ステップＳ１２）。
【００８８】
テンキーが操作されたと判定した場合（ステップＳ１２：ＹＥＳ）、ＣＰＵ１１１は、操作されたテンキーの数字に対応する数値を通番としてＲＡＭ１１３に記憶し（ステップＳ１３）、処理をステップＳ１１に戻す。テンキーが操作されていないと判定した場合（ステップＳ１２：ＮＯ）、ＣＰＵ１１１は、決定ボタンが操作されたか否かを判定する（ステップＳ１４）。
【００８９】
決定ボタンが操作されたと判定した場合（ステップＳ１４：ＹＥＳ）、ＣＰＵ１１１は、画像サイズ検出部１３を制御して、ＣＣＤ４１２の中央部に結像したマイクロフォンの画像サイズを検出し（ステップＳ１５）、検出が正常に行えたか否かを判定する（ステップＳ１６）。検出が正常に行えなかったと判定した場合（ステップＳ１６：ＮＯ）、ＣＰＵ１１１は、ＯＳＤ部２３を制御してエラー表示を表示部６に表示させ（ステップＳ１７）、処理をステップＳ１１に戻す。
【００９０】
検出が正常に行えたと判定した場合（ステップＳ１６：ＹＥＳ）、ＣＰＵ１１１は、式（１）に対して、検出した画像サイズをＭに、ＲＯＭ１１２から読み出したマイクロフォンの実際のサイズをＷに、そしてｆには前記一定値を代入することにより、検出したマイクロフォンまでの距離：ｄを算出する（ステップＳ１８）。その後、ＣＰＵ１１１は、ＲＡＭ１１３に記憶されている通番を読み出し（ステップＳ１９）、読み出した通番に対応するマイク位置メモリ１１ａに距離：ｄを書き込む（ステップＳ２０）。
【００９１】
更に、ＣＰＵ１１１は、撮像範囲メモリ１１ｂからカメラ４１のパン方向及びチルト方向の回動角度を読み出し（ステップＳ２１）、これらを前記通番に対応するマイク位置メモリ１１ａに書き込んで（ステップＳ２２）処理をステップＳ１１に戻す。
【００９２】
ステップＳ１４で決定ボタンが操作されていないと判定した場合（ステップＳ１４：ＮＯ）、ＣＰＵ１１１は、終了ボタンが操作されたか否かを判定する（ステップＳ２３）。終了ボタンが操作されていないと判定した場合（ステップＳ２３：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ１１に戻す。終了ボタンが操作されたと判定した場合（ステップＳ２３：ＹＥＳ）、ＣＰＵ１１１は、全マイクロフォン５１，５２，・・５８について検出を完了したか否か、即ち、全ての通番に対応するマイク位置メモリ１１ａに書き込みを終了したか否かを判定する（ステップＳ２４）。
【００９３】
検出を完了したと判定した場合（ステップＳ２４：ＹＥＳ）、ＣＰＵ１１１は、ＯＳＤ部２３を制御して正常終了表示を表示部６に表示させ（ステップＳ２５）、処理を終了する。また、検出を完了していないと判定した場合（ステップＳ２４：ＮＯ）、ＣＰＵ１１１は、ＯＳＤ部２３を制御して異常終了表示を表示部６に表示させ（ステップＳ２６）、処理を終了する。
【００９４】
図１０及び図１１は、音声を発した人の顔の画像サイズを検出して音声を遅延させるＣＰＵ１１１の処理手順を示すフローチャートであり、図１２は、レベル差算出のサブルーチンに係るＣＰＵ１１１の処理手順を示すフローチャートである。図１０から図１２までの処理は、ＲＯＭ１１２に予め格納されている制御プログラムに従って実行される。また、図１０の処理は、音声を遅延させるテレビ会議が開催されている場合に起動され、処理が終了したときには再度起動されるようにしてある。
【００９５】
尚、図７に示す円（イメージサークル）２００の半径の長さ：ｒ１の値と、ＣＣＤ４１２の縦横サイズに対応するＸ２及びＹ２の値と、基準画面サイズと、式（４）に適用すべき定数：ｋの値及び人の顔の横幅と、図８に例示したｍの値とは、ＲＯＭ１１２に記憶されている。
【００９６】
図１０の処理が起動された場合、ＣＰＵ１１１は、レベル差算出に係るサブルーチンを呼び出して実行し（ステップＳ３１）、検出された最高の信号レベルと、他の信号レベルとのレベル差が所定値以上であるか否かを判定する（ステップＳ３２）。所定値以上でないと判定した場合（ステップＳ３２：ＮＯ）、ＣＰＵ１１１は、遅延部１５に遅延時間：０を設定し（ステップＳ３３）、処理を終了する。
【００９７】
レベル差が所定値以上であると判定した場合（ステップＳ３２：ＹＥＳ）、ＣＰＵ１１１は、最高の信号レベルを検出したレベル検出部の通番、即ち検出マイクの通番をいつでも参照できるように（例えばＣＰＵ１１１のレジスタに）記憶する（ステップＳ３４）。その後、ＣＰＵ１１１は、タイマ１１４に所定時間（例えば５０ｍｓ）の計時を開始させ（ステップＳ３５）、レベル差算出に係るサブルーチンを呼び出して実行し（ステップＳ３６）、検出された最高の信号レベルと、他の信号レベルとのレベル差が所定値以上であるか否かを判定する（ステップＳ３７）。所定値以上でないと判定した場合（ステップＳ３７：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ３３に戻す。
【００９８】
レベル差が所定値以上であると判定した場合（ステップＳ３７：ＹＥＳ）、ＣＰＵ１１１は、最高の信号レベルを検出したレベル検出部の通番と、ステップＳ３２で記憶した通番とが同一であるか、即ち、同一のマイクロフォンについて最高の信号レベルを検出したか否かを判定する（ステップＳ３８）。同一のマイクロフォンではないと判定した場合（ステップＳ３８：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ３３に戻す。
【００９９】
同一のマイクロフォンであると判定した場合（ステップＳ３８：ＹＥＳ）、ＣＰＵ１１１は、タイマ１１４が計時を終了したか否かを判定する（ステップＳ３９）。終了していないと判定した場合（ステップＳ３９：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ３６に戻す。
【０１００】
計時を終了したと判定した場合（ステップＳ３９：ＹＥＳ）、ＣＰＵ１１１は、マイク位置メモリ１１ａから検出マイクの方向（即ちパン方向及びチルト方向の回動角度：γ１及びδ１）を読み出す（ステップＳ４０）。更に、ＣＰＵ１１１は、撮像範囲メモリ１１ｂからカメラ４１のパン方向及びチルト方向の回動角度（γ２及びδ２）とレンズ４１１の画角（α１）とを読み出す（ステップＳ４１）。そして、ＣＰＵ１１１は、これらの値とＲＯＭ１１２から読み出したｒ１の値とを式（２），（３）に適用し、Ｘ１及びＹ１の値を検出マイクの画像の位置として算出する（ステップＳ４２）。
【０１０１】
その後、ＣＰＵ１１１は、画像サイズ検出部１３を制御して検出マイクの画像の位置から所定範囲内にある人の顔の画像を抽出し（ステップＳ４３）、抽出した顔の画像の位置が、ＣＣＤ４１２上にあるか否かを判定する（ステップＳ４４）。この場合、ＣＣＤ４１２の縦横サイズに対応するＸ２及びＹ２の値は、ＲＯＭ１１２から読み出す。抽出した顔の画像の位置がＣＣＤ４１２上にないと判定した場合（ステップＳ４４：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ３３に戻す。
【０１０２】
抽出した顔の画像の位置がＣＣＤ４１２上にあると判定した場合（ステップＳ４４：ＹＥＳ）、ＣＰＵ１１１は、顔の画像サイズを検出し（ステップＳ５１）、検出した画像サイズをＲＡＭ１１３に記憶する（ステップＳ５２）。その後、ＣＰＵ１１１は、マイク位置メモリ１１ａから検出マイクまでの距離を読み出し（ステップＳ５３）、読み出した距離について音の伝播時間を算出して（ステップＳ５４）ＲＡＭ１１３に音声の遅延時間として記憶する（ステップＳ５５）。
【０１０３】
次いで、ＣＰＵ１１１は、画面サイズメモリ１１ｃの内容を読み出し（ステップＳ５６）、ＲＯＭ１１２から読み出した基準画面サイズに対する比の値を算出する（ステップＳ５７）。更に、ＣＰＵ１１１は、ステップＳ５２で記憶した画像サイズをＲＡＭ１１３から読み出し（ステップＳ５８）、読み出した画像サイズに上記比の値を乗算し（ステップＳ５９）、乗算して得た値をＭとして式（４）に適用して指標：Ｓの値を算出する（ステップＳ６０）。この場合、式（４）のｋの値及びＷに代入すべき人の顔の横幅はＲＯＭ１１２から読み出しておく。
【０１０４】
その後、ＣＰＵ１１１は、Ｓの値とＲＯＭ１１２から読み出したｍの値とから指数関数としてＳのｍ乗値を算出し（ステップＳ６１）、算出した値を予め定めた尺度で遅延時間の補正量に換算する（ステップＳ６２）。そして、ＣＰＵ１１１は、ステップＳ５５で記憶した音声の遅延時間をＲＡＭ１１３から読み出し（ステップＳ６３）、読み出した値に上記補正量を加算し（ステップＳ６４）、加算して得た値を音声の遅延時間として遅延部１５に設定して（ステップＳ６５）処理を終了する。
【０１０５】
図１２のサブルーチンが呼び出された場合、ＣＰＵ１１１は、各レベル検出部３１，３２，・・３８が検出した信号レベルを取り込み（ステップＳ７１）、取り込んだ信号レベルのうち、最高の信号レベルを抽出する（ステップＳ７２）。その後、ＣＰＵ１１１は、抽出した最高の信号レベルと他の信号レベルとのレベル差を算出し（ステップＳ７３）、算出したレベル差と、最高の信号レベルを検出したレベル検出部の通番とをリターン値に設定して呼び出されたルーチンにリターンする。
【０１０６】
以上のように本実施の形態１によれば、撮像部から与えられた映像データに基づく映像から人の顔の画像サイズを検出し、映像データに基づく映像信号に対して音声データに基づく音声信号を遅延させる方向に補正するように調整する。この場合、検出された顔の画像サイズの大小に応じて短長となるようにした時間だけ音声信号をより長く遅延させることにより、視覚的な奥行き感から人が無意識に予測する音声の到来タイミングと、実際に人に聞かせる音声のタイミングとを一致させるようにする。
従って、人の知覚心理を考慮することにより、奥行き感のある映像に対して臨場感のある音声を提示することが可能となる。
【０１０７】
また、検出された顔の画像サイズに反比例する指標値の指数関数に対応する時間だけ、映像信号に対して音声信号を遅延させる方向に補正する。つまり、検出された顔までの距離の指標値に対応する時間だけ音声信号を遅延させて、撮像位置から遠くに居る人が発した音声ほど映像に対する遅延時間がより長くなるように補正する。
従って、検出された顔までの距離の指標値に対応する時間を、人の知覚心理を考慮して定めるべき遅延時間の補正量に近似させることが可能となる。
【０１０８】
更にまた、検出した顔の画像サイズの大小に応じて小大となるようにする補正量を、レンズの撮像倍率の大小に関わりなく算出する。
従って、撮像倍率を大きく（又は小さく）したことによって、検出した顔の画像サイズが大きく（又は小さく）なった場合、画像サイズが検出された顔から、撮像位置までの距離が見かけ上小さく（又は大きく）なったように扱い、音声を遅延させる方向の補正量を小さく（又は大きく）することが可能となる。
【０１０９】
更にまた、検出された顔の画像サイズの大小に応じて遅延時間の補正量が小大となるようにする場合、撮像された映像が表示される表示部の画面サイズの大小に応じて前記補正量を更に小大に変化させる。
従って、実際に映像が表示される表示部の画面サイズが大きい（又は小さい）ほど、人の顔の画像サイズがより大きく（又は小さく）検出されたかのように扱って、遅延時間の補正量をより小さく（又は大きく）することが可能となる。
【０１１０】
更にまた、複数のマイクロフォンで夫々集音された音声データに基づいて音声が発せられた方向を検出し、検出した方向に位置する人の顔の画像サイズを検出する。
従って、音声を発した人が特定されて顔の画像サイズが検出されるため、複数の人が撮像されている場合であっても、発せられた音声について遅延時間の補正量を的確に算出することが可能となる。
【０１１１】
更にまた、複数の出席者の顔を含む領域を撮像部のカメラで撮像した映像データと、会議室の音声を複数のマイクロフォンで集音した音声データとについて、映像音声処理装置で映像及び音声処理し、ネットワークを介して対向する他の映像音声処理装置に接続された表示部及び音声出力部が、前記映像音声処理装置から出力される各時点が調整された映像信号及び音声信号に基づいて夫々映像及び音声を出力する。
従って、撮像位置から検出された人の顔までの距離の指標値に対応する時間だけ音声信号を遅延させて、撮像位置から遠くに居る人が発した音声ほど映像に対する遅延時間がより長くなるように補正する映像音声処理装置をテレビ会議システムに適用することが可能となる。
【０１１２】
更にまた、テレビ会議の複数の出席者が着座する席の前側に適宜の間隔を隔てて配された複数のマイクロフォンで夫々集音したデータのうち、発せられた音声が最も高レベルで検出されるデータに基づいて音声信号を遅延させるように補正する。また、予め撮像位置から各マイクロフォンまでの距離を夫々検出してマイク位置メモリに記憶してあり、最も高レベルのデータを出力したマイクロフォンから撮像位置までの距離に応じた音の伝播時間だけ音声信号を更に遅延させる。
従って、音声が発せられた方向を容易且つ正確に検出することが可能となる上、発せられた音声を最寄りのマイクロフォンで高レベルに集音することが可能となる。また、マイクロフォンから撮像位置までの距離に応じた音の伝播時間を基準の遅延時間として音声を更に遅延させる補正が行われるため、自然な臨場感を得ることが可能となる。
【０１１３】
尚、本実施の形態１にあっては、音声を発する被写体としてテレビ会議の出席者２１１，２１２，・・２１８の顔を例に説明したが、これに限定されるものではなく、ＣＣＤ４１２上に結像した画像のサイズが検出可能な被写体であって、実際のサイズが既知であり、音声を発するものを撮像する場合に適用することができる。
【０１１４】
また、マイクロフォン５１，５２，・・５８は、夫々出席者２１１，２１２，・・２１８が着座する席の前側に適宜の間隔を隔てて配したが、これに限定されるものではなく、例えば、１つのマイクロフォンが複数の出席者の発した音声を集音するようにしても同様の効果を奏する。
【０１１５】
更にまた、撮像された映像における画像の位置が予め記憶されたマイクロフォン５１，５２，・・５５，５８が夫々生成した音声データに基づいて音声が発せられた方向を検出しているが、これに限定されるものではなく、例えば撮像部４が複数の指向性のマイクロフォンを備え、それ自体公知の手段によって音声が発せられた方向を検出するようにしてもよい。
【０１１６】
更にまた、所定の指標値の指数関数に対応する時間だけ音声信号を遅延させて、人の知覚心理を考慮して定めるべき遅延時間の補正量に近似させているが、これに限定されるものではなく、例えば、他の関数曲線を用いて近似させるようにしてもよい。
【０１１７】
更にまた、基準となる画面サイズに対する表示部６ａの画面サイズの比の値を、検出した出席者の顔の画像サイズに掛け合わせているが、これに限定されるものではなく、表示部６ａの画面サイズの大小を、基準画面に対する比とは異なる尺度で評価し、検出した顔の画像サイズの大小に反映させるようにしてもよい。
【０１１８】
（実施の形態２）
実施の形態１は、撮像部４が撮像した映像データ及び音声データを符号化する際に音声を遅延させる形態であるのに対し、実施の形態２は、映像データ及び音声データを符号化する際にタイムスタンプを付し、復号化する際にタイムスタンプに基づいて音声を遅延させる形態である。
【０１１９】
図１３は、本発明の実施の形態２に係るテレビ会議システムの構成例を示すブロック図である。映像音声処理装置１は、撮像部４のカメラ４１から与えられたアナログの映像データがＡ／Ｄ変換器１２でＡＤ変換されたデジタルの映像データと、マイクロフォン５１，５２，・・５８から与えられたアナログの音声データがＡ／Ｄ変換器１４で合成及びＡＤ変換されたデジタルの音声データとを符号化する符号化部１６を備える。符号化部１６が符号化した符号化データは、ＴＳ付加部２４でタイムスタンプが付されて制御部１１に与えられる。
【０１２０】
映像音声処理装置１は、また、ＴＳ付加部２４から制御部１１に与えられた符号化データ、又はネットワークＩ／Ｆ部１７を介して他のテレビ会議端末１００ａから制御部１１に与えられた符号化データを復号してデジタルの映像信号及び音声信号を生成する復号化部１８ａを備える。復号化部１８ａが復号したデジタルの映像信号は、ＯＳＤ部２３で表示情報が重畳され、Ｄ／Ａ変換器１９でＤＡ変換されて表示部６に与えられる。また、デジタルの音声信号は、Ｄ／Ａ変換器２０でＤＡ変換されて音声駆動部７１に与えられる。
【０１２１】
ＴＳ付加部２４は、符号化部１６から与えられた符号化データに対し、復号化開始の時刻に係るＤＴＳ（Decoding Time Stamp）を付加すると共に、制御部１１から設定された遅延時間に基づいて、復号化されたときの映像の表示時刻及び音声の発音時刻に係るＰＴＳ（Presentation Time Stamp）を付加する。この場合、映像のＰＴＳの時刻は通常の時刻として付加され、音声のＰＴＳの時刻は、制御部１１から与えられた遅延時間だけ映像のＰＴＳの時刻より遅れるように付加される。
【０１２２】
復号化部１８ａは、ＤＴＳの時刻に従う順序で符号化データを復号化し、映像及び音声のＰＴＳの時刻についての時間差だけ音声が映像より遅れるように映像データ及び音声データを出力する。
尚、ＤＴＳ及びＰＴＳの付加については、特許文献１に詳しいため、詳細な説明を省略する。
【０１２３】
音声を発した人の顔の画像サイズを検出する処理、及び音声の遅延時間の補正量を算出する処理については、実施の形態１と同様である。この場合、図１０及び図１１のフローチャートにおいて、ステップＳ３３，Ｓ６５でＣＰＵ１１１が遅延時間を設定する際に、遅延部１５に遅延時間を設定するのではなく、ＴＳ付加部２４に対して設定すればよい。
【０１２４】
その他、実施の形態１に対応する箇所には同様の符号を付して、その詳細な説明を省略する。
【０１２５】
以上のように本実施の形態２によれば、映像データに基づく映像から人の顔の画像サイズを検出し、映像データに基づく映像信号に対して音声データに基づく音声信号を遅延させる方向に補正するように調整されたタイムスタンプを符号化データに付す。符号化データが復号化される場合、検出された顔の画像サイズの大小に応じて短長となるようにした時間だけ音声信号をより長く遅延させることにより、視覚的な奥行き感から人が無意識に予測する音声の到来タイミングと、実際に人に聞かせる音声のタイミングとを一致させるようにする。
従って、人の知覚心理を考慮することにより、奥行き感のある映像に対して臨場感のある音声を提示することが可能となる。
【０１２６】
（実施の形態３）
実施の形態１は、テレビ会議端末１００で音声を遅延させた符号化データを生成し、ネットワークを介して対向する他のテレビ会議端末１００ａで復号化して映像及び音声を出力させる形態であるのに対し、実施の形態３は、ビデオカメラ装置で音声を遅延させた符号化データを生成し、記録及び再生した符号化データを復号化して、映像及び音声を出力させる形態である。
【０１２７】
図１４は、本発明の実施の形態３に係るビデオカメラ装置の構成例を示すブロック図である。図中１０２はビデオカメラ装置であり、ビデオカメラ装置１０２は、撮像部４ａが撮像した映像データ及び単一指向性のマイクロフォン５１ａ，５２ａ，・・５５ａが集音した音声データを取得して映像及び音声処理する映像音声処理装置１ａと、該映像音声処理装置１ａが出力した映像信号及び音声信号に基づいて夫々映像の表示及び音声の出力を行う表示部６及び音声出力部７とを備える。
【０１２８】
撮像部４ａは、被写体を含む領域を撮像するカメラ４１のレンズ４１１の焦点距離を、制御部１１に制御されて増減させるズーム駆動部４２を備える。カメラ４１が撮像して生成したアナログの映像データは、映像音声処理装置１ａに与えられる。
【０１２９】
マイクロフォン５１ａ，５２ａ，・・５５ａは、指向性の中心方向がカメラ４１の前方向、左右の斜め前方向、及び上下の斜め前方向を向くように図示しない本体ハウジングの前側に配されており、ビデオカメラ装置１０２の前方から到来する音声を集音してアナログの音声データを生成し、生成した音声データを映像音声処理装置１ａに与える。
尚、マイクロフォン５１ａ，５２ａ，・・５５ａの個数は５つに限定されるものではなく、例えば６つ以上を備えるようにしてもよい。
【０１３０】
映像音声処理装置１ａは、撮像部４ａのカメラ４１から与えられたアナログの映像データをＡＤ変換するＡ／Ｄ変換器１２と、該Ａ／Ｄ変換器１２でＡＤ変換されたデジタルの映像データに基づく映像から、被写体となった人の顔の画像サイズを検出して検出結果を制御部１１に与える顔サイズ検出部１３ａとを備える。
【０１３１】
映像音声処理装置１ａは、また、マイクロフォン５１ａ，５２ａ，・・５５ａから与えられたアナログの音声データの信号レベルを夫々検出して検出結果を制御部１１に与えるレベル検出部３１，３２，・・３５と、前記アナログの音声データを合成してＡＤ変換するＡ／Ｄ変換器１４とを備える。Ａ／Ｄ変換器１４でＡＤ変換されたデジタルの音声データは、制御部１１から指定された時間だけ遅延部１５で遅延せしめられ、Ａ／Ｄ変換器１２でＡＤ変換されたジタルの映像データと共に符号化部１６で符号化されて符号化データとして制御部１１に与えられる。
【０１３２】
映像音声処理装置１ａは、また、制御部１１に与えられた符号化データをハードディスク、ビデオテープ、ＤＶＤ、半導体メモリ等の記録媒体に記録し、記録媒体に記録された符号化データを再生する記録再生部２５と、ビデオカメラ装置１０２への各種操作を行うための操作部２６と、該操作部２６から指示された操作に基づいてビデオカメラ装置１０２全体の動作を制御する制御部１１とを備える。操作部２６には、カメラ４１の焦点距離を変化させるためのズームボタン、各種のモード設定ボタン、記録／再生の開始ボタン、終了ボタン等の操作キーが配されている（図示せず）。
【０１３３】
制御部１１のＣＰＵ１１１には、レンズ４１１の画角を記憶するための画角メモリ１１ｄ、及び表示部６の画面サイズを記憶するための画面サイズメモリ１１ｃがバス接続されている。画角メモリ１１ｄへ画角を記憶する処理の内容は、実施の形態１において撮像範囲メモリ１１ｂに画角を記憶する処理の内容と同一である。画面サイズメモリ１１ｃには、ビデオカメラ装置１０２の初期化の際に、表示部６の画面サイズが記憶される。但し、外部へ映像信号及び音声信号を出力する場合は、予め操作部２６から設定された外部の表示装置の画面サイズを、画面サイズメモリ１１ｃに記憶する。尚、これらのメモリに記憶すべき内容をＲＡＭ１１３に記憶するようにしてもよい。
【０１３４】
制御部１１に接続された復号化部１８は、符号化部１６から制御部１１に与えられた符号化データ、又は記録再生部２５で記録媒体から再生されて制御部１１に与えられた符号化データを複合化するようにしてある。
尚、表示部６及び音声出力部７で夫々表示及び音声出力させるのに代えて、外部へ映像信号及び音声信号を出力するようにしてもよい。
【０１３５】
次に、テレビ会議において音声を発した出席者の顔の画像サイズを検出する方法について説明する。各マイクロフォン５１ａ，５２ａ，・・５５ａが夫々生成した音声データについて、レベル検出部３１，３２，・・３５で逐次検出される信号レベルを制御部１１に取り込み、取り込んだ信号レベルのレベル差に基づいてそれ自体公知の手段により音声が発声された方向を検出する。この場合の方向は、レンズ４１１の光軸の方向に対するパン方向及びチルト方向の角度として検出される。そして、検出された方向が同一方向である状態が所定時間継続した場合に、検出された方向に居る出席者が音声を発したものと判定される。
【０１３６】
以上のようにして検出された方向を、実施の形態１における検出マイクの方向（パン方向及びチルト方向に夫々γ１及びδ１）と置き換えて式（２），（３）に適用することが可能である。この場合、カメラ４１のパン方向及びチルト方向の回動角度（夫々γ２及びδ２）を０とすればよい。レンズ４１１によって撮像された映像において式（２），（３）を満たすＸ１及びＹ１の値は、検出された方向に係る画像の位置を表し、これを実施の形態１における検出マイクの画像の位置とみなすことにより、以後は実施の形態１と同一処理によって出席者の顔の画像サイズを検出して音声を遅延させることができる。
【０１３７】
図１５は、音声を発した人の顔の画像サイズを検出して音声を遅延させるＣＰＵ１１１の処理手順を示すフローチャートの一部である。図１５の処理は、ＲＯＭ１１２に予め格納されている制御プログラムに従って実行される。また、図１５の処理は、音声を遅延させる撮像が行われる場合に起動され、処理が終了したときには再度起動されるようにしてある。
【０１３８】
図１５の処理が起動された場合、ＣＰＵ１１１は、発声方向検出に係るサブルーチンを呼び出して実行し（ステップＳ８１）、検出が正常に終了したか否かを判定する（ステップＳ８２）。正常に終了しなかったと判定した場合（ステップＳ８２：ＮＯ）、ＣＰＵ１１１は、遅延部１５に遅延時間：０を設定し（ステップＳ８３）、処理を終了する。
【０１３９】
検出が正常に終了したと判定した場合（ステップＳ８２：ＹＥＳ）、ＣＰＵ１１１は、検出された方向（以下、検出方向という）をＲＡＭ１１３に記憶し（ステップＳ８４）、タイマ１１４に所定時間（例えば５０ｍｓ）の計時を開始させる（ステップＳ８５）。その後、ＣＰＵ１１１は、発声方向検出に係るサブルーチンを呼び出して実行し（ステップＳ８６）、検出が正常に終了したか否かを判定する（ステップＳ８７）。正常に終了しなかったと判定した場合（ステップＳ８７：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ８３に戻す。
【０１４０】
検出が正常に終了したと判定した場合（ステップＳ８７：ＹＥＳ）、ＣＰＵ１１１は、ステップＳ８４で記憶した検出方向をＲＡＭ１１３から読み出し、読み出した検出方向と、ステップＳ８６で検出された方向とが所定の誤差範囲内で同一方向を示しているか否かを判定する（ステップＳ８９）。同一方向を示していないと判定した場合（ステップＳ８９：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ８３に戻す。
【０１４１】
同一方向を示していると判定した場合（ステップＳ８９：ＹＥＳ）、ＣＰＵ１１１は、タイマ１１４が計時を終了したか否かを判定する（ステップＳ９０）。終了していないと判定した場合（ステップＳ９０：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ８６に戻す。
【０１４２】
計時を終了したと判定した場合（ステップＳ９０：ＹＥＳ）、ＣＰＵ１１１は、画角メモリ１１ｄからレンズ４１１の画角を読み出す（ステップＳ９１）。そして、ＣＰＵ１１１は、式（２），（３）について、上述の検出方向を示すパン方向及びチルト方向の角度を夫々γ１及びδ１に置き換え、前記画角をα１に置き換え、γ２及びδ２に０を代入し、ＲＯＭ１１２から読み出したｒ１の値を適用することにより、式（２），（３）を満たすＸ１及びＹ１の値を求める。これにより、検出方向に係る画像の位置を算出する（ステップＳ９２）。
【０１４３】
その後、ＣＰＵ１１１は、顔サイズ検出部１３ａを制御して検出方向に係る画像の位置から所定範囲内にある人の顔の画像を抽出し（ステップＳ９３）、抽出した顔の画像の位置が、ＣＣＤ４１２上にあるか否かを判定する（ステップＳ９４）。抽出した顔の画像の位置がＣＣＤ４１２上にないと判定した場合（ステップＳ９４：ＮＯ）、ＣＰＵ１１１は、処理をステップＳ８３に戻す。抽出した顔の画像の位置がＣＣＤ４１２上にあると判定した場合（ステップＳ９４：ＹＥＳ）、ＣＰＵ１１１は、処理を図１１のステップＳ５１に戻し、ステップＳ６５までの処理を実行した後に処理を終了する。
【０１４４】
発声方向検出のサブルーチンに係る処理については、それ自体公知であるため、フローチャートによる説明を省略する。
その他、実施の形態１に対応する箇所には同様の符号を付して、その詳細な説明を省略する。
【０１４５】
以上のように本実施の形態３によれば、音声を発する人の顔を含む領域を撮像部のカメラで撮像した映像データと、本体の前方から到来する音声を複数の単一指向性マイクロフォンで集音した音声データとについて、映像音声処理装置で映像及び音声処理して記録再生し、映像音声処理装置に接続された表示部及び音声出力部が、前記映像音声処理装置から出力される各時点が調整された映像信号及び音声信号に基づいて夫々映像及び音声を出力する。
従って、撮像位置から検出された人の顔までの距離の指標値に対応する時間だけ音声信号を遅延させて、撮像位置から遠くに居る人が発した音声ほど映像に対する遅延時間がより長くなるように補正する映像音声処理装置をビデオカメラ装置に適用することが可能となる。
【０１４６】
また、撮像位置から遠くにある人が発した音声ほど映像に対する遅延時間がより長くなるように補正された映像信号及び音声信号を記録媒体に記録させる。
従って、持ち運び可能な記録媒体に汎用性のある記録フォーマットで符号化データを記録することとした場合は、自然な臨場感に補正された映像及び音声を他のビデオ再生装置で再生することが可能となる。
【０１４７】
本発明は、コンピュータに実行させるためのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上述した音声を発した人の顔の画像サイズを検出して音声を遅延させる方法を記録したものとすることも可能である。これにより、前記方法を行うプログラムを記録した記録媒体を持ち運び自在に提供することができる。
【０１４８】
記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、外部記憶装置として設けられた図示しないプログラム読取装置に記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。何れの場合においても、格納されているプログラムコードは、ＣＰＵにアクセスされて実行される構成であってもよく、プログラムコードが読み出され、例えばＲＡＭのプログラム記憶エリアにダウンロードされて実行される構成であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１４９】
前記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープ、カセットテープ等のテープ系、フレキシブルディスク及びハードディスクに代表される磁気ディスク、CD−ROM／MO／MD／DVDに代表される光ディスク等のディスク系、ICカード（メモリカードを含む）、光カード等のカード系、及びマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等の半導体メモリ系の媒体に固定的にプログラムコードを担持するものであってもよい。
【０１５０】
前記プログラムメディアは、また、インターネットを含む通信ネットワークからプログラムコードがダウンロード可能となるようにプログラムコードが流動的に担持された媒体であってもよい。このように通信ネットワークからプログラムコードをダウンロードする場合、ダウンロード用のプログラムは、予め本体装置に格納されるものでもよく、他の記録媒体からインストールされるものであってもよい。尚、本発明は、前記プログラムコードが搬送波に埋め込まれて電子的に伝送されるコンピュータデータ信号の形態でも実現され得る。
【０１５１】
前記記録媒体は、例えば、テレビ会議端末及びコンピュータシステムに備えられるプログラム読取装置によって読み取られ、ＣＰＵによって上述した映像及び音声処理方法が実行される。コンピュータシステムは、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラ等の画像入力装置、所定のプログラムがロードされることにより上記映像及び音声処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ、液晶ディスプレイ等の画像表示装置、及びコンピュータの処理結果を紙等に出力するプリンタより構成される。更には、ネットワークを介してサーバー等に接続するためのネットワークカード、モデム等の通信手段が備えられる。
【符号の説明】
【０１５２】
１、１ａ  映像音声処理装置
１１  制御部
１１１  ＣＰＵ
１１２  ＲＯＭ
１１３  ＲＡＭ
１１４  タイマ
１１ａ  マイク位置メモリ
１１ｃ  画面サイズメモリ
１３  画像サイズ検出部
１３ａ  顔サイズ検出部
１５  遅延部
２４  ＴＳ付加部
２５  記録再生部（記録部）
４、４ａ  撮像部
４１  カメラ
４１１  レンズ（ズームレンズ）
５１，５２，・・５８、５１ａ，５２ａ，・・５５ａ  マイクロフォン
６、６ａ  表示部
７  音声出力部
７２  スピーカ
１００、１００ａ  テレビ会議端末
１０１  ネットワーク
１０２  ビデオカメラ装置
【図１】
2011029789.tif 000003
【図２】
2011029789.tif 000004
【図３】
2011029789.tif 000005
【図４】
2011029789.tif 000006
【図５】
2011029789.tif 000007
【図６】
2011029789.tif 000008
【図７】
2011029789.tif 000009
【図８】
2011029789.tif 000010
【図９】
2011029789.tif 000011
【図１０】
2011029789.tif 000012
【図１１】
2011029789.tif 000013
【図１２】
2011029789.tif 000014
【図１３】
2011029789.tif 000015
【図１４】
2011029789.tif 000016
【図１５】
2011029789.tif 000017