(57)【特許請求の範囲】
【請求項１】
画面に沿って配置された複数の撮像用カメラと、
前記画面に対する通話者の位置に関する位置情報を検出する位置検出部と、
前記画面に対する前記通話者の向きに関する方向情報を検出する方向検出部と、
前記位置情報と前記方向情報とに基づいて、前記通話者の画像を前記複数の撮像用カメラによって取得された複数の画像の中から選択し、選択した前記通話者の画像と前記複数の画像とを合成して合成画像を生成する画像合成部と、
前記合成画像と前記複数の撮像用カメラによって取得された前記複数の画像とのうちのいずれかを送信する画像送信部と、
前記通話者の通信相手である対話者側の画像を基に生成された合成画像を前記画面に表示する画像表示部と、
を備え、
前記画像合成部は、前記位置情報によって特定される前記通話者の位置から前記方向情報によって特定される方向に伸ばした線上に最も近い前記撮像用カメラの画像を前記通話者の画像として選択する、
画像通信装置。
【請求項２】
画面に沿って配置された複数の撮像用カメラと、
前記画面に対する通話者の位置に関する位置情報を検出する位置検出部と、
前記画面に対する前記通話者の向きに関する方向情報を検出する方向検出部と、
前記位置情報と前記方向情報とに基づいて、前記通話者の画像を前記複数の撮像用カメラによって取得された複数の画像の中から選択し、選択した前記通話者の画像と前記複数の画像とを合成して合成画像を生成する画像合成部と、
前記合成画像と前記複数の撮像用カメラによって取得された前記複数の画像とのうちのいずれかを送信する画像送信部と、
前記通話者の通信相手である対話者側の画像を基に生成された合成画像を前記画面に表示する画像表示部と、
前記対話者の画面に対する位置に関する位置情報を取得する情報取得部と、
を備え、
前記画像合成部は、前記対話者の前記位置情報に基づいて、前記合成画像を補正する、
画像通信装置。
【請求項３】
前記画像合成部は、前記画面を挟んだ空間上に前記対話者の位置と前記通話者の位置とを反映させた場合に、前記対話者と前記通話者とを結んだ線上に最も近い前記撮像用カメラの画像を前記通話者の画像として選択するように前記合成画像を補正する、
請求項２記載の画像通信装置。
【請求項４】
前記位置検出部は、画面に沿って配置された距離画像を取得するカメラを含む、
請求項１〜３のいずれか１項に記載の画像通信装置。
【請求項５】
前記方向検出部は、複数配列された指向性マイクを含む、
請求項１〜４のいずれか１項に記載の画像通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、双方向で画像を用いて通信する画像通信装置に関する。
【背景技術】
【０００２】
近年、会議や個人的な通話を行う際に、双方向で画像を用いて通信するテレビ電話システムを使用することが一般的になってきている。複数のユーザ同士でテレビ電話システムを使用する際には、広い視野で画像を取得することが求められるため、表示画面の周辺に複数のカメラを配置する構成が用いられている。その際、複数のカメラで取得された画像が相手側のテレビ電話システムに送信される。
【０００３】
一方、複数の画像を合成して１つの合成画像を得る技術としては、下記特許文献１，２に記載のものが知られている。このような技術によれば、複数のカメラで取得した複数の画像を高精度につなぎ合わせて合成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１２４８３７号公報
【特許文献２】特開２０１４−８６０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来の画像合成技術をテレビ電話システムに適用しただけでは、複数のユーザが自由に動き回った場合に、通話者同士で違和感のない合成画像を得ることは困難である。例えば、合成画像における通話者の画像が様々な方向から撮像されることになり、コミュニケーションが取りづらい状況になりやすい。
【０００６】
そこで、本発明は、上記課題に鑑みて為されたものであり、ユーザ間でのコミュニケーション時に違和感のない合成画像を得ることが可能な画像通信装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の一形態にかかる画像通信装置は、画面に沿って配置された複数の撮像用カメラと、画面に対する通話者の位置に関する位置情報を検出する位置検出部と、画面に対する通話者の向きに関する方向情報を検出する方向検出部と、位置情報と方向情報とに基づいて、通話者の画像を複数の撮像用カメラによって取得された複数の画像の中から選択し、選択した通話者の画像と複数の画像とを合成して合成画像を生成する画像合成部と、合成画像と複数の撮像用カメラによって取得された複数の画像とのうちのいずれかを送信する画像送信部と、通話者の通信相手である対話者側の画像を基に生成された合成画像を画面に表示する画像表示部と、を備える。
【０００８】
上記形態の画像通信装置によれば、画面に対する通話者の位置に関する情報が検出されるとともに、画面に対する通話者の向きに関する情報が取得され、それらの情報を基に画面に沿って配置された複数の撮像用カメラによって取得された画像の中から通話者の画像が選択され、その画像と複数の撮像用カメラによって取得された複数の画像とを用いて合成画像が生成される。複数の撮像カメラによって取得された画像又は合成画像は対話者側に送信され、対話者側の画像を基に生成された合成画像が画面に表示される。このような構成により、通話者の位置及び向きを基に対話者にとってコミュニケーション時に違和感のない通話者の画像を合成画像に含ませて表示させることができる。その結果、対話者と通話者との円滑なコミュニケーションを実現することができる。
【０００９】
ここで、画像合成部は、位置情報によって特定される通話者の位置から方向情報によって特定される方向に伸ばした線上に最も近い撮像用カメラの画像を通話者の画像として選択する、こととしてもよい。こうすれば、通話者の画像を正対した画像として選択することができ、対話者にとってコミュニケーション時に違和感のない通話者の画像を合成画像に含ませて表示させることができる。その結果、対話者と通話者との円滑なコミュニケーションを的確に実現することができる。
【００１０】
また、対話者の画面に対する位置に関する位置情報を取得する情報取得部をさらに備え、画像合成部は、対話者の位置情報に基づいて、合成画像を補正することとしてもよい。この場合、対話者と通話者との位置関係を基に対話者にとってコミュニケーション時に違和感のない通話者の画像を合成画像に含ませて表示させることができる。その結果、対話者と通話者との円滑なコミュニケーションを的確に実現することができる。
【００１１】
また、画像合成部は、画面を挟んだ仮想空間内に対話者の位置と通話者の位置とを反映させた場合に、対話者と通話者とを結んだ線上に最も近い撮像用カメラの画像を通話者の画像として選択するように合成画像を補正することとしてもよい。この場合には、対話者に対して通話者を正面から見た画像を合成画像として表示させることができる。その結果、対話者に対して、仮想空間内での実際の対話時に近い通話者の画像を表示させることができる。
【００１２】
また、位置検出部は、画面に沿って配置された距離画像を取得するカメラを含んでいてもよいし、方向検出部は、複数配列された指向性マイクを含んでいてもよい。この場合には、通話者の画面に対する位置或いは向きに関する情報を効率的に取得することができる。
【発明の効果】
【００１３】
本発明によれば、ユーザ間でのコミュニケーション時に違和感のない合成画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の好適な実施形態に係る画像通信装置の構成を示す斜視図である。
【図２】図１の撮像用カメラ９の視野をスクリーン３に沿って上方から見た平面図である。
【図３】図１の撮像用カメラ９及び測距用カメラ１１の視野をスクリーン３に沿って側面から見た側面図である。
【図４】図１の画像処理装置７の機能構成を示すブロック図である。
【図５】図４の画像選択部２５による画像選択の手法を示す概念図である。
【図６】図４の画像合成部２７による合成画像の生成のイメージを示す図である。
【図７】図１の画像通信装置１による画像通信の動作手順を示すフローチャートである。
【図８】本発明の変形例にかかる撮像用カメラ９及び測距用カメラ１１の構成を示す側面図である。
【図９】本発明の変形例にかかるカメラ３５の構成を示す側面図である。
【図１０】本発明の変形例における測距用カメラ１１及び撮像用カメラ９の配置を示す斜視図である。
【図１１】本発明の変形例における測距用カメラ１１及び撮像用カメラ９の配置を示す斜視図である。
【図１２】本発明の変形例における測距用カメラ１１の配置を示す斜視図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ本発明に係る画像通信装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００１６】
本発明の好適な一実施形態にかかる画像通信装置１は、遠隔地間で画像を送受信することによりコミュニケーションを行うための装置であり、この画像通信装置１を一組備えることにより、遠隔地の複数のユーザ間で画像を参照しながらコミュニケーションするテレビ電話システムを構成する。
【００１７】
図１には、本実施形態にかかる画像通信装置１の概略構成を示している。同図に示すように、画像通信装置１は、複数のユーザＵに対向するように配置されたスクリーン（画面）３と、スクリーン３の前面に画像光を投影することにより画像を表示させる画像表示装置（プロジェクタ、画像表示部）５と、画像処理を実行する画像処理装置７とを備える。この画像通信装置１は、同一の構成の装置（以下、「対向装置」と呼ぶ。）と通信ネットワークを介して接続され、画像通信装置１によって生成された合成画像を対向装置に向けて送信するとともに、対向装置によって生成された合成画像を受信し、その合成画像をスクリーン３に表示する。
【００１８】
スクリーン３には、スクリーン３の前面（画像表示面）側の画像を撮像する複数の撮像用カメラ９と、スクリーン３の前面側の距離画像を取得するための複数の測距用カメラ１１と、近赤外のパルス光を発するパルス光源１３と、複数のユーザＵの中から発声中のユーザである通話者の方向を検出する複数の指向性マイク１５とが取り付けられている。これらの測距用カメラ１１及びパルス光源１３は、スクリーン３に対する通話者の位置に関する位置情報を検出する位置検出部として機能し、指向性マイク１５は、スクリーン３に対する通話者の向きに関する方向情報を検出する方向検出部として機能する。
【００１９】
撮像用カメラ９は、スクリーン３の前面に沿って二次元状に等間隔で配列された画像センサであり、スクリーン３に形成された微小穴を通じてスクリーン３の前面側の画像が撮像可能なようにスクリーン３の後面側に固定されている。例えば、撮像用カメラ９は、スクリーン３の長辺方向に沿って５個で等間隔に配列され、その５個の配列が短辺方向に２列並べられた構成を有する。
【００２０】
測距用カメラ１１は、スクリーン３の前面の中央の上端に２つ並んで固定されており、この測距用カメラ１１の間にパルス光源１３が配置されている。測距用カメラ１１は、パルス光源１３によって発せられた光パルスがターゲットに当たって戻る時間を各画素毎にリアルタイムで測定することにより各画素毎の距離情報を含む距離画像を取得するＴＯＦ（Time of Flight）方式の公知の画像センサである。測距用カメラ１１およびパルス光源１３の動作が画像処理装置７によって制御されることにより、リアルタイムで距離画像が取得される。
【００２１】
指向性マイク１５は、スクリーン３の前面の下端に複数並んで固定されており、スクリーン３の前面側のユーザＵを含む音源から発せられる音声信号を検出する。これらの指向性マイク１５で検出された音声信号が画像処理装置７で処理されることにより、スクリーン３の面に対するユーザＵを含む音源からの音の到来方向がリアルタイムで検出される。この検出方法としては、公知のマイクロフォンアレイを用いた音の到来方向の算出方法（例えば、相関関数法、遅延和アレイ法）が用いられる。
【００２２】
図２は、撮像用カメラ９の視野をスクリーン３に沿って上方から見た平面図、図３は、撮像用カメラ９及び測距用カメラ１１の視野をスクリーン３に沿って側面から見た側面図である。これらの図に示すように、撮像用カメラ９は、スクリーン３からの距離が所定範囲の空間Ｓ０の像を撮像可能なように焦点距離および画角が設定されている。さらに、撮像用カメラ９は、空間Ｓ０内においては、上下および左右に隣り合う撮像用カメラ９の視野Ｖ１が重なり合うようにそれらの光軸および画角が設定されている。これにより、撮像用カメラ９によって取得された画像を合成して合成画像を生成する際に、画像に捉えられた物体の不連続性を低減できる。また、測距用カメラ１１は、空間Ｓ０内での死角の発生を低減するために、撮像用カメラ９に比較して広い視野Ｖ２を有するようにその画角が設定されるとともに、その光軸は下方に向けられている。
【００２３】
次に、図４を参照しながら、画像処理装置７の構成について説明する。図４は、画像処理装置７の機能構成を示すブロック図である。画像処理装置７は、物理的には、パーソナルコンピュータ、画像処理デバイス等のデータ処理装置によって構成され、ＣＰＵ等の演算処理回路、ＲＡＭ、ＲＯＭ等のメモリ、ハードディスク装置等のデータ記憶装置、及び通信デバイスを内蔵している。そして、画像処理装置７は、機能的構成要素として、図４に示すように、位置情報取得部２１、位置検出部２３、方向検出部２４、画像選択部２５、画像合成部２７、画像送信部２９、及び画像受信部（画像表示部）３１を含む。
【００２４】
画像処理装置７の位置検出部２３は、複数の測距用カメラ１１によって検出された距離画像と、複数の撮像用カメラ９によって取得された複数の画像とを用いて、スクリーン３に対する通話者である複数のユーザＵの位置に関する位置情報を検出する。具体的には、位置検出部２３は、複数の撮像用カメラ９によって取得されたそれぞれの画像に公知の顔認識処理を施すことにより、それぞれの画像上における複数のユーザＵの顔位置を検出する。画像からユーザＵの顔を認識する際には機械学習を用いた公知の顔認識の手法が用いられる。その後、位置検出部２３は、画像上に認識したユーザＵの顔位置と、その画像に対応する撮像用カメラ９のレンズの中心位置とを基にして、三次元空間内のその中心位置を始点としたユーザＵの顔位置を通る直線の位置を特定する。さらに、位置検出部２３は、複数の距離画像を合成して空間Ｓ０内に位置する物体の３次元形状を示す合成距離画像（デプスマップ）を生成し、この合成距離画像と、決定したそれぞれのユーザＵの顔位置に対応した直線を特定する情報とを用いることにより、複数のユーザＵの顔のスクリーン３を基準とした３次元座標を位置情報として算出する。すなわち、位置検出部２３は、合成距離画像中で人に形状が近似すると認識される物体のなかで上記直線と交差すると判断される物体を抽出し、その物体の３次元座標を、ユーザＵの顔の３次元座標として算出する。また、位置検出部２３は、検出した複数のユーザＵの顔の３次元座標を方向検出部２４及び画像選択部２５に出力する。ここで、位置検出部２３は、距離画像を合成しないで複数の距離画像を別々に処理することによってユーザＵの顔の３次元座標を検出してもよい。
【００２５】
方向検出部２４は、指向性マイク１５によって得られた複数の音声信号を基にスクリーン３の面に対する音源からの音の到来方向を連続して複数の音源について検出する。そして、方向検出部２４は、検出した音の到来方向を基に、位置検出部２３によって検出された複数のユーザＵの顔の向きを、検出した複数の音源からの音の到来方向に等しいものとして推定し、複数のユーザＵの顔の３次元座標と、それぞれのユーザＵの顔の向きに関する方向情報とを画像選択部２５に出力する。さらに、方向検出部２４は、取得したユーザＵの位置情報（３次元座標）を、対向装置に向けて送信する。
【００２６】
位置情報取得部２１は、対向装置から通話者の通信相手である対話者のスクリーンに対する位置に関する位置情報を受信（取得）する。この位置情報は、対向装置において画像通信装置１と同様にして通話者の顔の位置情報として得られたものである。詳細には、位置情報取得部２１は、対話者の顔の対向装置側のスクリーンを基準とした３次元座標を取得する。
【００２７】
画像選択部２５は、位置検出部２３によって検出された複数のユーザＵごとに、撮像用カメラ９によって取得された複数の画像の中から、合成元の画像を選択する。例えば、顔の向きの検出されていないユーザＵについては、そのユーザＵに関して算出された３次元座標を基に、その３次元座標に最も近い撮像用カメラ９の画像を選択する。一方、顔の向きの検出されたユーザＵについては、次のようにして画像を選択する。すなわち、方向検出部２４から出力されたユーザＵの顔の３次元座標及びそのユーザＵの方向情報を基に、複数の画像の中から合成元の画像を選択する。図５は、画像選択部２５による画像選択の手法を示す概念図である。同図に示すように、画像選択部２５は、仮想空間内にスクリーン３の座標と撮像用カメラ９の座標とを設定し、さらに、スクリーン３を挟んだ仮想空間内に、スクリーン３の座標を基準に、位置検出部２３によって検出された２人のユーザＵ１，Ｕ２の３次元座標に対応する座標Ｐ２を反映させる。ここでいう仮想空間とは、通話者であるユーザＵ１，Ｕ２とスクリーン３と撮像用カメラ９とを含む実空間にスクリーン３を挟んで対話者をその位置情報を基に仮想的に配置させた空間である。そして、画像選択部２５は、仮想空間内でユーザＵ１の座標Ｐ２からそのユーザＵ１の方向情報（例、スクリーン３に対する角度情報α）によって特定される方向に伸ばした線Ｌの位置を認識し、その線Ｌに最も近い位置に対応する撮像用カメラ９を選択する。図５の例によれば、左から３番目の撮像用カメラ９が選択される。ここで、ユーザＵ１に対して選択される撮像用カメラ９としては、そのユーザＵ１の顔の３次元座標が画角内に収まっている撮像用カメラに限られる。つまり、ユーザＵ１に対する選択対象の撮像用カメラ９の数は、ユーザＵ１のスクリーン３からの距離に依存する。
【００２８】
また、画像選択部２５は、上記のようにして得た撮像用カメラ９の選択結果を、位置情報取得部２１によって取得された対話者の位置に関する位置情報を基に補正してもよい。そして、画像選択部２５は、補正した選択結果を基に、複数の画像の中から合成元の画像を選択してもよい。この場合、画像選択部２５は、仮想空間内に取得した対話者の３次元座標に対応する座標Ｐ１をさらに反映させる。そして、画像選択部２５は、仮想空間内で対話者の座標Ｐ１とユーザＵ１の座標Ｐ２とを結んだ線Ｌ１の位置を認識し、その線Ｌ１に最も近い位置に対応する撮像用カメラ９をユーザＵ１に対して選択するように、撮像用カメラ９の選択結果を補正する。図５の例によれば、左から４番目の撮像用カメラ９が選択される。その後、画像選択部２５は、複数のユーザＵ１，Ｕ２ごとに選択した撮像用カメラ９の情報と、全ての撮像用カメラ９によって取得された画像とを画像合成部２７にリアルタイムで出力する。
【００２９】
図４に戻って、画像合成部２７は、複数のユーザＵごとに選択された撮像用カメラ９の情報を用いて、撮像用カメラ９によって取得された画像を合成して合成画像を生成する。このとき、画像合成部２７は、背景に対応する部位については、スクリーン３上に２次元状に配列された撮像用カメラ９の画像をその配列に対応して並べるように組み合わせることによって合成画像を生成する。その際、画像合成部２７は、合成距離画像を参照しながら、隣り合う撮像用カメラ９の２つの画像間の境界で互いに対応点が一致するように、すなわち、視差を補正するように画像の組み合わせの位置を調整する。また、画像合成部２７は、このようにして作成した背景の合成画像に対して、複数のユーザＵの画像を重ね合わせる。詳細には、ユーザＵ毎に、選択された撮像用カメラ９の画像からユーザＵの顔を含む部位の画像を切り出し、合成画像上のユーザＵの顔の３次元座標に対応する位置に切り出した画像を重ね合わせる。画像からユーザＵの画像を切り出す際には、位置検出部２３による合成距離画像を対象にしたユーザＵの顔の３次元座標の探索結果が参照され、この３次元座標を切り出しの対象の画像上の座標に変換することによってユーザＵの顔の画像位置が特定される。
【００３０】
なお、画像の選択の単位は、適宜設定することができ、ユーザＵ全体の単位で画像を選択してもよいし、ユーザＵの部位（顔、首、体等）の単位で画像を選択して切り出してもよい。ただし、ユーザＵの部位単位で画像を切り出して重ね合わせる場合には、合成画像における像の不連続を防止するために、合成距離画像を参照しながら、重ね合わせる複数の画像間の境界で互いに対応点が一致するように、すなわち、視差を補正するように画像の重ね合わせの位置を調整することが好ましい。
【００３１】
図６には、画像合成部２７による合成画像の生成イメージが示されている。図６（ａ）〜（ｃ）には、それぞれ、図５に対応して左から２番目、真ん中、及び右から２番目の撮像用カメラ９によって取得された画像が示され、図６（ｄ）には、それらの画像を用いて画像合成部２７によって生成された合成画像が示されている。このように、ユーザＵ１に関しては、図５のように、仮想空間内でユーザからその顔の向きの方向に伸びる線に最も近い真ん中の撮像用カメラ９の画像、すなわち、図６（ｂ）の画像が選択され、その画像から切り出された画像Ｇ１が合成画像に合成される。一方で、顔の向きの検出されていないユーザＵ２に関しては、ユーザＵ２の位置に最も近い右から２番目の撮像用カメラ９の画像、すなわち、図６（ｃ）の画像が選択され、その画像から切り出された画像Ｇ２が合成画像に合成される。
【００３２】
再び図４に戻って、画像送信部２９は、位置情報取得部２１、位置検出部２３、方向検出部２４、画像選択部２５、及び画像合成部２７の処理が繰り返されることによって得られた時系列の複数の合成画像を、連続した動画像として対話者側の対向装置に送信する。また、画像受信部３１は、対向装置から対話者の画像を基に生成された時系列の合成画像を連続して受信し、その時系列の合成画像を画像表示装置５に送出することによってスクリーン３に動画像として表示させる。
【００３３】
上述した画像通信装置１による画像通信の動作手順を、図７を参照しながら説明する。図７は、画像通信装置１による画像通信の動作手順を示すフローチャートである。
【００３４】
最初に、画像処理装置７において、ユーザＵからの通信開始の指示が受け付けられると、画像通信処理が開始される（ステップＳ０１）。そうすると、画像処理装置７の位置検出部２３により、スクリーン３の前面側における複数の通話者であるユーザＵの顔の位置が検出される（ステップＳ０２）。次に、画像処理装置７の方向検出部２４により、ユーザＵの顔の向きに関する方向情報が推定される（ステップＳ０３）。同時に、画像処理装置７の位置情報取得部２１によって、対向装置から対話者のスクリーンに対する３次元座標の情報が取得される（ステップＳ０４）。
【００３５】
その後、画像処理装置７の画像選択部２５により、複数のユーザＵの顔の位置に関する位置情報と、複数のユーザＵの顔の向きに関する方向情報とを用いて、ユーザＵ毎に、複数の撮像用カメラ９によって取得された画像の中から、合成元の画像が選択される（ステップＳ０５）。そして、画像処理装置７の画像合成部２７により、画像選択部２５による選択結果を基に、複数の撮像用カメラ９によって取得された画像を合成することにより合成画像が生成される（ステップＳ０６）。
【００３６】
さらに、生成された合成画像は、その都度、画像処理装置７の画像送信部２９によって対向装置に向けて送信される（ステップＳ０７）。同時に、画像処理装置７の画像受信部３１により、対向装置から合成画像が受信され、受信された合成画像はスクリーン３に表示される（ステップＳ０８）。上記のステップＳ０２〜ステップＳ０８の処理は、ユーザＵからの通信終了の指示が受け付けられるまで繰り返されることにより（ステップＳ０９）、遠隔地間でのリアルタイムでの画像通信が実行される。
【００３７】
以上説明した画像通信装置１によれば、スクリーン３に対する通話者の位置に関する位置情報が検出されるとともに、スクリーン３に対する通話者の向きに関する方向情報が取得され、それらの情報を基に、スクリーン３に沿って配置された複数の撮像用カメラ９によって取得された画像の中から、通話者の画像が選択され、その画像と複数の撮像用カメラ９によって取得された複数の画像とを用いて合成画像が生成される。さらに、合成画像が対話者側に送信され、対話者側から受信した合成画像がスクリーン３に表示される。このような構成により、通話者の位置及び向きを基に対話者にとってコミュニケーション時に違和感のない通話者の画像を合成画像に含ませて表示させることができる。また、通話者にとってもコミュニケーション時に違和感のない対話者の画像を表示させることができる。その結果、対話者と通話者との円滑なコミュニケーションを実現することができる。
【００３８】
具体的には、スクリーンを基準にした通話者の顔の位置および通話者の顔の方向を基に対話者にとってコミュニケーション時に違和感のない通話者の画像を合成画像に含ませて表示させることができる。その結果、対話者と通話者との円滑なコミュニケーションをより的確に実現することができる。特に、仮想空間内に通話者の位置を反映させて、その仮想空間内で通話者の位置から通話者の向きに伸ばした線上に最も近い撮像用カメラ９の画像を通話者の画像として選択するので、対話者と通話者との対話時に対話者に対して通話者を正面から見た画像を合成画像に反映しやすい。その結果、対話者に対して、仮想空間内での実際の対話時に近い通話者の画像を表示させることができる。
【００３９】
また、スクリーンを挟んだ仮想空間内に対話者の位置をさらに反映させて、その仮想空間内で対話者の位置と通話者の位置とを結んだ線上に最も近い撮像用カメラ９の画像を通話者の画像として選択するように補正する。これにより、対話者に対して通話者を正面から見た画像を合成画像として表示させることができる。その結果、対話者に対して、仮想空間内での実際の対話時に近い通話者の画像を表示させることができる。
【００４０】
また、位置検出部として測距用カメラ１１とを含んでおり、方向検出部として指向性マイク１５とを含んでいるので、通話者のスクリーン３に対する位置或いは方向に関する情報を効率的に取得することができる。
【００４１】
本発明は、上述した実施形態に限定されるものではない。
【００４２】
上記の実施形態においては、位置検出部としての測距用カメラ１１と合成画像の合成元の画像を取得する撮像用カメラ９とを別々に配置していたが、これらはスクリーン３上の同一の場所に配置してもよい。図８は、本発明の変形例にかかる撮像用カメラ９及び測距用カメラ１１の構成を示す側面図である。同図に示す変形例では、スクリーン３の穴部３ａの後面側には、穴部３ａを通過した光を受けるレンズ３２およびダイクロイックミラー３３が配置されている。このダイクロイックミラー３３は距離画像生成用の近赤外光を透過すると同時に、撮像用カメラ９で検出する可視光を反射させる。さらに、このダイクロイックミラー３３に対して穴部３ａを通過した可視光の反射方向に隣接する位置には、撮像レンズ９ｂ及び撮像素子９ａを含む撮像用カメラ９が配置されている。また、ダイクロイックミラー３３に対して穴部３ａを通過した近赤外光の透過方向に隣接する位置には、撮像レンズ１１ｂ及び撮像素子１１ａを含む測距用カメラ１１が配置されている。このような変形例によれば、撮像用カメラ９と測距用カメラ１１との間で視野を確実に一致させることができるので、合成画像の生成時の視差の補正処理が簡素化できる。
【００４３】
また、図９に示すように、撮像用カメラ９と測距用カメラ１１とを一体化されたカメラで代用してもよい。同図に示す変形例では、スクリーン３の穴部３ａの後面側に、穴部３ａを通過した光を受けるレンズ３５ａと撮像素子３５ｂとを含むカメラ３５が配置されている。このカメラは、ＴＯＦ方式による距離画像を生成する機能と、可視光を検出して通常の画像を生成する機能とを有する一体型の画像センサである。
【００４４】
また、上記の実施形態においては、測距用カメラ１１及び撮像用カメラ９の個数および配置は、様々変更されてもよい。図１０〜図１１には、本発明の変形例における測距用カメラ１１及び撮像用カメラ９の配置を示している。なお、これらの図において、指向性マイク１５の図示は省略している。
【００４５】
図１０に示す変形例では、測距用カメラ１１の個数を４個にし、それらをスクリーン３の上端と下端とに分けて配置するとともに、撮像用カメラ９をスクリーン３の短辺方向に１列分（合計５個）追加した構成を採用している。また、図１１に示す変形例では、スクリーン３上で撮像用カメラ９と測距用カメラ１１とが短辺方向及び長辺方向に沿って交互に配置された構成が採用されている。
【００４６】
また、上記実施形態においては、測距用カメラ１１は含んでいなくてもよい。図１２には、本発明の変形例における撮像用カメラ９の配置を示している。なお、図１２において、指向性マイク１５の図示は省略している。
【００４７】
図１２に示す変形例では、スクリーン３には撮像用カメラ９のみが設けられている。そして、これらの撮像用カメラ９によって取得される画像を合成することで合成画像が生成される。また、これらの撮像用カメラ９は、複数のユーザＵの顔の位置を検出する位置検出部としても機能する。すなわち、この変形例においては、画像処理装置７の位置検出部２３は、隣接する２つの撮像用カメラ９の画像をステレオカメラの画像としてマッチング処理することにより距離画像を生成し、複数の撮像用カメラ９のペアによって得られた複数の距離画像を合成することで合成距離画像を生成する。
【００４８】
また、上記実施形態においては、画像処理装置７の画像選択部２５は、ユーザＵの画像を選択する際に、ユーザＵの位置に最も近い撮像用カメラ９の画像を選択していたが、このような処理には限定されない。すなわち、上記実施形態の画像選択部２５は、ユーザＵについては、そのユーザＵに関して算出された３次元座標を基に、その３次元座標に最も近い撮像用カメラ９の画像を選択していた。これに対して、変形例としては、様々な画像の選択方法を採用してもよい。例えば、複数の撮像用カメラ９によって得られた画像、或いは測距用カメラ１１によって得られた距離画像を用いて、ユーザＵの顔の方向を検出し、その顔の方向に近い位置にある撮像用カメラ９の画像を選択してもよい。例えば、顔の方向は、ユーザＵの口や目等の顔の部位の位置を特定してそれらの位置の関係を演算することによって検出される。また、さらなる変形例としては、撮像用カメラ９によって得られた画像、或いは測距用カメラ１１によって得られた距離画像を用いて、ユーザＵの視線方向を検出し、ユーザＵの顔の位置から検出した視線方向に伸ばした視線方向ベクトル上から近い位置にある撮像用カメラ９の画像を選択してもよい。ユーザＵの視線方向の検出の仕組みとしては、既存の技術（例えば、特許第４６０４１９０に記載の構成、特許第４５１７０４９に記載の構成）を用いることができる。このような変形例によれば、対話者にとって全てのユーザＵとのコミュニケーションが容易な画像を表示させることができる。
【００４９】
また、上記実施形態の方向検出部２４は、指向性マイク１５によって検出された音声信号を基にユーザＵの顔の向きを推定していたが、ユーザＵの顔の向きは次の方法によって検出してもよい。例えば、方向検出部２４は、複数の撮像用カメラ９によって得られた画像、或いは測距用カメラ１１によって得られた距離画像を用いて、画像処理によってユーザＵの顔の向きを検出してもよい。このとき、顔の向きは、通話者の口や目等の顔の部位の画像上の位置を特定してそれらの位置の関係を演算することによって検出される。また、方向検出部２４は、撮像用カメラ９によって得られた画像、或いは測距用カメラ１１によって得られた距離画像を用いて、ユーザＵの視線方向を検出し、その視線方向から顔の向きを推定してもよい。
【００５０】
また、上記実施形態では通話者側の画像通信装置１が通話者の画像を含む合成画像を生成し、その合成画像を対向装置に送信していたが、複数の撮像用カメラ９の画像から合成画像を生成する機能は、対向装置側に具備されていてもよい。この場合、画像通信装置１の画像送信部２９は、複数の撮像用カメラ９の画像と位置検出部２３及び方向検出部２４で検出された情報とを対向装置に送信する。
【００５１】
また、通話者側の画像通信装置１と、その通信相手となる対話者側の対向装置とでは、スクリーンのサイズや、スクリーンで表示する画像の解像度は異なっていてもよい。また、通話者側の画像通信装置１と、その通信相手となる対向装置とでは、複数の撮像用カメラ９の配置及び数が異なっていてもよいし、測距用カメラ１１の配置及び数が異なっていてもよい。このような場合は、画像通信装置１の画像合成部２７は、合成画像を生成する際に、画像通信装置１のスクリーン３と対向装置のスクリーンとで区切られた仮想空間内でのユーザＵの位置に対応する対向装置のディスプレイ上の位置にユーザＵの画像が表示されるように、座標変換処理、画素補間処理、画像拡大処理、又は画像縮小処理を実行することが望ましい。
【符号の説明】
【００５２】
１…画像通信装置、３…スクリーン（画面）、５…画像表示装置（画像表示部）、７…画像処理装置、９…撮像用カメラ（位置検出部）、１１…測距用カメラ（位置検出部）、１３…パルス光源、１５…指向性マイク（方向検出部）、２１…位置情報取得部、２３…位置検出部、２４…方向検出部、２５…画像選択部（画像合成部）、２７…画像合成部、２９…画像送信部、３１…画像受信部、３５…カメラ、Ｕ，Ｕ１，Ｕ２…ユーザ（通話者）。
【図１】
0006534120.tif 000002
【図２】
0006534120.tif 000003
【図３】
0006534120.tif 000004
【図４】
0006534120.tif 000005
【図５】
0006534120.tif 000006
【図６】
0006534120.tif 000007
【図７】
0006534120.tif 000008
【図８】
0006534120.tif 000009
【図９】
0006534120.tif 000010
【図１０】
0006534120.tif 000011
【図１１】
0006534120.tif 000012
【図１２】
0006534120.tif 000013