(57)【要約】  要約書ディスプレイ装置、及び前記ディスプレイ装置の両辺の外側に、これらの辺に沿った途中の同じ高さに位置付けられた立体カメラのペアを有する２つのテレコミュニケーション装置の間で遠隔会議が実行される。カメラの中心の間の間隔は、表示される頭部の立体画像における知覚される丸みを改善するために、６０ｍｍの下限及び１１０ｍｍの上限を有する範囲内にある。ビデオ画像であるキャプチャされたステレオ画像において、頭部がセグメント化され、セグメント化された背景が、表示されるステレオ画像内の非線形の深さの知覚を補償するために、より低い度合いの知覚される立体的奥行きを有する置換画像により置換される。画像は、画像が表示されるテレコミュニケーション装置の立体カメラのペアの高さに検出される顔の目線を位置付けるために垂直方向にずらされ、表示される画像の自然さが改善される。
2016529764.tif 000002
【特許請求の範囲】
【請求項１】
立体画像を生成する方法であって、
立体カメラのペアにより、頭部、及び任意により胴体のビデオ画像であるステレオ画像をキャプチャするステップと、
前記ステレオ画像のそれぞれにおいて、前記頭部、及び存在する場合、前記胴体を背景からセグメント化するステップと、
前記ステレオ画像のそれぞれにおいて、前記セグメント化された背景を、元の背景内の知覚される立体的奥行きの度合いよりも低い度合いの、知覚される立体的奥行きを内部に有するそれぞれの置換画像と置換するステップと、
を備える、方法。
【請求項２】
前記置換画像は、前記置換画像が内部に知覚される立体的奥行きを有さないように、共通の置換画像を含む、請求項１に記載の方法。
【請求項３】
前記置換画像は、前記置換画像が、前記セグメント化された頭部、及び存在する場合胴体の後ろに、知覚される立体的奥行きを有するように、水平方向の視差を有する前記共通の置換画像を含む、請求項２に記載の方法。
【請求項４】
前記セグメント化された背景の少なくとも１つからそれぞれの前記置換画像を派生するステップを更に備える、請求項２又は３に記載の方法。
【請求項５】
前記セグメント化された背景からそれぞれの前記置換画像を派生するステップは、キャプチャされた前記画像の１つの前記セグメント化された背景から共通の置換画像を派生するステップと、前記共通の置換画像を有する画像として前記置換画像を派生するステップと、を備える、請求項４に記載の方法。
【請求項６】
前記共通の置換画像を派生するステップは、前記キャプチャされた画像の前記１つの前記セグメント化された背景を縮小するステップを備える、請求項５に記載の方法。
【請求項７】
前記共通の置換画像を有する画像として前記置換画像を派生するステップは、それぞれの前記置換画像として、水平方向の視差を有する前記共通の置換画像の２つのバージョンを生成するステップを備える、請求項５又は６に記載の方法。
【請求項８】
前記方法は、ディスプレイ装置、前記ディスプレイ装置と同じ方向を向く立体カメラのペアと、前記立体カメラのペアと反対方向を向く少なくとも１つの後方カメラとを備える、テレコミュニケーション装置を使用し、前記方法は、前記少なくとも１つの後方カメラによってキャプチャされた少なくとも１つの画像からそれぞれの前記置換画像を派生するステップを更に備える、請求項１に記載の方法。
【請求項９】
それぞれの前記置換画像を派生するステップが、前記少なくとも１つの後方カメラによってキャプチャされる共通の置換画像を有する画像として、前記置換画像を派生するステップを備える、請求項８に記載の方法。
【請求項１０】
それぞれの前記置換画像を派生するステップが、それぞれの前記置換画像として、水平方向の視差を有する、前記少なくとも１つの後方カメラによりキャプチャされた前記共通の画像の２つのバージョンを生成するステップを備える、請求項９に記載の方法。
【請求項１１】
前記立体カメラのペアは、発信元テレコミュニケーション装置上に設けられる、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記頭部、及び存在する場合は胴体をセグメント化し、前記セグメント化された背景を置換するステップは、前記発信元テレコミュニケーション装置において実行され、前記置換され、セグメント化された背景を有する前記ステレオ画像を、前記発信元テレコミュニケーション装置から、宛先テレコミュニケーション装置へと、テレコミュニケーションネットワークを介して送信するステップを更に備える、請求項１１に記載の方法。
【請求項１３】
前記ステレオ画像を前記発信元テレコミュニケーション装置から、宛先テレコミュニケーション装置へと、テレコミュニケーションネットワークを介して送信するステップを更に備え、前記頭部、及び存在する場合前記胴体をセグメント化し、前記セグメント化された背景を置換するステップは、前記宛先テレコミュニケーション装置において実行される、請求項１１に記載の方法。
【請求項１４】
前記ステレオ画像を前記発信元テレコミュニケーション装置から、宛先テレコミュニケーション装置へと、テレコミュニケーションネットワークのサーバを通じて前記テレコミュニケーションネットワークを介して送信するステップを更に備え、前記頭部、及び存在する場合前記胴体をセグメント化し、前記セグメント化された背景を置換するステップは、前記サーバにおいて実行される、請求項１１に記載の方法。
【請求項１５】
前記方法は、前記発信元テレコミュニケーション装置と前記宛先テレコミュニケーション装置との間の遠隔会議の間に実行される、請求項１２から１４のいずれか一項に記載の方法。
【請求項１６】
前記宛先テレコミュニケーション装置は、ステレオ画像を自動立体的に表示することができるディスプレイ装置を有し、前記方法は、前記ディスプレイ装置上に前記置換され、セグメント化された背景を有する前記ステレオ画像を自動立体的に表示するステップを更に備え、請求項１２から１５のいずれか一項に記載の方法。
【請求項１７】
遠隔会議を提供するテレコミュニケーションシステムであって、
立体カメラのペアを有する、発信元テレコミュニケーション装置と、
ステレオ画像を自動立体的に表示することができるディスプレイ装置を有する、宛先テレコミュニケーション装置と、
を備え、
前記テレコミュニケーションシステムは、前記発信元テレコミュニケーション装置の前記立体カメラのペアによりキャプチャされる頭部、及び任意により胴体のビデオ画像である配信ステレオ画像を、前記発信元テレコミュニケーション装置から、前記宛先テレコミュニケーション装置へと、テレコミュニケーションネットワークを介して送信するように構成されており、
前記テレコミュニケーションシステムは、前記頭部、及び存在する場合は前記胴体を背景からセグメント化すること、及び前記セグメント化された背景を、元の背景内の知覚される立体的奥行きの度合いよりも低い度合いの、知覚される立体的奥行きを内部に有するそれぞれの置換画像と置換することによって、前記ステレオ画像をそれぞれ処理するように構成されており、
前記宛先テレコミュニケーション装置は、前記置換され、セグメント化された背景を有する前記ステレオ画像を、前記ディスプレイ装置上に自動立体的に表示するように構成されている、テレコミュニケーションシステム。
【請求項１８】
遠隔会議を提供する発信元テレコミュニケーション装置であって、
立体カメラのペアと、
頭部、及び任意により胴体を背景からセグメント化すること、及び前記セグメント化された背景を、元の背景内の知覚される立体的奥行きの度合いよりも低い度合いの、知覚される立体的奥行きをその内部に有する、それぞれの置換画像と置換することによって、前記立体カメラのペアによりキャプチャされる前記頭部、及び存在する場合は前記胴体のビデオ画像であるステレオ画像をそれぞれ処理するように構成された、画像処理部と、
を備え、
前記発信元テレコミュニケーション装置は、前記置換され、セグメント化された背景を有する前記ステレオ画像を、宛先テレコミュニケーション装置へと、テレコミュニケーションネットワークを介して送信するように構成されている、発信元テレコミュニケーション装置。
【請求項１９】
遠隔会議を提供するための宛先テレコミュニケーション装置であって、前記宛先テレコミュニケーション装置は、発信元テレコミュニケーション装置の立体カメラのペアによりキャプチャされる頭部、及び任意により胴体のビデオ画像であるステレオ画像を、テレコミュニケーションネットワークを介して受信するように構成されており、前記宛先テレコミュニケーション装置は、
ステレオ画像を自動立体的に表示することができるディスプレイ装置と、
前記頭部、及び存在する場合は前記胴体を背景からセグメント化すること、及び前記セグメント化された背景を、元の背景内の知覚される立体的奥行きの度合いよりも低い度合いの、知覚される立体的奥行きを内部に有するそれぞれの置換画像と置換することによって、前記受信されるステレオ画像をそれぞれ処理するように構成された画像処理部と、を備え、
前記宛先テレコミュニケーション装置は、前記置換され、セグメント化された背景を有する前記ステレオ画像を、前記ディスプレイ装置上に自動立体的に表示するように構成されている、宛先テレコミュニケーション装置。
【請求項２０】
立体カメラのペアを含む発信元テレコミュニケーション装置と、ステレオ画像を自動立体的に表示することができるディスプレイ装置を含む宛先テレコミュニケーション装置との間のテレコミュニケーションネットワークに提供するためのサーバであって、前記サーバは、前記発信元テレコミュニケーション装置から前記宛先テレコミュニケーション装置へと前記発信元テレコミュニケーション装置の前記立体カメラのペアによりキャプチャされる頭部、及び任意により胴体のビデオ画像であるステレオ画像を送信する間に、前記ステレオ画像を受信するように構成されており、
前記サーバは、前記頭部、及び存在する場合は前記胴体を背景からセグメント化すること、及び前記セグメント化された背景を、元の背景内の知覚される立体的奥行きの度合いよりも低い度合いの、知覚される立体的奥行きを内部に有するそれぞれの置換画像と置換することによって、前記受信されるステレオ画像をそれぞれ処理するように構成された画像処理部を備え、前記サーバは、前記置換され、セグメント化された背景を有する前記ステレオ画像を、前記宛先テレコミュニケーション装置へと送信するように構成されている、サーバ。
【請求項２１】
ディスプレイ装置、及び前記ディスプレイ装置の両辺の外側に、これらの辺に沿った途中の同じ高さに位置付けられた立体カメラのペアを有する、発信元テレコミュニケーション装置と、ディスプレイ装置及び少なくとも１つのカメラを有する、宛先テレコミュニケーション装置とを使用して実行される遠隔会議方法であって、前記発信元テレコミュニケーション装置、及び前記宛先テレコミュニケーション装置は、テレコミュニケーションネットワークを介して通信可能であり、前記方法は、
前記発信元テレコミュニケーション装置の前記立体カメラのペアの一方又は両方によりキャプチャされる配信画像を、前記発信元テレコミュニケーション装置から前記宛先テレコミュニケーション装置へと送信し、前記宛先テレコミュニケーション装置の前記カメラの前記少なくとも一方によりキャプチャされる戻り画像を、前記宛先テレコミュニケーション装置から前記発信元テレコミュニケーション装置へと送信するステップと、
前記戻り画像中の顔を検出するステップと、
前記戻り画像を垂直にずらし、前記画像の垂直な辺が前記ディスプレイ装置の前記両辺と位置合わせされる、予め定められた向きにおいて、ずらした前記戻り画像を前記発信元テレコミュニケーション装置の前記ディスプレイ装置上に表示するのに応答して、検出される前記顔の目線を、前記発信元テレコミュニケーション装置の前記立体カメラのペアの前記高さに位置付けるステップと、
ずらした前記戻り画像を発信元テレコミュニケーション装置の前記ディスプレイ装置上に、前記予め定められた向きで表示するステップと、
を備える、遠隔会議方法。
【請求項２２】
前記配信画像を送信するステップは、前記発信元テレコミュニケーション装置の前記立体カメラのペアの両方によりキャプチャされるステレオ配信画像を送信するステップを備える、請求項２１に記載の遠隔会議方法。
【請求項２３】
前記宛先テレコミュニケーション装置は、前記宛先テレコミュニケーション装置の前記ディスプレイ装置の両辺の外側に位置付けられた立体カメラのペアを備える、請求項２１又は２２に記載の遠隔会議方法。
【請求項２４】
戻り画像を送信するステップは、前記宛先テレコミュニケーション装置の前記立体カメラのペアの両方によりキャプチャされるステレオ戻り画像を送信するステップを備え、
前記発信元テレコミュニケーション装置の前記ディスプレイ装置は、ステレオ画像を自動立体的に表示することができ、
ずらした前記戻り画像を表示するステップは、ずらした前記戻り画像を前記ディスプレイ装置上に自動立体的に表示するステップを有する、請求項２３に記載の遠隔会議方法。
【請求項２５】
前記配信画像中の顔を検出するステップと、
配信画像をずらし、前記画像の垂直な辺が前記ディスプレイ装置の前記両辺と位置合わせされる、予め定められた向きにおいて、ずらした前記戻り画像を前記宛先テレコミュニケーション装置の前記ディスプレイ装置上に表示するのに応答して、検出される前記顔の目線を、前記宛先テレコミュニケーション装置の前記立体カメラのペアの前記高さに位置付けるステップと、
ずらした前記配信画像を宛先テレコミュニケーション装置のディスプレイ装置上に、前記予め定められた向きで表示するステップと
を更に備える、請求項２３又は２４に記載の遠隔会議方法。
【請求項２６】
前記配信画像を前記宛先テレコミュニケーション装置の前記ディスプレイ装置上に表示するステップを更に備える、請求項２１から２４のいずれか一項に記載の遠隔会議方法。
【請求項２７】
前記ディスプレイ装置は、一対の両辺が他方の対の両辺よりも長い矩形であり、前記発信元テレコミュニケーション装置の前記立体カメラのペアは、前記ディスプレイ装置の長い方の両辺の外側に位置付けられる、請求項２１から２６のいずれか一項に記載の遠隔会議方法。
【請求項２８】
前記発信元テレコミュニケーション装置の前記立体カメラのペアは、前記予め定められた向きに関して、高い方の辺である、前記ディスプレイ装置の辺より下の、前記長い方の両辺に沿って半分より低い、同じ高さに位置付けられる、請求項２７に記載の遠隔会議方法。
【請求項２９】
前記戻り画像を水平方向にずらし、前記発信元テレコミュニケーション装置の前記ディスプレイ装置上に、ずらした前記戻り画像を前記予め定められた向きで表示するのに応答して、検出される前記顔の中心線を中央に位置付けるステップを更に備える、請求項２１から２８のいずれか一項に記載の遠隔会議方法。
【請求項３０】
前記戻り画像中の顔を検出するステップは、目の特徴を含む顔の特徴を検出するステップを備え、検出される前記顔の前記目線は、検出される前記目の特徴に関して画定される、請求項２１から２９のいずれか一項に記載の遠隔会議方法。
【請求項３１】
前記画像はビデオ画像である、請求項２１から３０のいずれか一項に記載の遠隔会議方法。
【請求項３２】
顔を検出し、前記戻り画像をずらすステップは、前記発信元テレコミュニケーション装置において実行される、請求項２１から３１のいずれか一項に記載の遠隔会議方法。
【請求項３３】
前記戻り画像をずらすステップは、前記宛先テレコミュニケーション装置において実行される、請求項２１から３１のいずれか一項に記載の遠隔会議方法。
【請求項３４】
前記戻り画像は、前記発信元テレコミュニケーション装置と、前記宛先テレコミュニケーション装置との間のテレコミュニケーションネットワークのサーバを通じて送信され、顔を検出し、前記戻り画像をずらすステップは前記サーバにおいて実行される、請求項２１から３１のいずれか一項に記載の遠隔会議方法。
【請求項３５】
遠隔会議を提供するテレコミュニケーションシステムであって、
ディスプレイ装置、及び前記ディスプレイ装置の両辺の外側に、これらの辺に沿った途中の同じ高さに位置付けられた立体カメラのペアを有する、発信元テレコミュニケーション装置と、
ディスプレイ装置及び少なくとも１つのカメラを有する、宛先テレコミュニケーション装置と、
を備え、
前記テレコミュニケーションシステムは、前記発信元テレコミュニケーション装置の前記立体カメラのペアの一方又は両方によってキャプチャされる配信画像を、前記発信元テレコミュニケーション装置から前記宛先テレコミュニケーション装置へとテレコミュニケーションネットワークを介して送信し、前記宛先テレコミュニケーション装置の前記カメラの前記少なくとも一方によりキャプチャされる戻り画像を、前記宛先テレコミュニケーション装置から前記発信元テレコミュニケーション装置へと、前記テレコミュニケーションネットワークを介して送信するように構成され、
前記テレコミュニケーションシステムは、前記戻り画像中の顔を検出し、前記戻り画像をずらし、前記画像の垂直な辺が前記ディスプレイ装置の前記両辺と位置合わせされる、予め定められた向きにおいて、ずらした前記戻り画像を前記発信元テレコミュニケーション装置の前記ディスプレイ装置上に表示するのに応答して、検出される前記顔の目線を、前記発信元テレコミュニケーション装置の前記立体カメラのペアの前記高さに位置付けるように構成され、
前記発信元テレコミュニケーション装置は、前記予め定められた向きでそのディスプレイ装置上にずらした前記戻り画像を表示するように構成されている、テレコミュニケーションシステム。
【請求項３６】
遠隔会議を提供する発信元テレコミュニケーション装置であって、
ディスプレイ装置と、
前記ディスプレイ装置の両辺の外側に、これらの辺に沿った途中の同じ高さに位置付けられた立体カメラのペアであって、
前記発信元テレコミュニケーション装置は、前記発信元テレコミュニケーション装置の前記カメラの一方又は両方によってキャプチャされる配信画像を、宛先テレコミュニケーション装置へとテレコミュニケーションネットワークを介して送信し、前記宛先テレコミュニケーション装置の少なくとも１つのカメラよりキャプチャされる戻り画像を前記テレコミュニケーションネットワークを介して受信するように構成されている、立体カメラのペアと、
前記戻り画像中の顔を検出し、前記戻り画像をずらし、前記画像の垂直な辺が前記ディスプレイ装置の前記両辺と位置合わせされる、予め定められた向きにおいて、ずらした前記戻り画像を前記ディスプレイ装置上に表示するのに応答して、検出される前記顔の目線を、前記立体カメラのペアの前記高さに位置付けるように構成された、画像処理部と、を備え、
前記発信元テレコミュニケーション装置は、前記予め定められた向きで前記ディスプレイ装置上にずらした前記戻り画像を表示するように構成されている、発信元テレコミュニケーション装置。
【請求項３７】
遠隔会議を提供する宛先テレコミュニケーション装置であって、
ディスプレイ装置と、
少なくとも１つのカメラであって、
前記宛先テレコミュニケーション装置は、前記少なくとも１つのカメラによってキャプチャされた戻り画像を、ディスプレイ装置、及び前記ディスプレイ装置の両辺の外側に、これらの辺に沿った途中の同じ高さに位置付けられた立体カメラのペアを有する、発信元テレコミュニケーション装置へと、テレコミュニケーションネットワークを介して送信し、発信元テレコミュニケーション装置の少なくとも１つのカメラによってキャプチャされる配信画像を前記テレコミュニケーションネットワークを介して受信するように構成されている、少なくとも１つの立体カメラと、
前記戻り画像をずらし、前記画像の垂直な辺が前記ディスプレイ装置の前記両辺と位置合わせされる、予め定められた向きにおいて、ずらした前記戻り画像を前記発信元テレコミュニケーション装置の前記ディスプレイ装置上に表示するのに応答して、検出される顔の目線を、前記立体カメラのペアの前記高さに位置付けるように構成された処理部と、
を備える、宛先テレコミュニケーション装置。
【請求項３８】
ディスプレイ装置、及び前記ディスプレイ装置の両辺の外側に、これらの辺に沿った途中の同じ高さに位置付けられた立体カメラのペアを含む、発信元テレコミュニケーション装置と、ディスプレイ装置及び少なくとも１つのカメラを含む、宛先テレコミュニケーション装置との間のテレコミュニケーションネットワークに提供するためのサーバであって、前記サーバは、前記宛先テレコミュニケーション装置の前記カメラの前記少なくとも一方によりキャプチャされる戻り画像を前記宛先テレコミュニケーション装置から前記発信元テレコミュニケーション装置へと送信する間に、前記戻り画像を受信するように構成され、
前記サーバは、前記戻り画像中の顔を検出し、前記戻り画像をずらし、前記画像の垂直な辺が前記ディスプレイ装置の前記両辺と位置合わせされる、予め定められた向きにおいて、ずらした前記戻り画像を前記発信元テレコミュニケーション装置の前記ディスプレイ装置上に表示するのに応答して、検出される前記顔の目線を、前記立体カメラのペアの前記高さに位置付けるように構成された処理部を備え、前記サーバはずらした前記戻り画像を前記発信元テレコミュニケーション装置に送信するように構成される、サーバ。
【請求項３９】
ステレオ画像を自動立体的に表示することができるディスプレイ装置と、
前記ディスプレイ装置の両辺の外側で、これらの辺に沿って途中の同じ高さに位置付けられた立体カメラのペアと
を備え、
前記カメラの中心の間の間隔は、下限が６０ｍｍ、上限が１１０ｍｍの範囲内にある、電子装置。
【請求項４０】
前記カメラの前記中心の間の前記間隔の前記範囲は、６５ｍｍの下限を有する、請求項３９に記載の電子装置。
【請求項４１】
前記カメラの前記中心の間の前記間隔の前記範囲は、７０ｍｍの下限を有する、請求項３９に記載の電子装置。
【請求項４２】
前記カメラの前記中心の間の前記間隔の前記範囲は、１００ｍｍの上限を有する、請求項３９から４１のいずれか一項に記載の電子装置。
【請求項４３】
前記カメラの前記中心の間の前記間隔の前記範囲は、９０ｍｍの上限を有する、請求項３９から４１のいずれか一項に記載の電子装置。
【請求項４４】
前記カメラは、最大３０°の横方向キャプチャ半角を有する、請求項３９から４３のいずれか一項に記載の電子装置。
【請求項４５】
前記カメラは、少なくとも１０°の横方向キャプチャ半角を有する、請求項３９から４４のいずれか一項に記載の電子装置。
【請求項４６】
ステレオ画像を自動立体的に表示することができる前記ディスプレイ装置は、前記ディスプレイ装置から、少なくとも２００ｍｍである距離にウィンドー平面を有する、請求項３９から４５のいずれか一項に記載の電子装置。
【請求項４７】
ステレオ画像を自動立体的に表示することができる前記ディスプレイ装置は、前記ディスプレイ装置から、最大４００ｍｍである距離にウィンドー平面を有する、請求項３９から４６のいずれか一項に記載の電子装置。
【請求項４８】
前記電子装置は、テレコミュニケーションネットワークを介して通信可能であるテレコミュニケーション装置である、請求項３９から４７のいずれか一項に記載の電子装置。
【請求項４９】
前記電子装置は、前記立体カメラのペアによりキャプチャされたステレオ配信画像を、他方のテレコミュニケーション装置へとテレコミュニケーションネットワークを介して送信し、前記他方の宛先テレコミュニケーション装置から、前記テレコミュニケーションネットワークを介してステレオ戻り画像を受信し、前記ステレオ戻り画像を前記ディスプレイ装置に自動立体的に表示するように構成されている、請求項３９から４８のいずれか一項に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般的に、空間光変調器の照明に関し、より詳しくは、二次元表示装置、三次元表示装置、及び／又は自動立体表示装置における利用向けの、局所的な光源から大面積用の照明を提供するための指向性バックライトに関する。本開示は一般的に、表示するステレオ画像を立体的に、又は自動立体的にキャプチャする、立体カメラのペアを有する、電子装置に関する。いくつかの態様において、テレコミュニケーションネットワークを介してキャプチャした画像を伝送することができる、テレコミュニケーション装置の電子装置に関する。
【背景技術】
【０００２】
３Ｄディスプレイ（立体又はステレオディスプレイとも称される）は、より一般的になっている。３Ｄディスプレイは、観察者の左目に左側の画像が向けられ、右目に右側の画像が向けられて、画像の奥行きの知覚を生じるように、ステレオ画像（左側画像及び右側画像）を立体的に表示する。３Ｄディスプレイの初期の商業的成長は映画において、その後テレビ及びコンピュータモニターにおいて使用され得るような電子ディスプレイ装置において見られ、典型的には、例えば、偏光又はシャッターを使用して、左側の画像及び右側の画像を分離するために、ユーザが装着する機器の使用を必要とする。追加的な機器のユーザによらずに、左側画像及び右側画像を、観察者の左目及び右目に自動立体的に方向付ける、３Ｄディスプレイ装置もまた開発されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
テレコミュニケーションネットワークを介して通信するテレコミュニケーション装置などの、モバイル電子装置への応用は、このような装置を使用した社会的相互作用の品質を向上させるためが望ましい。そのようなモバイル電子装置のための、自動立体３Ｄディスプレイ装置は好ましいが、このような用途においてはまだ広範に商業的に実現されていない。
【０００４】
既存の商用３Ｄディスプレイで使用するため、ステレオ画像は多くの場合、ある組織によって生成され、ユーザに提供される。典型的な例は映画会社により生成される３Ｄ映画である。将来使用するため、電子装置が、ステレオ画像を装置上でローカルにキャプチャするために、立体カメラのペアを含むことが望ましい。
【０００５】
テレコミュニケーション装置のカメラによりキャプチャしたユーザの顔写真を、テレコミュニケーションネットワークを介して送信することによって、テレコミュニケーション装置において遠隔会議を行うことは既知である。これは、ユーザに対する対面の通信のアクセス可能性を向上させ、実際に、テレコミュニケーション装置が通信可能なところではどこでも実現可能とする。このような遠隔会議は、立体カメラのペアを含むテレコミュニケーション装置を使用し、ステレオ画像をキャプチャし、ステレオ画像を表示することができる別の装置に送信することによって改善することができる。
【課題を解決するための手段】
【０００６】
本開示の第１の態様は、ディスプレイ装置、及び立体カメラのペアを含む、発信元テレコミュニケーション装置を使用して遠隔会議を提供することに関連し、これは立体カメラのペアによりキャプチャされた顔の画像を、宛先装置に送信して表示させる。特に、宛先装置のユーザにより知覚される社会的相互作用の品質を改善することに関連する。
【０００７】
本開示の第１態様により、ディスプレイ装置、及びディスプレイ装置の両辺の外側に、これらの辺に沿った途中の同じ高さに位置付けられた立体カメラのペアを備える、発信元テレコミュニケーション装置と、ディスプレイ装置及び少なくとも１つのカメラを備える、宛先テレコミュニケーション装置であって、発信元テレコミュニケーション装置及び宛先テレコミュニケーション装置は、テレコミュニケーションネットワークを介して通信することができる、宛先テレコミュニケーション装置とを使用して実行される遠隔会議方法が提示され、この方法は、発信元テレコミュニケーション装置の立体カメラのペアの一方又は両方によりキャプチャされた配信画像を、発信元テレコミュニケーション装置から宛先テレコミュニケーション装置へと送信し、宛先テレコミュニケーション装置のカメラの少なくとも一方によってキャプチャされた戻り画像を宛先テレコミュニケーション装置から発信元テレコミュニケーション装置へと送信するステップと、戻り画像中の顔を検出するステップと、戻り画像を垂直方向にずらし、画像の垂直な辺がディスプレイ装置の両辺と位置合わせされる、予め定められた向きにおいて、ずらした戻り画像を発信元テレコミュニケーションのディスプレイ装置上に表示するのに応答して、検出される顔の目線を、発信元テレコミュニケーション装置の立体カメラのペアの高さに位置付けるステップと、ずらした戻り画像を発信元テレコミュニケーション装置のディスプレイ装置上に、この予め定められた向きで表示するステップとを備える。
【０００８】
本発明のこの態様は、宛先テレコミュニケーション装置から発信元テレコミュニケーション装置に戻された戻し画像を処理するステップを含む。戻り画像中の顔を検出することにより、戻り画像は、表示するのに応答して、検出される顔の目線を、発信元テレコミュニケーション装置の立体カメラのペアの高さに位置付けるように、垂直方向にずらされても良い。結果として、宛先観察者の表示される顔の目線は、発信元テレコミュニケーション装置の立体カメラのペアの高さに維持される。社会的相互作用中において、発信元観察者の対象点は、傾向として表示される顔の目線であることが多いため、この処理は、発信元観察者の目線をカメラと同じ垂直高さに位置付ける傾向にある。
【０００９】
これは、配信画像が表示されるときに、発信元観察者の目線が、宛先観察者により、彼らに垂直に向けられているものとして知覚されることを意味する。これは、発信元テレコミュニケーション装置のカメラがディスプレイ装置の上方にある場合と対照的であり、この場合発信元観察者の視線は、宛先観察者により、彼らに垂直方向に向けられているものとして知覚されることを意味する。人間の視覚システムは、社会的相互作用の間の、他の観察者の虹彩及び白目部分の相対位置から得られる手がかりへの高い感度を獲得している。知覚される視線方向の、僅かな誤差が、不自然な相互作用を生じ得る。発信元観察者が視線を合わせるという、知覚される効果が生じることによって、遠隔会議を提供するテレコミュニケーションシステムの有効性が改善される。
【００１０】
更に、本開示の第１態様により、テレコミュニケーションシステム、発信元テレコミュニケーション装置、宛先テレコミュニケーション装置、同様の方法が実現されるテレコミュニケーションネットワークに提供されるサーバが提示され得る。
【００１１】
本開示の第２の態様は、テレコミュニケーション装置など、電子装置のディスプレイ装置の両辺の外側に位置付けられた立体カメラのペアによりキャプチャされた画像によって提供される、人間の社会的相互作用の品質の最適化と関連している。この点において、頭部形状のステレオ画像が立体的に表示されるときに、知覚される頭部の形状の歪みを最小化することが望ましい。
【００１２】
本開示の第２の態様により、ステレオ画像を自動立体的に表示することができるディスプレイ装置と、ディスプレイ装置の両辺の外側で、これらの辺に沿って途中の同じ高さに位置付けられた立体カメラのペアとを備える電子装置が提示され、カメラの中心の間の間隔は、下限が５５ｍｍ、上限が１１０ｍｍの範囲である。
【００１３】
知覚される頭部の形状の歪みは、配信画像のキャプチャの形状、及び表示環境に依存することが理解される。更に、頭部形状の知覚される丸みは、観察対象の領域において、横方向の倍率と長手方向の倍率との比率が、およそ１：１であるときに達成される。遠隔会議の場合において、関心領域は、電子装置に近い傾向があるユーザの頭部であることを考慮し、立体のカメラのペア中心の間の許容可能な間隔の範囲は驚くほど狭い範囲であることが見出された。
【００１４】
本開示の第３態様は、立体カメラのペアのステレオ画像の生成と関連している。この点において、頭部のステレオ画像が立体的に表示されるときに、知覚される画像の歪みを最小化することが望ましい。
【００１５】
本開示の第３態様において、立体カメラのペアにより、頭部、及び任意により胴体のビデオ画像であるステレオ画像をキャプチャするステップと、ステレオ画像それぞれにおいて、頭部、及び存在する場合胴体を背景からセグメント化するステップと、各ステレオ画像において、セグメント化された背景を、元の背景内の知覚される立体的奥行きの度合いよりも低い度合いの知覚される立体的奥行きを内部に有する、それぞれの置換画像と置換するステップとを備える、立体画像を生成する方法が提示される。
【００１６】
ステレオ配信画像の各画像内のセグメント化された背景を、元の背景よりも、低い度合いの知覚される立体的奥行きを内部に有するそれぞれの置換画像と置換することにより、頭部、及び存在する場合胴体を含む前景、及び背景を含む画像の全体的品質が改善され得る。ステレオ画像中の未加工の背景の使用と比較して、より低い範囲の背景視差から生じる視覚的快適性のレベルが改善された背景が達成され得る。これは、背景に関してステレオのキャプチャが最適化された差異の特定の利益であり、この場合、生じる背景の視差は不適切であり得る。
【００１７】
更に、本開示の第３態様により、テレコミュニケーションシステム、発信元テレコミュニケーション装置、宛先テレコミュニケーション装置、又は同様の方法が実現されるテレコミュニケーションネットワークに提供されるサーバが提示され得る。
【００１８】
本発明の種々の態様及びそれらの種々の特徴は共に、任意の組合せで適用することができる。
【００１９】
本開示の前述及び他の利点並びに特徴は、本開示をその全体にわたって読むことで、当業者にとって明白となるであろう。
【図面の簡単な説明】
【００２０】
例示のために、実施形態が添付の図面に示され、図面において、類似する参照符号は、同様の部分を示す。
【図１】本開示による、２Ｄディスプレイ、及び単一カメラを備えるテレコミュニケーションシステムの前面図を例示する概略図である。
【図２】本開示による、自動立体３Ｄディスプレイ及び立体カメラを備えるテレコミュニケーションシステムの前面図を例示する概略図である。
【図３】本開示による、戻り画像が垂直にオフセットしているテレコミュニケーションシステムの前面図を例示する概略図である。
【図４】本開示による、戻り画像がずらされている、自動立体ディスプレイを備えるテレコミュニケーションシステムの前面図を例示する概略図である。
【図５】本開示による、宛先装置キャプチャシステム、及び戻り画像の配信画像位置を修正するための手段を備える、テレコミュニケーションシステムを例示する概略図である。
【図６Ａ】本開示による、観察者追跡自動立体ディスプレイの上面図を例示する概略図である。
【図６Ｂ】本開示による、観察者追跡自動立体ディスプレイの上面図を例示する概略図である。
【図７Ａ】本開示による、戻り画像の特徴データを収集し、戻り画像の視線の垂直方向の修正を例示する、概略図である。
【図７Ｂ】本開示による、戻り画像の特徴データを収集し、戻り画像の視線の垂直方向の修正を例示する、概略図である。
【図７Ｃ】本開示による、戻り画像の特徴データを収集し、戻り画像の視線の垂直方向の修正を例示する、概略図である。
【図８Ａ】本開示による、戻り画像の視線の水平方向の修正を例示する、概略図である。
【図８Ｂ】本開示による、戻り画像の視線の水平方向の修正を例示する、概略図である。
【図９】本開示による、配信画像及び戻り画像の位置の修正を達成するように構成される、発信元装置と宛先装置との間の通信手段を例示する概略図である。
【図１０】本開示による、配信画像及び戻り画像の位置の修正を達成するように構成される、発信元装置と宛先装置との間の通信手段を例示する概略図である。
【図１１】本開示による、配信画像及び戻り画像の位置の修正を達成するように構成される、発信元装置と宛先装置との間の通信手段を例示する概略図である。
【図１２】本開示による、配信画像及び戻り画像の位置の修正を達成するように構成される、発信元装置と宛先装置との間の通信手段を例示する概略図である。
【図１３】本開示による、配信画像及び戻り画像の位置の修正を達成するように構成される、発信元装置と宛先装置との間の通信手段を例示する概略図である。
【図１４】本開示による発信元装置の立体カメラにおける観察者のキャプチャ条件の上面図を例示する概略図である。
【図１５】本開示による宛先装置の立体ディスプレイにおけるキャプチャされた観察者の画像再生条件の上面図を例示する概略図である。
【図１６】本開示による、立体キャプチャ、並びに修正されていないカメラ形状及び画像背景を備えるディスプレイテレコミュニケーションシステムにおける、実際の奥行きに対する知覚される立体的奥行きのグラフである。
【図１７】本開示による、知覚される頭部の丸み、及び修正された画像背景を達成するように構成された、立体キャプチャ及びディスプレイテレコミュニケーションシステムにおける、実際の奥行きに対する知覚される立体的奥行きのグラフである。
【図１８】本開示による、知覚される頭部の丸みを達成するように構成された、自動立体テレコミュニケーションシステムにおける宛先観察者視距離に対するカメラ間隔のグラフである。
【図１９】本開示による、知覚される頭部の丸みを達成するように構成された、自動立体テレコミュニケーションシステムにおける宛先観察者視距離に対するカメラ間隔のグラフである。
【図２０Ａ】本開示による、知覚される頭部の丸みを達成するように構成された、自動立体テレコミュニケーションシステムにおける宛先観察者視距離に対するカメラ間隔のグラフである。
【図２０Ｂ】本開示による、知覚される頭部の丸みを達成するように構成された、自動立体テレコミュニケーションシステムにおける宛先観察者視距離に対するカメラ間隔のグラフである。
【図２１Ａ】本開示による、知覚される頭部の丸みを達成するように構成された、自動立体テレコミュニケーションシステムにおけるカメラ視野角に対するカメラ間隔のグラフである。
【図２１Ｂ】本開示による、知覚される頭部の丸みを達成するように構成された、自動立体テレコミュニケーションシステムにおけるカメラ視野角に対するカメラ間隔のグラフである。
【図２２】本開示による、知覚される頭部の丸みを達成するように構成された、縦長の向きの自動立体テレコミュニケーションシステムにおける、発信元又は宛先テレコミュニケーション装置の前面図を例示する概略図である。
【図２３】本開示による、知覚される頭部の丸みを達成するように構成された、横長の向きの自動立体テレコミュニケーションシステムにおける、発信元又は宛先テレコミュニケーション装置の前面図を例示する概略図である。
【図２４Ａ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する方法における、画像修正を例示する概略図である。
【図２４Ｂ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する方法における、画像修正を例示する概略図である。
【図２４Ｃ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する方法における、画像修正を例示する概略図である。
【図２４Ｄ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する方法における、画像修正を例示する概略図である。
【図２４Ｅ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する方法における、画像修正を例示する概略図である。
【図２４Ｆ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する方法における、画像修正を例示する概略図である。
【図２４Ｇ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する方法における、画像修正を例示する概略図である。
【図２５】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける、発信元画像の背景データを使用して、発信元画像の背景の奥行きを修正するための、図２４Ａ〜図２４Ｇの方法をフローチャートで更に例示する概略図である。
【図２６Ａ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する更なる方法における、画像修正を例示する概略図である。
【図２６Ｂ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する更なる方法における、画像修正を例示する概略図である。
【図２６Ｃ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する更なる方法における、画像修正を例示する概略図である。
【図２６Ｄ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける発信元画像の背景の奥行きを修正する更なる方法における、画像修正を例示する概略図である。
【図２７Ａ】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける、後ろ向きの平面視カメラを使用して、発信元画像の背景の奥行きを修正するための、図２６Ａ〜図２６Ｄの方法をフローチャートで更に例示する概略図である。
【図２７Ｂ】本開示による、後方を向くカメラを有する宛先テレコミュニケーション装置の概略図である。
【図２７Ｃ】本開示による、後方を向くステレオカメラのペアを有する宛先テレコミュニケーション装置の概略図である。
【図２８】本開示による、知覚される頭部の丸みを達成するように更に構成された、自動立体テレコミュニケーションシステムにおける、後ろ向きの立体カメラを使用して、発信元画像の背景の奥行きを修正するための更なる方法をフローチャートで例示する概略図である。
【図２９】本開示による、配信画像及び戻り画像の背景の修正を達成するように構成される、発信元装置と宛先装置との間の通信手段を例示する概略図である。
【図３０】本開示による、配信画像及び戻り画像の背景の修正を達成するように構成される、発信元装置と宛先装置との間の通信手段を例示する概略図である。
【図３１】本開示による、配信画像及び戻り画像の背景の修正を達成するように構成される、発信元装置と宛先装置との間の通信手段を例示する概略図である。
【図３２】本開示による自動立体テレコミュニケーションシステムのための、一種の自動立体ディスプレイ装置の構造を例示する概略図である。
【図３３】本開示による自動立体テレコミュニケーションシステムのための、自動立体ディスプレイの制御システムを例示する概略図である。
【発明を実施するための形態】
【００２１】
以降に記載される様々な実施形態は、テレコミュニケーションネットワーク１９９を介して通信する、２つのテレコミュニケーション装置を含む、テレコミュニケーションシステムに関する。一般的に、通信は、従来的に、双方向において生じ得る。
【００２２】
テレコミュニケーションネットワーク１９９は、有線及び無線ネットワーク、セルラネットワーク、ＴＣＰ（伝送制御プロトコル）／ＩＰ（インターネットプロトコル）ネットワーク、並びに他のコンピュータネットワークが挙げられるがこれらに限定されない、画像及び他のデータを伝送することができる任意の種類のテレコミュニケーションネットワークであり得る。テレコミュニケーションネットワーク１９９は、任意の種類の伝送チャネルを介して通信することができ、発信元テレコミュニケーション装置１１０と、宛先テレコミュニケーション装置１４０との間の経路において、同じ又は異なる種類の複数のネットワークを含み得る。
【００２３】
テレコミュニケーション装置は、テレコミュニケーションネットワーク１９９を介して、典型的にはテレコミュニケーションネットワーク１９９の種類において好適なネットワークインターフェースと通信するのに好適ないずれかの装置であり得る。
【００２４】
テレコミュニケーション装置は、無線のテレコミュニケーションネットワーク１９９と無線通信する、モバイルテレコミュニケーション装置であり得、例えば、基地局を含むセルラネットワーク、又はＷｉＦｉなどの無線コンピュータネットワークが、テレコミュニケーション装置と無線通信する。当然、このような無線ネットワークは、例えば、従来的に、セルラネットワークの基地局の間の、有線伝送経路を含み得る。限定的ではないが、モバイルテレコミュニケーション装置の場合、装置自体は、携帯性を可能にするために、例えば、モバイルスマートフォン、又はタブレットコンピュータに典型的な大きさなど、限定的な大きさである。
【００２５】
以降に記載される実施形態は、キャプチャ及び表示される画像がビデオ画像である、遠隔会議方法に関する。
【００２６】
テレコミュニケーションシステムにおいて実現される画像を通信するための、いくつかの特定の方法が記載されており、「発信元」及び「宛先」というラベルによって遠隔会議装置に言及し、発信元テレコミュニケーション装置から宛先テレコミュニケーション装置へと伝送される画像は「配信」画像と称され、宛先テレコミュニケーション装置から発信元テレコミュニケーション装置へと逆方向で伝送される画像は「戻り」画像と称される。これらのラベルは単に、画像を送信するための方法の明確な説明をもたらすために使用される。同じ方法は、画像を逆方向に送信するために適用されてもよく、その場合「発信元」、「宛先」、「配信」、及び「戻り」のラベルは逆転される。方法が双方向的に適用される場合、「発信元」、及び「宛先」とうラベルは、想定される通信の方向性によって、双方の通信装置に対して適用され得る。
【００２７】
以降に記載される実施形態は、様々な共通要素を含む。このような共通の要素には同じ参照番号が付され、簡潔性のため、その説明は反復されないが、共通の要素が存在するすべての実施形態に適用され、以降に記載されるあらゆる修正の対象となる。
【００２８】
図１は、テレコミュニケーションシステムの、送信元テレコミュニケーション装置１１０、及び単一のカメラ１４４を備える宛先テレコミュニケーション装置１４０の前面図を例示する概略図である。発信元テレコミュニケーション装置１１０は、単一のカメラ１１４、及び発信元観察者１００が観察するディスプレイ装置１１２を含む。同様に、宛先テレコミュニケーション装置１４０は、単一のカメラ１４４、及び宛先観察者１０４が観察するディスプレイ装置１４２を含む。明確性のため、発信元観察者１００、及び宛先観察者１０４は、この場合と、他の図面とにおいて逆の方向で示される。
【００２９】
発信元テレコミュニケーション装置１１０、及び宛先テレコミュニケーション装置１４０は、テレコミュニケーションネットワーク１９９を介して通信することができる。画像は、遠隔会議方法により、以下のように、テレコミュニケーションネットワーク１９９を介して伝送される。発信元テレコミュニケーション装置１１０は、カメラ１１４によりキャプチャされた配信画像を、宛先テレコミュニケーション装置１４０へと伝送し、これはそのディスプレイ装置１４２に配信画像１２０を表示する。同様に、宛先テレコミュニケーション装置１４０は、カメラ１４４によりキャプチャされた戻り画像１０８を、発信元テレコミュニケーション装置１１０へと伝送し、これはそのディスプレイ装置１１２に戻り画像１０８を表示する。
【００３０】
発信元テレコミュニケーション装置１１０において、平面視（単一レンズ）カメラ１１４が、ディスプレイ装置１１２の情報に位置付けられる。ディスプレイ装置１１２に表示された戻り画像１０８の、対象点１１６は、発信元観察者１００の左目１０１、及び右目１０２により観察される。対象点１１６は、宛先観察者１０４の顔を備える、戻り画像１０８上に位置してもよく、例えば、典型的には、宛先観察者１０４の目１０５と１０７との間の位置である。カメラ１１４が、ディスプレイ装置１１２の上方に位置しているため、対象点１１６は、カメラ１１４から垂直距離１１３だけずれている可能性がある。ディスプレイ装置１１８上の対象点１１６から、発信元観察者１００の目１０１、１０２への光線はしたがって、目１０１、１０２からカメラ１１４への光線１１９とは実質的に異なる指向性を有する。
【００３１】
宛先テレコミュニケーション装置１４０は、ディスプレイ装置１４２、及びカメラ１４４を含む。発信元装置１１０のカメラ１１４によりキャプチャされた発信元観察者１００の配信画像１２０は宛先ディスプレイ装置１４２に表示され、対象点１１７は、配信画像１２０の発信元観察者１００の目１２１と１２２との間にあり得る。宛先観察者１０４の左目１０５及び右目１０７はそれぞれ、対象点１１７を観察してもよく、望ましくは、宛先観察者の目を見ているように見える、発信元画像を受信する。しかしながら、発信元テレコミュニケーション装置１１０における光線の方向１１８、１１９の違いにより、配信画像１２０を観察する宛先観察者１０４が観察する発信元観察者１００は、対象点１２２への宛先観察者の視線１２３の方向よりも下を向いているように見える。
【００３２】
人間の視覚システムは、社会的相互作用の間の、他の観察者の虹彩及び白目部分の相対位置から得られる手がかりへの高い感度を獲得している。知覚される視線方向の、僅かな誤差が、不自然な相互作用を生じ得る。視線が下向きに見える、発信元観察者１００の知覚される効果は、宛先観察者１０４を非常に当惑させ、発信元観察者１００及び宛先観察者１０４が互いに意思疎通する能力に影響を与え、よって遠隔会議の提供においてテレコミュニケーションシステムの有効性を低減させる。テレコミュニケーション装置によって接続される観察者の視線の修正を達成することが望ましい。
【００３３】
図２は、テレコミュニケーションシステムの送信元テレコミュニケーション装置１５０、及び宛先テレコミュニケーション装置１６０の前面図を例示する概略図である。発信元ディスプレイ装置１５０は、立体カメラのペア１５４、１５６、及び発信元観察者１００が観察する立体ディスプレイ装置１５２を含む。同様に、宛先テレコミュニケーション装置１６０は、立体カメラのペア１６４、１６６、及び宛先観察者１０４が見る自動立体ディスプレイ装置１６２を含む。自動立体ディスプレイ装置１５２、及び１６２は、発信元観察者１００、及び宛先観察者１０４が、立体効果を有するステレオ画像を知覚するように、ステレオ画像を自動立体的に表示することができる。
【００３４】
発信元テレコミュニケーション装置１５０、及び宛先テレコミュニケーション装置１６０は、テレコミュニケーションネットワーク１９９を介して通信することができる。ここで、及び以降に記載される実施形態において、遠隔会議方法において以下に記載されるように、テレコミュニケーションネットワーク１９９を介して送信される。発信元テレコミュニケーション装置１５０は、その立体カメラのペア１５４、１５６によりキャプチャされたステレオ配信画像１２０を、宛先テレコミュニケーション装置１６０へと伝送し、これはそのディスプレイ装置１６２に配信画像１２０を表示する。同様に、宛先テレコミュニケーション装置１６０は、その立体カメラのペア１６４、１６６によりキャプチャされた戻り画像を、発信元テレコミュニケーション装置１５０へと伝送し、これはそのディスプレイ装置１５２に戻り画像１０８を表示する。
【００３５】
発信元テレコミュニケーション装置１５０において、立体カメラのペア１５４、１５６は、ディスプレイ装置１５２の両辺の外側（図２の垂直な辺）に位置付けられ、これらの辺に沿って途中の同じ高さである。発信元テレコミュニケーション装置１５０のカメラ１５４、１５６はそれぞれ、右目の虹彩及び白目構造１２５、１２６を有する右側画像１２４と、左側虹彩構造１２９及び白目構造１３０を有する左側画像１２８をそれぞれキャプチャし、右側画像１２４、及び左側画像１２８はステレオ画像である。発信元観察者１００は、ディスプレイ装置１５２上に表示される戻り画像１０８上の対象点１１６を観察しているとき、発信元観察者１００が宛先観察者１０４に対して下方向を見ているように見える、図１を参照して先に記載された効果が知覚され続ける。この知覚される効果は、立体カメラのペア１５４、１５６が表示される装置１５２の両辺の外側に位置付けられるために低減し、カメラ１５４、１５６は一般的に、図１における場合よりも対象点１１６に垂直方向により近いが、特に発信元テレコミュニケーション装置１５０が発信元観察者１００に対して移動する際、一般的にカメラ１５４、１５６の高さにはない場合がある。
【００３６】
ステレオ配信画像１２０は、ディスプレイ装置１６２上に自動立体的に表示される、左側画像１２４及び右側画像１２６にそれぞれ対応する、左目配信画像１３７及び右目配信画像１３８を備え得る。宛先観察者１０４は、配信画像１２０の観察者１００の目の間に典型的には位置する、ディスプレイ装置１６２上の対象点１１７を見る。水平方向を想定し、光線１２７に沿って対象点１１７を見る、宛先観察者１０４は、現実世界の社会的相互作用に類似の三次元画像を知覚し、これは、各目の白目及び虹彩の立体画像である（特に顔の残部の構造に対し）。各ステレオペア画像自体は、２Ｄで見たときは修正された視線を示さない一方で、人間の視覚システムは、目のステレオ画像の視線方向の高度な識別を獲得しており、したがって、視線を達成し、非常に自然な相互作用媒体をもたらす。したがって、宛先観察者１０４は、発信元観察者１００の視線がみずからの垂直方向に向けられていることを知覚する（これは、上記の視線の垂直方向の効果を考慮しない）。
【００３７】
図３は、宛先装置が配信画像を２Ｄで表示する場合を例示しており、これは、図２に示される種類の発信元テレコミュニケーション装置１５０、及び図１に示されるタイプの宛先テレコミュニケーション装置１４０の前面図を例示する概略図である。この場合、宛先テレコミュニケーション装置１４０のディスプレイ装置１４２は、ステレオ配信画像１２０を自動立体的に表示することができず、したがって典型的にはステレオ配信画像１２０の１つの画像１３８を表示することによって、配信画像１２０を２Ｄで表示する。
【００３８】
この場合、戻り画像１０８において、宛先観察者１０４の視線上にある対象点１１６は、カメラ線１７０より低い垂直高さに位置付けられ得るため、発信元観察者１００が宛先観察者１０４に対して下方に視線を有するように見えるという、図１及び図２を参照して先に記載された効果が知覚される。戻り画像１２０の発信元観察者１０４はしたがって、カメラ線１７０を見ていないように、見える。宛先装置を観察しているとき、配信画像１４２は、宛先観察者１０４により、その目線の下方に視線を有するものとして知覚され、不自然な社会的相互作用が生じる。
【００３９】
しかしながら、個別に考慮される左側画像１２４、及び右側画像１２８はそれぞれ、ディスプレイ装置１６２で見たときに、異なる方向の視線を有するように見えるという事実から生じる、水平方向を考慮する、更なる効果が存在する。ディスプレイ装置１４２に表示されるステレオ配信画像１２０の画像１３８は、宛先観察者１０４に、視線が側方を向いているように見える。この視線に対する水平方向で知覚される効果は、社会的相互作用中において、他の観察者の虹彩及び白目の相対位置から得られる手がかりに対する、人間の視覚システムの高い感度により生じる、上記の視線に対する垂直方向の知覚される効果により生じるものと同様の問題を生じる。
【００４０】
図４及び５は、図２に関連して記載される種類のテレコミュニケーションシステムを例示しているが、ここでは、発信元観察者１００が、宛先観察者１００に、下方を見ているように見えるという、上記の知覚される効果を低減する、遠隔会議方法が実施されている。図４は、テレコミュニケーションシステムの送信元テレコミュニケーション装置１５０、及び宛先テレコミュニケーション装置１５０の前面図を例示する概略図である。図５は、戻り画像１０８に実行された処理を例示する、実施される方法の概略図である。発信元配信画像１５０が、その立体カメラのペア１５４、１５６によりキャプチャされたステレオ配信画像１２０を、宛先テレコミュニケーション装置１６０に送信している間に、方法が実行される。
【００４１】
最初のステップにおいて、宛先テレコミュニケーション装置１６０の立体カメラのペア１６４、１６６は、ステレオ戻り画像１０８をキャプチャする。
【００４２】
ステップ２００及び２０１は、宛先テレコミュニケーション装置１６０の画像処理部２０７において実行され、ステップ２０４〜２０６は、発信元テレコミュニケーション装置１５０の画像処理部２１０において実行される。画像処理部２０７、及び２１０、並びに下記の他の画像処理部は、任意の好適な処理要素、例えば、好適なコンピュータプログラムを実行するプロセッサ、若しくは専用ハードウェア、又はソフトウェア及びハードウェアの組合せによって実施されてもよい。
【００４３】
ステップ２０２及び２０３は、発信元テレコミュニケーション装置１５０及び宛先テレコミュニケーション通信装置１６０のネットワークインターフェース２０９及びネットワークインターフェース２０８によりそれぞれ実行される。ネットワークインターフェース２０８、及び２０９は、テレコミュニケーションネットワーク１９９とのインターフェースであり、テレコミュニケーションネットワーク１９９にとって適切な通信プロトコルを実施するのに好適ないずれかの要素により提供され得る。
【００４４】
画像処理部２０４内に実装される顔検出器により実行される顔検出ステップ２００において、戻り画像１０８内の顔が検出される。これは、例えば、目の部分を識別する目の特徴、及び鼻の部分を識別する鼻の特徴などの顔の特徴を検出する特徴検出方法などのいずれかの好適な検出方法を使用して実施することができる。顔検出ステップ２００は、戻り画像１０８の特徴のセットの位置を提供し得る。
【００４５】
画像処理部２０４の目線検出器によって実行される目線検出ステップ２０１において、検出される顔の目線１７３の垂直高さが検出される。目線１７３の垂直高さは、顔検出ステップ２００で検出される特徴の位置から検出され得る。例えば、目線１７３は、検出される目の特徴から検出されてもよく、この場合、目線１７３は、これらの目の特徴に対して画定される。目線１７３は、ステレオ戻り画像１０８の一方又は両方において検出され得る。
【００４６】
目線検出ステップ２０１において、任意によりまた、検出される顔の、中心線１７４が検出されてもよく、これは、顔の概念的中心を通って延びる垂直線である。また、中心線１７４の水平位置は、顔検出ステップ２００で検出される特徴の位置から検出され得る。例えば、中心線１７４は、検出される目の特徴及び／又は鼻の特徴から検出されてもよく、この場合、中心線１７４は、これらの目の特徴に対して画定され得る。中心線１７４は、ステレオ戻り画像１０８の一方又は両方において検出され得る。
【００４７】
ネットワークインターフェース２０８により実行される送信ステップ２０２において、ステレオ戻り画像１０８、検出された目線１７３の垂直高さを表わす関連データ、及び検出される場合は中心線１７４の位置が、宛先テレコミュニケーション装置１６０によって発信元テレコミュニケーション装置１５０に送信される。
【００４８】
ネットワークインターフェース２０９によって実行される受信ステップ２０３において、宛先テレコミュニケーション装置１６０からのステレオ戻り画像１０８、及び関連データが、発信元テレコミュニケーション装置１５０によって受信される。
【００４９】
画像処理部２１０によって実行される垂直オフセットステップ２０４において、宛先テレコミュニケーション装置１６０から送信される関連データから派生する、既定の向き（図４では、垂直な縦長の向き）でステレオ戻り画像１０８がディスプレイ装置１５２に表示されるときに、表示装置１５２の側部に沿ったカメラ１５４、１５６の垂直高さ１７０と、目線１７３の垂直高さとの間の垂直オフセット１７１が計算される。
【００５０】
画像処理部２１０によって実行される任意の水平オフセットステップ２０５において、宛先テレコミュニケーション装置１６０から送信される関連データから派生する、既定の向き（図４では、垂直な縦長の向き）でステレオ戻り画像１０８がディスプレイ装置１５２に表示されるときに、ディスプレイ装置１５２の中心と、中心線１７４の水平位置との間の垂直オフセットが計算される。
【００５１】
画像処理部２１０によって実行される画像シフトステップ２０６において、ステレオ戻り画像１０８は、垂直オフセットステップ２０４において計算される垂直オフセット１７１によって垂直に（及び実行される場合は水平オフセットステップ２０５において計算される水平オフセットによって）ずらされる。
【００５２】
最終的なステップにおいて、ずらされた戻り画像１０８が、発信元テレコミュニケーション装置１５０の装置１５２上で、予め定められた向きで表示されている。
【００５３】
ステップ２０２、２０３、及び２０４の組合せにより、ずらされた戻り画像１０８を、発信元テレコミュニケーション装置１５０のディスプレイ装置上に、予め定められた向きで表示するのに応答して（１０８の画像の垂直な辺が、ディスプレイ装置１５２の両辺と実質的に位置合わせされる）、立体カメラ１６４、１６６の高さ１７０において、検出される顔１０８の目線１７３を位置付ける、垂直シフトが実行される。この方法により、視線方向の知覚される誤差が修正され、戻り画像１０８の、適切な知覚される視線方向が達成され得る。これは、宛先観察者１０４を当惑させる効果を避け、発信元観察者１００及び宛先観察者１０４が、互いに意思疎通する能力を改善する。これはまた、発信元装置１５０が発信元観察者１００に対して移動していても、発信元ユーザ１００を一定の垂直位置に保持する。これは、知覚される戻り画像１２０を安定化させる。これら双方の効果は、遠隔会議を提供するにあたり、テレコミュニケーションシステムの有効性を向上させる。
【００５４】
実行された場合、ステップ２０２、２０３、及び２０５の組合せにより、発信元テレコミュニケーション装置１５０のディスプレイ装置１５２上に、予め定められた向きで表示するのに応答して、検出される顔の中心線１７３を中心に位置付ける、水平シフトが実行される。これは、発信元装置１５０が発信元観察者１００に対して移動していても、発信元ユーザ１００を一定の垂直位置に保持する。これは、知覚される戻り画像１２０を安定化し、遠隔会議を提供するにあたり、テレコミュニケーションシステムの有効性を増加させる。更に、これは、スクリーン平面において観察者の目を位置付けるために、顔の視差の修正を達成し、自然な社会的相互作用において、最も重要な顔の部分で、画像性能を最適化することができる。
【００５５】
更に、修正方法は、宛先画像１２０もまた適切に見えるように、反対方向に送信される配信画像１２０に関して修正方法が実行されてもよい。発信元装置及び宛先装置の両方における光線１３１、及び１３３はしたがって、発信元観察者１００及び宛先観察者１０４の両方に関してそれぞれ視線の手がかりが合うように、位置合わせされてもよい。
【００５６】
図３は、宛先装置は２Ｄディスプレイ装置、及び平面視カメラを含み得るが、好ましくは宛先装置は、図４に示されるような、自動立体ディスプレイ装置、及び立体カメラを含む。一般的に、遠隔会議のために、矩形形式のディスプレイ装置１５２の予め定められた向きを、縦長モードの動作へと設定することが望ましい。したがって、ディスプレイ装置１５２は、一対の両辺が他方の対の両辺よりも長くてもよく、発信元遠隔会議装置１５０の、上記の立体カメラの対１５４、１５６は、ディスプレイ装置１５２の長い方の両辺の外側に位置付けられる。
【００５７】
好ましい目線１７３は典型的には、有利に戻り画像の胴体部の一部が可視であるように、ディスプレイの中心線１７４の上方に配置されてもよい。発信元テレコミュニケーション装置１５０の立体カメラのペア１５４、１５６は、上記予め定められた向きに対して上側の辺である、ディスプレイ装置の辺の下方の、長い方の両辺に沿って半分未満の同じ高さに位置付けられてもよい。
【００５８】
図６Ａ〜図６Ｂは、宛先テレコミュニケーション装置１６０において任意により実施され得る観察者追跡を使用して、自動ディスプレイ装置１６２の上面図を例示する概略図である。図６Ａは、第１観察者位置の場合を例示する。宛先観察者１０４の目１０５、１０７は、ディスプレイ装置１６２から公称観察距離４６４に位置するウィンドー平面１０６に位置する、ビューウィンドー６００、６０２に位置する。観察者の目がビューウィンドー内にあるとき、単一の画像は、自動立体ディスプレイ装置１６２の全体にわたって見られる。観察者の目がビューウィンドーの外に動くと、自動立体画像は見えないか、又は不適切な画像が見える。観察の自由度を向上させるため、宛先テレコミュニケーション装置１６０の少なくとも１つのカメラを使用して、観察者追跡システムが配置され得る。したがって、観察者の動き６０１のため、ビューウィンドー６００、６０２を、観察者の目１０５、１０７とそれぞれ適切に位置合わせするために、ビューウィンドーが横方向位置を調節されてもよい。
【００５９】
顔検出ステップ２００において目線を検出する際に情報を提供するために、観察者追跡システムからのデータを使用することが可能である。
【００６０】
図７Ａは、発信元テレコミュニケーション装置１５０のディスプレイ装置１５２上に表示される戻り像１０８からの、顔検出ステップ２００において検出された特徴を表わすデータ群の例を例示する概略図である。宛先テレコミュニケーション装置１６０における自動立体ディスプレイ装置１５２の動作において、光学ウィンドーの方向を調節するために、顔検出器を提供することが典型的には望ましい場合がある。このような顔検出器は典型的には、Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌｓ（ＡＳＭ）又はＡｃｔｉｖｅ  ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌｓ（ＡＡＭ）などの、既知のコンピュータビジョン技術を使用して特徴の位置を表わす特徴点１８０をもたらし得る（「Ａｃｔｉｖｅ  ｓｈａｐｅ  ｍｏｄｅｌｓ−ｔｈｅｉｒ  ｔｒａｉｎｉｎｇ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎ」，Ｔ．Ｆ．Ｃｏｏｔｅｓ  ｅｔ  ａｌ．，Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、及びＩｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ，６１（１）：３８〜５９，Ｊａｎ．１９９５  ａｎｄ「Ａｃｔｉｖｅ  ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌｓ」，Ｔ．Ｆ．Ｃｏｏｔｅｓ  ｅｔ  ａｌ，ＩＥＥＥ  Ｔｒａｎｓ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，２３（６）：６８１〜６８５，２００１に記載され、本明細書において参照として組み込まれる）特徴点１８０は、目及び鼻の外形など、顔の特定の位置を表してもよく、本実施形態において、目の特徴の位置を確立することが特に望ましい。図６Ａ〜図６Ｂの観察者追跡構成において、観察者の目の間の位置特定を使用して、観察者の位置に従うビューウィンドーの出力方向を決定することができる。
【００６１】
図７Ｂ〜図７Ｃ発信元テレコミュニケーション装置１５０のディスプレイ装置１５２の戻り画像１０８の垂直視線修正を例示する概略図である。図７Ｂに示されるように、左目の内側縁部１８２及び外側縁部１８４、並びに右目１８６、１８８はそれぞれ、自動立体ディスプレイ装置における観察者の追跡される光のために、公称虹彩位置を提供するために有利に使用されてもよく、更に、配信画像１２０内の発信元観察者１００の目線の位置を決定するために使用されてもよい。目線１７３の位置のデータはしたがって、追跡される自動立体ディスプレイ装置に必要とされるよりも、低い追加的プロセッサコストで有利に決定され得、宛先テレコミュニケーション装置から、画像データを送信されてもよい。戻り画像１０８における顔の検出は、目の特徴を含む、顔の特徴を検出するステップを含んでもよく、検出される顔の目線１７３は、検出される目の特徴に対して画定される。
【００６２】
戻り画像１０８の発信元テレコミュニケーション装置１５０において受信する際に、目線１７３の位置を使用して、図７Ｃに示されるように更なる顔検出が必要とされることなく、垂直方向の修正をもたらすことができる。あるいは、特徴点は、以下に更に記載されるように、テレコミュニケーションネットワーク１９９におけるサーバ上、又は発信元テレコミュニケーション装置１５０上に位置してもよい。更に、戻り画像１０８は、例えば、胴体及び／又は顎を示す下方領域を含まなくてもよく、この場合、ブランキングエリア２１４がこの領域に挿入されてもよい。
【００６３】
図８Ａ〜図８Ｂは、発信元テレコミュニケーション装置１５０のディスプレイ装置１５２の戻り画像１０８の水平視線修正を例示する概略図である。特徴点を使用して、水平視線修正をもたらしてもよい。例えば、自動立体遠隔会議の間、観察者の目をスクリーン平面に配置し、自動立体ディスプレイ装置１５２における残留クロストークによる、目の概観の悪化を最小化することが望ましい場合がある。左側及び右側画像における目の位置を位置特定するように構成されてもよく、視差なしで目を設定するために画像の１つに、横方向位置修正が適用される。したがって、右目画像において、特徴点１８８の線１９０は、右目画像の特徴点１８８の線１９２の左へと、距離１９４だけオフセットされてもよい。上記のように、方法はしたがって、戻り画像１０８を水平方向にずらし、発信元テレコミュニケーション装置のディスプレイ装置上に、ずらされた戻り画像を予め定められた向きで表示するのに応答して、検出される顔の中心線を中央に位置付けるステップを含み得る。
【００６４】
有利に、クロストークの発生を低減することによってアイコンタクトの質が向上し、奥行きが目の位置の周囲で調節され得、これは眉間に実質的に合わせられ得る。
【００６５】
上記の実施例において、画像処理のステップ２００、２０１は、宛先テレコミュニケーション装置１６０において実行され、画像処理のステップ２０４〜２０６は、発信元テレコミュニケーション装置１５０において実行される。しかしながら、これは必須ではなく、一般的に画像処理は、戻り画像が通るテレコミュニケーションシステムのいずれかの装置、又は装置のいずれかの組合せにおいて実行され得る。いくつかの非限定的な実施例が、図９〜図１１に関連して提示され、これらは、配信画像及び戻り画像の位置の修正を達成するように構成された、発信元テレコミュニケーション装置１５０と宛先テレコミュニケーション装置１６０との間の通信を例示する概略図である。特に図９〜図１１は、戻り画像１０８、及び配信画像１２０への方法が双方向的に適用される実施例を示し、戻り画像１０８及び配信画像１２０が処理される位置は対称的である。
【００６６】
図９において、発信元テレコミュニケーション装置１５０の立体カメラのペア６１０、顔検出器６１２、目線修正器６１４、及び自動立体ディスプレイ装置６１６は、宛先テレコミュニケーション装置１６０の立体カメラのペア６２０、顔検出器６２２、目線修正器６２４、及び自動立体ディスプレイ装置６２６と協調するように構成されている。この実施例において、戻り画像１０８の処理は、図５に示され、先に記載される、同じ装置において実行される。
【００６７】
上記のように、顔検出器６１２及び６２２は、自動立体ディスプレイ装置６１６、及び６２６の追跡システムの一部として構成され得、発信元装置１５０と宛先装置１６０との間で、検出された顔データ６１９及び６２９を配信する。したがって、戻り画像１０８に関し、顔を検出するステップが、宛先テレコミュニケーション装置１６０において実行され、戻り画像をずらすステップは、発信元テレコミュニケーション装置１５０において実行され、配信画像１２０に関してはその逆である。したがって、単一の追跡機が、観察者追跡のための検出、及び遠隔会議用途を有利に達成することができ、宛先装置１６０におけるコスト及び電力消費を低減し、かつ発信元装置１５０の性能に大きく影響しない。
【００６８】
図１０において、図９と同じ構成要素が存在するが、顔の位置の検出及び修正が、戻り画像６２８及び配信画像６１８の送信の後に実行されるように、未処理の戻り画像６２８を宛先装置１６０から発信元装置１５０に、配信画像６１８を発信元装置１５０から宛先装置１６０に、送信することによって達成され得る。顔を検出し、戻り画像６２８をずらすステップが、発信元テレコミュニケーション装置１５０において実行され、顔を検出し配信画像６２８をずらすステップが、宛先テレコミュニケーション装置１６０において実行される。有利に、プロセッサ能力が異なるテレコミュニケーション装置では、宛先テレコミュニケーション装置１６０は、発信元テレコミュニケーション装置１５０よりも正確かつ堅牢な顔検出器を実行することができ、システムの性能を向上させ、相互作用の自然さを向上させることができる。
【００６９】
図１１において、図９と同じ構成要素が存在するが、戻り画像の顔検出及び画像修正は、宛先テレコミュニケーション装置１６０において行われ、配信画像の顔検出及び画像修正は、発信元テレコミュニケーション装置１５０において行われ、これにより修正された画像６３９、６４９は、ずらした後に送信される。テレコミュニケーション装置１５０及び宛先テレコミュニケーション装置１６０におけるカメラの位置の情報は、データ６３８、６４８によって送信され得る。有利に、このようなプロセスは、目線検出の信頼性が低く、発信元又は宛先装置の一方に目線修正が組み込まれていない、装置に画像を送信することができる。
【００７０】
このようなプロセスは更に、発信元及び宛先装置の異なる処理能力を反映するために、図９〜図１１の方法の組合せを使用して、性能を最適化する複合システムにおいて使用するために望ましいことがある。
【００７１】
あるいは、処理の一部又は全部が、画像が送信されるテレコミュニケーションネットワークのサーバにおいて実行されてもよい。いくつかの非限定的な実施例が、図１２〜図１３に示され、これらは、配信画像及び戻り画像の位置の修正を達成するように構成された、テレコミュニケーションネットワーク１９９の通信サーバ６０８を通じた発信元テレコミュニケーション装置１５０と宛先テレコミュニケーション装置１６０との間の通信を例示する更なる概略図である。通信サーバ６０８は、発信元テレコミュニケーション装置１５０及び宛先テレコミュニケーション装置１６０の一方又は両方から遠隔地に位置してもよい。これらの実施形態において、通信サーバ６０８は、通信サーバ６０８に実装される処理部６５０、６５２における配信及び戻り画像のための顔検出動作を実行するように構成され、データ６５４、６５６は、顔検出モジュールに送信され、発信元及び宛先装置におけるカメラ線１７０位置をそれぞれ決定する。
【００７２】
画像をずらすステップは、図１２に示されるように、発信元テレコミュニケーション装置１５０及び宛先テレコミュニケーション装置１６０の目線修正器６２４、６１４において、図１３に示されるように、通信サーバ６０８の処理部６５０、６５２において実行され得る。後者の場合において、データ６５８、６６０は、ステレオカメラ線１７０に対するディスプレイ位置を決定するために、処理部６５０、６５２にそれぞれ提供され得る。有利に、テレコミュニケーション装置のコスト及び複雑性が低減され得る。
【００７３】
画像が自動立体的に表示されるテレコミュニケーションシステムにおける人間の社会的相互作用の品質を最適化するため、配信画像のキャプチャの形状、及び再生環境による頭部形状の歪みを最小化することが可能である。特に、再現の丸みを達成することが望ましい（横方向及び長手方向の倍率は、観察対象の領域においておよそ１：１である）。これは以下のように達成され得る。
【００７４】
図１４は、発信元テレコミュニケーション装置１１５０の、立体カメラのペア１５４、１５６により、観察者４０６キャプチャ条件の上面図を例示する概略図である。発信元テレコミュニケーション装置１５０は、長さＡで離間する、立体カメラのペア１５４、１５６、及び自動立体ディスプレイ装置１５２を含む。カメラ１５４、１５６は、背景４１４の前に位置する発信元観察者４０６の立体配信画像（これは左側画像及び右側画像を備え得る）をキャプチャするように構成されている。カメラ１５４、１５６は、θの大きさのキャプチャの、実質的に同じ横方向円錐半角４５４を有する。半角４５４のキャプチャは、カメラ１５４、１５６の視野の横方向角度の半分である。発信元観察者４０６は、例えば、図６Ａに記載されるウィンドー平面であり得る自動立体装置１５２から長さｓの公称距離４５６に配置され得る。
【００７５】
自動立体装置の光学システム、及び人間の観察者の関連する生理学的特徴の典型的なパラメータは以下の通りである。典型的には、自動立体ディスプレイ装置の光学システムは、観察するものの多くにとって最も快適な観察距離である、距離４５６にウィンドー平面１０６があるように、人間の観察者の典型的な生理学的特徴を考慮して、設計される。
【００７６】
自動立体ディスプレイのウィンドー平面は、ディスプレイの幅の実質的にすべての点にわたって、自動立体ディスプレイの各光源が画像化される、距離である。したがって、光学ウィンドーと称される光源の画像を見る観察者は、ディスプレイの幅全体にわたって同じ画像を見る。光源は、レンズ型、又はパララックスバリアディスプレイなどの、空間多重化ディスプレイにおける空間光変調器のピクセルのアレイから形成されてもよく、又は時間的な多重化ディスプレイにおける個別の発光要素であってもよい。自動立体システムの光学システム（例えば、レンズ型スクリーン、パララックスバリア、又は光学バルブ）は、光源がディスプレイの中心から一方向で画像化され、光源が、ディスプレイの中心から離れた点から、様々な制御された方向で画像化されるように、構成される。ディスプレイの各点からの画像は、ディスプレイの幅にわたる点からの方向の交点において光学ウィンドーが形成されるように、重複する。ディスプレイと光学ウィンドーとの間の距離は、ディスプレイの公称観察距離である。
【００７７】
例えば、ディスプレイの対角線の大きさが８〜２５ｃｍ（３〜１０"）のモバイル装置のウィンドー平面は、殆どの大人の観察者においては３００ｍｍで配置されるが、こどもでは２００〜２５０ｍｍであり得る。ディスプレイの対角線が３８〜６１ｃｍ（１５〜２４"）であるラップトップ又はモニターディスプレイ装置などのより大きなディスプレイ装置においては、最適な観察距離は、４００〜７００ｍｍに増加する。ウィンドー距離はしたがって、各ディスプレイシステムの最適なキャプチャ距離、及び再生距離とすることができる。
【００７８】
再生される画像の丸みを提供するための対象領域がここで考慮される。これには、鼻の前部と目と、鼻の前部と耳と、又は眉間と後頭部との間の領域が挙げられるがこれらに限定されない。人間集団において、距離４６１は、眉間の平面４５１と、後頭部の平面４５３との距離として、定義でき、男性の中央値で２０ｃｍ、女性の中央値で１９ｃｍである。小さいこどもを除き、この距離の範囲はおよそ１７ｃｍ〜２２ｃｍと考えることができる。眉間の平面４５１から頭部の可視の最後部の平面４５３までの距離４６３はしたがって、およそ１０ｃｍと考えることができ、人間集団においておよそ±数ｃｍの差異があると考えることができる。
【００７９】
人間集団の寸法Ｅである典型的な目の間隔４６０は、６２ｍｍであり、大きな成人では典型的には最大６８ｍｍ、及び小さなこどもにおいて典型的には最小５５ｍｍであり得る。
【００８０】
携帯電話、及びタブレット用途における典型的な前向きカメラでは、視野角は、±２０°に設定され得る。これは、３００ｍｍの公称視距離において、±１１０ｍｍの寸法ｈの、視野幅を達成し得る。ディスプレイの寸法は様々であるため、カメラ１５４、１５６の視野幅を固定することが望ましい場合があり、又は横方向の視野幅を固定することが望ましい場合がある。
【００８１】
図１５は、宛先装置の自動立体ディスプレイ装置における、発信元観察者４０６の画像４０８、及び背景４１４の画像４１６の画像再生条件の上面図を例示する概略図である。したがって、寸法Ｅの間隔４６１を有する左目４６０及び右目４６２を有する宛先観察者は、長さｓである距離４５６と同じ公称距離４６４で配置され得る。宛先観察者は、幅４６６を有する宛先立体ディスプレイ装置１６２を観察し、発信元観察者４０６の自動立体画像４０８、及び背景４１４の画像４１６を知覚してもよい。
【００８２】
テレコミュニケーション装置、特にモバイルテレコミュニケーション装置として動作するとき、発信元テレコミュニケーション装置１５０及び宛先テレコミュニケーション装置１６０は典型的には、ディスプレイ幅Ｗよりも僅かに大きい、実質的に同じカメラ間隔４５０の寸法Ａを有するように構成されてもよい。例示的な実施例において、カメラ間隔は、カメラ間隔が、ディスプレイ幅の１０５％であるように、５％であり得る割増係数（oversize factor）δとして考えることができる。割増パラメータは、ディスプレイシステムの空間光変調器の縁部を備える光学システムのベゼルの有限な幅、及び対応する自動立体光学構成要素の幅から生じる。したがって、寸法Ａ及び幅Ｗは同様であり、寸法Ａは幅Ｗより僅かに大きい。例示的な実施形態において、縦長方向に配置される対角線１３ｃｍ（５"）、アスペクト比４：３のディスプレイは、８ｃｍ（３"）のディスプレイ開口幅Ｗを有し得る。ベゼル幅は、各辺において２ｍｍであり得、各カメラは２ｍｍの本体幅を有してもよく、カメラ開孔部がカメラ本体の中央に位置合わせされている。カメラ間隔はしたがって、８２ｍｍであり得、割増パラメータδは、０．０７であり得る。寸法Ａ又は幅Ｗのいずれかが、以下の説明において考慮され得る。
【００８３】
ディスプレイ装置１６２における、広範な視覚パラメータを想定し、許容可能な頭部の再現の丸みを達成する有用な横方向のカメラ間隔の範囲は、幾分制限されるという驚くべき結果が見出された。頭部の再現の形状を歪ませる効果がここで記載される。
【００８４】
図１６は、典型的な立体キャプチャ、並びに修正されていないカメラ形状及び画像背景を備えるディスプレイテレコミュニケーションシステムにおける、実際の奥行きに対する知覚される立体的奥行きのグラフである。知覚される立体的奥行き４００は、観察者４０６及び背景４１４における実際の深さ４０２に対してマッピングされる。発信元テレコミュニケーション装置１５０における配信画像のキャプチャ、及び宛先テレコミュニケーション装置１６０における表示の形状は、伝送関数４０４を決定することがあり、画像４０６及び背景４１４は、ディスプレイにおいて画像４０８及び４１６として実質的な歪みアーティファクトを生じ得る。発信元観察者４０６の眉間の平面４１０は、平面４１２にマッピングされ、観察者の鼻４１１の先端の平面が平面４１３にマッピングされる。したがって、間隔４１７は、間隔４１５よりも実質的に大きいことがある。したがって、知覚される観察者の鼻の長さを不自然な方法で伸ばす、ピノキオ効果が生じてもよい。人間の視覚システムは、他の人の顔のなんらかの異常な外観に対する高い感度を獲得しているため、このようなアーティファクトは明らかに可視であり、よって典型的には使用には許容不可能である。
【００８５】
図１７は、知覚される頭部の丸み、及び修正された画像背景を達成するように構成された立体キャプチャ及びディスプレイテレコミュニケーションシステムにおける、実際の奥行きに対する知覚される立体的奥行きのグラフである。記載されるように、発信元装置における配信画像のキャプチャ、及び宛先装置における再生の形状は、観察者の頭部４０６の領域において実質的に線形である伝送関数４０５を達成し、したがって、頭部幅の長さに対する比率が保持され、丸みを達成することができる。
【００８６】
距離４１５は、再生される観察者の頭部４１８の大きさと比例する、間隔４１９に対してマッピングされ得る。この方法により、宛先装置における観察者の頭部の丸みは、実質的に適切な丸みとすることができ、再生される観察者の頭部寸法とスケーリングされる。
【００８７】
距離４２１よりも大きな距離において、平坦かつ線形の伝送関数４２０は、背景の物体が単一の２Ｄ平面にマッピングされるように、以下に記載されるように構成される。
【００８８】
立体テレコミュニケーション装置における寸法Ａのカメラ間隔４５０の範囲は、驚くべきことに、ここに記載されるように、図１７に示される顔の丸み伝送関数４０５を達成するために、制限されている。
【００８９】
宛先ディスプレイ装置１６２上の頭部の画像の丸みを達成するための、寸法Ａの所望のカメラ間隔は、以下により表わすことができる。
【００９０】
【数１】
2016529764.tif 000003
式中、Ｅは、宛先観察者の目の間隔４６１であり、ｓは宛先観察者の視距離４６４であり、αは図１４に示されるように発信元観察者４６０の頭部の幅４６１であり、θは、発信元テレコミュニケーション装置１５０のカメラ１５４、１５６の横方向キャプチャ半角４５４であり、Ｗは、ディスプレイ装置１６２の幅４６６である。自動立体ディスプレイ装置の場合、幅Ｗ及び間隔Ａは、発信元テレコミュニケーション装置１５０及び宛先テレコミュニケーション装置１６０において実質的に同じであると考えることができる。
【００９１】
モバイルディスプレイ装置の機械的制約により、正確な視線をもたらすように構成された立体カメラは、ディスプレイ装置の幅４６６のすぐ外側に設置されなくてはならない。更に、宛先テレコミュニケーション装置１６０のディスプレイ装置１６２の公称視距離は典型的に、発信元テレコミュニケーション装置１５０のディスプレイ装置１５２と同じ長さｓであるように構成される。
Ａ＝Ｗ＊（１＋δ）
式２
と置いて、式１のＷを求め、ディスプレイ幅Ｗ（及びしたがって、カメラ間隔Ａ）の間の関係は、視距離、カメラキャプチャ半角、及び典型的な人間の生理学的特性の範囲によって派生することがある。
【００９２】
図１８〜図１９は、所与の大きさθのキャプチャ半角４５４（この場合は典型的な値である２０°）における、知覚される頭部の丸みを達成するように構成された、自動立体電子装置における視距離４６４の長さｓに対する、異なる大きさの寸法Ａのカメラ間隔４５０の、概略的なグラフである。宛先観察者の目の間隔４６１の寸法Ｅ、及び発信元観察者４０６の頭部の奥行き４６１の寸法αの、特定の値の関連するパラメータ（上記のように人間集団のこれらのパラメータの典型的な範囲に及ぶ）が選択され、これらの特定の値の対応する曲線がプロットされる。
【００９３】
図１８における寸法Ａのカメラ間隔４５０は、ディスプレイの対角線において最大およそ４３ｃｍ（１７"）の範囲で様々であるが、視距離の範囲は、このようなディスプレイ寸法の範囲の典型的な最大値と最小値との間で調節される。キャプチャ半角４５４の大きさθは、２０°に設定され、カメラの間隔とディスプレイの幅の割増係数δは典型的な値である５％に設定される。曲線４８０、４８２、４８４、４８６、４８８は、５５〜５８ｍｍの範囲の観察者の目の間隔Ｅの異なる設定により構成され、好ましい補正領域深さαは８０〜２２０ｍｍである。
【００９４】
したがって曲線は、知覚される頭部の丸みを達成するカメラ間隔４５０の寸法Ａが、視距離４６４の長さｓによってどのように変わるかを例示している。図１８に見られるように、曲線は、人間集団のパラメータの典型的な範囲にわたり、及びディスプレイ装置１６２の公称視距離４６４の距離ｓの広範な値にわたって、驚くほど厳密にグループ化されている。例えば、６２ｍｍの公称の目の間隔４６１、１９０ｍｍの観察者の頭部奥行き４６１、そして３００ｍｍの視距離４６４において、７９ｍｍのディスプレイ幅Ｗ４６６に対応するおよそ８３ｍｍのカメラ間隔４５０の寸法Ａにおけるまるい顔が達成される。他の曲線は、カメラ間隔４５０の寸法Ａに関する緊密なグループ化を示している。３００ｍｍの視距離４６４において、すべての曲線は、立体ディスプレイ装置のカメラ１５４、１５６の間隔４５０の寸法Ａが、６０ｍｍの下限、及び９５ｍｍの上限を有する範囲ｆにあることを示している。視距離４６４の他の値において、カメラの間隔４５０は僅かにのみ大きい。
【００９５】
したがって、この驚くべき範囲よりも実質的に大きな範囲を有するディスプレイ装置は、未修正の画像において顔の丸みを正確に再現することができない場合がある。しかしながら、このような範囲は、モバイルディスプレイプラットフォームによく適している。
【００９６】
図２０Ａ〜図２０Ｂは、視野幅の所与の寸法ｈにおいて知覚される頭部の丸みを達成するように構成された、自動立体テレコミュニケーションシステムにおける、視距離４６４の長さｓに対する、異なる大きさの、カメラ間隔の寸法Ａのグラフであり、カメラ半角４５４の大きさθは、公称視距離４６４の長さｓに伴って変化する。また、宛先観察者の目の間隔４６１の寸法Ｅ、及び発信元観察者４０６の頭部の奥行き４６１の寸法αの、特定の値の関連するパラメータ（上記のように人間集団のこれらのパラメータの典型的な範囲に及ぶ）が選択され、これらの特定の値の対応する曲線がプロットされる。
【００９７】
したがって曲線はまた、知覚される頭部の丸みを達成するカメラ間隔４５０の寸法Ａがまた、視距離４６４の長さｓによってどのように変わるかを例示している。カメラ間隔４５０の有用な寸法Ａの範囲は、依然として驚くほど小さく、図１８〜図１９の構成と同様である。例えば、３００ｍｍの視距離４６４において、すべての曲線は、立体ディスプレイ装置のカメラ１５４、１５６の間隔４５０の寸法Ａが、６５ｍｍの下限、及び９５ｍｍの上限を有する範囲４９１にあることを示しおり、視距離４６４の他の値において、カメラ間隔４５０は僅かに増加している。
【００９８】
図２１Ａは、発信元観察者４０６の頭部の奥行き４６１の所与の寸法α（この場合典型的な値である１９０ｍｍ）において、知覚される頭部の丸みを達成するように構成された、自動立体テレコミュニケーションシステムのキャプチャ半角４５４の大きさθに対する、カメラ間隔４５０の寸法Ａのグラフである。宛先観察者の目の間隔４６１の寸法Ｅ、及び視距離４６４の長さｓの、特定の値の関連するパラメータ（上記のように人間集団のこれらのパラメータの典型的な範囲に及ぶ）が選択され、これらの特定の値の対応する曲線がプロットされる。
【００９９】
したがって曲線は、知覚される頭部の丸みを達成するカメラ間隔４５０の寸法Ａが、キャプチャ半角４５４の大きさθよって変どのように変わるかを例示している。また、曲線は、人間集団のパラメータの典型的な範囲にわたり、及びキャプチャ半角４５４の寸法θの広範な値にわたって、驚くほど厳密にグループ化されている。曲線は、カメラ間隔４５０の寸法Ａの同様の値を示しているが、ディスプレイ装置１６２の公称視距離４６４の距離ｓにおけるよりも僅かに広いばらつきを呈している。特に、曲線５０２、５０４、５０６、５０８、５１０、５１２は、２０°の大きさθのキャプチャ半角４５４における、下限７０ｍｍ、かつ上限９０ｍｍの範囲５１６、１０°の大きさθのキャプチャ半角４５４における、下限６０ｍｍ、かつ上限８５ｍｍの範囲５１８、５０°の大きさθのキャプチャ半角４５４における、下限７０ｍｍ、かつ上限１１０ｍｍの範囲５２０、及び下限６０ｍｍかつ上限１１０ｍｍの全体範囲５２２にある、立体ディスプレイ装置のカメラ１５４、１５６の間隔４５０の寸法Ａを示している。
【０１００】
図２１Ｂは、図２１Ａと同様のグラフであるが、発信元観察者４０６の頭部の奥行き４６１の寸法αの様々な値における、追加的な曲線をプロットしている。曲線は、図２１Ａと同様の、カメラ間隔４５０の寸法Ａの値を示す。特に、曲線５３０、５３２、５３４、５３６、５３８、５４０は、２０°の大きさθのキャプチャ半角４５４における、下限６０ｍｍ、かつ上限９５ｍｍの範囲５４２、１０°の大きさθのキャプチャ半角４５４における、下限６０ｍｍ、かつ上限８０ｍｍの範囲５４４、５０°の大きさθのキャプチャ半角４５４における、下限７５ｍｍ、かつ上限１１０ｍｍの範囲５４６、及び下限６０ｍｍかつ上限１１０ｍｍの全体範囲５２２にある、立体ディスプレイ装置のカメラ１５４、１５６の間隔４５０の寸法Ａを示している。
【０１０１】
図２１Ａ〜図２１Ｂは、より大きな視野角を想定して、頭部の丸みを維持するために、僅かに大きな範囲の、最適なディスプレイ幅を提示する。
【０１０２】
上記の結果を踏まえ、集団の大部分にとって望ましい丸みを達成するために、カメラ１５４、１５６の中央の間の間隔４５０が、下限６０ｍｍかつ上限１１０ｍｍの範囲内の寸法Ａを有し得る。より好ましくは下限は６５ｍｍ又は７０ｍｍであり得る。より好ましくは上限は１００ｍｍ又は９０ｍｍであり得る。
【０１０３】
間隔４５０のこのような値は、最大５０°、又はより好ましくは最大３０°の、横方向キャプチャ半角の典型的な値において特に好適である。間隔４５０のこのような値は、少なくとも１０°の、横方向キャプチャ半角の典型的な値において特に好適である。間隔４５０のこのような値は、少なくとも２００ｍｍの、ディスプレイ装置１６２からウィンドー平面の距離４６４の典型的な値において特に好ましい。間隔４５０のこのような値は、最大４００ｍｍの、ディスプレイ装置１６２からウィンドー平面の距離４６４の典型的な値において特に好ましい。
【０１０４】
このようなパラメータは、本明細書において開示されるテレコミュニケーション装置のいずれか、又はより一般的にはステレオ画像を自動立体的に表示することができるディスプレイ装置、及び両辺に沿った途中の同じ高さで、ディスプレイ装置の両辺の外側に位置付けられた立体カメラのペアを含む、他のいずれかの電子装置に適用することができる。
【０１０５】
図２２〜図２３は、知覚される頭部の丸みを達成するように構成された自動立体テレコミュニケーションシステムの、宛先テレコミュニケーション装置１６０、発信元テレコミュニケーション装置１５０の、ディスプレイ装置１６２、及び１５２の前面図を例示する概略図である。したがって、例示的な実施形態において、寸法Ａ＝８３ｍｍである所望の公称カメラ間隔４５０において、図２２に示される宛先テレコミュニケーション装置１６０装置は、７９ｍｍの横方向ディスプレイ幅で縦長モードで配置されてもよく、すなわち、立体カメラのペア１６４、１４６が、ディスプレイ装置１６２の長い方の両辺の外側に位置付けられる。このようなディスプレイ装置は、対角線寸法１３ｃｍ（５．２"）の、４：３アスペクト比のパネル境界６７２、又は対角線寸法１６ｃｍ（６．３"）の、１６：９アスペクト比のパネル境界６７０によって、達成され得る。
【０１０６】
あるいは、図２３に示されるように、ディスプレイ装置１５２は、別の例示的実施形態において、７９ｍｍの横方向ディスプレイ幅Ｗで横長モードに構成されてもよく、すなわち、立体カメラのペア１５４、１５６が、ディスプレイ装置１６２の短い方の両辺の外側に位置付けられる。このようなディスプレイ装置１５２は、対角線寸法９．９ｃｍ（３．９"）の、４：３アスペクト比のパネル境界６７１、又は対角線寸法９．１ｃｍ（３．６"）の、１６：９アスペクト比のパネル境界６７０によって、達成され得る。
【０１０７】
ディスプレイ幅及びしたがってカメラ間隔４５０の増加により伝送関数４０５が歪み、ピノキオタイプの効果が生じる。
【０１０８】
上記は、発信元観察者１００の頭部４０６の知覚される丸みと関連しているが、次に背景４１４が説明される。図１７を参照し、丸み（及び発信元観察者１００の頭部の領域における線形の伝送関数４０５）を達成するために、発信元テレコミュニケーション装置１５０のカメラ間隔４５０は、寸法Ａにおいて望ましく構成されてもよく、これにより、観察者にとって快適なレベルの収束を達成し得る範囲外であり得る、左側画像と右側画像との間の視差を有する状態で背景物体４１４が宛先テレコミュニケーション装置１６０に表示されることがある。このような視差は、過剰な視覚的歪みを生じ得る。したがって、過剰な視差のない、頭部形状、及び背景画像の丸みの所望の結果は、テレコミュニケーション装置において典型的に使用される同じキャプチャ形状により達成することはできない。
【０１０９】
したがって、背景４１４が、知覚される奥行きが殆ど、又は全くない幅４２３に向けられるように、背景４１４の画像４１６が、奥行きがない又は奥行きが制限されている画像へと圧縮される、知覚される立体的奥行きの程度を有する、マッピング機能４２０を達成することが望ましい。次に、遠隔会議方法の一部として実施されるものとしてこれを達成する、方法が記載される。この方法は、図２を参照して先に記載されたテレコミュニケーションシステムにおいて実行され、発信元テレコミュニケーション装置１５０は立体カメラのペア１５４、１５６を含み、宛先テレコミュニケーション装置１６０は、ステレオ画像を自動立体的に表示することができる、自動立体ディスプレイ装置１６２を含む。
【０１１０】
方法は、図２４Ａ〜図２４Ｇを参照して例示され、これらはそれぞれ、知覚される頭部のまるさを達成するように更に構成された、自動立体テレコミュニケーションシステムの背景の立体的奥行きを修正するために、画像修正を適用する方法によって処理される、ステレオ配信画像の左側画像及び右側画像のペアを例示する概略図である。図２５は、方法自体のフローチャートである。
【０１１１】
方法のステップ７００〜７１８は、テレコミュニケーションシステムの１つ以上の構成要素の１つ以上の画像処理部において実行され得る画像処理ステップである。可能な構成要素としては、発信元テレコミュニケーション装置１５０、宛先テレコミュニケーション装置１６０、又は配信画像が送信される、テレコミュニケーションネットワークのサーバが挙げられる。画像処理部は、任意の好適な処理要素、例えば、好適なコンピュータプログラムを実行するプロセッサ、若しくは専用ハードウェア、又はソフトウェア及びハードウェアの組合せによって実装されてもよい。
【０１１２】
図２４Ａは、発信元テレコミュニケーション装置１５０の立体カメラのペア１５４、１５６によりキャプチャされた観察者１００の頭部及び任意により胴体のステレオ配信画像の左側画像３００及び右側画像３０２の実施例を示す。再生中に、知覚される頭部４０６の丸みを達成するため、左目画像３００と右目画像３０２との間の視差３１４は、背景の視差３１２と実質的に異なることがあり、これにより背景の視差３１２は過剰であり得る。画像は外側境界３０８を有し、また以下で更に記載されるように内側境界３１０を有してもよい。
【０１１３】
入力ステップ７００及び７１０において、カメラ１５４によりキャプチャされた左側画像及び右側画像が入力される。図２５の方法が実行されるときに任意である目線修正ステップ７０２及び７１２において、図４を参照して先に記載された方法を使用して目線修正をもたらすために左側画像及び右側画像が処理される。
【０１１４】
セグメント化ステップ７０４及び７１４において、画像の頭部、及び存在する場合は胴体の（以降では簡潔性のために「前景」と称される）領域を特定するために左側画像及び右側画像がセグメント化される。前景は頭部全体及び胴体又はその一部、例えば顔のみを備えてもよく、この実施形態においては前景が例えば毛髪及び胴体領域を備え得る。図２４Ｂは、左側画像及び右側画像の前景３２０、３２２を特定するために、背景から前景をセグメント化することを示している（右側画像のセグメント化領域３２２は、比較のために左側画像に点線の外形で示されている）。同様に、図２４Ｃは、前景が除去された後の背景を示しており、セグメント化領域３２０、３２２の境界をそれぞれ示し、セグメント化背景３２４、３２６を提示している。図２４Ｄは、ゼロ画像領域と置換された、セグメント化された前景領域３３０、背景領域３３２を示している。
【０１１５】
セグメント化ステップ７０４及び７１４は、例えば、能動的及び／又は受動的セグメント化技術を使用して、コンピュータビジョン分野における既知の様々な種類の、任意の好適なセグメント化技術を使用してもよい。遠隔会議において使用するため、ステレオ配信画像の送信のために遠隔会議ネットワーク１９９において利用可能な帯域に依存し得る、画像寸法及びフレーム速度によってリアルタイムでビデオ画像を処理し得る、いずれかのセグメント化技術が使用されてもよい。これに加えて、利用可能な処理リソースと、セグメント化品質との間の所望のバランスを達成するためにセグメント化技術が選択されてもよい。
【０１１６】
次のステップの組合せにより、元の画像内の知覚される立体的奥行きの度合いよりも低い度合いの、知覚される立体的奥行き有する置換画像と、左側画像及び右側画像のセグメント化された背景が置換される。この実施例において、左側画像及び右側画像の両方の置換画像は共通の画像を備え、置換画像は、その中に知覚される立体的奥行きを有さない平面ステレオ画像を提供する。これは、図１７に示される関数４２０を有する、背景を効果的に提供する。
【０１１７】
この実施例において、置換画像は、セグメント化された背景３２４、３２６の一方から派生する（この実施例においては左側画像の背景３２４であるが、右側画像の背景３２６も同様に使用され得る）。新しい背景は、以下のように派生される。
【０１１８】
選択ステップ７２２において、左側画像のセグメント化背景３２４が選択され、縮小ステップ７２２においてセグメント化された背景３２４が縮小される。その後、視差ステップ７２４及び７２６において、縮小ステップ７２２により出力される縮小され、セグメント化された背景３２４は、左側置換画像３２５、及び右側置換画像３２７として使用される、水平方向の視差を有する、２つのバージョンの、縮小され、セグメント化された背景３２４を生成するため、水平方向で反対にずらされる。
【０１１９】
図２４Ｅは、図２４Ｃに示される、拡大され、セグメント化された背景３２４から派生する、左側置換画像３２５、及び右側置換画像３２７を派生するステップを示す。縮小により、元の左側画像３００の外側境界３０８は、内側境界３１０の大きさまで縮小し、置換画像３２５、３２７の寸法を低減する。これは、前景周囲の大腿画像３２５、３２７の境界３３６が、これが全体的に左側画像及び右側画像両方のセグメント化された前景３２０、３２２の領域内に収まる程度まで縮小することを確実にする。これは、以下に記載されるように、右側画像のセグメント化された前景３２０が、左側置換画像３２５の上に重ねられるときに、空白領域ができることを防ぐ。
【０１２０】
左側画像及び右側画像のセグメント化された背景は、以下のように、左側置換画像３２５、及び右側置換画像３２７と置換される。選択ステップ７０６、７１６において、左側画像及び右側画像のセグメント化された前景３２０、３２２が選択され、ステップ７０８、７１８において、左側画像及び右側画像のセグメント化された前景３２０、３２２が、ステップ７２４、７２６により派生した左側置換画像３２５及び右側置換画像３２７上に重ねられる。図２４Ｆは、生じた左側画像及び右側画像を示す。境界３０８と、境界３１０との間の縁部領域は、生じる画像から除去されてもよい。
【０１２１】
左側置換画像３２５及び右側置換画像３２７は、水平方向の視差３３６を有する、縮小され、セグメント化された画像３２４である、共通の画像を備えるため、置換画像３２５、３２７は、前景の後ろに知覚される立体的奥行きを有し、背景の適切な視差を達成する。背景視差３３６は、背景がその観察者の耳の後ろ、その頭部の後ろ、又は好ましくは後頭部の後ろにくるように設定され、頭部の立体的な再現における奥行きの手がかりの矛盾を避けるように、設定されてもよい。
【０１２２】
左側置換画像３２５と右側置換画像３２７との間の視差を提供するために使用されるずらしのために、画像情報を有さない領域３３４が存在してもよい。このような効果は、余剰な情報をキャプチャするために、立体カメラ１５４、１５６の横方向のキャプチャ視野を増加させることによって低減することができる。
【０１２３】
表示ステップ７２８において、ステップ７０８、７１８において生成される置換され、セグメント化された背景を有する左側及び右側画像を備えるステレオ配信画像が、宛先テレコミュニケーション装置１６０のディスプレイ装置１６２上に自動立体的に表示される。
【０１２４】
図２４Ｇは、顔の丸みを達成するためにある範囲の視差情報を備えるセグメント化された前景領域３４０と、観察者の頭部の後方に設定されるが、元の背景画像の視差３１２よりも低い視差３３６を有する、視差を有する平面背景情報を備える背景領域３４２とを含む、表示されたステレオ配信画像を示している。したがって、各ステレオ配信画像において、セグメント化された背景は、元の背景内の知覚される立体的奥行きの度合いよりも低い度合いの、知覚される立体的奥行きを内部に有する、それぞれの置換画像と置換される。
【０１２５】
有利なことに、遠隔会議システムは、正確な視線特性、正確な顔丸み特性、及び未加工の背景画像により達成されるよりも低いレベルの背景視差から生じる高いレベルの視覚的快適性を有する背景画像を達成することができる。
【０１２６】
この実施例において、置換画像３２５、３２７は、セグメント化された背景３２４、３２６の一方から派生し、観察者は依然として、発信元テレコミュニケーション装置１５０の立体カメラのペア１５４、１５６によりキャプチャされた、観察者１００の後ろの実際の背景を知覚する。これは、非常に自然な効果を生じる。
【０１２７】
代替的に、置換画像３２５、３２７が、左目画像３００、右目画像３０２の一方から派生するとき、元の背景内の知覚される立体的奥行きの程度よりも低い程度の立体的奥行きを有する、置換画像３２５、３２７が派生し得る。しかしながらこれは、適切な背景画像を生成するためにかなりの画像処理を必要とし、この場合更に、実行可能な処理パワーでは実現可能でないこともある。したがって、左目画像３００、及び右目画像３０２の一方から派生する共通の画像である、置換画像３２５、３２７を派生することは、より容易に、かつより低い処理パワーで同様の効果を達成することができる。
【０１２８】
しかしながら、置換画像３２５、３２７は、例えば、以下の代替的な方法により、左目画像３００、右目画像３０２から派生する必要はない。
【０１２９】
代替的な方法は、図２６Ａ〜図２６Ｄを参照して例示され、これらはそれぞれ、知覚される頭部のまるさを達成するように更に構成された、自動立体テレコミュニケーションシステムの背景の立体的奥行きを修正するために、画像修正を適用する方法によって処理される、ステレオ配信画像の左側画像及び右側画像のペアを例示する概略図である。図２７Ａは、方法自体のフローチャートである。
【０１３０】
この代替的方法は、以下の修正を除いて、図２５の方法と同じである。代替的な方法が図２７Ｂに例示される宛先テレコミュニケーション装置に適用され、これは、ディスプレイ装置１６２、及び立体カメラのペア１６４、１６６と反対方向を向く、後方平面視カメラ構成１６８（これは発信元観察者が外界を向くのと同じ方向を向いている）を有している。横方向カメラキャプチャ全角１５１、１５３は、カメラ１６８のキャプチャ角度１５５とは異なることがあり、前者は頭部の丸みを維持する遠隔会議を達成するように構成される一方で、後者はより一般的な画像、及びビデオ画像用途に好適な視野を達成するように構成されている。
【０１３１】
この代替的な方法は、左側置換画像３８０、及び右側置換画像３８２が、特に図２６Ｂに示される、後方カメラによりキャプチャされた共通の画像を特に備える、後方カメラ構成１６８によってキャプチャされた画像から派生することがある。したがって、入力ステップ７３０は、後方カメラ構成１６８によりキャプチャされた画像が入力され、これはステップ７２４、７２６において使用される。他では、方法は上記と同じままであり、よって図２６Ａ、２６Ｃ、及び２６Ｄは、図２４Ｄ、２４Ｆ、及び２４Ｇと対応する。
【０１３２】
図２７Ｃに示されるように、後方カメラ１６８は、カメラ１６７、１６９と置換されてもよく、この場合背景画像は、左側画像３８０、及び右側画像３８２を備えるステレオ画像ペアであり得る。したがって、図２６Ｄに示される組み合わせた立体画像３８４は、正確な丸み特性を有する前景、及び許容可能なレベルの視差を有する背景を含み得る。横方向カメラキャプチャ全角１５１、１５３は、キャプチャ角度１５７、１５９とは異なることがあり、前者は、頭部の丸みを維持する遠隔会議を達成するように構成される一方で、後者は、より一般的な立体画像に好適な視野を達成するように構成されている。このカメラ１６７、１６９はしたがって、遠隔会議用途において使用されると、頭部の歪みを生じるような方法で、視野及び間隔を有するように構成され得る。
【０１３３】
図２８は、この場合の方法のフローチャートであり、入力ステップ７３２において、後方カメラ構成１６８によりキャプチャされた左側及び右側画像が入力されて、ステップ７０８及び７１８において、左側及び右側置換画像として使用される。あるいは、方法は上記と同じままであり、ただし、目線修正ステップ７０２、７１２が、背景を置換した後に実行される（これはまた、図２５及び２７Ａの方法への可能な修正である）。有利なことに、遠隔会議用途における後方カメラ構成１６８の使用は、宛先画像の観察者が背景に見るものを、ユーザが制御することを達成する。これは、社会的相互作用において人の後ろにあるものが見えなくなる、不安定性を回避し、知覚されるインターフェースの制御のレベルを向上させる。
【０１３４】
上記の実施例すべてにおいて、置換画像は、発信元テレコミュニケーション装置１５０のカメラによりキャプチャされた画像から派生する。あるいは、置換画像は、保存されているか、又は発信元テレコミュニケーション装置１５０から宛先テレコミュニケーション装置１６０への通信中に生成される画像として、別個に派生する場合がある。
【０１３５】
ステップ中に実行される画像処理は、配信画像が通る、テレコミュニケーションシステムのいずれかの装置、又は装置のいずれかの組合せにおいて実行され得、これには、発信元テレコミュニケーション装置１５０、宛先テレコミュニケーション装置１６０、又は画像が送信されるテレコミュニケーションネットワーク１９９のサーバが挙げられるがこれらに限定されない。いくつかの非限定的な実施例が、図２９〜図３１に関連して提示され、これらは、配信画像及び戻り画像の背景の修正を達成するように構成された、発信元テレコミュニケーション装置１５０と宛先テレコミュニケーション装置１６０との間の通信を例示する概略図である。
【０１３６】
特に図２９〜図３１は、戻り画像１０８、及び配信画像１２０への方法が双方向的に適用される実施例を示し、戻り画像１０８及び配信画像１２０が処理される位置は対称的である。これらの実施例それぞれにおいて、発信元テレコミュニケーション装置１５０の立体カメラのペア６１０のペアによりキャプチャされたステレオ配信画像が、宛先テレコミュニケーション装置１６０のディスプレイ装置７４６に自動立体的に表示され、宛先テレコミュニケーション装置１６０の立体カメラのペア６２０によりキャプチャされたステレオ戻り画像は、発信元テレコミュニケーション装置１５０のディスプレイ装置７４２上に自動立体的に表示される。
【０１３７】
図２９の方法において、背景置換方法は、発信元テレコミュニケーション装置１５０の画像処理部７４０により配信画像に対して実行され、背景置換方法は、宛先テレコミュニケーション装置１６０の画像処理部７４４により、戻り画像に対して実行され、その後、背景が置換された画像７４８、７４９が、宛先テレコミュニケーション装置１６０、及び発信元テレコミュニケーション装置１５０の他方の３Ｄディスプレイ装置７４６、７４２へと送信される。有利なことに、送信者は、置換画像のコンテンツを選択することができる。
【０１３８】
図３０において、背景置換方法は、宛先テレコミュニケーション装置１６０の画像処理部７４４により配信画像に対して実行され、背景置換方法は、発信元テレコミュニケーション装置１５０の画像処理部７４０により、戻り画像に対して実行され、それにより未加工のステレオ画像７５０、７５２が伝送されて、宛先テレコミュニケーション装置１６０、及び発信元テレコミュニケーション装置１５０でそれぞれ処理が実行される。この場合置換画像も送信される必要があり、あるいは、処理が実行されるカメラからの画像が使用されてもよく、この場合、有利なことに画像の受信において、置換画像のコンテンツを選択することができる。
【０１３９】
図３１において、背景置換方法は、経由して画像が送信されるテレコミュニケーションネットワーク１９９のサーバ６０８の画像処理部７４８により、配信画像に対して実行され、背景置換方法は、経由して画像が送信されるテレコミュニケーションネットワーク１９９のサーバ６０８の画像処理部７４８によって戻り画像に対して実行される。したがって、未加工の画像がサーバ６０８に対して送信され、これは背景が置換された画像を送信する。データ７４１、７４３は、置換画像の背景データの視差の要件を決定するため、宛先装置１６０、及び発信元装置１５０それぞれから、サーバ６０８に渡されてもよい。有利なことに、送信者、受信者、又はサードパーティ（例えば、スポンサー広告者）の間の選択が、置換画像のコンテンツの性質を決定してもよい。画像データをローカルで処理するための要件が低減され、発信元及び宛先装置のコスト及び複雑性を低減させてもよい。
【０１４０】
自動立体ディスプレイ装置１５２、及び１６２は、観察者が追加的な装置を着用しなくても、ステレオ画像を表示することができる、任意の種類のディスプレイ装置であり得る。本実施形態の自動立体ディスプレイに好適な種類のディスプレイ装置の非限定的な実施例としては、くさび形ディスプレイ装置、レンズ型ディスプレイ装置、パララックスバリアディスプレイ装置、ビームスプリッタディスプレイ装置、及びライトラインディスプレイ装置が挙げられるがこれらに限定されない。
【０１４１】
代替として、自動立体ディスプレイ装置は、立体ディスプレイ装置と置換することができる。自動立体ディスプレイ装置としては、微小偏光ディスプレイ装置、フィルムパターン化リターダディスプレイ装置（film patterned retarder）、又はシャッターメガネディスプレイ装置が挙げられるがこれらに限定されない。三次元ディスプレイ装置は、三次元効果を生じるにあたってめがねなどの頭部に装着する機器に依存するため観察者の目の虹彩及び白目の相対位置の可視性が損なわれることがある。
【０１４２】
自動立体ディスプレイ装置１５２、及び１６２は時分割多重化されていてもよく、すなわち左側画像及び右側画像を左目及び右目に時分割多重化様式で提供する。時分割多重化された自動立体ディスプレイ装置は、空間光変調器のすべての画素からの光を、第１のタイムスロットで第１の視野窓へと方向付けて、すべての画素を、第２のタイムスロットで第２の視野窓に方向付けることで、自動立体ディスプレイ装置の空間解像度を向上させることができるという利点を有する。したがって、第１ビューウィンドー及び第２ビューウィンドーにて光を受けるよう目を向けた観察者は、多数のタイムスロットにわたってディスプレイ全体で完全な解像度画像を見る。時分割多重化ディスプレイ装置は、照明器配列の画像をウィンドー平面に実質的に形成する指向性光学素子を用いる実質的に透明な時分割多重化空間光変調器を通して照明器配列を向けることで、指向性照明を有利に達成することができる。
【０１４３】
自動立体ディスプレイ装置は、本明細書において参照として組み込まれる２０１３年１１月１８日に出願された、米国特許出願番号第１３／３００，２９３号の開示される種類のものであり得る。図３２は、米国特許出願番号第１３／３００，２９３号に記載される、一種の自動立体ディスプレイ装置の構造を例示する概略図である。この明細書中において、ステップ付き導波管１（光学バルブとも称される）は、光源のアレイ１５から、左ビューウィンドー４４、及び右ビューウィンドー２６へと光を方向付けるように構成されている。矢印２７により示されるように観察者が移動すると、ビューウィンドーを移動し、観察者４５のための自動立体画像化を達成するように光源が調節されてもよい。したがって、ビューウィンドーは、ステップ付き導波管１の画像化特性により、ディスプレイ装置からある公称距離に配置される。このような公称視距離は、観察者にとって最良の観察位置を決定する。
【０１４４】
図３３は、自動立体テレコミュニケーションシステムのための自動立体ディスプレイ装置の制御システムを例示する概略図である。制御システムの構成及び動作がここで記載され、米国特許出願番号第１３／３００，２９３号に開示される種類の自動立体ディスプレイ装置に適用されてもよい。図３３に示すように、指向性表示デバイス１００は、ステップ付き導波路１及び光源照明アレイ１５をそれ自体に含むことができる指向性バックライト装置を含むことができる。図３３に示すように、ステップ付き導波路１は、光方向付け側面８、反射性端部４、誘導機構１０、及び光抽出機構１２を含む。指向性ディスプレイ装置１００は更に、ＳＬＭ  ４８を含むことができる。
【０１４５】
導波路１は、上に記述するように構成されている。反射性端部４は、反射した光を収束させる。フレネルレンズ６２は、反射性端部４と協働するように構成することができ、観察者９９によって観察される視野面１０６にビューウィンドー２６を実現する。ＳＬＭ  ４８は、指向性バックライトから光を受光するように構成することができる。更に、拡散器６８は、導波路１とＳＬＭ  ４８並びにフレネルレンズ構造６２の画素との間のモワレ干渉を実質的に排除するために提供することができる。
【０１４６】
制御システムは、ディスプレイ装置１００に対する観察者９９の位置を検出するように構成されたセンサーシステムを含むことができる。センサーシステムは、カメラ等の位置センサー７０、及び例えばコンピュータビジョン画像処理システムを含むことができる頭部位置測定システム７２である。制御システムは更に、頭部位置測定システム７２から供給された観察者の検出位置が双方に供給される照明コントローラ７４及び画像コントローラ７６を更に含み得る。
【０１４７】
照明コントローラ７４は照明素子１５を選択的に操作し、導波路１と協働して光をビューウィンドー２６内に方向付ける。照明コントローラ７４は、光が方向付けられる視野窓２６が観察者９９の左右の目に対応する位置に配置されるよう、頭部位置測定システム７２によって検知された観察者の位置にしたがって操作される照明素子１５を選択する。このように、導波路１の横方向の出力指向性は観察者の位置に対応する。
【０１４８】
画像コントローラ７６は、ＳＬＭ  ４８を制御して画像を表示する。自動立体ディスプレイ装置を提供するため、画像コントローラ７６及び照明コントローラ７４は以下のように動作することができる。画像コントローラ７６はＳＬＭ  ４８を制御し、時分割多重化された左目画像及び右目画像を表示する。照明コントローラ７４は光源１５を操作し、左目画像及び右目画像の表示に同期して観察者の左右の目に対応する位置にあるそれぞれのビューウィンドーに光を方向付ける。このようにして、自動立体効果が時分割多重化技術を使用して実現される。
【０１４９】
上記の実施形態の様々な特徴がいずれかの組合せで、組み合わされてもよい。
【０１５０】
本明細書で使用されるとき、用語「実質的に」及び「およそ（ほぼ）」は、それに対応する用語及び／又は項目間の相対性に対して、業界で受け入れられる許容範囲を付与するものである。このような、業界で受け入れられる許容範囲は、０パーセント〜１０パーセントの範囲であり、成分値、角度などが該当するが、これらに限定されない。このような、項目間の相対性は、約０パーセント〜１０パーセントの範囲である。
【０１５１】
本明細書に開示される原理による様々な実施形態を上記に記載してきたが、それらは限定としてではなく単なる一例として提示されていることを理解されたい。それ故、この開示の広さ及び範囲は、上述した例示的な実施形態のいずれによっても制限されてはならず、請求項のいずれか、及び本開示に由来するそれらの均等物にしたがってのみ規定されるべきである。更に、上述の利点及び特徴が記載された実施形態において提供されるが、かかる公開される特許請求の範囲の用途を、上述の利点のいずれか又はすべてを達成する方法及び構造に限定するものではない。
【０１５２】
加えて、本明細書においてセクションの見出しは、米国特許規則§１．７７の規定するところにしたがって、さもなくば、編成上の目印（organizational cue）として提供されるものである。これらの見出しは、本開示から生じ得る請求項に定める（単数又は複数の）実施形態を限定したり又は特徴付けたりしないものとする。具体的には、単に例示ではあるが、「技術分野」という見出しがあるが、いわゆる分野を説明するためにこの見出しの下に選択された表現によって、特許請求の範囲が限定されることはない。更に、「背景技術」に記載された技術に関する記述が、特定の技術が、本開示における任意の（単数又は複数の）実施形態に対する先行技術であることの承認として、解釈されるべきではない。「発明の概要」についても、公開される請求項で述べられる（単数又は複数の）実施形態を特徴付けるものとして考慮されるべきでない。更に、本開示においては、単数形での「発明」に対するいずれの言及も、本開示における新規な点が１つのみである、ということを主張するために使用されるべきではない。複数の実施形態は、本開示により、公開される複数の請求項の限定にしたがって、述べられる場合がある。したがって、これらの請求項は、この（単数又は複数の）実施形態及びそれらの均等物を定義することによって、それらを保護している。すべての場合において、これらの請求項の範囲は、本開示に照らして、固有の利点が考慮されるべきであり、本明細書に述べる見出しによって制約されてはならない。
【図１】
2016529764.tif 000004
【図２】
2016529764.tif 000005
【図３】
2016529764.tif 000006
【図４】
2016529764.tif 000007
【図５】
2016529764.tif 000008
【図６Ａ】
2016529764.tif 000009
【図６Ｂ】
2016529764.tif 000010
【図７Ａ】
2016529764.tif 000011
【図７Ｂ】
2016529764.tif 000012
【図７Ｃ】
2016529764.tif 000013
【図８Ａ】
2016529764.tif 000014
【図８Ｂ】
2016529764.tif 000015
【図９】
2016529764.tif 000016
【図１０】
2016529764.tif 000017
【図１１】
2016529764.tif 000018
【図１２】
2016529764.tif 000019
【図１３】
2016529764.tif 000020
【図１４】
2016529764.tif 000021
【図１５】
2016529764.tif 000022
【図１６】
2016529764.tif 000023
【図１７】
2016529764.tif 000024
【図１８】
2016529764.tif 000025
【図１９】
2016529764.tif 000026
【図２０Ａ】
2016529764.tif 000027
【図２０Ｂ】
2016529764.tif 000028
【図２１Ａ】
2016529764.tif 000029
【図２１Ｂ】
2016529764.tif 000030
【図２２】
2016529764.tif 000031
【図２３】
2016529764.tif 000032
【図２４Ａ−２４Ｇ】
2016529764.tif 000033
【図２５】
2016529764.tif 000034
【図２６Ａ−２６Ｄ】
2016529764.tif 000035
【図２７Ａ】
2016529764.tif 000036
【図２７Ｂ】
2016529764.tif 000037
【図２７Ｃ】
2016529764.tif 000038
【図２８】
2016529764.tif 000039
【図２９】
2016529764.tif 000040
【図３０】
2016529764.tif 000041
【図３１】
2016529764.tif 000042
【図３２】
2016529764.tif 000043
【図３３】
2016529764.tif 000044
【国際調査報告】
2016529764.tif 000045
2016529764.tif 000046
2016529764.tif 000047
2016529764.tif 000048