(57)【要約】【課題】  通信相手が実際に目の前にいるような感覚を提供する。【解決手段】  検出部３は、画像が表示される表示部８の表示画面の前方の実空間４１の三次元情報Ｃaを取得し、画像生成部１０に供給する。受信部１１は、情報処理装置２２を構成する送信部２７から実空間４２の三次元情報Ｃbおよび実空間４２を撮像して得られる画像情報Ｄbを取得し、画像生成部１０に供給する。画像生成部１０は、検出部３から供給された三次元情報Ｃa、並びに受信部１１から供給された三次元情報Ｃbおよび実空間４２を撮像して得られる画像情報Ｄbに基づき、表示部８の表示画面の後方に実空間４２が位置していると仮定した場合に、実空間４１が実空間４２に及ぼす影響を反映した画像を生成する。本発明は、例えば、画像をやりとりしながらコミュニケーションを図るテレビ会議システムなどに適用できる。【選択図】図１
2005078313.tif 000002
【特許請求の範囲】
【請求項１】
画像が表示される表示画面の前方の第１の実空間の第１の三次元情報を取得する第１の取得手段と、
前記第１の実空間と異なる位置の第２の実空間の第２の三次元情報および前記第２の実空間を撮像して得られる第１の画像を取得する第２の取得手段と、
前記第１の取得手段により取得された前記第１の三次元情報、並びに前記第２の取得手段により取得された前記第２の三次元情報および前記第１の画像に基づき、前記表示画面の後方に前記第２の実空間が位置していると仮定した場合に、前記第１の実空間が前記第２の実空間に及ぼす影響を反映した第２の画像を生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段により生成された前記第２の画像を前記表示画面に表示させる表示制御手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の実空間が前記第２の実空間に及ぼす前記影響は、
所定の光源により生じる前記第１の実空間に存在する実物体の影である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記所定の光源は、仮想的な光源である
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記所定の光源は、前記第１の実空間に存在する実際の光源であり、
前記実際の光源を検出する検出手段をさらに備える
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記第１の取得手段は、前記第１の三次元情報を、前記第１の実空間から検出することにより取得し、
前記第２の取得手段は、前記第２の三次元情報と第１の画像を、他の装置から受信することにより取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第１の取得手段は、前記第１の三次元情報を、他の装置から受信することにより取得し、
前記第２の取得手段は、前記第２の三次元情報を、前記第２の実空間から検出することにより取得するとともに、前記第１の画像を、前記第２の実空間を撮像することにより取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
画像が表示される表示画面の前方の第１の実空間の第１の三次元情報を取得する第１の取得ステップと、
前記第１の実空間と異なる位置の第２の実空間の第２の三次元情報および前記第２の実空間を撮像して得られる第１の画像を取得する第２の取得ステップと、
前記第１の取得ステップにより取得された前記第１の三次元情報、並びに前記第２の取得手段により取得された前記第２の三次元情報および前記第１の画像に基づき、前記表示画面の後方に前記第２の実空間が位置していると仮定した場合に、前記第１の実空間が前記第２の実空間に及ぼす影響を反映した第２の画像を生成する生成ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
画像が表示される表示画面の前方の第１の実空間の第１の三次元情報、並びに前記第１の実空間と異なる位置の第２の実空間の前記第２の三次元情報および前記第２の実空間を撮像して得られる第１の画像に基づき、前記表示画面の後方に前記第２の実空間が位置していると仮定した場合に、前記第１の実空間が前記第２の実空間に及ぼす影響を反映した第２の画像を生成する生成ステップを含む
ことを特徴とするコンピュータにより読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、例えば、より臨場感のある画像を表示することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、テレビ会議システム等に代表される従来の画像対話装置では、送信側の撮像装置により撮像された送信側の利用者の画像を、通信回線を介して通信相手に送信するとともに、通信相手である利用者の画像を通信回線を介して受信し、受信した通信相手である利用者の画像を表示装置に表示させる双方向通信が行われる。かかる画像対話装置によれば、利用者は、互いに、相手を見ながら話（対話）ができるので、相手が遠方にいても、自分の近くにいるような臨場感を享受することができる。
【０００３】
通信相手を身近に感じさせる臨場感や場の共有感のような感覚を提供する手段としては、例えば、プロジェクタ等で通信相手の画像を等身大で投影するテレビ会議用端末装置が提案されている（例えば、特許文献１参照）。
【０００４】
また、通信相手と視線を合致させることにより、臨場感や場の共有感のような感覚を提供する手段も提案されている。このような手段としては、例えば、ハーフミラーを用いてカメラの向きと表示画面を合わせるようにしたテレビ電話装置（例えば、特許文献２参照）や、光透過状態と光錯乱状態を制御することができるスクリーンとプロジェクタを用いて、時系列的に画像の表示と撮像を行う画像表示／撮像装置（例えば、特許文献３参照）、ホログラムスクリーンとプロジェクタを用いて、表示と撮像を同時に行うことができる撮像機能付き表示装置（例えば、特許文献４参照）などがある。
【０００５】
さらに、画像を見ている人物を計測し、計測された人物の位置の情報に合わせて通信相手のカメラを動かすことにより、人物が動いても視線の一致を実現させるシステムも提案されている（例えば、特許文献５参照）。
【特許文献１】特開２０００−２４４８８４号公報
【特許文献２】特開昭６１−６５６８３号公報
【特許文献３】特開平４−１１４８５号公報
【特許文献４】特開平９−１６８１４１号公報
【特許文献５】特開２０００−８３２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、通信相手を等身大で投影させたり、または、通信相手と視線を合致させたりすることにより、通信回線を介してコミュニケーションを図る際の臨場感を向上させることができる。しかしながら、例えば、通信相手が実際に目の前にいるような感覚等、より高い臨場感の享受に対する要請は高い。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、通信相手が実際に目の前にいるような、より高い臨場感を提供することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、画像が表示される表示画面の前方の第１の実空間の第１の三次元情報を取得する第１の取得手段と、第１の実空間と異なる位置の第２の実空間の第２の三次元情報および第２の実空間を撮像して得られる第１の画像を取得する第２の取得手段と、第１の取得手段により取得された第１の三次元情報、並びに第２の取得手段により取得された第２の三次元情報および第１の画像に基づき、表示画面の後方に第２の実空間が位置していると仮定した場合に、第１の実空間が第２の実空間に及ぼす影響を反映した第２の画像を生成する生成手段とを備えることを特徴とする。
【０００９】
本発明の画像処理方法は、画像が表示される表示画面の前方の第１の実空間の第１の三次元情報を取得する第１の取得ステップと、第１の実空間と異なる位置の第２の実空間の第２の三次元情報および第２の実空間を撮像して得られる第１の画像を取得する第２の取得ステップと、第１の取得ステップにより取得された第１の三次元情報、並びに第２の取得手段により取得された第２の三次元情報および第１の画像に基づき、表示画面の後方に第２の実空間が位置していると仮定した場合に、第１の実空間が第２の実空間に及ぼす影響を反映した第２の画像を生成する生成ステップとを含むことを特徴とする。
【００１０】
本発明のプログラムは、画像が表示される表示画面の前方の第１の実空間の第１の三次元情報、並びに第１の実空間と異なる位置の第２の実空間の第２の三次元情報および第２の実空間を撮像して得られる第１の画像に基づき、表示画面の後方に第２の実空間が位置していると仮定した場合に、第１の実空間が第２の実空間に及ぼす影響を反映した第２の画像を生成する生成ステップを含むことを特徴とする。
【００１１】
本発明の画像処理装置および画像処理方法、並びにプログラムによれば、画像が表示される表示画面の前方の第１の実空間の第１の三次元情報、並びに第１の実空間と異なる位置の第２の実空間の第２の三次元情報および第２の実空間を撮像して得られる第１の画像に基づき、表示画面の後方に第２の実空間が位置していると仮定した場合に、第１の実空間が第２の実空間に及ぼす影響を反映した第２の画像が生成される。
【発明の効果】
【００１２】
本発明によれば、より臨場感のある画像を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００１４】
さらに、この記載は、明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願したり、追加される発明の存在を否定するものではない。
【００１５】
請求項１に記載の画像処理装置は、画像が表示される表示画面の前方の第１の実空間の第１の三次元情報を取得する第１の取得手段（例えば、図１の検出部３、または図１０の受信部３１）と、第１の実空間と異なる位置の第２の実空間の第２の三次元情報および第２の実空間を撮像して得られる第１の画像を取得する第２の取得手段（例えば、図１の受信部１１、または図１０の検出部２３および撮像カメラ２６）と、第１の取得手段により取得された第１の三次元情報、並びに第２の取得手段により取得された第２の三次元情報および第１の画像に基づき、表示画面の後方に第２の実空間が位置していると仮定した場合に、第１の実空間が第２の実空間に及ぼす影響を反映した第２の画像を生成する生成手段（例えば、図１の画像生成部１０、または図１０の画像生成部３０）とを備えることを特徴とする。
【００１６】
請求項２に記載の画像処理装置は、生成手段（例えば、図１の画像生成部１０）により生成された第２の画像を表示画面に表示させる表示制御手段（例えば、図１の表示制御部９）をさらに備えることを特徴とする。
【００１７】
請求項５に記載の画像処理装置は、所定の光源（例えば、図１の光源１３）は、第１の実空間に存在する実際の光源であり、実際の光源を検出する検出手段（例えば、図１の検出器５）をさらに備えることを特徴とする。
【００１８】
請求項６に記載の画像処理装置は、第１の取得手段（例えば、図１の検出部３）は、第１の三次元情報を、第１の実空間から検出することにより取得し、第２の取得手段（例えば、図１の受信部１１）は、第２の三次元情報と第１の画像を、他の装置（例えば、図１の情報処理装置２２）から受信することにより取得することを特徴とする。
【００１９】
請求項７に記載の画像処理装置は、第１の取得手段（例えば、図１０の受信部３１）は、第１の三次元情報を、他の装置（例えば、図１０の情報処理装置２）から受信することにより取得し、第２の取得手段（例えば、図１０の検出部２３、および検出器２５）は、第２の三次元情報を、第２の実空間から検出することにより取得するとともに、第１の画像を、第２の実空間を撮像することにより取得することを特徴とする。
【００２０】
請求項８に記載の画像処理方法は、画像が表示される表示画面の前方の第１の実空間の第１の三次元情報を取得する第１の取得ステップ（例えば、図２のステップＳ１）と、第１の実空間と異なる位置の第２の実空間の第２の三次元情報および第２の実空間を撮像して得られる第１の画像を取得する第２の取得ステップ（例えば、図２のステップＳ２）と、第１の取得ステップにより取得された第１の三次元情報、並びに第２の取得手段により取得された第２の三次元情報および第１の画像に基づき、表示画面の後方に第２の実空間が位置していると仮定した場合に、第１の実空間が第２の実空間に及ぼす影響を反映した第２の画像を生成する生成ステップ（例えば、図２のステップＳ４）とを含むことを特徴とする。
【００２１】
請求項９に記載のプログラムは、画像が表示される表示画面の前方の第１の実空間の第１の三次元情報、並びに第１の実空間と異なる位置の第２の実空間の第２の三次元情報および第２の実空間を撮像して得られる第１の画像に基づき、表示画面の後方に第２の実空間が位置していると仮定した場合に、第１の実空間が第２の実空間に及ぼす影響を反映した第２の画像を生成する生成ステップ（例えば、図２のステップＳ４）を含むことを特徴とする。
【００２２】
以下、本発明の実施の形態について説明する。図１は、本発明を適用した通信システムの第１実施の形態の構成例を示すブロック図である。
【００２３】
ネットワーク４０は、情報処理装置２と、情報処理装置２２とを接続しており、画像情報、音声情報、および後述する三次元情報などの位置情報、その他のデータを双方向に伝送する。ネットワーク４０としては、例えば、ローカルエリアネットワーク、インターネット、その他の有線または無線の伝送媒体を採用することができる。
【００２４】
利用者１は、情報処理装置２を操作するユーザであり、例えば、遠方に存在する情報処理装置２２を操作する利用者２１とネットワーク４０を介してコミュニケーションを図る。
【００２５】
情報処理装置２は、検出部３、撮像カメラ６、送信部７、表示部８、表示制御部９、画像生成部１０、受信部１１、情報記憶部１２、さらには図示せぬ音声処理部などから構成されている。
【００２６】
検出部３は、カメラ４−１、カメラ４−２、および検出器５から構成されている。カメラ４−１とカメラ４−２は、表示部８の表示画面の前方の実空間４１を撮像し、その撮像によって得られる実空間４１の画像信号を検出器５に供給する。ここで、実空間４１には、利用者１や光源１３などが存在する。検出器５は、カメラ４−１とカメラ４−２それぞれから供給された画像信号に対して、例えば、ステレオ法（詳細は後述する）による所定の処理を施し、利用者１の輪郭および大きさなどの三次元形状や、位置を表す情報である三次元情報Ｃaを検出することにより取得する。さらに、検出器５は、取得した三次元情報Ｃaを送信部７および画像生成部１０に供給する。なお、検出器５は、カメラ４−１を基準として定義されるＸa軸、Ｙa軸、およびＺa軸でなる座標系（以下、適宜、撮像座標系と称する）で表される三次元情報Ｃaを検出する。
【００２７】
撮像カメラ６には、カメラ４−１やカメラ４−２と同様に、実空間４１を撮像することにより、利用者１や利用者１を取り巻く背景などを含む画像信号を取得する。さらに、撮像カメラ６は、実空間４１の撮像により得られた画像信号を、画像情報Ｄaとして送信部７に供給する。なお、撮像カメラ６は、表示部８の上端部に近接して取り付けられる。さらに、撮像カメラ６としては、例えば、テレビジョンカメラなどを採用することができる。
【００２８】
送信部７は、図示せぬネットワークインタフェース回路、伝送符号器などから構成されている。送信部７は、検出部３を構成する検出器５から供給される利用者１の三次元情報Ｃa、撮像カメラ６から供給された画像情報Ｄa、さらには図示せぬ音声処理部から供給された音声情報を、ネットワーク４０を介して、情報処理装置２２（を構成する受信部３１）に送信する。なお、送信部７は、例えば、画像信号、音声信号、および、三次元情報の信号などをネットワーク４０に対応する伝送形態に変換し、ネットワーク４０上に送出する。
【００２９】
表示部８は、表示制御部９から供給される画像を表示画面に表示する。なお、表示部８は、例えば、テレビジョン受像機を構成するテレビモニタ、即ち、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、またはホームシアタシステムのスクリーンなどで構成することができる。
【００３０】
表示制御部９は、画像生成部１０から供給された画像信号に所定の処理を施して表示部８に供給して表示させる。
【００３１】
画像生成部１０は、検出部３を構成する検出器５から供給される三次元情報Ｃa、受信部１１から供給される利用者２１が存在する実空間４２の三次元情報Ｃb、および利用者２１および利用者２１を取り巻く背景などの画像情報Ｄb、さらには必要に応じて情報記憶部１２から供給される光源情報を用いて、表示部８の表示画面の後方に実空間４２が位置していると仮定した場合（表示画面に表示される画像が得られた実空間４２が、表示画面の後方に存在していると仮定した場合）に、実空間４１が実空間４２に及ぼす影響を反映した画像、即ち、例えば、画像情報Ｄbに利用者１の影が映しこまれた画像信号を生成し、表示制御部９に供給する。
【００３２】
受信部１１は、例えば、ネットワークインタフェース回路、復号器等から構成されている。受信部１１は、ネットワーク４０を介して、情報処理装置２２（を構成する送信部２７）から送信されてくる画像信号としての画像情報Ｄb、音声信号、および位置信号としての三次元情報Ｃbなどを受信し、ネットワーク４０に対応する伝送形態から元の形態（フォーマット）に復元して、画像生成部１０や、さらには図示せぬ音声処理部に供給する。
【００３３】
情報記憶部１２には、実空間４１内に存在する光源１３の位置を表す光源情報が記憶されており、情報記憶部１２は、記憶している光源情報を、画像生成部１０に供給する。なお、実空間４１内に複数の光源が存在する場合には、情報記憶部１２には、その複数の光源の一部または全部についての光源情報を記憶させておくことが可能である。また、実空間４１に、仮想的な光源である仮想光源をあらかじめ設定し、情報記憶部１２には、その仮想光源の光源情報を記憶させておくことも可能である。
【００３４】
ここで、情報処理装置２において、図示せぬ音声処理部は、例えば、アンプ、スピーカおよびマイクロホン等から構成されている。音声処理部は、ユーザが発した音声に必要な処理を施し、送信部７からネットワーク４０を介して情報処理装置２２に送信させる。さらに、音声処理部は、受信部１１がネットワーク４０を介して情報処理装置２２から受信した利用者２１の音声などに必要な処理を施し、スピーカから出力させる。音声処理部には、必要に応じて、マイクがスピーカの音声を拾うことにより発生するエコーと呼ばれる現象をキャンセルする処理を行う処理部を設けることができる。
【００３５】
なお、利用者１の視線と、表示部８に映し出される利用者２１の視線とのずれをできる限り小さくするために、表示部８と撮像カメラ６は、なるべく近接して配置するのが望ましい。また、表示部８と撮像カメラ６については、ハーフミラーを用いて撮像カメラ６が有するレンズのレンズ面の向きと表示部８の表示画面の向きとを合わせることにより、利用者１の視線と、表示部８に映し出される利用者２１の視線とのずれを小さくすることができる（特許文献２）。さらに、表示部８と撮像カメラ６としては、光透過状態と光錯乱状態を制御することができるスクリーンとプロジェクタを用い、時系列的に画像の表示と撮像とを行うことができる構成を採用することができる（特許文献３）。また、表示部８と撮像カメラ６としては、ホログラムスクリーンとプロジェクタを用いて、表示と撮像を同時に行うことができる構成を採用することができる（特許文献４）。
【００３６】
光源１３は、実空間４１に存在し、実空間４１内を照明する光を発する。
【００３７】
図１において、利用者１の通信相手側の利用者２１、情報処理装置２２、光源３３、実空間４２は、利用者１、情報処理装置２、光源１３、実空間４１にそれぞれ対応している。情報処理装置２２は、情報処理装置２を構成する検出部３、カメラ４−１,カメラ４−２、検出部５、撮像カメラ６、送信部７、表示部８、表示制御部９、画像生成部１０、受信部１１、情報記憶部１２とそれぞれ同様の、検出部２３、カメラ２４−１,カメラ２４−２、検出部２５、撮像カメラ２６、送信部２７、表示部２８、表示制御部２９、画像生成部３０、受信部３１、情報記憶部３２から構成されている。
【００３８】
従って、検出部２３は、検出部３と同様に、表示部２８の表示画面の前方の実空間４２の三次元情報を取得するが、この実空間４２の三次元情報を、三次元情報Ｃbと記載する。また、撮像カメラ２６は、撮像カメラ６と同様に、実空間４２内を撮像し、画像情報を出力するが、この画像情報を、画像情報Ｄbと記載する。
【００３９】
図２は、図１の情報処理装置２の動作を説明するフローチャートである。なお、情報処理装置２２でも、情報処理装置２と同様の処理が行われる。
【００４０】
図２の処理は、情報処理装置２と情報処理装置２２との間に通信リンクが確立されると開始される。
【００４１】
撮像カメラ６、および検出部３を構成するカメラ４−１とカメラ４−２それぞれは、実空間４１の撮像を開始し、その撮像により得られる利用者１および利用者１を取り巻く背景などの画像を出力する。カメラ４−１とカメラ４−２が出力する画像は、検出器５に供給される。撮像カメラ６が出力する画像は、画像情報Ｄaとして送信部７に供給され、ネットワーク４０を介して、情報処理装置２２に送信される。
【００４２】
そして、ステップＳ１において、検出器５は、カメラ４−１とカメラ４−２それぞれから供給された画像から、実空間４１の三次元情報Ｃaを生成し、送信部７と画像生成部１０に供給して、ステップＳ２に進む。なお、検出部５から送信部７に供給された三次元情報Ｃaは、ネットワーク４０を介して、情報処理装置２２に送信される。
【００４３】
ステップＳ２において、受信部１１は、情報処理装置２２を構成する送信部２７からネットワーク４０を介して送信されてくる三次元情報Ｃbおよび画像情報Ｄbを受信し、画像生成部１０に供給して、ステップＳ３に進む。即ち、情報処理装置２２でも、情報処理装置２と同様の処理が行われ、三次元情報Ｃbおよび画像情報Ｄbがネットワーク４０を介して、情報処理装置２２から情報処理装置２に送信されてくるので、受信部１１は、ステップＳ２において、その三次元情報Ｃbおよび画像情報Ｄbを受信する。
【００４４】
ステップＳ３において、情報記憶部１２は、記憶している光源１３の光源情報を画像生成部１０に供給して、ステップＳ４に進む。
【００４５】
ステップＳ４において、画像生成部１０は、ステップＳ１で検出器５から供給された三次元情報Ｃa、ステップＳ２で受信部１１から供給された三次元情報Ｃb、および画像情報Ｄb、並びにステップＳ３で情報記憶部１２から供給された光源情報に基づき、表示部８の表示画面の後方に実空間４２が位置していると仮定した場合に、実空間４１が実空間４２に及ぼす影響を反映した画像、即ち、例えば、光源１３により生じる利用者１の影などを反映させた画像信号を生成する影生成処理を行う。なお、ステップＳ４の影生成処理の詳細は後述する。
【００４６】
ステップＳ５において、画像生成部１０は、ステップＳ４で生成した画像信号を表示制御部９に供給して、ステップＳ６に進む。
【００４７】
ステップＳ６において、表示制御部９は、画像生成部１０から供給された画像信号を表示部８に供給し、その表示画面に表示させ、ステップＳ７に進む。
【００４８】
ステップＳ７において、送信部７または受信部１１が、情報処理装置２２との間の通信リンクが切断されたかどうかを判定する。ステップＳ７において、通信リンクが切断されていないと判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。また、ステップＳ７において、通信リンクが切断されたと判定された場合、処理を終了する。
【００４９】
なお、図２の処理において、ステップＳ１乃至Ｓ３それぞれの処理は時系列に処理されてもよいし、また、並列して処理されてもよい。
【００５０】
次に、図１の検出器５での三次元情報の検出に用いられるステレオ法について説明する。ステレオ法は、２つ以上の方向（異なる視線方向）からカメラで同一対象物を撮影して得られる複数の画像間の画素同士を対応付けることで、対応する画素間の視差情報や、カメラから対象物までの距離、対象物の形状を求めるものである。
【００５１】
即ち、例えば、いま、図１におけるカメラ４−１とカメラ４−２をそれぞれ基準カメラ４−１と検出カメラ４−２というものとして、その基準カメラ４−１および検出カメラ４−２で対象物を撮影すると、基準カメラ４−１からは対象物の投影像を含む基準カメラ画像が得られ、検出カメラ４−２からも対象物の投影像を含む検出カメラ画像が得られる。いま、図３に示すように、対象物上のある点Ｐが基準カメラ画像および検出カメラ画像の両方に表示されているとすると、その点Ｐが表示されている基準カメラ画像上の位置と、検出カメラ画像上の位置、つまり対応点とから、基準カメラ４−１と検出カメラ４−２との間の視差を求めることができ、さらに、三角測量の原理を用いて、点Ｐの三次元空間における位置（三次元位置）を求めることができる。
【００５２】
従って、ステレオ法では、まず、対応点を検出することが必要となるが、その検出方法としては，例えば、エピポーラライン（Epipolar Line）を用いたエリアベースマッチング法などがある。
【００５３】
即ち、図３に示すように、基準カメラ４−１においては、対象物上の点Ｐは、その点Ｐと基準カメラ４−１の光学中心（レンズ中心）Ｏ1とを結ぶ直線Ｌ上の、基準カメラ４−１の撮像面Ｓ1との交点ｎaに投影される。
【００５４】
また、検出カメラ４−２においては、対象物の点Ｐは、その点Ｐと検出カメラ４−２の光学中心（レンズ中心）Ｏ2とを結ぶ直線上の、検出カメラ４−２の撮像面Ｓ2との交点ｎbに投影される。
【００５５】
この場合、直線Ｌは、光学中心Ｏ1およびＯ2、並びにｎb（または点Ｐ）の３点を通る平面と、検出カメラ画像が形成される撮像面Ｓ2との交線Ｌ2として、撮像面Ｓ2上に投影される。点Ｐは、直線Ｌ上の点であり、従って、撮像面Ｓ2において、点Ｐを投影した点ｎbは、直線Ｌを投影した直線Ｌ2上に存在し、この直線Ｌ2が、エピポーララインと呼ばれる。即ち、点ｎaの対応点ｎbが存在する可能性のあるのは、エピポーララインＬ2上であり、従って、対応点ｎbの探索は、エピポーララインＬ2上を対象に行えば良い。
【００５６】
ここで、エピポーララインは、例えば、撮像面Ｓ1に形成される基準カメラ画像を構成する画素毎に考えることができるが、基準カメラ４−１と検出カメラ４−２の位置関係が既知であれば、その画素ごとに存在するエピポーララインは求めることができる。
【００５７】
エピポーララインＬ2上の点からの対応点ｎbの検出は、例えば、次のようなエリアベースマッチングによって行うことができる。
【００５８】
即ち、エリアベースマッチングでは、図４左に示すように、基準カメラ画像上の点ｎaを中心（例えば、対角線の交点）とする、例えば長方形状の小ブロックである基準ブロックが、基準カメラ画像から抜き出されるとともに、図４右に示すように、検出カメラ画像に投影されたエピポーララインＬ2上の、ある点を中心とする、基準ブロックと同一の大きさの小ブロックである検出ブロックが、検出カメラ画像から抜き出される。
【００５９】
ここで、図４右においては、エピポーララインＬ2上に、検出ブロックの中心とする点として、点ｎb1乃至ｎb6の６点が設けらている。この６点ｎb1乃至ｎb6は、図３に示した三次元空間における直線Ｌを、例えば１ｍなどの所定の一定距離ごとに区分する点、即ち、基準カメラ４−１からの距離が１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの点それぞれを、検出カメラ４−２の撮像面Ｓ2に投影した点で、従って、基準カメラ４−１からの距離が１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍ（距離の推定値）の点にそれぞれ対応している（この場合、距離分解能が１ｍであるということができる）。
【００６０】
エリアベースマッチングでは、検出カメラ画像から、エピポーララインＬ2上に設けられている点ｎb1乃至ｎb6それぞれを中心とする検出ブロックが抜き出され、各検出ブロックと、基準ブロックとの相関が、所定の評価関数を用いて演算される。そして、点ｎaを中心とする基準ブロックとの相関が最も高い検出ブロックの中心の点ｎaが、点ｎaの対応点として求められる。
【００６１】
ここで、評価関数（評価値）ｆ（ｘ，ｙ）としは、例えば、次式を採用することができる。
【００６２】
【数１】
2005078313.tif 000003
【００６３】
但し、式（１）において、（ｘ，ｙ）は、基準ブロックの中心点ｎaの座標を表し、（ｘ´，ｙ´）は、検出ブロックの中心点の座標を表す。さらに、ＹA（ｘ＋ｉ，ｙ＋ｊ）は、基準カメラ画像上の点（ｘ＋ｉ，ｙ＋ｊ）における画素の輝度を表し、ＹB（ｘ´＋ｉ，ｙ´＋ｊ）は、検出カメラ画像上の点（ｘ´＋ｉ，ｙ´＋ｊ）における画素の輝度を表す。また、Ｗは、基準ブロックおよび検出ブロックを表し、ｉ，ｊ∈Ｗは、点（ｘ＋ｉ，ｙ＋ｊ）または点（ｘ´＋ｉ，ｙ´＋ｊ）が、それぞれ、基準ブロックまたは検出ブロック内の点であることを表す。
【００６４】
なお、式（１）で表される評価値ｆ（ｘ，ｙ）は、基準カメラ画像上の所定の点（ｘ，ｙ）と、検出カメラ画像上の注目している点（ｘ´，ｙ´）との間の相関が大きいほど小さくなり、従って、評価値ｆ（ｘ，ｙ）を最も小さくする検出カメラ画像上の点（ｘ´，ｙ´）が、基準カメラ画像上の点（ｘ，ｙ）の対応点として求められる。
【００６５】
即ち、例えば、いま、評価関数として、例えば、式（１）に示したような、相関が高いほど小さな値をとる関数を用いた場合に、エピポーララインＬ2上に設けられている点ｎb1乃至ｎb6それぞれについて、例えば、図５に示すような評価値（評価関数の値）が得られたとする。ここで、図５においては、点ｎb1乃至ｎb6それぞれにあらかじめ付された、基準カメラ４−１からの距離に対応する距離番号を横軸として、各距離番号（に対応するエピポーララインＬ2上の点ｎb1乃至ｎb6）に対する評価値を、図示してある。
【００６６】
図５に示したような評価値でなる評価曲線が得られた場合には、評価値が最も小さい（相関が高い）距離番号３に対応するエピポーララインＬ2上の点が、点ｎaの対応点として検出される。なお、図５において、距離番号１乃至６に対応する点それぞれについて求められた評価値（図５において●印で示す）のうちの最小値付近のものを用いて補間を行い、評価値がより小さくなる点（図５において×印で示す３．３ｍに対応する点）を求めて、その点を、最終的な対応点として検出することも可能である。
【００６７】
図４では、上述したように、三次元空間における対象物上の点と、基準カメラ４−１の光学中心Ｏ1を結ぶ直線Ｌを所定の等距離ごとに区分する点を、検出カメラ４−２の撮像面Ｓ2に投影した点が設定されているが、この設定は、例えば、基準カメラ４−１および検出カメラ４−２のキャリブレーション時に行うことができる（キャリブレーションの方法は、特に限定されるものではない）。そして、このような設定を、基準カメラ４−１の撮像面Ｓ1を構成する画素ごとに存在するエピポーララインごとに行い、エピポーラライン上に設定された点（以下、適宜、設定点という）までの距離（基準カメラ４−１からの距離）に対応する距離番号と、基準カメラ４−１からの距離とを対応付ける距離番号／距離テーブルをあらかじめ作成しておけば、対応点となる設定点を検出し、その設定点に対応する距離番号を、距離番号／距離テーブルを参照して変換することで、即座に、基準カメラ４−１からの距離（対象物上の点までの距離の推定値）を求めることができる。即ち、いわば、対応点から、直接、距離を求めることができる。
【００６８】
一方、基準カメラ画像上の点ｎaについて、検出カメラ画像上の対応点ｎbを検出すれば、その２点ｎaおよびｎbの間の視差（視差情報）を求めることができる。さらに、基準カメラ４−１と検出カメラ４−２の位置関係が既知であれば、２点ｎaおよびｎbの間の視差から、三角測量の原理によって、対象物までの距離を求めることができる。視差から距離の算出は、所定の演算を行うことによって行うことができるが、あらかじめその演算を行っておき、視差ζと距離とを付ける視差／距離テーブルを、基準カメラ画像上のすべての画素について、あらかじめ作成しておけば、対応点を検出し、視差を求め、視差／距離テーブルを参照することで、やはり、即座に、基準カメラ４−１からの距離を求めることができる。なお、カメラの設置条件（位置関係）によっては、すべての画素に対して、同じ視差／距離テーブルが利用されるようにすることも可能である。さらに、すべての画素に対して、同じ視差／距離テーブルが利用されることができるように、画像が変換されるようにすることも可能である。
【００６９】
ここで、視差と、対象物までの距離とは一対一に対応するものであり、従って、視差を求めることと、対象物までの距離を求めることとは、いわば等価である。
【００７０】
なお、対応点から直接、距離を求める場合には、三次元空間における遠方の点に対応するエピポーラライン上の設定点ほど、隣接する設定点との間隔が狭くなる。従って、隣接する設定点との間隔が、検出カメラ画像の画素間の距離より小さい設定点では、求める距離の精度は劣化する。また、視差から距離を求める場合には、三次元空間における近い位置（基準カメラ４−１から近い位置）では、視差はあまり変化しない。そして、視差の最高精度は、基本的に画素単位であるから、視差から距離を求める場合には、三次元空間における近い位置までの距離を求めるにあたって、その距離の精度は劣化する。しかしながら、いずれの場合においても、画素より細かいサブピクセル単位で、設定点の設定や、対応点の検出を行うことで、精度の問題は解決することができる。
【００７１】
また、対応点の検出に、基準ブロックおよび検出ブロックといった複数画素でなるブロックを用いるのは、ノイズの影響を軽減し、基準カメラ画像上の画素（点）ｎaの周囲の画素のパターンの特徴と、検出カメラ画像上の対応点（画素）ｎbの周囲の画素のパターンの特徴との間の相関性を利用することにより、対応点の検出の確実を期すためであり、特に、変化の少ない基準カメラ画像および検出カメラ画像に対しては、画像の相関性により、ブロックの大きさを大きくすれば、対応点の検出の確実性を向上させることができる。
【００７２】
さらに、上述の場合には、基準ブロックと検出ブロックとの相関性を評価する評価関数として、式（１）で表される、基準ブロックを構成する画素と、それぞれの画素に対応する、検出ブロックを構成する画素の画素値の差分の絶対値の総和を用いるようにしたが、評価関数としては、その他、画素値の差分の自乗和や、正規化された相互相関（normalized cross correlation）などを用いることができる。
【００７３】
図６は、図１の画像生成部１０の構成例を示すブロック図である。なお、図１の画像生成部３０も、画像生成部１０と同様に構成される。
【００７４】
画像生成部１０は、三次元情報展開部６１、画素選択部６２、画素位置決定部６３、影情報生成部６４、および画素値設定部６５から構成されている。
【００７５】
三次元情報展開部６１には、検出部３を構成する検出器５から供給される三次元情報Ｃaおよび受信部１１から供給される利用者２１の三次元情報Ｃbが入力される。三次元情報展開部６１は、検出部３を構成する検出器５から供給される三次元情報Ｃaおよび受信部１１から供給される利用者２１の三次元情報Ｃbを、例えば、図１の表示部８の表示画面をＸＹ平面とするとともに、その表示画面に垂直な方向をＺ軸とする座標系（以下、適宜、表示座標系と称する）に展開し、その表示座標系に展開された三次元情報Ｃaおよび三次元情報Ｃbを、画素位置決定部６３と影情報生成部６４にそれぞれ供給する。即ち、画像生成部１０に供給される三次元情報Ｃaは、カメラ４−１を基準とする撮像座標系の座標で表されるものであり、画像生成部１０に供給される三次元情報Ｃbは、カメラ２４−１を基準とする撮像座標系の座標で表されるものであるため、三次元情報展開部６１は、三次元情報Ｃaと三次元情報Ｃbを、いずれも表示座標系の座標で表されるものに変換する。
【００７６】
画素選択部６２には、受信部１１からの利用者２１の画像情報Ｄbが供給される。画素選択部６２は、受信部１１から供給された利用者２１の画像情報Ｄbの各フレーム毎に注目画素を選択し、その注目画素を表す情報を画素位置決定部６３に供給する。
【００７７】
画素位置決定部６３は、三次元情報展開部６１から供給された表示座標系に展開された三次元情報Ｃbと、画素選択部６２から供給された注目画素とに基づき、注目画素に対応する表示座標系上の所定の位置（以下、適宜、対応位置という）を求め、影情報生成部６４に供給する。
【００７８】
影情報生成部６４は、三次元情報展開部６１から供給された三次元情報Ｃa、画素位置決定部６３から供給された対応位置、情報記憶部１２から供給された光源情報に基づき、表示部８の表示画面の後方に実空間４２が位置していると仮定した場合に、実空間４１が実空間４２に及ぼす影響、即ち、光源１３が照射する光によって表示部８の表示画面の後方に位置していると仮定した実空間４２内に生じる利用者１の影を推定し、その影の情報である影情報を画素値設定部６５に供給する。
【００７９】
画素値設定部６５には、受信部１１からの利用者２１の画像情報Ｄbと、影情報生成部６４からの影情報とが供給される。画素値設定部６５は、受信部１１から供給される利用者２１の画像情報Ｄbと、影情報生成部６４から供給された影情報とに基づき、画像情報Ｄbに影情報を反映した画像を生成し、表示制御部９に供給する。
【００８０】
ここで、実空間４２が、表示部８の表示画面の後方に位置していると仮定した場合に、実空間４１と、表示画面の後方に位置していると仮定した実空間４２とで構成される空間を、以下、適宜、実／仮想空間という。
【００８１】
図７は、実／仮想空間を示す模式図である。
【００８２】
図７の左上の図は、カメラ４−１を基準として定義される、Ｘa軸、Ｙa軸、およびＺa軸でなる撮像座標系Ａと実空間４１とを示している。同様に、図７の左下の図は、カメラ２４−１を基準として定義されるＸb軸、Ｙb軸、およびＺb軸でなる撮像座標系Ｂと実空間４２とを示している。検出部３で得られる実空間４１の三次元情報Ｃaは、例えば、実空間４１に存在する利用者１上の各点の撮像座標系Ａにおける座標等である。また、検出部２３で得られる実空間４２の三次元情報Ｃbは、例えば、実空間４２に存在する利用者２１上の各点の撮像座標系Ｂにおける座標等である。
【００８３】
図７の右の図は、図７の左上に示した実空間４１における表示部８の表示画面に表示された画像に射影された図７の右上に示した実空間４２が、その画像に映し出された状態で、表示部８の表示画面を境界として、その後方に位置していると仮定した場合に、その実空間４２と実空間４１で構成される実／仮想空間を示している。
【００８４】
実／仮想空間は、表示部８の表示画面を境界面として実空間４１と実空間４２とが仮想的に接続した空間である。従って、実／仮想空間が現実の空間であるとすれば、例えば、実空間４１に存在する光源１３により生じる利用者１の影が、表示部８の表示画面に対して実空間４１と対向する位置にある実空間４２に投影されることがありうる。
【００８５】
そこで、画像生成部１０は、三次元情報Ｃaと三次元情報Ｃb、および光源１３の光源情報に基づき、利用者２１の画像情報Ｄbに利用者１の影が投影された画像を生成する。これにより、表示部８には、利用者１の影が投影された利用者２１の画像が映し出される。同様にして、情報処理部２２を構成する画像生成部３０は、三次元情報Ｃaと三次元情報Ｃb、および光源３３の光源情報に基づき、利用者１の画像情報Ｄaに利用者２１の影が投影された画像を生成する。これにより、表示部２８には、利用者２１の影が投影された利用者１の画像が映し出される。
【００８６】
したがって、利用者１は、通信相手である利用者２１が、実際に、表示部８の表示画面の後方にいたならば視覚に映るであろう画像と同様の画像を、表示部８の表示画面上に観察することができ、利用者２１も、同様の画像を、表示部２８の表示画面上に観察することができる。その結果、利用者１と利用者２１は、お互いに、表示部８と表示部２８の表示画面を窓として、あたかも窓を介して会話しているような臨場感を感じながらコミュニケーションを図ることができる。
【００８７】
次に、図８を参照して、画像生成部１０による画像の生成の方法を説明する。なお、画像生成部３０でも、画像生成部１０における場合と同様にして、画像が生成される。
【００８８】
図８は、図７の右の図と同様に、実空間４１と、表示部８の表示画面の後方に実空間４２が位置していると仮定した場合の、その実空間４２とで構成される実／仮想空間を模式的に示している。即ち、図８は、表示部８と表示部２８の表示画面どうしを仮想的に背中合わせに配置して構成される実／仮想空間を示している。
【００８９】
図８の実／仮想空間上の点は、表示部８（または表示部２８）の表示画面を基準とする、Ｘ軸、Ｙ軸、Ｚ軸でなる表示座標系で表すことができる。そこで、画像生成部１０は、カメラ４−１を基準として定義される撮像座標系Ａで表される実空間４１の三次元情報Ｃaを、表示座標系で表される三次元情報Ｃaに座標変換（展開）する。同様に、画像生成部１０は、カメラ２４−１を基準として定義される撮像座標系Ｂで表される実空間４２の三次元情報Ｃbも、表示座標系で表される三次元情報Ｃbに座標変換する。
【００９０】
なお、カメラ４−１と表示部８との位置関係（カメラ２４−１と表示部２８との位置関係）は、あらかじめ求めておくことができ、この位置関係に基づいて、上述の座標変換を行うことができる。また、表示部８と表示部２８の表示画面の大きさが異なる場合には、あらかじめ正規化を行っておく。
【００９１】
画像生成部１０は、さらに、情報記憶部１２に記憶された光源情報から光源１３の表示座標系上の位置を求める。
【００９２】
そして、画像生成部１０は、受信部１１から供給された利用者２１の画像情報Ｄbを構成するフレームを順次、注目フレームとし、さらに、注目フレームを構成する画素を、順次、注目画素として選択する。
【００９３】
ここで、注目フレームの、例えば、ラスタスキャン順で、ｉ番目の画素をＩＢiと表すこととする。
【００９４】
いま、画素ＩＢiが注目画素として選択されたものとすると、画素生成部１０は、三次元情報Ｃbに基づき、注目画素ＩＢiに射影された実空間４２内の位置（点）ＰＢiの表示座標系の座標を求める。
【００９５】
ここで、位置（点）ＰＢiが、上述した、注目画素ＩＢiに対応する対応位置である。
【００９６】
その後、画像生成部１０は、対応位置ＰＢiと、光源情報から求められた光源１３の位置とを結ぶ直線Ｌiを求める。さらに、画像生成部１０は、三次元情報Ｃaに基づき、直線Ｌiが実空間４１内の利用者１と交差するかどうかを判定する。画像生成部１０は、直線Ｌiが実空間４１内の利用者１と交差する場合、注目画素ＩＢiは、利用者１の影の影響が生じる画素であるとして、注目画素ＩＢiの画素値を、影の影響を与えた値に変更する。一方、画像生成部１０は、直線Ｌiが実空間４１内の利用者１と交差しない場合、注目画素ＩＢiは、利用者１の影の影響が生じない画素であるとして、その画素値をそのままとする。
【００９７】
図９は、図２のステップＳ４の処理、即ち、図６の画像生成部１０（または画像生成部３０）が行う影生成処理を説明するフローチャートである。
【００９８】
ステップＳ１１において、三次元情報展開部６１は、検出器５から供給される実空間４１の三次元情報Ｃaを撮像座標系Ａから表示座標系のものに展開するとともに、受信部１１から供給される実空間４２の三次元情報Ｃbを、撮像座標系Ｂから表示座標系のものに展開する。さらに、三次元情報展開部６１は、表示座標系で表された三次元情報Ｃaを影情報生成部６４に供給するとともに、表示座標系で表された三次元情報Ｃbを画素位置決定部６３に供給して、ステップＳ１１からステップＳ１２に進む。
【００９９】
ステップＳ１２において、画素選択部６２は、受信部１１から供給された利用者２１の画像情報Ｄbのフレームを注目フレームとして、その注目フレームを構成する画素をカウントする変数ｉを１に初期化して、ステップＳ１３に進む。
【０１００】
ステップＳ１３において、画素選択部６２は、注目フレームを構成する画素のうちの、ラスタスキャン順でｉ番目の画素を、注目画素ＩＢiとして選択し、画素位置決定部６３に供給して、ステップＳ１４に進む。
【０１０１】
ステップＳ１４において、画素位置決定部６３は、三次元情報展開部６１からの三次元情報Ｃbに基づき、画素選択部６２により選択され供給された注目画素ＩＢiに対応する、実／仮想空間内の表示座標系上の対応位置ＰＢi（図８）を求め、影情報生成部６４に供給して、ステップＳ１５に進む。
【０１０２】
ステップＳ１５において、影情報生成部６４は、情報記憶部１２から供給された光源情報に基づき、実空間４１に存在する光源１３の表示座標系上の光源位置を求める。さらに、影情報生成部６４は、光源位置と画素位置決定部６３からの対応位置ＰＢiとを結ぶ直線Ｌi（図８）を求め、ステップＳ１５からステップＳ１６に進む。ステップＳ１６において、影情報生成部６４は、三次元情報展開部６１からの三次元情報Ｃaに基づき、直線Ｌiが、利用者１、さらには、実空間４１に存在するその他の実物体と交差するかどうかを判定する。
【０１０３】
ステップＳ１６において、影情報生成部６４は、直線Ｌiが利用者１その他の実物体と交差すると判定した場合、注目画素ＩＢiが影の影響を受ける旨の影情報を、画素値設定部６５に供給して、ステップＳ１７に進む。
【０１０４】
ここで、直線Ｌiが利用者１その他の実空間４１に存在する実物体と交差する場合、光源１３からの光が利用者１その他の実空間４１に存在する実物体に遮られ、利用者１その他の実空間４１に存在する実物体の影ができるということである。
【０１０５】
そこで、ステップＳ１７において、画素値設定部６５は、影情報生成部６４から影の影響を受ける旨の影情報が供給されると、受信部１１から供給される注目フレームの画像情報Ｄbを構成する注目画素ＩＢiの画素値を変更する。即ち、画素値設定部６５は、例えば、ＲＧＢ（Red Green Blue）値で、注目画素ＩＢiの画素値が表される場合、そのＲＧＢ値を減らし、減らされた注目画素ＩＢiの画素値を、注目画素ＩＢiの新しい画素値としてステップＳ１７からステップＳ１９に進む。このように、注目画素ＩＢiの画素値を減らすことにより、影の影響の分だけ暗くなった画像が表現される。なお、直線Ｌiが利用者１その他の実物体と交差する場合、その交差する位置が利用者１その他の実物体の周辺部であるとき、画素値を減らす量を少なくして、影の周辺部をぼかすような処理を採用することができる。
【０１０６】
一方、ステップＳ１６において、影情報生成部６４は、直線Ｌiが利用者１その他の実空間４１に存在する実物体と交差しないと判定した場合、注目画素ＩＢiが影の影響を受けない旨の影情報を、画素値設定部６５に供給して、ステップＳ１８に進む。ステップＳ１８において、画素値設定部６５は、影情報生成部６４から影の影響を受けない旨の影情報が供給されると、注目画素ＩＢiの画素値を、そのまま新しい画素値として、ステップＳ１９に進む。なお、注目画素ＩＢiの画素値がそのままとされることにより、影の影響を受けてない画像が表現される。
【０１０７】
ステップＳ１９において、画素選択部６２は、変数ｉが注目フレームの最終の画素を表しているかどうか、即ち、変数ｉが注目フレームを構成する画素数に等しいかどうかを判定する。ステップＳ１９において、変数ｉが注目フレームを構成する画素数に等しくないと判定された場合、ステップＳ２０に進み、画素選択部６２は、変数ｉを１だけインクリメントし、ステップＳ１３に戻り、以下同様の処理が繰り返される。一方、ステップＳ１９において、変数ｉが注目フレームを構成する画素数に等しいと判定された場合、新しい画素値で構成される注目フレームの画像が得られた場合、リターンして、図２のステップＳ５に進む。
【０１０８】
なお、上述したステップＳ１３乃至ステップＳ１８の処理は、各画素について独立に行われ、変数ｉを順次インクリメントして処理を行うのではなく、全画素（または、一部の画素）に対して、並列的に処理を行うようにすることも可能である。
【０１０９】
図２のステップＳ５では、以上のようにして得られた新しい画素値で構成される注目フレームの画素が、画像生成部１０から表示制御部９に供給される。
【０１１０】
以上から、利用者１（利用者２１）は、表示部８（表示部２８）の表示画面において、通信相手である利用者（利用者１）の環境に自分自身の影が映りこんだ画像を観察することができる。これにより、利用者１（利用者２１）は、表示部８（表示部２８）の表示画面があたかも通信相手である利用者２１（利用者１）との間にある「窓」であるように感じられ、通信相手が実際に目の前にいるような臨場感を感じながらコミュニケーションを図ることができる。
【０１１１】
図１０は、本発明を適用した通信システムの第２実施の形態の構成例を示すブロック図である。なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１１２】
図１０の通信システムは、基本的には、図１の通信システムと同様に構成されている。
【０１１３】
但し、図１の実施の形態では、情報処理装置２の表示部８に表示する画像を、情報処理装置２の画像生成部１０で生成するとともに、情報処理装置２２の表示部２８で表示する画像を、情報処理装置２２の画像生成部３０で生成するようになっていたが、図１０の実施の形態では、情報処理装置２の表示部８に表示する画像を、情報処理装置２２の画像処理装置３０で生成し、情報処理装置２２から情報処理装置２に送信するとともに、情報処理装置２２の表示部２８で表示する画像を、情報処理装置２の画像生成部１０で生成し、情報処理装置２から情報処理装置２２に送信するようになっている。
【０１１４】
即ち、図１０では、利用者２１の画像に利用者１の影を反映した画像（以下、適宜、影画像Ｅ1という）が、画像生成部１０ではなく、画像生成部３０で生成される。また、利用者１の画像に利用者２１の影を反映した画像（以下、適宜、影画像Ｅ21という）が、画像生成部３０ではなく、画像生成部１０で生成される。
【０１１５】
そして、図１０の実施の形態では、情報処理装置２は、情報処理装置２２から送信されてくる画像を、そのまま表示部８で表示し、情報処理装置２２は、情報処理装置２から送信されてくる画像を、そのまま表示部２８で表示するようになっている。
【０１１６】
このため、図１０においては、情報処理装置２を構成する撮像カメラ６は、実空間４１の撮像により得られた画像信号を、画像情報Ｄaとして画像生成部１０に供給する。
【０１１７】
送信部７は、検出部３を構成する検出器５から供給される利用者１の三次元情報Ｃa、情報記憶部１２に記憶された光源情報、画像生成部１０から供給される影画像Ｅ21を、ネットワーク４０を介して、情報処理装置２２を構成する受信部３１に送信する。
【０１１８】
表示制御部９は、受信部１１から供給される、情報処理装置２２から送信されてくる影画像Ｅ1に所定の処理を施して表示部８に供給して表示させる。
【０１１９】
画像生成部１０には、検出部３を構成する検出器５から利用者１の三次元情報Ｃaが、撮像カメラ６から画像情報Ｄaが、受信部１１から、情報処理装置２２から送信されてきた三次元情報Ｃbおよび光源３３の光源情報が、それぞれ供給される。画像生成部１０は、検出器５から供給される利用者１の三次元情報Ｃa、撮像カメラ６から供給される画像情報Ｄa、受信部１１から供給される三次元情報Ｃbおよび光源３３の光源情報を用いて、利用者１が表示された画像情報Ｄaに利用者２１の影が映しこまれた影画像Ｅ21を生成し、送信部７に供給する。
【０１２０】
受信部１１は、ネットワーク４０を介して、情報処理装置２２を構成する送信部２７から送信されてくる実空間４２の三次元情報Ｃb、光源３３の光源情報、利用者２１が表示された画像情報Ｄaに利用者１の影が映しこまれた影画像Ｅ1などを受信する。さらに、受信部１１は、三次元情報Ｃb、および光源３３の光源情報を、画像生成部１０に、影画像Ｅ1を表示制御部９に、それぞれ供給する。
【０１２１】
図１０において、図１の場合と同様に、利用者２１、情報処理装置２２、光源３３、実空間４２は、利用者１、情報処理装置２、光源１３、実空間４１にそれぞれ対応している。情報処理装置２２は、情報処理装置２を構成する検出部３、カメラ４−１,カメラ４−２、検出部５、撮像カメラ６、送信部７、表示部８、表示制御部９、画像生成部１０、受信部１１、情報記憶部１２とそれぞれ同様の、検出部２３、カメラ２４−１,カメラ２４−２、検出部２５、撮像カメラ２６、送信部２７、表示部２８、表示制御部２９、画像生成部３０、受信部３１、情報記憶部３２から構成されている。
【０１２２】
上述したように、図１０では、影画像Ｅ1が画像生成部１０ではなく、画像生成部３０で生成され、情報処理装置２２から情報処理装置２に送信されて、情報処理装置２で表示される。同様に、影画像Ｅ21が画像生成部３０ではなく、画像生成部１０で生成され、情報処理装置２から情報処理装置２２に送信されて、情報処理装置２２で表示される。
【０１２３】
いま、画像生成部１０と画像生成部３０のうちの、例えば、影画像Ｅ1を生成する画像生成部３０に注目すると、画像生成部３０において、影画像Ｅ1を生成するためには、情報処理装置２２で得られる三次元情報Ｃbおよび画像情報Ｄb他に、情報処理装置２で得られる（得られている）三次元情報Ｃaと光源１３の光源情報が必要である。また、情報処理装置２２の画像生成部３０で生成された影画像Ｅ1を、情報処理装置２の表示部８で表示するには、影画像Ｅ1を、情報処理装置２２から情報処理装置２に送信することが必要である。
【０１２４】
このため、情報処理装置２２では、情報処理装置２から三次元情報Ｃaと光源１３の光源情報を受信して、影画像Ｅ1を生成し、情報処理装置２に送信する画像送信処理が行われる。
【０１２５】
一方、情報処理装置２では、情報処理装置２２に、三次元情報Ｃaと光源１３の光源情報を送信し、情報処理装置２２から送信されてくる影画像Ｅ1を受信して表示部８に表示する画像受信処理が行われる。
【０１２６】
なお、情報処理装置２２による画像送信処理と、情報処理装置２による画像受信処理は、情報処理装置２において、影画像Ｅ1を表示するために行われる。従って、情報処理装置２２において、影画像Ｅ21を表示するためには、情報処理装置２において画像送信処理を行うとともに、情報処理装置２２において、画像受信処理を行う必要がある。即ち、情報処理装置２において、影画像Ｅ1を表示するとともに、情報処理装置２２において影画像Ｅ21を表示するために、情報処理装置２と情報処理装置２２のいずれにおいても、画像受信処理と画像送信処理が行われる。
【０１２７】
図１１は、図１０の情報処理装置２と情報処理装置２２が行う画像送信処理を説明するフローチャートである。なお、ここでは、情報処理装置２２で行われる画像送信処理として説明する。
【０１２８】
図１１の画像送信処理は、情報処理装置２と情報処理装置２２との間に通信リンクが確立されると開始される。
【０１２９】
ステップＳ３１において、受信部３１は、ネットワーク４０を介して、他の装置、即ち、情報処理装置２を構成する送信部７から送信されてくる実空間４１の三次元情報Ｃa、および光源１３の光源情報を受信することにより取得し、画像生成部３０に供給して、ステップＳ３２に進む。
【０１３０】
ステップＳ３２において、カメラ２４−１とカメラ２４−２は、実空間４２を撮像し、その結果得られる画像を、検出器２５に供給する。さらに、ステップＳ３２では、検出器２５は、カメラ２４−１とカメラ２４−２それぞれから供給された画像から、実空間４２の三次元情報Ｃbを検出することにより取得し、送信部２７と画像生成部３０に供給して、ステップＳ３３に進む。なお、検出部２５から送信部２７に供給された三次元情報Ｃbは、ネットワーク４０を介して、情報処理装置２に送信される。
【０１３１】
ステップＳ３３において、撮像カメラ２６は、実空間４２を撮像し、これにより、利用者２１および利用者２１を取り巻く背景などの画像を取得し、画像情報Ｄbとして画像生成部３０に供給して、ステップＳ３４に進む。
【０１３２】
ステップＳ３４において、画像生成部３０は、ステップＳ３１で受信部３１から供給された三次元情報Ｃaおよび光源１３の光源情報、ステップＳ３２で検出器２５から供給された三次元情報Ｃb、並びにステップＳ３３で撮像カメラ２６から供給された画像情報Ｄbに基づき、情報処理装置２を構成する表示部８の表示画面の後方に実空間４２が位置していると仮定した場合に、実空間４１が実空間４２に及ぼす影響を反映した画像を生成する処理、即ち、例えば、光源１３により生じる利用者１の影を反映させた画像信号を生成する影生成処理を、図６乃至図９で説明したようにして行う。さらに、画像生成部３０は、生成した画像信号である影画像Ｅ1を、送信部２７に供給して、ステップＳ３５に進む。なお、ステップＳ３４の影生成処理の詳細は、図９で説明したものと同様であるので、その説明は省略する。
【０１３３】
ステップＳ３５において、送信部２７は、画像生成部３０から供給された利用者１の影などを反映させた画像信号である影画像Ｅ1を、ネットワーク４０を介して、情報処理装置２を構成する受信部１１に送信して、ステップＳ３６に進む。
【０１３４】
ステップＳ３６において、送信部２７または受信部３１が、情報処理装置２との間の通信リンクが切断されたかどうかを判定する。ステップＳ３６において、通信リンクが切断されていないと判定された場合、ステップＳ３１に戻り、以下、同様の処理が繰り返される。また、ステップＳ３６において、通信リンクが切断されたと判定された場合、処理を終了する。
【０１３５】
なお、図１１の画像送信処理において、ステップＳ３１乃至Ｓ３３それぞれの処理は時系列に処理されてもよいし、また、並列して処理されてもよい。
【０１３６】
図１２は、図１０の情報処理装置２と情報処理装置２２が行う画像受信処理を説明するフローチャートである。なお、ここでは、情報処理装置２で行われる画像受信処理として説明する。
【０１３７】
図１２の画像受信処理は、情報処理装置２と情報処理装置２２との間に通信リンクが確立されると開始される。
【０１３８】
撮像カメラ６、および検出部３を構成するカメラ４−１とカメラ４−２それぞれは、実空間４１の撮像を開始し、その撮像により得られる実空間４１内の利用者１および利用者１を取り巻く背景などの画像を出力する。カメラ４−１とカメラ４−２が出力する画像は、検出器５に供給される。撮像カメラ６が出力する画像は、画像情報Ｄaとして画像生成部１０に供給される。
【０１３９】
ステップＳ４１において、検出器５は、カメラ４−１とカメラ４−２それぞれから供給された画像から、実空間４１の三次元情報Ｃaを検出し、送信部７に供給して、ステップＳ４２に進む。
【０１４０】
ステップＳ４２において、情報記憶部１２は、光源１３の光源情報を送信部７に供給する。
【０１４１】
ステップＳ４３において、送信部７は、検出器５から供給された三次元情報Ｃaと、情報記憶部１２から供給された光源１３の光源情報を、ネットワーク４０を介して、情報処理装置２２を構成する受信部３１に送信して、ステップＳ４４に進み、受信部１１は、情報処理装置２２から影画像Ｅ1が送信されてきたかどうかを判定する。
【０１４２】
ステップＳ４４において、情報処理装置２２から影画像Ｅ1が送信されてきていないと判定された場合、ステップＳ４４に戻り、以下、同様の処理を繰り返す。一方、ステップＳ４４において、情報処理装置２２から影画像Ｅ1が送信されてきたと判定された場合、即ち、図１１のステップＳ３５で、情報処理装置２２の送信部２７が影画像Ｅ1を送信した場合、ステップＳ４５に進み、受信部１１が、情報処理装置２２の送信部２７から送信されてきた影画像Ｅ1を受信し、表示制御部９に供給して、ステップＳ４６に進む。
【０１４３】
ステップＳ４６において、表示制御部９は、受信部１１から供給された影画像Ｅ1に所定の処理を施して表示部８に供給して表示させ、ステップＳ４７に進む。
【０１４４】
ステップＳ４７において、送信部７または受信部１１が、情報処理装置２２との間の通信リンクが切断されたかどうかを判定する。ステップＳ４７において、通信リンクが切断されていないと判定された場合、ステップＳ４１に戻り、以下、同様の処理が繰り返される。また、ステップＳ４１において、通信リンクが切断されたと判定された場合、処理を終了する。
【０１４５】
図１３を参照して、情報処理装置２２による図１１の画像送信処理と、情報処理装置２による図１２の画像受信処理について、さらに説明する。
【０１４６】
ステップＳ４１において、情報処理装置２の検出器５は、カメラ４−１とカメラ４−２それぞれから供給された画像から、実空間４１の三次元情報Ｃaを検出し、送信部７に供給して、ステップＳ４２に進む。
【０１４７】
ステップＳ４２において、情報記憶部１２は、光源１３の光源情報を送信部７に供給する。
【０１４８】
ステップＳ４３において、送信部７は、検出器５から供給された三次元情報Ｃa、情報記憶部１２から供給された光源１３の光源情報を、ネットワーク４０を介して、情報処理装置２２を構成する受信部３１に送信する。そして、ステップＳ４４に進み、受信部１１は、情報処理装置２２から影画像Ｅ1が送信されてきたかどうかを判定する。
【０１４９】
一方、情報処理装置２２の受信部３１は、ステップＳ３１において、情報処理装置２の送信部７がステップＳ４３で送信してくる三次元情報Ｃaおよび光源１３の光源情報を受信し、画像生成部３０に供給する。
【０１５０】
また、情報処理装置２２の検出部２３は、ステップＳ３２において、カメラ２４−１とカメラ２４−２から供給される画像から、実空間４２の三次元情報Ｃbを検出し、画像生成部３０に供給する。
【０１５１】
さらに、情報処理装置２２の撮像カメラ２６は、ステップＳ３３において、実空間４２を撮像して得られる画像情報Ｄbを画像生成部３０に供給する。
【０１５２】
そして、ステップＳ３４において、情報処理装置２２の画像生成部３０は、受信部３１から供給された三次元情報Ｃaおよび光源１３の光源情報、検出器２５から供給された三次元情報Ｃb、並びに撮像カメラ２６から供給された画像情報Ｄbに基づき、影画像Ｅ1を生成し、送信部２７に供給して、ステップＳ３５に進む。
【０１５３】
そして、送信部２７は、ステップＳ３５において、画像生成部３０から供給された影画像Ｅ1を情報処理装置２を構成する受信部１１に送信し、ステップＳ３６に進む。
【０１５４】
これを受けて、情報処理装置２の受信部１１では、ステップＳ４４において、情報処理装置２２から影画像Ｅ1が送信されてきたと判定され、ステップＳ４５に進み、その影画像Ｅ1が受信され、表示制御部９に供給される。
【０１５５】
そして、ステップＳ４６において、情報処理装置２の表示制御部９は、受信部１１から供給された影画像Ｅ1に所定の処理を施して表示部８に供給して表示させ、ステップＳ４７に進む。
【０１５６】
ステップＳ３６とステップＳ４７において、情報処理装置２と情報処理装置２２との間の通信リンクが切断されたかどうかが判定され、通信リンクが切断されていないと判定された場合、ステップＳ３１とステップＳ４１に戻り、情報処理装置２と情報処理装置２２は、それぞれ同様の処理を繰り返す。また、ステップＳ３６とステップＳ４７において、通信リンクが切断されたと判定された場合、情報処理装置２と情報処理装置２２は、処理を終了する。
【０１５７】
図１０の実施の形態においても、表示部８には影画像Ｅ1が表示され、表示部２８には影画像Ｅ21が表示されるので、通信相手が実際に目の前にいるような臨場感を感じながら相互にコミュニケーションを図ることができる。
【０１５８】
また、画像生成部１０や画像生成部３０では、特殊なセンサ等の機器を必要とせず、単に画像処理を行うだけで、即ち、安価かつ簡単な構成で臨場感あふれる画像を生成することができる。
【０１５９】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１６０】
上述した一連の処理をソフトウェアで実行させる場合、画像生成部１０や画像生成部３０は、例えば、図１４に示されるようなコンピュータなどとして構成することが可能である。
【０１６１】
即ち、図１４は、コンピュータのベースとして構成した情報処理装置２（または情報処理装置２２）の構成例を示している。
【０１６２】
図１４において、CPU（Central Processing Unit）７１は、ROM（Read Only Memory）７２に記憶されているプログラム、または記憶部７８からRAM（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。
【０１６３】
RAM７３にはまた、CPU７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６４】
CPU７１、ROM７２、およびRAM７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【０１６５】
入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、および通信部７９が接続されている。
【０１６６】
入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク８３、光ディスク８４、光磁気ディスク８５、或いは半導体メモリ８６が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【０１６７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、図１４のコンピュータに、プログラム格納媒体からインストールされる。
【０１６８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１４に示すように、磁気ディスク８３（フロッピディスクを含む）、光ディスク８４（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク８５（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリ８６などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるROM７２や、記憶部７８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１６９】
さらに、入出力インタフェース７５には、カメラ８０と検出部８１が接続されている。
【０１７０】
図１４において、出力部７７、記憶部７８、通信部７９、カメラ８０、検出部８１は、図１の表示部８、情報記憶部１２、送信部７および受信部１１、撮像カメラ６、検出部３にそれぞれ対応する。
【０１７１】
検出部８１は、検出部３を構成するカメラ４−１,カメラ４−２、検出器５とそれぞれ同様のカメラ８１−１とカメラ８１−２、検出器８１−３から構成されている。
【０１７２】
ＣＰＵ７１は、記憶部７８にインストールされているプログラムを実行することにより、画像生成部１０が行う処理を実行する。
【０１７３】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１７５】
なお、検出部３は、上述した構成の他、例えば、三次元情報を検出することができる１台のカメラから供給される画像により三次元情報を検出する構成とすることができる。即ち、例えば、レンズで撮像することができる範囲である画角や、レンズに入射した平行光線が一点に集光しない、色がにじむ、像がゆがむといった収差の度合いなどが、カメラのパラメータとしてあらかじめ得ることができる場合、たとえば、撮像された人の頭などの被写体の大きさから、その被写体が位置する地点までの距離を推測することができ、さらに、撮像画像内に映っている相対的な被写体の位置から、実際に被写体が位置する地点の方向を推測することができる。撮像された被写体の距離と方向を求めることができれば、被写体の三次元空間上の位置を求めることができる。
【０１７６】
さらに、検出部３の構成としては、例えば、レーザを照射することにより、三角測量で物体の位置を計測する構成を採用することもできる。
【０１７７】
また、撮像カメラ６は、検出部３を構成するカメラ４−１とカメラ４−２のうちの１つのカメラと兼用することができる。
【０１７８】
なお、情報処理装置２において、影生成処理に用いる光源情報としては、実際の光源１３の光源情報ではなく、仮想的な光源の光源情報を採用することができる。また、本実施の形態にでは、光源１３の光源情報を、情報記憶部１２にあらかじめ記憶させておくようにしたが、光源１３の光源情報は、検出することが可能である。
【０１７９】
即ち、検出器５では、カメラ４−１とカメラ４−２により撮像された画像に光源１３が撮像されている場合、その光源１３の三次元情報を検出し、その三次元情報を光源情報として画像生成部１０に供給することができる。さらに、検出器５では、カメラ４−１とカメラ４−２により撮像された画像に光源１３が撮像されていない場合には、例えば、光源１３の光により利用者１の周囲に投影されている影などから光源１３の位置などの三次元情報を推定し、その三次元情報を光源情報として画像生成部１０に供給することができる。
【０１８０】
本発明は、例えば、テレビジョン会議システム、テレビジョン電話システム、その他の画像をやりとりしながら、コミュニケーションを図るツールに適用することができる。
【図面の簡単な説明】
【０１８１】
【図１】本発明を適用した通信システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１の情報処理装置２の動作を説明するフローチャートである。
【図３】ステレオ法を説明する図である。
【図４】ステレオ法を説明する図である。
【図５】距離と評価値との関係を示す図である。
【図６】図１の画像生成部１０の構成例を示すブロック図である。
【図７】実／仮想空間を説明する模式図である。
【図８】画像生成部１０の処理を説明する図である。
【図９】画像生成部１０（画像生成部３０）の影生成処理を説明するフローチャートである。
【図１０】本発明を適用した通信システムの第２実施の形態の構成例を示す図である。
【図１１】図１０の情報処理装置２２の画像送信処理を説明する図である。
【図１２】図１０の情報処理装置２の画像受信処理を説明する図である。
【図１３】図１１の画像送信処理と図１２の画像受信処理との対応関係を説明する図である。
【図１４】情報処理装置２を実現するコンピュータのハードウェア構成例を示すブロック図である。
【符号の説明】
【０１８２】
１  利用者，  ２  画像処理装置，  ３  検出部，  ４−１  カメラ，  ４−２  カメラ，  ５  検出器，  ６  撮像カメラ，  ７  送信部，  ８  表示部，  ９  表示制御部，  １０  画像生成部，  １１  受信部，  １２  情報記憶部，  １３  光源，  ２１  利用者，  ２２  情報処理装置２３  検出部，  ２４−１  カメラ，  ２４−２  カメラ，  ２５  検出器，  ２６  撮像カメラ，  ２７  送信部，  ２８  表示部，  ２９  表示制御部，  ３０  画像生成部，  ３１  受信部，  ３２  情報記憶部，  ３３  光源，  ４０  ネットワーク，  ４１  実空間，  ４２  実空間，  ６１  三次元情報展開部，  ６２  画素選択部，  ６３  画素位置決定部，  ６４  影情報生成部，  ６５  画素値設定部，  ７１  ＣＰＵ，  ７２  ＲＯＭ，  ７３  ＲＡＭ，  ７４  バス，  ７５  入出力インタフェース，  ７６  入力部，  ７７  出力部，  ７８  記憶部，  ７９  通信部，  ８０  カメラ，  ８１  検出部，  ８１−１  カメラ，  ８１−２  カメラ，  ８１−３  検出器，  ８２  ドライブ，  ８３  磁気ディスク，  ８４  光ディスク，  ８５  光磁気ディスク，  ８６  半導体メモリ
【図１】
2005078313.tif 000004
【図２】
2005078313.tif 000005
【図３】
2005078313.tif 000006
【図４】
2005078313.tif 000007
【図５】
2005078313.tif 000008
【図６】
2005078313.tif 000009
【図７】
2005078313.tif 000010
【図８】
2005078313.tif 000011
【図９】
2005078313.tif 000012
【図１０】
2005078313.tif 000013
【図１１】
2005078313.tif 000014
【図１２】
2005078313.tif 000015
【図１３】
2005078313.tif 000016
【図１４】
2005078313.tif 000017