(57)【特許請求の範囲】
【請求項１】
異なる地点にいて相互の通信を行う第１の話者と第２の話者のうち、該第１の話者を含む立体の映像を表示して該第２の話者によって観察される第１の表示装置と、
前記第１の話者と通信を行う前記第２の話者を含む立体の映像を表示して該第１の話者によって観察される第２の表示装置と、
前記第１の表示装置に表示された第１の話者と前記第２の表示装置に表示された第２の話者との間の通信情報の送受信を行う通信手段とを備え、
同じ地点にいない前記第１と第２の話者同士が前記第１及び第２の表示装置を介して同じ空間を共有するがごとくに通信をする空間共有通信システムにおいて、
前記第１、第２の話者及びこの近傍の対象物体については、撮影手段で撮影した映像信号の３次元構造情報を前記第１、第２の表示装置に立体表示し、
前記第１、第２の話者の近傍外の対象物体については、前記撮影手段又は他の撮影手段で撮影した映像信号の３次元構造情報を平面で近似して表現し、前記第１、第２の表示装置に、舞台装置の書割りのように配置して表示することを特徴とする映像表示方法。
【請求項２】
異なる地点にいて相互の通信を行う第１の話者と第２の話者のうち、該第１の話者を含む立体の映像を表示して該第２の話者によって観察される第１の表示装置と、
前記第１の話者と通信を行う前記第２の話者を含む立体の映像を表示して該第１の話者によって観察される第２の表示装置と、
前記第１の表示装置に表示された第１の話者と前記第２の表示装置に表示された第２の話者との間の通信情報の送受信を行う通信手段とを備え、
同じ地点にいない前記第１と第２の話者同士が前記第１及び第２の表示装置を介して同じ空間を共有するがごとくに通信をする空間共有通信システムにおいて、
前記第１、第２の話者及びこの近傍の対象物体については、撮影手段で撮影した映像信号の３次元構造情報を前記第１、第２の表示装置に立体表示させる第１の映像処理装置と、
前記第１、第２の話者の近傍外の対象物体については、前記撮影手段又は他の撮影手段で撮影した映像信号の３次元構造情報から、該近傍外の対象物体の形状の平面近似パラメータを算出することによって該映像信号の共有空間構築用構造情報を抽出し、該構造情報を前記第１、第２の表示装置に、舞台装置の書割りのように配置して表示させる第２の映像処理装置とを、備えたことを特徴とする映像表示装置。
【請求項３】
請求項２記載の映像表示装置において、
前記第２の映像処理装置は、
前記第１、第２の話者の近傍外の対象物体の第１画像を撮影して映像信号である第１画像データを出力する第１画像撮影手段と、
前記第１画像撮影手段から所定の基線長だけ離れて配置され、前記近傍外の対象物体の第２画像を撮影して映像信号である第２画像データを出力する第２画像撮影手段と、
前記第１画像データを一時格納する第１画像用格納手段と、
前記第２画像データを一時格納する第２画像用格納手段と、
前記第１及び第２画像用格納手段から前記第１及び第２画像データを読み出して前記近傍外の対象物体の形状の平面近似パラメータを算出することによって前記映像信号の共有空間構築用構造情報を抽出する平面パラメータ算出手段とを、備えたことを特徴とする映像表示装置。
【請求項４】
請求項３記載の映像表示装置において、
前記平面パラメータ算出手段は、
前記第１画像用格納手段から前記第１画像データを読み出して該第１画像の特徴を表す第１行列を算出する第１行列算出手段と、
前記第１及び第２画像用格納手段から前記第１及び第２画像データを読み出して該第１画像及び第２画像の特徴を表す第２行列を算出する第２行列算出手段と、
前記第１及び第２行列から前記第１、第２の話者の近傍外の対象物体の形状の平面パラメータの更新項を算出する更新項算出手段と、
前記更新項に基づき前記平面パラメータを更新して該更新値を格納する平面パラメータ格納手段と、
前記平面パラメータ格納手段から前記更新値を読み出して前記第１及び第２画像間の視差を算出する視差算出手段と、
前記視差及び前記第１、第２画像データから誤差を求め、該誤差から収束判定を行つて該判定結果が収束しているときに、前記平面パラメータ格納手段から読み出した前記平面パラメータの更新値を前記近傍外の対象物体の形状の平面近似パラメータとして出力する収束判定手段とを、備えたことを特徴とする映像表示装置。
【請求項５】
請求項４記載の映像表示装置において、
前記第１行列算出手段は、前記第１画像の画素値の勾配値と、前記第１画像撮影手段と前記第２画像撮影手段との間の前記基線長と、前記第１画像上の座標値と、前記第１画像撮影手段と前記第２画像撮影手段の焦点距離とから、前記第１行列を算出する構成にしたことを特徴とする映像表示装置。
【請求項６】
請求項４記載の映像表示装置において、
前記第２行列算出手段は、前記第１画像の画素値の勾配値と、前記第１画像撮影手段と前記第２画像撮影手段との間の前記基線長と、前記第１画像上の座標値と、前記第１画像撮影手段と前記第２画像撮影手段の焦点距離と、前記第１画像の画素値と、前記第２画像の画素値と、前記第１及び第２画像の視差とから、前記第２行列を算出する構成にしたことを特徴とする映像表示装置。
【請求項７】
請求項４記載の映像表示装置において、
前記更新項算出手段は、前記第１行列算出手段に格納された前記第１行列が特異であっても妥協解を算出することのできる特異値分解法によって前記平面パラメータの更新項を算出する構成にしたことを特徴とする映像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号の共有空間構築用構造情報を抽出する等して立体映像を簡易に表示し、空間共有コミュニケーションの高能率化を図る映像表示方法及び映像表示装置に関するものである。
【０００２】
【従来の技術】
同じ場所にいない者同士があたかも同じ場所にいるかのごとく通信をする際に（即ち、同じ地点にいない者同士が同じ空間を共有するがごとくに通信をする際に）、共有する空間を共有空間と呼ぶ。従来、このような共有空間内の映像は例えばコンピュータグラフィックスで表現されていたが、最近ではコンピュータの高速化に伴い、実写映像を取り入れる試みが増えてきた。共有空間において通信をする人が臨場感を感じるためには、映像が３次元構造を持って表現（表示）されていることが必要である。
【０００３】
従来、このような映像表示方法あるいは映像表示装置としては、例えば、次のような文献に記載されるものがあった。
文献： 日本バーチャルリアリティ学会第３回大会論文集、 ３（1998-8）
横光澄男、大隅隆史、竹村治雄、横矢直和 「多視点ステレオ実画像を用いた仮想空間の構築に関する一検討」 P.223-224
【０００４】
図２は、前記文献に記載された従来の映像表示装置の構成を示すブロック図である。
この映像表示装置は、撮影装置で撮影された映像信号の共有空間構築用構造情報を抽出する映像処理装置１０と、抽出された構造情報に基づき、３次元（立体）の映像を表示する表示装置２０とを備えている。映像処理装置１０は、対象物体（オブジェクト）の左画像Ｓ１l を撮影する左画像撮影装置１１−１と、真中画像Ｓ１b を撮影する真中画像撮影装置１１−２と、右画像Ｓ１r を撮影する右画像撮影装置１１−３と、画像の補正・特徴領域抽出装置１２−１〜１２−３と、特徴領域での対応点探索・視差マップの作成装置１３−１，１３−２と、特徴領域での視差マップの統合装置１４と、視差マップの補間・３次元情報の生成装置１５とから構成されている。
【０００５】
このような構成の映像表示装置では、対象物体の左画像Ｓ１ｌ  が左画像撮影装置１１−１に撮影され、この撮影された映像信号Ｓ１１−１が画像の補正・特徴領域抽出装置１２−１へ送られ、この装置１２−１で抽出された信号Ｓ１２−１が、特徴領域での対応点探索・視差マップの作成装置１３−１へ送られる。対象物体の真中画像Ｓ１ｂ  は、真中画像撮影装置１１−２に撮影され、この撮影された映像信号Ｓ１１−２が画像の補正・特徴領域抽出装置１２−２へ送られ、この装置１２−２で抽出された信号Ｓ１２−２ａ，Ｓ１２−２ｂが、特徴領域での対応点探索・視差マップの作成装置１３−１，１３−２へ送られる。さらに、対象物体の右画像Ｓ１ｒ  は、右画像撮影装置１１−３に撮影され、この撮影された映像信号Ｓ１１−３が画像の補正・特徴領域抽出装置１２−３へ送られ、この装置１２−３で抽出された信号Ｓ１２−３が、特徴領域での対応点探索・視差マップの作成装置１３−２へ送られる。特徴領域での対応点探索・視差マップの作成装置１３−１，１３−２の出力信号Ｓ１３−１，Ｓ１３−２は、特徴領域での視差マップの統合装置１４へ送られ、この装置１４で統合された信号Ｓ１４が視差マップの補間・３次元情報の生成装置１５へ送られ、この装置１５の出力信号Ｓ１５が最終出力となって表示装置２０へ送られる。
【０００６】
ここで、画像の補正・特徴領域抽出装置１２−１〜１２−３においては、各撮影装置１１−１〜１１−３から送られてきた映像信号Ｓ１１−１〜Ｓ１１−３を入力し、原画像のレンズ歪を補正し、エッジ領域を特徴領域として抽出を行い、これらの抽出信号Ｓ１２−１，Ｓ１２−２ａ，Ｓ１２−２ｂ，Ｓ１２−３を出力する。特徴領域での対応点探索・視差マップの作成装置１３−１，１３−２においては、抽出信号Ｓ１２−１，Ｓ１２−２ａ，Ｓ１２−２ｂ，Ｓ１２−３を入力し、テンプレートマッチングによって対応点の検索を行い、この検索結果の信号Ｓ１３−１，Ｓ１３−２を出力する。特徴領域での視差マップの統合装置１４において、真中画像撮影装置１１−２の座標系に合わせて座標変換を行い、座標系を一致させ、この一致させた信号Ｓ１４を出力する。視差マップの補間・３次元情報の生成装置１５では、信号Ｓ１４を入力し、エッジ領域のみの３次元情報を線形補間を用いて密な面の情報に変換し、この変換した信号Ｓ１５を出力する。この出力信号Ｓ１５は、表示装置２０によって３次元の立体映像が表示される。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の映像表示装置では、映像信号の共有空間構築用構造情報を抽出して表示装置２０で立体映像を表示するようになっているので、次のような課題があった。
対象物体が複数個ある場合、これらの各対象物体の３次元構造情報を映像処理装置１０によって画一的に忠実に取得しようとしたため、この映像処理装置１０を例えばコンピュータで構成した場合、その取得及び再構成する際に該コンピュータに多大な負荷を掛けていた。そのため、共有空間において通信するために最も重要である通信者やその近傍の対象物体の３次元構造情報を表示装置２０で充分に表現できないといった課題があった。
本発明は、前記従来技術がもっていた課題を解決し、共有空間コミュニケーションの高能率化を図った映像表示方法及び映像表示装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記課題を解決するために、本発明のうちの第１の発明は、異なる地点にいて相互の通信を行う第１の話者と第２の話者のうち、該第１の話者を含む立体の映像を表示して該第２の話者によって観察される第１の表示装置と、前記第１の話者と通信を行う前記第２の話者を含む立体の映像を表示して該第１の話者によって観察される第２の表示装置と、前記第１の表示装置に表示された第１の話者と前記第２の表示装置に表示された第２の話者との間の通信情報の送受信を行う通信手段とを備え、同じ地点にいない前記第１と第２の話者同士が前記第１及び第２の表示装置を介して同じ空間を共有するがごとくに通信をする空間共有通信システムの映像表示方法において、次のような手段を講じている。
即ち、この第１の発明において、前記第１、第２の話者及びこの近傍の対象物体については、撮影手段で撮影した映像信号の３次元構造情報を前記第１、第２の表示装置に立体表示し、前記第１、第２の話者の近傍外の対象物体については０前記撮影手段又は他の撮影手段で撮影した映像信号の３次元構造情報を平面で近似して表現し、前記第１、第２の表示装置に、舞台装置の書割りのように配置して表示するようにしている。
このような構成を採用したことにより、異なる地点にいて相互の通信を行う第１と第２の話者と、これらの近傍の対象物体については、第１及び第２の表示装置でそれぞれ立体表示される。第１及び第２の話者から離れた対象物体については、この３次元構造情報が平面で近似されて表現され、第１及び第２の表示装置に、舞台装置の書割りのように配置して表示される。
【０００９】
第２の発明では、異なる地点にいて相互の通信を行う第１の話者と第２の話者のうち、該第１の話者を含む立体の映像を表示して該第２の話者によって観察される第１の表示装置と、前記第１の話者と通信を行う前記第２の話者を含む立体の映像を表示して該第１の話者によって観察される第２の表示装置と、前記第１の表示装置に表示された第１の話者と前記第２の表示装置に表示された第２の話者との間の通信情報の送受信を行う通信手段とを備え、同じ地点にいない前記第１と第２の話者同士が前記第１及び第２の表示装置を介して同じ空間を共有するがごとくに通信をする空間共有通信システムの映像表示装置において、次のような手段を備えている。
即ち、この第２の発明において、前記第１、第２の話者及びこの近傍の対象物体については、撮影手段で撮影した映像信号の３次元構造情報を前記第１、第２の表示装置に立体表示させる第１の映像処理装置と、前記第１、第２の話者の近傍外の対象物体については、前記撮影手段又は他の撮影手段で撮影した映像信号の３次元構造情報から、該近傍外の対象物体の形状の平面近似パラメータを算出することによって該映像信号の共有空間構築用構造情報を抽出し、該構造情報を前記第１、第２の表示装置に、舞台装置の書割りのように配置して表示させる第２の映像処理装置とを、備えている。
【００１０】
このような構成を採用したことにより、第１、第２の話者及びこの近傍の対象物体については、第１の映像処理装置によって立体表示される。第１、第２の話者から離れた対象物体については、この３次元構造情報から第２の映像処理装置によってその対象物体の形状の平面近似パラメータが算出されて共有空間構築用構造情報が抽出され、第１、第２の表示装置に、舞台装置の書割りのように配置して表示される。
【００１１】
第３の発明では、第２の発明の映像表示装置において、前記第２の映像処理装置は、前記第１、第２の話者の近傍外の対象物体の第１画像を撮影して映像信号である第１画像データを出力する第１画像撮影手段と、前記第１画像撮影手段から所定の基線長だけ離れて配置され、前記近傍外の対象物体の第２画像を撮影して映像信号である第２画像データを出力する第２画像撮影手段と、前記第１画像データを一時格納する第１画像用格納手段と、前記第２画像データを一時格納する第２画像用格納手段と、前記第１及び第２画像用格納手段から前記第１及び第２画像データを読み出して前記近傍外の対象物体の形状の平面近似パラメータを算出することによって前記映像信号の共有空間構築用構造情報を抽出する平面パラメータ算出手段とを、備えている。
このような構成を採用したことにより、第１、第２の話者の近傍外の対象物体の第１画像は第１画像撮影手段で撮影され、その近傍外の対象物体の第２画像が第２画像撮影手段で撮影され、これらの撮影された第１、第２画像データが第１、第２画像用格納手段にそれぞれ格納される。第１及び第２画像用格納手段から平面パラメータ算出手段によって第１及び第２画像データが読み出され、第１、第２の話者の近傍外の対象物体の形状の平面近似パラメータが算出され、共有空間構築用構造情報が抽出される。
【００１２】
第４の発明では、第３の発明の映像表示装置において、前記平面パラメータ算出手段は、前記第１画像用格納手段から前記第１画像データを読み出して該第１画像の特徴を表す第１行列を算出する第１行列算出手段と、前記第１及び第２画像用格納手段から前記第１及び第２画像データを読み出して該第１画像及び第２画像の特徴を表す第２行列を算出する第２行列算出手段と、前記第１及び第２行列から前記第１、第２の話者の近傍外の対象物体の形状の平面パラメータの更新項を算出する更新項算出手段と、前記更新項に基づき前記平面パラメータを更新して該更新値を格納する平面パラメータ格納手段と、前記平面パラメータ格納手段から前記更新値を読み出して前記第１及び第２画像間の視差を算出する視差算出手段と、前記視差及び前記第１、第２画像データから誤差を求め、該誤差から収束判定を行って該判定結果が収束しているときに、前記平面パラメータ格納手段から読み出した前記平面パラメータの更新値を前記近傍外の対象物体の形状の平面近似パラメータとして出力する収束判定手段とを、備えている。
このような構成を採用したことにより、第１行列算出手段によって第１画像の特徴を表わす第１行列が算出され、第２行列算出手段によって第１画像及び第２画像の特徴を表す第２行列が算出される。算出された第１及び第２行列から更新項算出手段によって平面パラメータの更新項が算出され、この算出された更新項に基づき、平面パラメータ格納手段によって平面パラメータが更新されて格納される。平面パラメータ格納手段から視差算出手段によって更新値が読み出されて第１及び第２画像間の視差が算出される。視差及び第１、第２画像データから収束判定手段によって誤差が求められ、この誤差から収束判定が行われ、該判定結果が収束しているときには、平面パラメータ格納手段から読み出された平面パラメータの更新値が平面近似パラメータとして出力される。
【００１３】
第５の発明では、第４の発明の映像表示装置において、前記第１行列算出手段は、前記第１画像の画素値の勾配値と、前記第１画像撮影手段と前記第２画像撮影手段との間の前記基線長と、前記第１画像上の座標値と、前記第１画像撮影手段と前記第２画像撮影手段の焦点距離とから、前記第１行列を算出する構成にしている。
【００１４】
第６の発明では、第４の発明の映像表示装置において、前記第２行列算出手段は、前記第１画像の画素値の勾配値と、前記第１画像撮影手段と前記第２画像撮影手段との間の前記基線長と、前記第１画像上の座標値と、前記第１画像撮影手段と前記第２画像撮影手段の焦点距離と、前記第１画像の画素値と、前記第２画像の画素値と、前記第１及び第２画像の視差とから、前記第２行列を算出する構成にしている。
【００１５】
第７の発明では、第４の発明の映像表示装置において、前記更新項算出手段は、前記第１行列算出手段に格納された前記第１行列が特異であっても妥協解を算出することのできる特異値分解法によって前記平面パラメータの更新項を算出する構成にしている。
【００１６】
【発明の実施の形態】
実施形態の原理
図３（ａ），（ｂ）は、本発明の実施形態の説明に用いる共有空間を表す図である。
この図３（ａ），（ｂ）では、立体映像を表示する第１及び第２の表示装置３０−１，３０−２を用いて、同一地点にいない第１の話者（例えば、女の子）３１−１と第２の話者（例えば、男の子）３１−２とが通信手段３２を介して通信をしていることを表している。第１、第２の表示装置３０−１，３０−２は、例えば、２眼式立体表示装置のスクリーンで構成され、左眼用と右眼用の画像信号を時分割し、この時分割画像信号を投光器（プロジェクタ）に入力し、この投光器でスクリーンに左眼用画像と右眼用画像とを交互に表示し、シャッタ眼鏡等を用いてスクリーンを観察することにより、立体像を見ることができる構成になっている。
【００１７】
第１の話者３１−１は第１の表示装置３０−１に立体的に表示されており、この第１の話者３１−１の非常に近くにある対象物体（例えば、立方体）３１−３も、３次元構造情報をほぼ保って表示されている。また、対象物体（例えば、木３１−４，３１−５、家３１−６）は、第１の話者３１−１と相対的に遠い距離のところに存在するため、３次元的構造情報を完全に復元するのではなく、平面で近似しても臨場感はあまり損なわれない。従って、図３（ｂ）のように、板に写真を張って舞台装置の書割りのように空間に配置することにより、共有空間を簡易にかつ臨場感を保って構築することができる。この場合、各対象物体（例えば、木３１−４，３１−５、家３１−６）を平面近似し、この平面近似したパラメータを求めることは非常に重要な技術である。以下、その平面近似パラメータを求める方法について説明する。
【００１８】
図４は、本発明の実施形態の説明に用いる立体（ステレオ）座標系を表す図である。
図４のステレオ座標系は、互いに直交するＸ軸、Ｙ軸及びＺ軸で表され、該Ｘ軸上において所定間隔離れた２つの視点Ｏ，Ｂから、例えば平面（Plane）から なる対象物体３１上の１点（これを３次元座標（Ｘ，Ｙ，Ｚ）で表す）を観測する。直線ＯＯl 及びＢＯr は等しく焦点距離ｆに等しく、この直線ＯＯl 及びＢＯr は平行である。左画像Ｓ３１l と右画像Ｓ３１r の基線長はＯＢで表され、長さをＢとする。３次元座標（Ｘ，Ｙ，Ｚ）で表される対象物体３１上の１点と視点Ｏ及びＢとを結んだ直線と左画像Ｓ３１l 、右画像Ｓ３１r の平面との交点を、それぞれの画像Ｓ３１l ，Ｓ３１r 上の２次元座標を用いて（ｘl ,ｙl ） 及び（ｘr，ｙr ）とする。
【００１９】
【数１】
0004336805.tif 000002
【００２０】
【数２】
0004336805.tif 000003
【００２１】
【数３】
0004336805.tif 000004
【００２２】
【数４】
0004336805.tif 000005
【００２３】
【数５】
0004336805.tif 000006
【００２４】
【数６】
0004336805.tif 000007
【００２５】
【数７】
0004336805.tif 000008
【００２６】
【数８】
0004336805.tif 000009
【００２７】
【数９】
0004336805.tif 000010
【００２８】
このようにして更新項 ArrayK を計算したならば、平面近似パラメータｋ1,ｋ2,ｋ3 を求めることができるので、この平面近似パラメータｋ1,ｋ2,ｋ3 を第１、第２の表示装置３０−１，３０−２に与えることにより、該表示装置３０−１，３０−２により、舞台装置の書割りのように空間に配置して表示することができる。
【００２９】
第１の実施形態
図１は、本発明の第１の実施形態を示す映像表示装置の構成ブロック図であり、図３及び図４中の要素と共通の要素には共通の符号が付されている。
この第１の実施形態の映像表示装置は、図３（ａ）の第１の表示装置３０−１側に設けられている。この映像表示装置と同一の装置は、図３（ａ）の第２の表示装置３０−２側にも設けられている。
【００３０】
図１の映像表示装置は、第１の映像処理装置４０と第２の映像処理装置５０とを備え、これらの出力側に第１の表示装置３０−１が接続されている。第１の映像処理装置４０は、第１の話者３１−１及びこの近傍の対象物体（例えば、立方体）３１−３の画像Ｓ３１を撮影手段で撮影し、この撮影した映像信号の３次元構造情報を第１の表示装置３０−１に立体表示させる装置であり、例えば、従来の図２の映像表示装置等の公知の装置で構成されている。
【００３１】
第２の映像処理装置５０は、第１の話者３１−１から離れた対象物体（例えば、木、家）３１−４，３１−５，３１−６の第１画像（例えば、左画像）Ｓ３１l と第２画像（例えば、右画像）Ｓ３１r とを入力し、該対象物体の形状の平面近似パラメータｋ1,ｋ2,ｋ3 を算出することによって映像信号の共有空間構築用構造情報を抽出し、この構造情報の信号Ｓ６０を第１の表示装置３０−１に、舞台装置の書割りのように配置して表示させる装置である。
第２の映像処理装置５０は、対象物体の左画像Ｓ３１l を撮影して映像信号である第１画像データＳ５１−１を出力する第１画像撮影手段（例えば左画像撮影装置）５１−１と、この左画像撮影装置５１−１から所定距離（即ち、基線長Ｂ）だけ離れて配置され、対象物体の右画像Ｓ３１r を撮影して映像信号である第２画像データＳ５１−２を出力する第２画像撮影手段（例えば、右画像撮影装置）５１−２とを備えている。左画像撮影装置５１−１の出力側には、第１画像データＳ５１−１を一時格納する第１画像用格納手段（例えば、左画像用バッファ）５２−１が接続されている。右画像撮影装置５１−２の出力側には、第２画像データＳ５１−２を一時格納する第２画像用格納手段（例えば、右画像用バッファ）５２−２が接続されている。
【００３２】
左画像用バッファ５２−１及び右画像用バッファ５２−２の出力側には、平面パラメータ算出手段６０が接続され、この算出手段６０の出力側が、第１の表示装置３０−１に接続されている。平面パラメータ算出手段６０は、左画像用バッファ５２−１に格納された画像データの信号Ｓ５２−１を読み出すと共に、右画像用バッファ５２−２に格納された画像データの信号Ｓ５２−２を読み出し、これらの信号Ｓ５２−１，Ｓ５２−２に基づき、対象物体の形状の平面近似パラメータｋ1,ｋ2,ｋ3 を算出して共有空間構築用構造情報の信号Ｓ６０を出力する機能を有し、半導体集積回路等を用いた個別回路、あるいはコンピュータ等のプログラムを実行することによって構成されている。
【００３３】
次に、図１の映像表示装置を用いた映像表示方法を説明する。
図３（ａ）に示すように、同じ地点にいない第１の話者３１−１と第２の話者３１−２とが、第１の表示装置３０−１及び第２の表示装置３０−２を介して通信をする場合、該第１の表示装置３０−１側の第１の映像表示装置では、第１の話者３１−１及びこの近傍の立方体３１−３の画像Ｓ３１が第１の映像処理装置４０によって撮影され、この撮影された映像信号の３次元構造情報が第１の表示装置３０−１に立体表示される。
【００３４】
第１の話者３１−１から離れた対象物体（例えば、木、家）３１−４，３１−５，３１−６の左画像Ｓ３１l 及び右画像Ｓ３１r のうち、左画像Ｓ３１l が第２の映像処理装置５０内の左画像撮影装置５１−１で撮影され、この撮影された映像信号である第１画像データＳ５１−１が左画像用バッファ５２−１に格納される。右画像Ｓ３１r は、右画像撮影装置５１−２によって撮影され、この撮影された映像信号である第２画像データＳ５１−２が右画像用バッファ５２−２に格納される。左画像用バッファ５２−１に格納された画像データの信号Ｓ５２−１が読み出されると共に、右画像用バッファ５２−２に格納された画像データの信号Ｓ５２−２が読み出され、これらの信号Ｓ５２−１，Ｓ５２−２が平面パラメータ算出手段６０へ送られる。平面パラメータ算出手段６０では、信号Ｓ５２−１，Ｓ５２−２に基づき、式（５）の平面近似パラメータｋ1,ｋ2,ｋ3 を計算し、映像信号の共有空間構築用構造情報を抽出する。この抽出された構造情報の信号Ｓ６０により、対象物体（例えば、木、家）３１−４，３１−５，３１−６が第１の表示装置３０−１に舞台装置の書割りのように配置して表示される。
【００３５】
このような第１の表示装置３０−１側の第１の映像表示装置と同様の表示が、第２の表示装置３０−２側に設けられた映像表示装置によって行われる。そして、異なる地点にいる第１の話者３１−１と第２の話者３１−２とは第１及び第２の表示装置３０−１，３０−２を介して通信手段３２によって相互に通信を行うことができる。
【００３６】
以上のように、この第１の実施形態では、次のような効果がある。
２つの左画像Ｓ３１l 及び右画像Ｓ３１r に対し、第２の映像処理装置５０によって対象物体の３次元構造を平面近似して抽出するようにしたので、該映像処理装置５０によって簡易な３次元空間情報を得ることができる。このため、話者３１−１，３１−２及びこの近傍の対象物体（例えば、立方体）３１−３のような、より精密な３次元構造を必要とする対象物体へのコンピュータ等の負担を軽減できると共に、情報量の削減によって通信手段３２における伝送路等への負担を軽減できる。
【００３７】
第２の実施形態
図５は、本発明の第２の実施形態を示す第２の映像処理装置の構成ブロック図であり、図１、図３及び図４中の要素と共通の要素には共通の符号が付されている。
この図５では、図１の第２の映像処理装置５０における平面パラメータ算出手段６０を半導体集積回路等を用いた個別回路で構成した例が示されている。
平面パラメータ算出手段６０は、左画像用バッファ５２−１の出力側に接続された第１行列算出手段（例えば、Ｆ行列算出手段）６１と、その左画像用バッファ５２−１及び右画像用バッファ５２−２の出力側に接続された第２行列算出手段（例えば、Ｇ行列算出手段）６２とを備え、これらのＦ行列算出手段６１及びＧ行列算出手段６２の出力側に、更新項算出手段６３が接続されている。Ｆ行列算出手段６１は、左画像用バッファ５２−１から読み出された映像信号である第１画像データＳ５２−１１，Ｓ５２−１２のうち、画像データＳ５２−１１を入力し、第１画像である左画像Ｓ３１l の特徴を表す第１行列（例えば、式（３４）のＦ行列）を算出する機能を有している。
【００３８】
Ｇ行列算出手段６２は、左画像用バッファ５２−１から読み出された画像データの信号Ｓ５２−１１と、右画像用バッファ５２−２から読み出された画像データの信号Ｓ５２−２１，Ｓ５２−２２のうちの信号Ｓ５２−２１とを入力し、第１画像である左画像Ｓ３１l と第２画像である右画像Ｓ３１r との特徴を表す第２行列（例えば、式（３５）のＧ行列）を算出する機能を有している。更新項算出手段６３は、Ｆ行列算出手段６１の出力信号Ｓ６１とＧ行列算出手段６２の出力信号Ｓ６２とを入力し、平面パラメータの更新項（例えば、式（３６）の ArrayK ）を算出する機能を有し、この出力側に平面パラメータ格納手段６４が接続され、さらにこの平面パラメータ格納手段６４の出力側に、視差算出手段６５及び収束判定手段６６が接続されている。
【００３９】
平面パラメータ格納手段６４は、更新項算出手段６３で算出された更新項 ArrayK の信号Ｓ６３を入力し、平面パラメータを更新して該更新値を格納する機能を有している。視差算出手段６５は、平面パラメータ格納手段６４から読み出された更新値の信号Ｓ６４−１，Ｓ６４−２のうちの信号Ｓ６４−２を入力し、左画像Ｓ３１l 及び右画像Ｓ３１r 間の視差ｄX を算出し、この算出した視差ｄX の信号Ｓ６５−１，Ｓ６５−２のうちの信号Ｓ６５−１を収束判定手段６６に与えると共に、信号Ｓ６５−２をＧ行列算出手段６２に与える機能を有している。
収束判定手段６６は、左画像用バッファ５２−１の出力信号Ｓ５２−１２、右画像用バッファ５２−２の出力信号Ｓ５２−２２、平面パラメータ格納手段６４の出力信号Ｓ６４−１、及び視差算出手段６５の出力信号Ｓ６５−１を入力し、誤差を求めてこの誤差から収束判定を行い、この判定結果が収束しているときに、平面パラメータ格納手段６４から読み出した平面パラメータの信号Ｓ６４−１を平面近似パラメータ（例えば、式（５）のｋ1,ｋ2,ｋ3 ）の信号Ｓ６０として出力する機能を有している。
【００４０】
次に、図５の第２の映像処理装置５０を用いた映像処理方法について説明する。
例えば、図３の対象物体（木、家）３１−４，３１−５，３１−６の左画像Ｓ３１l が左画像撮影装置５１−１によって撮影され、この撮影された映像信号である第１画像データＳ５１−１が左画像用バッファ５２−１に格納される。同様に、対象物体の右画像Ｓ３１r が右画像撮影装置５１−２によって撮影され、この撮影された映像信号である第２画像データＳ５１−２が右画像用バッファ５２−２に格納される。左画像用バッファ５２−１から読み出された画像データの信号Ｓ５２−１１，Ｓ５２−１２のうちの信号Ｓ５２−１１が、Ｆ行列算出手段６１及びＧ行列算出手段６２に与えられると共に、信号Ｓ５２−１２が収束判定手段６６に与えられる。
【００４１】
Ｆ行列算出手段６１では、式（２４）〜（２９）に従い、左画像Ｓ３１l の画素値の勾配値∂Ｉl ／∂Ｘと、左画像撮影装置５１−１と右画像撮影装置５２−２との間の基線長Ｂと、左画像Ｓ３１l 上の座標値（ｘ，ｙ）と、左画像撮影装置５１−１と右画像撮影装置５１−２の焦点距離ｆとから、式（３４）のＦ行列を計算し、この計算した信号Ｓ６１を更新値算出手段６３に与える。Ｇ行列算出手段６２では、式（３０）〜（３２）に従い、左画像Ｓ３１l の画素値の勾配値∂Ｉl ／∂ｘと、左画像撮影装置５１−１と右画像撮影装置５１−２との間の基線長Ｂと、左画像Ｓ３１l 上の座標値（ｘ，ｙ）と、左画像撮影装置５１−１と右画像撮影装置５１−２の焦点距離ｆと、左画像Ｓ３１l の画素値Ｉlと、右画 像Ｓ３１r の画素値Ｉr と、左画像Ｓ３１l と右画像Ｓ３１rの視差ｄｘとから 、式（３５）のＧ行列を計算し、この計算した信号Ｓ６２を更新項算出手段６３に与える。
【００４２】
更新項算出手段６３では、Ｆ行列が特異であっても妥協解を算出することのできる特異値分解法によって式（４０）を計算し、式（３６）の平面パラメータの更新項 ArrayK を求め、この求めた信号Ｓ６３が今まで格納されていたパラメータに足されて平面パラメータ格納手段６４に格納される。平面パラメータ格納手段６４に格納された平面パラメータの信号Ｓ６４−２が視差算出手段６５へ送られ、視差ｄｘが算出され、この算出された信号Ｓ６５−１，Ｓ６５−２のうちの信号Ｓ６５−１が収束判定手段６６に与えられると共に、信号Ｓ６５−２がＧ行列算出手段６２に与えられる。
収束判定手段６６では、左画像用バッファ５２−１の出力信号Ｓ５２−１２、右画像用バッファ５２−２の出力信号Ｓ５２−２２、平面パラメータ格納手段６４の出力信号Ｓ６４−１、及び視差算出手段６５の出力信号Ｓ６５−１を入力し、元の画像との誤差を計算し、予め設定された閾値と比べて収束を判定する。収束判定手段６６で収束と判定した場合、平面パラメータ格納手段６４で求められた平面パラメータ（式（５）のｋ1,ｋ2,ｋ3 ）を出力する。収束判定手段６６で収束していないと判定された場合には、視差算出手段６５の出力信号Ｓ６５−２がＧ行列算出手段６２に加えられ、このＧ行列算出手段６２において再びＧ行列が計算され、繰り返し平面パラメータ（式（５）のｋ1,ｋ2,ｋ3 ）が求められる。
【００４３】
以上のように、この第２の実施形態では、次のような効果がある。
対象物体の２つの左画像Ｓ３１l 及び右画像Ｓ３１r に対し、この対象物体の３次元構造を平面近似して抽出するようにしているが、左画像Ｓ３１l の特徴を表す行列がＦ行列であって、そのＦ行列が特異であるような場合でも、安定して式（５）の平面近似パラメータｋ1,ｋ2,ｋ3 を求めることができる。
【００４４】
なお、本発明は上記実施形態に限定されず、種々の変形が可能である。この変形例としては、例えば、次のようなものがある。
（ａ）  実施形態では、第１画像を左画像Ｓ３１l 、第２画像を右画像Ｓ３１r として説明したが、第１画像を右画像Ｓ３１r 、第２画像を左画像Ｓ３１l としても、上記実施形態と同様の作用効果が得られる。
（ｂ）  図１の平面パラメータ算出手段６０を図５のような個別回路で構成せずに、例えば、コンピュータ等のプログラムを実行することにより構成するようにしてもよい。このような構成にすれば、回路規模を小型化できる。また、図５の個別回路で構成された平面パラメータ算出手段６０は、他の回路構成に変更することも可能である。
（ｃ）  第１、第２の表示装置３０−１，３０−２、及び第１の映像処理装置４０は、種々の立体表示方式の装置で構成できる。
（ｄ）  図３では、１人の第１の話者３１−１と１人の第２の話者３１−２との空間共有通信システムについて説明したが、第１の話者３１−１あるいは第２の話者３１−２は複数人であっても良く、上記実施形態と同様の作用効果が得られる。
【００４５】
【発明の効果】
以上詳細に説明したように、第１〜第３の発明によれば、第１、第２の話者の近傍外の対象物体について、撮影手段で撮影した映像信号の３次元構造情報を平面で近似して表現し、第１、第２の表示装置に、舞台装置の書割りのように配置して表示するようにしたので、３次元空間情報を簡易に表示できる。このため、第１、第２の話者及びこの近傍の対象物体について、より精密な３次元構造を必要とする対象物へのコンピュータ等の負担を軽減できると共に、通信手段の伝送路等への負担を軽減できる。
【００４６】
第４〜第７の発明によれば、第１行列算出手段、第２行列算出手段、更新項算出手段、平面パラメータ格納手段、視差算出手段、及び収束判定手段等によって平面パラメータ算出手段を構成したので、２つの第１及び第２画像に対し、対象物体の３次元構造を平面近似して抽出する場合、第１画像の特徴を表す行列が第１行列であって、その第１行列が特異であるような場合でも、安定して平面パラメータを求めることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す映像表示装置の構成ブロック図である。
【図２】従来の映像表示装置の構成を示すブロック図である。
【図３】本発明の実施形態の説明に用いる共有空間を表す図である。
【図４】本発明の実施形態の説明に用いる立体（ステレオ）座標系を表す図である。
【図５】本発明の第２の実施形態を示す第２の映像処理装置の構成ブロック図である。
【符号の説明】
３０−１，３０−２    第１、第２の表示装置
３１−１，３１−２    第１、第２の話者
３１−３    話者近傍の対象物体（立方体）
３１−４，３１−５    話者近傍外の対象物体（木）
３１−６    話者近傍外の対象物体（家）
４０，５０    第１、第２の映像処理装置
５１−１    左画像撮影装置
５１−２    右画像撮影装置
５２−１    左画像用バッファ
５２−２    右画像用バッファ
６０    平面パラメータ算出手段
６１    Ｆ行列算出手段
６２    Ｇ行列算出手段
６３    更新項算出手段
６４    平面パラメータ格納手段
６５    視差算出手段
６６    収束判定手段
Ｓ３１    話者及び近傍の対象物体
Ｓ３１l     対象物体の左画像
Ｓ３１r     対象物体の右画像
Ｓ６０    平面近似パラメータの信号
【図１】
0004336805.tif 000011
【図２】
0004336805.tif 000012
【図３】
0004336805.tif 000013
【図４】
0004336805.tif 000014
【図５】
0004336805.tif 000015