(57)【特許請求の範囲】
【請求項１】
複数の画像投影装置と接続され、ネットワークを介して画像発信装置と接続された画像合成装置であって、
前記画像発信装置が予め全体の画像データから抽出した、表示対象となる第一の画像データを、前記画像発信装置から受信する受信手段と、
前記第一の画像データを、当該画像合成装置内の記憶装置に予め格納された背景画像となる第二の画像データと合成する合成手段と、
前記合成手段により合成された第三の画像データを、画像表示装置に表示させる表示手段と、
前記第三の画像データを前記複数の画像投影装置の個数分分割する分割手段と、
前記分割手段により分割された複数の分割画像データを対応する前記複数の画像投影装置に送信し、かつ、当該送信した後に、前記第一の画像データが変更された場合、当該第一の画像データが含まれる分割画像データを、該当画像投影装置に送信する送信手段を備える、画像合成装置。
【請求項２】
前記第一の画像データは、前記全体の画像データの中から特定色以外の領域を表示対象として認識されたデータである、請求項１記載の画像合成装置。
【請求項３】
前記第一の画像データは、前記全体の画像データと、当該画像の前画像あるいは後画像の画像データとを比較して、変化のあった画素部分で囲まれる範囲内を表示対象領域として認識されたデータである、請求項１記載の画像合成装置。
【請求項４】
前記受信手段は、表示対象と撮影装置の３次元位置関係の情報を含むカメラパラメータを、更に受信し、
前記合成手段は、前記カメラパラメータを参照して、前記第二の画像データに前記第一の画像データを合成する位置を決定する、請求項１記載の画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介した画像データの送受信に関するものである。画像データの送信装置、受信装置、また、これらを含み送受信される画像データに基づく仮想空間を共有する仮想空間提示システムに関する。この中でも特に、実時間合成と高精細映像提示を実現可能な画像合成装置に関する。
【０００２】
【従来の技術】
仮想会議システムなど、（例えば、遠隔地で）仮想空間を共有する仮想空間提示システムにおいて、ネットワークを介して互いの顔を見ながらコミュニケーションのとれるものが増えてきた。その方法として、それぞれの地点にて撮影装置で撮影された映像を単に並べて表示したり、画像の一区間の遠隔画像を表示するものが大多数である。また、一台の撮影装置で撮影した画像を流すだけのものも多く、このシステムでは、画像も小さく、大きく表示しても画質が低下しぼけた画像となってしまい、臨場感がない。
【０００３】
そこで、大画像表示による会議システムとして、次の装置が提示されている。
【０００４】
特開平10-285567号公報の「通信会議装置」は、遠隔地の人同士があたかも同じ部屋で会議をしてるように感じる高臨場感の会議装置として、多角形状に折り曲げられたスクリーンと会議机と机や人物を写すカメラとを備えた装置であり、臨場感の増加を目的としているが、各拠点で撮影した映像をそのまま大画面に表示するだけであり、画像の転送及び表示速度については言及していない。
【０００５】
また、同じ空間に複数の遠隔地の人を同時に表示する会議システムとして、次の装置が提示されている。
【０００６】
特開平11-289524号公報の「仮想空間会議方法およびこの方法を記録した記録媒体」では、テレビ会議システムにおいて各人がい位置関係を把握しやすいように工夫した方法で、CGにて作成した仮想会議空間にCG化した人物を合成・配置し人物の移動を明示する方法を提示している。しかし、表示画面はテレビ解像度であり、表示人物がCGに置き換えられているため、臨場感に乏しい。
【０００７】
【発明が解決しようとする課題】
上述したように、従来のテレビ会議システムにおいては、映像を表示するためにテレビ画面を用いたり、大画面モニタを利用し、映像を表示することが多かった。このため、画像のない電話のみの会議に比べてはあるものの、画像が小さく一体感に乏しいとの問題点がある。
【０００８】
また、画像を大きく表示するためには、解像度が小さくなるとの問題点もある。ここで、表示される画像データの解像度を大きくする、すなわち送受信される画像の解像度を大きくすると、ネットワーク上での送信速度が遅くなるうえ、ネットワーク上のトラフィックが増加するとの問題点ある。
【０００９】
また、画像表示装置に大画面スクリーンを利用した時、一つのプロジェクタで画面いっぱいに映像を表示しようとすると、画像の解像度が落ち画質が劣化し、また、画像表示のためのスペースを大きく取らなくてはいけない、という問題点もある。
【００１０】
【課題を解決するための手段】
本発明は、上記問題点を考慮して発案されたものであり、その目的は送信された画像を合成した場合でも高解像度の合成画像を表示することにある。この表示を行うことにより、体験者が画像合成装置を意識することなく仮想空間への没入間や臨場感を高めることを可能とする。
【００１１】
なお、適用する画像合成装置としては、複数の画像投影装置を高精細画像を表示可能な画像表示装置の背面に設置し、複数の画像投影装置から投影された映像をシームレスに接続し表示するものでもよい。また、合成する画像は、仮想空間を示す画像と実空間を示す画像でもよいし、仮想空間を示す画像同士、実空間を示す画像同士でもよい。
【００１２】
上記課題を解決するために、本発明では以下の手段を採用する。
【００１３】
ネットワークを介して画像データを発信する画像発信装置と接続され、画像データから抽出した当該画像合成装置が表示を行う表示対象を、前記画像発信装置から発信し、他の画像データと合成する画像合成装置である。
【００１４】
ここで、送信される画像データは複数のカメラで撮影されたものであってもよい。この時、画像の合成は、表示対象を撮影したカメラに関する情報（位置など）に基づいて表示対象の画像内での合成位置を決めて行ってもよい。カメラに関する情報は、画像発信装置から発信されてもよい。
【００１５】
また、表示対象の撮影された画像中での位置に基づいて合成位置を決めてもよい。この位置に関する情報は、カメラに関する情報と同様に画像発信装置から発信されてもよいし、画像合成装置側で認識してもよい。
【００１６】
さらに、表示対象の合成相手である他の画像データに含まれるオブジェクトの表示位置に基づいて合成位置を決めてもよい。また、カメラに関する情報と組み合わせて合成位置を決めてもよい。
【００１７】
また逆に、合成相手である他の画像データのカメラ情報を取得し、表示対象を撮影するとき、同じカメラ状況を再現して撮影してもよい。
【００１８】
さらに、本発明は、表示対象を含む画像データを送信する画像発信装置も含む。発信する画像データとしては、表示対象そのものでもよい。また、複数のカメラで表示された画像データの場合、表示対象を撮影したカメラで撮影した画像としてもよい。さらに、１台以上のカメラで撮影された画像から表示対象を含む画像を発信する画像データとして抽出し、発信してもよい。
【００１９】
ここで、表示対象を含む画像を発信するために、画像合成装置から表示対象を識別するための情報を受信し、その情報に基づいて処理を行ってもよい。
【００２０】
また、画像発信装置が、自発的に表示対象が何かを判断してもよい。ここで、表示対象を不規則に動くものとしてもよい。例えば、テレビ会議システムにおける人間、動物観察システムにおける動物などが含まれる。
【００２１】
さらに、本発明には、上記の画像合成装置および画像発信装置の機能を実行するためのプログラムおよびプログラムを格納した媒体を含む。
【００２２】
なお、本発明が取り扱う画像データは、静止画でも動画でも、またそれらの両方であってもよい。
【００２３】
このように、本発明が提供する画像合成表示装置で合成された画像は、複数のプロジェクタを用いて表示してもよい。
【００２４】
【発明の実施の形態】
以下に、本発明における実施の形態を図面を参照しながら詳述する。
【００２５】
図１は、本発明における全体構成を表した図である。
【００２６】
主拠点（１）と複数の他拠点（２）と、遠隔間を接続するネットワーク（３）にて構成されており、各拠点において、システム構成は同様または類似であってもよいため、ここでは拠点（１）を主眼に置いた説明をする。
【００２７】
各拠点に備えた画像表示手段（２０）は、画像投影装置（１０）より投影された画像を表示するものである。画像表示手段（２０）には透過型スクリーンを利用するとよく、画像投影装置（１０）を背面に設置しても前面に設置しても、投影した画像を見ることを可能にする。また、画像表示手段（２０）は平面に限定せず、球の一部分を切り取った形状のように湾曲していてもよく、画像表示手段（２０）を複数備えても構わない。さらに、画像表示手段（２０）は、１つでもよいし、拠点内に無くともよい。超高精細映像を表示するためには複数個の画像投影装置（１０）を用いることが望ましい。空間内に設置された撮像装置（３０）にて体験者（６１）を撮影し、撮影された画像データをネットワーク（３）を介して他地点に送信する。なお、本実施例では、画像投影装置（２０）として、複数のプロジェクタでスクリーンに合成画像を表示するものについて説明する。本発明は１つのプロジェクタで表示を行うものやプロジェクタを使用しないもの(例えば、ＣＲＴなど）も含む。ここで、複数のプロジェクタで表示を行うものには、以下の利点がある。１つのプロジェクタでスクリーンに表示すると、画像が小さくなる上、大きく表示するには表示スペースを大きくとらなくてはいけないし解像度が小さくなる、との問題を複数のプロジェクタを使用すると解決できる。また、大画面スクリーンを利用したとき、１つのプロジェクタで画面いっぱいに画像を表示しようとすると、画像の解像度が落ち画質が劣化し、また、画像表示のためのスペースを大きく取らなければならない。この問題点も複数のプロジェクタを利用すれば解決できる。
【００２８】
各拠点におけるシステムは、受信専用でも構わず、受信専用の場合は撮像装置（３０）はなくても構わない。また、発信専用でもかまわす、発信専用の場合は画像投影装置（１０）や画像表示装置（２０）はなくても構わない。つまり、画像送受信/処理装置は画像データの送信の機能、画像データを受信し合成する機能のいずれかを有するものでもよい。
【００２９】
ここで、超高精細仮想空間画像データ（２１０）は予め記憶装置（図示せず）に記憶しておいてもよい。ここに、他拠点（２）にて撮影されネットワーク（３）を介して転送された表示対象（６２）を画像送受信/処理装置（４０）にて合成し、画像表示手段（２０）に表示する。
【００３０】
なお、ここでは、複数の他拠点から送信された画像データの合成相手を超高精細仮想空間画像データに合成する構成にしてもよい。また、超高精細仮想空間画像データを用意しておかず、送信されてきた画像データと合成する構成にしてもよい。また、記憶装置に記憶する画像データとしては、高精細のものでなくともよい。また、コンピュータグラフィックでもよいし、フィルムからスキャンニングされた画像データでもよいし、実際にカメラで撮影された画像データでもよい。
【００３１】
画像送受信/処理装置（４０）は、撮像装置（３０）や画像投影装置（１０）と接続されており、撮像した画像を他拠点に送信したり、他拠点から受信した画像データを仮想空間データに合成したり、合成画像データを画像投影装置に送信したり、すべての画像操作をつかさどっている。また、各拠点の画像送受信/処理装置それぞれで画像を合成してもよいし、一個所（または複数の拠点数より少ない数（で画像合成を行い合成された画像データを他の拠点に送信する構成としてもよい。なお、一個所で画像合成を行う場合は、各拠点に応じた複数の画像データを合成により作成し、対応するそれぞれの拠点に画像データを送信する構成としてもよい。
【００３２】
実空間中に存在する例えば机などのオブジェクト（５１）と仮想空間画像（２１０）中のオブジェクト（５２）を同一にしたり統一感を持たせると、より臨場感が増す。
【００３３】
このとき、本発明において、表示対象（６２）'（６３）'は、特に限定しない。例えば、仮想融合空間をテレビ会議で使用するのであれば人物を撮影してもいいし、監視システムであれば監視対象物、仮想動物園であれば動物を撮影するのもよく、種々のシミュレーションに適用が可能となっている。また、受け手では作れないものを合成しても構わない。ここで、画像送受信/処理装置（４０）は、表示対象（６２）'（６３）'を認識して、表示対象（６２）'（６３）'を含む画像をネットワークを介して他の装置に送信する。表示対象（６２）'（６３）'の認識方法としては、不規則的に動くものとしてもよいし、使用者が指定したものとしてもよい。また、表示対象（６２）'（６３）'を含む画像としては、表示対象（６２）'（６３）'そのものの画像とすると発信するデータ量を減らすことが可能になる。このため、送信時間が短縮でき、実時間での表示が可能になる。
【００３４】
さらに、表示対象（６２）は、一つの拠点に対して一つであっても複数存在しても構わない。
【００３５】
図２は、本実施例の画像送受信/処理装置（４０）のシステム構成を示した図である。
【００３６】
本システムは、画像送受信/処理装置（４０）に含まれる、プログラムに基づいた計算や制御を行うＣＰＵ（４）、データやプログラムを記憶するメモリ等の主記憶装置（１００）、およびハードディスク等の補助記憶装置（２００）、を含む。
【００３７】
また、画像を投影するプロジェクタ等の画像投影装置（１０）、画像投影装置より投影された画像を表示するスクリーン等の画像表示装置（２０）、表示対象を撮像する撮像装置（３０）、表示対象の周囲に設置するクロマキーバック撮像アナログデータをデジタルデータに変換するA/D変換器（３２）、デジタルで作成された画像データをアナログデータに変換するD/A変換器（３３）、遠隔地とのデータを送受信するネットワーク（３）、これらの構成要素を相互に結合するバス（５）からなる。
【００３８】
補助記憶装置（２００）は、予め備えておく合成先画像となる超高精細な仮想空間の背景データを格納する超高精細仮想空間データ格納部（２１０）と、撮像装置（３０）にて撮影されデジタルデータに変換された画像データから表示対象を抽出した表示対象データを格納する表示対象データ格納部（２２０）、ネットワーク（３）を介して他拠点（２）から送信され受信した表示対象データを格納する受信画像データ格納部（２３０）、撮像装置（３０）のカメラパラメータを格納するカメラパラメータ格納部（２４０）、受信した他拠点のカメラパラメータを格納する受信カメラパラメータ格納部（２５０）、仮想空間カメラパラメータ（２６０）によって構成されている。
【００３９】
主記憶装置（１００）は、画像認識部（１２０）、データ発信部（１３０）、データ受信部（１４０）、画像制御部（１５０）、データ転送部（１６０）によって構成されている。
【００４０】
撮像部（１１０）には、合成対象となる人物や動物、監視対象、静物などを撮像する表示対象撮像プログラム（１１１）が含まれる。撮像の際、撮像データより表示対象を抽出することを可能にするため、表示対象が動くものである場合、表示対象の背後にクロマキーバックを備えると効果的である。また、静物の場合、はじめから静物部分の領域を表示するマスク画像を付帯させてもよい。
【００４１】
画像認識部（１２０）は、撮影した画像データより、表示対象を抽出する表示対象抽出プログラム（１２１）が含まれる。
データ発信部（１３０）は、送信可能な拠点に、撮像部にて撮像されデジタルに変換されたデータを送信する表示対象データ発信部（１３１）と、撮像部にて撮像した時の、表示対象に対するカメラ位置や焦点距離、画角などのカメラパラメータを発信するカメラパラメータ発信部（１３２）にて構成される。
【００４２】
データ受信部（１４０）には、他拠点のデータ発信部（１３０）より発信されたデータを受信する、画像データ受信プログラム（１４１）と、カメラパラメータ受信プログラム（１４２）が含まれる。
【００４３】
画像制御部（１５０）では、受信カメラパラメータ（２５０）を基に、受信表示対象データ（２３０）を超高精細仮想空間データ（２１０）のどこに合成するかを決定する合成位置決定プログラム（１５１）、合成位置決定プログラム（１５１）より導出された合成位置に表示対象を合成する画像合成プログラム（１５２）、合成された超高精細画像を表示するために、合成画像を画像投影装置の個数分分割し、必要であれば表示先の画像表示手段の形状にあわせた変形を行う画像分割変形プログラムによって、構成されている。
【００４４】
データ転送部（１６０）では、前記画像制御部（１５０）で生成された画像を画像投影装置（１０）に転送する画像転送プログラム（１６１）を含み、画像投影装置（１０）が複数ある場合は、それぞれの分割された画像を表示したときに最適となるような位置へ投影する画像投影装置（１０）に転送する。
【００４５】
この時、画像投影装置に転送するのは、表示対象を含む画像でもよく、ほかの領域の画像は画像の更新を行わなくてもよい。
【００４６】
図３は、本実施例の画像合成方法の一例を示した図である。ここでは、遠隔会議システムに適用した例を示す。
【００４７】
他拠点にてクロマキーバックで撮像され受信した画像データを、２３０-a、２３０-b、２３０-cとする。それぞれの画像データはクロマキーバックで撮像されているため、容易に合成対象画像を抽出することが可能となっている。前記受信画像データを、予め用意してある超高精細仮想空間データ（２１０）に合成すると、違和感のない合成画像（２７０）が生成される。このとき、受信画像データ（２３０-a、２３０-b、２３０-c）は、それぞれ他拠点で撮像したものでもよく、２つの受信画像データ、例えば、２３０-a、２３０-bが同拠点で、２３０-cが他拠点で撮像されたものでも構わない。
【００４８】
図4は、本実施形態における内部構成を示した図である。
【００４９】
まず、ネットワークで接続された他拠点において、撮像部（１１０）にて合成対象を撮像する。そして、撮像されたアナログ画像データをA/D変換部（３２）を通してデジタルデータに変換した撮像データを作成する。次に画像認識部（１２０）にて、前記撮像データより、表示対象を抽出した表示対象データ（２２０）を作成する。
【００５０】
ここで、他拠点における撮像装置（３０）の位置や、焦点距離、画角、回転角度などの内部パラメータをすべて包括するデータをカメラパラメータ（２４０）とする。前記表示対象データ（２２０）とカメラパラメータ（２４０）を、データ発信部（１３０）より、ネットワーク（３）を介して主拠点に発信する。
【００５１】
この時、データの発信は、拠点が複数存在した場合、主拠点以外の複数拠点に同時に発信する。
【００５２】
他拠点から主拠点に送信されたデータを、主拠点におけるデータ受信部（１４０）にて、受信カメラパラメータ（２５０）と受信画像データ（２３０）を受信する。
【００５３】
この時、主拠点では、複数拠点から発信したものを同時に受信してもかまわない。
【００５４】
また、合成画像データの撮像は主拠点でも行う場合があり、この場合は主拠点における撮像装置（３０）で撮像され、表示対象を抽出した表示対象データ（２２０）とカメラパラメータ（２４０）を、データ発信部（１３０）より他拠点に送信する。
【００５５】
主拠点において予め用意した超高精細仮想空間データ（２１０）と、前記受信したカメラパラメータ（２４０）と受信画像データ（２３０）より、画像制御部（１５０）において超高精細合成画像を生成し、必要であれば分割画像を生成し表示に適した形状に変形した表示画像を生成する。前記表示画像をD/A変換部（３３）にてデジタルデータをアナログデータに変換し、画像投影装置（１０）に転送する。画像投影装置（１０）から投影された画像を画像表示手段（２０）に表示する。この時、複数の画像投影装置（１０）を備える場合 、投影画像を画像表示手段（２０）に表示する際、それぞれの画像投影装置から投影された画像の境界部分をシームレスに接続し、超高精細画像を再構成する機能を有する画像投影装置（１０）を用いる。
【００５６】
図５では、本実施形態においてその処理の流れを示すフローチャートである。
【００５７】
まず、ステップ１０００にて、撮像装置の位置や、焦点距離などの内部パラメータを内包するカメラパラメータを導出しデータ発信部（１３０）にて他拠点に発信する。
【００５８】
次に、ステップ１１００にて、合成対象となる人物や動物、監視対象物、静物などを撮影部（１１０）にて撮影し、ステップ１２００にて、前記撮影画像データを基に、画像認識部（１２０）にて表示対象を抽出する。
【００５９】
そして、ステップ１３００では、データ発信部（１３０）にて、表示対象データを発信する。
【００６０】
ステップ２０００では、他拠点より発信されたカメラパラメータを受信する。
【００６１】
ステップ２１００にて、受信画像データを超高精細仮想空間データのどの位置に合成するか、決定する。合成位置の決定方法は、受信カメラパラメータと仮想空間カメラパラメータより、互いのカメラ位置が合致するような位置に表示対象を合成する決定方法でもよいし、受信画像中の他オブジェクトと表示対象の位置関係を考慮し、仮想空間中に存在するオブジェクトと同様の位置関係を保った位置に表示対象を合成する決定方法を用いてもよい。この方法については、図８、図９にて詳述する。
【００６２】
次に、ステップ２２００にて、他拠点より発信された表示対象データ（２２０）を受信する。
【００６３】
ステップ２３００では、受信表示対象データを超高精細仮想空間データに合成する。この時、合成位置はステップ２２００にて決定した合成位置とする。
【００６４】
ステップ２４００では、ステップ２３００にて生成された合成画像を画像投影装置に転送し、ステップ２５００にて画像表示装置に表示する。
【００６５】
ステップ３０００では、本システム終了かどうか判断する。終了の信号を受信したら終了し、終了の信号がなければ、ステップ２２００に戻る。
【００６６】
図６は、図５を用いて記述した基本フローチャートに、画像投影装置として、複数の画像投影装置を用い、超高精細画像の質を保持したまま画像を表示する方法を示すフローチャートである。
【００６７】
図５の基本フローチャートに加え、
ステップ２３００にて、仮想空間データに、受信した表示対象データ（２２０）を合成し、超高精細合成画像を生成した後に、以下の処理を行う。
【００６８】
ステップ２３１０にて、画像投影装置の個数分、超高精細合成画像を分割する。例えば、画像投影装置を１×５（縦×横）に並べて設置する場合、超高精細合成画像を縦に５分割して５枚の画像データを作成し、２×３（縦×横）に並べて設置する場合、超高精細合成画像を縦に３分割し横に２分割して６枚の画像データを作成する。画像を分割する時、画像に糊代を持たせて切り取ってもよい。画像に糊代を持たせることによって表示した時に各画像投影装置から投影された表示画像と隣接する表示画像とをシームレスに接続する輪郭のブレンド処理がし易くなる。
【００６９】
ステップ２３２０では、ステップ２３１０にて分割された画像を、複数の画像投影装置で同時に投影した時に、ステップ２３００にて生成した超高精細合成画像を再構成できるよう、それぞれの画像投影装置の特性に合わせた色変換や表示装置の形状に合わせた幾何学変形を行う。
【００７０】
そして、ステップ２４００にて、それぞれの画像投影装置に、対応する分割画像を転送し、
ステップ２５００にて画像表示装置に表示する。
【００７１】
あとの流れは、図５に示すフローチャートと同じである。
【００７２】
図７は、図６を用いて記述した複数の画像投影装置を用いた時のフローチャートに加え、分割画像領域に表示対象が含まれる場合に、分割画像を画像表示装置に送信する方法を示すフローチャートである。
【００７３】
ステップ２２００までは、図６のフローチャートと同様である。
【００７４】
ステップ２１００にて、表示対象データ（２２０）の合成位置を決定した後、ステップ２１００にて画像変更領域を抽出する。ここでいう画像変更領域とは、画像投影装置の個数分分割した分割後画像において、表示対象データが変更された時に影響を受ける画像領域である。
【００７５】
例えば、超高精細合成画像を縦３分割横２分割にした６枚の画像データを作成し、合成対象は図３における表示対象データ（２３０-c）とし、図３に示す超高精細合成画像（２７０）における合成位置に合成されている場合、画像変更領域は、右下１枚の画像データ領域となる。
【００７６】
ステップ２１００にて抽出された画像変更領域以外の画像領域を、ステップ２１１１にて抽出する。画像変更領域外の画像は、ステップ２３１０にて分割され、ステップ２３２０にて分割された画像を変形し、ステップ２４００にて画像データを画像投影装置（１０）に送信し、画像表示装置（２０）に投影し表示する。
【００７７】
ステップ２１００にて画像変更領域を抽出したあと、表示対象データ（２２０）を他拠点（２０）から受信する。
【００７８】
受信した表示対象データ（２２０）は、ステップ２３０５にて、超高精細仮想空間データの中の画像変更領域に部分合成される。合成された画像は、ステップ２３２０にて変形を施し、ステップ２４００にて画像データを画像投影装置（１０）に送信し、画像表示装置（２０）に投影し、表示する。
【００７９】
あとの流れは、図６に示すフローチャートと同様である。
【００８０】
図８は、図６を用いて記述した複数の画像投影装置を用いた時のフローチャートに加え、表示対象を撮影する撮影装置に移動があったときの方法を示すフローチャートである。
【００８１】
ステップ１１００にて、表示対象を撮影したあと、ステップ１１１０にて、撮影装置の表示対象を撮像する撮像装置に移動があったかどうか判断する。移動があれば、ステップ１１２０にて、新しいカメラパラメータを算出し、カメラパラメータを発信する。移動が無い場合、移動がある場合ともに、表示対象データをステップ１２００にて発信する。
【００８２】
ここで、撮像装置の移動は、人の手で故意に移動させたもの、遠隔地で制御しているもの、コンピュータで予め制御されたものでもよく、撮像装置自体に常に表示対象の方向を撮影する追随機能を備え自動的に移動するものでも構わない。
【００８３】
また、データの受信側においては、ステップ１９００にて、他拠点からのカメラパラメータ受信の信号が入ったかどうか判断する。カメラパラメータ受信の信号が入れば、ステップ２０００にて、カメラパラメータを受信し、信号が入らなかった場合、信号が入った場合ともに、すてっぷ２１００にて、表示対象を含む撮影データを受信する。あとの流れは、図６に示すフローチャートと同じであるが、ステップ３０００にて、終了の信号を受信しなかった時、ステップ１９００に戻る点が異なる。
【００８４】
図９は、図６から図８を用いて記述した複数の画像投影装置を用いた時のフローチャートにおいて、画像分割方法を示した図である。
【００８５】
例えば、画像投影装置（１０）６台を２×３（縦×横）に並べて設置し、画像を画像表示装置（２０）に表示する場合、超高精細合成画像（２７０）を、縦に３分割し横に２分割するが、その時、糊代（２１(b)）をつけた大きさの領域（２１）で切り取る。そして、糊代をつけて切り取った画像は、画像表示装置を６等分したよりも大きな領域（２２）に投影することによって画像の境界をディジタルブレンドしシームレスに接続しやすくなる。
【００８６】
図１０は、撮影装置（３０）にて撮影された画像データから表示対象を抽出する流れを示すフローチャートである。
【００８７】
まず、ステップ１２１０にて、撮影画像データを読み込む。
【００８８】
ステップ１２２０では、ステップ１２１０にて読み込まれた表示対象を含む受信画像データの中から表示対象領域を認識する。表示対象領域認識方法は、画像撮影時にクロマキーバックを背後に所持した場合、クロマキーとなる特定色以外の領域を表示対象とする。また、表示対象が動作を含むオブジェクトである場合、前後画像から変化のあった画素部分を追跡し、それを表示対象の輪郭を認識してもよい。このとき、周囲にあるものは静止オブジェクトであることが望ましい。さらに、表示対象を含む画像データに予め表示対象領域を示すようなマスク画像を添付していてもよく、この方法は、静止オブジェクトを表示対象とする場合に有効である。
【００８９】
次に、ステップ１２３０にて、表示対象領域を抽出し、表示対象領域を明示した画像を作成する。
【００９０】
図１１は、本実施形態における、表示対象の合成位置決定の流れを示すフローチャートである。
【００９１】
まず、ステップ２１１０にて、受信カメラパラメータを取得する。次に、ステップ２１２０にて、仮想空間データカメラパラメータを取得する。
【００９２】
ここで、取得カメラパラメータは、撮影装置（３０）の3次元位置、回転角度などを示す。また、受信カメラパラメータにおいては、表示対象と撮影装置の３次元位置関係も含む。正面となる方向は、任意に設定して構わないが、表示対象の正面と考えられる位置とするのが望ましく、違和感ない合成が可能となる。
【００９３】
ステップ２１３０では、カメラ位置を一致させることによって、合成方向を決定する。
【００９４】
合成方向が決定したら、表示対象の大きさをきめることによって、ステップ２１５０にて合成位置が一意に定まる。
【００９５】
仮想空間データは、２次元で所持しても３次元で所持しても構わない。仮想空間データ内のオブジェクトに奥行きデータを持たせると、表示対象を合成したときの前後関係が明確になり、表示対象がオブジェクトの後ろに隠れたり、前に出たりするため、より臨場感が増す。
【００９６】
図１２は、本実施形態における、表示対象の合成位置決定の流れを示すフローチャートである。
【００９７】
まず、ステップ２１０５にて、表示対象を含む受信画像データを読み込む。
【００９８】
ステップ２１１０、２１２０では、それぞれ受信カメラパラメータ、仮想空間データカメラパラメータを取得する。仮想空間データは、３次元で所持しているものとする。
【００９９】
ステップ２１３５では、受信画像データにおいて、表示対象に隣接する静止オブジェクトを認識する。
【０１００】
静止オブジェクトが表示対象の前方および左右に存在し、表示対象の一部を隠す場合、一連の連続画像において、輪郭に変化の無い部分が存在すれば、そこが静止オブジェクトの存在する場所となる。また、予め位置関係データを画像合成装置に送信してもよい。
【０１０１】
図１３は、本実施形態における、表示対象の画像合成方法の流れを示すフローチャートである。
【０１０２】
まず、ステップ２３１０にて、受信された表示対象データを読み込む。
【０１０３】
ステップ２３２０にて、表示対象データの合成先となる超高精細仮想空間データを読み込む。
【０１０４】
ステップ２３３０では、ステップ２３１０にて読み込んだ表示対象データの表示対象領域の輪郭処理を行う。ただ表示対象を重ね合わせただけでは、表示対象と合成先である仮想空間データが分離して見える可能性があるため、輪郭部分を徐々に背景になじませる輪郭処理を行う。
【０１０５】
ステップ２３４０では、表示対象を含む受信画像データから表示対象を抽出し、輪郭に処理を施したものを、仮想空間データに合成する。
【０１０６】
図１４は、図１３で示した表示対象の画像合成方法において、カメラ位置の変化によって表示対象に形状の変化が生じる第６の実施形態のフローチャートである。
【０１０７】
ステップ２３２０にて、背景となる超高精細仮想空間データを読み込んだあと、ステップ２３４５にて、カメラ位置の変化による表示対象の変形を行う。異なるカメラパラメータの元に合成した画像には違和感が生じるため、カメラ位置を合わせるために、表示対象の形状を２次元アフィン変換にて変形を行い、カメラパラメータに合致した角度で表示できるようにする。
【０１０８】
次にステップ２３５０にて、表示対象輪郭処理を行う。他の流れにおいては、図１３に示すとおりである。
【０１０９】
【発明の効果】
本発明によれば、高精細な大画面表示が可能となり、テレビ会議システムにおいても一体感を増すことが可能になる。
【０１１０】
また、ネットワーク上での送信速度を保った上、ネットワーク上のトラフィックが増加するとの問題を解決できる。
【０１１１】
さらに、画像表示のためのスペースを節約できる。
【図面の簡単な説明】
【図１】本発明の実施形態の装置の全体構成図。
【図２】第1実施形態の画像合成装置のシステム構成図。
【図３】第1実施形態の画像合成装置の実施例。
【図４】第1実施形態の画像合成装置の内部構成図。
【図５】第1実施形態の画像合成装置の基本フローチャート。
【図６】複数の画像投影装置を用いた第２実施形態の画像合成装置のフローチャート。
【図７】画像投影装置への画像の転送を制限した第３実施形態の画像合成装置のフローチャート。
【図８】撮影装置の移動を考慮した第４実施形態の画像合成装置のフローチャート。
【図９】第２乃至４の実施形態の画像合成装置の画像分割および表示図。
【図１０】第１乃至４の実施形態において、表示対象の抽出方法のフローチャート。
【図１１】第１乃至４の実施形態において、表示対象の合成位置決定方法のフローチャート。
【図１２】第１乃至４の実施形態において、表示対象の合成位置決定方法のフローチャート。
【図１３】第１乃至４の実施形態において、表示対象の画像合成方法のフローチャート。
【図１４】第１乃至４の実施形態において、表示対象の画像合成方法のフローチャート。
【符号の説明】
１・・・主拠点、２・・・他拠点、３・・・ネットワーク、４・・・ＣＰＵ、５・・・バス、１０・・・画像投影装置、２０・・・画像表示装置、３０・・・撮像装置、３１・・・クロマキーバック、３２・・・D/A変換器、３３・・・A/D変換器、４０・・・データ送受信/画像処理装置、５１・・・実空間オブジェクト、５２・・・仮想空間オブジェクト、６１・・・体験者、６２・・・表示対象物、１００・・・主記憶装置、１１０・・・撮像部、１１１・・・表示対象物撮像プログラム、１２０・・・データ発信部、１２１・・・表示対象発信プログラム、１２２・・・カメラパラメータ発信プログラム、１３０・・・データ受信部、１３１・・・画像データ受信プログラム、１３２・・・カメラパラメータ受信プログラム、１４０・・・画像制御部、１４１・・・合成位置決定プログラム、１４２・・・画像合成部、１４３・・・画像分割変形プログラム、１５０・・・データ転送部、１５１・・・データ転送プログラム、２００・・・補助記憶装置、２１０・・・超高精細仮想空間データ格納部、２２０・・・表示対象格納部、２３０・・・受信データ格納部、２４０・・・カメラパラメータ格納部、２５０・・・受信カメラパラメータ格納部、２６０・・・仮想空間カメラパラメータ格納部
【図１】
0004126835.tif 000002
【図２】
0004126835.tif 000003
【図３】
0004126835.tif 000004
【図４】
0004126835.tif 000005
【図５】
0004126835.tif 000006
【図６】
0004126835.tif 000007
【図７】
0004126835.tif 000008
【図８】
0004126835.tif 000009
【図９】
0004126835.tif 000010
【図１０】
0004126835.tif 000011
【図１１】
0004126835.tif 000012
【図１２】
0004126835.tif 000013
【図１３】
0004126835.tif 000014
【図１４】
0004126835.tif 000015