(57)【要約】【課題】  設備の整った環境を必要としないオブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラムを提供する。【解決手段】  撮像手段（８）、この撮像手段によって逐次撮像される画像に含まれる特定の輝度領域を複数抽出する抽出手段（９）、この抽出手段によって抽出された複数の輝度領域から生成すべきオブジェクトの一部を構成する構成データ及びこの構成データの座標データを夫々取得するデータ取得手段（９）、このデータ取得手段によって取得した複数の構成データを各々対応する座標データに基づいて合成して前記オブジェクトを生成するオブジェクト生成手段（１３）を備える。【選択図】  図１
2009087176.tif 000002
【特許請求の範囲】
【請求項１】
生成すべきオブジェクト構成する複数の構成データのうちの一部の構成データ及びこの構成データの座標データを取得する第１のデータ取得手段と、
この第１のデータ取得手段によって取得したこれらのデータを輝度変調情報に変調する変調手段と、
この変調手段によって変調した輝度変調情報に基づいて時間的な輝度変化を伴って発光する発光手段と、
を各々備えた複数の発光装置と、
撮像手段と、  
この撮像手段により逐次撮像される画像に含まれる特定の輝度領域を複数抽出する抽出手段と、
この抽出手段によって抽出された複数の輝度領域から夫々前記構成データ及びこの構成データの座標データを取得する第２のデータ取得手段と、
この第２のデータ取得手段によって取得した複数の構成データを各々対応する座標データに基づいて合成して前記オブジェクトを生成するオブジェクト生成手段と、
を備えたオブジェクト生成装置と、
を備えたことを特徴とするオブジェクト生成システム。
【請求項２】
前記オブジェクト生成装置は、
前記撮像手段によって撮像された画像と前記オブジェクト生成手段によって生成されたオブジェクトとを表示する表示手段を更に備えたことを特徴とする請求項１記載のオブジェクト生成システム。
【請求項３】
撮像手段と、
この撮像手段によって逐次撮像される画像に含まれる特定の輝度領域を複数抽出する抽出手段と、
この抽出手段によって抽出された複数の輝度領域から生成すべきオブジェクトの一部を構成する構成データ及びこの構成データの座標データを夫々取得するデータ取得手段と、
このデータ取得手段によって取得した複数の構成データを各々対応する座標データに基づいて合成して前記オブジェクトを生成するオブジェクト生成手段と、
を備えたことを特徴とするオブジェクト生成装置。
【請求項４】
前記撮像手段によって撮像された画像と前記オブジェクト生成手段によって生成されたオブジェクトとを表示する表示手段を更に備えたことを特徴とする請求項３記載のオブジェクト生成装置。
【請求項５】
撮像部を具備する装置が有するコンピュータを、
前記撮像部によって逐次撮像される画像に含まれる特定の輝度領域を複数抽出する抽出手段、
この抽出手段によって抽出された複数の輝度領域から生成すべきオブジェクトの一部を構成する構成データ及びこの構成データの座標データを夫々取得するデータ取得手段、
このデータ取得手段によって取得した複数の構成データを各々対応する座標データに基づいて合成して前記オブジェクトを生成するオブジェクト生成手段、
として機能させることを特徴とするオブジェクト生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータグラフィックス等で構成されたオブジェクトを生成するオブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラムに関する。
【背景技術】
【０００２】
近年、様々な分野で、三次元コンピュータグラフィックス（以下、３ＤＣＧという。）を応用した画像表示システムが用いられている。３ＤＣＧは空間や立体などの三次元の存在を画面上に仮想表示する技術であり、テレビ放送のスタジオ撮影などによく用いられている。このようなシステムの具体例としては、例えば下記の特許文献１に記載される技術が考えられている。この特許文献１には、スタジオ内に人物（アナウンサ等）と立体模型造形装置とを配置し、テレビカメラで撮影した映像における立体模型造形装置が存在する位置に３ＤＣＧを合成して、人物とともに表示させるというものである。
【０００３】
【特許文献１】特開２００５−２５０７４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の技術の場合、立体模型造形装置の配置、及び、３ＤＣＧを蓄積するデータベースの必要性から、必然的に撮影スタジオ等、設備の整った商業目的の環境でしか実現できず、これらの環境を整えることが困難な場合、同システムを利用できないという問題があった。
【０００５】
本発明の目的は、上記のような設備の整った環境を必要としないオブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、生成すべきオブジェクト構成する複数の構成データのうちの一部の構成データ及びこの構成データの座標データを取得する第１のデータ取得手段と、この第１のデータ取得手段によって取得したこれらのデータを輝度変調情報に変調する変調手段と、この変調手段によって変調した輝度変調情報に基づいて時間的な輝度変化を伴って発光する発光手段と、を各々備えた複数の発光装置と、撮像手段と、この撮像手段により逐次撮像される画像に含まれる特定の輝度領域を複数抽出する抽出手段と、この抽出手段によって抽出された複数の輝度領域から夫々前記構成データ及びこの構成データの座標データを取得する第２のデータ取得手段と、この第２のデータ取得手段によって取得した複数の構成データを各々対応する座標データに基づいて合成して前記オブジェクトを生成するオブジェクト生成手段と、を備えたオブジェクト生成装置と、を備えたことを特徴とする。
請求項２記載の発明は、上記請求項１記載の発明において、前記オブジェクト生成装置は、前記撮像手段によって撮像された画像と前記オブジェクト生成手段によって生成されたオブジェクトとを表示する表示手段を更に備えたことを特徴とする。
請求項３記載の発明は、撮像手段と、この撮像手段によって逐次撮像される画像に含まれる特定の輝度領域を複数抽出する抽出手段と、この抽出手段によって抽出された複数の輝度領域から生成すべきオブジェクトの一部を構成する構成データ及びこの構成データの座標データを夫々取得するデータ取得手段と、このデータ取得手段によって取得した複数の構成データを各々対応する座標データに基づいて合成して前記オブジェクトを生成するオブジェクト生成手段と、を備えたことを特徴とする。
請求項４記載の発明は、上記請求項３記載の発明において、前記撮像手段によって撮像された画像と前記オブジェクト生成手段によって生成されたオブジェクトとを表示する表示手段を更に備えたことを特徴とする。
請求項５記載の発明は、撮像部を具備する装置が有するコンピュータを、前記撮像部によって逐次撮像される画像に含まれる特定の輝度領域を複数抽出する抽出手段、この抽出手段によって抽出された複数の輝度領域から生成すべきオブジェクトの一部を構成する構成データ及びこの構成データの座標データを夫々取得するデータ取得手段、このデータ取得手段によって取得した複数の構成データを各々対応する座標データに基づいて合成して前記オブジェクトを生成するオブジェクト生成手段、として機能させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、設備の整った環境を必要としないオブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラムを提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、実施の形態に係る画像表示システムの構成図である。この図において、画像表示システム１は、大別して、３ＤＣＧ等のオブジェクトを生成する撮像装置２と、その撮像装置２の撮影画角α内に位置する発光装置群３とからなる。
【０００９】
発光装置群３は、複数（図では２つであるが、これは説明のための便宜数である。）の発光装置４を含み、各々の発光装置４は、ＣＧデータメモリ５と、変調・駆動部６と、光源７とを備える。
【００１０】
ＣＧデータメモリ５は、任意のＣＧ画像（オブジェクト）を生成するための３ＤＣＧデータを記憶保存するための記憶要素である。このＣＧデータメモリ５への３ＤＣＧデータの書き込みは、たとえば、不図示のデータ設定装置を各々の発光装置４に接続して行ってもよく、又は、無線ＬＡＮ等の無線媒体経由で行ってもよい。或いは、ＣＧデータメモリ５を着脱可能にしておき、各々の発光装置４から取り外したＣＧデータメモリ５を不図示のデータ書き込み装置（パソコン等）にセットして所要の３ＤＣＧデータを書き込んだ後、再び、各々の発光装置４に装着するようにしてもよい。又は、予め複数種類の３ＤＣＧデータを各々の発光装置４のＣＧデータメモリ５に書き込んでおき、それらの３ＤＣＧデータを選択して使用するようにしてもよい。ＣＧデータメモリ５に書き込まれる３ＤＣＧデータの実際については、後述する。
【００１１】
変調・駆動部６は、ＣＧデータメモリ５に保存されている３ＤＣＧデータを可視光通信方式に対応する信号に変調し、その信号に基づいて発光する輝度が時間の経過を伴って変化するように光源７を駆動する。
【００１２】
次に、撮像装置２の構成を説明する。図において、撮像装置２は、ＣＣＤやＣＭＯＳ等の撮像素子８と、信号領域座標検出及びデータ受信復号部９と、ＣＧ−特徴点対応データ記憶部１０と、合成用３ＤＣＧデータ記憶部１１と、カメラパラメータ推定部１２と、合成画像生成部１３と、画像合成部１４と、表示部１５とを備える。
【００１３】
なお、これ以外にも、記録保存部１６や通信部１７などを備えていてもよい。
【００１４】
撮像素子８は、画角α内を撮影し、その撮影画像（撮影実画像）を出力する。ここで、撮像素子８は、前記の発光装置群３が可視光通信方式によって情報信号を送信（発光）するものである場合、可視光領域の撮影感度を持つ素子を使用し、一方、赤外線通信等の不可視光を利用した通信によって情報信号を送信するものである場合、赤外線等の不可視光領域の撮影感度を持つ素子を使用する。
【００１５】
なお、この撮像素子８は、撮影レンズ等の不図示の光学系を含み、当該光学系は、必要であれば画角αを変更するためのズーム機構を含む。
【００１６】
信号領域座標検出及びデータ受信復号部９は、撮像素子８から出力された撮影画像（撮影実画像）より、可視光通信又は不可視光通信によって変調された情報（３ＤＣＧデータ）を復号し、その復号データをＣＧ−特徴点対応データ記憶部１０と合成用３ＤＣＧデータ記憶部１１に出力する。また、信号領域座標検出及びデータ受信復号部９は、撮像素子８から出力された撮影画像（撮影実画像）より、前記の発光装置群３の各々の光源７の座標を捕捉検出し、その捕捉座標群の情報をカメラパラメータ推定部１２に出力する。
【００１７】
カメラパラメータ推定部１２は、信号領域座標検出及びデータ受信復号部９からの捕捉座標群の情報に基づいて、撮像素子８のカメラパラメータ（たとえば、撮影方向や傾き、パース等）を推定し、その推定結果に従って作成したＣＧ生成データを出力する。合成画像生成部１３は、カメラパラメータ推定部１２からのＣＧ生成データと、ＣＧ−特徴点対応データ記憶部１０からのＣＧ−特徴点対応データとに基づいてＣＧ等合成画像を生成し、画像合成部１４は合成画像生成部１３からのＣＧ等合成画像と撮像素子８からの撮影実画像とを合成する。表示部１５は、たとえば、液晶パネル等の表示デバイスから構成され、画像合成部１４からの合成画像を表示する。表示部１５は外付けのもの、すなわち、アナログやデジタルの映像信号入力端子を有するモニタ装置、テレビジョン受像機、パソコンディスプレイ、又はそれらの相当する汎用若しくは専用の表示装置であってもよい。
【００１８】
なお、必要に応じて備えられる記録保存部１６は画像合成部１４からの合成画像を記録保存し、また、通信部１７は画像合成部１４からの合成画像を外部の装置に出力したりするものである。
【００１９】
ちなみに、図示の構成の変形例として画像合成部１４をパスする構成としてもよい。つまり、撮影実画像と合成せずに、合成画像生成部１３からのＣＧ等合成画像を直接的に表示部１５に出力する構成としてもよい。この場合、合成画像生成部１３の出力と表示部１５の入力とを直接接続するようにしてもよいが、以下のようにすることが好ましい。
【００２０】
図２は、画像合成部１４の周辺の変形構成図である。この図に示すように、画像合成部１４の入力と出力に連動型の切り換えスイッチ１４ａ、１４ｂを設け、このスイッチ１４ａ、１４ｂを切り換えることにより、合成画像生成部１３の出力を画像合成部１４に供給したり、表示部１５の直接供給したりするようにしてもよい。このようにすると、必要に応じて、撮像実画像との合成画像を表示部１５に表示したり、ＣＧ画像のみを表示部１５に表示したりすることができる。
【００２１】
次に、発光装置群３の実際の使用例を説明する。
図３（ａ）は、発光装置群３の実際の使用例を示す図であり、図３（ｂ）は、その発光装置群３の実際の使用例に対応して最終的に得られるＣＧ画像１５０を示す図である。
【００２２】
なお、以下の説明では、最終的に得られるＣＧ画像として単純な直方体を例示しているが、これは説明を簡単にするための便宜である。一般的に３ＤＣＧでは、ポリゴン（Ｐｏｌｙｇｏｎ）と呼ばれる多角形の基本図形を組み合わせることによって様々な形の立体を表現することができる。ポリゴンはほとんどの場合に三角形であり、意図した立体の表面を微小な三角形に分割し、それらを数値データ化することにより、あらゆる視点や環境による物体の見え方を計算によって再現して、ＣＧ画像として描画することができる。ポリゴンの数を増やすほど細密なＣＧ画像を得ることができるが、計算量が増えるため、計算能力と所望の画像効果との兼ね合いでポリゴン数が決められる。
【００２３】
以下、この実施形態では、上下２面と４側面の６面からなる直方体を最終的に得られるＣＧ画像とし、且つ、各々の面を三角形に分割し、ＣＧ画像１５０を構成する計１２個のポリゴンからなる構成データとしての３ＤＣＧデータを例とするものとする。ただし、言うまでもないが、この例は便宜上の簡易的なものであって、これに限定されないことはもちろんである。
【００２４】
図３（ａ）において、星形図形で示すＬ１〜Ｌ４は、それぞれ発光装置群３を構成する発光装置４の光源７の輝点を表している。ここでは、光源７と輝点Ｌ１〜Ｌ４とを同義語として取り扱う。これらの輝点Ｌ１〜Ｌ４は、床面や地面に立設されたポール１８の先端から延びる４本の枝木１９〜２２の端に位置している。つまり、これら４本の枝木１９〜２２の端に、発光装置群３を構成する発光装置４の光源７が取り付けられている。輝点Ｌ１〜Ｌ４の間隔は特に限定されない。数十ｃｍオーダの間隔であってもよく、あるいは、数十ｍオーダの間隔であってもよい。前者の場合、たとえば室内でなんらかの小型のモデルのデザイン確認用などに使われることが考えられ、また、後者の場合、屋外構造物等の景観確認用などに使われることが考えられる。輝点Ｌ１〜Ｌ４の数は、ここでは４個であるが、それ以上であってもよい。ちなみに、一つの三次元形状を指定する際は、撮像素子８のパース（＝奥行きの圧縮率）を取得するために、一直線上の輝点配置ではなく、単一三角形上に乗ることもない配置の最低４点が必要であるが、５点以上であっても問題はない。
【００２５】
図４は、最終的に本発明で得られる表示画像の例を示す図である。この図において、（ａ）はＣＧ画像を合成する前の画像（撮像実画像）であり、（ｂ）は合成後の画像（撮像実画像＋３ＤＣＧ画像１５０）である。このように、４本の枝木１９〜２２の端の各輝点Ｌ１〜Ｌ４の位置に底面を接した立方体の３ＤＣＧ画像１５０を表示部１５の画面上で観察することができる。
【００２６】
図５は、最終的に本発明で得られる表示画像の他の例を示す図であるが、この例は、４本の枝木１９〜２２の端の各輝点Ｌ１〜Ｌ４を見上げるようにして視点を変えたとき（撮像装置２の撮影方向を変えたとき）の図である。前記と同様に、この図においても、（ａ）はＣＧ画像を合成する前の画像（撮像実画像）であり、（ｂ）は合成後の画像（撮像実画像＋３ＤＣＧ画像１５０）である。このように、撮像装置２の撮影方向を変えた場合であっても、４本の枝木１９〜２２の端の各輝点Ｌ１〜Ｌ４の位置に底面を接した立方体の３ＤＣＧ画像１５０を表示部１５の画面上で観察することができる。
【００２７】
以上のように、本実施の形態においては、床面や地面に立設されたポール１８と、そのポール１８の先端から延びる４本の枝木１９〜２２と、その枝木１９〜２２の端に位置する輝点Ｌ１〜Ｌ４とを含む撮像実画像の上に、所望のＣＧ画像（ここでは立方体の３ＤＣＧ画像１５０）を合成して表示部１５に表示することができる。つまり、「撮像実画像＋ＣＧ画像」の合成画像を表示することができるのであるが、この点は、冒頭で説明した従来技術も同様である。相違点は、冒頭で説明した従来技術にあっては、ＣＧ画像を生成するための３ＤＣＧデータを映像合成装置内に保持しておく必要があるのに対して、本実施の形態ではそのような必要が全くないことにある。要するに、本実施の形態では、立体模型造形装置の役割を輝点Ｌ１〜Ｌ４が担うと共に、ＣＧ画像を生成するための３ＤＣＧデータを、輝点Ｌ１〜Ｌ４の変調によって撮像装置２に送信するようにしたから、当該データを撮像装置２で保持しておく必要がないという格別の効果が得られるのである。
【００２８】
以下、上記のような格別の効果が得られる点について詳述する。
まず、３ＤＣＧデータの全体について説明する。
先にも述べたとおり、一般的な３ＤＣＧデータは、ポリゴンデータと、そのポリゴンを構成する頂点座標データとからなっている。本実施の形態の３ＤＣＧデータも、この一般例に倣ってポリゴンデータと、そのポリゴンを構成する頂点座標データとからなっているものとするが、発明の思想上は、ポリゴン方式以外の他のデータ形式を排除しない。たとえば、直線と、その直線の両端座標とからなる、いわゆるワイヤフレーム方式などの形式であってもよい。
【００２９】
図６は、本実施の形態におけるＣＧ画像の頂点を示す図である。この図において、Ｖ１〜Ｖ８は頂点であり、Ｖ１〜Ｖ４は立方体の上面の４つの角に位置し、Ｖ５〜Ｖ８は立方体の下面の４つの角に位置している。これらの頂点Ｖ１〜Ｖ８の座標は重力方向のＹ軸と、水平方向のＸ軸、Ｚ軸の３軸座標（ｘ，ｙ，ｚ）で表される。
【００３０】
図７は、本実施の形態におけるＣＧ画像のポリゴンを示す図である。この図において、Ｐ１〜Ｐ１２はポリゴンである。より詳細には、Ｐ１は三つの頂点Ｖ２、Ｖ６、Ｖ７を結ぶ三角形のポリゴンであり、Ｐ２は三つの頂点Ｖ２、Ｖ３、Ｖ７を結ぶ三角形のポリゴンであり、Ｐ３は三つの頂点Ｖ２、Ｖ５、Ｖ６を結ぶ三角形のポリゴンであり、Ｐ４は三つの頂点Ｖ１、Ｖ２、Ｖ５を結ぶ三角形のポリゴンであり、Ｐ５は三つの頂点Ｖ１、Ｖ２、Ｖ４を結ぶ三角形のポリゴンであり、Ｐ６は三つの頂点Ｖ１、Ｖ４、Ｖ５を結ぶ三角形のポリゴンであり、Ｐ７は三つの頂点Ｖ２、Ｖ３、Ｖ４を結ぶ三角形のポリゴンであり、Ｐ８は三つの頂点Ｖ３、Ｖ４、Ｖ７を結ぶ三角形のポリゴンであり、Ｐ９は三つの頂点Ｖ４、Ｖ７、Ｖ８を結ぶ三角形のポリゴンであり、Ｐ１０は三つの頂点Ｖ４、Ｖ５、Ｖ８を結ぶ三角形のポリゴンであり、Ｐ１１は三つの頂点Ｖ５、Ｖ７、Ｖ８を結ぶ三角形のポリゴンであり、Ｐ１２は三つの頂点Ｖ５、Ｖ６、Ｖ７を結ぶ三角形のポリゴンである。
【００３１】
図８は、本実施の形態におけるＣＧ画像のポリゴンを具体的な３ＤＣＧデータで表現したときのデータテーブルを示す図である。この図において、（ａ）は頂点名と各頂点座標との対応関係を示す頂点データテーブル１９（略号：Ｔａｂｌｅ−Ｖ）、（ｂ）はポリゴン名と各ポリゴンの頂点リストとの対応関係を示すポリゴンデータテーブル２０（略号：Ｔａｂｌｅ−Ｐ）である。また、（ｃ）は輝点Ｌ１〜Ｌ４の識別名（以下、光源ＩＤ）と頂点名との対応関係を示す光源、頂点対応データテーブル２１（略号：Ｔａｂｌｅ−ＬＶ）である。
【００３２】
これらのテーブルに示すように、頂点Ｖ１は座標（ｘ１、ｙ１、ｚ１）に位置し、また、頂点Ｖ２は座標（ｘ２、ｙ２、ｚ２）に位置し、頂点Ｖ３は座標（ｘ３、ｙ３、ｚ３）に位置し、・・・・・・・・、頂点Ｖ８は座標（ｘ８、ｙ８、ｚ８）に位置している。また、ポリゴンＰ１は頂点Ｖ２、Ｖ６、Ｖ７からなり、ポリゴンＰ２は頂点Ｖ２、Ｖ７、Ｖ３からなり、ポリゴンＰ３は頂点Ｖ５、Ｖ６、Ｖ２からなり、・・・・・・・・、ポリゴンＰ１２は頂点Ｖ６、Ｖ５、Ｖ７からなる。
【００３３】
そして、第１の輝点Ｌ１は頂点Ｖ５に位置し、第２の輝点Ｌ２は頂点Ｖ６に位置し、第３の輝点Ｌ３は頂点Ｖ７に位置し、第４の輝点Ｌ４は頂点Ｖ８に位置している。
【００３４】
発明の思想上、発光装置群３は、以上三つのテーブルのデータを撮像装置２に対して送信することになる。さて、これらのデータを複数の光源（輝点Ｌ１〜Ｌ４）で送信するにあたり、Ｔａｂｌｅ−ＬＶについては、その光源の対応する頂点名のみ（たとえば、輝点Ｌ１については頂点名Ｖ５）を送ればよいが、Ｔａｂｌｅ−ＰとＴａｂｌｅ−Ｖについては、全ての光源（輝点Ｌ１〜Ｌ４）でそれらＴａｂｌｅ−ＰとＴａｂｌｅ−Ｖのデータを送るのは冗長度が大きく、通信効率が悪化するので好ましくない。
【００３５】
そこで、本実施の形態では、以下に説明するように、Ｔａｂｌｅ−ＰとＴａｂｌｅ−Ｖのデータを複数ブロックに分割し、それらのブロックごとに各光源（輝点Ｌ１〜Ｌ４）で送信するようにして、データの伝送効率を改善する。
【００３６】
図９は、送信データの構造図である。この図において、送信データ２２は主コンポーネント２３と、その主コンポーネント２３に続く複数の副コンポーネント２４、２５とからなる。主コンポーネント２３はオブジェクトＩＤ、光源ＩＤ、ブロック分割数、ブロックＮｏ．、Ｔａｂｌｅ−Ｖ要素数ｎ、Ｔａｂｌｅ−Ｐ要素数ｍの各格納部を含み、一の副コンポーネント２４は、Ｔａｂｌｅ−Ｖの部分データ（ｎ個）の格納部、二の副コンポーネント２５は、Ｔａｂｌｅ−Ｐの部分データ（ｍ個）の格納部を含む。
【００３７】
ここで、オブジェクトＩＤとは、描画対象のＣＧ画像が複数ある場合に、それらのＣＧ画像を識別するためのユニークな情報である。描画対象のＣＧ画像が一つしかない場合は、このオブジェクトＩＤを省略しても差し支えない。光源ＩＤとは、発光装置群３を構成する各発光装置４の光源７を識別するためのユニークな情報である。ここでは、輝点と同じＬ１〜Ｌ４を光源ＩＤとしているが、これは説明の便宜である。ユニークな情報であれば他の情報であってももちろん構わない。ブロック分割数とは、Ｔａｂｌｅ−ＰとＴａｂｌｅ−Ｖのデータのブロック分割数のことであり、ブロックＮｏ．とは、それらのブロックに割り振られた一連番号である。Ｔａｂｌｅ−Ｖの要素数ｎ及びＴａｂｌｅ−Ｐの要素数ｍは、それぞれ分割ブロックに含まれるＴａｂｌｅ−ＶとＴａｂｌｅ−Ｐの部分データの数である。たとえば、この図においては、Ｔａｂｌｅ−Ｖの部分データとしてＶ１〜Ｖｎまでのｎ個のデータが格納されると共に、Ｔａｂｌｅ−Ｐの部分データとしてＰ１〜Ｐｍまでのｍ個のデータが格納されている。
【００３８】
このように、Ｔａｂｌｅ−ＰとＴａｂｌｅ−Ｖのデータを複数ブロックに分割し、それらのブロックごとに各光源（輝点Ｌ１〜Ｌ４）で送信するようにすれば、冗長度を改善してデータの伝送効率を高めることができる。
【００３９】
ちなみに、データ量が少なく、伝送効率の悪化をそれほど心配しなくてもよい場合（たとえば、単純な形のＣＧ画像を描画する場合など）は、全ての光源で同じデータを送信するようにしてもよく、このような場合は、単にブロック分割数を１とすればよい。
【００４０】
なお、ブロック分割において、各ブロックのＴａｂｌｅ−ＶとＴａｂｌｅ−Ｐの要素が一部で重複しても構わない。たとえば、ブロックＮｏ．１とブロックＮｏ．２のＴａｂｌｅ−ＶやＴａｂｌｅ−Ｐの中に同じ要素が含まれていてもよく、要するに、撮像装置２の側で最終的にＴａｂｌｅ−ＶとＴａｂｌｅ−Ｐの全データを再構成できるようになっていればよい。
【００４１】
ちなみに、ブロック間の要素の重複を許した場合には、光源群の一部分だけをカメラがとらえた場合であっても、捕捉した一部の光源（とそれに対応する頂点）からの情報に基づいて、意図するＣＧ画像に近い画像を再生できるので好ましい。
【００４２】
上記のブロック分割は、基準となる光源の配置と、それらの光源により構成されるＣＧ画像との関係で適宜決定される。つまり、一度に同時に捕捉される光源で、必要な３ＤＣＧデータ全体を送ることができればよいので、データフォーマットとしては、輝点Ｌｎが対応する頂点と、その輝点Ｌｎが送出するポリゴンの位置関係は特に問わなくてよいが、上記のように光源群の一部分がカメラに捉えられただけでも、的確にその部分の３ＤＣＧデータを送るようにしつつ、伝送効率を上げるためには、光源が属する周囲のポリゴンの位置関係を考慮して分割するのが望ましい。
【００４３】
なお、どちらの方向から、どのくらいの画角でいくつの光源が入るかはあらかじめ算出可能であり、３ＤＣＧデータ全体をどのように分割するかは、特定のパラメータを指定すれば自動算出可能であるので、発光装置４のＣＧデータメモリ５にデータを設定する際に、そのような自動・半自動過程により各光源への振り分けを行ってもよい。
【００４４】
図１０は、光源ごとの頂点分担を示す図、図１１は、光源ごとのポリゴン分担を示す図である。図１０に示すように、輝点Ｌ１は頂点Ｖ５とＶ１を分担し、輝点Ｌ２は頂点Ｖ６とＶ２を分担し、輝点Ｌ３は頂点Ｖ７とＶ３を分担し、輝点Ｌ４は頂点Ｖ３とＶ４を分担する。そして、図１１に示すように、輝点Ｌ１はポリゴンＰ１、Ｐ２、Ｐ３を分担し、輝点Ｌ２はポリゴンＰ７、Ｐ８、Ｐ９を分担し、輝点Ｌ３はポリゴンＰ４、Ｐ５、Ｐ６を分担し、輝点Ｌ４はポリゴンＰ１０、Ｐ１１、Ｐ１２を分担する。ただし、これらの例では、説明の簡単化のために、ブロック分割における要素重複はさせていない。
【００４５】
図１２は、以上の例示に基づく、具体的な送信データの構造図である。この図において、送信データ２２の主コンポーネント２３のオブジェクトＩＤには“Ｌ１”、光源ＩＤには“Ｖ５”、ブロック分割数には“４”、ブロックＮｏ．には“１”、Ｔａｂｌｅ−Ｖ要素数ｎには“２”、Ｔａｂｌｅ−Ｐ要素数ｍには“３”が格納されている。また、一の副コンポーネント２４には頂点Ｖ１とその座標（ｘ１，ｙ１，ｚ１）及び頂点名Ｖ５とその座標（ｘ５，ｙ５，ｚ５）が格納され、二の副コンポーネント２５にはポリゴンＰ１とその頂点リスト（Ｖ２−Ｖ６−Ｖ７）、ポリゴンＰ２とその頂点リスト（Ｖ２−Ｖ７−Ｖ３）及びポリゴンＰ３とその頂点リスト（Ｖ５−Ｖ６−Ｖ２）が格納されている。
【００４６】
図１３は、本実施の形態における撮像装置２の動作フローを示す図である。撮像装置２は、まず、撮像素子８で連続的に撮影した時系列画像から信号光源群（輝点Ｌ１〜Ｌ４）を捕捉し、それらの輝点の座標を決定し、その輝点の変調によって送られてきたデータを復号再生（ステップＳ１）した後、オブジェクトＩＤごとに各光源のＣＧ合成データを結合する（ステップＳ２）。次いで、一つのオブジェクトＩＤに関して、捕捉座標群からＣＧ合成のための方向、傾き、パースなどのパラメータを算出し（ステップＳ３）、その算出パラメータがＣＧ表示決定可能か否かを判定する（ステップＳ４）。
【００４７】
そして、ＣＧ表示決定可能であれば、算出パラメータよりＣＧの表示画像を生成し（ステップＳ５）、実画像にそのＣＧオブジェクトをオーバラップ合成する（ステップＳ６）。次いで、オブジェクト終了を判定し（ステップＳ７）、終了でなければ、ステップＳ３以降を繰り返し、終了であれば、ステップＳ１に復帰する。
【００４８】
一方、ＣＧ表示決定可能でない場合（ステップＳ４の“ＮＯ”判定の場合）は、決定できないパラメータをデフォルト値（たとえば、方向→正面、傾き→水平、サイズ→受信データ分全てが表示画面に収まるサイズ）で補完して、ＣＧの表示画像を生成し（ステップＳ８）、実画像にそのＣＧオブジェクトをオーバラップ合成する（ステップＳ６）。次いで、オブジェクト終了を判定し（ステップＳ７）、終了でなければ、ステップＳ３以降を繰り返し、終了であれば、ステップＳ１に復帰する。
【００４９】
なお、ステップＳ８において、決定できないパラメータをデフォルト値で補完してＣＧの表示画像を生成するのは、次の理由による。
（イ）図１４に示すように、カメラの撮影方向や位置にかかわらず、ある情報光源の位置を基準にして常にカメラに正対したＣＧ画像を表示するためである。
（ロ）もともと３点以下の光源で構成された３ＤＣＧデータの場合への対応のためである。
（ハ）さらには、複雑な構造のＣＧデータにおいて、ＣＧ画像決定するだけの必要な数の光源数が取れなかった場合に、取れている３ＤＣＧデータ分だけで、不明なデータはデフォルトのデータで補完して表示し、ユーザにＣＧ合成があることを促すためである。
【００５０】
また、ステップＳ６において、オブジェクトの距離に応じてＣＧ画像の重ね合わせの前後距離を決定するようにしてもよい。複数オブジェクトのＣＧ画像の重なりが生じる場合も矛盾無く処理できる。距離データの埋め込みは、たとえば、Ｔａｂｌｅ−Ｐの中に入れてもよい。
【００５１】
図１５は、距離データを埋め込んだＴａｂｌｅ−Ｐ２０’の構造図であり、前出の図８（ｂ）との相違は破線で囲んだ部分にある。ここで、破線内の各データは、頂点間実距離データであり、具体的には、Ｄ２−６は頂点Ｖ２と頂点Ｖ６の間の実距離データ、Ｄ６−７は頂点Ｖ６と頂点Ｖ７の間の実距離データ、Ｄ７−２は頂点Ｖ７と頂点Ｖ２の間の実距離データ、Ｄ２−７は頂点Ｖ２と頂点Ｖ７の間の実距離データ、Ｄ７−３は頂点Ｖ７と頂点Ｖ３の間の実距離データ、Ｄ３−２は頂点Ｖ３と頂点Ｖ２の間の実距離データ、Ｄ６−５は頂点Ｖ６と頂点Ｖ５の間の実距離データ、Ｄ５−７は頂点Ｖ５と頂点Ｖ７の間の実距離データ、Ｄ７−６は頂点Ｖ７と頂点Ｖ６の間の実距離データである。
【００５２】
なお、Ｔａｂｌｅ−Ｐの構成が複雑になって、たとえば、色やテクスチャの情報がＴａｂｌｅ−Ｐに付加されるとすれば、不可視／透明のポリゴンをも定義可能となるので、その不可視ポリゴン上の頂点に光源を対応させれば、情報光源が必ず合成ＣＧ画像上の可視の頂点である必要がなくなり、ある光源群からの一定のオフセットや内部の基準点としての情報光源を表現できるようになるので好ましい。
【００５３】
以上のとおりとしたので、本実施の形態によれば以下の効果を奏することができる。
（Ａ）従来技術で例示した立体模型造形装置の代わりに小型で扱いやすい輝点Ｌ１〜Ｌ４（光源７）で実現させることができるので、大規模なスタジオシステムを用意する必要が無い。
（B）情報送出方法が光源の輝点であるため、撮影に際し、その対応距離範囲をきわめて広範囲に設定することができる。
【００５４】
（Ｃ）ＣＧ画像の描画に必要な３ＤＣＧデータを、発光装置群３から撮像装置２へと送信するようにしたので、撮像装置２側は事前に３ＤＣＧデータを保持する必要がなく、このため、自由度が高く且つ汎用性に優れたオープンな画像表示システムを構築できる。
【００５５】
（Ｄ）３ＤＣＧデータの全体を複数のブロックに分け、複数の光源の時間経過を伴った並列伝送で３ＤＣＧデータを送出するので、３ＤＣＧデータの伝送に要する時間を短時間で終了させることができる。
（Ｅ）また、一部分の３ＤＣＧデータだけをカメラが捕らえている状態であっても、合成画像を支障なく生成することができる。
【００５６】
（Ｆ）オブジェクトＩＤをデータフォーマット（図９参照）に取り入れたので、複数の対象群が撮影画角に存在していても混信する心配がない。
（Ｇ）複数のオブジェクトが重なって表示される場合であっても、距離データを埋め込んだデータ（図１５参照）を利用することにより、光源群の距離を比較して合成の重なりを制御することができる。
（Ｈ）合成に必要なパラメータが得られない場合の処理（図１３のステップＳ８）を実装するので、正確な方位や角度のコントロールがいらない基準点だけをもとにしたＣＧ画像合成も行うことができる。
（Ｉ）同様に、パラメータが不足な場合であっても、得られた限りの３ＤＣＧデータにデフォルトのパラメータを補完して表示するので、複雑な３ＤＣＧデータを持つ対象の不完全な一部をカメラで捉えた段階から、ユーザに通知することができる。
【００５７】
なお、本発明は、その思想の範囲内において様々な変形例や発展例を含むことはもちろんであり、たとえば、以下のようにしてもよい。
【００５８】
図１６は、第１の変形例を示す図である。この図において、前記の実施の形態（図１）との相違は撮像部２６にある。すなわち、この撮像部２６は、通信用の二次元センサ２７と自然画撮影用の撮像素子２８とを別体とすると共に、それらを近接した平行光軸かつ画角を一致または画角差のデータを持つ構成としたものである。他の構成は前記の実施の形態（図１）と同様である。
【００５９】
図１７は、第２の変形例を示す図である。この図において、図１６との相違は撮像部２９にある。すなわち、この撮像部２９は、通信用の二次元センサ３０と自然画撮影用の撮像素子３１とを別体とすると共に、それらの光軸を直交させ、且つ、その光軸の交点にハーフミラー３２を設けたものである。他の構成は図１６と同様である。ハーフミラー３２の代わりに光路の時分割切り替え部を設けてもよい。
【００６０】
以上のような第１及び第２の変形例においても、前記と同様の効果（Ａ）〜（Ｉ）を得ることができる。
【００６１】
また、光源の個数について、前記の実施の形態では４個としている。これはカメラのパース（＝奥行きの圧縮率）を取得するためには最低４点が必要であるからであるが、それ以上はもちろんのこと、それ以下であってもよい。撮像装置２の構成で光学系のパース特性をデータとしてもっていれば、３点からでも正確に奥行きを求めることができるからである
【００６２】
また、以上の説明では、ＣＧ画像のような合成画像を例として述べたが、実画像に別の自然画像を重ねることに使うことも可能である。
【００６３】
なお、さらにデータを複雑化して時々刻々３ＤＣＧデータを変化させるか、あるいは、３ＤＣＧデータの変形データを挿入したり、ＣＧキャラクタをしゃべらせるためのテキスト情報を入れるなどしてもよい。
【００６４】
また、点光源ではなく、複数の面光源で構成してもよい。
【００６５】
また、前記の実施形態では、「捕捉できている光源についてのデータを下にして合成表示を行う」という態様であるが、撮像装置２のカメラパラメータ推定部１２や合成ＣＧデータ記憶部１１などに一定時間の蓄積統合機能を付加すれば、いったん全体データを受信した後は、部分的であっても完全な３ＤＣＧデータからの部分の合成表示をさせることができる。
【００６６】
また、光源群の一部が遮られた場合、合成ＣＧの前に遮蔽物体があると判定して、遮られた光源から想定した部分の合成画像の表示を抑圧し、ＣＧの前に位置する遮蔽物体を表現してもよく、加えて、その際の領域決定に画像認識を併用してもよい。
【００６７】
なお、本実施の形態では、可視光通信技術には人の目に見える“可視光”を使用して情報を送信する場合について述べたが、これに限定されるものではなく赤外線等の不可視光を利用してもよい。
【図面の簡単な説明】
【００６８】
【図１】実施の形態に係る画像表示システムの構成図である。
【図２】画像合成部１４の周辺の変形構成図である。
【図３】（ａ）は発光装置群３の実際の使用例を示す図、（ｂ）はその発光装置群３の実際の使用例に対応して最終的に得られるＣＧ画像を示す図である。
【図４】最終的に本発明で得られる表示画像の例を示す図である。
【図５】最終的に本発明で得られる表示画像の他の例を示す図である。
【図６】本実施の形態におけるＣＧ画像の頂点を示す図である。
【図７】本実施の形態におけるＣＧ画像のポリゴンを示す図である。
【図８】本実施の形態におけるＣＧ画像のポリゴンを具体的な３ＤＣＧデータで表現したときのデータテーブルを示す図である。
【図９】送信データの構造図である。
【図１０】光源ごとの頂点分担を示す図である。
【図１１】光源ごとのポリゴン分担を示す図である。
【図１２】具体的な送信データの構造図である。
【図１３】本実施の形態における撮像装置２の動作フローを示す図である。
【図１４】カメラの撮影方向や位置にかかわらず、ある情報光源の位置を基準にして常にカメラに正対したＣＧ画像の表示例を示す図である。
【図１５】距離データを埋め込んだＴａｂｌｅ−Ｐの構造図である。
【図１６】第１の変形例を示す図である。
【図１７】第２の変形例を示す図である。
【符号の説明】
【００６９】
１  画像表示システム
２  撮像装置
４  発光装置
５  ＣＧデータメモリ
６  変調・駆動部
７  光源
８  撮像素子
９  信号領域座標検出及びデータ受信復号部
１４  画像合成部
【図１】
2009087176.tif 000003
【図２】
2009087176.tif 000004
【図３】
2009087176.tif 000005
【図４】
2009087176.tif 000006
【図５】
2009087176.tif 000007
【図６】
2009087176.tif 000008
【図７】
2009087176.tif 000009
【図８】
2009087176.tif 000010
【図９】
2009087176.tif 000011
【図１０】
2009087176.tif 000012
【図１１】
2009087176.tif 000013
【図１２】
2009087176.tif 000014
【図１３】
2009087176.tif 000015
【図１４】
2009087176.tif 000016
【図１５】
2009087176.tif 000017
【図１６】
2009087176.tif 000018
【図１７】
2009087176.tif 000019