(57)【要約】【課題】カメラの自由な動きに対して、ＣＧを画像上にシームレスに表示することができる信号処理システム及び信号処理方法、並びにプログラムを提供する。【解決手段】、演算部２３は、第ｎの光源群が規定する第ｎの座標上の位置を自身が規定する座標上の位置に変換する第ｎの変換パラメータと、第ｎ＋１の光源群が規定する第ｎ＋１の座標上の位置を自身が規定する座標上の位置に変換する第ｎ＋１の変換パラメータとに基づいて、第ｎ＋１の座標上の位置を第ｎの座標上の位置に変換する座標間変換パラメータを算出する。【選択図】図２
2009093376.tif 000002
【特許請求の範囲】
【請求項１】
光源が所定の位置関係で配置された光源群の各光源の識別情報と画素位置とを入力する入力手段と、
前記各光源の識別情報と画素位置に基づいて前記光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する自身座標変換パラメータを算出する演算手段とを備え、
前記演算手段は、第１の光源群と第２の光源群とから各光源の識別情報と画素位置とが入力された場合、前記第１の光源群が規定する第１の座標上の位置を自身が規定する座標上の位置に変換する第１の自身座標変換パラメータと、前記第２の光源群が規定する第２の座標上の位置を自身が規定する座標上の位置に変換する第２の自身座標変換パラメータとに基づいて、前記第２の座標上の位置を前記第１の座標上の位置に変換する座標間変換パラメータを算出することを特徴とする信号処理システム。
【請求項２】
少なくとも４つの光源が所定の位置関係で配置された光源群をさらに備え、
前記光源は、光の点滅パターンにより当該光源の識別情報を含む光通信信号を送信することを特徴とする請求項１記載の信号処理システム。
【請求項３】
前記光源群の画像を取得する撮像手段と、
前記光源群の画像から光通信信号をデコードして各光源の識別情報を検出するとともに各光源が結像した画素位置を検出する検出手段とをさらに備えることを特徴とする請求項２記載の信号処理システム。
【請求項４】
前記座標間変換パラメータを記憶する記憶手段をさらに備え、
前記演算手段は、前記記憶手段に記憶された座標間変換パラメータに基づいて前記第２の座標上の位置を前記第１の座標上の位置に変換することを特徴とする請求項３記載の信号処理システム。
【請求項５】
前記演算手段は、前記第２の光源群と第３の光源群とから各光源の識別情報と画素位置とが入力された場合、前記第２の自身座標変換パラメータと、前記第３の光源群が規定する第３の座標上の位置を自身が規定する座標上の位置に変換する第３の自身座標変換パラメータとに基づいて、前記第３の座標上の位置を前記第２の座標上の位置に変換する座標間変換パラメータを算出し、
当該座標間変換パラメータと前記第２の座標上の位置を前記第１の座標上の位置に変換する座標間変換パラメータとに基づいて、前記第３の座標上の位置を前記第１の座標上の位置に変換することを特徴とする請求項４記載の信号処理システム。
【請求項６】
前記演算手段は、前記撮像手段にて取得された画像に前記光源群が予め規定する画像を合成することを特徴とする請求項４記載の信号処理システム。
【請求項７】
前記演算手段は、前記第１の光源群と前記第２の光源群とから光通信信号を受信した状態から前記第２の光源群の光通信信号のみを受信する状態になった場合、前記座標間変換パラメータを前記記憶手段に記憶させることを特徴とする請求項４記載の信号処理システム。
【請求項８】
前記座標間変換パラメータは、前記第１の座標と前記第２の座標との間の回転変換行列及び並行移動ベクトルの各要素値であることを特徴とする請求項４記載の信号処理システム。
【請求項９】
前記光源群は、前記受信手段が少なくとも２つの光源群から光通信信号を受信可能な間隔で配置されていることを特徴とする請求項２記載の信号処理システム。
【請求項１０】
前記光源群は、４つの光源が所定の間隔で正方形状に配置されていることを特徴とする請求項２記載の信号処理システム。
【請求項１１】
前記光源は、当該光源の座標情報を含む光通信信号を送信することを特徴とする請求項２記載の信号処理システム。
【請求項１２】
前記光通信信号を受信する受信手段と
前記光源群の画像を取得する撮像手段とをさらに備え、
前記受信手段における光通信信号の受像領域は、前記撮像手段における撮像領域よりも大きいことを特徴とする請求項２記載の信号処理システム。
【請求項１３】
光源が所定の位置関係で配置された光源群の各光源の識別情報と画素位置とを入力する入力工程と、
第１の光源群と第２の光源群とから各光源の識別情報と画素位置とが入力された場合、前記各光源の識別情報と画素位置に基づいて前記第１の光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する第１の自身座標変換パラメータと、前記第２の光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する第２の自身座標変換パラメータとを算出する自身座標パラメータ算出工程と、
前記第１の自身座標変換パラメータと前記第２の自身座標変換パラメータとに基づいて、前記第２の座標上の位置を前記第１の座標上の位置に変換する座標間変換パラメータを算出する座標間変換パラメータ算出工程とを有することを特徴とする信号処理方法。
【請求項１４】
光源が所定の位置関係で配置された光源群の各光源の識別情報と画素位置とを入力する入力工程と、
第１の光源群と第２の光源群とから各光源の識別情報と画素位置とが入力された場合、前記各光源の識別情報と画素位置に基づいて前記第１の光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する第１の自身座標変換パラメータと、前記第２の光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する第２の自身座標変換パラメータとを算出する自身座標パラメータ算出工程と、
前記第１の自身座標変換パラメータと前記第２の自身座標変換パラメータとに基づいて、前記第２の座標上の位置を前記第１の座標上の位置に変換する座標間変換パラメータを算出する座標間変換パラメータ算出工程とをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影される実画像上に３次元コンピュータグラフィクス（３Ｄ−ＣＧ）をリアルタイムに重ね合わせる信号処理システム及び信号処置方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラで撮影される実画像上に、撮影空間の３次元情報に基づいて、３次元コンピュータグラフィクス（３Ｄ−ＣＧ）をリアルタイムに重ね合わせ、表示させる技術が提案されている。これらの技術は、Augmented Reality（拡張現実感）と呼ばれ、実世界と仮想世界の融合による新たな世界感を提供するものとして、ゲーム、エンタテイメント機器、情報機器など、さまざまな用途への応用が期待されている。
【０００３】
これらの技術では、実画像上に３Ｄ−ＣＧを表示させるために、まず、撮影している空間内に３次元配置情報の基準となる座標系（世界座標）を設定し、その座標系におけるカメラの3次元的な位置、視線方向、及び傾き角度を算出する。そして、それらの情報に基づいて、実空間の所定の位置に仮想的に３Ｄ−ＣＧのオブジェクトを配置し、カメラの実際の位置、方向から見た時のＣＧを画像に重ね合わせて表示する。
【０００４】
カメラシステムが、このような重ね合わせ表示をカメラや被写体の動きに対応してリアルタイムに実行していくためには、撮影空間内に座標系設定の基準となる目標物を設定し、その目標物が容易に検出されるようにしなければならない。現在、そのための手段として、いくつか方法が提案されている。例えば、撮影空間に２次元コードが印刷されたカードを配置し、カメラがそのコード、形状などを画像処理により判断することにより、カメラに対するカードの配置情報を算出する方法が提案されている（例えば、非特許文献１参照。）。また、撮影画像からある特徴点を抽出し、その特徴点の見え方から解析する手法も提案されている（例えば、非特許文献２参照。）。この手法は、長方形状の紙の四隅の位置を画像処理にて抽出することにより、紙の配置位置を算出している。
【０００５】
しかしながら、これらの手法は画像処理が基本となるため、環境光の明暗により画像が不鮮明な場合や、また、目標物の配置の向き、距離により解像度が得られず、画像が解析不能な状況になる場合が想定されるため、カメラや目標物の配置などの使用環境に、さまざまな制約が課せられてしまう。
【０００６】
一方、このような問題を回避し、さまざまな環境において安定、ロバストな目標物の検出を可能とする方として、ＬＥＤ（Light Emitting Diode）光源をマーカーとした手法が提案されている（例えば、特許文献１参照。）。これは、撮影空間内に、光の点滅パターンでコード化されたデータを発信するＬＥＤ光源を配置し、そのデータをカメラを構成するイメージセンサーにて受信し、その受光画素位置を解析することにより、３次元情報を算出するものである。この手法によれば、ＬＥＤに十分な光度があり、また、指向性が大きければ、環境の明暗やカメラの配置によらず目標物の検出が可能である。さらに、画像処理を必要としないため、目標物の認識も高速となり、リアルタイム性の高いＣＧ表示が可能となる。
【０００７】
【非特許文献１】Impress Watch、「SCEJ、PS3『THE EYE OF JUDGMENT』カメラでカードの配置を読み取りリアルタイムに反映させるカードゲーム」、［online］、２００６年８月２５日、［平成１９年９月１日検索］、インターネット＜URL：http://www.watch.impress.co.jp/game/docs/20060825/teoj.htm＞
【非特許文献２】映像情報メディア学会誌 Vol.51, No.7(1997) pp.1086-1095 (1997)
【特許文献１】特開２００４−５６３４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、以上のような撮影空間内に目標物を設定する方法の欠点として、カメラの移動、パン、目標物自体の動きなどにより、撮影空間内から目標物がはずれてしまうと、座標系の設定が不可能になってしまうという問題がある。つまり、目標物が撮影空間内に存在している時はＣＧが表示されるが、目標物がはずれるとＣＧ表示が消えてしまうことになる。カメラの撮影画角は、通常５０−６０度程度であるが、携帯端末搭載のカメラなどにおいて、頻繁に移動することが想定されるアプリケーションなどを想定すると、目標物に対して容易にカメラの画角がはずれてしまうことが考えられ実用性に乏しくなる。
【０００９】
本発明は、このような問題を解決するために提案されたものであり、カメラの自由な動きに対して、ＣＧを画像上にシームレスに表示することができる信号処理システム及び信号処理方法、並びにプログラムを提供する。
【課題を解決するための手段】
【００１０】
上述の課題を解決するために、本発明に係る信号処理システムは、光源が所定の位置関係で配置された光源群の各光源の識別情報と画素位置とを入力する入力手段と、前記各光源の識別情報と画素位置に基づいて前記光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する自身座標変換パラメータを算出する演算手段とを備え、前記演算手段は、第１の光源群と第２の光源群とから各光源の識別情報と画素位置とが入力された場合、前記第１の光源群が規定する第１の座標上の位置を自身が規定する座標上の位置に変換する第１の自身座標変換パラメータと、前記第２の光源群が規定する第２の座標上の位置を自身が規定する座標上の位置に変換する第２の自身座標変換パラメータとに基づいて、前記第２の座標上の位置を前記第１の座標上の位置に変換する座標間変換パラメータを算出することを特徴としている。
【００１１】
また、本発明に係る信号処理方法は、光源が所定の位置関係で配置された光源群の各光源の識別情報と画素位置とを入力する入力工程と、第１の光源群と第２の光源群とから各光源の識別情報と画素位置とが入力された場合、前記各光源の識別情報と画素位置に基づいて前記第１の光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する第１の自身座標変換パラメータと、前記第２の光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する第２の自身座標変換パラメータとを算出する自身座標パラメータ算出工程と、前記第１の自身座標変換パラメータと前記第２の自身座標変換パラメータとに基づいて、前記第２の座標上の位置を前記第１の座標上の位置に変換する座標間変換パラメータを算出する座標間変換パラメータ算出工程とを有することを特徴としている。
【００１２】
また、本発明に係るプログラムは、光源が所定の位置関係で配置された光源群の各光源の識別情報と画素位置とを入力する入力工程と、第１の光源群と第２の光源群とから各光源の識別情報と画素位置とが入力された場合、前記各光源の識別情報と画素位置に基づいて前記第１の光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する第１の自身座標変換パラメータと、前記第２の光源群が規定する座標上の位置を自身が規定する座標上の位置に変換する第２の自身座標変換パラメータとを算出する自身座標パラメータ算出工程と、前記第１の自身座標変換パラメータと前記第２の自身座標変換パラメータとに基づいて、前記第２の座標上の位置を前記第１の座標上の位置に変換する座標間変換パラメータを算出する座標間変換パラメータ算出工程とをコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、第２の座標上の位置を第１の座標上の位置に変換する座標間変換パラメータを算出するため、カメラの自由な動きに対して、ＣＧを画像上にシームレスに表示することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら、本発明の実施の一形態について説明する。  
（第１の実施の形態）  
図１は、信号処理システムの構成を示す模式図である。この信号処理システムは、４つのＬＥＤ（Light Emitting Diode）（Ｌ＿Ａ〜Ｌ＿Ｄ）が同一平面上に配置された光源群１０とカメラ２０とを有し、カメラ２０の撮影領域内に光源群１０が設置されている。
【００１５】
光源群１０は、例えば、図１に示すようにＬＥＤ（Ｌ＿Ａ〜Ｌ＿Ｄ）が平面ボードに固定されている。また、これに限られず、壁などに固定されて設置されていてもよい。４つのＬＥＤは、例えば一辺の長さがＳの正方形状に配置されている。また、各ＬＥＤは高速で点滅を繰り返しており、その点滅パターンにデータをコード化してのせることにより、それぞれ異なる例えば８ｂｉｔのＩＤ識別情報（ＩＤ＿Ａ〜ＩＤ＿Ｄ）を発信する。
【００１６】
一方、カメラ２０は、通常の画像を取得すると同時に、イメージセンサーの各画素が光源群１０からの情報を検出することにより、どのＬＥＤがどの画素に結像しているかを認識することができる（例えば、特開２００３−１６９２５１参照。）。このようにカメラ２０において、４つのＬＥＤが結像した画素の位置関係を解析することにより、光源群１０を基準としたカメラ２０の位置と姿勢（視線方向、傾き）を算出することが可能となる。
【００１７】
図２は、信号処理装置の構成を示すブロック図である。この信号処理装置は、例えばカメラ２０に設置され、センサー２１と、信号処理部２２と、演算部２３と、メモリ２４と、表示部２５とを備えている。
【００１８】
センサー２１は、上述した光源群１０を撮像し、画像信号（ＲＡＷデータ）と光通信信号とを出力する。
【００１９】
信号処理部２２は、ＲＡＷデータを処理する画像信号処理部２２１と、光通信信号をデコードするデコード処理部２２２とを有している。画像信号処理部２２１は、ＲＡＷデータを、例えばＹＵＶ４２２等の所定のフォーマットに変換する。デコード処理部２２２は、光通信信号をデコードして各光源のＩＤ番号を検出するとともに、画像から各光源の画素位置を検出する。
【００２０】
演算部２３は、カメラ位置・姿勢検出部２３１と、変換パラメータ算出部２３２と、３ＤＣＧ位置座標算出部２３３と、３ＤＣＧ合成処理部２３４とを有している。カメラ位置・姿勢検出部２３１では、各光源のＩＤ番号及び画素位置から光源群の位置関係を取得し、光源群が規定する座標上の位置をカメラ自身が規定する座標上の位置に変換する自身座標変換パラメータを算出する。変換パラメータ算出部２３２は、後述するように一方の光源群が規定する座標と他方の光源群が規定する座標との間の座標間変換パラメータを算出する。３ＤＣＧ位置座標算出部２３３は、光源群が規定する３ＤＣＧの座標を自身座標変換パラメータや座標間変換パラメータに基づいて変換する。３ＤＣＧ合成処理部２３４は、３ＤＣＧを画像信号に合成する。
【００２１】
メモリ２４は、自身座標変換パラメータ、座標間パラメータ等を記憶するパラメータ記憶部２４１と、光源群によって予め定められた３ＤＣＧ位置を記憶する記憶部２４とを有している。
【００２２】
表示部２５は、ＬＣＤ（Liquid Crystal Display）等のディスプレイからなり、３ＤＣＧが合成された画像を表示する。
【００２３】
次に、光源群１０とカメラ２０との座標系の関係について詳細に説明する。図３及び図４は、光源群とカメラ２０の座標系の関係を示す図であり、図５は座標変換処理を示すフローチャートである。
【００２４】
ここでは、カメラ２０の位置と姿勢を示す座標系をカメラ座標系（ＣＣ：Camera Coordinate）とし、撮像面（結合平面）の方向をx−y軸、光軸方向をｚ軸とする。カメラの撮像面は、ＣＣの原点から焦点距離ｆだけ−ｚ側に離れたところに設定される。一方、光源群１０の座標系は、実空間の絶対座標を規定する世界座標（ＷＣ：World Coordinate）とし、Ｌ＿ＡのＬＥＤ位置を原点、Ｌ＿Ｂの方向をｘ軸、Ｌ＿Ｄの方向をｙ軸、光源群１０の平面と垂直な方向をｚ軸とする。
【００２５】
ＣＣ上における、ＷＣのｘ，ｙ，ｚ軸を規定する直交単位ベクトルを（ｕｘ，ｕｙ，ｕｚ）、ＷＣの原点をｄ１＝（ｄ１，ｄ２，ｄ３）とすると、ＷＣ上の任意の点（ｘｗ，ｙｗ，ｚｗ）をＣＣ上の座標値（ｘｉ，ｙｉ，ｚｉ）に変換する計算式は、（１−１）式で表現することができる。
【００２６】
【数１】
2009093376.tif 000003
【００２７】
ここで、Ｕ＝（ｕｘ，ｕｙ，ｕｚ）は回転変換、ｄ１は平行移動の成分を表している。また、ＣＣ上の（ｘｉ，ｙｉ，ｚｉ）は、（１−２）式により撮像面（センサー）上の画素位置（Ｘｉ，Ｙｉ）に変換される。
【００２８】
【数２】
2009093376.tif 000004
【００２９】
変換パラメータUとｄ１の各要素の値は、カメラの位置、姿勢の動きに応じて逐次変化していくものであるが、その都度、ＷＣ上での各光源の座標値（０，０）（Ｓ，０）（Ｓ，Ｓ）（０，Ｓ）に対応する撮像平面での受光画素位置（ｘ０，ｙ０）（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）の情報が得られれば、これらから、（１−３）式のように変換パラメータの要素をリアルタイムに算出することが可能である。
【００３０】
【数３】
2009093376.tif 000005
【００３１】
そして、変換パラメータが得られれば、その逆変換演算を（１−４）式〜（１−７）式のように行うことにより、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分を算出することができる。
【００３２】
【数４】
2009093376.tif 000006
【００３３】
通常、OpenGL（Open Graphics Library）などの３次元グラフィクスＡＰＩ（Application Program Interface）では、ＷＣに対するカメラの位置、姿勢のパラメータが決定されれば、ＷＣ上の任意な位置に配置された３Ｄ−ＣＧオブジェクトをカメラからみた図形として表示することが可能である。よって、これにより、光源群を基準とした実画像への３Ｄ−ＣＧの重ね合わせ表示が可能となる。
【００３４】
ここで、図４に示すように、光源群１０とは別の光源群１１を用意すれば、光源群１０によって規定されるＷＣ上に、光源群１１によって規定されるローカル座標（ＬＣ１：Local Coordinate 1）を設定することができる。光源群１１に設置されているＬＥＤ光源のＩＤ識別情報を（ＩＤ＿Ｅ〜ＩＤ＿Ｈ）として光源群１０と区別し、光源群１０の時と同様な計算を行わせることにより、光源群１１に対するカメラ座標への変換行列Ｅと平行移動成分ｄ２を算出することができる。
【００３５】
【数５】
2009093376.tif 000007
【００３６】
この変換パラメータが得られれば、その逆変換演算を（１−９）式〜（１−１１）式のように行うことにより、ＬＣ１上でのカメラの位置（ｘｃ＿ｅ，ｙｃ＿ｅ，ｚｃ＿ｅ）、カメラの視線方向（ｘｖ＿ｅ，ｙｖ＿ｅ，ｚｖ＿ｅ）、カメラの上部方向（ｘｕ＿ｅ，ｙｕ＿ｅ，ｚｕ＿ｅ）を示す各ベクトル成分を算出することができる。
【００３７】
【数６】
2009093376.tif 000008
【００３８】
また、光源群１０に対するカメラパラメータは、Ｕとｄ１で与えられるので、これらの変換パラメータの組み合わせによりＬＣ１上の座標値（ｘｅ，ｙｅ，ｚｅ）をＷＣ上の座標値（ｘｗ，ｙｗ，ｚｗ）に変換することができる。
【００３９】
【数７】
2009093376.tif 000009
【００４０】
この変換パラメータが得られれば、その逆変換演算を（１−１３）式〜（１−１５）式のように行うことにより、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分を算出することができる。
【００４１】
【数８】
2009093376.tif 000010
【００４２】
続いて、図５に示すフローチャートを参照して、信号処理装置における演算処理について説明する。ステップＳ１１において、デコード処理部２２２は、入力されたＩＤ番号及び画素位置から各ＬＥＤ（Ｌ＿Ａ〜Ｌ＿Ｄ）のカメラ結像平面上の結像位置を検出する。
【００４３】
ステップＳ１２において、カメラ位置・姿勢検出部２３１は、各ＬＥＤ（Ｌ＿Ａ〜Ｌ＿Ｄ）のカメラ結像平面上の結像位置及び上記式（１−１）〜式（１−３）に基づいてＷＣ上の任意の点（ｘｗ，ｙｗ，ｚｗ）をＣＣ上の座標値（ｘｉ，ｙｉ，ｚｉ）に変換する変換パラメータ、変換行列Ｕ及び平行移動成分ｄ１を算出する。
【００４４】
また、カメラ位置・姿勢検出部２３１は、変換パラメータＵ，ｄ１に基づいて、その逆変換演算を（１−４）式〜（１−７）式のように行うことにより、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分を算出する（ステップＳ１３）。
【００４５】
ここで、カメラ２０の撮像領域において、ＷＣを規定する光源群１０とＬＣ１を規定する光源群１１が存在する場合、デコード処理部２２は、光源群１０の場合と同様に、入力されたＩＤ番号及び画素位置から各ＬＥＤ（Ｌ＿Ｅ〜Ｌ＿Ｈ）のカメラ結像平面上の結像位置を検出する。
【００４６】
そして、ステップＳ１４において、カメラ位置・姿勢検出部２３１は、各ＬＥＤ（Ｌ＿Ｅ〜Ｌ＿Ｈ）のカメラ結像平面上の結像位置及び上記式（１−１）〜式（１−３）に基づいてＬＣ１上の任意の点（ｘｅ，ｙｅ，ｚｅ）をＣＣ上の座標値（ｘｉ，ｙｉ，ｚｉ）に変換する変換パラメータ、変換行列Ｅ及び平行移動成分ｄ２を算出する（式（１−８）参照。）。
【００４７】
ステップＳ１５において、変換パラメータ算出部２３２は、ＬＣ１上の任意の点（ｘｅ，ｙｅ，ｚｅ）をＷＣ上の座標値（ｘｗ，ｙｗ，ｚｗ）に変換する変換パラメータ、変換行列Ｍ１及び平行移動成分Ｄ１を算出する（式（１−１２）参照。）。変換行列Ｍ１及び平行移動成分Ｄ１は、パラメータ記憶部２４１に記憶される。また、変換パラメータ算出部２３２は、変換パラメータＭ１，Ｄ１に基づいて、その逆変換演算を（１−１３）式〜（１−１５）式のように行うことにより、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分を算出する。
【００４８】
ステップＳ１６において、３ＤＣＧ位置座標算出部２３３は、ＬＣ１上に定義される３ＤＣＧモデルの位置をＷＣ上へ変換する。具体的には、３ＤＣＧ位置座標算出部２３３は、３ＤＣＧ位置座標記憶部２４２からＬＣ１上に定義された３ＤＣＧモデルの座標を読み出し、変換パラメータＭ１，Ｄ１に基づいて、ＬＣ１上の任意の点をＷＣ上の座標に変換する（式（１−１２）参照。）。また、３ＤＣＧ合成処理部２３４は、画像信号処理部２２１からの画像に３ＤＣＧモデルを合成し、表示部２５に出力する。
【００４９】
これにより、例えば、ＷＣで規定される仮想空間中で、光源群１１によって規定される３Ｄ−ＣＧを重ね合わせて表示させることが可能となり、光源群１１の動きによって３Ｄ−ＣＧをコントロールすることが可能となる。
【００５０】
（第２の実施の形態）  
図６は、第２の実施の形態における撮像領域の変化を示す模式図である。第１の実施の形態では、光源群１０と光源群１１が同時に画角内に存在している際、２つの光源群間の相対的な関係を算出して、ＷＣで規定される仮想空間中で光源群１１によって規定される３ＤＣＧを重ね合わせて表示することとしたが、第２の実施の形態では、光源群１０が撮影領域から外れた場合、光源群１０を基準としたWCの座標系を引き続き継承する。なお、第２の実施形態における信号処理装置の構成は、図２に示す信号処理装置の構成と同様であるため、同一符号を付して説明を省略する。
【００５１】
図７Ａ及び図７Ｂは、第２の実施の形態における信号処理装置の動作を示すフローチャートである。ここでは、図６に示すように、カメラ２０をパンすることにより、カメラ２０の撮影領域が光源群１０の方向から光源群１１の方向へ移動していく場合を考える。なお、ステップＳ１１〜ステップＳ１５は、第１の実施の形態における処理と同様である。すなわち、図５に示す動作にステップＳ２０〜ステップＳ２６が追加されている。
【００５２】
先ず、ステップＳ２０において、カメラ位置・姿勢検出部２３１は、各光源のＩＤ番号から、カメラの撮像領域内に光源群１０と光源群１１とが存在することを検出する。つまり、光源群１０のＬＥＤのＩＤ番号（ＩＤ＿Ａ〜ＩＤ＿Ｄ）と光源群１１のＬＥＤ番号（ＩＤ＿Ｅ〜ＩＤ＿Ｈ）を検出する。
【００５３】
ステップＳ２０において、光源群１０と光源群１１が両方存在している撮像領域１の場合、ステップＳ１１に進む。
【００５４】
ステップＳ１１〜ステップＳ１５は、第１の実施の形態における処理と同様である。すなわち、撮像領域１において、ＬＣ１上の任意の点（ｘｅ，ｙｅ，ｚｅ）をＷＣ上の座標値（ｘｗ，ｙｗ，ｚｗ）に変換する変換パラメータ、変換行列Ｍ１及び平行移動成分Ｄ１を算出する（式（１−１２）参照。）。ここで、変換パラメータＵ，ｄ１，Ｅ，ｄ２の各要素値は、カメラ２０の動きにより逐次変化していく。しかし、変換パラメータＭ１，Ｄ１は、それぞれＣＣとＬＣ１間の回転変換、平行移動成分を表すので、光源群１０と光源群１１間の相対的な関係が固定されているとすれば、その要素値はカメラ２０の動きによらず一定となる。
【００５５】
ＷＣを規定する光源群１０（ＩＤ＿Ａ〜ＩＤ＿Ｄ）が検出されず、ＬＣ１を規定する光源群１１（Ｌ＿Ｅ〜Ｌ＿Ｈ）のみが検出された場合（ステップＳ２１）、図７Ｂに示すステップＳ２２に進み、変換行列Ｍ１及び平行移動成分Ｄ１をパラメータ記憶部２４１に記憶する。このように光源群１０が撮像領域から外れた場合（撮像領域２）、変換パラメータＭ１，Ｄ１をパラメータ記憶部２４１に記憶すればよい。
【００５６】
ステップＳ２３において、変換パラメータ算出部２３２は、変換行列Ｍ１及び平行移動成分Ｄ１に基づいて、その逆変換演算を（１−１３）式〜（１−１５）式のように行うことにより、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分を算出する。
【００５７】
ステップＳ２４において、３ＤＣＧ位置座標算出部２３３は、３ＤＣＧ位置座標記憶部２４２から３ＤＣＧモデルデータを読み出し、３ＤＣＧモデルの定義座標系がＷＣかＬＣ１か否かを判別する。
【００５８】
３ＤＣＧモデルの定義座標系がＬＣ１の場合、ステップＳ２５に進み、ＬＣ１上に定義される３ＤＣＧモデルをＷＣ上へ変換する。具体的には、３ＤＣＧ位置座標算出部２３３は、３ＤＣＧ位置座標記憶部２４２からＬＣ１上に定義された３ＤＣＧモデルデータを読み出し、変換パラメータＭ１，Ｄ１に基づいて、ＬＣ１上の任意の点をＷＣ上の座標に変換する（式（１−１２）参照。）。そして、３ＤＣＧ合成処理部２３４は、画像信号処理部２２１からの画像に３ＤＣＧモデルを合成し、表示部２５に出力する。
【００５９】
また、３ＤＣＧモデルの定義座標系がＷＣの場合、ステップＳ２６に進み、３ＤＣＧ合成処理部２３４は、画像信号処理部２２１からの画像に３ＤＣＧモデルを合成し、表示部２５に出力する。
【００６０】
このように撮影領域が移動し、光源群１０が撮像領域から外れた場合（撮像領域２）、ＬＣ１の座標系をＷＣの座標系に換算することにより、従来、ＷＣを規定することができずに表示されなかった３ＤＣＧオブジェクトの表示を引き続き維持することが可能となる。つまり、変換パラメータＭ１，Ｄ１を記憶しておくことにより、ＬＣ１上の座標値をＷＣ上の座標値に変換することが可能となるので、撮像領域１の時に表示されていたＷＣ上やＬＣ１上に配置設定されていた３ＤＣＧオブジェクトを、撮像領域２に移動してもシームレスに表示し続けることが可能となる。
【００６１】
（第３の実施の形態）  
第３の実施の形態では、第２の実施の形態と同様な手法を用いてローカル座標により座標変換を中継し、カメラ２０がさらに移動してもＷＣ座標を継承していく。なお、第３の実施形態における信号処理装置の構成は、図２に示す信号処理装置の構成と同様であるため、同一符号を付して説明を省略する。
【００６２】
図８は、第３の実施の形態における撮像領域の変化を示す模式図である。ここでは、図８に示すように３つの光源群１０、１１、１２が固定して配置されている状況において、カメラ２０の画角（撮像領域）が光源群１０から光源群１２の方向へパンする場合について説明する。
【００６３】
変換パラメータ算出部２３２は、ＷＣとＬＣ１との間の変換と同様に、ＬＣ２上の任意の点（ｘｆ，ｙｆ，ｚｆ）をＬＣ１上の座標値（ｘｅ，ｙｅ，ｚｅ）に変換する変換パラメータＭ２，Ｄ２を算出する。
【００６４】
【数９】
2009093376.tif 000011
【００６５】
この変換パラメータが得られれば、その逆変換演算を（３−２）式〜（３−４）式のように行うことにより、ＬＣ２上でのカメラの位置（ｘｃ＿ｆ，ｙｃ＿ｆ，ｚｃ＿ｆ）、カメラの視線方向（ｘｖ＿ｆ，ｙｖ＿ｆ，ｚｖ＿ｆ）、カメラの上部方向（ｘｕ＿ｆ，ｙｕ＿ｆ，ｚｕ＿ｆ）を示す各ベクトル成分を算出することができる。
【００６６】
【数１０】
2009093376.tif 000012
【００６７】
また、光源群１１に対するカメラパラメータは、Ｍ１とＤ１で与えられるので、これらの変換パラメータの組み合わせによりＬＣ２上の座標値（ｘｆ，ｙｆ，ｚｆ）をＷＣ上の座標値（ｘｗ，ｙｗ，ｚｗ）に変換することができる。
【００６８】
【数１１】
2009093376.tif 000013
【００６９】
この変換パラメータが得られれば、演算を（３−６）式〜（３−８）式のように行うことにより、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分を算出することができる。
【００７０】
【数１２】
2009093376.tif 000014
【００７１】
図９Ａ及び図９Ｂは、第３の実施の形態における信号処理装置の動作を示すフローチャートである。ここで、ステップＳ２０〜ステップＳ２２までは、図７Ａに示す同一符号の処理と同様なため、説明を省略する。すなわち、図７Ａ及び図７Ｂに示す動作にステップＳ３１〜ステップＳ３４が追加されている。
【００７２】
ステップＳ３１において、カメラ２０がパンし、光源群１１と光源群１２とが同じ撮像領域に入った場合、図７Ａに示すステップＳ２０〜ステップＳ１５の処理と同様に、それぞれＬＣ１、ＬＣ２とＣＣの間の変換パラメータＥとＦを算出する。すなわち、ＬＣ２上の任意の点（ｘｆ，ｙｆ，ｚｆ）をＬＣ１上の座標値（ｘｅ，ｙｅ，ｚｅ）に変換する変換パラメータＭ２，Ｄ２を算出する（式（３−１）参照。）。
【００７３】
ＬＣ１を規定する光源群１１（Ｌ＿Ｅ〜Ｌ＿Ｈ）が検出されず、ＬＣ２を規定する光源群１２（Ｌ＿Ｉ〜Ｌ＿Ｌ）のみが検出された場合（ステップＳ３２）、変換行列Ｍ２及び平行移動成分Ｄ２をパラメータ記憶部２４１に記憶する（ステップＳ３３）。
【００７４】
ステップＳ３４において、変換パラメータ算出部２３２は、変換行列Ｍ２及び平行移動成分Ｄ２に基づいて、その逆変換演算を（３−６）式〜（３−８）式のように行うことにより、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分を算出する。
【００７５】
ステップＳ２３〜ステップＳ２５については、図７Ｂに示す同一符号の処理と同様である。
【００７６】
このように３つの光源群１０、１１、１２が固定して配置されている状況において、カメラ２０の画角（撮像領域）が光源群１０から光源群１２の方向へパンする場合でも基準座標系を維持することができる。
【００７７】
（第４の実施の形態）  
第４の実施の形態では、上述した方法よりさらに広い範囲に渡ってカメラ２０の撮影領域が変化する場合にも適用可能なように一般化したものである。つまり、カメラ２０の移動範囲に、カメラ撮影領域内に同時に、最低２つが入る間隔に光源群を１からnまでを配置している（光源群間の最長許容間隔は、カメラ２０との距離により変化する）。そして、カメラ２０の動きに応じて、２つの光源群間の変換パラメータＭｋとＤk（１≦ｋ≦ｎ）を順次記憶して行けば、最終的に光源群ｎのみが撮影領域内に存在している時に、ＬＣｎ上の任意の点(ｘｎ，ｙｎ，ｚｎ)を、ＷＣ上の座標値に変換することができる。
【００７８】
ｎ個の座標系ＬＣ１〜ＬＣｎを用いて一般化したＷＣとＬＣｎとの変換式は、（３−９）式で表される。
【００７９】
【数１３】
2009093376.tif 000015
【００８０】
また、ＬＣｎ上でのカメラの位置（ｘｃ＿ｎ，ｙｃ＿ｎ，ｚｃ＿ｎ）、カメラの視線方向（ｘｖ＿ｎ，ｙｖ＿ｎ，ｚｖ＿ｎ）、カメラの上部方向（ｘｕ＿ｎ，ｙｕ＿ｎ，ｚｕ＿ｎ）を示す各ベクトル成分は、それぞれ（３−１０）式〜（３−１２）式で算出することができる。
【００８１】
【数１４】
2009093376.tif 000016
【００８２】
また、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分は、それぞれ（３−１３）式〜（３−１５）式で算出することができる。
【００８３】
【数１５】
2009093376.tif 000017
【００８４】
図１０Ａ及び図１０Ｂは、第４の実施の形態における信号処理装置の動作を示すフローチャートである。ここで、ステップＳ２０〜ステップＳ２４、ステップＳ３１〜ステップＳ３３は、図９Ａ及び図９Ｂに示す同一符号の処理と同様なため、説明を省略する。すなわち、図９Ａ及び図９Ｂに示す動作にステップＳ４１及びステップＳ４２が追加されている。
【００８５】
ステップＳ４１において、さらにカメラ２０がパンし、光源群ｎ（ｎは１以上の整数）と光源群ｎ＋１とが同じ撮像領域に入った場合、図９Ａ及び図９Ｂに示すステップＳ２０〜ステップＳ３３の処理と同様にして、変換パラメータＭ３〜Ｍｎ、Ｄ３〜Ｄｎを算出する。変換行列Ｍｎ及び平行移動成分Ｄｎはパラメータ記憶部２４１に記憶される。
【００８６】
ステップＳ４２において、変換パラメータ算出部２３２は、変換行列Ｍｎ及び平行移動成分Ｄｎに基づいて、その逆変換演算を（３−１３）式〜（３−１５）式のように行うことにより、ＷＣ上でのカメラの位置（ｘｃ，ｙｃ，ｚｃ）、カメラの視線方向（ｘｖ，ｙｖ，ｚｖ）、カメラの上部方向（ｘｕ，ｙｕ，ｚｕ）を示す各ベクトル成分を算出する。
【００８７】
ステップＳ２３〜ステップＳ２５については、図９Ｂに示す同一符号の処理と同様である。
【００８８】
このように実空間中に１つの光源群でＷＣを規定すれば、任意の撮影領域でＷＣを継承することができ、例えば、全天球方向において、そのＷＣ座標系に基づくＣＧを画像上にシームレスに表示することが可能となる。
【００８９】
ここで、カメラの移動距離が長く、ＷＣへの変換のために多くのＬＣを中継する必要がある場合は、必ずしも、光源群の物理的な配置の順番どおりに変換計算をする必要はない。光源ボードが多数ある場合、ＷＣへの変換には複数種の中継経路が選択肢としてありえるが、その時は、カメラシステム内で、最も中継座標が少ない経路を抽出、適用すれば、計算誤差を最小にすることが可能である。
【００９０】
また、光源群の設置は、アプリケーションに応じて、カメラの撮影領域が移動すると考えられる範囲に最低限設置すれば良く、例えば、携帯端末に搭載したカメラを想定した場合などは、カメラを上下に向けることを想定する必要はなく、水平方向のみに必要十分な光源群を配置するなどの方法が考えられる。
【００９１】
また、以上の方法は、全撮影範囲に渡り、ＬＥＤ光源をマーカーとした位置検出を行っているが、他の手法と併用することも可能である。例えば、撮影範囲の特定の領域は２次元バーコードや、特徴点の抽出など画像処理の手法による座標系の決定を行っても良い。
【００９２】
また、上述の実施の形態では、実画像を取得するセンサーと光通信を行うセンサーが同一であることとしたが、センサーは必ずしも同じものである必要はない。例えば図１１に示すように、イメージセンサー２１２と光通信センサー２１１を近接して配置し、イメージセンサー２１２の撮影領域よりも光通信センサー２１１の検出領域を大きくする（画角β＞α）。
【００９３】
これにより、光源群がイメージセンサー２１２の撮影領域から外れても、光通信センサー２１１の検出領域からはずれていなければ、ＷＣの位置を保持することができる。一般的にイメージセンサー２１２の画角は、画像のゆがみ許容やアプリケーションなどに制限されるため、設定の自由度は小さいが、光通信センサー２１１は基本的にそれらの制約を受けることはなく、画角を大きく設定することが可能である。よって、光源群の設置間隔は、光通信センサー２１１の検出領域に合わせれば良いため、イメージセンサー２１２の撮影領域に制約されることなく大きな間隔で設置することができ、総じて、光源群の設置数を少なくすることができる。
【００９４】
また、上述の実施の形態では、光源群の４つのＬＥＤ光源により一つの座標系を規定するものであったが、４つのＬＥＤ光源は必ずしも同じボード、同じ平面に固定されている必要はなく、それぞれの３次元上の配置位置がわかっていれば、空間内に点在していても良い。例えば、４つの光源が撮影領域内に存在し、それぞれの世界座標における座標値が既知であるとすると、それぞれのＬＥＤ光源の撮像面での画素位置がわかれば、変換パラメータＵ、ｄ１を算出することができる（（１−１）式参照。）。つまり、光源群の各光源の位置を当該光源群が規定する座標上の位置として記憶し、光通信信号に基づいて光源を識別して所定の位置関係を取得することとすればよい。これにより、変換パラメータが一意に決定されるので、世界座標上のカメラの位置も算出することが可能となる。また、この中にローカル座標系を規定する他の４つのＬＥＤ光源を設定すれば、上述の実施の形態と同様に世界座標系の中に、独立させて３ＤＣＧをコントロールできるローカル座標系（ＬＣ１）を規定することが可能となる。すなわち、カメラがパンした場合、世界座標系の位置が既知である光源が撮影領域からはずれたとしても、カメラの移動により、他の光源が撮影領域に入ることにより、撮影領域中に世界座標系の位置が既知である光源が最低４つ存在すれば、世界座標系を規定することが可能となる。よって、広い領域内でのカメラの移動に対し、世界座標をシームレスに表示することが可能となる。
【００９５】
また、以上の世界座標系の計算は、個別配置されたＬＥＤ光源のみを用いるのではなく、光源群が固定されたボードによって規定される座標系の変換手段と併用して運用されても良い。つまり、個別配置された光源が撮影領域内に４つ存在する時は、上述の予め座標位置を記憶する手法を用い、光源ボードが２つ存在するときは、光源ボード間の座標変換計算を実行すればよい。
【００９６】
また、世界座標（ＷＣ）を規定する光源ボード、または各ローカル座標(ＬＣ)を規定する光源ボードの各ＬＥＤの座標位置を、光通信により取得することも可能である。つまり、光源ボードを形成する各ＬＥＤ光源は、ＩＤ情報を発信すると同時に世界座標（ＷＣ）、または、各ローカル座標（ＬＣ）における座標値を送信する。例えば、図１で示す光源ボードの場合、光源Ｌ＿Ａは(０，０，０)、Ｌ＿Ｂは(Ｓ，０，０)、Ｌ＿Ｃは(Ｓ，Ｓ，０)、Ｌ＿Ｄは(０，Ｓ，０)の位置座標をデータとして送信する。また、図１のように光源の配置が正方形として規格化されているとすれば、各ＬＥＤは単に、正方形の一辺の長さＳを送信するだけでも良い。
【００９７】
また、上述の実施の形態では、ＬＥＤ光源をのみを利用して世界座標の計算を行っているが、ＬＥＤ光源の光通信と併用して、カメラの動きを検出する他のセンサーからの情報と併用しても良い。例えば、カメラの平行移動方向と距離は、加速度計によって得られる計測値を２回積分することによって求めることができる。また、カメラの回転方向と角度は、角速度計を積分することにより求めることができる。よって、カメラにこれらのセンサーを搭載し、カメラの移動に伴って、必要とされる光源群が撮影領域内に存在しない時は、これらセンサーによって、求められる平行移動と回転から変換パラメータを算出して、補間することも可能である。
【００９８】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【図面の簡単な説明】
【００９９】
【図１】信号処理システムの構成を示す模式図である。
【図２】信号処理装置の構成を示すブロック図である。
【図３】光源群とカメラの座標系の関係を示す図である。
【図４】光源群とカメラの座標系の関係を示す図である。
【図５】第１の実施の形態における信号処理装置の動作を示すフローチャートである。
【図６】第２の実施の形態における撮像領域の変化を示す模式図である。
【図７Ａ】第２の実施の形態における信号処理装置の動作を示すフローチャートである（その１）。
【図７Ｂ】第２の実施の形態における信号処理装置の動作を示すフローチャートである（その２）。
【図８】第３の実施の形態における撮像領域の変化を示す模式図である。
【図９Ａ】第３の実施の形態における信号処理装置の動作を示すフローチャートである（その１）。
【図９Ｂ】第３の実施の形態における信号処理装置の動作を示すフローチャートである（その２）。
【図１０Ａ】第４の実施の形態における信号処理装置の動作を示すフローチャートである（その１）。
【図１０Ｂ】第４の実施の形態における信号処理装置の動作を示すフローチャートである（その２）。
【図１１】イメージセンサーと光通信センサーとの検出範囲を示す図である。
【符号の説明】
【０１００】
１０  光源群、１１  光源群、１２  光源群、２０  カメラ、２１  センサー、２２  信号処理部、２２  デコード処理部、２３  演算部、２４  記憶部、２５  表示部、２１１  光通信センサー、２１２  イメージセンサー、２２１  画像信号処理部、２２２  デコード処理部、２３１  カメラ位置・姿勢検出部、２３２  変換パラメータ算出部、２３３  ３ＤＣＧ位置座標算出部、２３４  ３ＤＣＧ合成処理部、２４１  パラメータ記憶部、２４２  ３ＤＣＧ位置座標記憶部
【図１】
2009093376.tif 000018
【図２】
2009093376.tif 000019
【図３】
2009093376.tif 000020
【図４】
2009093376.tif 000021
【図５】
2009093376.tif 000022
【図６】
2009093376.tif 000023
【図７Ａ】
2009093376.tif 000024
【図７Ｂ】
2009093376.tif 000025
【図８】
2009093376.tif 000026
【図９Ａ】
2009093376.tif 000027
【図９Ｂ】
2009093376.tif 000028
【図１０Ａ】
2009093376.tif 000029
【図１０Ｂ】
2009093376.tif 000030
【図１１】
2009093376.tif 000031