【事件の表示】
　特許第３３５９２４１号「撮像方法および装置」の請求項１ないし４、９、１０、１３ないし１５に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第３３５９２４１号の訂正後の請求項７ないし９に係る特許を維持する。
【理　由】
１　本件特許及び本件特許異議事件についての手続の経緯
　本件特許及び本件特許異議事件（特許第３３５９２４１号（以下「本件特許」という。）異議申立て）に係る手続の経緯の概要は、以下のとおりである。
　
(1)　本件特許の出願日：平成８年１０月１４日
　　　　　　 （優先日：平成７年１０月１３日他）
(2)　特許権の設定の登録：平成１４年１０月１１日
(3)　特許異議の申立て：平成１５年６月２４日（異議申立人・大木茂）
　　　(請求項１ないし４、９、１０、１３ないし１５に対して)
(4)　取消理由通知：平成１６年５月１１日
(5)　特許異議意見書：平成１６年７月２０日
(6)　訂正請求：平成１６年７月２０日
　
２　訂正の適否についての判断
　特許権者が平成１６年７月２０日付けでした訂正請求における訂正事項は、取消理由の対象となっている請求項１ないし４、９、１０を削除する訂正、及び削除する請求項２、４、１０を引用している請求項１３ないし１５の引用部分を削除する訂正をするものである。
　しかして、訂正事項は、訂正前の請求項を削除するもの、及び引用部分を削除するものであるから、特許請求の範囲を減縮するものと認められる。
　そうすると、本件訂正請求における訂正事項は、特許法１２０条の４第２項ただし書１号にいう特許請求の範囲の減縮に該当し、また、本件訂正事項は、全体として願書に添付した明細書及び図面の範囲においてしたものであると認められるので、同条３項で準用する１２６条２項及び３項の規定にも適合する。
　さらに、本件訂正後の請求項１ないし請求項９に記載された発明が特許出願の際独立して特許を受けることができない発明であるとする理由も発見しないので、本訂正事項は、特許法１２０条の４第３項で準用する同法１２６条４項の規定にも適合するものである。
　したがって、本件訂正はこれを認めることとする。
　
３　特許異議申立てについての判断
(1)　２９条２項について
　特許異議申立人大木茂の異議申立てに係る請求項１ないし４、９、１０は、平成１６年７月２０日付け訂正請求により削除され、特許異議の申立ての対象が存在しなくなった。
　また、請求項１３ないし１５は、請求項２、４及び１０を引用する部分に限り異議申立がなされているが、当該引用部分が削除されたことにより申立ての理由は解消した。
　
(2) ３６条について
　明細書段落【００４６】には、「図２は、上面と側面から撮られた２枚の映像に基づいて３次元位置を求める方法の原理を示す概念図であり、２０１および２０２はそれぞれ上面像と側面像、２０３は得られる３次元位置情報である。なお、ここでは説明を簡単化するため平行投影を仮定した図を描いている。実際の場合では、透視投影を用いることになるが、この計算方式自体はステレオ写真計測等の分野で既に確立されている。原理的には上面像２０１と側面像２０２でそれぞれ対応するｘの位置にある目印のｙおよびｚを求めるだけでよい。これにより目印の３次元位置情報２０３が得られることになる。」と記載されており、さらに、段落【００４７】、【００４８】及び【００５２】の記載から、３つの目印の位置が求められれば、撮像ユニットに複数の目印が配置されるものであるから、撮像ユニットの３次元位置を知りうることは、当業者にとって容易に理解できる事項である。
　なお、異議申立人が、「例えば」として３６条違反を主張している請求項１は、訂正請求により削除され対象が存在しなくなった。
　
４　むすび
　以上のとおりであるから、特許異議申立ての理由及び証拠によっては、本件特許異議申立の対象である訂正された本件請求項７ないし９に係る発明の特許を取り消すことはできない。
　また、他に本件訂正された請求項７ないし９に係る特許を取り消すべき理由を発見しない。
　よって、結論のとおり決定する。
【異議決定日】
平成１６年８月９日（２００４．８．９）
【訂正の要旨】
審決（決定）の【理由】欄参照。
（５４）【発明の名称】
撮像方法および装置
（５７）【特許請求の範囲】
　【
請求項１
前記撮像ユニットの周囲に設置された複数の距離検出機構から前記複数の目印にいたる距離をそれぞれ検出し、
前記検出した距離をもとに計算した、前記複数の目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する、
ことを特徴とする撮像方法。
　【
請求項２
前記撮像ユニットの周囲に設置され前記撮像ユニット上の目印位置にいたる距離をそれぞれ検出する距離検出機構と、
前記検出した距離をもとに前記目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を計算する計算手段と、
前記計算手段に接続して前記計算手段で計算した目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、
を有することを特徴とする撮像装置。
　【
請求項３
前記撮像ユニット上の前記目印方位検出機構の位置からみた前記目印にいたる目印方位を検出し、
前記検出した目印方位をもとに計算した、前記目印方位検出機構の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する、
ことを特徴とする撮像方法。
　【
請求項４
前記目印への目印方位を検出する複数の目印方位検出機構と、
前記複数の目印方位検出機構を取り付けた撮像ユニットと、
前記目印方位検出機構により検出された前記目印方位検出機構からみた前記目印方位をもとに前記目印方位検出機構の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を計算する計算手段と、
前記計算した前記目印方位検出機構の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、
を有することを特徴とする撮像装置。
　【
請求項５
前記距離検出機構の位置からみた前記目印にいたる距離を検出し、
前記検出の結果から計算した、前記目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する、
ことを特徴とする撮像方法。
　【
請求項６
周囲に設置した複数の目印と、
前記検出した前記距離検出機構の位置からみた前記目印にいたる距離から前記目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を計算する計算手段と、
前記計算した前記目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、
を有することを特徴とする撮像装置。
　【
請求項７
前記複数の発光体を個別の発光タイミングまたは個別の周波数で点滅させる発光体制御手段を備える、
ことを特徴とする
請求項２、請求項４、請求項６
　【
請求項８
センサまたは距離検出機構または目印方位検出機構は、カラー識別手段を有する、
ことを特徴とする
請求項２、請求項４、請求項６
　【
請求項９
記録または出力する手段は、前記検出した撮像用パラメータを前記撮像ユニットの撮影映像に対応付けて記録または出力する、
ことを特徴とする
請求項２、請求項４、請求項６、請求項７、請求項８
【発明の詳細な説明】
　【０００１】
　【発明の属する技術分野】本発明は、空間内における３次元位置および方位を同時に自動的に求めつつ撮像を行なう方法および装置に関するものである。
　【０００２】
　【従来の技術】ＴＶカメラによって撮像された実写映像をコンピュータグラフィックス映像等と合成しようとする際には、その撮像が行なわれた際のＴＶカメラのレンズ焦点距離に加えて、ＴＶカメラ自体の３次元位置および方位の情報を同時に記録しておくことが必要となる。
　【０００３】２種類の映像を合成することを考えた場合、それらの撮像の際のカメラのレンズ焦点距離、３次元位置および方位が異なっていると、両映像を正確に合成することは原理的に不可能であり、合成された映像は全く違和感のあるものとなってしまう。
　【０００４】コンピュータグラフィックスの１つの利点は、３次元モデルを利用して、任意のレンズ焦点距離で任意の３次元位置および方位で見た映像を生成できることにある。逆にいえば、これらの情報はコンピュータグラフィックス映像の生成に不可欠のものであり、これらが正しく与えられない限り正しい映像を生成することが出来ない。
　【０００５】従って、実写映像とコンピュータグラフィックス像の正確な映像合成を行なうためには映像を撮像する際のＴＶカメラのレンズ焦点、３次元位置および方位のデータを映像に対応させる形で正確に記録しておき、それを利用して実写映像に合わせたコンピュータグラフィックス像を生成すればよい。
　【０００６】しかし、従来より撮像ユニットの典型例として用いられているＴＶカメラは、単に２次元の映像を撮影するものであり、撮像の際のカメラの３次元位置および方位の情報は直接的に記録されない。このため、ＴＶカメラとともに何らかの補助的手段を用いてＴＶカメラの３次元空間内の位置および方位を計測する必要がある。
　【０００７】従来、３次元空間内の位置および方位を求める方式としては、（１）機械的３次元計測、（２）ジャイロスコープ方式、（３）ＧＰＳ（グローバル　ポジショニング　システム）方式、（４）天井格子パターン検出方式がある。
以下、従来の各方式について説明する。
　【０００８】（１）機械的３次元計測
機械じかけによって３次元空間内の位置を求める方式である。アームの先につけられたＴＶカメラを計測ポイントに設定し、その３次元位置と方位をアームの長さと、関節毎に設置したポテンショメータや歪ゲージ等の組み合わせによって求める。この方式は、比較的確実性が高い利点がある。
　【０００９】（２）ジャイロスコープ方式
ジャイロスコープをＴＶカメラに取り付けることにより、３次元位置と方位を計測しつつ撮像を行なう方式である。
　【００１０】（３）ＧＰＳ方式
ＧＰＳ衛星からの電波を受けて２次元あるいは３次元位置を検出する方式であり、カーナビゲーションシステムに広く使用されている。
　【００１１】（４）天井格子パターン検出方式
あらかじめ天井に用意された（描かれた）位置合わせの目的に使える格子パターンを、撮像用ＴＶカメラの上に天井を向けて搭載した少しずつ向きの異なる３つの位置合わせ用小型ＴＶカメラでとらえ、それら３つの小型ＴＶカメラでとらえた天井の格子パターンをもとにして該撮像用ＴＶカメラの方位を求める方式である。
　【００１２】
　【発明が解決しようとする課題】しかしながら、上記従来の３次元空間内の位置および方位を求める各方式では、それぞれ、次のような問題点を有していた。
　【００１３】（１）機械的３次元計測
この方式は、計測ポイントを機械的に移動させるために時間がかかるという欠点がある。また、しかけが非常に大がかりとなるのみならず、使用可能な空間が上記アームの可動範囲に限定されてしまうという問題点がある。小さなしかけで行なうためには小さなＴＶカメラを用いるのは勿論、アーム自体を短くする必要があり、箱庭のようなミニセットの中での撮影しか実現することが出来ない。
　【００１４】（２）ジャイロスコープ方式
この方式において、小型のジャイロスコープを使用した場合では、十分な精度で３次元位置と方位を計測することが困難であるという問題がある。一方、高精度のジャイロスコープを利用しようとすると装置がかなり大掛かりとなり、しかも、ジャイロスコープの初期設定自体に時間と手間がかるという問題点がある。
　【００１５】（３）ＧＰＳ方式
この方式では、通常、検出精度が５ｍ程度であり、これよりも精度の高い３次元計測が困難であるという問題がある。また、衛星からの電波をうける関係上、通常は屋外で使用されるものであり、建物内での使用には適していないという問題がある。
　【００１６】（４）天井格子パターン検出方式
この方式は、撮像用ＴＶカメラを水平に近い状態（即ち、位置合わせ用の３つのＴＶカメラが天井を向く）で使用することを前提としており、撮像用ＴＶカメラの向きが限定されるという問題がある。また、撮像用ＴＶカメラの使用場所が天井パターンのある所に限られるという問題点がある。
　【００１７】以上のように、従来の位置、方位を求める方式では、任意の方向に向けて使用される撮像用カメラの３次元位置および方位を同時に高い精度で、かつ簡便に、しかも撮像カメラが移動できる範囲が制限されずに求めることはできないという問題点があった。
　【００１８】本発明は、上記従来方式の問題点を解決するためになされたものであり、その目的は、撮像ユニットの３次元位置、撮像方位ならびに回転角を、高い精度で、しかも簡易に同時検出できるようにした撮像方法および装置を提供することにある。
　【００１９】
　【課題を解決するための手段】上記の目的を達成するため、本発明は、以下の各方式による撮像方法および装置を手段とする。
　【００２０】（第１の発明）撮像ユニット上の目印を周囲のセンサで検出する方式
（第２の発明）撮像ユニット上の目印を周囲の方位検出機構で検出する方式
（第３の発明）撮像ユニット上の目印を周囲の距離検出機構で検出する方式
（第４の発明）周囲の目印を撮像ユニット上の方位検出機構で検出する方式
（第５の発明）周囲の目印を撮像ユニット上のセンサで検出する方式
（第６の発明）周囲の目印を撮像ユニット上の距離検出機構で検出する方式
以下、上記の各手段について説明する。
　【００２１】《第１の発明》本発明の第１の発明による撮像方法は、予め撮像ユニットに複数の目印を付け、前記目印を外部の複数の方向から検出し、前記検出の結果から求めた前記目印の３次元位置を、または前記目印の３次元位置を基に計算した前記撮像ユニットの３次元位置と方位もしくは前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
　【００２２】本発明の第１の発明による撮像装置は、複数の目印を付けた撮像ユニットと、前記目印を外部から検出するための複数のセンサと、前記センサでの検出結果を基に前記撮像ユニットの３次元位置、または前記撮像ユニットの３次元位置と方位もしくは前記撮像ユニットの３次元位置と方位と回転角を計算して求めるための計算手段と、前記計算手段に接続して前記計算手段で求めた前記撮像ユニットの３次元位置、または前記撮像ユニットの３次元位置と方位もしくは前記撮像ユニットの３次元位置と方位と回転角を前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
　【００２３】第１の発明では、撮像ユニットに付けたマークやランプ等からなる複数の目印を２以上の方向からセンサ等でとらえて、少なくともその２点の３次元位置から撮像中の撮像ユニットの３次元位置と方位をリアルタイムに計算し、撮像ユニットの撮影映像に対応付けて記録または出力することにより、任意の方向を向けて使用される撮像ユニットの３次元位置および方位を同時に高い精度で、しかも簡便に求めて記録または出力し、後のコンピュータグラフィックスの生成や映像合成等を容易にする。
　【００２４】《第２の発明》本発明の第２の発明による撮像方法は、予め撮像ユニットに複数の目印を付け、外部の複数の位置からみた前記目印にいたる目印方位を検出し、前記検出の結果から求めた前記目印の３次元位置を、または前記目印の３次元位置をもとに計算した前記撮像ユニットの３次元位置と方位もしくは前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
　【００２５】本発明の第２の発明による撮像装置は、複数の目印を付けた撮像ユニットと、外部の複数の位置からみた前記目印にいたる目印方位を検出するための複数の目印方位検出機構と、前記目印方位検出機構での検出結果をもとに前記撮像ユニットの３次元位置、または前記撮像ユニットの３次元位置と方位もしくは前記撮像ユニットの３次元位置と方位と回転角を計算して求めるための計算手段と、前記計算手段に接続して前記計算手段で求めた前記撮像ユニットの３次元位置と方位もしくは前記撮像ユニットの３次元位置と方位と回転角を前記撮像ユニットの撮影画像に対応付けて記録または出力する手段と、を有することを特徴とする。
　【００２６】第２の発明では、あらかじめ撮像ユニットに複数の目印をつけておき、この目印の外部の２点以上の位置からみた目印方位をその位置からとらえて、目印の３次元位置をリアルタイムに計算し、これによって撮像ユニットの３次元位置、撮像方位ならびに回転角を検出し、これらを撮像ユニットの撮影映像に対応付けて記録または出力することにより、任意の方向を向けて使用される撮像ユニットの３次元位置、方位および回転角を同時に高い精度で、しかも簡便に求めて、後のコンピュータグラフィックスの生成や映像合成等を容易にする。
上記目印方位の検出は、目印を可動で追尾することで撮像ユニットが移動できる空間の範囲を広くしている。
　【００２７】《第３の発明》本発明の第３の発明による撮像方法は、複数の目印を撮像ユニットに付加し、前記撮像ユニットの周囲に設置された複数の距離検出機構から前記複数の目印にいたる距離をそれぞれ検出し、前記検出した距離をもとに計算した、前記複数の目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
　【００２８】本発明の第３の発明による撮像装置は、複数の目印を付加した撮像ユニットと、前記撮像ユニットの周囲に設置され前記撮像ユニット上の目印位置にいたる距離をそれぞれ検出する距離検出機構と、前記検出した距離をもとに前記目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を計算する計算手段と、前記計算手段に接続して前記計算手段で計算した目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
　【００２９】第３の発明では、あらかじめ撮像ユニットに複数の目印光源をつけ、ここから発せられる光を周囲に設置された複数のセンサで検出してその距離を検出することにより、目印光源の３次元位置を計算し、これをもとに計算によって撮像ユニットの３次元位置や撮像方位や回転角を、映像に対応させて同時検出する。
　【００３０】《第４の発明》本発明の第４の発明による撮像方法は、予め撮像ユニットの周囲に複数の目印を用意するとともに、前記目印への方位を検出するための目印方位検出機構を前記撮像ユニットに複数取り付け、前記撮像ユニット上の前記目印方位検出機構の位置からみた前記目印にいたる目印方位を検出し、前記検出した目印方位をもとに計算した、前記目印方位検出機構の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
　【００３１】本発明の第４の発明による撮像装置は、予め周囲に用意した複数の目印と、前記目印への目印方位を検出する複数の目印方位検出機構と、前記複数の目印方位検出機構を取り付けた撮像ユニットと、前記目印方位検出機構により検出された前記目印方位検出機構からみた前記目印方位をもとに前記目印方位検出機構の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を計算する計算手段と、前記計算した前記目印方位検出機構の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
　【００３２】第４の発明では、あらかじめ撮像ユニット上に目印方位検出機構を搭載しておき、これを使って周囲の２点以上の既知の位置に設置した目印にいたる方位を検出することにより、目印方位検出機構の３次元位置を計算し、これをもとに計算によって撮像ユニットの３次元位置や撮像方位や回転角を、映像に対応させて同時検出する。
　【００３３】《第５の発明》本発明の第５の発明による撮像方法は、複数のセンサを撮像ユニットに付加するとともに予め周囲に複数の目印を用意し、前記センサで前記目印をとらえ、前記目印をとらえた結果から計算した、前記目印に対する前記センサの３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
　【００３４】本発明の第５の発明による撮像装置は、複数のセンサを付加した撮像ユニットと、周囲に用意された複数の目印と、前記センサで前記目印をとらえた結果から前記目印に対する前記センサの３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を計算する計算手段と、前記計算した前記センサの３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を撮像ユニットの前記撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
　【００３５】第５の発明では、周囲に固定したマークやランプ等からなる複数の目印を、撮像ユニットに固定した複数のセンサ等でとらえて、その複数のセンサの３次元位置から撮像中の撮像ユニットの３次元位置や方位や回転角をリアルタイムに計算し、撮像ユニットの撮影映像に対応付けて記録または出力することにより、任意の方向を向けて使用される撮像ユニットの３次元位置や方位や回転角を同時に高い精度で、しかも簡便に同時検出し、記録もしくは出力する。
　【００３６】《第６の発明》本発明の第６の発明による撮像方法は、目印までの距離を検出する距離検出機構を撮像ユニットに複数付加するとともに予め周囲に複数の目印を配置し、前記距離検出機構の位置からみた前記目印にいたる距離を検出し、前記検出の結果から計算した、前記目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を、前記撮像ユニットの撮影映像に対応付けて記録または出力することを特徴とする。
　【００３７】本発明の第６の発明による撮像装置は、目印までの距離を検出する距離検出機構を複数付加した撮像ユニットと、周囲に設置した複数の目印と、前記検出した前記距離検出機構の位置からみた前記目印にいたる距離から前記目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を計算する計算手段と、前記計算した前記目印の３次元位置、または前記撮像ユニットの３次元位置と方位、または前記撮像ユニットの３次元位置と方位と回転角を前記撮像ユニットの撮影映像に対応付けて記録または出力する手段と、を有することを特徴とする。
　【００３８】第６の発明では、周囲の複数の既知の位置に目印方位検出機構を設置し、これを使ってあらかじめ撮像ユニット上に搭載した複数の目印にいたる方位を検出することにより、目印の３次元位置を計算し、これをもとに計算によって撮像ユニットの３次元位置や撮像方位や回転角を、映像に対応させて高い精度で、しかも簡便に同時検出し、記録もしくは出力する。
　【００３９】なお、以上の本発明による撮像装置では、複数の目印として複数の発光体を用い、前記複数の発光体を個別の発光タイミングまたは個別の周波数で点滅させる発光体制御手段を備えるか、または、複数の目印として発光色の異なる複数の発光体を用い、前記目印を検出するセンサまたは前記目印にいたる距離を検出する距離検出機構または方位を検出する目印方位検出機構は、カラー撮像手段等のカラー識別手段を有するのが、複数の目印のそれぞれを容易に区別することができ、実用上好適である。
　【００４０】また、以上の本発明による撮像装置では、撮像ユニットに接続して前記撮像ユニットのレンズ焦点距離、レンズ絞り値、使用光学フィルタ、焦点合わせ位置、シャッター速度という撮像用パラメータを単数もしくは複数組み合わせて検出する検出手段を新たに備え、記録または出力する手段は、前記検出した撮像用パラメータを前記撮像ユニットの撮影映像に対応付けて記録または出力するのが、撮像ユニットの撮像映像とコンピュータグラフィックス像を合成するなどの際の手間を大幅に削減する点で好適である。
　【００４１】
　【発明の実施の形態】以下、本発明の実施形態例を、図を参照して詳細に説明する。
　【００４２】以下の各実施形態例では、説明を簡単にするため、撮像ユニットとしてのＴＶカメラのレンズとしては、焦点距離の変化するズームレンズではなく、固定焦点距離のレンズを使用することを仮定して説明を行なう。
　【００４３】《実施形態例１》本発明の第１の実施形態例は、撮像ユニット上の目印を周囲のセンサで検出する方式を用いた本発明の第１の発明の実施形態例である。
　【００４４】図１は、本実施形態例を説明する図であって、１０１は、撮像ユニットとしてのＴＶカメラ、１０２，１０３および１０９は、目印としてのＬＥＤ、１０４は、発光タイミングコントローラ、１０５および１０６は、２次元センサとしてのＴＶカメラ、１０７は、計算機構としてのコンピュータ、１０８は、記録機構としての磁気ビデオディスクである。ここで、磁気ビデオディスク１０８には、撮像用パラメータを予め保存しておく。また、目印１０２および１０３は撮像ユニットとしてのＴＶカメラ１０１上の両端に固定しておく。
　【００４５】これを動作させるには、まず、発光タイミングコントローラ１０４の制御により目印としてのＬＥＤ１０２，１０３，１０９を点灯させ、この光を２次元センサとしてのＴＶカメラ１０５および１０６で受け、その情報を計算機構１０７で処理することにより、目印としてのＬＥＤ１０２，１０３，１０９の３次元位置Ａ，ＢおよびＣを求め、これから方位および回転角をも求める。
　【００４６】図２は、上面と側面から撮られた２枚の映像に基づいて３次元位置を求める方法の原理を示す概念図であり、２０１および２０２はそれぞれ上面像と側面像、２０３は得られる３次元位置情報である。なお、ここでは説明を簡単化するため平行投影を仮定した図を描いている。実際の場合では、透視投影を用いることになるが、この計算方式自体はステレオ写真計測等の分野で既に確立されている。原理的には上面像２０１と側面像２０２でそれぞれ対応するｘの位置にある目印のｙおよびｚを求めるだけでよい。これにより目印の３次元位置情報２０３が得られることになる。
　【００４７】求められた３次元空間内の目印１０２，１０２および１０９の位置をそれぞれ、
　　目印１０２：点Ａ（Ａｘ，Ａｙ，Ａｚ）
　　目印１０３：点Ｂ（Ｂｘ，Ｂｙ，Ｂｚ）
　　目印１０９：点Ｃ（Ｃｘ，Ｃｙ，Ｃｚ）
とする。これより撮像ユニット１０１の方位Ｖが下式で定まる。
　【００４８】Ｖ＝（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ａｘ−Ｂｘ，Ａｙ−Ｂｙ，Ａｚ−Ｂｚ）
また点Ｃにより、線分ＡＢを軸とする撮像ユニットとしてのＴＶカメラ１０１の回転角も定まる。すなわち、線分ＡＢに対する点Ｃの正規の位置をＣ′とすると、線分ＡＢの軸上の点を頂点としＣＣ′を底辺とする２等辺三角形の頂角が回転角である。
　【００４９】なお、上記の説明では省略したが、実用上は、目印としてのＬＥＤ１０２，１０３および１０９が混同して検出されるのを防ぐために、若干の工夫を施す必要がある。
　【００５０】例えば、目印としてのＬＥＤ１０２，１０３および１０９を別のタイミング
または
　【００５１】また、別の方法としては、目印１０２，１０３および１０９としてそれぞれ発光色を変えたものを用い、２次元センサ１０４および１０５としてカラーＴＶカメラを用いることにより三者を区別して検出する方法もある。
　【００５２】以上のように、撮像ユニット１０１の３次元位置情報（目印の３次元座標値（Ａｘ，Ａｙ，Ｂｚ）と（Ｂｘ，Ｂｙ，Ｂｚ））ならびに３次元方位情報（Ｖｘ，Ｖｙ，Ｖｚ）と回転角が同時に得られることになる。そこで、このように計測を行ないつつ、撮像ユニット１０１によって撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット１０１の３次元位置と方位、回転角の情報とを、ともに対応させて記録機構１０８に格納する。記録機構１０８に格納された映像情報と撮像ユニット１０１の３次元位置と方位、回転角、並びに予め格納された撮像ユニット１のレンズ焦点距離等の撮像用パラメータに関する情報は、後にコンピュータグラフィックス像生成用のコンピュータに入力されて、コンピュータグラフィックス像とその撮像された映像が合成される。
　【００５３】《実施形態例２》本発明の第２の実施形態例も、撮像ユニット上の目印を周囲のセンサで検出する方式を用いた本発明の第１の発明の実施形態例である。
　【００５４】図３は本実施形態例を説明する図であって、３０１は撮影パラメータ検出ユニットであり、図１と同一符号を付した他の要素は図１の第１の実施形態例と同一のものである。図１との違いは、この撮像パラメータ検出ユニット３０１が加えられている点である。
　【００５５】本実施形態例では、撮像パラメータ検出ユニット３０１で検出された撮影ユニットの（ａ）使用レンズの撮像時焦点距離、（ｂ）実際の絞り、（ｃ）使用光学フィルタ、（ｄ）焦点合わせ位置、（ｅ）シャッター速度、等の撮像用パラメータを同時に記録機構１０８に送り、図１の第１の実施形態例での記録情報と対応した形で共に記録する。本実施形態例によれば、撮像の際の全ての情報が映像情報にリアルタイムに対応付けられて同時に記録されることになるため、撮像中の撮像パラメータの変化への対応が容易になり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる利点が得られる。
　【００５６】なお、第１、第２の実施形態例では、目印としてＡ，Ｂ，Ｃの３つを使用したが、同様の原理で４つ以上の目印を使用することにより、確実にとらえられた目印の情報を使用することで、より確度の高い３次元位置および方位の計測が可能となる。
　【００５７】また、撮像ユニットの３次元位置と方位だけ必要で回転角は無視できる場合には、目印Ａ，Ｂだけでよく、目印Ｃは省略できる。また、撮像パラメータが固定もしくは固定的であるような場合では、撮像パラメータの記録や出力は省略可能である。
　【００５８】また、２次元センサとしてのＴＶカメラも以上の実施形態例では、２次元センサ１０５および１０６の２つのみを使用したが、これを３つ以上使用し、同時に多方向から情報を集められるようにすれば、実際の使用状況において撮像ユニット１０１の陰、あるいは撮影者の陰等に隠れて検出されない目印がたとえあったとしても、代わりに他の２次元センサとしてのＴＶカメラによって確実に検出されるため、所期の目的を達成することができる。
　【００５９】さらに、第１、第２の実施形態例においては、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印の３次元位置や撮像ユニットの３次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
　【００６０】《実施形態例３》本発明の第３の実施形態例は、撮像ユニット上の目印を周囲の方位検出機構で検出する方式を用いた本発明の第２の発明の実施形態例である。
　【００６１】図４は、本発明の第３の実施形態例を説明する図であって、４０１は、撮像ユニットとしてのＴＶカメラ、４０２および４０３は、目印としてのＬＥＤ、４０４は、発光タイミングコントローラ、４０５−Ａ，４０５−Ｂ、４０６−Ａおよび４０６−Ｂは、いずれも目印方位検出機構、４０７は、計算機構としてのコンピュータ、４０８は、記録機構としての磁気ビデオディスク、である。ここで、目印４０２および４０３は撮影ユニットとしてのＴＶカメラ４０１上の両端に固定しておく。
　【００６２】これを動作させるには、まず、発光タイミングコントローラ４０４の制御により目印としてのＬＥＤ４０２と４０３を点灯させ、この光を目印方位検出機構４０５−Ａ、４０５−Ｂ、４０６−Ａ、および、４０６−Ｂで受けることにより、前記目印方位検出機構４０５−Ａ、４０５−Ｂ、４０６−Ａ、および、４０６−Ｂの位置からそれぞれ目印４０２と４０３にいたる方位を検出し、その情報を計算機構としてのコンピュータ４０７で処理することにより目印としてのＬＥＤ４０２と４０３の３次元位置ＡおよびＢを求め、これから撮像方位をも求めることができる。
　【００６３】図５は、目印方位検出機構４０５−Ａの一構成例を示すものであり、５０１はコントローラ、５０２は２軸回りの角度検出機能つき回転機構、５０３は回転機構５０２上に固定設置されたＣＣＤセンサ、５０４は目印方位検出機構４０５−Ａの３次元位置である。残る３つの目印方位検出機構４０５−Ｂ、４０６−Ａ、および、４０６−Ｂについても全く同様である。
　【００６４】これを動作させるには、まず、コントローラ５０１の指令で回転機構５０２を作動させることによってＣＣＤセンサ５０３の向きを動かし、前記撮像ユニット４０１上に付けられた目印４０２をＣＣＤセンサ５０３の視野内にとらえる。以後はＣＣＤセンサ５０３の視野中心とその目印４０２の検出位置とのずれ量を検出しつつ、そのずれ量が最小になるように（即ちＣＣＤセンサ５０３の視野の中心に来るように）回転機構５０２を作動させ続ける。すると、回転機構５０２に組み込まれている２軸回りの角度検出機能により、目印方位検出機構４０５の３次元位置５０４から見た目印４０２の方向をみた目印方位Ｖ１が得られる。
　【００６５】コントローラ５０１ではＣＣＤセンサ５０３の視野のどの位置（中心からどちらの方向にどの程度離れた位置）に目印４０２がとらえられているかを判断し、常に中心でとらえるように回転機構５０２を作動させる。
　【００６６】目印方位検出機構４０５−Ｂの構成および動作は４０５−Ａと同じであるが、ただ目印方位検出機構の３次元位置５０４とは別の３次元位置から同じ目印４０２をとらえて目印方位Ｖ２を求める。
　【００６７】このようにして求められた２つの目印方位Ｖ１、Ｖ２から目印４０２の３次元位置が求められる。
　【００６８】同様に、さらに２つの目印方位検出機構４０６−Ａ、４０６−Ｂを用いて目印４０３の３次元位置も求めることが出来る。
　【００６９】なお、回転機構に組み込まれる角度検出機構は、例えば現在広く工業用ロボットアームの関節部に使用されているロータリーエンコーダを利用して実現することができる。
　【００７０】求められた３次元空間内の目印４０２および４０３の位置をそれぞれ、
　　目印４０２：点Ａ＝（Ａｘ，Ａｙ，Ａｚ）
　　目印４０３：点Ｂ＝（Ｂｘ，Ｂｙ，Ｂｚ）
とする。これより撮像ユニット４０１の方位Ｖが下式で定まる。
　【００７１】Ｖ＝（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ａｘ−Ｂｘ，Ａｙ−Ｂｙ，Ａｚ−Ｂｚ）
なお、上記の説明では省略したが、実用上は、目印としてＬＥＤ４０２と４０３が混同して検出されるのを防ぐため若干の工夫を施す必要がある。
　【００７２】例えば、目印４０２と４０３を別のタイミングまたは別の周波数で断続発光するようにセットしておく。これにより両者を区別して検出することができる。
　【００７３】また、別の方法としては、目印４０２と４０３としてそれぞれ色を変えたものを用い、目印方位検出機構４０５および４０６の２次元センサとしてカラーＴＶカメラを用いることにより両者を区別して検出する方法もある。
　【００７４】以上のようにして撮像ユニット４０１の３次元位置情報（目印の３次元座標値（Ａｘ，Ａｙ，Ｂｚ）と（Ｂｘ，Ｂｙ，Ｂｚ））ならびに撮像方位情報（Ｖｘ，Ｖｙ，Ｖｚ）が同時に得られることになる。そこで、このように計測を行ないつつ、撮像ユニット４０１により撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット４０１の３次元位置と撮像方位の位置とを、ともに対応させて記録機構４０８に格納する。
　【００７５】以上のように、目印方位検出機構は、可動で撮像ユニットの目印を追尾するので、撮像ユニットの移動の自由度が増し、撮像ユニットの移動できる空間の範囲を拡大することができる。目印の３次元位置の検出は、２台以上の固定のカメラ等を位置センサとして検出した画像から求めることも可能であるが、その場合には、撮像ユニットの移動できる空間の範囲は、位置センサとしてのカメラの視野範囲内に限定され、狭いものとなる。
　【００７６】《実施形態例４》本発明の第４の実施形態例も、撮像ユニット上の目印を周囲の方位検出機構で検出する方式を用いた本発明の第２の発明の実施形態例である。
　【００７７】図６は、本発明の第４の実施形態例を説明する図であって、６０１は撮像パラメータ検出ユニットである。本実施形態例のその他の構成は、図４と同符号の構成と同じである。図４との違いはこの撮像パラメータ検出ユニット６０１が加えられている点である。本実施形態例では、撮像パラメータ検出ユニット６０１で検出された撮像ユニットの、
・使用レンズの撮像時焦点距離
・実際の絞り
・使用光学フィルタ
・焦点合わせ位置
・シャッター速度
等の撮像用パラメータを同時に記録機構４０８に送り、図４の第３の実施形態例での記録情報と対応した形で共に記録する。これにより、撮像の際の全ての情報が同時に記録されることになり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる。
　【００７８】なお、第３、第４の実施形態例では、目印としてＡ、Ｂの２つのみを使用したが、同様の原理で３つの目印Ａ、Ｂ、Ｃを使用し、これらを全て検出するために前記目印方位検出機構を増設することにより、撮像ユニットの３次元位置と撮像方位に加えて撮像方位軸回りの回転角をも求めることが可能である。
　【００７９】また、２つ以上、多数の目印と多数の目印方位検出機構を使用すれば、実際の使用状況において撮像ユニット４０１の陰に隠れて検出されない目印がたとえあったとしても、確実にとらえられた目印の情報を使用することにより、代わりに他の目印が確実に検出されるため、初期の目的を達成することができ、より確度の高い３次元位置、撮像方位および回転角の計測が可能となる。
　【００８０】さらに、第１、第２の実施形態例においても、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印の３次元位置や撮像ユニットの３次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
　【００８１】《実施形態例５》本発明の第５の実施形態例は、撮像ユニット上の目印を周囲の距離検出機構で検出する方式を用いた本発明の第３の発明の実施形態例である。
　【００８２】図７は、本実施形態例を説明する図であって、７０１は、撮像ユニットとしてのＴＶカメラ、７０２および７０３は、目印光源、７０４は、発光制御機構、７０５Ａ，７０５Ｂ，７０５Ｃ，７０６Ａ，７０６Ｂ，７０６Ｃは、いずれも距離検出機構、７０７は、計算機構としてのコンピュータ、７０８は、記録機構としての磁気ビデオディスク、である。ここで、目印光源７０２および７０３は、ともにそれぞれ周囲に対して放射状に一様に光を放散する光源を用いる（特定方向のみに光を出す光源でないものを用いるか、あるいは、小さな拡散レンズを使用して放散状に光を放散するような光源を実現する）こととし、それぞれを撮像ユニットとしてのＴＶカメラ７０１上の例えば両端に固定しておく。
　【００８３】これを動作させるには、まず、発光制御機構７０４の制御により目印光源７０２と７０３を発光させ、この光をそれぞれ距離検出機構７０５Ａ，７０５Ｂ，７０５Ｃ，７０６Ａ，７０６Ｂ，７０６Ｃで受け、目印光源から各距離検出機構にいたるまでの距離を検出したのち、それらを計算機構７０７で処理することにより目印光源７０２および７０３の３次元位置ＡおよびＢを求め、これから撮像方位をも求めることができる。
　【００８４】求められた３次元空間内の目印７０２および７０３の位置をそれぞれ、
　　目印７０２：点Ａ＝（Ａｘ，Ａｙ，Ａｚ）
　　目印７０３：点Ｂ＝（Ｂｘ，Ｂｙ，Ｂｚ）
とする。これにより撮像ユニット７０１の方位Ｖが定まる。
　【００８５】Ｖ＝（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ａｘ−Ｂｘ，Ａｙ−Ｂｙ，Ａｚ−Ｂｚ）
なお、上記の説明では省略したが、実用上は、２つの目印光源７０２と７０３が混同して検出されるのを防ぐため若干の工夫を施す必要がある。
　【００８６】例えば、目印光源７０２と７０３を相互に区別できるような別のタイミングまたは別の周波数で断続発光するようにセットしておく。これにより両者を区別して検出することができる。
　【００８７】また、別の方法として、目印光源７０２と７０３としてそれぞれ色（波長）の異なる光源を用いることにより両者を区別して検出する方法もある。
　【００８８】以上のようにして撮像ユニット７０１の３次元位置情報（目印の３次元座標値（Ａｘ，Ａｙ，Ａｚ）と（Ｂｘ，Ｂｙ，Ｂｚ））ならびに撮像方位情報（Ｖｘ，Ｖｙ，Ｖｚ）が同時に得られることになる。そこで、このように計測を行ないつつ、撮像ユニット７０１によって撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット７０１の３次元位置と撮像方位の情報とを、ともに対応させて記録機構７０８に格納する。
　【００８９】図８は距離検出機構７０５Ａの動作を示す図であり、８０１は光センサ、８０２は検出回路である。発光制御機構７０４は目印光源７０２を発光させると同時に検出回路８０２に信号を送る。この同時性を確保するため、発光制御機構７０４から光センサ８０１と検出回路８０２までの信号の遅延が等しくなるように、それぞれを接続するケーブルの長さを等しくする。光センサ８０１は、目印光源７０２から発せられた光を検出し、検出回路８０２に信号を送る。検出回路８０２では、発光制御機構７０４と検出回路８０２の両方から送られる信号の時間差（遅延時間）Ｔを検出し、これを計算機構７０７に送る。この時間差（遅延時間）Ｔは、目印光源７０２と光センサ８０１の間の物理的距離（光路長）を反映するものであり、これから実際の物理的距離を計算することができる。
　【００９０】なお、発光制御機構７０４から光センサ８０１と距離検出機構７０５Ａをそれぞれ接続するケーブルの長さを等しくしても、諸条件により発光制御機構７０４から光センサ８０１と検出回路８０２までのそれぞれの信号の遅延が等しくならない場合も想定されるが、その場合にはキャリブレーションによる補正を行えば良い。
　【００９１】上記の例では、簡単化のために、比較的単純な形の波形を用いて説明を行なったが、実際には、より精度の高い検出を行なうためのさまざまな手法を使用することが可能である。例えば、現在すでに工業用の距離測定装置に安定した技術として広く使用されている位相差検出の原理をこれに適用できる。即ち、検出回路８０２として位相差検出回路を使用し、発光制御機構７０４により変調された光を目印光源７０２から発光させ、これを光センサ８０１でとられた後、検出回路８０２によって両波形の位相差を検出し、これから距離情報を求めることが出来る。
　【００９２】また、上記の例では、距離検出機構７０５Ａのみについて説明したが、他の距離検出機構、即ち、距離検出機構７０５Ｂ，７０５Ｃ，７０６Ａ，７０６Ｂ，７０６Ｃの場合も、構成と動作に関する事情は全く同じである。なお、発光制御機構７０４Ａから各距離検出機構へ信号を伝えるためのケーブル長を等しくしておけば、補正の手間を省くことができ、目印光源７０２，７０３から各距離検出機構までの距離を正確に求めることができる。
　【００９３】《実施形態例６》本発明の第６の実施形態例も、撮像ユニット上の光源光を周囲の距離センサで検出する方式を用いた本発明の第３の発明の実施形態例である。
　【００９４】図９は、本実施形態例を説明する図であり、９０１は撮像パラメータ検出ユニットである。図７との違いは、この撮像パラメータ検出ユニット９０１が撮像ユニット７０１に付け加えられている点である。
　【００９５】本実施形態例では、撮像パラメータ検出ユニット９０１が検出した撮像ユニット７０１の
・使用レンズの撮像時焦点距離
・実際の絞り
・使用光学フィルタ
・焦点合わせ位置
・シャッター速度
等の撮像用パラメータを同時に記録機構７０８に送り、図７の第５の実施形態例での記録情報と対応した形で共に記録する。これにより、撮像の際の全ての情報が同時に記録されることになり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる。
　【００９６】なお、第５、第６の実施形態例では、目印としてＡ，Ｂの２つのみを使用したが、同様の原理で３つの目印Ａ，Ｂ，Ｃを使用し、これらを全て検出するために前記距離検出機構を増設することにより、撮像ユニットの３次元位置と撮像方位に加えて撮像方位軸回りの回転角をも求めることが可能である。
　【００９７】また、３つ以上の、多数の目印と多数の距離検出機構を使用すれば、実際の使用状況において撮像ユニット７０１の陰に隠れて検出されない目印がたとえあったとしても、確実にとらえられた目印の情報を使用することにより、代わりに他の目印が確実に検出されるため、所期の目的を達成することができ、より確度の高い３次元位置、撮像方位および回転角の計測が可能となる。
　【００９８】さらに、第５、第６の実施形態例においても、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印の３次元位置や撮像ユニットの３次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
　【００９９】《実施形態例７》本発明の第７の実施形態例は、周囲の目印を撮像ユニット上の方位検出機構で検出する方式を用いた本発明の第４の発明の実施形態例である。
　【０１００】図１０は、本実施形態例を説明する図であって、１００１は、撮像ユニットとしてのＴＶカメラ、１００２および１００３は、目印としてのＬＥＤ（発光ダイオード）、１００４は、発光タイミングコントローラ、１００５Ａ，１００５Ｂ，１００６Ａ及び１００６Ｂは、目印方位検出機構、１００７は、計算機構としてのコンピュータ、１００８は、記録機構としての磁気ビデオディスク、である。ここで、目印１００２および１００３はともに空間内の既知の３次元位置に固定
しておく
　【０１０１】これを動作させるには、まず、発光タイミングコントローラ１００４の制御により目印としてのＬＥＤ１００２と１００３を点灯させ、これらをそれぞれ目印方位検出機構１００５Ａ，１００５Ｂ，１００６Ａおよび１００６Ｂで追跡し、それぞれ目的１００２と１００３にいたる目印方位を検出する。
この検出された目印方位の情報を計算機構１００７で処理することにより、目印方位検出機構１００５Ａ，１００５Ｂ，１００６Ａおよび１００６Ｂからみた目印１００２および１００３の相対的３次元位置が求まり、これから目印方位検出機構１００５Ａ，１００５Ｂ，１００６Ａおよび１００６Ｂの３次元位置を逆算することが出来る。また、これから撮像ユニット１００１の撮像方位をも求めることができる。
　【０１０２】図１１は、目印方位検出機構１００５Ａの一つの構成例を示すものであり、１１０１はコントローラ、１１０２は２軸回りの角度検出機能つき回転機構、１１０３は回転機構１１０２上に固定設置されたＣＣＤセンサ、１１０４は目印方位検出機構１００５Ａの３次元位置である。残る３つの目印方位検出機構１００５Ｂ，１００６Ａ、および、１００６Ｂについても全く同様である。
　【０１０３】この目印方位検出機構１００５Ａを動作させるには、まず、コントローラ１１０１の指令で回転機構１１０２を作動させることによってＣＣＤセンサ１１０３の向きを動かし、あらかじめ周囲（空間内の既知の３次元位置）に配置された目印１００２をＣＣＤセンサ１１０３の視野内にとらえる。以後はＣＣＤセンサ１１０３の視野中心とその目印１００２の検出位置とのずれ量を検出しつつ、そのずれ量が最小となるように（即ちＣＣＤセンサの視野の中心に来るように）回転機構１１０２を作動させ続ける。すると、回転機構１１０２に組み込まれている２軸回りの角度検出機構により、目印方位検出機構１００５の３次元位置１１０４から見た目印１００２の方向をみた目印方位Ｖ１が得られる。
　【０１０４】コントローラ１１０１ではＣＣＤセンサ１１０３の視野のどの位置（中心からどちらの方向にどの程度離れた位置）に目印１０２がとらえられているかを判断し、常に中心でとらえるように回転機構１１０２を作動させる。
　【０１０５】目印方位検出機構１００５Ｂの構成および動作は１００５Ａと同じであるが、ただ１１０４とは別の３次元位置から同じ目印１００２をとらえて目印方位Ｖ２を求める。
　【０１０６】このようにして求められた２つの目印方位Ｖ１，Ｖ２から目印１００２の相対的３次元位置が求められる。
　【０１０７】同様に、さらに２つの目印方位検出機構１００６Ａ，１００６Ｂを用いて目印１００３の相対的３次元位置も求めることが出来る。
　【０１０８】なお、回転機構に組み込まれる角度検出機能は、例えば現在広く工業用ロボットアームの関節部に使用されているロータリーエンコーダを利用して実現することができる。
　【０１０９】なお、上記の説明では省略したが、実用上は、目印としてのＬＥＤ１００２と１００３が混同して検出されるのを防ぐため若干の工夫を施す必要がある。
　【０１１０】例えば、目印１００２と１００３を別のタイミングまたは別の周波数で断続発光するようにセットしておく。これにより両者を区別して検出することができる。
　【０１１１】また、別の方法としては、目印１００２と１００３としてそれぞれ色を変えたものを用い、２次元センサ１００４および１００５としてカラーＴＶカメラを用いることにより両者を区別して検出する方法もある。
　【０１１２】以上のようにして撮像ユニット１００１の３次元位置情報と撮像方位情報が同時に得られるようになる。そこで、このように計測を行ないつつ、撮像ユニット１００１によって撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット１００１の３次元位置と撮像方位の情報とを、ともに対応させて記録機構１００８に格納する。
　【０１１３】《実施形態例８》本発明の第８の実施形態例も、周囲の目印を撮像ユニット上の方位検出機構で検出する方式を用いた本発明の第４の発明の実施形態例である。
　【０１１４】図１２は、本実施形態例を説明する図であり、１２０１は撮像パラメータ検出ユニットである。図４との違いは、この撮像パラメータ検出ユニット１２０１が撮像ユニット１００１に付け加えられている点である。
　【０１１５】本実施形態例では、撮像パラメータ検出ユニット１２０１が検出した撮像ユニットの
・使用レンズの撮像時焦点距離
・実際の絞り
・使用光学フィルタ
・焦点合わせ位置
・シャッター速度
等の撮像用パラメータを同時に記録機構に送り、図１０の実施形態例での記録情報と対応した形で共に記録する。これにより、撮像の際の全ての情報が同時に記録されることになり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる。
　【０１１６】なお、第７、第８の実施形態例では、目印として光源１００２，１００３の２つのみを使用したが、同様の原理で３つの目印を使用し、これらを全て検出するために前記目印方位検出機構を増設することにより、撮像ユニットの３次元位置と撮像方位に加えて撮像方位軸回りの回転角をも求めることが可能である。
　【０１１７】また、３つ以上の、多数の目印と多数の目印方位検出機構を使用すれば、実際の使用状況において撮像ユニット１００１の陰に隠れて検出されない目印がたとえあったとしても、確実にとらえられた目印の情報を使用することにより、代わりに他の目印が確実に検出されるため、所期の目的を達成することができ、より確度の高い３次元位置、撮像方位および回転角の計測が可能となる。
　【０１１８】また、第７、第８の実施形態例においても、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印もしくは目印方位検出機構の３次元位置や撮像ユニットの３次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
　【０１１９】《実施形態例９》本発明の第９の実施形態例は、周囲の目印を撮像ユニット上のセンサで検出する方式を用いた本発明の第５の発明の実施形態例である。
　【０１２０】図１３は、本実施形態例を示す構成図であって、１３０１は、撮像ユニットとしてのＴＶカメラ、１３０２−１，１３０２−２，…，１３０２−ｎは、目印として固定設置されたｎ個のＬＥＤ、１３０３−１，１３０３−２，…，１３０３−ｍは、撮像ユニット１３０１の上に設置されたｍ個の２次元センサ、１３０４は、発光タイミングコントローラ、１３０７は、計算機構としてのコンピュータ、１３０８は、記録機構としての磁気ビデオディスク、である。
　【０１２１】これを動作するには、まず、発光タイミングコントローラ１３０４の制御により目印としてのｎ個のＬＥＤ１３０２−１，１３０２−２，…，１３０２−ｎを点灯させ、この光を２次元センサとしてのｍ個の２次元センサ１３０３−１，１３０３−２，…，１３０３−ｍでとらえ、その情報を計算機構１３０７で処理することにより、ｍ個の２次元センサ１３０３−１，１３０３−２，…，１３０３−ｍから見たｎ個のＬＥＤ１３０２−１，１３０２−２，…，１３０２−ｎの３次元位置Ｐ−１，Ｐ−２，…，Ｐ−ｎを求める。これから逆に計算を行なうことにより、ｍ個の２次元センサ１３０３−１，１３０３−２，…，１３０３−ｍが求められ、さらにそれらから、撮像ユニット１３０１自体の３次元位置を、さらに、撮像方位や回転角をも求めることができる。これらを求めるためには、少なくとも３点以上の２次元センサの３次元位置が確定すれば良い。
　【０１２２】２枚の映像に基づいて３次元位置を求める方式の原理は、ステレオ写真計測等の分野で既に確立されている。これは、第１の実施形態例において図２を用いて既に説明した通りであるのでここでは省略する。
　【０１２３】《実施形態例１０》本発明の第１０の実施形態例は、周囲の目印を撮像ユニット上の距離検出機構で検出する方式を用いた本発明の第６の発明の実施形態例である。
　【０１２４】図１４は、本実施形態例を示す構成図であって、１４０１は、撮像ユニットとしてのＴＶカメラ、１４０２−１，１４０２−２，１４０２−３は、目印光源、１４０３−１，１４０３−２，１４０３−３は、撮像ユニット１４０１上の、お互いに異なる位置に設置した距離検出機構、１４０４は、発光制御機構、１４０７は、計算機構としてのコンピュータ、１４０８は、記録機構としての磁気ビデオディスク、である。ここで、目印光源１４０２−１，１４０２−２，１４０２−３は、それぞれ周囲に対して放射状に一様に光を放散する光源を用いる（特定方向のみに光を出す光源でないものを用いるか、あるいは、小さな拡散レンズを使用して放射状に光を放散するような光源を実現する）こととする。
距離検出機構としては、既に第５の実施形態例で述べたものを使用することができる。
　【０１２５】これを動作させるには、まず、発光制御機構１４０４の制御により目印光源１４０２−１，１４０２−２，１４０２−３を発光させ、この光をそれぞれ距離検出機構１４０３−１，１４０３−２，１４０３−３で受け、目印光源から各距離検出機構にいたるまでの距離を検出したのち、それらを計算機構１４０７で処理することにより目印光源１４０２−１，１４０２−２，１４０２−３に対する距離検出機構１４０３−１，１４０３−２，１４０３−３の３点の３次元位置を求め、これから撮像方位や回転角をも求めることができる。
　【０１２６】なお、上記の説明では省略したが、実用上は、目印としての光源１４０２−１，１４０２−２，１４０２−３が混同して検出されるのを防ぐため若干の工夫を施す必要がある。例えば、これらを相互に区別できるような別のタイミングまたは別の周波数で断続発光するようにセットしておく。これにより両者を区別して検出することができる。
　【０１２７】また、別の方法としては、目印光源としてそれぞれ色（波長）の異なる光源を用いることにより両者を区別して検出する方法もある。
　【０１２８】以上のようにして撮像ユニット１４０１の３次元位置情報ならびに撮像方位情報が同時に得られることになる。そこで、このように計測を行ないつつ、撮像ユニット１４０１によって撮像を行ない、この映像情報と、上記方法で得られた撮像ユニット１４０１の３次元位置と撮像方位の情報とを、ともに対応させて記録機構１４０８に格納する。
　【０１２９】なお、第９、第１０の実施形態例においても、第２の実施形態例と同様に撮像パラメータ検出ユニットを撮像ユニットに付加して、それで検出された撮像ユニットの（ａ）使用レンズの撮像時焦点距離、（ｂ）実際の絞り、（ｃ）使用光学フィルタ、（ｄ）焦点合わせ位置、（ｅ）シャッター速度、等の撮像用パラメータを同時に記録機構に送り、各実施形態例での記録情報と対応した形で共に記録するようにしてもよい。この場合、撮像の際の全ての情報が映像情報にリアルタイムに対応付けられて同時に記録されることになるため、撮像中の撮像パラメータの変化への対応が容易になり、後にコンピュータグラフィックス像とその映像を合成する際の手間が大幅に削減できる利点が得られる。
　【０１３０】また、撮像ユニット上の３次元位置として少なくとも３点が確定すればよいとしたが、回転角は無視することができ、撮像ユニットの３次元位置と方位だけが必要とされる場合には、少なくとも撮像ユニット上の２点が確定すればよく、その分に応じて撮像ユニット上の２次元センサや方位検出機構等の数を少なくすることができる。
　【０１３１】また、図１２においては、３つ以上の多数の２次元センサを使用しているが、これは、実際の使用状況において撮像ユニット１３０１等の陰などに隠れて検出されない目印がたとえあったとしても、代わりに他の目印を確実にとらえて、確度の高い３次元位置、撮像方位および回転角の計測を可能にするためであり、図１３の場合でも同様である。
　【０１３２】さらに、第９、第１０の実施形態例においても、記録機構を省略して、実写映像とコンピュータグラフィックス像を映像合成するコンピュータ等へ、撮像ユニットの撮像映像と、目印の３次元位置や撮像ユニットの３次元位置、方位、回転角、必要なら撮像用パラメータ等を対応付けて直接出力し、外部で必要な処理をするように構成しても良い。
　【０１３３】
　【発明の効果】以上説明したように、本発明によれば、複数の目印と、この目印、または目印方位、または目印にいたる距離を検出する手段とを、撮像ユニットとその周囲、または逆に撮像ユニットの周囲とその撮像ユニットに配置して、その検出の結果から撮像ユニットの３次元位置、またはそれに加えて方位、またはそれらに加えて方位軸からの回転角を計算できるようにしたので、それらの撮像ユニットの３次元位置や方位、方位軸からの回転角を撮像と同時に自動的に高い精度で簡便に求められる環境を実現できるという利点が得られる。また、撮像ユニットの移動の自由度が増し、その移動できる空間の範囲が広がるという利点が得られる。
　【０１３４】特に、撮像ユニットの撮像パラメータを撮像中に検出してその撮影映像に対応付けて記録または出力するようにした場合には、撮像中の撮像パラメータ変化に容易に対応可能となり、後の映像合成等における手間を大幅に削減できるという利点が得られる。
【図面の簡単な説明】
　【図１】本発明の第１の発明に係る第１の実施形態例を説明する図である。
　【図２】上記第１の実施形態例において上面と側面のセンサでとらえた２つの映像に基づいて３次元位置を求める方法を示す概念図である。
　【図３】本発明の第１の発明に係る第２の実施形態例を説明する図である。
　【図４】本発明の第２の発明に係る第３の実施形態例を説明する図である。
　【図５】上記第３の実施形態例における目印方位検出機構の構成例を示す図である。
　【図６】本発明の第２の発明に係る第４の実施形態例を説明する図である。
　【図７】本発明の第３の発明に係る第５の実施形態例を説明する図である。
　【図８】上記第５の実施形態例の距離検出機構の動作例を示す図である。
　【図９】本発明の第３の発明に係る第６の実施形態例を説明する図である。
　【図１０】本発明の第４の発明に係る第７の実施形態例を説明する図である。
　【図１１】上記第７の実施形態例の目印方位検出機構の一つの構成例を示す図である。
　【図１２】本発明の第４の発明に係る第８の実施形態例を説明する図である。
　【図１３】本発明の第５の発明に係る第９の実施形態例を説明する図である。
　【図１４】本発明の第６の発明に係る第１０の実施形態例を説明する図である。
　【符号の説明】１０１…撮像ユニット（ＴＶカメラ）
　１０１，１０３…目印（ＬＥＤ）
　１０４…発光タイミングコントローラ
　１０５，１０６…２次元センサ（ＴＶカメラ）
　１０７…計算機構（コンピュータ）
　１０８…記録機構（磁気ビデオディスク）
　２０１…上面像
　２０２…側面像
　２０３…３次元位置情報
　３０１…撮像パラメータ検出ユニット
　４０１…撮影ユニット（ＴＶカメラ）
　４０２，４０３…目印（ＬＥＤ）
　４０５−Ａ，４０５−Ｂ，４０６−Ａ，４０６−Ｂ…目印方位検出機構
　４０７…計算機構（コンピュータ）
　４０８…記録機構（磁気ビデオディスク）
　５０１…コントローラ
　５０２…回転機構
　５０３…ＣＣＤセンサ
　５０４…目印方位検出機構の３次元位置
　６０１…撮像パラメータ検出ユニット
　７０１…撮像ユニット（ＴＶカメラ）
　７０２，７０３…目印光源
　７０４…発光制御機構
　７０５Ａ，７０５Ｂ，７０５Ｃ，７０６Ａ，７０６Ｂ，７０６Ｃ…距離検出機構
　７０７…計算機構（コンピュータ）
　７０８…記録機構（磁気ビデオディスク）
　９０１…撮像パラメータ検出ユニット
　１００１…撮像ユニット（ＴＶカメラ）
　１００２，１００３…目印（ＬＥＤ）
　１００４…発光タイミングコントローラ
　１００５Ａ，１００５Ｂ，１００６Ａ，１００６Ｂ…目印方位検出機構
　１００７…計算機構（コンピュータ）
　１００８…記録機構（磁気ビデオディスク）
　１３０１…撮像ユニット（ＴＶカメラ）
　１３０２−１，１３０２−２，…，１３０２−ｎ…目印（ＬＥＤ）
　１３０３−１，１３０３−２，…，１３０３−ｍ…２次元センサ
　１３０４…発光タイミングコントローラ
　１３０７…計算機構（コンピュータ）
　１３０８…記録機構（磁気ビデオディスク）
　１４０１…撮像ユニット（ＴＶカメラ）
　１４０２−１，１４０２−２，１４０２−３…目印光源
　１４０３−１，１４０３−２，１４０３−３…距離検出機構
　１４０４…発光制御機構
　１４０７…計算機構（コンピュータ）
　１４０８…記録機構（磁気ビデオディスク）