(57)【特許請求の範囲】
【請求項１】
移動距離の計測基準となる計測基準面上を移動する計測対象に装着され、前記計測対象の移動距離を計測する移動距離計測装置であって、
前記計測対象の位置から前記計測基準面を向くように、前記計測基準面の動画像である計測基準面動画像を撮影するセンサカメラと、
前記センサカメラが撮影した計測基準面動画像から、動きベクトルを検出する動きベクトル検出部と、
前記センサカメラの画面サイズと、前記センサカメラの画角と、前記センサカメラから前記計測基準面までのカメラ高さとが予め設定され、前記センサカメラの画角及び前記カメラ高さから前記センサカメラの撮影範囲を求め、求めた前記撮影範囲に前記動きベクトルの大きさと前記画面サイズとの比を乗じることで、前記移動距離を算出する移動距離算出部と、
３次元方向の加速度を計測する加速度センサと、を備え、
前記移動距離算出部は、前記加速度センサが計測した加速度から、前記計測基準面の垂線に対する前記センサカメラの光軸傾き量を求め、求めた前記光軸傾き量に応じて、前記垂線に対して前記センサカメラの光軸が傾いた状態で算出された前記移動距離を、前記計測基準面上での移動距離となるように補正することを特徴とする移動距離計測装置。
【請求項２】
移動距離の計測基準となる計測基準面上を移動する計測対象に装着され、前記計測対象の移動距離を計測する移動距離計測装置であって、
前記計測対象の位置から前記計測基準面を向くように、前記計測基準面の動画像である計測基準面動画像を撮影するセンサカメラと、
前記センサカメラが撮影した計測基準面動画像から、動きベクトルを検出する動きベクトル検出部と、
前記センサカメラの画面サイズと、前記センサカメラの画角と、前記センサカメラから前記計測基準面までのカメラ高さとが予め設定され、前記センサカメラの画角及び前記カメラ高さから前記センサカメラの撮影範囲を求め、求めた前記撮影範囲に前記動きベクトルの大きさと前記画面サイズとの比を乗じることで、前記移動距離を算出する移動距離算出部と、
前記センサカメラの向きを駆動する駆動手段と、
３次元方向の加速度を計測する加速度センサと、
前記加速度センサが計測した加速度から、前記計測基準面の垂線に対する前記センサカメラの光軸傾き量を求め、求めた前記光軸傾き量に応じて、前記センサカメラの光軸が前記計測基準面に垂直となるように前記駆動手段を制御する駆動手段制御部と、
を備えることを特徴とする移動距離計測装置。
【請求項３】
前記カメラ高さの変化量を計測する変化量計測部をさらに備え、
前記移動距離算出部は、前記変化量計測部が計測した前記変化量を前記カメラ高さに加算又は減算することを特徴とする請求項１又は請求項２に記載の移動距離計測装置。
【請求項４】
パン方向、チルト方向及びヨー方向の角速度を計測するジャイロセンサと、
前記ジャイロセンサが計測した角速度と前記加速度センサが計測した加速度とから、前記計測対象の向きを示す姿勢データを算出する姿勢データ算出部と、
をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の移動距離計測装置。
【請求項５】
前記移動距離計測装置は、前記計測対象としての撮影カメラに装着され、
前記移動距離算出部は、前記撮影カメラが撮影した撮影映像の同期信号が入力され、入力された前記同期信号に同期させて前記移動距離を算出し、
前記姿勢データ算出部は、前記同期信号が入力され、入力された前記同期信号に同期させて前記姿勢データを算出することを特徴とする請求項４に記載の移動距離計測装置。
【請求項６】
前記撮影カメラが備えるズームレンズのリング回転量を計測するエンコーダと、
前記リング回転量と前記撮影カメラの画角とを対応付けた撮影画角テーブルが予め設定され、当該撮影画角テーブルを参照して、前記エンコーダが計測したリング回転量から前記撮影カメラの画角を算出する画角算出部と、
をさらに備えることを特徴とする請求項５に記載の移動距離計測装置。
【請求項７】
請求項１から請求項６の何れか一項に記載の移動距離計測装置が装着された撮影カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動距離の計測基準となる計測基準面上を移動する計測対象に装着され、計測対象の移動距離を計測する移動距離計測装置及び撮影カメラに関する。
【背景技術】
【０００２】
番組制作や映画制作において、撮影カメラが動きながら撮影した映像に、ＣＧや別の映像を合成することが広く行われている。この合成に際して、撮影カメラがどのように動いたか、つまり、撮影カメラの移動距離や姿勢を示すカメラデータが必要になる。
【０００３】
従来から、カメラデータを計測する手法として、バーチャルスタジオで活用しているＶＲ用ペデスタル（例えば、非特許文献１）や、三脚に載せて使用する構造のＤＧＳ（データ・ギャザリング・システム）が知られている。例えば、非特許文献１に記載の技術は、ロボットカメラを取り付ける雲台に特殊な細工を施すことで、ロボットカメラの動きや姿勢をカメラデータとして計測するものである。より具体的には、パン、チルト、ロール等の回転軸の回転角を検出するためのエンコーダが雲台に取り付けられており、ロボットカメラが動いたことによって変化する回転角の変化から、カメラデータを計測する。
【０００４】
この他、ロボットカメラの動きを実際に計測するのではなく、収録映像の画像解析を行うことで、カメラデータを算出するソフトウェアも知られている。この画像解析ソフトウェアは、例えば、収録映像の中から特徴点を抽出して、動きベクトルの変化からカメラデータを逆算するものである。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「スタジオ番組用移動ロボットカメラの開発」、津田他、映像情報メディア学会誌、Vol.62、No.1、pp.84〜91(2008)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１に記載の技術では、専用の大型装置（雲台）が必要になると共に、車輪部の構造や原点座標の設定の制約から、屋外のような床が平坦でない環境での使用が極めて困難である。
また、従来のＤＧＳは、屋外で使用可能であるが、非特許文献１に記載の技術と同様、専用の大型装置を使用しなければならず、重く、機動性が悪いという欠点がある。
さらに、従来の画像解析ソフトウェアは、カメラデータの精度が不十分であり、景色のような特徴が少ない映像からカメラデータを算出することが極めて困難である。
【０００７】
ここで、カメラデータのうち、撮影カメラの姿勢に関しては、６自由度の慣性センサを用いて、高い精度を確保することができる。その一方、撮影カメラの移動距離は、この慣性センサだけでは十分な精度を確保できず、その精度を向上させるためには、専用の大型装置に頼らざる得ない。
【０００８】
そこで、本発明は、機動性に優れ、平坦でない計測基準面でも、高い精度で移動距離を計測できる移動距離計測装置及び撮影カメラを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記した課題に鑑みて、本願第１発明に係る移動距離計測装置は、移動距離の計測基準となる計測基準面上を移動する計測対象に装着され、計測対象の移動距離を計測する移動距離計測装置であって、センサカメラと、動きベクトル検出部と、移動距離算出部と、加速度センサとを備えることを特徴とする。
【００１０】
かかる構成によれば、移動距離計測装置は、センサカメラによって、計測対象の位置から計測基準面を向くように、計測基準面の動画像である計測基準面動画像を撮影する。つまり、移動距離計測装置は、小型なセンサカメラを用いるため、専用の大型装置を必要としない。また、センサカメラが計測基準面をおおよそ垂直方向から撮影するため、この計測基準面動画像は、奥行きの変化が殆どなく、画像全体で同じ動きになる。
【００１１】
また、移動距離計測装置は、動きベクトル検出部によって、センサカメラが撮影した計測基準面動画像から、動きベクトルを検出する。つまり、移動距離計測装置は、画像全体で同じ動きになる計測基準面動画像から動きベクトルを検出するため、高度で複雑な画像処理を行う必要がない。
【００１２】
そして、移動距離計測装置は、移動距離算出部によって、センサカメラの画面サイズと、センサカメラの画角と、センサカメラから計測基準面までのカメラ高さとが予め設定され、センサカメラの画角及びカメラ高さからセンサカメラの撮影範囲を求め、求めた撮影範囲に動きベクトルの大きさと画面サイズとの比を乗じることで、この動きベクトルの大きさをセンサカメラの撮影範囲内での移動距離に換算する。
【００１３】
そして、移動距離計測装置は、加速度センサが、３次元方向の加速度を計測し、移動距離算出部が、加速度センサが計測した加速度から、計測基準面の垂線に対するセンサカメラの光軸傾き量を求め、求めた光軸傾き量に応じて、垂線に対してセンサカメラの光軸が傾いた状態で算出された移動距離を、計測基準面上での移動距離（つまり、計測基準面に対してセンサカメラの光軸が垂直な状態で算出された移動距離）となるように補正することを特徴とする。
これにより、移動距離計測装置は、センサカメラが傾いた状態で計測基準面動画像を撮影した場合でも、その傾きに起因する移動距離の誤差を補正する。
【００１４】
前記した課題に鑑みて、本願第２発明に係る移動距離計測装置は、移動距離の計測基準となる計測基準面上を移動する計測対象に装着され、計測対象の移動距離を計測する移動距離計測装置であって、センサカメラと、動きベクトル検出部と、移動距離算出部と、センサカメラの向きを駆動する駆動手段と、３次元方向の加速度を計測する加速度センサと、加速度センサが計測した加速度から、計測基準面の垂線に対するセンサカメラの光軸傾き量を求め、求めた光軸傾き量に応じて、センサカメラの光軸が計測基準面に垂直となるように駆動手段を制御する駆動手段制御部とを備えることを特徴とする。
【００１５】
かかる構成によれば、移動距離計測装置は、計測基準面に対して計測対象が傾いた状態でも、この計測対象に装着されたセンサカメラが計測基準面を垂直方向から撮影するため、計測対象の傾きに起因する移動距離の誤差を補正する必要がない。
【００１６】
また、本願第３発明に係る移動距離計測装置は、カメラ高さの変化量を計測する変化量計測部をさらに備え、移動距離算出部が、変化量計測部が計測した変化量をカメラ高さに加算又は減算することを特徴とする。
かかる構成によれば、移動距離計測装置は、計測対象が上下してカメラ高さが変化する場合でも、その高さ変化に起因する移動距離の誤差を補正する。
【００１７】
また、本願第４発明に係る移動距離計測装置は、パン方向、チルト方向及びヨー方向の角速度を計測するジャイロセンサと、ジャイロセンサが計測した角速度と加速度センサが計測した加速度とから、計測対象の向きを示す姿勢データを算出する姿勢データ算出部と、をさらに備えることを特徴とする。
かかる構成によれば、移動距離計測装置は、計測対象の移動距離に加えて、姿勢データも計測することができる。
【００１８】
また、本願第５発明に係る移動距離計測装置は、計測対象としての撮影カメラに装着され、移動距離算出部が、撮影カメラが撮影した撮影映像の同期信号が入力され、入力された同期信号に同期させて移動距離を算出し、姿勢データ算出部が、同期信号が入力され、入力された同期信号に同期させて姿勢データを算出することを特徴とする。
かかる構成によれば、移動距離計測装置は、撮影カメラが撮影映像を撮影したタイミングに同期させて、移動距離及び姿勢データをカメラデータとして計測することができる。
【００１９】
また、本願第６発明に係る移動距離計測装置は、撮影カメラが備えるズームレンズのリング回転量を計測するエンコーダと、リング回転量と撮影カメラの画角とを対応付けた撮影画角テーブルが予め設定され、撮影画角テーブルを参照して、エンコーダが計測したリング回転量から撮影カメラの画角を算出する画角算出部と、をさらに備えることを特徴とする。
かかる構成によれば、移動距離計測装置は、カメラデータに撮影カメラの画角を付加することができる。
【００２０】
また、前記した課題に鑑みて、本願第７発明に係る撮影カメラは、本願第１発明から本願第６発明の何れかに係る移動距離計測装置を装着したことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、以下のような優れた効果を奏する。
本願第１，２，７発明によれば、専用の大型装置を必要としないため、機動性に優れ、平坦でない計測基準面でも移動距離を計測することができる。さらに、本願第１，２，７発明によれば、画像全体で同じ動きになる計測基準面動画像から動きベクトルを検出するため、高度で複雑な画像処理を行う必要がなく、高い精度で移動距離を計測することができる。
【００２２】
本願第１，７発明によれば、センサカメラが傾いた状態で計測基準面動画像を撮影した場合でも、その傾きに起因する移動距離の誤差を補正して、高い精度で移動距離を計測することができる。
本願第２，７発明によれば、計測基準面に対して計測対象が傾いた状態でも、この計測対象に装着されたセンサカメラが計測基準面を垂直方向から撮影する。このため、本願第２，７発明によれば、その傾きに起因する移動距離の誤差を補正する必要がなく、高い精度で素早く移動距離を計測することができる。
【００２３】
本願第３，７発明によれば、計測対象が上下してカメラ高さが変化した場合でも、その高さ変化に起因する誤差を補正して、高い精度で移動距離を計測することができる。
本願第４，７発明によれば、計測対象の移動距離に加えて、姿勢データも計測することができる。
【００２４】
本願第５，７発明によれば、撮影カメラが撮影映像を撮影したタイミングに同期させて、カメラデータを計測するため、撮影映像とカメラデータとの時間軸が一致して、映像加工処理を効率的に行うことができる。
本願第６，７発明によれば、カメラデータに撮影カメラの画角が付加されるので、映像加工処理をより効率的に行うことができる。
【図面の簡単な説明】
【００２５】
【図１】（ａ）は本発明の第１実施形態に係るカメラデータ計測装置を撮影カメラに装着した状態を示す概略図であり、（ｂ）は撮影カメラの移動方向及び回転方向を説明する説明図である。
【図２】図１のカメラデータ計測装置の構成を示す図である。
【図３】図２のカメラデータ計測装置において、各手段の信号入出力を図示したブロック図である。
【図４】図３のセンサカメラによる移動面動画像の撮影を説明する説明図である。
【図５】図３のセンサカメラで撮影された移動面動画像の一例を示す図である。
【図６】図３の移動距離算出部による移動距離の算出を説明する説明図である。
【図７】図３の移動距離算出部による傾きの補正を説明する説明図である。
【図８】図３のカメラデータ計測装置の動作を示すフローチャートである。
【図９】本発明の第２実施形態に係るカメラデータ計測装置の構成を示す図である。
【図１０】図９のカメラデータ計測装置において、各手段の信号入出力を図示したブロック図である。
【図１１】本発明の第３実施形態において、撮影カメラの高さが変化する様子を説明する説明図である。
【図１２】本発明の第３実施形態に係るカメラデータ計測装置が備える測距計を説明する説明図である。
【図１３】本発明の第３実施形態に係るカメラデータ計測装置において、各手段の信号入出力を図示したブロック図である。
【図１４】本発明の第４実施形態に係るカメラデータ計測装置の概略構成図である。
【図１５】本発明の第５実施形態において、エンコーダを説明する説明図である。
【図１６】本発明の第５実施形態に係るカメラデータ計測装置において、各手段の信号入出力を図示したブロック図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００２７】
（第１実施形態）
［カメラデータ計測装置の概略］
図１を参照して、本発明の第１実施形態に係るカメラデータ計測装置（移動距離計測装置）１００の概略について説明する。
以後の各実施形態では、計測対象を撮影カメラ２００として説明する。
【００２８】
図１（ａ）に太線で図示したカメラデータ計測装置１００は、撮影カメラ２００に装着され、この撮影カメラ２００の移動距離及び姿勢データをカメラデータとして計測するものである。このカメラデータ計測装置１００は、撮影カメラ２００が水平状態のとき、センサカメラ３０の項軸Ａｘ１が移動面（計測基準面）Ｇに垂直となるように、撮影カメラ２００の後部に装着、固定される（図４参照）。
【００２９】
なお、移動面Ｇとは、移動距離の計測基準となるものであり、例えば、屋外撮影であれば地面となり、屋内撮影であれば床となる。すなわち、カメラデータ計測装置１００が計測する移動距離は、この移動面Ｇ上での移動距離を表すことになる。
【００３０】
撮影カメラ２００は、テレビ番組等の撮影映像を撮影するカメラであり、カメラマン（不図示）が肩に載せて撮影を行う一般的な肩載式のカメラである。つまり、カメラマンは、撮影カメラ２００を肩に載せて、移動面Ｇを前後左右に移動しながら撮影を行う。ここで、説明を簡易にするため、撮影カメラ２００が、ｚ軸方向のみ移動することとして説明する。
【００３１】
以後、図１（ｂ）に示すように、ｘ軸を左右方向とし、ｙ軸を上下方向とし、ｚ軸を前後方向とする。また、ｙ軸が回転軸となる回転方向θをパン方向とし、ｘ軸が回転軸となる回転方向φをチルト方向とし、ｚ軸が回転軸となる回転方向Ψをヨー方向とする。
【００３２】
［カメラデータ計測装置の構成］
図２，図３を参照して、図１のカメラデータ計測装置１００の構成について説明する。
図２に示すように、カメラデータ計測装置１００は、ジャイロセンサ１０と、加速度センサ２０と、センサカメラ３０と、画像処理部（動きベクトル検出部）４０と、ＣＰＵ（Central Processing Unit）５０とを備える。
【００３３】
カメラデータ計測装置１００は、基板９３の上段にジャイロセンサ１０と加速度センサ２０と画像処理部４０とが配置され、基板９３の下段にＣＰＵ５０が配置される。また、カメラデータ計測装置１００は、基板９３を挟んで画像処理部４０に対向するように、センサカメラ３０が配置される。そして、カメラデータ計測装置１００は、センサカメラ３０と画像処理部４０との間、画像処理部４０とＣＰＵ５０との間、ジャイロセンサ１０及び加速度センサ２０とＣＰＵ５０との間で信号を入出力できるように、図示を省略した回路が形成される。さらに、カメラデータ計測装置１００は、前記した各手段が配置された基板９３を、箱型の筐体９１に収納する。
【００３４】
また、カメラデータ計測装置１００は、センサカメラ３０のレンズ部３１を、筐体９１の底面に形成された貫通孔から突出させている。このレンズ部３１は、センサカメラ３０の撮像素子（不図示）に光を入射させるためのレンズ（不図示）が収容される。
【００３５】
図３に示すように、ジャイロセンサ１０は、パン方向ジャイロセンサ１１と、チルト方向ジャイロセンサ１３と、ヨー方向ジャイロセンサ１５とで構成される。
パン方向ジャイロセンサ１１は、カメラデータ計測装置１００及びこのカメラデータ計測装置１００が装着された撮影カメラ２００について、パン方向の角速度を計測するものである。
チルト方向ジャイロセンサ１３は、カメラデータ計測装置１００及び撮影カメラ２００について、チルト方向の角速度を計測するものである。
ヨー方向ジャイロセンサ１５は、カメラデータ計測装置１００及び撮影カメラ２００について、ヨー方向の角速度を計測するものである。
そして、ジャイロセンサ１０は、計測したパン方向、チルト方向及びヨー方向の角速度を速度データとしてＣＰＵ５０に出力する。
【００３６】
加速度センサ２０は、左右方向加速度センサ２１と、上下方向加速度センサ２３と、前後方向加速度センサ２５とで構成される。
左右方向加速度センサ２１は、カメラデータ計測装置１００及びこのカメラデータ計測装置１００が装着された撮影カメラ２００について、左右方向（ｘ軸方向）の加速度を計測するものである。
上下方向加速度センサ２３は、カメラデータ計測装置１００及び撮影カメラ２００について、上下方向（ｙ軸方向）の加速度を計測するものである。
前後方向加速度センサ２５は、カメラデータ計測装置１００及び撮影カメラ２００について、前後方向（ｚ軸方向）の加速度を計測するものである。
そして、加速度センサ２０は、計測した左右方向、上下方向及び前後方向の加速度を加速度データとしてＣＰＵ５０に出力する。
【００３７】
なお、ジャイロセンサ１０及び加速度センサ２０は、一般的なＭＥＭＳ（Micro Electro Mechanical Systems）慣性センサを利用できるため、詳細な説明を省略する。このＭＥＭＳ慣性センサは、コンパクトに集積可能であり、カメラデータ計測装置１００の小型化に寄与する。
【００３８】
ここで、撮影カメラ２００が移動を伴う場合、加速度センサ２０の加速度データを２重積分することで移動距離を求めることも考えられる。しかし、実際に撮影を行う場合、カメラマンが滑らかなカメラワークを心がけるため、加速度データの出力レベルは、小さくなる可能性が高い。この場合、加速度データを２重積分しても、移動距離の誤差が大きくなる。そこで、カメラデータ計測装置１００は、センサカメラ３０で撮影した移動距離動画像（計測基準面動画像）を用いて、移動距離の計測を行う。
【００３９】
センサカメラ３０は、例えば、移動面Ｇの動画像である移動面動画像を撮影するＣＣＤ（Charge Coupled Device）カメラである。ここで、センサカメラ３０の光軸ＡＸ１は、図４に示すように、移動面Ｇに垂直となり、撮影カメラ２００の光軸ＡＸ２に直角に交わる。そして、センサカメラ３０は、撮影カメラ２００の位置から、一定の画角（図４の２点鎖線）で移動面Ｇを垂直方向に撮影する。従って、移動面Ｇの一部がセンサカメラ３０での撮影範囲Ｓｐとなる。その後、センサカメラ３０は、移動面Ｇが撮影された移動面動画像を画像処理部４０に出力する。
【００４０】
画像処理部４０は、センサカメラ３０で撮影された移動面動画像が入力され、この移動面動画像から動きベクトルを検出するものである。この画像処理部４０は、図５に示すように、ブロックマッチング、勾配法等の手法により、移動面動画像Ｐから特徴点Ｆを抽出して動きベクトルＶを検出し、ＣＰＵ５０に出力する。
【００４１】
ここで、移動面動画像Ｐは、奥行きが殆ど変化しない、移動面Ｇでの撮影範囲Ｓｐが映し出されたフレーム画像が連続した単調な動画像となる。このため、図５に示すように、移動面動画像Ｐは、抽出した全ての特徴点Ｆが同じ動きになり、動きベクトルＶが同一になる。
なお、移動面Ｇに全く模様が存在しない場合、マーカを適当な間隔で移動面Ｇに配置することで、マーカが特徴点Ｆとして検出され、高い精度で動きベクトルＶを検出することができる。
【００４２】
ＣＰＵ５０は、カメラデータ計測装置１００での各種演算を行うものであり、姿勢データ算出部５１と、移動距離算出部５３とを備える。ここで、ＣＰＵ５０は、ジャイロセンサ１０から速度データが入力され、加速度センサ２０から加速度データが入力され、画像処理部４０から動きベクトルＶが入力される。
【００４３】
姿勢データ算出部５１は、ジャイロセンサ１０からの速度データと加速度センサ２０からの加速度データとから、撮影カメラ２００の向きを示す姿勢データを算出するものである。ここで、加速度データにより撮影カメラ２００がどちらの方向に移動しようとしたか分かる。従って、姿勢データ算出部５１は、例えば、加速度センサ２０からの加速度データに、ジャイロセンサ１０からの速度データに相乗しているクロストーク分を補正して積分処理を行う。このようにして、姿勢データ算出部５１は、パン方向、チルト方向及びヨー方向について、撮影カメラ２００の姿勢データ（Ｐθ，Ｐφ，ＰΨ）を算出する。
なお、速度データ及び加速度データから姿勢データを算出する方法は、ＭＥＭＳ慣性センサの実装に依存する一般的な処理のため、詳細な説明を省略する。
【００４４】
移動距離算出部５３は、センサカメラ３０の画角及びカメラ高さからセンサカメラによる撮影範囲を求め、算出した撮影範囲に動きベクトルＶの大きさと画面サイズとの比を乗じることで、移動距離を算出するものである。
【００４５】
以下、図６を参照して、移動距離の計算について、２つの具体例をあげて説明する。
この図６では、説明を分かり易くするため、センサカメラ３０の画面サイズと、後記するセンサカメラ３０の画角ξと、カメラ高さＬと、動きベクトルＶの大きさｃとの関係を模式的に図示した。
【００４６】
ここで、移動距離算出部５３は、横の画素数ａ×縦の画素数ｂというように、センサカメラ３０の画面サイズが画素単位で予め設定される。
また、センサカメラ３０がズームしないので、移動距離算出部５３は、センサカメラ３０の画角ξが予め設定される。この画角ξは、撮影カメラ２００の移動方向（図１のｚ軸方向）の画角である。
さらに、移動距離算出部５３は、センサカメラ３０（図６では“●”で図示）から移動面Ｇまでのカメラ高さＬが予め設定される。例えば、カメラ高さＬは、カメラマンの肩の高さに設定される。
【００４７】
＜第１例：撮影カメラの傾きを補正しない場合＞
移動距離算出部５３は、動きベクトルＶの大きさｃを画素単位に換算した後、下記の式（１）を用いて、移動距離Ｔを算出する。つまり、式（１）において、右辺第１項｛２Ｌ・ｔａｎ（ξ／２）｝が、画角ξ及びカメラ高さＬから撮影範囲Ｓｐ（図４）を求めることを表している。
Ｔ＝｛２Ｌ・ｔａｎ（ξ／２）｝・ｃ／ａ  ・・・式（１）
【００４８】
＜第２例：撮影カメラの傾きを補正する場合＞
図７に示すように、撮影カメラ２００がチルト方向に傾いた場合、計測した移動距離Ｔには誤差が発生することになる。そこで、以下で説明するように、移動距離算出部５３は、移動面Ｇに対して傾いた状態で算出された移動距離を、移動面Ｇ上での移動距離となるように補正する。
【００４９】
ここで、加速度センサ２０が計測した加速度データには、重力加速度ｇが含まれる。この重力加速度ｇは、垂直下向き（ｙ軸方向下向き）に表れる。また、移動面Ｇに対するチルト方向の傾き量（傾斜角度）をηとし、撮影カメラ２００が左右方向（ｘ軸方向）に移動しないこととする。この場合、左右方向加速度センサ２１が計測した左右方向の加速度は、重力加速度の分解成分ｇ・ｓｉｎηとなる。従って、移動距離算出部５３は、左右方向加速度センサ２１が計測した重力加速度の分解成分ｇ・ｓｉｎηを重力加速度ｇで除算した値から、カメラデータ計測装置１００の傾き量を逆算できる。
【００５０】
そして、図７に示すように、撮影カメラ２００の光軸ＡＸ２が移動面Ｇに対してチルト方向にη傾くと、カメラデータ計測装置１００も移動面Ｇに対してチルト方向にηだけ傾き、センサカメラ３０の光軸ＡＸ１も移動面Ｇの垂線に対してηだけ傾く。つまり、移動面Ｇに対するカメラデータ計測装置１００の傾きは、移動面Ｇの垂線に対するセンサカメラ３０の光軸ＡＸ１の傾きと等しくなる。
【００５１】
以上より、撮影カメラ２００を支持する回転中心からセンサカメラ３０までの長さをＳとすると、移動距離算出部５３は、下記の式（２）を用いて、移動距離Ｔを算出する。
Ｔ＝｛２Ｌ・（１＋Ｓ・ｔａｎη）・ｔａｎ（ξ／２）｝・ｃ／ａ／ｃｏｓη
・・・式（２）
【００５２】
その後、ＣＰＵ５０は、姿勢データ算出部５１が算出した姿勢データと、第１例又は第２例の手法で算出した移動距離とを、カメラデータとして出力する。
この第２例によれば、カメラデータ計測装置１００は、移動面Ｇに対してセンサカメラ３０が傾いた状態で移動面動画像Ｐを撮影した場合でも、その傾きに起因する誤差を補正して、移動距離を高い精度で計測することができる。
【００５３】
なお、第１例，第２例では、撮影カメラ２００が前後方向（ｚ軸方向）に移動することとして説明したが、左右方向（ｘ軸方向）に移動した場合でも移動距離Ｔを算出できる。具体的には、動きベクトルＶが図６で縦方向に向くため、式（１）において、横の画素数ａを縦の画素数ｂに置き換えればよい。
また、第２例では、チルト方向の傾きを補正することとして説明したが、パン方向及びヨー方向の傾きも同様に補正できる。
【００５４】
［カメラデータ計測装置の動作］
図８を参照して、図３のカメラデータ計測装置１００の動作について説明する（適宜図３参照）。
カメラデータ計測装置１００は、ジャイロセンサ１０によって、速度データを計測する（ステップＳ１）。
カメラデータ計測装置１００は、加速度センサ２０によって、加速度データを計測する（ステップＳ２）。
【００５５】
カメラデータ計測装置１００は、姿勢データ算出部５１によって、速度データ及び加速度データから姿勢データを算出する（ステップＳ３）。
カメラデータ計測装置１００は、センサカメラ３０によって、移動面Ｇを撮影する（ステップＳ４）。
【００５６】
カメラデータ計測装置１００は、画像処理部４０によって、センサカメラ３０で撮影された移動面動画像Ｐから動きベクトルＶを検出する（ステップＳ５）。
カメラデータ計測装置１００は、移動距離算出部５３によって、前記した式（１）によって、移動距離を算出する（ステップＳ６）。
カメラデータ計測装置１００は、ＣＰＵ５０によって、姿勢データと、移動距離とを、カメラデータとして出力する（ステップＳ７）。
【００５７】
以上のように、本発明の第１実施形態に係るカメラデータ計測装置１００は、センサカメラ３０が小型軽量で専用の大型装置を必要としないため、機動性に優れ、カメラマンによる手動撮影の場合や、移動面Ｇが平坦でない場合でも、カメラデータを容易に計測することができる。さらに、カメラデータ計測装置１００は、画像全体が同じ動きになる移動面動画像Ｐから動きベクトルＶを検出するため、高度で複雑な画像処理を行う必要がなく、高い精度でカメラデータを計測することができる。
【００５８】
そして、このカメラデータを用いれば、撮影映像にＣＧや他の映像を合成する、撮影映像の一部に追随して映像効果を加える等の映像加工処理が可能になり、映像表現の幅を拡大することができる。これによって、カメラデータ計測装置１００のユーザは、映画のような大スペクタクルな映像をテレビ番組として容易に制作できるようになり、迫力があって分かり易い映像を視聴者に提供することができる。
【００５９】
さらに、個人情報保護の観点からニュース番組等において、映像の一部にぼかしを加えて人物等の判別を困難にする映像加工処理を施す機会も増加している。このような場合、カメラデータ計測装置１００のユーザは、その映像加工処理を効率的に行うことができる。
【００６０】
（第２実施形態）
［カメラデータ計測装置の構成］
図９，図１０を参照して、本発明の第２実施形態に係るカメラデータ計測装置１００Ｂの構成について、第１実施形態と異なる点を説明する。
カメラデータ計測装置１００Ｂは、センサカメラ３０の傾きを補正する代わりに、センサカメラ３０を移動面Ｇに正対させる点が第１実施形態と異なる。
【００６１】
図９に示すように、カメラデータ計測装置１００Ｂは、ジャイロセンサ１０と、加速度センサ２０と、センサカメラ３０と、画像処理部４０と、ＣＰＵ５０Ｂと、駆動モータ（駆動手段）６１と、第１プーリ６２と、ベルト６３と、第２プーリ６４と、保持部材６５と、軸受６６とを備える。
【００６２】
駆動モータ６１は、例えば、モータシャフト（不図示）を有する一般的な回転モータである。この駆動モータ６１は、筐体９１の内壁中央部に配置され、モータシャフトの先端に第１プーリ６２が固定されている。また、第１プーリ６２は、後記する第２プーリ６４と並んでおり、ベルト６３によって第２プーリ６４と接続されている。また、第２プーリ６４は、センサカメラ３０と保持部材６５との間に配置され、中心軸を挿通する支持シャフト（不図示）に固定される。
【００６３】
保持部材６５は、互いに対向するように筐体９１の内壁に２個配置される。また、保持部材６５は、それぞれ、同一軸上に軸受６６が形成される。また、軸受６６は、センサカメラ３０から保持部材６５に向けて延長された支持シャフトの先端が挿入される。このようにして、センサカメラ３０は、軸受６６を介して、チルト方向に回転可能に支持される。
【００６４】
そして、駆動モータ６１は、後記するモータ制御部５５からの制御信号に基づいて、センサカメラ３０をチルト方向に駆動する。具体的には、駆動モータ６１は、制御信号が入力されると、この制御信号の駆動量だけ、第１プーリ６２を回転させる。すると、第１プーリ６２の回転運動がベルト６３を介して第２プーリ６４に伝達され、第２プーリ６４に伝達される。そして、第２プーリ６４の回転に伴って、センサカメラ３０は、その光軸ＡＸ１が移動面Ｇに対して垂直となるように、チルト方向に駆動される。
【００６５】
図１０に示すように、ＣＰＵ５０は、姿勢データ算出部５１と、移動距離算出部５３と、モータ制御部（駆動手段制御部）５５とを備える。
モータ制御部５５は、センサカメラ３０の光軸ＡＸ１が移動面Ｇに対して垂直となるように駆動モータ６１の向きを制御するものである。このモータ制御部５５は、前記した第２例と同様、加速度センサ２０で計測された加速度データから、移動面Ｇの垂線に対するセンサカメラ３０の光軸ＡＸ１の傾き量を求める。そして、モータ制御部５５は、この傾き量から、センサカメラ３０の光軸ＡＸ１を移動面Ｇに対して垂直に向けるために必要な駆動モータ６１の駆動量を算出する。例えば、モータ制御部５５は、センサカメラ３０の傾き量ごとに、駆動モータ６１の駆動量を対応付けた駆動量テーブルを参照して、この駆動量を求めることができる。そして、モータ制御部５５は、この駆動量を示す制御信号を生成して駆動モータ６１に出力する。
【００６６】
以上のように、本発明の第２実施形態に係るカメラデータ計測装置１００Ｂは、センサカメラ３０が、常に、垂直方向から移動面Ｇを撮影することになる。このため、カメラデータ計測装置１００Ｂは、センサカメラ３０の傾きに起因する誤差を補正する必要がなく、カメラデータを高い精度で素早く計測することができる。
【００６７】
なお、第２実施形態では、撮影カメラ２００をヨー方向に故意に回転させて撮影することが少ないため、ヨー方向の傾きに起因する誤差を考慮していない。しかし、本発明は、チルト方向と同様の手法により、ヨー方向の傾きに起因する誤差を補正することができる。
【００６８】
なお、第２実施形態では、図９のベルト駆動機構を一例として説明したが、本発明は、これに限定されない。例えば、本発明は、ラック＆ピニオン、カム機構、ダイレクトドライブ等の駆動機構を適用することもできる。
【００６９】
なお、第２実施形態では、駆動手段として、回転モータ（駆動モータ６１）を説明したが、本発明は、これに限定されない。例えば、本発明は、ボイスコイルモータ、圧電素子等の駆動手段を適用することもできる。
【００７０】
なお、第２実施形態では、カメラデータ計測装置１００Ｂの動作が、センサカメラ３０の光軸ＡＸ１を移動面Ｇに対して垂直に向けるように制御する以外、図８と同様のため、詳細な説明を省略した。
また、以後の実施形態においても、第２実施形態と同様、動作の説明を省略する。
【００７１】
（第３実施形態）
［カメラデータ計測装置の構成］
図１１〜図１３を参照して、本発明の第３実施形態に係るカメラデータ計測装置１００Ｃの構成について、第１実施形態と異なる点を説明する。
カメラデータ計測装置１００Ｃは、撮影カメラ２００が上下してカメラ高さＬが変化した場合、その変化量を反映させてカメラデータを計測する点が、第１実施形態と異なる。
【００７２】
図１１に示すように、撮影カメラ２００は、その光軸ＡＸ２が移動面Ｇに平行な状態で、変化量ΔＬだけ上方向に移動した場合を考える。このとき、撮影カメラ２００と共に、センサカメラ３０が変化量ΔＬだけ上方向に移動するので、その撮影範囲Ｓｐは広くなる。この場合、カメラデータ計測装置１００Ｃは、前記した式（１）又は式（２）において、“Ｌ”を“（Ｌ＋ΔＬ）”に置き換えて計算することになる。
【００７３】
図１２に示すように、カメラデータ計測装置１００Ｃは、図３のカメラデータ計測装置１００と同一構成の計測部１１０に、センサカメラ３０と同じ高さで移動面Ｇを向くように測距計７０（変化量計測部）を取り付けたものである。
【００７４】
測距計７０は、例えば、センサカメラ３０から移動面Ｇまでの距離（カメラ高さ）を計測するレーザ測距計である。この場合、測距計７０は、カメラ高さＬが、移動距離算出部５３と同じ値で予め設定される。そして、測距計７０は、移動面Ｇにレーザ光Ｌａを照射し、移動面Ｇで反射されるレーザ光Ｌａの位相の変化から、距離の測定を行う。その後、測距計７０は、測定した距離とカメラ高さＬとの差を、変化量ΔＬとして計測部１１０（ＣＰＵ５０Ｃ）に出力する。
【００７５】
なお、図１２では、説明を分かり易くするため、撮影カメラ２００の図示を省略すると共に、レーザ光Ｌａが移動面Ｇに対して斜めに照射されるように図示した。従って、測距計７０は、移動面Ｇに対して垂直にレーザ光Ｌａを照射してもよい。
【００７６】
図１３に示すように、カメラデータ計測装置１００Ｃは、ジャイロセンサ１０と、加速度センサ２０と、センサカメラ３０と、画像処理部４０と、ＣＰＵ５０Ｃと、測距計７０とを備える。
【００７７】
ＣＰＵ５０Ｃは、姿勢データ算出部５１と、移動距離算出部５３Ｃとを備える。ここで、ＣＰＵ５０Ｃは、速度データと、加速度データと、動きベクトルＶとに加え、測距計７０から変化量ΔＬが入力される。
【００７８】
移動距離算出部５３Ｃは、変化量ΔＬをカメラ高さＬに加算した後、前記した第１例又は第２例の手法によって移動距離Ｔを算出するものである。
つまり、撮影カメラ２００の傾きを補正しない場合、移動距離算出部５３Ｃは、式（１）の“Ｌ”を“（Ｌ＋ΔＬ）”に置き換えた下記の式（３）を用いて、移動距離Ｔを算出する。
Ｔ＝｛２（Ｌ＋ΔＬ）・ｔａｎ（ξ／２）｝・ｃ／ａ  ・・・式（３）
【００７９】
また、撮影カメラの傾きを補正する場合、移動距離算出部５３Ｃは、式（２）の“Ｌ”を“（Ｌ＋ΔＬ）”に置き換えた下記の式（４）を用いて、移動距離Ｔを算出する。
Ｔ＝｛２（Ｌ＋ΔＬ）・（１＋Ｓ・ｔａｎη）・ｔａｎ（ξ／２）｝・ｃ／ａ／ｃｏｓη
・・・式（４）
【００８０】
以上のように、本発明の第３実施形態に係るカメラデータ計測装置１００Ｃは、撮影カメラ２００が上下してカメラ高さＬが変化した場合でも、その変化量ΔＬを反映させて、カメラデータを高い精度で計測することができる。
【００８１】
なお、第３実施形態では、撮影カメラ２００が上方向に移動した場合を説明したが、本発明は、下方向の移動にも適用することができる。例えば、撮影カメラ２００が下方向に変化量ΔＬだけ移動すると、その撮影範囲Ｓｐは狭くなる。この場合、移動距離算出部５３Ｃは、カメラ高さＬから変化量ΔＬを減算した後、前記した第１例又は第２例の手法によって移動距離を算出する。つまり、移動距離算出部５３Ｃは、式（１）又は式（２）の“Ｌ”を“（Ｌ−ΔＬ）”に置き換えて、移動距離を算出する。
【００８２】
なお、第３実施形態では、測距計７０をレーザ測距計として説明したが、本発明は、これに限定されない。例えば、本発明は、レンジファインダや超音波測距計を測距計７０として利用することもできる。
【００８３】
なお、第３実施形態では、変化量計測部として測距計７０を説明したが、本発明は、これに限定されない。例えば、本発明は、加速度センサ２０を変化量計測部として、加速度データで変化量ΔＬを計測することもできる。
【００８４】
（第４実施形態）
［カメラデータ計測装置の構成］
図１４を参照して、本発明の第４実施形態に係るカメラデータ計測装置１００Ｄの構成について、第１実施形態と異なる点を説明する。
【００８５】
カメラデータは、主に、撮影映像の合成に利用されるものである。このため、撮影映像を構成する１枚１枚のフレーム画像ごとに、カメラデータが必要となる。その一方、ジャイロセンサ１０及び加速度センサ２０は、撮影映像の合成を意識したものでなく、速度データ及び加速度データの計測タイミングが、各フレーム画像に同期していないことが多い。そこで、カメラデータ計測装置１００Ｄは、映像加工処理を確実に行うため、撮影映像の同期信号（垂直同期信号）ごとに、カメラデータを計測する。
【００８６】
具体的には、カメラデータ計測装置１００Ｄは、図１４に示すように、撮影カメラ２００から同期信号が入力される。そして、ＣＰＵ５０Ｄは、ジャイロセンサ１０からの速度データと、加速度センサ２０からの加速度データとを、同期信号が入力されたタイミングでサンプリングする。そして、ＣＰＵ５０Ｄは、サンプリングした速度データ及び加速度データと、画像処理部４０からの動きベクトルＶとを用いて、同期信号ごとにカメラデータを計測する。
なお、同期信号を用いる以外、カメラデータ計測装置１００Ｄの各手段は、図３と同様のため、詳細な説明を省略する。
【００８７】
以上のように、本発明の第４実施形態に係るカメラデータ計測装置１００Ｄは、計測したカメラデータが各フレーム画像に同期するため、映像加工処理を効率的に行うことができる。
【００８８】
なお、第４実施形態では、同期信号ごとにカメラデータを計測する例で説明したが、本発明は、これに限定されない。例えば、カメラデータ計測装置１００Ｄは、ジャイロセンサ１０及び加速度センサ２０の計測周波数を、撮影映像の同期信号よりも十分に速い周波数とする。そして、カメラデータ計測装置１００Ｄは、この計測周波数でカメラデータを計測し、各フレーム画像の撮影時間に一致するカメラデータ、又は、この撮影時間に最も近いカメラデータを出力してもよい。
【００８９】
（第５実施形態）
［カメラデータ計測装置の構成］
図１５，図１６を参照して、本発明の第５実施形態に係るカメラデータ計測装置１００Ｅの構成について、第１実施形態と異なる点を説明する。
カメラデータ計測装置１００Ｅは、撮影カメラ２００の撮影画角を算出して、カメラデータに付加する点が、第１実施形態と大きく異なる。
【００９０】
図１５に示すように、撮影カメラ２００は、回転リング２２０を回転させることで、撮影画角を変更可能なズームレンズ２１０を備える。この撮影カメラ２００は、回転リング２２０にエンコーダ８０が取り付けられている。
【００９１】
エンコーダ８０は、回転リング２２０のリング回転量を計測するものである。このエンコーダ８０は、ケーブル８２を介して計測部１１０に接続されており、計測したリング回転量を計測部１１０（図１６のＣＰＵ５０Ｅ）に出力する。
【００９２】
図１６に示すように、カメラデータ計測装置１００Ｅは、ジャイロセンサ１０と、加速度センサ２０と、センサカメラ３０と、画像処理部４０と、ＣＰＵ５０Ｅと、エンコーダ８０とを備える。
【００９３】
ＣＰＵ５０Ｅは、姿勢データ算出部５１と、移動距離算出部５３と、画角算出部５７とを備える。ここで、ＣＰＵ５０Ｅは、速度データと、加速度データと、動きベクトルＶとに加え、エンコーダ８０からリング回転量が入力される。
【００９４】
画角算出部５７は、リング回転量と、撮影カメラ２００の撮影画角とを対応付けた撮影画角テーブルが予め設定され、この撮影画角テーブルを参照して、ＣＰＵ５０Ｅに入力されたリング回転量から撮影カメラ２００の撮影画角を算出するものである。言い換えるなら、画角算出部５７は、入力されたリング回転量に対応付けられた撮影カメラ２００の撮影画角を、撮影画角テーブルから読み出すことになる。
【００９５】
その後、ＣＰＵ５０Ｅは、画角算出部５７が算出した撮影画角を、カメラデータに付加して出力する。
以上のように、本発明の第５実施形態に係るカメラデータ計測装置１００Ｅは、移動距離及び姿勢データに加えて、撮影画角もカメラデータとして計測することができる。
【００９６】
なお、第５実施形態において、カメラデータの精度をさらに高くしたい場合、撮影カメラ２００のフォーカスリングにもエンコーダを取り付けて、焦点位置による画角の変化を反映させてもよい。
【００９７】
なお、第５実施形態では、画角算出部５７が撮影画角を算出する例で説明したが、本発明は、これに限定されない。例えば、ズームレンズ内に画角を検出するためのエンコーダが内蔵された撮影カメラの場合、本発明は、デジタルデータとして、ズームレンズのコネクター経由で撮影カメラの画角を取得することもできる。
【００９８】
なお、第２〜５実施形態では、第１実施形態に係るカメラデータ計測装置１００への適用例を説明したが、本発明は、これに限定されない。つまり、第２〜５実施形態の手法は、第１実施形態以外、他の実施形態に係るカメラデータ計測装置に適用することもできる。
【産業上の利用可能性】
【００９９】
本発明は、ＶＦＸ映画等の映画制作や、高度な合成を必要とするドラマ番組、情報番組、迅速なポストプロダクション処理が要求される報道番組等の番組制作に利用することができる。
【０１００】
また、本発明は、６自由度の慣性センサとして幅広い分野で利用することができる。
例えば、自動車等の交通手段の位置を知るため、ＧＰＳ（Global Positioning System）を基本としたナビゲーションステムが活用されている。このＧＰＳでは、交通手段が衛星から遮られる環境下にあるときは測位が不可能になる。これを補うべく、従来の慣性センサで位置計測を行っているが、その精度向上は難しいのが現状である。そこで、本発明は、自動車等の交通手段を計測対象とすれば、その位置計測を高い精度で行うことができる。
この他、本発明は、身体障害者用の車イスや移動ロボットを計測対象として、これらの位置計測にも利用することができる。
【符号の説明】
【０１０１】
１００，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅ  カメラデータ計測装置（移動距離計測装置）
１１０  計測部
１０  ジャイロセンサ
１１  パン方向ジャイロセンサ
１３  チルト方向ジャイロセンサ
１５  ヨー方向ジャイロセンサ
２０  加速度センサ
２１  左右方向加速度センサ
２３  上下方向加速度センサ
２５  前後方向加速度センサ
３０  センサカメラ
４０  画像処理部（動きベクトル検出部）
５０，５０Ｂ，５０Ｃ，５０Ｄ，５０Ｅ  ＣＰＵ
５１  姿勢データ算出部
５３，５３Ｃ  移動距離算出部
５５  モータ制御部（駆動手段制御部）
５７  画角算出部
６１  駆動モータ（駆動手段）
７０  測距計（変化量計測部）
８０  エンコーダ
２００  撮影カメラ（計測対象）
２１０  ズームレンズ
２２０  回転リング
【図１】
0005771117.tif 000002
【図２】
0005771117.tif 000003
【図３】
0005771117.tif 000004
【図４】
0005771117.tif 000005
【図６】
0005771117.tif 000006
【図７】
0005771117.tif 000007
【図８】
0005771117.tif 000008
【図９】
0005771117.tif 000009
【図１０】
0005771117.tif 000010
【図１１】
0005771117.tif 000011
【図１２】
0005771117.tif 000012
【図１３】
0005771117.tif 000013
【図１４】
0005771117.tif 000014
【図１５】
0005771117.tif 000015
【図１６】
0005771117.tif 000016
【図５】
0005771117.tif 000017