(57)【特許請求の範囲】
【請求項１】
複数のライン光を発する光源と、前記複数のライン光を走査する走査手段と、前記走査手段をステップ状に駆動する駆動手段と、前記複数のライン光が照射された被写体を撮像する複数のカメラと、前記複数のカメラの露光タイミングを制御するタイミング制御手段と、撮像された画像から前記被写体に投射されたライン光を検出するライン検出手段と、検出されたライン光の位置から距離を計算する距離計算手段と、計算された距離データを統合する距離データ統合手段と、を具備し、
前記走査手段をステップ状に駆動することで前記ライン光をステップ状に走査する毎に前記複数のカメラで前記被写体を順次時分割撮影することを特徴とするレンジファインダ装置。
【請求項２】
複数のカメラは、各カメラの光軸が基準となる点に集中するように配置されていることを特徴とする請求項１に記載のレンジファインダ装置。
【請求項３】
距離データ統合手段は、距離データについて、各カメラのレンズ中心を原点とする座標系からワールド座標系に変換処理を行った後に、前記距離データを統合することを特徴とする請求項１又は請求項２に記載のレンジファインダ装置。
【請求項４】
ライン検出手段は、被写体の凹凸に起因するオクルージョンを防止するためにライン光の隠れ検出を行い、距離データ統合手段は、前記隠れ検出により検出されたライン光を距離データの統合に用いないことを特徴とする請求項１乃至請求項３のいずれかに記載のレンジファインダ装置。
【請求項５】
ライン光検出手段は、各ライン光について、規定範囲の画像中でしきい値以上の輝度に基づいてライン光の位置を特定することを特徴とする請求項１乃至請求項４のいずれかに記載のレンジファインダ装置。
【請求項６】
ライン光検出手段は、規定範囲の画像中の輝度分布におけるしきい値以上の輝度値の総和を求め、輝度分布において前記しきい値以上の輝度値の累積値が前記輝度値の総和の２分の１を越える点をライン光位置として検出することを特徴とする請求項５に記載のレンジファインダ装置。
【請求項７】
距離計算手段は、基準面に対するライン光の画像上での位置と計測時のライン光の画像上での位置との差から視差を求め、この視差を用いて距離を計算することを特徴とする請求項１乃至請求項６のいずれかに記載のレンジファインダ装置。
【請求項８】
統合された距離データ間の距離を補間計算する補間手段を具備することを特徴とする請求項１乃至請求項７のいずれかに記載のレンジファインダ装置。
【請求項９】
距離データ統合手段で統合された距離データに基づく奥行き画像とテキスチャ画像を併せて撮像することを特徴とする請求項１乃至請求項８のいずれかに記載のレンジファインダ装置。
【請求項１０】
請求項１乃至請求項９のいずれかに記載のレンジファインダ装置と、このレンジファインダ装置により得られた画像データを送信する送信手段と、を具備することを特徴とする画像伝送装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体の３次元形状の計測を行うレンジファインダ装置及びこれにより得られた画像データを伝送する画像伝送装置に関する。
【０００２】
【従来の技術】
投影光から三角測量を用いて観察画像を得る装置としては、例えば、図１５に示すようなものが提案されている。図１５において、光源２０１と、光源２０１の前方に配置され、複数のスリットを有するスリット板２０２と、スリット光２０３が照射される計測物体２０４と、計測物体２０４による投射光の反射光を分割するハーフミラー２０５と、反射光を撮像する２０６ａ，２０６ｂと、投射された画像から３次元座標を求める座標値計算手段２０７とから主に構成されている。以下に上記構成の装置の動作について説明する。
【０００３】
光源２０１からの光は、スリット板２０２を通過することにより複数のスリット光２０３となり、計測物体２０４に投射される。スリット板２０２は、図示しない駆動手段によって移動するようになっている。なお、移動の詳細については後述する。計測物体２０４からの投影光の反射光は、ハーフミラー２０５により２つに分割される。ハーフミラー２０５で分割された計測物体２０４からの反射光は、カメラ２０６ａ，２０６ｂにより撮像される。カメラ２０６ａ，２０６ｂによって撮像された画像からスリット光の投射パタンは、座標値変換手段２０７で検出され、３次元座標値が計算される。
【０００４】
ここで、まず、理解を容易にするために、単一のスリット光による３次元形状計測の原理について説明する。図１６は単一のスリット光による３次元形状計測の原理の説明図である。図１６（ａ）において、光源４０１からの光は、スリット板４０２によってスリット光４０３となり、対象物体４０４に投影される。該スリット光の対象物体からの反射光をカメラ４０５で撮像することにより、図１６（ｂ）に示すスリットパタンが得られる。図１６（ａ），（ｃ）において、カメラ４０５の光学中心を原点Ｏとし、Ｚ軸とスリット光のなす角をφとし、カメラからの水平及び垂直方向の角度をそれぞれθ，ζとすると、計測対象の３次元座標値は以下の式（１）によって計算できる。
【０００５】
【数１】
Ｘ＝Ｚｔａｎθ＝Ｌｔａｎθ／（ｔａｎθ＋ｔａｎφ）
Ｙ＝Ｚｔａｎζ＝ｄｔａｎζ／（ｔａｎθ＋ｔａｎφ）
Ｚ＝ｄ／（ｔａｎθ＋ｔａｎφ）                    …（１）
【０００６】
式（１）において、φはスリットと光源の位置から決まる。また、θ及びζは、画像中の画素の座標値（ｘ，ｙ）、撮像素子の画素数（縦ｎh，横ｎw）及びサイズ（縦Ｈ，横Ｗ）、並びにカメラの光学系の焦点距離Ｆから、以下の式（２）によって計算できる。
【０００７】
【数２】
θ＝ｔａｎ-1（ｘＷ／（ｎwＦ））
ζ＝ｔａｎ-1（ｙＨ／（ｎhＦ））                  …（２）
【０００８】
単一のスリット光により３次元形状計測を行う場合、１回の撮像で得られる３次元座標値は水平方向に１点である。一方、垂直方向には、走査線の数だけ得られる。
【０００９】
次に、複数のスリット光による３次元形状計測の原理を説明する。図１７は複数のスリット光による３次元形状計測の原理の説明図である。図１７（ａ）において、光源２０１からの光がスリット板２０２を通過することによりスリット光となり、そのスリット光が計測物体２０４に照射され、その反射光がカメラ２０６で撮像される。この場合、スリット板２０２を光路に対して垂直方向に移動させる。
【００１０】
複数のスリット光で計測を行う場合には、図１７（ｂ）に示すように、画像上で各スリット光が撮像されるべき範囲（存在範囲）を制限して、それぞれのスリット光を（すなわち光源からの角度別に）判別する。図１７（ａ）では、上記制限は、カメラ２０６から見た角度の範囲を各スリット光について限定することになる。なお、各スリット光についての３次元座標値の計算は、単一のスリット光の場合と同一である。
【００１１】
複数のスリットを用いた３次元形状計測では、１回の撮像において水平方向に得られる３次元座標値はスリット数と同じになる。したがって、水平方向に３次元座標値を多数計測するためには、スリットを駆動してスリット光を偏向し、計測を行う。
【００１２】
図１８は、スリット板の駆動と２台のカメラによる撮像の様子を示す説明図である。図１８（ａ）において、光源２０１からの光がスリット板２０２を経てスリット光となり、計測物体２０４で反射して、ハーフミラー２０５で分割され、カメラ２０６ａ，２０６ｂで撮像される。この場合、図１８（ｂ）及び（ｃ）にそれぞれ示すように、カメラ２０６ａではスリット光３Ａ，３Ｂ，３Ｃが撮像され、カメラ２０６ｂでは、スリット光３ａ，３ｂ，３ｃが撮像される。
【００１３】
図１８では、説明を簡単にするためにスリット数を３としている。まず、図示しない駆動部によりスリット板２０２を駆動することにより、スリット光を走査する。カメラ２０６ａは、スリット光が計測物体のＡ，Ｂ，Ｃの点に当たっている時に反射光を撮像し、カメラ２０６ｂはスリット光が計測物体のａ，ｂ，ｃの点に当たっている時に反射光を撮像する。図１８（ｂ），（ｃ）において、各スリット像の存在範囲は、スリット光の移動（光源に対する角度の変化量）に応じて移動させる。なお、存在範囲の移動量は、スリットの光源に対する角度の変化量とほぼ同一の角度に相当する画素数とすればよい。
【００１４】
図１９は、スリットの駆動とカメラ６ａ、カメラ６ｂによる撮像のタイミング図である。スリットの駆動は、１／１２０秒ずつカメラ２０６ａ用の位置とカメラ２０６ｂ用の位置となるように行う。カメラ２０６ａ、２０６ｂは、それぞれスリット板が対応する位置にある時にスリット像を撮像する。撮像時間の制御は電子シャッタを用いることにより制御できる。
【００１５】
図１５ににおける座標値計算部２０７は、カメラ２０６ａ、２０６ｂが撮像した画像からスリット像を検出し、検出した画素における３次元座標値を計算する。スリット像の検出は、各スリット光の存在範囲内で、各ラインにおけるピーク画素を検出して行う。スリット像の３次元座標は、上記式（１），式（２）を計算して得ることができる。式（１），式（２）の計算は、３角関数の値を予めテーブルとして記憶しておくことにより高速化できる。
【００１６】
次いで、座標値計算部２０７は、カメラ２０６ａ，２０６ｂについてそれぞれ計算した３次元座標値を統合し、最終的な３次元形状の計測結果を得る。なお、スリット像の検出、３次元座標値の計算、及び統合の各処理は、大小比較やテーブル参照等の簡単な演算で実現でき、ビデオレートでの計算が十分に可能である。
【００１７】
また、ここでは説明を簡単にするために、スリット数３、カメラ２台での構成について説明したが、スリット数とカメラ台数を増やすことにより水平方向の解像度（計測点数）を増加させることができる。例えば、スリット数を１０、カメラ台数８とし、ＮＴＳＣ用ＣＣＤ素子を用いたカメラで撮像すると、水平８０点の計測を奥行き７２階調で行うことができる。
【００１８】
ここで、奥行きの階調は、存在範囲の水平画素数によって決まる。例えば、ＣＣＤの水平画素数を７２０とすると、存在範囲の水平画素数は７２０／１０＝７２となる。図２０は、カメラ台数を８としたときのスリット駆動と撮像のタイミング図である。
【００１９】
このように、スリット光による３次元形状計測を、奥行きの計測可能範囲を限定することにより複数のスリット光について同時に行い、また、スリット光を走査してこれを複数のカメラで時分割で撮像することにより、実時間で解像度の高い３次元距離計測を行うことができる。
【００２０】
【発明が解決しようとする課題】
しかしながら、上記構成を有する装置では、ハーフミラーによって光を複数のカメラに分配しているため、使用するカメラ台数が多くなると、各カメラについての光量が減少してしまう。その結果、水平方向の計測点数を増加させるために、使用するカメラ台数を増やすと、ライン光の検出できる距離（すなわち、計測可能な距離）が減少してしまうという問題がある。
【００２１】
本発明はかかる点に鑑みてなされたものであり、計測可能距離を減少させずに水平方向の計測点数を増加させることができ、ビデオレートで動作するレンジファインダ装置及びそれを用いた画像伝送装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
上記課題を解決するために、本発明は以下の手段を講じた。
請求項１に記載のレンジファインダ装置に関する発明は、複数のライン光を発する光源と、前記複数のライン光を走査する走査手段と、前記走査手段をステップ状に駆動する駆動手段と、前記複数のライン光が照射された被写体を撮像する複数のカメラと、前記複数のカメラの露光タイミングを制御するタイミング制御手段と、撮像された画像から前記被写体に投射されたライン光を検出するライン検出手段と、検出されたライン光の位置から距離を計算する距離計算手段と、計算された距離データを統合する距離データ統合手段と、を具備し、前記走査手段をステップ状に駆動することで前記ライン光をステップ状に走査する毎に前記複数のカメラで前記被写体を順次時分割撮影するものである。
【００２３】
この構成によれば、複数台のカメラを用いて複数のライン光について距離計測を行うので、計測可能距離を減少させずに水平方向の計測点数を増加させた距離計測を行うことができ、ビデオレートで動作することができる。
【００２４】
請求項２に記載の発明は、請求項１に記載のレンジファインダ装置において、複数のカメラが、各カメラの光軸が基準となる点に集中するように配置されている構成を採る。
【００２５】
この構成によれば、カメラの光軸が一定距離の基準点（輻輳点）で交差するので、輻輳点付近で密度の高い距離計測が可能となる。
【００２６】
請求項３に記載の発明は、請求項１又は請求項２に記載のレンジファインダ装置において、距離データ統合手段が、距離データについて、各カメラのレンズ中心を原点とする座標系からワールド座標系に変換処理を行った後に、前記距離データを統合する構成を採る。これにより、この構成によれば、各カメラの視点のずれを修正することができる。
【００２７】
請求項４に記載の発明は、請求項１乃至請求項３のいずれかに記載のレンジファインダ装置において、ライン検出手段が、被写体の凹凸に起因するオクルージョンを防止するためにライン光の隠れ検出を行い、距離データ統合手段は、前記隠れ検出により検出されたライン光を距離データの統合に用いない構成を採る。
【００２８】
この構成によれば、被写体の凹凸に起因するオクルージョンを除去した状態で、視点の異なるカメラによる距離データを統合することができる。
【００２９】
請求項５に記載の発明は、請求項１乃至請求項４のいずれかに記載のレンジファインダ装置において、ライン光検出手段が、各ライン光について、規定範囲の画像中でしきい値以上の輝度に基づいてライン光の位置を特定する構成を採る。
【００３０】
請求項５に記載のレンジファインダ装置においては、請求項６に記載の発明に示すように、ライン光検出手段が、規定範囲の画像中の輝度分布におけるしきい値以上の輝度値の総和を求め、輝度分布において前記しきい値以上の輝度値の累積値が前記輝度値の総和の２分の１を越える点をライン光位置として検出することが好ましい。
【００３１】
上記のライン光検出により、ノイズやライン光の白飛びの影響を受けずに、安定してライン光位置を精度良く検出することができる。
【００３２】
請求項７に記載の発明は、請求項１乃至請求項６のいずれかに記載のレンジファインダ装置において、距離計算手段が、基準面に対するライン光の画像上での位置と計測時のライン光の画像上での位置との差から視差を求め、この視差を用いて距離を計算する構成を採る。
【００３３】
この構成によれば、図形的な相似関係により視差を距離差に変換して距離を計算する、すなわち基準面走査時のライン光位置との間の水平視差から被写体の距離を計算するので、より精度の良い距離計算を行うことができる。
【００３４】
請求項８に記載の発明は、請求項１乃至請求項７のいずれかに記載のレンジファインダ装置において、統合された距離データ間の距離を補間計算する補間手段を具備する構成を採る。これにより、距離データをより密に計測することが可能となる。
【００３５】
請求項１乃至請求項８のいずれかに記載のレンジファインダ装置においては、請求項９に記載の発明のように、距離データ統合手段で統合された距離データに基づく奥行き画像とテキスチャ画像を併せて撮像することが好ましい。
【００３６】
また、請求項１０に記載の画像伝送装置に関する発明は、請求項１乃至請求項９のいずれかに記載のレンジファインダ装置と、このレンジファインダ装置により得られた画像データを送信する送信手段と、を具備する構成を採る。これにより、精度の良いビデオレートの奥行き画像及びカラー画像を伝送することができる。
【００３９】
これらの構成によれば、送信側で各圧縮符号化部の符号化パラメータをそれぞれ個別に設定して、画像内の所望の領域や、予め設定した距離の領域に優先的に情報量を割り当てる。これにより、伝送路の状況に応じて送信側で画質を制御したり、画像内で重要な領域の画質を良くする等の制御をすることが可能となる。
【００４０】
【発明の実施の形態】
本発明の骨子は、複数のライン光を用い、光軸が基準点に集中した複数のカメラでライン光をタイミングをずらしながら撮像することにより、計測可能距離を減少させずに水平方向の計測点数を増加させるものである。
【００４１】
以下、本発明の実施の形態について添付図面を参照して詳細に説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るレンジファインダ装置の構成を示す概略図である。このレンジファインダ装置は、複数本のライン光を発生するレーザー光源１と、レーザー光源１を駆動するレーザー駆動部２と、レーザー光源１からのレーザー光を光学系（図示せず）でライン化したライン光を被写体１３に対して走査する回転ミラー３と、この回転ミラー３の向きを変える回転ミラー駆動部４と、ライン光を投射した被写体を撮影する赤外カメラ５ａ〜５ｈと、テキスチャ画像を撮影するカラーカメラ６と、撮影された画像からライン光を検出するライン光検出部７ａ〜７ｈと、検出されたライン光から距離を算出する距離計算部８ａ〜８ｈと、計算された距離を統合する距離統合部９と、レーザー駆動や回転ミラー駆動のタイミングをとるための同期制御部１０と、全体の処理を制御する制御部１１と、カラーカメラの撮影のタイミングをずらす遅延部１２と、から主に構成されている。
【００４２】
次に、上記構成を有するレンジファインダ装置の動作について説明する。
レーザー光源１から出射されたレーザ光は、光学系を介して複数本のライン光（垂直方向のライン光）となる。このライン光は、回転ミラー３により反射され被写体に投射される。レーザー駆動部２は、回転ミラー３の駆動に同期してレーザー光源１の発光をオン・オフする。すなわち、垂直帰線期間中はレーザーの発光を停止し、それ以外の期間にレーザーを発光させる。図２は、同期制御部１０からの垂直同期信号とレーザー発光との間の関係を示すタイミング図である。図２において（ａ）は垂直同期信号を示し、（ｂ）はレーザー発光のオン・オフを制御するレーザー駆動信号を示す。
【００４３】
回転ミラー３は、ステップ状に駆動されることにより回転して、ライン光を走査して被写体１３に投射する。その回転角の範囲は、ライン間角度を越えない範囲に設定する（すなわち、各ライン光の走査範囲は互いに重ならない）。図３は、同期制御部１０からの同期信号、回転ミラーの駆動、及び各カメラにおける撮像の間のタイミングの関係を示すタイミング図である。図３において、（ａ）は同期制御部１０からの同期信号を示し、（ｂ）は回転ミラーの駆動信号を示し、（ｃ）は各カメラにおける撮像タイミング（電子シャッタによる露光タイミング）を示す。本実施の形態では、被写体１３に投射したライン光を８台のカメラ５ａ〜５ｈを用いて撮像する。各カメラ５ａ〜５ｈよる撮像は、回転ミラー３をステップ状に駆動する毎に行う。
【００４４】
図４及び図５は、本実施の形態におけるカメラ５ａ〜５ｈの配置を示す図である。本実施の形態では、４台のカメラを縦に配置したものを２組用い、光源を挟んで左右に配置する。図４は、縦に配置したカメラ５ａ〜５ｄ及び５ｅ〜５ｈの光軸が一定の距離の基準点で交差している様子を示す図である。また、図５は、左右に配置したカメラ群５ａ〜５ｄ及び５ｅ〜５ｈの光軸が一定距離の基準点で交差する様子を示す図である。本実施の形態では、８台のカメラを、それらの光軸が一定距離の基準点（輻輳点）で交差するように配置にすることにより、輻輳点付近で密度の高い距離計測が可能となる。
【００４５】
ライン光検出部７ａ〜７ｈは、カメラ５ａ〜５ｈにより撮影された画像からライン光を検出する。ライン光の検出について以下に説明する。図６は、複数のライン光による距離計測の原理を説明するための図である。図６（ａ）において、光源１からのレーザー光がライン化され、回転ミラー３で反射して、被写体１３に投射され、その画像をカメラ５で撮像する。複数のライン光で計測を行う場合には、図６（ｂ）に示すように、画像上において各ライン光が撮像されるべき範囲（存在範囲）を制限して、それぞれのライン光を判別する。上記制限は、図６（ａ）では、カメラ５から見た角度の範囲を各ライン光について限定することになる。
【００４６】
図７は、ライン光検出を説明するための図である。本実施の形態においては、ライン光を検出する場合、輝度を用いて行う。図７（ａ）における着目水平ラインａｂ間での輝度分布は、レーザーライン光が空間的に拡がりを持つため、図７（ｂ）のようになる。各ライン光位置Ａ，Ｂ，Ｃは、理想的には輝度最大の画素として検出できる。しかしながら、実際には、ノイズの影響を受けて他の画素において輝度が最大になったり、また、輝度値が大きすぎる場合には、撮像時に白飛びを起こし、複数の画素が最大輝度をとることがある。
【００４７】
本実施の形態では、そのような場合にも、ライン光の位置を安定して検出するために、まず、各ライン光についての存在範囲内でしきい値以上の輝度について水平方向に累積輝度を計算する。そして、該存在範囲内で累積輝度が存在範囲内の最大値（すなわち、存在範囲右端における累積輝度）の所定値、例えば２分の１の値を超える画素をライン光の位置として検出する。上記のライン光検出により、ノイズやライン光の白飛びの影響を受けずに、安定してライン光位置を精度良く検出することができる。
【００４８】
ライン光検出部７ａ〜７ｈは、検出したライン光の水平位置及び垂直位置（画像内のｘ座標とｙ座標）と、ライン光番号とを検出結果として出力する。ライン光番号は、ｉ番目のカメラのｊ番目のライン光について、以下の式（３）に示す値とする。
【００４９】
【数３】
ｎ・ｉ＋ｊ（カメラ８台使用時  ｎ＝８）          …（３）
ここで、カメラの番号ｉを露光タイミングの早い方から順番に増加させ、ライン光の番号ｊを画像内で左から順に付け、回転ミラー３によるライン光の走査を左から右にするようにすると、計測範囲内では、左から順番にライン光の番号が増加することになる。
【００５０】
次に、距離計算部８ａ〜８ｈにおける距離計算について説明する。距離計算は、ライン光として検出された画素について、各カメラのレンズ中心を原点としたカメラ座標系を用いて行う。図８は、カメラ座標系における距離計測を説明するための図である。図８において、参照符号１はレーザー光源を示し、３は回転ミラーを示し、５は赤外カメラを示す。カメラ座標系は、カメラ５のレンズ中心を原点とし、カメラの光軸をＺｎ軸とし、水平面内でＺｎ軸に垂直な方向にＸｎ軸をとり、ＸｎＺｎ平面に垂直にＹｎ軸をとる。そして、ライン光検出部において、ライン光として検出された画素のカメラから見た方向ベクトルをｐnベクトルとすると、図９に示す角度η，ξを用いて以下の式（４）により、
【００５１】
【数４】
0003732643.tif 000002
となる。
【００５２】
一方、ライン光については、回転ミラー３の中心のカメラ座標系での位置ベクトルをＤｎベクトル、ライン光のカメラ座標系での放線ベクトルをｎｎベクトルとすると、ｐｎベクトルの延長がライン光と交差する点が計測点（位置ベクトルＰ）となる。よって、以下の式（５）〜式（８）により、計測点の３次元座標値が計算される。
【００５３】
【数５】
0003732643.tif 000003
【数６】
0003732643.tif 000004
【数７】
0003732643.tif 000005
【数８】
0003732643.tif 000006
【００５４】
式（６）〜式（８）において、Ｄｎベクトルは、ワールド座標系における回転ミラー中心の位置ベクトルから座標変換（各カメラによる距離データからの仮想的なカメラ位置における距離データへの視点変換処理）によって得られる。また、ｎｎベクトルの値は、ワールド座標系におけるライン光の放線ベクトルから回転変換によって得られる。なお、ワールド座標系は、カラーカメラ６のレンズ中心を原点とし、光軸をＺ軸とし、水平垂直面内にＸ軸、Ｙ軸をとる。カメラ座標系とワールド座標系の関係は、ワールド座標系におけるカメラのレンズ中心の座標値を（ｔｘ，ｔｙ，ｔｚ）とすると、以下の式（９）として表される。
【００５５】
【数９】
0003732643.tif 000007
ここで、Ｒは回転変換行列であり、その要素の値は、各カメラの姿勢によって決まる。
【００５６】
距離統合部９は、距離計算部８ａ〜８ｈにおいて各カメラについて計算した３次元座標値を視点変換し、カラーカメラ６の視点における距離データに統合する。以下に距離統合部９の動作について説明する。
【００５７】
距離計算部８ａ〜８ｈによる３次元座標値は、カラーカメラ６に対する各カメラの姿勢と位置とによって決まる回転変換マトリックスＲと位置ベクトルとを用いて、式（９）によりワールド座標に変換される。そして、以下の式（１０）によりカラーカメラ６の視点における奥行き画像にマッピングされる。
【００５８】
【数１０】
0003732643.tif 000008
式（１０）において、Ａ，ＢはＣＣＤの画素サイズ、カメラのフォーカス、及びズーム倍率によって決まる定数である。上記マッピング時には、視点の異なる赤外カメラによる距離データを統合するため、隠れ検出を行う必要がある。
【００５９】
図１０は、隠れ検出を説明するための図である。図１０において、参照符号１はレーザー光源を示し、３は回転ミラーを示し、６はカラーカメラを示し、５Ｌはカラーカメラ６より左に配置された赤外カメラを示し、５Ｒはカラーカメラ６よりも右に配置された赤外カメラを示す。前述のように、ライン光検出部７によって、回転ミラー３から被写体１３に走査されるライン光には、左から昇順に番号が付けられる。被写体１３の凹凸と、回転ミラー３、赤外カメラ５、及びカラーカメラ６との間の位置関係により、オクルージョンが生じる。
【００６０】
カラーカメラの視点でオクルージョンが生じるところでは、ライン光の番号が水平方向左から右に単調に増加せず、番号の逆転が起こる（式（１０）によるマッピングによって、図１０のｉ＋１番目のライン光がｉ番目のライン光よりも左にマッピングされる）。したがって、マッピングによってライン光の番号が逆転するデータ（図１０のｉ＋１番目のライン光のデータ）を統合時に削除することにより、隠れ検出をする。これにより、オクルージョンが除去された状態で距離データを統合することができ、良好にカラーカメラ６の視点における奥行き画像にマッピングすることができる。
【００６１】
距離統合部９による距離データの統合により、各水平ライン毎に数十点の距離データが得られる。補間部１４は、距離統合部９によって統合されたライン光の距離データを補間し、奥行き画像内の全画素について距離データを決定し出力する。距離データを補間することにより、結果として距離データを密に計測することが可能となる。
【００６２】
遅延部１２は、カラーカメラ６によって撮影されたカラー画像（テキスチャ画像）を遅延させ、補間部１４の奥行き画像とを同期させてカラー画像を出力する。また、制御部１１は、計測の開始、終了、ライン光検出時のしきい値設定等の装置全体の制御を行う。
【００６３】
以上のように本実施の形態によれば、ハーフミラー等を用いずに複数台のカメラを用いて複数のライン光について距離計測を行うことができるため、計測可能距離を減少させずに水平方向の計測点数を増加させた距離計測が行える。また、視点の等しいカラー画像と奥行き画像を同時に得ることができる。
【００６４】
（第２の実施の形態）
距離計算部８ａ〜８ｈにおける距離計算は、式（８）に示すベクトルの内積を用いる方式に限らず、図形的な関係を用いてもよい。本実施の形態においては、図形的な関係を用いた距離計算を用いる場合について説明する。なお、レーザー光を被写体１３に投射してカメラで撮像し、ライン光を検出するまでの処理は、第１の実施の形態と同様であるので、その詳細な説明を省略する。したがって、本実施の形態に係るレンジファインダ装置における距離計算部８以外の構成は、第１の実施の形態に係るレンジファインダ装置と同一であり、距離計算部８の動作のみが異なる。
【００６５】
図１１は、本発明の第２の実施の形態における距離計算を説明するための図である。図１１（ａ）において、レーザー光源１から出射された光を複数のライン光とし、回転ミラー３により光路を走査して被写体１３に照射する。被写体１３で反射された光は、赤外カメラ５で撮像される。図中２０は、基準距離に置かれた基準面を示す。
【００６６】
本実施の形態における距離計算では、予め距離が判っている基準面２０についてライン光を投射し、これを赤外カメラ５により撮影する。基準面２０を取り除いた後、被写体１３についてライン光を走査し、基準面走査時のライン光位置との間の水平視差から被写体の距離を計算する。
【００６７】
図１１（ｂ）は、赤外カメラ５によって撮像されるライン光の位置関係を説明する図である。図において、基準面２０に投射されたライン光は実線の直線であり、被写体に投射されたライン光は実線の曲線であり、破線で区切られた領域はライン光の存在範囲を示す。
【００６８】
図１２は、本発明の第２の実施の形態における距離計測部８による距離計算の方法を説明するための図である。図１２において、５は赤外カメラを示し、Ｘｎ，Ｚｎはカメラ座標系の座標軸であり、Ｌｎは基準距離であり、ｐｎは計測点をカメラ５から見た時の単位方向ベクトルであり、ＤＸｎはＸｎ軸とライン光の交点とレンズ中心との間の距離であり、ｄｘｎは基準距離時のライン光位置及び計測時のライン光位置のＣＣＤ上での視差であり、ｄＸｎは前記視差ｄｘｎの実寸であり、ｄＬｎは視差ｄＸｎに相当する距離差であり、ｆは赤外カメラ５の焦点距離である。
【００６９】
図１２において、ライン光は鉛直面であり、Ｘｎ軸は水平であるとする。また、Ｚｎ軸は図４に示すように水平面に対して傾いている。この図１２における図形的な関係から、以下の式（１１）〜式（１３）により、基準距離との距離差ｄＬｎを計算することができる。そして、Ｌｎ−ｄＬｎと単位方向ベクトルｐｎの定数倍のＺｎ成分とが等しいという条件から、カメラ座標系での３次元座標を得ることができる。
【００７０】
【数１１】
0003732643.tif 000009
【数１２】
0003732643.tif 000010
【数１３】
0003732643.tif 000011
【００７１】
本実施の形態における距離計測では、ライン光の作る面の法線ベクトルを用いず、図形的な相似関係により視差を距離差に変換して距離を計算するため、第１の実施の形態における距離計算よりも精度のよい距離計算を行うことができる。その理由は、第１の実施の形態における距離計算では、ライン光が作る面と単位方向ベクトルｐｎ（カメラ５のレンズ中心から見た画素の方向ベクトル）との交点を求めるために、ライン光が作る面の方向に関する誤差（法線ベクトルｎｎの誤差）が計測値に影響するのに対し、本実施の形態では、基準距離に被写体がある時とのライン光位置の差から距離差を計算するので、誤差の影響が少なくなるためである。
【００７２】
（第３の実施の形態）
図１３は、本発明のレンジファインダ装置を備えた画像伝送装置の送信部の構成を示す概略図である。この画像伝送装置は、カラー画像と奥行き画像（距離データに基づく画像）を同時に撮像するレンジファインダ装置１５と、奥行き画像を複数の領域に分割する画像切換え部１６と、複数の領域に分割された画像をそれぞれ圧縮符号化する圧縮符号化部１７ａ〜１７ｃと、から主に構成されている。なお、この画像伝送装置には、符号化されたデータを送信する送信手段（図示せず）が備えられている。
【００７３】
上記構成を有する画像伝送装置においては、レンジファインダ装置１５は、視点の等しいカラー画像と奥行き画像とをビデオレートで撮像する。画像切換え部１６は、奥行き画像を複数の領域に分割する。図１４は、奥行き画像の分割を説明するための図である。距離のしきい値を設定することにより、距離の異なる前景１８ａ及び前景１８ｂと背景１９とを分離することができる。分離した結果は、２値画像（例えば、符号化すべき画素を１、それ以外の画素を０）としてそれぞれの圧縮符号化部１７ａ〜１７ｃに出力される。
【００７４】
圧縮符号化部１７ａ〜１７ｃは、画像切換え部１６の出力とカラー画像とから、それぞれの圧縮符号化部で処理すべき画素のデータを圧縮符号化する。各圧縮符号化部の符号化パラメータをそれぞれ設定することにより、画像内の所望の領域や、予め設定した距離の領域に優先的に情報量を割り当てることが可能となる。その結果、伝送路の状況に応じて送信側で画質を制御したり、画像内で重要な領域の画質を良くする等の制御をすることが可能となる。
【００７５】
また、本実施の形態の受信側（図示していない）では、３つの復号化伸張部の出力を重畳することによりカラー画像を再構成する。
【００７６】
このように、本実施の形態に係る画像伝送装置よれば、奥行き画像の領域分割結果からカラー画像を分割し、分割した画像をそれぞれ圧縮符号化して伝送する際に、送信側で符号化パラメータをそれぞれの画像について設定することにより、画像内の所望の領域や、予め設定した距離の領域に優先的に情報量を割り当てることが可能となる。その結果、伝送路の状況に応じて送信側で画質を制御したり、画像内で重要な領域の画質を良くする等の制御をすることが可能となる。
【００７７】
本発明は上記実施の形態に限定されることはない。例えば、上記実施の形態においては、レーザー光を用いた場合について説明しているが、本発明においては、レーザー光以外の光を用いても良い。また、使用する光は、テキスチャ画像としてカラー画像を同時に撮影するので、カラー画像上にライン光が現れないように、可視光の波長領域を外れる光であることが好ましい。
【００７８】
また、上記実施形態においては、カメラが８台である場合について説明しているが、本発明においては、カメラ数は８台に限定せず、その他の台数である場合にも適用することができる。
【００７９】
【発明の効果】
以上説明したように、本発明のレンジファインダ装置によれば、ハーフミラー等を用いずに複数台のカメラを用いて距離計測を行うことができるため、計測可能距離を減少させずに水平方向の計測点数を増加させた距離計測が行える。また、視点の等しいカラー画像と奥行き画像を同時に得ることができる。
【００８０】
また、本発明の画像伝送装置によれば、奥行き画像の領域分割結果からカラー画像を分割し、分割した画像をそれぞれ圧縮符号化して伝送する際に、送信側で符号化パラメータをそれぞれの画像について設定することにより、画像内の所望の領域や、予め設定した距離の領域に優先的に情報量を割り当てることが可能となる。その結果、伝送路の状況に応じて送信側で画質を制御したり、画像内で重要な領域の画質を良くする等の制御をすることができ、その実用的効果は大きい。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るレンジファインダ装置の構成を示す概略図
【図２】上記実施の形態における同期制御部からの垂直同期信号とレーザー発光との間の関係を示すタイミング図
【図３】上記実施の形態における同期制御部からの同期信号、回転ミラーの駆動、及び各カメラにおける撮像の間のタイミングの関係を示すタイミング図
【図４】上記実施の形態におけるカメラの配置を示す図
【図５】上記実施の形態におけるカメラの配置を示す図
【図６】上記実施の形態における複数のライン光による距離計測の原理を説明するための図
【図７】上記実施の形態におけるライン光検出を説明するための図
【図８】上記実施の形態におけるカメラ座標系の距離計測を説明するための図
【図９】図８に示す座標系において角度η，ξを説明するための図
【図１０】上記実施の形態における隠れ検出を説明するための図
【図１１】本発明の第２の実施の形態における距離計算を説明するための図
【図１２】上記実施の形態における距離計測部８による距離計算の方法を説明するための図
【図１３】本発明の第３の実施の形態に係る画像伝送装置の送信部の構成を示す概略図
【図１４】上記実施の形態における奥行き画像の分割を説明するための図
【図１５】従来の観察画像を得る装置を示す概略図
【図１６】単一のスリット光による３次元形状計測の原理の説明図
【図１７】複数のスリット光による３次元形状計測の原理の説明図
【図１８】スリット板の駆動と２台のカメラによる撮像の様子を示す説明図
【図１９】スリットの駆動とカメラによる撮像のタイミング図
【図２０】カメラ台数を８としたときのスリット駆動と撮像のタイミング図
【符号の説明】
１  レーザー光源
２  レーザー駆動部
３  回転ミラー
４  回転ミラー駆動部
５ａ〜５ｈ  赤外カメラ
６  カラーカメラ
７ａ〜７ｈ  ライン光検出部
８ａ〜８ｈ  距離計算部
９  距離統合部
１０  同期制御部
１１  制御部
１２  遅延部
１３  被写体
１５  レンジファインダ装置
１６  画像切り換え部
１７ａ〜１７ｃ  圧縮符号化部
１８  前景
１９  背景
２０  基準面
【図１】
0003732643.tif 000012
【図２】
0003732643.tif 000013
【図３】
0003732643.tif 000014
【図４】
0003732643.tif 000015
【図５】
0003732643.tif 000016
【図６】
0003732643.tif 000017
【図７】
0003732643.tif 000018
【図８】
0003732643.tif 000019
【図９】
0003732643.tif 000020
【図１０】
0003732643.tif 000021
【図１１】
0003732643.tif 000022
【図１２】
0003732643.tif 000023
【図１３】
0003732643.tif 000024
【図１４】
0003732643.tif 000025
【図１５】
0003732643.tif 000026
【図１６】
0003732643.tif 000027
【図１７】
0003732643.tif 000028
【図１８】
0003732643.tif 000029
【図１９】
0003732643.tif 000030
【図２０】
0003732643.tif 000031