(57)【要約】【課題】立体表示や三次元形状認識に利用される三次元情報が、その三次元情報を取得した撮像系に固有の座標系で表されていることに起因する種々の問題を解決する。【解決手段】複数の撮像系に共通する共通座標系を定義し、撮像系に固有の座標系の原点Ｏｎを基準位置としたときの共通座標系の原点Ｏｕの変位を表す変位情報を、ファイル生成装置内のメモリに記憶せしめておく。三次元情報を含むファイルを生成するときは、ファイルヘッダＨの所定領域ｈ８に、メモリに記憶されている変位情報を格納しておく。ファイルに記録された三次元情報を利用した処理を行うときには、変位情報を使って固有座標系で表現された三次元情報を共通座標系で表現された三次元情報に変換してから処理を行う。【選択図】図９
2008160381.tif 000002
【特許請求の範囲】
【請求項１】
三次元情報が記録されたファイルを生成するファイル生成装置であって、 
撮影空間を撮影したときに撮像系により捉えられる各点の位置を、該撮像系に固有の固有座標系で表した三次元情報を生成する三次元情報生成手段と、
複数の撮像系に共通する共通座標系の情報として、前記固有座標系の原点を基準位置としたときの前記共通座標系の原点の変位を表す変位情報を記憶する変位情報記憶手段と、
前記三次元情報生成手段により生成された三次元情報と前記変位情報記憶手段が記憶している前記変位情報とを含む所定フォーマットのファイルを生成するファイル生成手段とを備えたファイル生成装置。
【請求項２】
前記変位情報記憶手段が、複数の共通座標系それぞれについて、前記変位情報を記憶していることを特徴とする請求項１記載のファイル生成装置。
【請求項３】
前記ファイル生成手段が、
前記三次元情報生成手段により生成された前記三次元情報と、
前記変位情報記憶手段が前記複数の共通座標系それぞれについて記憶している複数の変位情報と、
前記複数の変位情報のうち操作により指定された一の変位情報を指し示す識別子と
を含むファイルを生成することを特徴とする請求項２記載のファイル生成装置。
【請求項４】
前記ファイル生成手段が、前記共通座標系の座標形式を示す情報をさらに含むファイルを生成することを特徴とする請求項１から３のいずれか１項記載のファイル生成装置。
【請求項５】
前記各共通座標系の座標形式が、直交座標系または極座標系であることを特徴とする請求項１から４のいずれか１項記載のファイル生成装置。
【請求項６】
前記共通座標系の原点が、前記撮像系を構成する部材または前記撮像系と一体形成された部材の所定の特徴点であることを特徴とする請求項１から５のいずれか１項記載のファイル生成装置。
【請求項７】
前記部材の特徴点の１つが、外観上認識し得る部材の外観上認識し得る部位に設けられたマークであることを特徴とする請求項６記載のファイル生成装置。
【請求項８】
前記外観上認識し得る部材が前記撮像系と一体形成されたモニタであり、前記マークが該モニタに表示されたマークであることを特徴とする請求項７記載のファイル生成装置。
【請求項９】
前記撮像系が備えるレンズの焦点距離に基づいて、前記変位情報記憶手段が記憶している前記変位情報を再設定する変位情報設定手段を、さらに備えることを特徴とする請求項１から８のいずれか１項記載のファイル生成装置。
【請求項１０】
前記三次元情報生成手段が、前記三次元情報として、前記撮像系が捉えた点の前記固有座標系における位置座標を各点に対応する画素の値とする距離画像を生成することを特徴とする請求項１から９のいずれか１項記載のファイル生成装置。
【請求項１１】
三次元情報が記録されたファイルを生成する方法であって、
撮像装置のメモリに、複数の撮像系に共通する共通座標系の情報として、前記撮像装置の撮像系に固有の固有座標系の原点を基準位置としたときの前記共通座標系の原点の変位を表す変位情報を予め記憶せしめ、
前記撮像装置により撮影空間を撮影したときに前記撮像系により捉えられる各点の位置を、該撮像系に固有の固有座標系で表した三次元情報を生成し、
前記三次元情報と前記変位情報とを含む所定フォーマットのファイルを生成するファイル生成方法。
【請求項１２】
立体画像の表示を制御する表示制御装置であって、
撮影空間を捉えた画像と、前記撮影空間を撮像系に固有の固有座標系で表現した三次元情報と、複数の撮像系に共通の共通座標系の原点の、前記固有座標系の原点からの変位を表す変位情報とを含む画像ファイルを取り込むファイル取込手段と、
前記ファイル取込手段により取り込まれた画像ファイル内の前記三次元情報を、該画像ファイル内の前記変位情報に基づいて変位させることにより、前記固有座標系で表現された三次元情報を、前記共通座標系で表現された三次元情報に変換する三次元情報変換手段と、
前記ファイル取込手段により取り込まれた画像ファイル内の前記画像を、前記三次元情報変換手段により変換された後の三次元情報に基づいて補正することにより、表示用視差画像を構成する画像構成手段と、
前記画像構成手段により構成された表示用視差画像を表示デバイスに対し出力する出力制御手段とを備えた、立体画像の表示制御装置。
【請求項１３】
前記画像構成手段が、さらに、当該画像構成手段により構成された複数組の表示用視差画像を合成することにより合成視差画像を構成し、構成された合成視差画像を表示デバイスに対し出力することを特徴とする、立体画像の表示制御装置。
【請求項１４】
立体画像の表示を制御する方法であって、
撮影空間を捉えた画像と、前記撮影空間を撮像系に固有の固有座標系で表現した三次元情報と、複数の撮像系に共通の共通座標系の原点の、前記固有座標系の原点からの変位を表す変位情報とを含む画像ファイルを取得し、
前記画像ファイル内の前記三次元情報を、該画像ファイル内の前記変位情報に基づいて変位させることにより、前記固有座標系で表現された三次元情報を、前記共通座標系で表現された三次元情報に変換し、
前記画像ファイル内の前記画像を、前記変換された後の前記三次元情報に基づいて補正することにより、表示用視差画像を構成し、
構成された表示用視差画像を表示デバイスに対し出力することにより、立体画像の表示を制御する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影空間の三次元情報（距離画像など）を含むファイルの生成方法および装置、並びに、立体画像の表示を制御する方法および装置に関する。
【背景技術】
【０００２】
コンピュータビジョンの分野では、撮影空間をある方向から見たときに視認できる点の位置を光学的に計測することにより、撮影空間に配置された物体の三次元形状を認識したり、撮影空間の奥行きを認識したりすることが行われている。計測の手法としては、三角測量の原理を利用したステレオ画像法、光の照射から反射光の受光までの時間を測定するＴＯＦ（Time of Flight）法、スリット光を照射したときのパターン光を調べる光切断法などが知られている。
【０００３】
視認できる点の位置を所定の座標系における座標値として表し、その座標値を画素値として記録した画像は、一般に「距離画像」、「奥行画像」などと呼ばれている。距離画像には、人間が対象を両眼視することにより認識する空間的な位置の情報が含まれている。一方、通常の撮影により得られるＲＧＢデータあるいは濃淡画像には、人間が物体を見たときに認識する色や明るさの情報が含まれている。よって、距離画像から得られる情報とＲＧＢデータなどから得られる情報とを組み合わせれば、人間が視覚により取得するのとほぼ同等の情報をコンピュータに認識させることができる。これにより、撮影空間の立体映像をモニタ上に再生したり、コンピュータにより三次元の物体を判別することが可能となる。
【０００４】
このような技術は、あらゆる産業分野において有用な技術であるため、数々の研究が進められている。しかし、撮影空間の三次元情報を記録するときのフォーマットについては、いくつかの提案（例えば、特許文献１の図１１のフォーマット）は成されているものの、未だ十分な議論がなされていない。
【特許文献１】特開２００２−０９５０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記事情に鑑みて、距離画像など、撮影空間の三次元情報を記録するときのフォーマットとして、利便性に富んだフォーマットを提案することを目的とする。距離画像の画素値は、基準となる座標系が異なれば異なる値となる。しかし、撮影空間をどのような座標系で表現するかは、メーカー間、装置間で特に統一されていない。このため、同じ位置から同じ対象を撮影した場合でも、距離画像を生成する撮像装置が異なれば、距離画像の画素値は異なることとなる。
【０００６】
この座標系の相違は、異なる撮像装置を組み合わせて用いる場合や、撮像装置を交換した場合などに、不都合を生じさせる。例えば、複数の撮像装置により撮影を行ってから各撮像装置により取得された画像を合成するときに、使用する撮像装置によって合成により得られる画像の構成が違ってしまったり、距離画像の値に基づいて動作制御されるロボットが、ロボットの目として機能する撮像デバイスを交換した途端、期待通りの動作をしなくなるといった問題が起こり得る。
【０００７】
このような問題を回避するためには、座標系の形式や原点の位置を意識した表示制御、動作制御などを行う必要があるが、現在提供されているカメラ、センサなどの撮像装置は、座標系の情報をユーザに不可視な情報として保持している。このためユーザは、座標系を意識した制御処理を行うことができない。本発明は、このような不便を解消し、ユーザが所望の制御を行い、且つその制御により期待通りの結果を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明のファイル生成装置は、三次元情報が記録されたファイルを生成するファイル生成装置であって、以下に説明するような三次元情報生成手段、変位情報記憶手段およびファイル生成手段とを備える。
【０００９】
「三次元情報」は、撮影空間を撮影したときに撮像系により捉えられる各点の位置を、撮像系に固有の固有座標系で表した情報で、例えば三次元直交座標系における座標値（ｘ、ｙ、ｚ）あるいは極座標系における座標値（ｒ、θ、φ）の集合からなる。撮影空間の色や階調の情報は、含んでいても含んでいなくてもよい。「三次元情報生成手段」は、そのような三次元情報を生成する手段である。三次元情報の生成には、前述したステレオ法、ＴＯＦ法などを用いることができる。「固有座標系」は、撮像系を備える装置の内部で独自に定義される座標系で、通常は不変である。但し、例えば撮像系が焦点距離が可変なズームレンズを備えている場合など、撮像系自体の特性が可変である場合には、固有座標系も撮像系の特性に応じて定義される。
【００１０】
「変位情報記憶手段」は、メモリ、ハードディスクなどにより構成され、複数の撮像系に共通する共通座標系の情報として、固有座標系の原点を基準位置としたときの、共通座標系の原点の変位を表す変位情報を記憶する。「共通座標系」は撮像系の製造元、機種などとは無関係に任意に定義される座標系である。共通座標系は、複数の撮像系に共通する座標系として、ユーザが認識し得るように定義される。共通座標系は、一般には直交座標系または極座標とするのがよいが、ユーザが認識し得るものであれば座標形式は特に限定はされない。共通座標系を定義するときは、撮像系を構成する部材または前記撮像系と一体形成された部材の所定の特徴点とするとよい。例えば、外観上認識し得る部材の外観上認識し得る部位にマークを設け、そのマークの位置を共通座標系の原点とすれば、ユーザに認識されやすい。マークは必要なときだけ認識できればよいので、例えば、撮像系と一体形成されたモニタに操作に応じてマークを表示するようにしてもよい。
【００１１】
「変位情報」は、固有座標系と共通座標系のズレを表す情報で、例えば、固有座標系の原点を始点とし共通座標系の原点を終点とする変位ベクトルなどとして記憶される。変位情報記憶手段は、複数の共通座標系についての変位情報を記憶していてもよい。複数の変位情報を記憶しておけば、ユーザは、目的にあった共通座標系およびその変位情報を選択することができ、ユーザの利便性が向上する。
【００１２】
「ファイル生成手段」は、三次元情報生成手段により生成された三次元情報と、変位情報記憶手段が記憶している変位情報とを含む、所定フォーマットのファイルを生成する手段である。変位情報記憶手段が複数の変位情報を記憶している場合には、三次元情報と、その複数の変位情報と、複数の変位情報のうち操作により指定された一の変位情報を指し示す識別子とを含むファイルを生成する。さらには、共通座標系の座標形式を示す情報を同じファイルに記録してもよい。
【００１３】
なお、三次元情報生成手段、変位情報記憶手段およびファイル生成手段に加え、さらに、撮像系が備えるレンズの焦点距離に基づいて、変位情報記憶手段が記憶している変位情報を再設定する変位情報設定手段を設けてもよい。レンズの焦点距離が不変のときは、このような手段は不要であるが、撮像系が焦点距離が可変なズームレンズを備えている場合には、固有座標系が撮像系の特性に応じて再定義されるため、変位情報記憶手段が記憶する変位情報も再設定する必要がある。
【００１４】
また、本発明のファイル生成方法は、三次元情報が記録されたファイルを生成するファイル生成方法である。この方法では、撮像装置のメモリに、複数の撮像系に共通する共通座標系の情報として、撮像装置の撮像系に固有の固有座標系の原点を基準位置としたときの共通座標系の原点の変位を表す変位情報を予め記憶せしめておく。そして、撮像装置により撮影空間を撮影したときに、前記撮像系により捉えられる各点の位置を、該撮像系に固有の固有座標系で表した三次元情報を生成し、その三次元情報と前記変位情報とを含む所定フォーマットのファイルを生成する。
【００１５】
本発明のファイル生成方法および装置によれば、撮影空間の三次元情報がファイルに記録される際に、その三次元情報の表現に用いられた固有座標系と、ユーザが認識し得る共通座標系とのズレを示す変位情報が一緒に記録される。よって、後にこの変位情報を用いて三次元情報を表す座標系を変更することが可能となり、三次元情報を利用した画像認識や表示制御を行うユーザの利便性が高まる。さらには、従来方法の、三次元情報が撮像系ごとに異なる座標系で表現されていたことに起因する数々の問題が解消される。
【００１６】
続いて、本発明の表示制御装置について説明する。本発明の表示制御装置は、立体画像の表示を制御する表示制御装置であって、次のファイル取込手段、三次元情報変換手段、画像構成手段および出力制御手段を備える。
【００１７】
「ファイル取込手段」は、撮影空間を捉えた画像と、前記撮影空間を撮像系に固有の固有座標系で表現した三次元情報と、複数の撮像系に共通の共通座標系の原点の、前記固有座標系の原点からの変位を表す変位情報とを含む画像ファイルを取り込む手段である。三次元情報、固有座標系、共通座標系、変位情報については、ファイル生成装置の説明の中で説明したのと同様である。
【００１８】
「三次元情報変換手段」は、ファイル取込手段により取り込まれた画像ファイル内の三次元情報を、その画像ファイル内の変位情報に基づいて変位させることにより、固有座標系で表現された三次元情報を、共通座標系で表現された三次元情報に変換する。「画像構成手段」は、ファイル取込手段により取り込まれた画像ファイル内の画像を、三次元情報変換手段により変換された後の三次元情報に基づいて補正することにより、表示用視差画像を構成する。「出力制御手段」は、画像構成手段により構成された表示用視差画像を表示デバイスに対し出力する。なお、画像構成手段は、さらに、その画像構成手段により構成された複数組の表示用視差画像を合成することにより合成視差画像を構成する機能を備えていてもよい。
【００１９】
また、本発明の表示制御方法は、立体画像の表示を制御する方法であって、まず、撮影空間を捉えた視差画像と、撮影空間を撮像系に固有の固有座標系で表現した三次元情報と、複数の撮像系に共通の共通座標系の原点の、固有座標系の原点からの変位を表す変位情報とを含む画像ファイルを取得する。続いて、画像ファイル内の三次元情報を、その画像ファイル内の変位情報に基づいて変位させることにより、固有座標系で表現された三次元情報を、共通座標系で表現された三次元情報に変換する。そして、画像ファイル内の前記画像を、変換された後の前記三次元情報に基づいて補正することにより、表示用視差画像を構成し、構成された表示用視差画像を表示デバイスに対し出力する。
【００２０】
本発明の表示制御方法および装置によれば、表示用視差画像は共有座標系により表現された画像となるので、撮像装置によらず常に同じ座標系を共有座標系とすれば、製造元や機種の異なる撮像装置を組み合わせて撮影を行っても、あるいは撮像装置を交換した場合でも、常に同じ画像構成の立体画像が表示されることとなる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明のファイル生成装置の一実施形態であるステレオカメラについて、図面を参照しながら説明する。
【００２２】
［  装置の概要  ］
図１Ａおよび図１Ｂはステレオカメラの外観図であり、図１Ａは正面側、図１Ｂは背面側の外観を示している。このステレオカメラ１は、撮影空間の奥行きをステレオ法により  測定するタイプのカメラで、２つの撮像レンズ２ａ、２ｂを備えている。ステレオカメラ１は、この他、一般のデジタルカメラと同様、シャッタレリーズボタン３、ファインダ４、スピーカ５、マイク６、液晶モニタ７、メモリカード９をセットするカードスロット８、ケーブルを接続する外部接続インタフェース１０、その他いくつかの操作ボタンや操作ダイヤル（図示せず）を備えている。
【００２３】
図２は、ステレオカメラ１の内部構成を示すブロック図である。図に示すように、ステレオカメラ１は、撮像レンズ２ａ、２ｂ、絞り（図示せず）、ＣＣＤ１１ａ、１１ｂおよびレンズの位置や向き、絞りの開閉、ＣＣＤの電荷放出タイミングなどを制御するための機構（モータ、制御回路など：図示せず）からなる撮像系を備え、さらに撮像系により得られた信号をデジタルデータに変換する手段として、Ａ／Ｄ変換部１２ａ、１２ｂを備えている。撮像系の基線長および輻輳角は、モータの駆動により撮像レンズ２ａ、２ｂ（ＣＣＤなども含む）の位置や向きを変更することで、調整可能となっている。
【００２４】
また、ステレオカメラ１は、モニタ７への表示出力を制御する表示制御部１５、スピーカ５への出力およびマイク６からの入力を制御する音声入出力制御部１６、メモリカードスロット８に装填されたメモリカード９へのデータの記録およびメモリカード９からのデータの読み出しを制御する読出／書込制御部１７、外部接続インタフェース１０に接続された機器との間の入出力を制御する転送制御部１８を備える。これらの制御部は、それぞれ専用の回路もしくはドライバプログラムとして実装されている。
【００２５】
また、ステレオカメラ１は、ＳＤＲＡＭなどのメモリ２３と、カメラ全体の動作を制御する全体制御部１９を備える。全体制御部１９は、制御プログラムが記録されたＲＡＭ２１と、制御に利用する各種設定値が記録されたＥＥＰＲＯＭ２２と、制御プログラムを実行するＣＰＵ２０とにより構成され、シャッタレリーズボタン３をはじめとする操作部からの入力を受け付けて、各部に対し直接またはシステムバス１４を介して指示信号を送出する。指示信号を受けた各部はメモリ２３を介して処理済みデータを交換しながら処理を行う。
【００２６】
システムバス１４には、この他、画像処理部１３ａ、１３ｂ、圧縮処理部６６、変位情報記憶部２４、距離画像生成部２５および画像ファイル生成部２６が接続されている。本実施形態では、変位情報記憶部２４は後述するデータを記憶するＥＥＰＲＯＭとして実装され、画像処理部１３ａ、１３ｂ、圧縮処理部６６、距離画像生成部２５および画像ファイル生成部２６は、それぞれ専用のプロセッサとして実装される。但し、これらの処理部の機能を兼ね備える１つのプロセッサとして実装してもよいし、全体制御部１９のＲＡＭ２１に記憶されるプログラムの１つとして実装してもよく、実装するときの形態は特に限定されない。
【００２７】
以下、ステレオカメラ１の動作について、画像処理部１３ａ、１３ｂ、変位情報記憶部２４、距離画像生成部２５および画像ファイル生成部２６の処理に着目しながら説明する。
【００２８】
［  撮影  ］
シャッタレリーズボタン３の押下など撮影のための操作が行われると、その操作は全体制御部１９により検出され、全体制御部１９から撮像系に対し各種指示信号が送出される。これにより、撮像系からＡ／Ｄ変換部１２ａ、１２ｂに撮影空間を表す映像信号が入力され、Ａ／Ｄ１２ａ、１２ｂから、それぞれ画像データが出力される。本実施形態ではＲＧＢデータが出力される。画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されるＲＧＢデータを、メモリ２３に格納する。例えば、図３に示すように、三角錐の形をした物体２７が配置された撮影空間を撮影した場合であれば、図４に示すように、撮像レンズ２ａを通して得られたＲＧＢデータ２８ａと、撮像レンズ２ｂを通して得られたＲＧＢデータ２８ｂとが、メモリ２３に格納される。
【００２９】
続いて、画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されたＲＧＢデータに対しＲＧＢ−ＹＣＣ変換を施す。そして、変換により得られたＹＣＣデータをメモリ２３に格納する。その後、このＹＣＣデータは圧縮処理部６６により読み出され、圧縮された後再度メモリ２３に格納される。これにより、レンズ２ａを通して得られたＲＧＢデータと、同時刻にレンズ２ｂを通して得られたＲＧＢデータと、それらのＲＧＢデータを変換、圧縮することにより生成された２つのＹＣＣデータとが、メモリ２３に格納されることとなる。但し、ＲＧＢ−ＹＣＣ変換は行わず、ＲＧＢデータをそのまま圧縮処理部６６により圧縮してメモリ２３に保存してもよい。その場合には、後述する処理において、ＹＣＣデータはＲＧＢデータと読み替えるものとする。
【００３０】
［  距離画像の生成  ］
距離画像生成部２５は、同時刻に異なるレンズを通して取得された２つのＲＧＢデータをメモリ２３から読み出す。そして、パターンマッチングを行うことにより、２つのＲＧＢデータを構成する画素の対応づけを行う。例えば図４の例であれば、ＲＧＢデータ２８ａの画素ＰａはＲＧＢデータ２８ｂの画素Ｐｂと対応づけられる。同様にＲＧＢデータ２８ａ，２８ｂを構成する他の画素についても、同様の対応付けが行われる。
【００３１】
続いて、距離画像生成部２５は、上記画素の対応付けと撮像系の基長および輻輳角の情報を利用して、ステレオ法（三角測量法）に基づく演算を行い、撮影空間内のカメラで捉えられるすべての点の空間座標値を求める。この演算は撮像系に固有の座標系（以下、固有座標系）上で行い、各点の位置は、固有座標系における座標値として表すこととする。図５は、図３に示した撮影空間内に、ステレオカメラ１の左右方向をＸｎ軸、上下方向をＹｎ軸（図示せず）、背面から正面に向かう方向をＺｎ軸とした直交座標形式の固有座標系を配したところを示している。図の例では、固有座標系の原点は、カメラ正面側の、カメラの中心より撮像レンズ２ｂ側に少しずれた位置にある。ＲＧＢデータ２８ａの画素ＰａとＲＧＢデータ２８ｂの画素Ｐｂとが表していた、撮影空間内の点Ｐｒの位置は、（ｘｒ，ｙｒ，ｚｒ）と表される（但し、ｙｒは図示せず）。
【００３２】
演算を繰り返すことによりカメラが捉えたすべての点についての座標値（ｘ、ｙ、ｚ）が求まると、距離画像生成部２５は、各点について求めた座標値（ｘ、ｙ、ｚ）を、その撮影空間の距離画像として記録する。例えば、各点のｘ値、ｙ値、ｚ値を、それぞれ８ビットの画素データとして記録する。そして生成した距離画像を、前記ＲＧＢデータやＹＣＣデータとともに、メモリ２３に格納する。なお、距離画像も、ＹＣＣデータと同じく圧縮処理部６６により圧縮してもよい。
【００３３】
なお、ステレオカメラ１は、撮影空間を一方向から見たときに視認できる点の位置をステレオ法により求めるように構成されたカメラであるため、距離画像の画素値は（ｘ，ｙ，ｚ）座標値であるが、ステレオ法以外の手法を用いるカメラの場合には、距離画像の画素値として他の値が記録されることもある。ステレオカメラ１と異なるタイプのカメラとしては、例えば、図２の破線で囲んだ部分の構成Ｓ１を、図６の破線で囲んだ構成Ｓ２に置き換えたカメラが考えられる。構成Ｓ２は、撮像レンズ２ｃ、ＣＣＤ１１ｃ、Ａ／Ｄ変換部１２ｃ、画像処理部１３ｃ、赤外線照射部２９および距離計測部３０を備えた構成である。構成Ｓ２では、赤外線照射部２９は撮影空間に対し振幅変調された赤外線を照射する。照射のタイミングや振幅変調の周波数は、距離計測部３０により制御される。照射された赤外線は撮影空間内の各所において反射され、反射光は撮像レンズ２ｃ、ＣＣＤ１１ｃにより受光される。Ａ／Ｄ変換部１２ｃは反射光を表す信号を距離計測部３０に供給する。距離計測部３０は、赤外線照射部２９に指示した照射タイミング、反射光の受光タイミングおよび照射光と反射光の位相ずれに基づいて（すなわちＴＯＦ法により）、撮影空間内のカメラが捉えられるすべての点までの距離および方向を算出する。つまり、撮影空間に極座標系を定義したときの座標値を求める。構成Ｓ２を備えたカメラの場合、距離画像生成部２５は、その極座標系の座標値（ｒ，θ，φ）を画素値とした距離画像を生成する。
【００３４】
なお、カメラの構成としては、この他、図２の構成Ｓ１と図６の構成Ｓ２とを兼ね備え、ステレオ法とＴＯＦ法を切り替えて用いることができるカメラも考えられる。図７に、２種類の構成Ｓ１、Ｓ２を兼ね備えたカメラの外観を例示する。図７に示される撮像レンズ２ｂは、図２の撮像レンズ２ｂとして機能するとともに、図６の撮像レンズ２ｃとしても機能する。
【００３５】
このように、撮影空間の三次元情報を取得するためのカメラの構成は種々考えられ、どの手法を採用するかによって得られる三次元情報の種類や精度は異なるが、撮影空間に係る三次元的な情報を取得することができれば、カメラの構成や距離画像の画素値として記録される値の種類は、どのようなものであってもよい。
【００３６】
［  画像ファイルの生成  ］
次に、画像ファイル生成部２６による画像ファイルの生成処理について説明する。画像ファイル生成部２６は、図８に示すフォーマットのファイル、すなわち、ファイルヘッダＨ、距離画像Ｄ、および１組のＹＣＣデータ（以下、視差画像Ｒ，Ｌと称する）を含む画像ファイル３１を生成する。ファイルヘッダに設定する情報は、カメラを構成する各メモリから読み出す。もしくは、モニタ７に表示される設定画面においてユーザが選択あるいは入力した情報を取り込む。視差画像Ｒ，Ｌと距離画像Ｄは、メモリ２３に記憶されているものを読み出す。
【００３７】
なお、本実施形態では、画像ファイルに格納するＹＣＣデータを一組の視差画像Ｒ，Ｌとしているが、一方の撮像レンズを通して得られた画像から生成されたＹＣＣデータのみをファイルに格納するようにしてもよい。図６を参照して説明した構造のカメラを使用した場合も撮像レンズは１つであるため、１つのＹＣＣデータが画像ファイルに格納されることとなる。
【００３８】
画像ファイル生成部２６は、生成した画像ファイルを一端メモリ２３に保存する。メモリ２３に記憶された画像ファイルは、全体制御部１９の制御の下、読出／書込制御部１７に転送され、カードスロット８を経てメモリカード９などの記録媒体に記録される。または、同じく全体制御部１９の制御の下、転送制御部１８に転送され、外部接続インタフェース１０を介して、他の装置へと転送される。あるいは、画像ファイルは表示制御部１５に転送され、表示制御部１５によりモニタ７に表示出力される。
【００３９】
以下に、画像ファイル３１のフォーマットの詳細を示す。画像ファイル３１は、前述したとおり、ファイルヘッダＨ、距離画像Ｄおよび視差画像Ｒ，Ｌにより構成される。ファイルヘッダＨには、ファイルタイプやファイルサイズのほか、ファイルの先頭から距離画像までのオフセットと、ファイルの先頭から視差画像Ｒ，Ｌまでのオフセットの情報が含まれている。よって、ファイルの先頭に記録されているファイルタイプの情報からヘッダ情報のフォーマットを認識し、ヘッダ情報中のオフセット情報を参照すれば、距離画像Ｄや視差画像Ｒ，Ｌを読み出すことができる。
【００４０】
また、図９に示すように、ファイルヘッダＨには、距離画像に関連する情報を設定する領域として、画像を撮影したときの輻輳角を設定する領域ｈ１、基線長を設定する領域ｈ２、焦点距離を設定する領域ｈ３、撮影画角を設定する領域ｈ４、距離画像の大きさ（縦横の画素数）を設定する領域ｈ５、距離画像の各画素に割り当てられたビット数を設定する領域ｈ６が設けられている。領域ｈ３はステレオカメラ１のように撮像レンズが２つあるカメラで各撮像レンズについての焦点距離を設定できるように定義されている。領域ｈ４は、水平方向の画角と垂直方向の画角を設定でき且つ２つの撮像レンズのそれぞれについて二方向の画角を設定できるように定義されている。
【００４１】
輻輳角、基線長、焦点距離、撮影画角、距離画像の大きさや一画素あたりのビット数は、撮像系に固有に定められているか、もしくは撮像系を調整したときに決定される。撮像系に固有か、調整により可変かは、カメラの仕様により異なる。例えば、輻輳角が固定されたカメラであれば輻輳角は固有の値であり、輻輳角が調整可能なカメラであれば輻輳角は可変な値となる。撮像系に固有の値は、ステレオカメラ１内の所定のメモリ（全体制御部１９のＥＥＰＲＯＭ２２、メモリ２３あるいは他の図示しないメモリでもよい）の予め決められた領域に記録されている。また、調整により決定される値は、調整を行った制御部（例えば輻輳角であれば、レンズの向きを制御する回路）により、調整が完了した時点で、所定のメモリに記録される。画像ファイル生成部２６は、そのようにしてメモリに記憶された値を読み出し、読み出した値をファイルヘッダの上記各領域ｈ１〜ｈ６に設定する。
【００４２】
また、ファイルヘッダには、距離画像に関連する情報を設定する領域として、さらに、共通座標系の座標形式（直交座標または極座標）を設定する領域ｈ７、共通座標系の変位情報を設定する領域ｈ８、ユーザが指定した一の共通座標系を設定する領域ｈ９が設けられている。以下、領域ｈ７〜ｈ９に設定する共通座標系の情報について、共通座標系という概念を持たない従来の方法や装置の問題点を指摘しながら、説明する。
【００４３】
[  共通座標系  ]
図１０は、撮影空間の三次元情報（距離画像など）を取得する機能を備えた第１のカメラ３２と、立方体の物体３３が配置された撮影空間と、第１のカメラ３２の固有座標系３４と、固有座標系３４の原点３５との関係を示す図である。また、図１１は、撮影空間の三次元情報を取得する機能を備えた第２のカメラ３６と、立方体の物体３７が配置された撮影空間と、第２のカメラ３６の固有座標系３８と、固有座標系３８の原点３９との関係を示す図である。図１０、図１１において、一点鎖線は、カメラ３２、３６を左右に分ける中心線を表している。図１０の撮像空間では、物体３３はカメラ３２の中心より左側に位置している。一方、図１１の撮像空間では、物体３７はカメラ３６の中心よりも右側に位置している。また、図１０と図１１の対比から明らかであるように、第１のカメラ３２と第２のカメラ３６とでは、固有座標系の原点の位置は大きく異なっている。なお、これらの図において、固有座標系３４、３８のＹ軸は図の紙面に垂直であり、原点３５、３９と重なって図示されている。
【００４４】
図１２は、図１０に示す位置関係で撮影を行い、図１１に示した位置関係で撮影を行い、２回の撮影により得られた２組の視差画像を合成して立体モニタ４０に表示するときの、表示座標系４１と、表示される物体３３および物体３７の関係を示す図である。従来手法では、固有座標系上で求められた距離画像の各画素値が、表示の奥行き感を表す値としてそのまま用いられる。すなわち、図１０に示した原点３５と物体３３の位置関係は、表示座標系４１における原点４２と物体３３の位置関係として、そのまま維持される。同様に、図１１に示した原点３９と物体３７の位置関係も、表示座標系４１における原点４２と物体３７の位置関係として、そのまま維持される。その結果、立体モニタ４０には、図１３に示すように、物体３７の背後に物体３３が配置された映像が表示されることとなる。
【００４５】
一方、図１１に示した位置関係で、物体３７を含む撮影空間の撮影を行うときにも、物体３３を含む撮影空間の撮影を行ったときと同じく第１のカメラ３２を使用したとすれば、物体３３はカメラの中心よりも左側に配置され、物体３７はカメラの中心よりも右側に配置され、また固有座標系のＺ軸はカメラの中心よりも左側にあるので、画像合成により得られる立体画像では、図１４に例示するように、物体３３と物体３７とが離れた状態で表示されることとなる。
【００４６】
図１３と図１４の対比として示されるように、従来手法では、複数の立体画像から合成立体画像を生成しようとした場合、撮影に用いたカメラによって、合成により得られる結果が異なってしまうという問題がある。また、同様の理由で、従来手法では、立体画像から物体の形状や位置を認識して制御を行う場合に、同じ撮像系を使い続けない限り、安定した認識を行えないという問題がある。
【００４７】
従来手法のこれらの問題は、共通座標系の概念を取り入れることにより解決することができる。共通座標系は、固有座標系と同じく、撮影空間内に定義される座標系である。但し、固有座標系が個々のカメラにより定義されユーザに見えないものであるのに対し、共通座標系はユーザが把握できる形で定義される。
【００４８】
図１５は、図５に示したステレオカメラ１の固有座標系に、一例としての共通座標系を重ねて示した図である。この例では、共通座標系は３次元直交座標であり、そのＸｕ軸はステレオカメラ１の左方向から右方向に向かい、Ｙｕ軸はステレオカメラ１の下方向から上方向に向かい、Ｚｕ軸はＸｕ軸、Ｙｕ軸の両方に垂直で、カメラから撮影空間に向かって延びている。また、この例では、共通座標系の原点Ｏｎは、ステレオカメラ１の背面の中心にある。
【００４９】
画像ファイルを生成するときには、座標系を固有座標系から共通座標系に切り替えたときの原点の変位、すなわち固有座標系の原点Ｏｎと共通座標系の原点Ｏｕとのズレを、ファイルヘッダに記録する。言い換えれば、固有座標系の原点Ｏｎを始点、共通座標系の原点Ｏｕを終点とする変位ベクトルを記録する。例えば、固有座標系で表したときの共通座標系の原点Ｏｕの位置が（ｘｃ、ｙｃ、ｚｃ）という座標値（ベクトル）で表されるのであれば、そのｘｃ、ｙｃ、ｚｃの値を、共通座標系の変位情報としてファイルヘッダに格納する。
【００５０】
この共通座標系の変位情報を画像ファイルのヘッダに記録しておけば、立体画像処理や形状認識処理など距離画像を利用した処理を行うときに、距離画像の各画素値を、固有座標系における座標値から、共通座標系における座標値に置き換えてから、処理を行うことができる。図１０〜１４を参照して説明した従来手法の問題は、第１の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、同様に第２の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、置き換え後の距離画像を使って画像の合成を行うことで、解決することができる。同様に、継続的に行われる撮影の途中でカメラを交換した場合でも、交換前のカメラにより取得された距離画像、交換後のカメラにより取得された距離画像の画素値について、それぞれ上記のような置き換えを行えば、カメラを交換したことでそれまでの撮影が無駄になるということもない。その他、座標系がカメラに固有であるがために生じるあらゆる問題は、共通座標系の概念を取り入れることにより、解決することができる。
【００５１】
［  共有座標系情報の設定  ］
上記共通座標系の説明では、理解を容易にするため、共通座標系が１つしか定義されていない場合を例示しながら説明したが、本実施形態のステレオカメラ１では、共通座標系として選択し得る座標系、すなわち共通座標系の候補が、複数定義されている。そして、ファイルヘッダＨには、ユーザが選択し得るすべての座標系の変位情報と、ユーザが選択した変位情報を特定するための情報とが記録される。
【００５２】
まず、領域ｈ７に設定される共通座標系の座標形式について説明する。共通座標の座標形式については、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において、ユーザから座標形式の指定を受け付けておく。選択画面において入力されたデータは、一端図２の変位情報記憶部２４に記憶される。画像ファイル生成部２６は、画像ファイルの生成時に変位情報記憶部２４からそのデータを読み出し、ヘッダの領域ｈ７に記録する。本実施形態では、領域ｈ７には、“０”、“１”または“２”のいずれかの数値データが記録される。“１”は共通座標系が３次元直交座標系であることを示し、“２”は共通座標系が極座標系であることを示し、“０”は座標形式が不明、すなわちユーザによる座標形式の指定が行われなかったことを示す。
【００５３】
続いて、領域ｈ８に設定される共通座標系の変位情報について説明する。本実施形態のステレオカメラ１では、共通座標系の原点となり得る点として、固有座標系の原点Ｏｕ０、共通座標系の概念の説明において例示したカメラ本体背面の中心点Ｏｕ１を含む合計８個の点が定義されている。このうち、カメラ本体背面の中心点は、図１６に例示するように、モニタ７に基準マーク４３を表示することで、外観上認識できるようにしている。但し、基準マーク４３の表示は、ユーザが所定の操作を行ったときのみ行う。なお、図１７に例示するように、モニタが開閉するタイプのカメラで、モニタを使用するときと使用しないときとで、カメラの背面の状態が異なるようなときには、カメラの外装部材に、印刷または加工により形成される基準マーク４４ａ、４４ｂをつけてもよい。
【００５４】
このように、共通座標系の原点を外観上認識し得る部材の外観上認識し得る位置に設けておけば、例えばカメラを交換するときに、交換前と交換後とで基準マークが同じ位置にくるようにカメラを配置するといった位置あわせを行うことができる。
【００５５】
図１８は、共通座標系の原点の候補として定義されている他の点を示す図である。図に示すように、撮像レンズ２ａと２ｂの中心点Ｏｕ２、撮像レンズ２ａ、撮像レンズ２ｂそれぞれの中心点Ｏｕ３，Ｏｕ４、ＣＣＤ１１ａと１１ｂの中心点Ｏｕ５、ＣＣＤ１１ａ、ＣＣＤ１１ｂそれぞれの中心点Ｏｕ６，Ｏｕ７が、共通座標系の原点の候補として定義されている。これらの点は、外観上は認識できないが、カメラ内部の通常見えない点であっても、所定の部材の中心点、端点など何らかの特徴がある点であれば、共通座標系の原点となり得る。
【００５６】
これら８個の点Ｏｕ０〜Ｏｕ７の固有座標系における座標値、すなわち変位情報は、カメラの製造時に変位情報記憶部２４に記憶される。但し、撮像系が焦点距離が可変なズームレンズを備えている場合には、固有座標系が撮像系の特性に応じて再定義されるため、変位情報記憶部２４に記憶されている変位情報は焦点距離の変更に応じて再設定される。本実施形態では、全体制御部１９が、ユーザによるズーム操作を受け付けたときに、変位情報設定手段として機能する。全体制御部１９は、ズーム操作により設定された焦点距離を検出し、検出された焦点距離に応じて変位情報記憶部２４に記憶されている変位情報を書き換える。焦点距離と固有座標系の原点の対応付けは予めＲＡＭ２１などに登録されている。よって、その対応付けを参照することにより、検出された焦点距離に対応する固有座標系の原点を求め、その原点を基準とした変位を計算しなおせば、変位情報を再設定することができる。画像ファイル生成部２６は、上記のように記憶あるいは再設定された変位情報を変位情報記憶部２４から読み出し、ファイルヘッダの領域ｈ８に格納する。
【００５７】
図１９に、変位情報を設定する領域ｈ８の詳細フォーマットを示す。領域ｈ８は、識別子と変位情報とを対応付けて格納する複数の領域からなる。識別子は数字、アルファベットその他記号により構成される値である。図は０から始まる通し番号を識別子とした場合を例示している。各領域にどの点の変位情報を設定するかは、予め共通のルールを設けておくことが好ましい。本実施形態では、識別子０に対しては前述した点Ｏｕ０の変位情報（すなわち０，０，０）を、識別子１に対しては点Ｏｕ１（基準マーク位置）の変位情報を、以下識別子の番号が若い順に、図１８に示した点Ｏｕ２〜Ｏｕ７の変位情報を対応付けて記録するものとする。
【００５８】
なお、領域ｈ８にはステレオカメラ１が変位情報を設定する領域のほか、撮像レンズやＣＣＤを１つしか備えていないタイプのカメラが変位情報を設定する領域を備えている。１つの撮像レンズの中心点の変位情報を設定する領域（識別子８の領域）とその１つのＣＣＤの中心点の変位情報を設定する領域（識別子９の領域）である。また、領域ｈ８にはさらに予備の領域（識別子１０の領域）も用意されている。使用されない領域には、図に示すように、０，０，０の値が設定される。
【００５９】
続いて、図９の領域ｈ９に設定されるユーザ指定情報について説明する。ユーザ指定情報は、座標形式と同じく、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において指定を受け付けておく。選択画面において入力されたデータは、一端図２の変位情報記憶部２４に記憶され、画像ファイル生成部２６により読み出されて領域ｈ９に設定される。領域ｈ９には、値“０”またはユーザが選択した一の変位情報を指し示す識別子の値が設定される。値“０”はユーザが変位情報の選択を行わなかったことを意味する。
【００６０】
以上に説明したように、ファイルヘッダの構造を、複数の座標系の変位情報を格納でき且つユーザが指定した変位情報を指示す識別子および座標形式を格納できる構造としておけば、ユーザはその画像ファイルを利用した処理を行う上で最も都合のよい共通座標系を選択することができ、その共通座標系を利用することで従来手法にはない利便性を確保することができる。さらには、その共通座標系に不都合が生じた場合に他の座標系を共通座標系として指定しなおすことができるので、目的に合わせて共通座標系を使い分けることで目的を達成しやすくなる。
【００６１】
［表示制御装置の概要］
以下、本発明の表示制御装置の一実施形態を示しながら、上記ステレオカメラ１が出力する画像ファイルの利点についてさらに説明する。この表示制御装置は、１つの画像ファイルを参照して立体画像表示を行えるのみならず、複数の画像ファイルから、合成立体画像を形成して表示する画像合成装置としての機能を兼ね備える。
【００６２】
図２０に、立体画像表示システムの概要を示す。図に示すように、この立体画像表示システム４５は、表示制御装置４６と、立体表示モニタ４７と、偏光メガネ４８により構成される。立体表示モニタ４７は、左目用、右目用の２つで一組の視差画像が表示制御装置４６から供給されたときに、左目用と右目用とで偏光方向を異ならせて、２つの画像を同時に一画面に出力するものである。偏光メガネ４８は、レンズの代わりに偏光フィルタを配したメガネで、偏光フィルタのフィルタ特性は、立体表示モニタ４７による偏光の方向と対応している。これにより、偏光メガネ４８をかけて立体表示モニタ４７を観察したときには、右目は右目用の画像のみ、左目は左目用の画像のみを認識するというしくみである。
【００６３】
図２１は、表示制御装置４６の構成を示す図である。表示装置はＤＶＤ（Digital Versatile Disk）、メモリカードなど複数の記録媒体用のメディアドライブ４９ａ〜４９ｃと、メディアドライブ４９ａ〜４９ｃにセットされた記録媒体からの画像ファイルの読み出しおよび記録媒体への画像ファイルの書き込みを制御する読出／書込制御部５０と、ケーブルを接続する外部接続インタフェース５１と、外部接続インタフェース５１を介した画像ファイルの転送を制御する転送制御部５２と、取得した画像ファイルその他処理中のデータを記憶するメモリ５６と、立体モニタ４７と接続するための表示インタフェース５３と、表示インタフェース５３を介した表示出力を制御する表示出力制御部５４を備える。読出／書込制御部５０、転送制御部５２、表示出力制御部５４およびメモリ５６は、システムバス５５により接続されている。
【００６４】
システムバス５５には、さらに、再生伸長処理部５７と、距離画像変換部５８と、画像構成部５９とが接続されている。再生伸長処理部５７は、読出／書込制御部５０または転送制御部５２により取得され、メモリ５６に保存されている画像ファイルから、画像ファイル内に圧縮された状態で記録されているＹＣＣデータを取得する。そして、ＹＣＣデータを、圧縮前の状態となるように伸長し、さらにＹＣＣ−ＲＧＢ変換し、変換により得られた一組の視差画像を再びメモリ５６に保存する。
【００６５】
距離画像変換部５８は、図２２のフローチャートが示す処理Ｐ１００を実行する。距離画像変換部５８は、メモリ内の画像ファイルを参照し、そのファイルのヘッダが図９に例示した領域ｈ１〜ｈ９を備えた構造をしているか、確認する（Ｓ１０１）。その画像ファイルが異なる構造を有するファイルであれば、以降の処理は行われない。領域ｈ１〜ｈ９を備えたヘッダを有するファイルであれば、距離画像Ｄと、ファイルヘッダＨの領域ｈ１〜ｈ９に格納されている情報を取得する（Ｓ１０２）。そして、ファイルヘッダＨの領域ｈ９に設定されている値が“０”か否かを判定することにより、ユーザが共通座標系の指定を行ったか否かを判別する（Ｓ１０３）。領域ｈ９に設定されている値が“０”以外の識別子であるときは、ファイルヘッダＨの領域ｈ９からその識別子と対応付けられている変位情報を取得する（Ｓ１０４）。ここでは、変位情報として取得された座標値を（ｘｃ，ｙｃ，ｚｃ）と表すこととする。
【００６６】
続いて距離画像変換部５８は、固有座標系で表される距離画像を、ユーザが指定した共通座標系で表される距離画像に変換する（Ｓ１０５）。具体的には、距離画像を構成する各画素（ｉ，ｊ）の値（ｘｄｉｊ，ｙｄｉｊ，ｚｄｉｊ）から、変位情報が示す座標値（ｘｃ，ｙｃ，ｚｃ）を減算する。但しここで、ｉおよびｊは、画素の縦横の位置を示すものとする。ステップＳ１０５は、距離画像を構成するすべての画素を対象として実行する。変換後の距離画像は、再びメモリ５６に保存される（Ｓ１０６）。なお、ステップＳ１０３においてユーザ指定情報の値が“０”であった場合には、距離画像の変換は行われず、ステップＳ１０２において取得された距離画像が、そのままメモリ５６に保存される（Ｓ１０６）。
【００６７】
図２３は、画像構成部５９の処理を示すフローチャートである。画像構成部５９は、メモリ５６から、再生伸長処理部５７が保存した画像（ＲＧＢデータ）と、距離画像変換部５８が保存した変換後の距離画像とを取得する（Ｓ２０１）。そして、取得した画像（ＲＧＢデータ）と、変換後の距離画像とを使用して、右目用、左目用の視差画像を再構成する（Ｓ２０２）。再構成された視差画像はメモリ５６に保存される（Ｓ２０３）。表示出力制御部５４は、このときメモリ５６に保存された視差画像を立体モニタに出力する。
【００６８】
［合成画像の生成および表示］
上記説明は、画像ファイル単体の表示制御処理についての説明であるが、続いて、図２４を参照して、複数の画像ファイルを取り込んだときの表示制御処理について説明する。ユーザが図示されない操作部から、画像ファイルの連続取り込みの操作を行うと、読出／書込制御部または転送制御部もしくはその両方は、ユーザの操作に応じて画像ファイルの取り込みを、ユーザから取り込み完了を伝える入力があるまで、連続して実行する（Ｓ３０１，Ｓ３０２）。この操作により取り込まれた画像ファイルは、すべてメモリ５６に保存される。距離画像変換部５８は、図２２を参照して説明した距離画像変換処理Ｐ１００を、メモリ５６に記憶されている全画像ファイルを対象として繰り返し実行する（Ｓ３０３）。
【００６９】
画像構成部５９は、メモリ５６に記憶されている複数の画像ファイルを対象として合成視差画像ファイルの生成処理（Ｐ４００）を実行し、生成した合成視差画像ファイルをメモリ５６に保存する（Ｓ３０４）。メモリ５６に保存された合成画像ファイルは、その後、表示出力制御部５４によりメモリ５６から読み出されて立体モニタ４６に出力される（Ｓ３０５）。また、メモリ５６に保存された合成画像ファイルは、読出／書込制御部５０を介してメモリカードなどの記録媒体に保存したり、転送制御部５２を介して他の装置に転送することもできる（Ｓ３０５）。
【００７０】
以下、合成視差画像ファイルの生成処理（Ｐ４００）について、２つの画像ファイルから合成視差画像ファイルを生成する場合を例示しながら、さらに説明する。図２５は、合成の対象となる１つ目の画像ファイル（以下、主画像ファイル）を取得したときの、カメラ、撮影空間および共通座標系の関係を示す図である。この図が示すように、主画像ファイルは、ステレオカメラ１を用い、比較的広い画角で、物体６１、物体６３および物体６４が配された撮影空間を撮影することにより得るものとする。図２６に、この撮影により得られた視差画像をモニタに出力したときの表示例を示す。
【００７１】
図２７は、合成の対象となる２つ目の画像ファイル（以下、副画像ファイル）を取得したときの、カメラ、撮影空間および共通座標系の関係を示す図である。この図が示すように、副画像ファイルは、ステレオカメラ６０を用い、ステレオカメラ１による撮影よりも狭い画角で、物体６２が配された撮影空間を撮影することにより得るものとする。なお、ステレオカメラ６０は、ステレオカメラ１と同じく、図８や図９を参照して説明したフォーマットの画像ファイルを出力するカメラである。図２８に、この撮影により得られた視差画像をモニタに出力したときの表示例を示す。
【００７２】
図２９は、合成視差画像ファイル生成処理Ｐ４００を示すフローチャートである。画像構成部５９は、まず、主画像ファイルから水平方向の画角値αｈと、垂直方向の画角値αｖを読み込み、さらに副画像ファイルから水平方向の画角値βｈと、垂直方向の画角値βｖを読み込む（Ｓ４０１）。
【００７３】
次に、画像構成部５９は、読み込んだ画角値を使って、次式（１）により合成を行うときの主画像ＭＩ上の副画像ＳＩの配置領域を求める（Ｓ４０２）。式（１）において、Ｈｄは主画像の水平表示画素数，Ｖｄは主画像の垂直表示画素数を表す。また、副画像の配置領域は、主画像の左下の頂点を（０、０），右上の頂点を（Ｈｄ，Ｖｄ）と表したときの、副画像の水平方向の配置範囲ｈａ１〜ｈｂ１、垂直方向の配置範囲ｖａ１〜ｖｂ１として求める。図３０に、Ｈｄ，Ｖｄ，ｈａ１，ｈｂ１，ｖａ１およびｖｂ１の関係と、それにより特定される副画像の配置領域６５を例示する。  
ｈａ１＝（Ｈｄ／２）−（Ｈｄ／２）×（ａｒｃｔａｎ βｈ／ａｒｃｔａｎ αｈ）
ｈｂ１＝（Ｈｄ／２）＋（Ｈｄ／２）×（ａｒｃｔａｎ βｈ／ａｒｃｔａｎ αｈ）
ｖａ１＝（Ｖｄ／２）−（Ｖｄ／２）×（ａｒｃｔａｎ βｖ／ａｒｃｔａｎ αｖ）
ｖｂ１＝（Ｖｄ／２）＋（Ｖｄ／２）×（ａｒｃｔａｎ βｖ／ａｒｃｔａｎ αｖ）
・ ・・（１）
【００７４】
画像構成部５９は、ステップＳ４０２において求めた配置領域６５にあわせて、副画像ファイル内の視差画像を縮小する（Ｓ４０３）。そして、主画像については、変換後距離画像を用いて主画像視差画像を再構成する（Ｓ４０４）。副画像についても、変換後距離画像を用いた画像の再構成を行うが、この処理は、副画像ファイルに記録されている画像ではなく、ステップＳ４０３で縮小した画像を対象として行う（Ｓ４０５）。続いて、ステップＳ４０４で再構成した主画像視差画像に、ステップＳ４０５で構成した縮小副画像の視差画像を重畳合成し、合成視差画像を生成する（Ｓ４０６）。図３１に、この処理により生成される合成視差画像をモニタに出力したときの表示例を示す。
【００７５】
合成視差画像は以上に説明した処理により完成するが、本実施形態の画像構成部５９はさらに、配置領域６５のみを対象とした拡大合成視差画像を生成する。以下、この拡大合成視差画像の生成について説明する。
【００７６】
画像構成部５９は、主画像ファイル内の視差画像、すなわち合成前の視差画像から、副画像の配置領域に相当する部分の画像を切り出す（Ｓ４０７）。以下、切り出した視差画像を部分画像と称する。続いて、切り出した部分画像を縮小される前の副画像と同じサイズまで拡大する（Ｓ４０８）。以下、拡大された視差画像を部分拡大画像と称する。続いて、画像構成部５９は、部分拡大画像の視差画像を、変換後距離画像を用いて再構成する（Ｓ４０９）。図３２に、再構成された部分拡大画像の視差画像をモニタに出力したときの表示例を示す。
【００７７】
また、副画像についても、変換後距離画像を用いて視差画像を再構成する（Ｓ４１０）。そして、ステップＳ４０９で再構成した部分拡大画像の視差画像に、ステップＳ４１０で再構成した副画像視差画像を重畳合成する。これにより、副画像の配置領域６５のみの合成視差画像が生成される（Ｓ４１１）。図３３に、副画像の配置領域６５のみの合成視差画像をモニタに出力したときの表示例を示す。画像構成部５９は、次に、ステップＳ４０６で生成した合成視差画像、ステップＳ４１１で生成した副画像配置領域のみの合成視差画像、およびステップＳ４０２で求めた配置領域の情報を含む合成視差画像ファイルを生成する（Ｓ４１２）。
【００７８】
３以上の画像ファイルを対象とした合成処理を行う場合には、ステップＳ４０１において読み取った画角の情報に基づいて、最も画角の広い画像を主画像とし、他を副画像として以降の処理を行うとよい。この場合、副画像に関連するステップは、副画像ごとに実行することとなる。あるいは、副画像の画角が主画像よりも広いままで合成を行うとすれば、副画像から主画像の画角を越える範囲を削除してから合成を行うことが考えられる。
【００７９】
なお、上記例では、物体同士の位置関係を正確に再現することを優先し、図３１の合成視差画像、図３３の合成視差画像ともに、変換後距離画像に忠実な表示を行っている。これに対し、正確さよりも見易さを優先する形態も考えられる。例えば、ユーザは、副画像をよく観察したいときに、図３３の合成視差画像の表示を要求するであろう。よって、図３３の合成視差画像の表示が要求された場合には、位置関係の正確な再現よりも、副画像の見易さを優先してもよい。そのような思想に基づいて合成視差画像ファイルを生成するときは、図３３に示した表示に代えて、図３４に示すような特殊表示を行うとよい。すなわち、主画像の中に、副画像に含まれる物体を覆い隠す位置にある物体が存在する場合には、その物体のみ表示を行わないようにする。
【００８０】
特殊表示を行うときは、ステップ４０９で部分拡大画像の視差画像を再構成する以前に、主画像の距離画像の中から、副画像内の物体の位置よりも手前の位置を示す値を有する画素を探索し、その画素の値を無限に遠くを指す値に置き換えればよい。これにより置き換えを行った範囲には物体は配置されていないことになるので、ステップＳ４０９において再構成される部分拡大画像の視差画像は、図３５に示すようなものとなる。すなわち、副画像に含まれる物体を覆い隠す位置にある物体は非表示となる。以降の処理は、前述したステップＳ４１０、Ｓ４１１およびＳ４１２の処理と同じである。
【００８１】
以下、合成視差画像ファイルのフォーマットについて説明する。図３６に示すように、合成視差画像ファイルは、ファイルヘッダＨ´、上記ステップＳ４０６で生成される画像全体の合成視差画像、および上記ステップＳ４１１で生成される副画像の配置領域のみの合成視差画像により構成される。副画像ファイルが複数あるときには、図に示すように、ファイルには、副画像の配置領域のみの合成視差画像が複数記録される。
【００８２】
図３７に示すように、ファイルヘッダＨ´には、合成の対象となる画像ファイルの数を格納する領域ｈ´１、メモリ内の主画像ファイルのファイルナンバーを格納する領域ｈ´２、副画像ファイルのファイルナンバーを格納する領域ｈ´３、副画像配置領域のみの合成視差画像の有無を示すデータを格納する領域ｈ´４、副画像の配置領域情報ｈ´５、合成視差画像のアドレスを格納する領域ｈ´６、副画像の配置領域のみの合成視差画像のアドレスを格納する領域ｈ´７が設けられている。領域ｈ´３、ｈ´５およびｈ´７は副画像の数に相当する数の領域が設けられる。なお、これ以外に、合成に用いた元の画像ファイルへのリンク情報を格納する領域を設けてもよい。
【００８３】
領域ｈ´１にはファイルの数を示す数値が設定される。領域ｈ´２および領域ｈ´３に設定するファイルナンバーはファイルを指定する識別子であり、アルファベットなどを含む記号でもよい。領域ｈ´４には、副画像配置領域のみの合成視差画像がファイルに含まれているときには“１”、含まれていないときには“０”という値が設定される。図２９に示したフローチャートでステップＳ４０７〜Ｓ４１１の処理が省略された場合には、領域ｈ´４には値“０”が設定される。領域ｈ´５には、ステップＳ４０２で求められた値ｈａ１，ｈｂ１，ｖａ１およびｖｂ１が格納される。領域ｈ´６および領域ｈ´７には、各合成視差画像が格納された位置を示すアドレスが設定される。ここでアドレスとは、例えば、図３６に示されるファイルの先頭から各合成視差画像までのオフセットとする。
【００８４】
以上に説明したように、画像構成部５９は、距離画像変換部５８による変換後の距離画像を用いて画像の合成を行う。すなわち共通座標系上で視差画像の合成を行う。このため、主画像ファイルと副画像ファイルとで、ファイルヘッダで同一の共通座標系を指定しておけば、従来手法において発生していた問題は生じず、合成の対象となる各画像ファイルが同じ装置により生成されたものであるときも、異なる装置により生成されたものであるときも、合成処理の結果は同じになる。特に、上記例のように、拡大縮小を伴う複雑な合成処理は、座標系の違いによる位置ずれが生じてしまう従来手法では、安定した結果を得ることができない。本実施形態では、座標系のずれを気にすることなく種々の画像処理を施すことができるため、上記例以上に複雑な合成処理を行ったとしても常に安定した結果を得ることができる。
【００８５】
また、本実施形態では、画像構成部５９は表示の度に合成処理を行うのではなく、合成処理により得られた合成視差画像および合成の過程で得られた情報を１つの画像ファイルにまとめて保存しておく。このため、後に同じ合成視差画像の表示が必要になった場合には、ファイル内の合成視差画像をモニタ上に再生するだけでよく、処理時間を大幅に短縮することができる。また、合成視差画像ファイルとして保存するようにしたことで、合成処理と表示処理とを異なる装置で分担して行うことが可能になる。合成処理を別個の装置に行わせることで、表示制御装置を構成する回路を簡略化することができるので、表示制御装置の小型化、低コスト化にもつながる。
【００８６】
［変形例］
なお、上記実施形態では、画像ファイル３１のファイルヘッダＨは、共通座標系の変位情報を格納する複数の領域とユーザ指定情報とを備えているが、共通座標系の変位情報を格納する領域を１つしか備えず、画像ファイルを生成するときに、ユーザが指定した１つの変位情報のみをファイルヘッダに記録する方法も考えられる。
【００８７】
また、上記実施形態では各共通座標系の原点を、カメラを構成する部材上の特徴点としているが、ユーザから撮影空間内の任意の点を指定する入力を受け付け、その点を共通座標系の原点とすることも考えられる。すなわち、変位情報は必ずしもカメラの製造時にメモリに記憶されたものに限らず、画像ファイルを生成する段階でユーザにより設定された情報でもよい。これにより、例えば基準マークがある位置に配置されるようにカメラを設置して撮影を行おうとしたところ、設置場所の状態が悪く、どうしてもカメラを少し後ろに下げて設置せざるを得ないといった状況では、基準マークを原点とする共通座標系の変位情報を、ユーザがカメラ位置に合わせて修正できるようにしてもよい。
【００８８】
また、上記実施形態では、合成視差画像ファイルには、通常の合成視差画像以外に、副画像の配置領域のみを対象とした拡大合成視差画像も記録することとしているが、表示制御装置は、拡大合成視差画像を含まないような合成視差画像ファイルを出力してもよいし、合成視差画像ファイルの生成は行わず、画像表示を行う度に合成を行ってもよい。
【図面の簡単な説明】
【００８９】
【図１Ａ】本発明のファイル生成装置の一実施形態であるステレオカメラの外観図(正面側)
【図１Ｂ】本発明のファイル生成装置の一実施形態であるステレオカメラの外観図(背面側)
【図２】ステレオカメラの内部構成を示すブロック図
【図３】撮影空間を例示した図
【図４】視差画像（ＲＧＢデータ）を例示した図
【図５】固有座標系を例示した図
【図６】カメラの他の構成を例示した図
【図７】他の構成を有するカメラの外観を例示した図
【図８】画像ファイルのフォーマットを示す図
【図９】画像ファイルのファイルヘッダの一部領域を示す図
【図１０】従来手法の問題点について説明するための図
【図１１】従来手法の問題点について説明するための図
【図１２】従来手法の問題点について説明するための図
【図１３】従来手法の問題点について説明するための図
【図１４】従来手法の問題点について説明するための図
【図１５】共通座標系を例示した図
【図１６】外観上認識し得る原点の一例を示す図
【図１７】外観上認識し得る原点の他の例を示す図
【図１８】共通座標系の原点の他の候補を示す図
【図１９】変位情報を設定する領域ｈ８の詳細フォーマットを示す図
【図２０】立体画像表示システムの概要を示す図
【図２１】表示制御装置の構成例を示す図
【図２２】距離画像変換部の処理を例示したフローチャート
【図２３】画像構成部の処理を例示したフローチャート
【図２４】複数画像ファイル取込時の表示制御処理を例示したフローチャート
【図２５】主画像取得時のカメラ、撮影空間、共通座標系の関係を例示した図
【図２６】主画像のみの表示例を示す図
【図２７】副画像取得時のカメラ、撮影空間、共通座標系の関係を例示した図
【図２８】副画像のみの表示例を示す図
【図２９】合成視差画像ファイルの生成処理を例示したフローチャート
【図３０】副画像の配置領域について説明するための図
【図３１】合成視差画像の表示例を示す図
【図３２】主画像の部分拡大画像の表示例を示す図
【図３３】副画像の配置領域のみの合成視差画像の表示例を示す図
【図３４】副画像の配置領域のみの合成視差画像の特殊表示の例を示す図
【図３５】特殊表示のための部分拡大画像の補正例を示す図
【図３６】合成視差画像ファイルのフォーマットを示す図
【図３７】合成視差画像ファイルのヘッダの一部領域を示す図
【符号の説明】
【００９０】
１  ステレオカメラ、  ２ａ，２ｂ，２ｃ  撮像レンズ、  
３  シャッタレリーズボタン、  ４  ファインダ、  ５  スピーカ、  ６  マイク、  
７  モニタ、  ８  カードスロット、  ９  メモリカード、  １０  外部接続Ｉ／Ｆ、  
１１ａ，１１ｂ，１１ｃ  ＣＣＤ、  １４，５５  システムバス、
２７，３３，３７，６１，６２，６３，６４  撮影空間に配置された物体
２８ａ，２８ｂ  ＲＧＢデータ、  ２９  赤外線照射部、  
３１  画像ファイル、  Ｈ，Ｈ´  ヘッダ、  ３２，３６  従来のステレオカメラ、
３４，３８  固有座標系、  ４０，４７  立体表示モニタ、  
４３，４４ａ，４４ｂ  基準マーク、
４５  立体表示システム、  ４６  表示制御装置、  ６５  副画像の配置領域
【図１Ａ】
2008160381.tif 000003
【図１Ｂ】
2008160381.tif 000004
【図２】
2008160381.tif 000005
【図３】
2008160381.tif 000006
【図４】
2008160381.tif 000007
【図５】
2008160381.tif 000008
【図６】
2008160381.tif 000009
【図７】
2008160381.tif 000010
【図８】
2008160381.tif 000011
【図９】
2008160381.tif 000012
【図１０】
2008160381.tif 000013
【図１１】
2008160381.tif 000014
【図１２】
2008160381.tif 000015
【図１３】
2008160381.tif 000016
【図１４】
2008160381.tif 000017
【図１５】
2008160381.tif 000018
【図１６】
2008160381.tif 000019
【図１７】
2008160381.tif 000020
【図１８】
2008160381.tif 000021
【図１９】
2008160381.tif 000022
【図２０】
2008160381.tif 000023
【図２１】
2008160381.tif 000024
【図２２】
2008160381.tif 000025
【図２３】
2008160381.tif 000026
【図２４】
2008160381.tif 000027
【図２５】
2008160381.tif 000028
【図２６】
2008160381.tif 000029
【図２７】
2008160381.tif 000030
【図２８】
2008160381.tif 000031
【図２９】
2008160381.tif 000032
【図３０】
2008160381.tif 000033
【図３１】
2008160381.tif 000034
【図３２】
2008160381.tif 000035
【図３３】
2008160381.tif 000036
【図３４】
2008160381.tif 000037
【図３５】
2008160381.tif 000038
【図３６】
2008160381.tif 000039
【図３７】
2008160381.tif 000040