(57)【要約】【課題】複数の立体画像から合成立体画像を生成して表示するときの処理時間を短縮する。また表示中の合成立体画像に対し、所定部分の拡大表示が要求されたときに、短時間で拡大表示を行えるようにする。【解決手段】主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取り込む。主立体画像に合わせて再構成した副立体画像を主立体画像に合成して第１の合成立体画像（全体の合成視差画像）を生成する。また、副立体画像に合わせて再構成した主立体画像を副立体画像に合成して第２の合成立体画像（副画像配置領域のみの合成視差画像）を生成する。立体表示用の画像ファイルとして、第１の合成立体画像と第２の合成立体画像とを含む所定フォーマットのファイルを生成する。合成立体画像の全体表示を要求されたときには第１の合成立体画像を、副画像配置領域のみの拡大表示を要求されたときには第２の合成立体画像を表示出力する。【選択図】図３６
2008160382.tif 000002
【特許請求の範囲】
【請求項１】
立体表示に用いられる画像ファイルを生成するファイル生成装置であって、
主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取り込むファイル取込手段と、
前記主立体画像に合わせて再構成した副立体画像を前記主立体画像に合成して第１の合成立体画像を生成し、前記副立体画像に合わせて再構成した主立体画像を前記副立体画像に合成して第２の合成立体画像を生成する画像構成手段と、
前記第１の合成立体画像と前記第２の合成立体画像とを含む所定フォーマットのファイルを生成するファイル生成手段を備えたファイル生成装置。
【請求項２】
前記ファイル取込手段は、一または複数の副画像ファイルを取り込み、
前記画像構成手段は、各副画像ファイルに記録されている副立体画像について前記第２の合成立体画像を生成し、
前記ファイル生成手段は、前記第２の合成立体画像を複数含むフォーマットのファイルを生成することを特徴とする請求項１記載のファイル生成装置。
【請求項３】
前記ファイル生成手段は、前記各副立体画像を前記主立体画像に合成するときの副立体画像ごとの配置位置の情報を、さらに含むフォーマットのファイルを生成することを特徴とする請求項１または２記載のファイル生成装置。
【請求項４】
前記主立体画像および前記各副立体画像が、撮像系が捉えた点の所定座標系における位置座標を各点に対応する画素値として記録した距離画像と、前記各点の色を画素値として記録した視差画像とにより構成される画像であることを特徴とする請求項１から３のいずれか１項記載のファイル生成装置。
【請求項５】
前記主立体画像を構成する前記距離画像と前記各副立体画像を構成する前記距離画像とが共通の座標系により表現された情報となるように座標変換を行う距離画像変換手段をさらに備えることを特徴とする請求項４記載のファイル生成装置。
【請求項６】
前記副立体画像について奥行き方向の範囲を設定する範囲設定手段をさらに備え、
前記画像構成手段が、前記主立体画像を前記副立体画像に合わせて再構成するときに、前記主立体画像の前記範囲設定手段により設定された範囲外の情報を使用せずに前記主立体画像を再構成することを特徴とする請求項１から５のいずれか１項記載のファイル生成装置。
【請求項７】
立体表示に用いられる画像ファイルを生成するファイル生成方法であって、
主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取得し、
前記主立体画像に合わせて再構成した副立体画像を前記主立体画像に合成して第１の合成立体画像を生成し、
前記副立体画像に合わせて再構成した主立体画像を前記副立体画像に合成して第２の合成立体画像を生成し、
前記第１の合成立体画像と前記第２の合成立体画像とを含む所定フォーマットのファイルを生成するファイル生成方法。
【請求項８】
合成立体画像の表示を制御する表示制御装置であって、
主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取り込むファイル取込手段と、
前記副立体画像について奥行き方向の範囲を設定する範囲設定手段と、
前記副立体画像を前記主立体画像に合わせて再構成するとともに、前記主立体画像を前記副立体画像に合わせて前記範囲設定手段により設定された範囲外の情報を使用せずに再構成する再構成手段と、
前記再構成された副立体画像を前記主立体画像に合成することにより第１の合成立体画像を生成するとともに、前記再構成された主立体画像を前記副立体画像に合成することにより第２の合成立体画像を生成する合成手段と、
前記第１の合成立体画像および前記第２の合成立体画像の所定の画面への出力を制御する出力制御手段とを備えた表示制御装置。
【請求項９】
合成立体画像の表示を制御する表示制御方法であって、
主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取得し、
前記副立体画像について奥行き方向の範囲を設定し、
前記副立体画像を前記主立体画像に合わせて再構成するとともに、前記主立体画像を前記副立体画像に合わせて、前記設定された範囲外の情報を使用せずに再構成し、
前記再構成された副立体画像を前記主立体画像に合成することにより第１の合成立体画像を生成するとともに、前記再構成された主立体画像を前記副立体画像に合成することにより第２の合成立体画像を生成し、
前記第１の合成立体画像および前記第２の合成立体画像の所定の画面に出力する表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体表示に用いられるデータを記録した画像ファイルの生成方法および装置と、合成画像の立体表示を行うときの表示制御方法および装置に関する。
【背景技術】
【０００２】
コンピュータビジョンの分野では、撮影空間をある方向から見たときに視認できる点の位置を光学的に計測することにより、撮影空間に配置された物体の三次元形状を認識したり、撮影空間の奥行きを認識したりすることが行われている。計測の手法としては、三角測量の原理を利用したステレオ画像法、光の照射から反射光の受光までの時間を測定するＴＯＦ（Time of Flight）法、スリット光を照射したときのパターン光を調べる光切断法などが知られている。
【０００３】
視認できる点の位置を所定の座標系における座標値として表し、その座標値を画素値として記録した画像は、一般に「距離画像」、「奥行画像」などと呼ばれている。距離画像には、人間が対象を両眼視することにより認識する空間的な位置の情報が含まれている。一方、通常の撮影により得られるＲＧＢデータあるいは濃淡画像には、人間が物体を見たときに認識する色や明るさの情報が含まれている。よって、距離画像から得られる情報とＲＧＢデータなどから得られる情報とを組み合わせれば、人間が視覚により取得するのとほぼ同等の情報をコンピュータに認識させることができる。さらには、距離画像から得られる情報とＲＧＢデータなどから得られる情報とを組み合わせれば、人間の目に立体的に見える画像を形成し、表示することもできる。例えば、特許文献１には、立体表示を行う画像表示制御装置および表示システムが開示されている。
【特許文献１】特開２００２−０９５０１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
二次元画像の画像処理では、複数の画像を合成することにより新たな構図の画像を形成することがよく行われる。立体画像の場合も同様に、複数台のカメラにより（あるいは同じカメラで異なる時間に）取得した立体表示用のデータを合成し、あらたな構図の立体画像を形成したいというニーズは少なくない。また、二次元画像の表示制御では、表示画面上で注目部位が指定された場合に、その部分を拡大表示するといったことがよく行われている。立体画像表示の場合も、同様の表示制御を行いたいというニーズがある。
【０００５】
しかし、立体画像の画像処理は、二次元画像の画像処理と比べると、複雑で時間もかかる。このため、合成処理や拡大処理を表示の直前に行うと画像の表示速度は低下する。本発明はこの問題に鑑みて、立体表示用のデータを合成してから表示する場合、さらには表示された合成画像の中から注目部位を指定して拡大表示する場合に、表示速度を低下させることなく所望の表示を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明のファイル生成装置は、立体表示に用いられる画像ファイルを生成する装置であり、以下のファイル取込手段、画像構成手段およびファイル生成手段を備える。ファイル取込手段は、主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取り込む。ここで、主立体画像、副立体画像は、撮像系が捉えた点の所定座標系における位置座標を各点に対応する画素値として記録した距離画像と、前記各点の色を画素値として記録した視差画像とにより構成される画像とするのがよい。なお、ファイルを取り込む時点では、いずれのファイルに記録された立体画像を主立体画像とするかは、決まっていなくてもよい。また、ファイル取込手段は、副画像ファイルとして複数のファイルを取り込んでもよい。
【０００７】
画像構成手段は、主立体画像に合わせて再構成した副立体画像を主立体画像に合成して第１の合成立体画像を生成し、副立体画像に合わせて再構成した主立体画像を副立体画像に合成して第２の合成立体画像を生成する。ここで、主立体画像に合わせて再構成するとは、主立体画像と副立体画像とを合成するにあたり主立体画像には変更を加えず副立体画像を主立体画像との合成に適した形に構成し直すことを意味する。具体的には画素数の調整（拡大／縮小）、色味の調整などを行うことを意味する。副立体画像に合わせて再構成するとは、その逆の場合を意味する。
【０００８】
また、ファイル生成手段は、第１の合成立体画像と第２の合成立体画像とを含む所定フォーマットのファイルを生成する。あるいは、各副立体画像を主立体画像に合成するときの副立体画像ごとの配置位置の情報を、さらに含むフォーマットのファイルを生成してもよい。
【０００９】
ファイル取込手段により複数の副画像ファイルが取り込まれたときには、画像構成手段は、各副画像ファイルに記録されている副立体画像について前記第２の合成立体画像を生成し、ファイル生成手段は、前記第２の合成立体画像を複数含むフォーマットのファイルを生成する。
【００１０】
上記ファイル生成装置は、主立体画像を構成する距離画像と各副立体画像を構成する距離画像とが共通の座標系により表現された情報となるように座標変換を行う距離画像変換手段をさらに備えるものとすることが好ましい。主立体画像と副立体画像とが異なるカメラにより取得された画像である場合、各立体画像を構成する距離画像が異なる座標系により表現されているために意図したとおりの合成結果が得られない場合があるが、座標系を揃えることで精度の高い合成を行うことができる。
【００１１】
また、上記ファイル生成装置に、副立体画像について奥行き方向の範囲を設定する範囲設定手段をさらに備え、画像構成手段が、主立体画像を副立体画像に合わせて再構成するときに、主立体画像の範囲設定手段により設定された範囲外の情報を使用せずに主立体画像を再構成するようにしてもよい。
【００１２】
また、本発明のファイル生成方法は、立体表示に用いられる画像ファイルを生成するファイル生成方法であって、主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取得し、主立体画像に合わせて再構成した副立体画像を前記主立体画像に合成して第１の合成立体画像を生成し、副立体画像に合わせて再構成した主立体画像を前記副立体画像に合成して第２の合成立体画像を生成し、第１の合成立体画像と前記第２の合成立体画像とを含む所定フォーマットのファイルを生成するものである。
【００１３】
本発明のファイル生成方法および装置により生成される画像ファイルには、主立体画像をベースにして生成された第１の合成立体画像と副立体画像をベースにして生成された第２の合成立体画像とが格納される。立体表示を行うときには画像ファイルに記録されている第１または第２の合成立体画像を画面に再生すればよいので、合成立体画像の高速表示を実現できる。さらには、立体表示を行う度に合成を行う必要はなくなるので、表示装置の構造を簡略化でき、装置の小型化、さらには装置コストの削減にもつながる。また、第１の合成立体画像には主立体画像が担持していた情報が精度よく含まれ、第２の合成立体画像には副立体画像が担持していた情報が精度よく含まれているので、ユーザは、画像全体を観察したいときには第１の合成立体画像を表示し、注目部位のみ観察したいときには第２の合成立体画像を表示するというように、表示を切り替えることで目的に適った観察を行うことができる。
【００１４】
本発明の表示制御装置は、合成立体画像の表示を制御する表示制御装置であって、以下のファイル取込手段、範囲設定手段、再構成手段、合成手段および出力制御手段を備える。ファイル取込手段は、主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取り込む。範囲設定手段は、副立体画像について奥行き方向の範囲を設定するための手段である。再構成手段は、副立体画像を主立体画像に合わせて再構成するとともに、主立体画像を副立体画像に合わせて範囲設定手段により設定された範囲外の情報を使用せずに再構成する。また、合成手段は、再構成された副立体画像を主立体画像に合成することにより第１の合成立体画像を生成するとともに、再構成された主立体画像を副立体画像に合成することにより第２の合成立体画像を生成する。出力制御手段は、第１の合成立体画像および第２の合成立体画像の所定の画面への出力を制御する。
【００１５】
本発明の表示制御方法は、合成立体画像の表示を制御する表示制御方法であって、主立体画像が記録された主画像ファイルと、副立体画像が記録された副画像ファイルを取得し、副立体画像について奥行き方向の範囲を設定し、副立体画像を前記主立体画像に合わせて再構成するとともに、主立体画像を前記副立体画像に合わせて前記設定された範囲外の情報を使用せずに再構成し、再構成された副立体画像を主立体画像に合成することにより第１の合成立体画像を生成するとともに、再構成された主立体画像を副立体画像に合成することにより第２の合成立体画像を生成し、第１の合成立体画像および第２の合成立体画像の所定の画面に出力するものである。
【００１６】
本発明の表示制御装置によれば、副立体画像を合成のベースとして生成された第２の合成立体画像には、主立体画像の設定された範囲外に含まれていた情報は反映されない。よって、ユーザは、副立体画像に含まれている情報に着目しながら合成立体画像の観察を行いたい場合には、主立体画像の不要な情報が非表示となるように範囲を設定すればよく、合成立体画像を観察するときに都合がよい。
【発明を実施するための最良の形態】
【００１７】
以下、本発明のファイル生成装置の一実施形態について、図面を参照しながら説明する。本発明のファイル生成装置は、既存の撮像装置により生成されたファイルを取り込んで合成画像ファイルを生成することも可能であるが、以下に説明する実施形態では、新しいフォーマットの画像ファイルから合成立体画像ファイルを生成する場合を例示しながら説明する。
【００１８】
［  合成対象の取得  ］
はじめに、合成の対象となる個々の立体画像を取得するのに用いられるステレオカメラと、そのステレオカメラが出力する画像ファイルのフォーマットについて説明する。
【００１９】
図１Ａおよび図１Ｂはステレオカメラの外観図であり、図１Ａは正面側、図１Ｂは背面側の外観を示している。このステレオカメラ１は、撮影空間の奥行きをステレオ法により  測定するタイプのカメラで、２つの撮像レンズ２ａ、２ｂを備えている。ステレオカメラ１は、この他、一般のデジタルカメラと同様、シャッタレリーズボタン３、ファインダ４、スピーカ５、マイク６、液晶モニタ７、メモリカード９をセットするカードスロット８、ケーブルを接続する外部接続インタフェース１０、その他いくつかの操作ボタンや操作ダイヤル（図示せず）を備えている。
【００２０】
図２は、ステレオカメラ１の内部構成を示すブロック図である。図に示すように、ステレオカメラ１は、撮像レンズ２ａ、２ｂ、絞り（図示せず）、ＣＣＤ１１ａ、１１ｂおよびレンズの位置や向き、絞りの開閉、ＣＣＤの電荷放出タイミングなどを制御するための機構（モータ、制御回路など：図示せず）からなる撮像系を備え、さらに撮像系により得られた信号をデジタルデータに変換する手段として、Ａ／Ｄ変換部１２ａ、１２ｂを備えている。撮像系の基線長および輻輳角は、モータの駆動により撮像レンズ２ａ、２ｂ（ＣＣＤなども含む）の位置や向きを変更することで、調整可能となっている。
【００２１】
また、ステレオカメラ１は、モニタ７への表示出力を制御する表示制御部１５、スピーカ５への出力およびマイク６からの入力を制御する音声入出力制御部１６、メモリカードスロット８に装填されたメモリカード９へのデータの記録およびメモリカード９からのデータの読み出しを制御する読出／書込制御部１７、外部接続インタフェース１０に接続された機器との間の入出力を制御する転送制御部１８を備える。これらの制御部は、それぞれ専用の回路もしくはドライバプログラムとして実装されている。
【００２２】
また、ステレオカメラ１は、ＳＤＲＡＭなどのメモリ２３と、カメラ全体の動作を制御する全体制御部１９を備える。全体制御部１９は、制御プログラムが記録されたＲＡＭ２１と、制御に利用する各種設定値が記録されたＥＥＰＲＯＭ２２と、制御プログラムを実行するＣＰＵ２０とにより構成され、シャッタレリーズボタン３をはじめとする操作部からの入力を受け付けて、各部に対し直接またはシステムバス１４を介して指示信号を送出する。指示信号を受けた各部はメモリ２３を介して処理済みデータを交換しながら処理を行う。
【００２３】
システムバス１４には、この他、画像処理部１３ａ、１３ｂ、圧縮処理部６６、変位情報記憶部２４、距離画像生成部２５および画像ファイル生成部２６が接続されている。本実施形態では、変位情報記憶部２４は後述するデータを記憶するＥＥＰＲＯＭとして実装され、画像処理部１３ａ、１３ｂ、圧縮処理部６６、距離画像生成部２５および画像ファイル生成部２６は、それぞれ専用のプロセッサとして実装される。但し、これらの処理部の機能を兼ね備える１つのプロセッサとして実装してもよいし、全体制御部１９のＲＡＭ２１に記憶されるプログラムの１つとして実装してもよく、実装するときの形態は特に限定されない。
【００２４】
以下、ステレオカメラ１の動作について、画像処理部１３ａ、１３ｂ、変位情報記憶部２４、距離画像生成部２５および画像ファイル生成部２６の処理に着目しながら説明する。
【００２５】
シャッタレリーズボタン３の押下など撮影のための操作が行われると、その操作は全体制御部１９により検出され、全体制御部１９から撮像系に対し各種指示信号が送出される。これにより、撮像系からＡ／Ｄ変換部１２ａ、１２ｂに撮影空間を表す映像信号が入力され、Ａ／Ｄ１２ａ、１２ｂから、それぞれＲＧＢデータが出力される。画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されるＲＧＢデータを、メモリ２３に格納する。例えば、図３に示すように、三角錐の形をした物体２７が配置された撮影空間を撮影した場合であれば、図４に示すように、撮像レンズ２ａを通して得られたＲＧＢデータ２８ａと、撮像レンズ２ｂを通して得られたＲＧＢデータ２８ｂとが、メモリ２３に格納される。
【００２６】
続いて、画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されたＲＧＢデータに対しＲＧＢ−ＹＣＣ変換を施す。そして、変換により得られたＹＣＣデータをメモリ２３に格納する。その後、このＹＣＣデータは圧縮処理部６６により読み出され、圧縮された後再度メモリ２３に格納される。これにより、レンズ２ａを通して得られたＲＧＢデータと、同時刻にレンズ２ｂを通して得られたＲＧＢデータと、それらのＲＧＢデータを変換、圧縮することにより生成された２つのＹＣＣデータとが、メモリ２３に格納されることとなる。但し、ＲＧＢ−ＹＣＣ変換は行わず、ＲＧＢデータをそのまま圧縮処理部６６により圧縮してメモリ２３に保存してもよい。その場合には、後述する処理において、ＹＣＣデータはＲＧＢデータと読み替えるものとする。
【００２７】
距離画像生成部２５は、同時刻に異なるレンズを通して取得された２つのＲＧＢデータをメモリ２３から読み出す。そして、パターンマッチングを行うことにより、２つのＲＧＢデータを構成する画素の対応づけを行う。例えば図４の例であれば、ＲＧＢデータ２８ａの画素ＰａはＲＧＢデータ２８ｂの画素Ｐｂと対応づけられる。同様にＲＧＢデータ２８ａ，２８ｂを構成する他の画素についても、同様の対応付けが行われる。
【００２８】
続いて、距離画像生成部２５は、上記画素の対応付けと撮像系の基長および輻輳角の情報を利用して、ステレオ法（三角測量法）に基づく演算を行い、撮影空間内のカメラで捉えられるすべての点の空間座標値を求める。この演算は撮像系に固有の座標系（以下、固有座標系）上で行い、各点の位置は、固有座標系における座標値として表すこととする。図５は、図３に示した撮影空間内に、ステレオカメラ１の左右方向をＸｎ軸、上下方向をＹｎ軸（図示せず）、背面から正面に向かう方向をＺｎ軸とした直交座標形式の固有座標系を配したところを示している。図の例では、固有座標系の原点は、カメラ正面側の、カメラの中心より撮像レンズ２ｂ側に少しずれた位置にある。ＲＧＢデータ２８ａの画素ＰａとＲＧＢデータ２８ｂの画素Ｐｂとが表していた、撮影空間内の点Ｐｒの位置は、（ｘｒ，ｙｒ，ｚｒ）と表される（但し、ｙｒは図示せず）。
【００２９】
演算を繰り返すことによりカメラが捉えたすべての点についての座標値（ｘ、ｙ、ｚ）が求まると、距離画像生成部２５は、各点について求めた座標値（ｘ、ｙ、ｚ）を、その撮影空間の距離画像として記録する。例えば、各点のｘ値、ｙ値、ｚ値を、それぞれ８ビットの画素データとして記録する。そして生成した距離画像を、前記ＲＧＢデータやＹＣＣデータとともに、メモリ２３に格納する。なお、距離画像も、ＹＣＣデータと同じく圧縮処理部６６により圧縮してもよい。
【００３０】
なお、ステレオカメラ１は、撮影空間を一方向から見たときに視認できる点の位置をステレオ法により求めるように構成されたカメラであるため、距離画像の画素値は（ｘ，ｙ，ｚ）座標値であるが、ステレオ法以外の手法を用いるカメラの場合には、距離画像の画素値として他の値が記録されることもある。ステレオカメラ１と異なるタイプのカメラとしては、例えば、図２の破線で囲んだ部分の構成Ｓ１を、図６の破線で囲んだ構成Ｓ２に置き換えたカメラが考えられる。構成Ｓ２は、撮像レンズ２ｃ、ＣＣＤ１１ｃ、Ａ／Ｄ変換部１２ｃ、画像処理部１３ｃ、赤外線照射部２９および距離計測部３０を備えた構成である。構成Ｓ２では、赤外線照射部２９は撮影空間に対し振幅変調された赤外線を照射する。照射のタイミングや振幅変調の周波数は、距離計測部３０により制御される。照射された赤外線は撮影空間内の各所において反射され、反射光は撮像レンズ２ｃ、ＣＣＤ１１ｃにより受光される。Ａ／Ｄ変換部１２ｃは反射光を表す信号を距離計測部３０に供給する。距離計測部３０は、赤外線照射部２９に指示した照射タイミング、反射光の受光タイミングおよび照射光と反射光の位相ずれに基づいて（すなわちＴＯＦ法により）、撮影空間内のカメラが捉えられるすべての点までの距離および方向を算出する。つまり、撮影空間に極座標系を定義したときの座標値を求める。構成Ｓ２を備えたカメラの場合、距離画像生成部２５は、その極座標系の座標値（ｒ，θ，φ）を画素値とした距離画像を生成する。
【００３１】
なお、カメラの構成としては、この他、図２の構成Ｓ１と図６の構成Ｓ２とを兼ね備え、ステレオ法とＴＯＦ法を切り替えて用いることができるカメラも考えられる。図７に、２種類の構成Ｓ１、Ｓ２を兼ね備えたカメラの外観を例示する。図７に示される撮像レンズ２ｂは、図２の撮像レンズ２ｂとして機能するとともに、図６の撮像レンズ２ｃとしても機能する。
【００３２】
このように、撮影空間の三次元情報を取得するためのカメラの構成は種々考えられ、どの手法を採用するかによって得られる三次元情報の種類や精度は異なるが、撮影空間に係る三次元的な情報を取得することができれば、カメラの構成や距離画像の画素値として記録される値の種類は、どのようなものであってもよい。
【００３３】
次に、画像ファイル生成部２６による画像ファイルの生成処理について説明する。画像ファイル生成部２６は、図８に示すフォーマットのファイル、すなわち、ファイルヘッダＨ、距離画像Ｄ、および１組のＹＣＣデータ（以下、視差画像Ｒ，Ｌと称する）を含む画像ファイル３１を生成する。ファイルヘッダに設定する情報は、カメラを構成する各メモリから読み出す。もしくは、モニタ７に表示される設定画面においてユーザが選択あるいは入力した情報を取り込む。視差画像Ｒ，Ｌと距離画像Ｄは、メモリ２３に記憶されているものを読み出す。
【００３４】
なお、上記例では、画像ファイルに格納するＹＣＣデータを一組の視差画像Ｒ，Ｌとしているが、一方の撮像レンズを通して得られた画像から生成されたＹＣＣデータのみをファイルに格納するようにしてもよい。図６を参照して説明した構造のカメラを使用した場合も撮像レンズは１つであるため、１つのＹＣＣデータが画像ファイルに格納されることとなる。
【００３５】
画像ファイル生成部２６は、生成した画像ファイルを一端メモリ２３に保存する。メモリ２３に記憶された画像ファイルは、全体制御部１９の制御の下、読出／書込制御部１７に転送され、カードスロット８を経てメモリカード９などの記録媒体に記録される。または、同じく全体制御部１９の制御の下、転送制御部１８に転送され、外部接続インタフェース１０を介して、他の装置へと転送される。あるいは、画像ファイルは表示制御部１５に転送され、表示制御部１５によりモニタ７に表示出力される。
【００３６】
以下に、画像ファイル３１のフォーマットの詳細を示す。画像ファイル３１は、前述したとおり、ファイルヘッダＨ、距離画像Ｄおよび視差画像Ｒ，Ｌにより構成される。ファイルヘッダＨには、ファイルタイプやファイルサイズのほか、ファイルの先頭から距離画像までのオフセットと、ファイルの先頭から視差画像Ｒ，Ｌまでのオフセットの情報が含まれている。よって、ファイルの先頭に記録されているファイルタイプの情報からヘッダ情報のフォーマットを認識し、ヘッダ情報中のオフセット情報を参照すれば、距離画像Ｄや視差画像Ｒ，Ｌを読み出すことができる。
【００３７】
また、図９に示すように、ファイルヘッダＨには、距離画像に関連する情報を設定する領域として、画像を撮影したときの輻輳角を設定する領域ｈ１、基線長を設定する領域ｈ２、焦点距離を設定する領域ｈ３、撮影画角を設定する領域ｈ４、距離画像の大きさ（縦横の画素数）を設定する領域ｈ５、距離画像の各画素に割り当てられたビット数を設定する領域ｈ６が設けられている。領域ｈ３はステレオカメラ１のように撮像レンズが２つあるカメラで各撮像レンズについての焦点距離を設定できるように定義されている。領域ｈ４は、水平方向の画角と垂直方向の画角を設定でき且つ２つの撮像レンズのそれぞれについて二方向の画角を設定できるように定義されている。
【００３８】
輻輳角、基線長、焦点距離、撮影画角、距離画像の大きさや一画素あたりのビット数は、撮像系に固有に定められているか、もしくは撮像系を調整したときに決定される。撮像系に固有か、調整により可変かは、カメラの仕様により異なる。例えば、輻輳角が固定されたカメラであれば輻輳角は固有の値であり、輻輳角が調整可能なカメラであれば輻輳角は可変な値となる。撮像系に固有の値は、ステレオカメラ１内の所定のメモリ（全体制御部１９のＥＥＰＲＯＭ２２、メモリ２３あるいは他の図示しないメモリでもよい）の予め決められた領域に記録されている。また、調整により決定される値は、調整を行った制御部（例えば輻輳角であれば、レンズの向きを制御する回路）により、調整が完了した時点で、所定のメモリに記録される。画像ファイル生成部２６は、そのようにしてメモリに記憶された値を読み出し、読み出した値をファイルヘッダの上記各領域ｈ１〜ｈ６に設定する。
【００３９】
また、ファイルヘッダには、距離画像に関連する情報を設定する領域として、さらに、共通座標系の座標形式（直交座標または極座標）を設定する領域ｈ７、共通座標系の変位情報を設定する領域ｈ８、ユーザが指定した一の共通座標系を設定する領域ｈ９が設けられている。以下、領域ｈ７〜ｈ９に設定する共通座標系の情報について、共通座標系という概念を持たない従来の方法や装置の問題点を指摘しながら、説明する。
【００４０】
図１０は、撮影空間の三次元情報（距離画像など）を取得する機能を備えた第１のカメラ３２と、立方体の物体３３が配置された撮影空間と、第１のカメラ３２の固有座標系３４と、固有座標系３４の原点３５との関係を示す図である。また、図１１は、撮影空間の三次元情報を取得する機能を備えた第２のカメラ３６と、立方体の物体３７が配置された撮影空間と、第２のカメラ３６の固有座標系３８と、固有座標系３８の原点３９との関係を示す図である。図１０、図１１において、一点鎖線は、カメラ３２、３６を左右に分ける中心線を表している。図１０の撮像空間では、物体３３はカメラ３２の中心より左側に位置している。一方、図１１の撮像空間では、物体３７はカメラ３６の中心よりも右側に位置している。また、図１０と図１１の対比から明らかであるように、第１のカメラ３２と第２のカメラ３６とでは、固有座標系の原点の位置は大きく異なっている。なお、これらの図において、固有座標系３４、３８のＹ軸は図の紙面に垂直であり、原点３５、３９と重なって図示されている。
【００４１】
図１２は、図１０に示す位置関係で撮影を行い、図１１に示した位置関係で撮影を行い、２回の撮影により得られた２組の視差画像を合成して立体モニタ４０に表示するときの、表示座標系４１と、表示される物体３３および物体３７の関係を示す図である。従来手法では、固有座標系上で求められた距離画像の各画素値が、表示の奥行き感を表す値としてそのまま用いられる。すなわち、図１０に示した原点３５と物体３３の位置関係は、表示座標系４１における原点４２と物体３３の位置関係として、そのまま維持される。同様に、図１１に示した原点３９と物体３７の位置関係も、表示座標系４１における原点４２と物体３７の位置関係として、そのまま維持される。その結果、立体モニタ４０には、図１３に示すように、物体３７の背後に物体３３が配置された映像が表示されることとなる。
【００４２】
一方、図１１に示した位置関係で、物体３７を含む撮影空間の撮影を行うときにも、物体３３を含む撮影空間の撮影を行ったときと同じく第１のカメラ３２を使用したとすれば、物体３３はカメラの中心よりも左側に配置され、物体３７はカメラの中心よりも右側に配置され、また固有座標系のＺ軸はカメラの中心よりも左側にあるので、画像合成により得られる立体画像では、図１４に例示するように、物体３３と物体３７とが離れた状態で表示されることとなる。
【００４３】
図１３と図１４の対比として示されるように、従来手法では、複数の立体画像から合成立体画像を生成しようとした場合、撮影に用いたカメラによって、合成により得られる結果が異なってしまうという問題がある。また、同様の理由で、従来手法では、立体画像から物体の形状や位置を認識して制御を行う場合に、同じ撮像系を使い続けない限り、安定した認識を行えないという問題がある。
【００４４】
従来手法のこれらの問題は、共通座標系の概念を取り入れることにより解決することができる。共通座標系は、固有座標系と同じく、撮影空間内に定義される座標系である。但し、固有座標系が個々のカメラにより定義されユーザに見えないものであるのに対し、共通座標系はユーザが把握できる形で定義される。
【００４５】
図１５は、図５に示したステレオカメラ１の固有座標系に、一例としての共通座標系を重ねて示した図である。この例では、共通座標系は３次元直交座標であり、そのＸｕ軸はステレオカメラ１の左方向から右方向に向かい、Ｙｕ軸はステレオカメラ１の下方向から上方向に向かい、Ｚｕ軸はＸｕ軸、Ｙｕ軸の両方に垂直で、カメラから撮影空間に向かって延びている。また、この例では、共通座標系の原点Ｏｎは、ステレオカメラ１の背面の中心にある。
【００４６】
画像ファイルを生成するときには、座標系を固有座標系から共通座標系に切り替えたときの原点の変位、すなわち固有座標系の原点Ｏｎと共通座標系の原点Ｏｕとのズレを、ファイルヘッダに記録する。言い換えれば、固有座標系の原点Ｏｎを始点、共通座標系の原点Ｏｕを終点とする変位ベクトルを記録する。例えば、固有座標系で表したときの共通座標系の原点Ｏｕの位置が（ｘｃ、ｙｃ、ｚｃ）という座標値（ベクトル）で表されるのであれば、そのｘｃ、ｙｃ、ｚｃの値を、共通座標系の変位情報としてファイルヘッダに格納する。
【００４７】
この共通座標系の変位情報を画像ファイルのヘッダに記録しておけば、立体画像処理や形状認識処理など距離画像を利用した処理を行うときに、距離画像の各画素値を、固有座標系における座標値から、共通座標系における座標値に置き換えてから、処理を行うことができる。図１０〜１４を参照して説明した従来手法の問題は、第１の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、同様に第２の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、置き換え後の距離画像を使って画像の合成を行うことで、解決することができる。同様に、継続的に行われる撮影の途中でカメラを交換した場合でも、交換前のカメラにより取得された距離画像、交換後のカメラにより取得された距離画像の画素値について、それぞれ上記のような置き換えを行えば、カメラを交換したことでそれまでの撮影が無駄になるということもない。その他、座標系がカメラに固有であるがために生じるあらゆる問題は、共通座標系の概念を取り入れることにより、解決することができる。
【００４８】
上記共通座標系の説明では、理解を容易にするため、共通座標系が１つしか定義されていない場合を例示しながら説明したが、ステレオカメラ１では、共通座標系として選択し得る座標系、すなわち共通座標系の候補が、複数定義されている。そして、ファイルヘッダＨには、ユーザが選択し得るすべての座標系の変位情報と、ユーザが選択した変位情報を特定するための情報とが記録される。
【００４９】
まず、領域ｈ７に設定される共通座標系の座標形式について説明する。共通座標の座標形式については、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において、ユーザから座標形式の指定を受け付けておく。選択画面において入力されたデータは、一端図２の変位情報記憶部２４に記憶される。画像ファイル生成部２６は、画像ファイルの生成時に変位情報記憶部２４からそのデータを読み出し、ヘッダの領域ｈ７に記録する。領域ｈ７には、“０”、“１”または“２”のいずれかの数値データが記録される。“１”は共通座標系が３次元直交座標系であることを示し、“２”は共通座標系が極座標系であることを示し、“０”は座標形式が不明、すなわちユーザによる座標形式の指定が行われなかったことを示す。
【００５０】
続いて、領域ｈ８に設定される共通座標系の変位情報について説明する。このステレオカメラ１では、共通座標系の原点となり得る点として、固有座標系の原点Ｏｕ０、共通座標系の概念の説明において例示したカメラ本体背面の中心点Ｏｕ１を含む合計８個の点が定義されている。このうち、カメラ本体背面の中心点は、図１６に例示するように、モニタ７に基準マーク４３を表示することで、外観上認識できるようにしている。但し、基準マーク４３の表示は、ユーザが所定の操作を行ったときのみ行う。なお、図１７に例示するように、モニタが開閉するタイプのカメラで、モニタを使用するときと使用しないときとで、カメラの背面の状態が異なるようなときには、カメラの外装部材に、印刷または加工により形成される基準マーク４４ａ、４４ｂをつけてもよい。
【００５１】
このように、共通座標系の原点を外観上認識し得る部材の外観上認識し得る位置に設けておけば、例えばカメラを交換するときに、交換前と交換後とで基準マークが同じ位置にくるようにカメラを配置するといった位置あわせを行うことができる。
【００５２】
図１８は、共通座標系の原点の候補として定義されている他の点を示す図である。図に示すように、撮像レンズ２ａと２ｂの中心点Ｏｕ２、撮像レンズ２ａ、撮像レンズ２ｂそれぞれの中心点Ｏｕ３，Ｏｕ４、ＣＣＤ１１ａと１１ｂの中心点Ｏｕ５、ＣＣＤ１１ａ、ＣＣＤ１１ｂそれぞれの中心点Ｏｕ６，Ｏｕ７が、共通座標系の原点の候補として定義されている。これらの点は、外観上は認識できないが、カメラ内部の通常見えない点であっても、所定の部材の中心点、端点など何らかの特徴がある点であれば、共通座標系の原点となり得る。
【００５３】
これら８個の点Ｏｕ０〜Ｏｕ７の固有座標系における座標値、すなわち変位情報は、カメラの製造時に変位情報記憶部２４に記憶される。但し、撮像系が焦点距離が可変なズームレンズを備えている場合には、固有座標系が撮像系の特性に応じて再定義されるため、変位情報記憶部２４に記憶されている変位情報は焦点距離の変更に応じて再設定される。具体的には、全体制御部１９が、ユーザによるズーム操作を受け付けたときに、ズーム操作により設定された焦点距離を検出し、検出された焦点距離に応じて変位情報記憶部２４に記憶されている変位情報を書き換える。焦点距離と固有座標系の原点の対応付けは予めＲＡＭ２１などに登録されている。よって、その対応付けを参照することにより、検出された焦点距離に対応する固有座標系の原点を求め、その原点を基準とした変位を計算しなおせば、変位情報を再設定することができる。画像ファイル生成部２６は、上記のように記憶あるいは再設定された変位情報を変位情報記憶部２４から読み出し、ファイルヘッダの領域ｈ８に格納する。
【００５４】
図１９に、変位情報を設定する領域ｈ８の詳細フォーマットを示す。領域ｈ８は、識別子と変位情報とを対応付けて格納する複数の領域からなる。識別子は数字、アルファベットその他記号により構成される値である。図は０から始まる通し番号を識別子とした場合を例示している。各領域にどの点の変位情報を設定するかは、予め共通のルールを設けておくことが好ましい。図示した例では、識別子０に対しては前述した点Ｏｕ０の変位情報（すなわち０，０，０）を、識別子１に対しては点Ｏｕ１（基準マーク位置）の変位情報を、以下識別子の番号が若い順に、図１８に示した点Ｏｕ２〜Ｏｕ７の変位情報を対応付けて記録している。
【００５５】
なお、領域ｈ８にはステレオカメラ１が変位情報を設定する領域のほか、撮像レンズやＣＣＤを１つしか備えていないタイプのカメラが変位情報を設定する領域を備えている。１つの撮像レンズの中心点の変位情報を設定する領域（識別子８の領域）とその１つのＣＣＤの中心点の変位情報を設定する領域（識別子９の領域）である。また、領域ｈ８にはさらに予備の領域（識別子１０の領域）も用意されている。使用されない領域には、図に示すように、０，０，０の値が設定される。
【００５６】
続いて、図９の領域ｈ９に設定されるユーザ指定情報について説明する。ユーザ指定情報は、座標形式と同じく、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において指定を受け付けておく。選択画面において入力されたデータは、一端図２の変位情報記憶部２４に記憶され、画像ファイル生成部２６により読み出されて領域ｈ９に設定される。領域ｈ９には、値“０”またはユーザが選択した一の変位情報を指し示す識別子の値が設定される。値“０”はユーザが変位情報の選択を行わなかったことを意味する。
【００５７】
以上に説明したように、ファイルヘッダの構造を、複数の座標系の変位情報を格納でき且つユーザが指定した変位情報を指示す識別子および座標形式を格納できる構造としておけば、ユーザはその画像ファイルを利用した処理を行う上で最も都合のよい共通座標系を選択することができ、その共通座標系を利用することで従来手法にはない利便性を確保することができる。さらには、その共通座標系に不都合が生じた場合に他の座標系を共通座標系として指定しなおすことができるので、目的に合わせて共通座標系を使い分けることで目的を達成しやすくなる。
【００５８】
［合成立体画像の生成］
以下、本発明のファイル生成装置および表示制御装置の実施形態として、ファイル生成機能を兼ね備えた表示制御装置を例示する。図２０に、立体画像表示システムの概要を示す。図に示すように、この立体画像表示システム４５は、表示制御装置４６と、立体表示モニタ４７と、偏光メガネ４８により構成される。立体表示モニタ４７は、左目用、右目用の２つで一組の視差画像が表示制御装置４６から供給されたときに、左目用と右目用とで偏光方向を異ならせて、２つの画像を同時に一画面に出力するものである。偏光メガネ４８は、レンズの代わりに偏光フィルタを配したメガネで、偏光フィルタのフィルタ特性は、立体表示モニタ４７による偏光の方向と対応している。これにより、偏光メガネ４８をかけて立体表示モニタ４７を観察したときには、右目は右目用の画像のみ、左目は左目用の画像のみを認識するというしくみである。
【００５９】
図２１は、表示制御装置４６の構成を示す図である。表示装置はＤＶＤ（Digital Versatile Disk）、メモリカードなど複数の記録媒体用のメディアドライブ４９ａ〜４９ｃと、メディアドライブ４９ａ〜４９ｃにセットされた記録媒体からの画像ファイルの読み出しおよび記録媒体への画像ファイルの書き込みを制御する読出／書込制御部５０と、ケーブルを接続する外部接続インタフェース５１と、外部接続インタフェース５１を介した画像ファイルの転送を制御する転送制御部５２と、取得した画像ファイルその他処理中のデータを記憶するメモリ５６と、立体モニタ４７と接続するための表示インタフェース５３と、表示インタフェース５３を介した表示出力を制御する表示出力制御部５４を備える。読出／書込制御部５０、転送制御部５２、表示出力制御部５４およびメモリ５６は、システムバス５５により接続されている。
【００６０】
システムバス５５には、さらに、再生伸長処理部５７と、距離画像変換部５８と、画像構成部５９とが接続されている。再生伸長処理部５７は、読出／書込制御部５０または転送制御部５２により取得され、メモリ５６に保存されている画像ファイルから、画像ファイル内に圧縮された状態で記録されているＹＣＣデータを取得する。そして、ＹＣＣデータを、圧縮前の状態となるように伸長し、さらにＹＣＣ−ＲＧＢ変換し、変換により得られた一組の視差画像を再びメモリ５６に保存する。
【００６１】
距離画像変換部５８は、図２２のフローチャートが示す処理Ｐ１００を実行する。距離画像変換部５８は、メモリ内の画像ファイルを参照し、そのファイルのヘッダが図９に例示した領域ｈ１〜ｈ９を備えた構造をしているか、確認する（Ｓ１０１）。その画像ファイルが異なる構造を有するファイルであれば、以降の処理は行われない。領域ｈ１〜ｈ９を備えたヘッダを有するファイルであれば、距離画像Ｄと、ファイルヘッダＨの領域ｈ１〜ｈ９に格納されている情報を取得する（Ｓ１０２）。そして、ファイルヘッダＨの領域ｈ９に設定されている値が“０”か否かを判定することにより、ユーザが共通座標系の指定を行ったか否かを判別する（Ｓ１０３）。領域ｈ９に設定されている値が“０”以外の識別子であるときは、ファイルヘッダＨの領域ｈ９からその識別子と対応付けられている変位情報を取得する（Ｓ１０４）。ここでは、変位情報として取得された座標値を（ｘｃ，ｙｃ，ｚｃ）と表すこととする。
【００６２】
続いて距離画像変換部５８は、固有座標系で表される距離画像を、ユーザが指定した共通座標系で表される距離画像に変換する（Ｓ１０５）。具体的には、距離画像を構成する各画素（ｉ，ｊ）の値（ｘｄｉｊ，ｙｄｉｊ，ｚｄｉｊ）から、変位情報が示す座標値（ｘｃ，ｙｃ，ｚｃ）を減算する。但しここで、ｉおよびｊは、画素の縦横の位置を示すものとする。ステップＳ１０５は、距離画像を構成するすべての画素を対象として実行する。変換後の距離画像は、再びメモリ５６に保存される（Ｓ１０６）。なお、ステップＳ１０３においてユーザ指定情報の値が“０”であった場合には、距離画像の変換は行われず、ステップＳ１０２において取得された距離画像が、そのままメモリ５６に保存される（Ｓ１０６）。
【００６３】
図２３は、画像構成部５９の処理を示すフローチャートである。画像構成部５９は、メモリ５６から、再生伸長処理部５７が保存した画像（ＲＧＢデータ）と、距離画像変換部５８が保存した変換後の距離画像とを取得する（Ｓ２０１）。そして、取得した画像（ＲＧＢデータ）と、変換後の距離画像とを使用して、右目用、左目用の視差画像を再構成する（Ｓ２０２）。再構成された視差画像はメモリ５６に保存される（Ｓ２０３）。表示出力制御部５４は、このときメモリ５６に保存された視差画像を立体モニタに出力する。
【００６４】
続いて、図２４を参照して、複数の画像ファイルを取り込んだときの表示制御処理について説明する。ユーザが図示されない操作部から、画像ファイルの連続取り込みの操作を行うと、読出／書込制御部または転送制御部もしくはその両方は、ユーザの操作に応じて画像ファイルの取り込みを、ユーザから取り込み完了を伝える入力があるまで、連続して実行する（Ｓ３０１，Ｓ３０２）。この操作により取り込まれた画像ファイルは、すべてメモリ５６に保存される。距離画像変換部５８は、図２２を参照して説明した距離画像変換処理Ｐ１００を、メモリ５６に記憶されている全画像ファイルを対象として繰り返し実行する（Ｓ３０３）。
【００６５】
画像構成部５９は、メモリ５６に記憶されている複数の画像ファイルを対象として合成視差画像ファイルの生成処理（Ｐ４００）を実行し、生成した合成視差画像ファイルをメモリ５６に保存する（Ｓ３０４）。メモリ５６に保存された合成画像ファイルは、その後、表示出力制御部５４によりメモリ５６から読み出されて立体モニタ４６に出力される（Ｓ３０５）。また、メモリ５６に保存された合成画像ファイルは、読出／書込制御部５０を介してメモリカードなどの記録媒体に保存したり、転送制御部５２を介して他の装置に転送することもできる（Ｓ３０５）。
【００６６】
以下、合成視差画像ファイルの生成処理（Ｐ４００）について、２つの画像ファイルから合成視差画像ファイルを生成する場合を例示しながら、さらに説明する。図２５は、合成の対象となる１つ目の画像ファイル（以下、主画像ファイル）を取得したときの、カメラ、撮影空間および共通座標系の関係を示す図である。この図が示すように、主画像ファイルは、ステレオカメラ１を用い、比較的広い画角で、物体６１、物体６３および物体６４が配された撮影空間を撮影することにより得るものとする。図２６に、この撮影により得られた視差画像をモニタに出力したときの表示例を示す。
【００６７】
図２７は、合成の対象となる２つ目の画像ファイル（以下、副画像ファイル）を取得したときの、カメラ、撮影空間および共通座標系の関係を示す図である。この図が示すように、副画像ファイルは、ステレオカメラ６０を用い、ステレオカメラ１による撮影よりも狭い画角で、物体６２が配された撮影空間を撮影することにより得るものとする。なお、ステレオカメラ６０は、ステレオカメラ１と同じく、図８や図９を参照して説明したフォーマットの画像ファイルを出力するカメラである。図２８に、この撮影により得られた視差画像をモニタに出力したときの表示例を示す。
【００６８】
図２９は、合成視差画像ファイル生成処理Ｐ４００を示すフローチャートである。画像構成部５９は、まず、主画像ファイルから水平方向の画角値αｈと、垂直方向の画角値αｖを読み込み、さらに副画像ファイルから水平方向の画角値βｈと、垂直方向の画角値βｖを読み込む（Ｓ４０１）。
【００６９】
次に、画像構成部５９は、読み込んだ画角値を使って、次式（１）により合成を行うときの主画像ＭＩ上の副画像ＳＩの配置領域を求める（Ｓ４０２）。式（１）において、Ｈｄは主画像の水平表示画素数，Ｖｄは主画像の垂直表示画素数を表す。また、副画像の配置領域は、主画像の左下の頂点を（０、０），右上の頂点を（Ｈｄ，Ｖｄ）と表したときの、副画像の水平方向の配置範囲ｈａ１〜ｈｂ１、垂直方向の配置範囲ｖａ１〜ｖｂ１として求める。図３０に、Ｈｄ，Ｖｄ，ｈａ１，ｈｂ１，ｖａ１およびｖｂ１の関係と、それにより特定される副画像の配置領域６５を例示する。  
ｈａ１＝（Ｈｄ／２）−（Ｈｄ／２）×（ａｒｃｔａｎ βｈ／ａｒｃｔａｎ αｈ）
ｈｂ１＝（Ｈｄ／２）＋（Ｈｄ／２）×（ａｒｃｔａｎ βｈ／ａｒｃｔａｎ αｈ）
ｖａ１＝（Ｖｄ／２）−（Ｖｄ／２）×（ａｒｃｔａｎ βｖ／ａｒｃｔａｎ αｖ）
ｖｂ１＝（Ｖｄ／２）＋（Ｖｄ／２）×（ａｒｃｔａｎ βｖ／ａｒｃｔａｎ αｖ）
・ ・・（１）
【００７０】
画像構成部５９は、ステップＳ４０２において求めた配置領域６５にあわせて、副画像ファイル内の視差画像を縮小する（Ｓ４０３）。そして、主画像については、変換後距離画像を用いて主画像視差画像を再構成する（Ｓ４０４）。副画像についても、変換後距離画像を用いた画像の再構成を行うが、この処理は、副画像ファイルに記録されている画像ではなく、ステップＳ４０３で縮小した画像を対象として行う（Ｓ４０５）。続いて、ステップＳ４０４で再構成した主画像視差画像に、ステップＳ４０５で構成した縮小副画像の視差画像を重畳合成し、合成視差画像を生成する（Ｓ４０６）。図３１に、この処理により生成される合成視差画像をモニタに出力したときの表示例を示す。なお、合成視差画像をモニタに出力するときには、副画像の配置領域６５を示す表示枠を一緒に表示してもよい。あるいは、所定の操作が行われたときのみ、配置領域６５を示す表示枠を表示してもよい。
【００７１】
画像構成部５９はさらに、配置領域６５のみを対象とした拡大合成視差画像を生成する。以下、この拡大合成視差画像の生成について説明する。
【００７２】
画像構成部５９は、主画像ファイル内の視差画像、すなわち合成前の視差画像から、副画像の配置領域に相当する部分の画像を切り出す（Ｓ４０７）。以下、切り出した視差画像を部分画像と称する。続いて、切り出した部分画像を縮小される前の副画像と同じサイズまで拡大する（Ｓ４０８）。以下、拡大された視差画像を部分拡大画像と称する。続いて、画像構成部５９は、部分拡大画像の視差画像を、変換後距離画像を用いて再構成する（Ｓ４０９）。図３２に、再構成された部分拡大画像の視差画像をモニタに出力したときの表示例を示す。
【００７３】
また、副画像についても、変換後距離画像を用いて視差画像を再構成する（Ｓ４１０）。そして、ステップＳ４０９で再構成した部分拡大画像の視差画像に、ステップＳ４１０で再構成した副画像視差画像を重畳合成する。これにより、副画像の配置領域６５のみの合成視差画像が生成される（Ｓ４１１）。図３３に、副画像の配置領域６５のみの合成視差画像をモニタに出力したときの表示例を示す。画像構成部５９は、次に、ステップＳ４０６で生成した合成視差画像、ステップＳ４１１で生成した副画像配置領域のみの合成視差画像、およびステップＳ４０２で求めた配置領域の情報を含む合成視差画像ファイルを生成する（Ｓ４１２）。
【００７４】
３以上の画像ファイルを対象とした合成処理を行う場合には、ステップＳ４０１において読み取った画角の情報に基づいて、最も画角の広い画像を主画像とし、他を副画像として以降の処理を行うとよい。この場合、副画像に関連するステップは、副画像ごとに実行することとなる。あるいは、副画像の画角が主画像よりも広いままで合成を行うとすれば、副画像から主画像の画角を越える範囲を削除してから合成を行うことが考えられる。
【００７５】
なお、上記例では、物体同士の位置関係を正確に再現することを優先し、図３１の合成視差画像、図３３の合成視差画像ともに、変換後距離画像に忠実な表示を行っている。これに対し、正確さよりも見易さを優先する形態も考えられる。例えば、ユーザは、副画像をよく観察したいときに、図３３の合成視差画像の表示を要求するであろう。よって、図３３の合成視差画像の表示が要求された場合には、位置関係の正確な再現よりも、副画像の見易さを優先してもよい。そのような思想に基づいて合成視差画像ファイルを生成するときは、図３３に示した表示に代えて、図３４に示すような特殊表示を行うとよい。すなわち、主画像の中に、副画像に含まれる物体を覆い隠す位置にある物体が存在する場合には、その物体のみ表示を行わないようにする。表示する範囲、表示しない範囲は、ユーザが主画像の奥行き方向の範囲を指定することにより、設定される。もしくは、副画像の距離画像に基づいて、副画像中の最も視点寄りに配置されている物体（被写体）を自動的に探索し、その物体の位置より手前（視点寄り）の範囲を非表示範囲、それ以外の範囲を表示範囲に設定してもよい。
【００７６】
特殊表示を行うときは、ステップ４０９で部分拡大画像の視差画像を再構成する以前に、主画像の距離画像の中から、非表示範囲に相当する値を有する画素を探索し、その画素の値を無限に遠くを指す値に置き換えるなどして、非表示範囲については主画像ファイルに記録されている情報が、合成画像の構成に使用されないようにすればよい。置き換えを行った範囲には物体は配置されていないことになるので、ステップＳ４０９において再構成される部分拡大画像の視差画像は、図３５に示すようなものとなる。すなわち、副画像に含まれる物体を覆い隠す位置にある物体は非表示となる。以降の処理は、前述したステップＳ４１０、Ｓ４１１およびＳ４１２の処理と同じである。
【００７７】
以下、合成視差画像ファイルのフォーマットについて説明する。図３６に示すように、合成視差画像ファイルは、ファイルヘッダＨ´、上記ステップＳ４０６で生成される画像全体の合成視差画像、および上記ステップＳ４１１で生成される副画像の配置領域のみの合成視差画像により構成される。副画像ファイルが複数あるときには、図に示すように、ファイルには、副画像の配置領域のみの合成視差画像が複数記録される。
【００７８】
図３７に示すように、ファイルヘッダＨ´には、合成の対象となる画像ファイルの数を格納する領域ｈ´１、メモリ内の主画像ファイルのファイルナンバーを格納する領域ｈ´２、副画像ファイルのファイルナンバーを格納する領域ｈ´３、副画像配置領域のみの合成視差画像の有無を示すデータを格納する領域ｈ´４、副画像の配置領域情報ｈ´５、合成視差画像のアドレスを格納する領域ｈ´６、副画像の配置領域のみの合成視差画像のアドレスを格納する領域ｈ´７が設けられている。領域ｈ´３、ｈ´５およびｈ´７は副画像の数に相当する数の領域が設けられる。なお、これ以外に、合成に用いた元の画像ファイルへのリンク情報を格納する領域を設けてもよい。
【００７９】
領域ｈ´１にはファイルの数を示す数値が設定される。領域ｈ´２および領域ｈ´３に設定するファイルナンバーはファイルを指定する識別子であり、アルファベットなどを含む記号でもよい。領域ｈ´４には、副画像配置領域のみの合成視差画像がファイルに含まれているときには“１”、含まれていないときには“０”という値が設定される。図２９に示したフローチャートでステップＳ４０７〜Ｓ４１１の処理が省略された場合には、領域ｈ´４には値“０”が設定される。領域ｈ´５には、ステップＳ４０２で求められた値ｈａ１，ｈｂ１，ｖａ１およびｖｂ１が格納される。領域ｈ´６および領域ｈ´７には、各合成視差画像が格納された位置を示すアドレスが設定される。ここでアドレスとは、例えば、図３６に示されるファイルの先頭から各合成視差画像までのオフセットとする。
【００８０】
以上に説明したように、画像構成部５９は、距離画像変換部５８による変換後の距離画像を用いて画像の合成を行う。すなわち共通座標系上で視差画像の合成を行う。このため、主画像ファイルと副画像ファイルとで、ファイルヘッダで同一の共通座標系を指定しておけば、従来手法において発生していた問題は生じず、合成の対象となる各画像ファイルが同じ装置により生成されたものであるときも、異なる装置により生成されたものであるときも、合成処理の結果は同じになる。特に、上記例のように、拡大縮小を伴う複雑な合成処理は、座標系の違いによる位置ずれが生じてしまう従来手法では、安定した結果を得ることができない。本実施形態では、座標系のずれを気にすることなく種々の画像処理を施すことができるため、上記例以上に複雑な合成処理を行ったとしても常に安定した結果を得ることができる。
【００８１】
また、本実施形態では、画像構成部５９は表示の度に合成処理を行うのではなく、合成処理により得られた合成視差画像および合成の過程で得られた情報を１つの画像ファイルにまとめて保存しておく。このため、後に同じ合成視差画像の表示が必要になった場合には、ファイル内の合成視差画像をモニタ上に再生するだけでよく、処理時間を大幅に短縮することができる。また、合成視差画像ファイルとして保存するようにしたことで、合成処理と表示処理とを異なる装置で分担して行うことが可能になる。合成処理を別個の装置に行わせることで、表示制御装置を構成する回路を簡略化することができるので、表示制御装置の小型化、低コスト化にもつながる。
【００８２】
［変形例］
上記実施形態では、合成処理を行う前に距離画像の座標系を揃えるための処理を行っているが、同じカメラで繰り返し撮影を行って得られた立体画像を合成する場合など、座標系が予め同じであることがわかっているときは、距離画像の変換は行わなくてもよい。すなわち、本発明は、従来からあるステレオカメラを使って取得された立体画像の合成にも適用可能な発明である。
【図面の簡単な説明】
【００８３】
【図１Ａ】合成対象ファイルの取得に用いられるステレオカメラの外観図(正面側)
【図１Ｂ】合成対象ファイルの取得に用いられるステレオカメラの外観図(背面側)
【図２】ステレオカメラの内部構成を示すブロック図
【図３】撮影空間を例示した図
【図４】視差画像（ＲＧＢデータ）を例示した図
【図５】固有座標系を例示した図
【図６】カメラの他の構成を例示した図
【図７】他の構成を有するカメラの外観を例示した図
【図８】画像ファイルのフォーマットを示す図
【図９】画像ファイルのファイルヘッダの一部領域を示す図
【図１０】共通座標系を用いることの利点について説明するための図
【図１１】共通座標系を用いることの利点について説明するための図
【図１２】共通座標系を用いることの利点について説明するための図
【図１３】共通座標系を用いることの利点について説明するための図
【図１４】共通座標系を用いることの利点について説明するための図
【図１５】共通座標系を例示した図
【図１６】外観上認識し得る原点の一例を示す図
【図１７】外観上認識し得る原点の他の例を示す図
【図１８】共通座標系の原点の他の候補を示す図
【図１９】変位情報を設定する領域ｈ８の詳細フォーマットを示す図
【図２０】立体画像表示システムの概要を示す図
【図２１】本発明の一実施形態における表示制御装置の構成例を示す図
【図２２】距離画像変換部の処理を例示したフローチャート
【図２３】画像構成部の処理を例示したフローチャート
【図２４】複数画像ファイル取込時の表示制御処理を例示したフローチャート
【図２５】主画像取得時のカメラ、撮影空間、共通座標系の関係を例示した図
【図２６】主画像のみの表示例を示す図
【図２７】副画像取得時のカメラ、撮影空間、共通座標系の関係を例示した図
【図２８】副画像のみの表示例を示す図
【図２９】合成視差画像ファイルの生成処理を例示したフローチャート
【図３０】副画像の配置領域について説明するための図
【図３１】合成視差画像の表示例を示す図
【図３２】主画像の部分拡大画像の表示例を示す図
【図３３】副画像の配置領域のみの合成視差画像の表示例を示す図
【図３４】副画像の配置領域のみの合成視差画像の特殊表示の例を示す図
【図３５】特殊表示のための部分拡大画像の補正例を示す図
【図３６】合成視差画像ファイルのフォーマットを示す図
【図３７】合成視差画像ファイルのヘッダの一部領域を示す図
【符号の説明】
【００８４】
１  ステレオカメラ、  ２ａ，２ｂ，２ｃ  撮像レンズ、  
３  シャッタレリーズボタン、  ４  ファインダ、  ５  スピーカ、  ６  マイク、  
７  モニタ、  ８  カードスロット、  ９  メモリカード、  １０  外部接続Ｉ／Ｆ、  
１１ａ，１１ｂ，１１ｃ  ＣＣＤ、  １４，５５  システムバス、
２７，３３，３７，６１，６２，６３，６４  撮影空間に配置された物体
２８ａ，２８ｂ  ＲＧＢデータ、  ２９  赤外線照射部、  
３１  画像ファイル、  Ｈ，Ｈ´  ヘッダ、  ３２，３６  従来のステレオカメラ、
３４，３８  固有座標系、  ４０，４７  立体表示モニタ、  
４３，４４ａ，４４ｂ  基準マーク、
４５  立体表示システム、  ４６  表示制御装置、  ６５  副画像の配置領域
【図１Ａ】
2008160382.tif 000003
【図１Ｂ】
2008160382.tif 000004
【図２】
2008160382.tif 000005
【図３】
2008160382.tif 000006
【図４】
2008160382.tif 000007
【図５】
2008160382.tif 000008
【図６】
2008160382.tif 000009
【図７】
2008160382.tif 000010
【図８】
2008160382.tif 000011
【図９】
2008160382.tif 000012
【図１０】
2008160382.tif 000013
【図１１】
2008160382.tif 000014
【図１２】
2008160382.tif 000015
【図１３】
2008160382.tif 000016
【図１４】
2008160382.tif 000017
【図１５】
2008160382.tif 000018
【図１６】
2008160382.tif 000019
【図１７】
2008160382.tif 000020
【図１８】
2008160382.tif 000021
【図１９】
2008160382.tif 000022
【図２０】
2008160382.tif 000023
【図２１】
2008160382.tif 000024
【図２２】
2008160382.tif 000025
【図２３】
2008160382.tif 000026
【図２４】
2008160382.tif 000027
【図２５】
2008160382.tif 000028
【図２６】
2008160382.tif 000029
【図２７】
2008160382.tif 000030
【図２８】
2008160382.tif 000031
【図２９】
2008160382.tif 000032
【図３０】
2008160382.tif 000033
【図３１】
2008160382.tif 000034
【図３２】
2008160382.tif 000035
【図３３】
2008160382.tif 000036
【図３４】
2008160382.tif 000037
【図３５】
2008160382.tif 000038
【図３６】
2008160382.tif 000039
【図３７】
2008160382.tif 000040