(57)【特許請求の範囲】
【請求項１】
被写体の奥行きに関する情報を取得する画像撮像装置であって、
前記被写体が鏡に映された鏡像を撮像する撮像部と、
前記撮像部が撮像した画像に基づき前記鏡に映された前記被写体の領域内における奥行きの分布を示す奥行き分布情報を算出する仮奥行き算出部と、
前記被写体の鏡像と前記被写体との相対的な位置情報、及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を取得する奥行き算出部と
を備えたことを特徴とする画像撮像装置。
【請求項２】
前記奥行き算出部は、当該撮像装置から前記被写体までの第１の距離、当該撮像装置から前記鏡像までの第２の距離及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映された部分の奥行き情報を取得することを特徴とする請求項１に記載の画像撮像装置。
【請求項３】
前記奥行き算出部は、当該撮像装置から前記被写体までの方向及び当該撮像装置から前記鏡像までの方向をさらに用いて、前記被写体における前記鏡に映された部分の奥行き情報を取得することを特徴とする請求項２に記載の画像撮像装置。
【請求項４】
前記奥行き算出部は、前記被写体が直接撮像された実像の大きさ及び前記鏡像の大きさを比較することにより、当該撮像装置から前記被写体までの距離と当該撮像装置から前記鏡像までの距離の比を算出し、前記距離の比及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を取得することを特徴とする請求項１に記載の画像撮像装置。
【請求項５】
前記撮像部は、前記被写体及び前記鏡像の画像を撮像し、同一又は類似の形状もしくは色彩を有する複数の像が撮像されている場合において、当該撮像装置から前記複数の像のそれぞれまでの距離に基づいて、いずれの像が前記被写体を直接撮像した実像であるかを判断する判断部をさらに備えたことを特徴とする請求項１から請求項４のいずれかに記載の画像撮像装置。
【請求項６】
前記判断部は、前記複数の像における実像以外の像を前記鏡像と判断し、前記鏡像において前記同一又は類似の像に連続している部分を前記実像における前記同一又は類似の像に連続する部分の鏡像であると判断することを特徴とする請求項５に記載の画像撮像装置。
【請求項７】
当該撮像装置から前記被写体までの距離及び方向並びに当該撮像装置から前記鏡像までの距離及び方向に基づいて、前記被写体におけるいずれの部分が前記鏡像として映されているかを判断する判断部をさらに備えたことを特徴とする請求項１から請求項４までのいずれかに記載の画像撮像装置。
【請求項８】
前記鏡の位置が既知であり、前記被写体の位置及び前記鏡の位置に基づいて、前記鏡に映されている前記鏡像の領域を判断する判断部をさらに備えたことを特徴とする請求項１から請求項４のいずれかに記載の画像撮像装置。
【請求項９】
前記鏡の位置が既知であり、前記奥行き算出部は、前記被写体の位置及び前記鏡の位置に基づいて、前記被写体と前記鏡像との相対的な位置情報を算出することを特徴とする請求項１に記載の画像撮像装置。
【請求項１０】
前記撮像部は、異なる２つの視点位置から前記鏡像の視差画像を撮像し、前記仮奥行き算出部は、前記視差画像に基づき前記奥行き分布情報を算出することを特徴とする請求項１から請求項９のいずれかに記載の画像撮像装置。
【請求項１１】
前記撮像部は、パターンの投影された前記被写体が前記鏡に映された鏡像を前記パターンの照射位置とは異なる位置で撮像し、前記仮奥行き算出部は、前記撮像部が撮像した前記パターンの投影された鏡像の画像に基づき前記奥行き分布情報を算出することを特徴とする請求項１から請求項９のいずれかに記載の画像撮像装置。
【請求項１２】
被写体の奥行きに関する情報を取得する画像撮像システムであって、
前記被写体の鏡像を映す鏡面を有する鏡像表示部と、
前記鏡像の画像を撮像する撮像部と、
前記撮像部が撮像した前記画像に基づき前記鏡面に映された前記被写体の領域内における奥行きの分布を示す奥行き分布情報を算出する仮奥行き算出部と、
前記被写体の鏡像と前記鏡面との相対的位置情報及び前記奥行き分布情報に基づき、前記被写体における前記鏡面に映されている部分の奥行き情報を取得する奥行き算出部と
を備えたことを特徴とする画像撮像システム。
【請求項１３】
前記鏡像表示部は、前記鏡面上に特定の模様を有し、前記画像における特定の像と前記模様が重なる場合に、前記像が前記鏡面に映された像であると判断する判断部をさらに備えたことを特徴とする請求項１１に記載の画像撮像システム。
【請求項１４】
前記鏡像表示部は、前記鏡面を前記撮像部の光軸に平行に配置することを特徴とする請求項１１に記載の画像撮像システム。
【請求項１５】
前記撮像部は、広い視野角の光学レンズを有し、前記視点位置を前記光軸方向に移動させて異なる２つの視点位置で撮像することを特徴とする請求項１３に記載の画像撮像システム。
【請求項１６】
前記鏡像表示部は、前記鏡面を、前記撮像部の光軸に垂直に、前記撮像装置から見た場合に前記被写体の後方に配置することを特徴とする請求項１１に記載の画像撮像システム。
【請求項１７】
前記鏡像表示部は、前記被写体を囲むように前記光軸に平行に１以上の前記鏡面をさらに配置することを特徴とする請求項１５に記載の画像撮像システム。
【請求項１８】
被写体の奥行きに関する情報を取得する画像処理装置であって、
異なる２つの視点位置から前記被写体が鏡に映された鏡像を見た場合に得られる前記被写体の視差画像を入力する入力部と、
前記視差画像に基づき、前記鏡に映された前記被写体の領域内における奥行き分布を示す奥行き分布情報を取得する仮奥行き算出部と、
前記被写体の鏡像と前記被写体との相対的な位置情報及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を取得する奥行き算出部と
を備えたことを特徴とする画像処理装置。
【請求項１９】
被写体の奥行きに関する情報を取得する画像撮像方法であって、
前記被写体の鏡像を鏡に映し、
異なる２つの視点位置から前記鏡像の視差画像を撮像し、
前記被写体の鏡像と前記被写体との相対的な位置情報及び前記視差画像に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を算出する
ことを特徴とする画像撮像方法。
【請求項２０】
被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、
異なる２つの視点位置から前記被写体が鏡に映された鏡像を見た場合に得られる前記被写体の視差画像を入力する入力モジュールと、
前記視差画像に基づき、前記鏡に映された前記被写体の領域内における奥行き分布を示す奥行き分布情報を取得する仮奥行き算出モジュールと、
前記被写体の鏡像と前記被写体との相対的な位置情報及び前記奥行き分布情報に基づいて、前記被写体における前記鏡に映されている部分の奥行き情報を取得する奥行き算出モジュールと
を備えたことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像撮像装置、画像撮像システム、画像処理方法及び記録媒体に関する。特に本発明は、鏡像に基づいて被写体の奥行き情報を取得する画像撮像装置、画像撮像システム、画像処理方法及び記録媒体に関する。
【０００２】
【従来の技術】
被写体の３次元情報を取得する方法として、人間の両眼立体視の機能を真似て、カメラを２台並べて、異なる２つの視点から被写体を見た場合の視差画像を撮像し、被写体の奥行き値を測定するステレオ撮影の技法が古くからある。さらに被写体の裏側の奥行き値も測定したいときは、被写体を回転させたり、撮影装置を裏側に回り込ませたり、複数台の撮影装置を準備し被写体の周りに配置したりして、ステレオ撮影を行う方法が提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、被写体を回転させたり、撮影装置を裏側に回り込ませたり、撮影する場合、瞬時に撮影が完了しないために動きのある被写体には効果的ではなかった。また、複数台の撮影装置を配置して撮影する場合、撮影のコストが大きくなり、また装置全体も大掛かりで複雑なものになってしまうという問題があった。
【０００４】
そこで本発明は、上記の課題を解決することのできる画像撮像装置、画像撮像システム、画像処理方法及び記録媒体を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
即ち、本発明の第１の形態によると、被写体の奥行きに関する情報を取得する画像撮像装置であって、被写体が鏡に映された鏡像を撮像する撮像部と、撮像部が撮像した画像に基づき鏡に映された被写体の領域内における奥行きの分布を示す奥行き分布情報を算出する仮奥行き算出部と、被写体の鏡像と被写体との相対的な位置情報、及び奥行き分布情報に基づいて、被写体における鏡に映されている部分の奥行き情報を取得する奥行き算出部とを備えた。
【０００６】
奥行き算出部は、撮像装置から被写体までの第１の距離、撮像装置から鏡像までの第２の距離及び奥行き分布情報に基づいて、被写体における鏡に映された部分の奥行き情報を取得してもよい。奥行き算出部は、撮像装置から被写体までの方向及び撮像装置から鏡像までの方向をさらに用いて、被写体における鏡に映された部分の奥行き情報を取得してもよい。奥行き算出部は、被写体が直接撮像された実像の大きさ及び鏡像の大きさを比較することにより、撮像装置から被写体までの距離と撮像装置から鏡像までの距離の比を算出し、距離の比及び奥行き分布情報に基づいて、被写体における鏡に映されている部分の奥行き情報を取得してもよい。
【０００７】
撮像部は、被写体及び鏡像の画像を撮像し、同一又は類似の形状もしくは色彩を有する複数の像が撮像されている場合において、撮像装置から複数の像のそれぞれまでの距離に基づいて、いずれの像が被写体を直接撮像した実像であるかを判断する判断部をさらに備えてもよい。判断部は、複数の像における実像以外の像を鏡像と判断し、鏡像において同一又は類似の像に連続している部分を実像における同一又は類似の像に連続する部分の鏡像であると判断してもよい。撮像装置から被写体までの距離及び方向並びに撮像装置から鏡像までの距離及び方向に基づいて、被写体におけるいずれの部分が鏡像として映されているかを判断する判断部をさらに備えてもよい。
【０００８】
鏡の位置が既知であり、被写体の位置及び鏡の位置に基づいて、鏡に映されている鏡像の領域を判断する判断部をさらに備えてもよい。鏡の位置が既知であり、奥行き算出部は、被写体の位置及び鏡の位置に基づいて、被写体と鏡像との相対的な位置情報を算出してもよい。  撮像部は、異なる２つの視点位置から鏡像の視差画像を撮像し、仮奥行き算出部は、視差画像に基づき奥行き分布情報を算出してもよい。撮像部は、パターンの投影された被写体が鏡に映された鏡像をパターンの照射位置とは異なる位置で撮像し、仮奥行き算出部は、撮像部が撮像したパターンの投影された鏡像の画像に基づき奥行き分布情報を算出してもよい。
【０００９】
本発明の他の形態によると、被写体の奥行きに関する情報を取得する画像撮像システムであって、被写体の鏡像を映す鏡面を有する鏡像表示部と、鏡像の画像を撮像する撮像部と、撮像部が撮像した画像に基づき鏡面に映された被写体の領域内における奥行きの分布を示す奥行き分布情報を算出する仮奥行き算出部と、被写体の鏡像と前記鏡面との相対的位置情報及び奥行き分布情報に基づき、被写体における鏡面に映されている部分の奥行き情報を取得する奥行き算出部とを備えた。
【００１０】
鏡像表示部は、鏡面上に特定の模様を有し、画像における特定の像と模様が重なる場合に、像が鏡面に映された像であると判断する判断部をさらに備えてもよい。鏡像表示部は、鏡面を撮像部の光軸に平行に配置してもよい。撮像部は、広い視野角の光学レンズを有し、視点位置を光軸方向に移動させて異なる２つの視点位置で撮像してもよい。鏡像表示部は、鏡面を、撮像部の光軸に垂直に、撮像装置から見た場合に被写体の後方に配置してもよい。鏡像表示部は、被写体を囲むように光軸に平行に１以上の鏡面をさらに配置してもよい。
【００１１】
本発明の他の形態によると、被写体の奥行きに関する情報を取得する画像処理装置であって、異なる２つの視点位置から被写体が鏡に映された鏡像を見た場合に得られる被写体の視差画像を入力する入力部と、視差画像に基づき、鏡に映された被写体の領域内における奥行き分布を示す奥行き分布情報を取得する仮奥行き算出部と、被写体の鏡像と被写体との相対的な位置情報及び奥行き分布情報に基づいて、被写体における鏡に映されている部分の奥行き情報を取得する奥行き算出部とを備えた。
【００１２】
本発明の他の形態によると、被写体の奥行きに関する情報を取得する画像撮像方法であって、被写体の鏡像を鏡に映し、異なる２つの視点位置から鏡像の視差画像を撮像し、被写体の鏡像と被写体との相対的な位置情報及び視差画像に基づいて、被写体における鏡に映されている部分の奥行き情報を算出する。
【００１３】
本発明の他の形態によると、被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、異なる２つの視点位置から被写体が鏡に映された鏡像を見た場合に得られる被写体の視差画像を入力する入力モジュールと、視差画像に基づき、鏡に映された被写体の領域内における奥行き分布を示す奥行き分布情報を取得する仮奥行き算出モジュールと、被写体の鏡像と被写体との相対的な位置情報及び奥行き分布情報に基づいて、被写体における鏡に映されている部分の奥行き情報を取得する奥行き算出モジュールとを備えた。
【００１４】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００１５】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
（実施形態１）
本発明の第１の実施形態を説明する。図１は、画像撮像装置の一例としてのデジタルカメラ１０の構成図である。デジタルカメラ１０には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。デジタルカメラ１０は、主に撮像ユニット２０、撮像制御ユニット４０、処理ユニット６０、表示ユニット１００、および操作ユニット１１０を含む。
【００１７】
撮像ユニット２０は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット２０はまず、映像を取り込んで処理を施す撮影レンズ２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、固体撮像素子の一例であるＣＣＤ３０、および撮像信号処理部３２を含む。撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００１８】
デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。
【００１９】
ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号は撮像信号処理部３２でＲ、Ｇ、Ｂ成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部３２はガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理ユニット６０へ出力する。
【００２０】
撮像ユニット２０はさらに、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００２１】
撮像制御ユニット４０は、レンズ駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。レンズ駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。また撮像系ＣＰＵ５０は、視差画像を撮像するために、レンズ駆動部４２を制御して撮影レンズ２２の位置を移動させる。
【００２２】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタ速度を決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００２３】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２６の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００２４】
処理ユニット６０は、デジタルカメラ１０全体、とくに処理ユニット６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示ユニット１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００２５】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００２６】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像ユニット２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理ユニット６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００２７】
ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００２８】
処理ユニット６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を入力し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００２９】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００３０】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃ、イーサネット、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００３１】
表示ユニット１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００３２】
操作ユニット１１０は、ユーザーがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作ユニット１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図１において機能設定部１１６と総称されている。操作ユニット１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００３３】
以上の構成による主な動作は以下のとおりである。まずデジタルカメラ１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００３４】
カメラが撮影モードにあるとき、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。半押し状態が検出されたとき、メインＣＰＵ６２は測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット４０が動作し、撮影レンズ２２のピント、絞りなどの調整が行われる。調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはメインバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００３５】
一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示ユニット１００のＬＣＤモニタ１０２へ表示する。この状態でユーザーが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。
【００３６】
本実施形態において、撮像ユニット２０は、２以上の異なる視点位置から被写体と被写体の鏡像とが混在した視差画像を撮像する。２以上の異なる視点位置での撮像は、複数の撮像ユニット２０を用いて実現してもよいが、撮像ユニット２０の全体又は一部を移動させることで実現すれば撮像装置を小さく軽量にすることができ、また撮像装置のコストを抑えることができる。図２は、視点位置を移動させる手段の一例をあらわす図である。絞り駆動部４６が絞り２４を回転させることで開口２５をレンズ瞳面に平行に移動させて異なる視点位置での撮像を実現すれば、動かす部分を小さくできるので更によい。
【００３７】
図３は、鏡像の一例である。鏡面２は光を全反射する鏡、ガラス、金属、水面等であり、鏡面２に写し出される被写体ａの鏡像ａ’は、あたかも被写体ａと鏡面２に関して対称に存在するように見える。図４は、鏡像の他の例である。撮像ユニット２０は、図４のように被写体ａと鏡像ａ’の両方が画像に入るように撮像する。撮像ユニット２０から被写体ａを見たとき見えなかった死角領域ｂが、鏡像ａ’を同時に撮像することで死角領域ｂの鏡像は見ることができるようになる。
【００３８】
本実施形態のＣＣＤ３０は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、撮影レンズ２２によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。
【００３９】
固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。これにより、撮像される画像の品質を向上させることができる。さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。
【００４０】
本実施形態のＣＣＤ３０は、視差画像における視差を正確に検出できるように、解像度が十分に高い電荷結合素子（ＣＣＤ）１次元イメージセンサ（リニアセンサ）又は２次元イメージセンサ（エリアセンサ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリコン）密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【００４１】
さらに、撮影レンズ２２は視差撮影用の光学レンズ系以外に本撮影用の光学レンズ系を有し、本撮影用の光学レンズ系と視差撮影用の撮影レンズ系が、被写体の画像及び視差画像をそれぞれ異なる２つのＣＣＤ３０に撮像してもよい。本撮影用の光学レンズ系は、標準の光学レンズであってもよく、視野角の広い広角レンズまたは魚眼レンズであってもよい。本撮影用の光学レンズ系が像を受光させるＣＣＤ３０と、視差撮影用の光学レンズ系が像を受光させるＣＣＤ３０とで、ＣＣＤの解像度や感度が異なっていてもよい。
【００４２】
本実施形態の処理ユニット６０は、撮像ユニット２０が撮像した被写体の視差画像に基づいて、被写体の奥行き情報を獲得する。図５は、処理ユニット６０の機能ブロック図である。処理ユニット６０は、視差画像記憶部３０２と、判断部３０６と、仮奥行き算出部３１０と、奥行き算出部３１２と、記録部３１４とを有する。
【００４３】
視差画像記憶部３０２は、撮像ユニット２０が２以上の異なる視点位置から撮像した被写体の像と被写体の鏡像の像とが混在する２以上の視差画像を記憶する。判断部３０６は、被写体を直接撮像した実像と鏡面に映った鏡像とが、視差画像のどの領域にあるかを判断する。仮奥行き算出部３１０は、相対的な位置情報の一例として空間座標を算出する。例えば、視差画像における位置ずれ量に基づき、撮像ユニット２０からの光軸方向の距離を算出し、画像における像の位置と光軸方向の距離とに基づいて空間座標を算出してもよい。ただし、鏡像の「空間座標」とは、図３に例示したように、被写体から見てあたかも鏡面の向こう側にあるように見える鏡像空間までの座標である。また、算出されるのは、画像撮像装置から実像までと画像撮像装置から鏡像までの距離の比と方向などの相対的な位置情報であってもよい。奥行き算出部３１２は、実像とその実像の鏡像との相対的な位置情報に基づいて、鏡像の空間座標を実像上に変換する。処理ユニット６０によって、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。
【００４４】
鏡面の位置が既知である場合と鏡像の位置が分からない場合とに分けて説明する。鏡面の位置が既知である場合とは、ユーザーが鏡面の位置を入力してもよいし、鏡面の枠も同時に撮像し視差画像における位置ずれと視差画像上の座標から算出してもよい。図６は、本実施形態の鏡面の位置が既知である場合の撮像フローチャートである。ユーザーは、ファインダ３４を見て、被写体の方向を設定する。例えば、被写体が画像の中央に来ることを予め画像撮像装置に入力してある場合に、被写体が画像の中央にくるようにフレーミングする。その後、被写体の鏡像も画像に入るように画角を変え、鏡面の位置を入力する（Ｓ１００）。ユーザーがレリーズスイッチ１１４を押下すると撮像ユニット２０が、２つの視点位置から２枚の視差画像を撮像する（Ｓ１０２）。視差画像記憶部３０２は、２枚の視差画像を格納する（Ｓ１０４）。判断部３０６は、被写体のあるべき領域の一例として視差画像の中央領域を仮奥行き算出部３１０に指定し、仮奥行き算出部３１０は、指定された領域の空間座標を算出する。視差による位置ずれから奥行き値を算出し、その奥行き値と撮像ユニット２０からその領域見た方向に基づき実空間の空間座標を算出する。方向は、画像上の座標でもよい。判断部３０６は、画像上の座標に対応した実空間の空間座標を受け取り、中央領域で奥行き値の連続した領域を「実像」と判断する（Ｓ１０６）。判断部３０６は、「実像」の空間座標を予め入力されている鏡面に対して対称移動させ、画像上の鏡像があるべき領域を算出する（Ｓ１０８）。仮奥行き算出部３１０は、鏡像のあるべき領域の奥行き値を視差画像における視差による位置ずれ量に基づき算出し、奥行き値と画像上の座標に基づき鏡像の空間座標を算出する。算出する領域は、奥行き値等が連続する限りにおいて順次広げていく（Ｓ１１０）。奥行き算出部３１２は、鏡像の空間座標を鏡面に対称な位置に変換する（Ｓ１１２）。記録部３１４は、「実像」の空間座標と、鏡像の空間座標を変換して求めた空間座標と、もとの視差画像を格納する（Ｓ１１８）。
【００４５】
図７は、鏡面の位置は分からないが、図４の特徴部分ｃと鏡像ｃ’のように対応する領域が見つけられる場合の処理のフローチャートである。画像データを格納するところまで（Ｓ１０４まで）は、同じである。判断部３０６は、視差画像において同一又は類似する色彩又は形状を持つ領域を検索する（Ｓ１２０）。判断部３０６は、同一又は類似する色彩又は形状の大きさを比較し、最大の像を「実像」と、その他の像を「鏡像」と判断する（Ｓ１２２）。仮奥行き算出部３１０は、「鏡像」の周囲の奥行き値を算出し、判断部３０６は、色彩、形状又は奥行き値が「鏡像」に連続する領域を「準鏡像」と判断する（Ｓ１２４）。仮奥行き算出部３１０は、「実像」、「鏡像」及び「準鏡像」の空間座標を算出する（Ｓ１２６）。奥行き算出部３１２は、「実像」の空間座標と「鏡像」の空間座標との垂直２等分面を算出し、「準鏡像」の空間座標を垂直２等分面に対して対称移動させる（Ｓ１３０）。記録部３１４は、「実像」の空間座標と、対称移動させた「準鏡像」の空間座標を変換して求めた空間座標と、もとの視差画像とを格納する（Ｓ１１８）。鏡像において同一類似形状の領域に連続する領域の奥行き情報を奥行き算出部３１２が被写体上に変換した場合、変換後の奥行き情報は、実像における同一類似形状の領域から求めた奥行き情報に連続であるはずである。対称移動させた「準鏡像」の空間座標は、「実像」の空間座標と連続であるはずであり、連続になるよう補正を加えてもよい。
【００４６】
奥行き算出部３１２は算出した被写体の奥行き情報を撮像制御ユニット４０へ入力し、撮像制御ユニット４０は、被写体の奥行き情報に基づいて、フォーカス駆動部４４、絞り駆動部４６及びシャッタ駆動部４８を制御して、フォーカス、絞り、シャッター速度を調整してもよい。
【００４７】
記録部３１４は、奥行き算出部３１２が算出した被写体の奥行き情報、及び視差画像記憶部３０２が記憶する被写体の視差画像をオプション装置７６に記録させる。
【００４８】
処理ユニット６０の判断部３０６、仮奥行き算出部３１０、及び奥行き算出部３１２の機能は一例として、図１のメインＣＰＵ６２と、メインメモリ６８や不揮発性メモリ６６に格納またはロードされたプログラムとの連携によって実現することができる。メインＣＰＵ６２が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。処理ユニット６０の視差画像記憶部３０２が記憶すべき視差画像データは、メインメモリ６８または不揮発性メモリ６６に記憶させることができる。また視差画像データは圧縮伸張処理部７８によって圧縮されてもよい。処理ユニット６０の記録部３１４の機能は一例として、オプション装置制御部７４によって実現することができる。また、ユーザの指示を受け付ける操作ユニット１１０が被写体の画像の特定領域を処理ユニット６０に指示し、処理ユニット６０は、ユーザーが指定する特定領域について奥行き値を算出してもよい。また、ユーザーは処理結果をＬＣＤモニタ１０２で確認して、誤差が大きいと思われるときは、視差画像における被写体の像の領域を操作ユニット１１０で指示して被写体／鏡像の判断を補正してもよい。デジタルカメラ１０において処理ユニット６０の上述の機能を実現する設計には相当の自由度がある。
【００４９】
次に、図７のＳ１２２において、「最も大きな像」を「実像」とした理由を説明する。図８は、円錐の被写体Ｔの鏡面による鏡像の例である。撮像の際は、被写体と鏡像とが重ならないように、鏡面と被写体とをある程度離して撮像した方がよい。図８（Ａ）のＴ１、Ｔ２及びＴ３は、鏡面Ｒ１、Ｒ２及びＲ３を見た場合の被写体Ｔの鏡像であり、図８（Ｂ）の画像Ｐは、撮像ユニット２０がＴ、Ｔ１、Ｔ２及びＴ３を撮像した場合の画像である。鏡面と被写体とを離して撮像しても、ＴとＴ１の像は重なる。しかし、図８（Ａ）から明らかなように撮像ユニット２０のいわゆるフィルム面からの距離が異なる。一般に、同じ被写体の場合遠くにあるものが小さく見え、近くにあるものは大きく見える。これらのことから「最も大きな像」を「実像」と推定することとした。なお、鏡像Ｔ３や鏡像Ｔ２は、画像における像の位置が実像Ｔと大きく異なり、予め被写体をフレーミングすべき領域を設定しておけば判別できる。
【００５０】
フィルム面からの距離は、像の大きさの他に、被写体にピントを合わせた場合の像のピンぼけ量や、視差画像に基づき算出した奥行き値等によって比較してもよい。ピンぼけ量は、ピントのあっているピント面からの距離が大きいほど、大きくなり、像がぼける。
【００５１】
図９は、鏡面の位置は未知で、同一又は類似する色彩又は形状を持つ領域も検索不能（図３の対応する特徴部分を検索不能）の場合に有効な処理の他の例を説明する図である。鏡像Ｖは、鏡面２に映った被写体Ｖの鏡像である。対称移動面Ｑは、被写体Ｖと鏡像Ｖとを結ぶ直線に垂直な任意の平面である。鏡像Ｖ’は、鏡像Ｖを対称移動面Ｑに対して対称移動したものである。鏡像Ｖ’を、鏡像Ｖから見た被写体Ｖの方向に、連続的に繋がるように移動させると、合成像Ｖができる。
【００５２】
図１０は、処理の変形例のフローチャートである。鏡面の位置は未知で、同一又は類似する色彩又は形状を持つ領域も検索不能（図３の対応する特徴部分を検索不能）の場合に有効な処理の例を説明する。ユーザーは、撮像した視差画像をＬＣＤモニタ１０２で見て、「実像」領域と「鏡像」領域を入力する（Ｓ３００）。仮奥行き算出部３１０は、「実像」領域と「鏡像」領域との空間座標を算出する（Ｓ３０２）。判断部３０６は、鏡像から実像への方向を求める。例えば、「実像」の領域の位置と「鏡像」の領域の位置とを結ぶベクトルを算出する（Ｓ３０４）。奥行き算出部３１２は、鏡像の奥行き分布情報をベクトルに垂直な平面に対して対称移動させる。視差画像に基づき算出した鏡像の凹凸でもよく、一例として「鏡像」の空間座標を対称移動させ（Ｓ３０６）、「実像」の空間座標と対称移動した「鏡像」の空間座標が連続に繋がるまで、対称移動した「鏡像」の空間座標をベクトル方向に移動させる（Ｓ３０８）。
【００５３】
図１１は、鏡像の奥行き分布情報を取得する他の例を表す。パターン照射装置３７は、被写体に予め定められたパターンを照射する。パターン照射装置３７は、鏡面２に反射させて被写体にパターンを照射してもよい。パターンは、光パターンでもよく、例えば、格子パターンや照射角度に応じて照度を変調した光であってもよい。撮像ユニット２０は、パターンの投影された被写体が鏡に映された鏡像をパターンの照射位置とは異なる位置で撮像する。仮奥行き算出部３１０は、撮像ユニット２０が撮像したパターンの投影された鏡像の画像に基づき奥行き分布情報を算出する。例えば、仮奥行き算出部３１０は、光パターンの投影された鏡像の画像、パターン照射装置３７が照射した光パターン及び撮像ユニット２０とパターン照射装置３７の相対的位置情報に基づき三角測量の原理によって奥行き情報を算出する。
【００５４】
以上述べたように、本実施形態の画像撮像装置によれば、被写体の鏡像も同時に撮像することにより被写体の死角領域の奥行き値も同時に算出することができる。
【００５５】
また、本実施形態の画像撮像装置で人工衛星から、海面等も入るように雲を撮像すれば、上層からみた雲と下層からみた雲を同時に撮像でき、雲の三次元の分布情報を取得することができる。
【００５６】
（実施形態２）
本発明の第２の実施形態を説明する。図１２は、画像撮像システムの一例としての、被写体の奥行き値を求める３Ｄ撮像システム４００の構成図である。本実施形態の３Ｄ撮像システム４００は、デジタルカメラ１０と、鏡像表示部４１０とを有する。また、パターン照射装置３７を加えてもよい。
【００５７】
鏡像表示部４１０は、正四角柱の一つの底面を開口とし、他の底面と側面の内側を鏡面にしたものである。鏡面表示部４１０の形状は他の正多角柱でもよく、円柱でもよい。鏡面にした底面を鏡面Ｒ５、側面をＲ６、Ｒ７（図示せず）、Ｒ８、Ｒ９（図示せず）とする。撮像ユニット２０は、図１２（Ａ）に示すように視点位置を移動させ、被写体Ｕを鏡像表示部４１０の中に入れて撮像する。また、光パターンを照射して撮像する場合は、パターン照射装置３７が光パターンを照射する位置と撮像ユニット２０の視点位置が異なればよく、視点位置を移動させる必要はない。撮像ユニット２０のレンズ２２は、視野角の広いレンズが望ましい。魚眼レンズであってもよい。図１２（Ｂ）に示すように、広角のレンズを用いて撮像すれば光軸に対してより直角にちかい方向からの画像が得られ、通常死角になりやすい領域の奥行き値を求めることが可能になる。
【００５８】
デジタルカメラ１０の構成及び動作は、実施形態１の鏡面が既知の場合と同様であるため、説明は省略する。
【００５９】
図１３は、鏡面Ｒ５、Ｒ６の一例をあらわす図である。鏡面上にその鏡面を特定する模様をつけておく。鏡面Ｒ６における鏡像には、×印が付くはずであり、鏡面Ｒ５とＲ６で反射した鏡像は、×印と格子縞が付くはずである。特定の像が実像であるのか、またはどの鏡面における鏡像であるのかの判断が容易になる。また、模様までの奥行きを視差画像に基づき算出すれば鏡面の位置が算出できる。
【００６０】
図１４は、画像のある領域が、実像であるのか、又はどの鏡面で反射した鏡像であるのかを判断する像判断のフローチャートである。判断部３０６は、画像の特定領域を入力し（Ｓ２００）、それぞれの鏡面の模様を検索し（Ｓ２０２）、模様がない場合は、「実像」と判断する。模様がある場合において、模様が一種類の場合は、その模様の鏡面で反射している「鏡像」であると判断し（Ｓ２０６）、模様が二種類の場合は、その２種類の模様に対応した２つの鏡面で順次反射している「鏡像」と判断し（Ｓ２０８）、模様が３種類以上の場合は、「背景」と判断する（Ｓ２１０）。「背景」と判断された領域は奥行き値の算出には使わない。
【００６１】
本システムにおいて、より多方位からの視差画像の撮像を可能にするには、撮影レンズ２２は、視野角の広い光学レンズであることが好ましく、広角レンズまたは魚眼レンズ等であってもよい。魚眼レンズは視野角が１８０度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。また、撮影レンズ２２は、同一の光軸を有する複数の光学レンズによって構成された光学レンズ系であってもよい。
【００６２】
次に、撮影レンズ２２の最も望ましい形態である、視野角の広い光学レンズの一例としての魚眼レンズのレンズ特性を説明する。図１５は、魚眼レンズ３２０が結像する被写体の点の入射角θと、全方位画像３２２における被写体の点の像の位置との関係を説明する図である。魚眼レンズ３２０の中心はｘｙ平面の原点の位置にある。被写体の点の方位は、被写体の点から魚眼レンズ３２０への入射光が魚眼レンズ３２０の光軸となす入射角θで表される。全方位画像３２２の中心はＸＹ平面の原点の位置にある。被写体の点の全方位画像３２２上での位置を、ＸＹ平面の原点からの距離ｒで表す。この距離ｒは像高とも呼ばれる。魚眼レンズの焦点距離をｆとすると、被写体の点の位置ｒと入射角θの間には、ｒ＝ｆ・θの関係がある。
【００６３】
このように、魚眼レンズは、視野角が１８０度であり、被写体の全方位の画像を撮像面に結像することができる。特に、被写体の点の位置ｒと入射角θの間に成り立つレンズ特性を示す関係式がｒ＝ｆ・θとなる魚眼レンズは「ｆθレンズ」と呼ばれ、広く用いられている。撮影レンズ２２として、ｆθレンズの代わりに、レンズ特性を示す関係式がｒ＝ｆ・ｓｉｎθとなる「ｆｓｉｎθレンズ」と呼ばれる魚眼レンズを用いてもよい。また、一般に位置ｒが入射角θに対して単調に増加し、被写体の全方位の領域の点が、有限の位置ｒに撮像される魚眼レンズであればよく、必ずしもｆθレンズ、ｆｓｉｎθレンズの特性を示す魚眼レンズでなくてもよい。魚眼レンズは視野角が１８０度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。しかし、撮影レンズ２２は、視野角が十分に広く、広い視野にわたって被写体を撮像することができる光学レンズであれば、必ずしも魚眼レンズである必要はなく、視野角の広い広角レンズを用いてもよい。
【００６４】
図１６は、２つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。魚眼レンズ３２４及び３２６は、それぞれ点Ｌ、Ｒの位置を視点位置とするように置かれている。点Ｌと点Ｒは距離２ｄだけ離れている。線３２８及び３３０はそれぞれ魚眼レンズ３２４及び３２６の光軸である。点Ｌ、Ｒの中点を点Ｏとする。被写体の奥行き値は、点Ｏからの距離によって定義する。被写体の点Ａの奥行き値は、線分ＯＡの長さＺである。また線分ＯＡが、点Ｏから引いた垂線３２９となす角をθとする。角θは点Ｏから点Ａを見た場合の点Ａの方位角である。
【００６５】
線分ＬＡが魚眼レンズ３２４の光軸３２８となす角、すなわち点Ａの魚眼レンズ３２４への入射角をθ１とし、線分ＲＡが魚眼レンズ３２６の光軸３３０となす角、すなわち点Ａの魚眼レンズ３２６への入射角をθ２とする。入射角θ１は視点Ｌから点Ａを見た場合の点Ａの方位、入射角θ２は視点Ｒから点Ａを見た場合の点Ａの方位である。視点が異なるために、点Ａの方位に差θ１−θ２が生じる。これを視差角と呼ぶ。線分ＬＡと線分ＲＡのなす角をθＡとすると、θＡ＝θ１−θ２であるから、便宜上、θＡを、点Ａを異なる視点Ｌ、Ｒから見た場合の視差角と考えてもよい。
【００６６】
魚眼レンズ３２２及び３２４がｆθレンズである場合、像高ｒと入射角θの間にｒ＝ｆ・θの関係が成立するので、視点Ｌ、Ｒから点Ａを見た場合の像高ｒＬ、ｒＲの差と、入射角θ１、θ２の差との間には、次の比例関係
ｒＬ−ｒＲ＝ｆ・（θ１−θ２）
が成り立つ。
【００６７】
したがって、魚眼レンズ３２４及び３２６で写した視差画像において、点Ａの像高の差ｒＬ−ｒＲを検出すると、魚眼レンズの焦点距離ｆが既知である場合、入射角の差θ１−θ２を計算することができ、視差角θＡを算出できる。
【００６８】
次に、視差角θＡと奥行き値Ｚ、方位角θの間に成り立つ関係式を導く。角ＬＡＯをθＬ、角ＲＡＯをθＲとおく。３角形ＬＡＨ及び３角形ＲＡＨに注目すると、
【００６９】
ｔａｎ（θ＋θＬ）＝（Ｚ・ｓｉｎθ＋ｄ）／（Ｚ・ｃｏｓθ）
ｔａｎ（θ−θＲ）＝（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃｏｓθ）
が成り立つ。
【００７０】
したがって、視差角θＡは、
θＡ＝θＬ＋θＲ
＝ｔａｎ−１（Ｚ・ｓｉｎθ＋ｄ）／（Ｚ・ｃｏｓθ）
−ｔａｎ−１（Ｚ・ｓｉｎθ−ｄ）／（Ｚ・ｃｏｓθ）      （１）
と書ける。
【００７１】
図１７は、視差角θＡの式（１）のグラフである。視点間距離２ｄ、及び奥行き値Ｚをある値に固定して、方位角θの値を変えて、視差角θＡの値をグラフにした。方位角θ＝０のとき、視差角θＡは最大である。方位角θ＝π／２のとき、視差角θＡは０になる。
【００７２】
図１７のグラフから明らかなように、魚眼レンズの並びの横方向に近い領域にある被写体に対しては、視差角が非常に小さくなるため、視差画像上での像の位置のずれは極めて小さくなる。図１８は、異なる２つの視点位置の配置による視差角の違いを説明する図である。光軸に垂直に近い方向からの視差画像は、鏡面Ｒ６等側面の鏡面上の鏡像を方位角θが大きな方向（図１８のように光軸に垂直な方向に大きくずれた方向）に、撮像されている。この場合、視点位置ｉと視点位置ｊとを組み合わせたときの視差角θｉｊは小さくなり、視点位置ｉと視点位置ｈとを組み合わせたときの視差角θｈｉの方が大きくなる。奥行き値を求めるときは視差角は大きいほうがよく、この場合視点位置は光軸方向に移動させた方がより有効である。
【００７３】
一方、光軸方向からの視差画像の場合は、視点位置ｉと視点位置ｊとの組み合わせの方が有利であり、必要に応じて視点位置の組み合わせを変えてもよい。
【００７４】
図１９は、本システムの変形例を表す図である。鏡像制御部３１８は、鏡面についての情報、撮像ユニット２０の位置情報、撮像ユニット２０の光軸の方向等を予め入力されており、処理ユニット６０に出力してもよい。処理ユニット６０は、鏡面の方向や鏡面と撮像ユニット２０の相対的位置を知ることで、鏡面の位置を算出する必要がなくなる。また、被写体の特定領域についてより詳しい奥行き情報を知りたい場合には、鏡面制御部３１８は、撮像ユニット２０からの要求に応じて鏡像表示部４１０の鏡面の向きや位置等を変えてもよい。
【００７５】
また、処理ユニット６０から算出した３次元情報を３次元モデリングの装置に出力してもよい。例えば、算出した被写体の３次元情報を３次元画像表示装置に入力し被写体の３次元画像を表示してもよい。被写体の全周囲の位置情報が入力されるので被写体をあらゆる方向から見た場合の３次元画像が表示可能である。
【００７６】
以上述べたように、本実施形態の画像撮像システムによれば、複数の鏡像も同時に撮像することにより、全周囲からの視差画像が撮像可能になり、被写体の全周囲の奥行き情報をワンショットの撮像で取得できる。
【００７７】
（実施形態３）
本発明の第３の実施形態を説明する。図２０は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム２００の構成図である。本実施形態のラボシステム２００は、入力部２１０と、処理部２２０と、記録部２４０と、出力部２５０とを有する。
【００７８】
入力部２１０は、被写体の画像データを入力する。画像データとして、被写体及び被写体の鏡像を異なる視点から見た場合の視差画像を入力する。デジタルカメラ等で撮影された対象物のデジタル画像を入力する場合、入力部２１０には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、ＭＯ、ＣＤ−ＲＯＭ等から画像データを読み取る場合は、入力部２１０として、それぞれフロッピードライブ、ＭＯドライブ、ＣＤドライブ等が用いられてもよい。
【００７９】
処理部２２０は、入力部２１０が入力した視差画像を記憶し、被写体の奥行き情報を算出する。処理部２２０は算出した奥行き情報を視差画像とともに記録部２４０に出力する。また処理部２２０は算出した奥行き情報をもとに、被写体の画像を処理して、記録部２４０と出力部２５０に出力してもよい。
【００８０】
記録部２４０は、処理部２２０が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なＣＤ−ＲＯＭ、ＤＶＤ等の光記録媒体や、ＭＯ等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部２４０として、ＣＤ−Ｒドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピードライブ等が用いられる。また、記録部２４０は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。
【００８１】
出力部２５０は、処理部２２０が出力した被写体の処理された画像データを画像として出力する。例えば画像を画面表示する場合、出力部２５０には画像を表示するモニタが用いられる。また例えば画像を印刷する場合、出力部２５０にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【００８２】
図２１は、処理部２２０の機能構成図である。処理部２２０は、視差画像記憶部３０２と、判断部３０６と、仮奥行き算出部３１０と、奥行き算出部３１２と、画像変換部３１６とを有する。
【００８３】
視差画像記憶部３０２は、入力部２１０が入力した被写体及び被写体の鏡像の２の視差画像のデータをＲＡＭ等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。判断部３０６は、ピントの合っている領域を被写体の像であると判断する。画像の中で高周波成分の多い領域をピントの合っている領域と判断してもよい。ユーザがモニターに表示された視差画像を見て被写体の像を選択し入力してもよい。仮奥行き算出部３１０は、視差画像おいて、被写体及び鏡像の特定領域の像の位置が視差によってずれる量を検出し、三角測量の原理に基づき奥行き値を算出し、奥行き値と視差画像上の像の座標に基づき、像の空間座標を算出する。奥行き算出部３１２は、実像と鏡像の相対的な奥行き値と方向に基づき、鏡像の位置情報を鏡面に関して対称な位置に変換する。例えば、実像と鏡像の中で被写体の同じ領域の像が検索できた場合に、その領域の実像における像の位置情報とその領域の鏡像における像の位置情報とで、鏡像を対称移動すべき平面を算出してもよい。
【００８４】
仮奥行き算出部３０４と、判断部３０６と、空間位置算出部３０８と、鏡面推定部３１０と、奥行き算出部３１２が、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第１の実施形態と同じであるから、説明を省略する。
【００８５】
画像変換部３１２は、奥行き算出部３０８が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。画像変換部３１２は、被写体の奥行き情報、視差画像、または処理された画像を記憶部２４０と出力部２５０に出力する。
【００８６】
本実施形態の画像処理装置によれば、被写体と被写体の鏡像との視差画像を入力して、撮像手段から直接見えない被写体の死角領域の奥行き情報を算出することができる。また算出された奥行き情報に基づいて、画像処理を行い、ＣＡＤ等の図面データを作成することができる。また、被写体全周囲の奥行き情報のある画像データは、３Ｄ画像の生成に利用することができる。
【００８７】
（実施形態４）
次に、本発明の第４の実施形態を説明する。図２２は、画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第３の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部２２０として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第３の実施形態と異なる。
【００８８】
図２２を参照しながら、本実施形態の処理部２２０のハードウエア構成を説明する。ＣＰＵ２３０はＲＯＭ２３２及びＲＡＭ２３４に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置２３１を介して利用者によりデータが入力される。ハードディスク２３３は、画像等のデータ、及びＣＰＵ２３０を動作させるプログラムを格納する。ＣＤ−ＲＯＭドライブ２３５はＣＤ−ＲＯＭ２９０からデータ又はプログラムを読み取り、ＲＡＭ２３４、ハードディスク２３３及びＣＰＵ２３０の少なくともいずれかに提供する。
【００８９】
ＣＰＵ２３０が実行するプログラムの機能構成は、第３の実施形態の画像処理装置の処理部２２０の機能構成と同じであり、視差画像記憶モジュールと、判断モジュールと、仮奥行き算出モジュールと、奥行き算出モジュールと、画像変換モジュールとを有する。
【００９０】
視差画像記憶モジュール、判断モジュール、仮奥行き算出モジュール、奥行き算出モジュール及び画像変換モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第３の実施形態の画像処理装置の処理部２２０における、視差画像記憶部３０２、判断部３０６、仮奥行き算出部３１０、奥行き算出部３１２及び画像変換部３１２の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。
【００９１】
上記のプログラムは記録媒体から直接ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。あるいは、上記のプログラムは記録媒体からハードディスク２３３にインストールされ、ＲＡＭ２３４に読み出されてＣＰＵ２３０により実行されてもよい。
【００９２】
記録媒体としては、ＣＤ−ＲＯＭ２９０の他にも、ハードディスク、ＲＯＭやＲＡＭ等のメモリ、ＤＶＤやＰＤ等の光学記録媒体、フロッピーディスクやミニディスク（ＭＤ）等の磁気記録媒体、ＭＯ等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。
【００９３】
上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。また、上記プログラムは記録媒体に圧縮されて格納されてもよい。圧縮されたプログラムは伸張され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。さらに、圧縮されたプログラムはＣＰＵ２３０によって伸張され、ハードディスク２３３等にインストールされた後、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【００９４】
さらに、記録媒体の一例としてのＣＤ−ＲＯＭ２９０は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、ＲＡＭ２３４等の別の記録媒体に読み出され、実行されてもよい。
【００９５】
上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【００９６】
（実施形態５）
次に、本発明の第５の実施形態を説明する。本実施形態の画像撮像装置の一例は、カメラを内蔵したノート型コンピュータやカメラを内蔵した携帯型電子端末等の電子機器等である。これらの場合、ノート型コンピュータや携帯型電子端末の電子計算機部分は主に図２２に示した処理部２２０として機能する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置の処理ユニット６０を、図２２に示した処理部２２０のハードウエア構成に換えたものである。本実施形態の画像撮像装置の基本的な構成及び動作は、第１の実施形態の画像撮像装置と同様である。
【００９７】
本実施形態の処理部２２０のハードウエア構成は、第４の実施形態の処理部２２０のハードウエア構成と同じであるから説明を省略する。ＣＰＵ２３０が実行するプログラムの機能構成は、第１の実施形態の画像撮像装置の処理ユニット６０の機能構成と同じであり、視差画像記憶モジュールと、仮奥行き算出モジュールと、判断モジュールと、仮奥行き算出モジュールと、奥行き算出モジュールと、記録モジュールとを有する。
【００９８】
視差画像記憶モジュール、判断モジュール、仮奥行き算出モジュール、奥行き算出モジュール及び記録モジュールが、ＣＰＵ２３０に行わせる処理は、それぞれ、第１の実施形態の画像撮像装置の処理ユニット６０における、視差画像記憶部３０２、判断部３０６、仮奥行き算出部３１０、奥行き算出部３１２及び記録部３１４の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、ＣＤ−ＲＯＭ２９０等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのＣＤ−ＲＯＭ２９０には、本出願で説明した画像撮像装置の動作の一部又は全ての機能を格納することができる。
【００９９】
上記のプログラムを格納した記録媒体は、本出願の画像撮像装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１００】
以上述べたように、本発明の画像撮像装置、画像撮像システム及び画像処理装置によれば、被写体の鏡像も同時に撮像し、鏡像までの見かけ上の奥行き情報を被写体上の奥行き情報に変換することで、撮像装置から直接見ることのできない被写体の領域の奥行き情報を取得できる。
【０１０１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０２】
【発明の効果】
上記説明から明らかなように、本発明によれば被写体の広い領域にわたって被写体の奥行きに関する情報を取得することができる。
【図面の簡単な説明】
【図１】画像撮像装置の一例としてのデジタルカメラ１０の構成図である。
【図２】視点位置を移動させる手段の一例をあらわす図である。
【図３】鏡像の一例を表す図である。
【図４】鏡像の他の例を表す図である。
【図５】処理ユニット６０の機能ブロック図である。
【図６】第１の実施形態の鏡面の位置が既知である場合の撮像フローチャートである。
【図７】鏡面の位置は分からないが、対応する領域が見つけられる場合の処理のフローチャートである。
【図８】円錐の被写体Ｔの鏡面による鏡像の例をあらわす図である。
【図９】鏡面未知、同一類似領域検索不能の場合の処理の例を説明する図である。
【図１０】処理の変形例のフローチャートである。
【図１１】鏡像の奥行き分布情報を取得する他の例を表す図である。
【図１２】３Ｄ撮像システム４００の構成図である。
【図１３】鏡面Ｒ５、Ｒ６の一例をあらわす図である。
【図１４】像判断のフローチャートである。
【図１５】被写体の点の像の位置との関係を説明する図である。
【図１６】２つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。
【図１７】視差角θＡの式（１）のグラフである。
【図１８】異なる２つの視点位置の配置による視差角の違いを説明する図である。
【図１９】３Ｄ撮像システムの変形例を表す図である。
【図２０】処理部２２０の機能構成図である。
【図２１】ラボシステム２００の構成図である。
【図２２】画像処理装置の構成図である。
【符号の説明】
２  鏡面
１０  デジタルカメラ
２０  撮像ユニット
２２  レンズ
２４  絞り
２５  開口
３０  ＣＣＤ
３７  パターン照射装置
４６  絞り駆動部
６０  処理ユニット
１００  表示ユニット
１１０  操作ユニット
２００  画像処理装置
２１０  入力部
２２０  処理部
２４０  記録部
２５０  出力部
２９０  記録媒体
３０２  視差画像記憶部
３０６  判断部
３１０  仮奥行き算出部
３１２  奥行き算出部
３１４  記録部
３１６  画像変換部
３１８  鏡面制御部
３２４、３２６  魚眼レンズ
４１０  鏡像表示部
【図１】
0004162842.tif 000002
【図２】
0004162842.tif 000003
【図３】
0004162842.tif 000004
【図４】
0004162842.tif 000005
【図５】
0004162842.tif 000006
【図６】
0004162842.tif 000007
【図７】
0004162842.tif 000008
【図８】
0004162842.tif 000009
【図９】
0004162842.tif 000010
【図１０】
0004162842.tif 000011
【図１１】
0004162842.tif 000012
【図１２】
0004162842.tif 000013
【図１３】
0004162842.tif 000014
【図１４】
0004162842.tif 000015
【図１５】
0004162842.tif 000016
【図１６】
0004162842.tif 000017
【図１７】
0004162842.tif 000018
【図１８】
0004162842.tif 000019
【図１９】
0004162842.tif 000020
【図２０】
0004162842.tif 000021
【図２１】
0004162842.tif 000022
【図２２】
0004162842.tif 000023