(57)【特許請求の範囲】
【請求項１】
撮像光学系により結像された被写体像を光電変換する撮像素子と、
前記撮像光学系の前段に配置され、視差に応じた異なる位置で前記被写体からの光を受光して、前記撮像素子の異なる領域に導くミラー型ステレオアダプタと、
前記撮像素子の出力に基づいて被写体画像信号を得る撮像手段と、前記被写体画像信号に対して所定のトリミングを行うことで、前記撮像素子の撮像領域の中に、１つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像に対応した複数の撮影画枠を設定する撮影画枠設定手段と、
前記複数の撮影画枠に対応して得られた複数のモノキュラ画像を、１つの画像上の異なる位置領域に配置することで、１つの平面画像である並列配置型ステレオ画像を合成する画像合成手段と、
前記並列配置型ステレオ画像を記録する記録手段と、
を具備してなり、
前記画像合成手段は、前記並列配置型ステレオ画像の合成に際して、当該並列配置型ステレオ画像上の各モノキュラ画像の境界領域に或いはさらに当該並列配置型ステレオ画像の周囲に、枠線を表す画枠画像を重畳するように構成されたことを特徴とする撮像装置。
【請求項２】
前記複数のモノキュラ画像は、２眼式ステレオ画像の構成要素であるＬ及びＲ画像であり、前記画像合成手段が合成する並列配置型ステレオ画像は、前記Ｌ及びＲ画像を左右に配置したステレオペア画像であることを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体画像を取り扱う撮像装置に係わり、特に多眼式ステレオ画像の撮像装置に関する。
【０００２】
【従来の技術】
被写体等など画像を立体的情報を含んで撮影記録し、これを再生観察する方式には、多種多様な提案がある。その中でも、左右両眼の視点に対応する視差を持った２画像を記録し、これを左右両眼に対してそれぞれ提示するいわゆる２眼式ステレオ方式は、構成が最も簡単で安価な割に効果が大きいため、古くから今日に至るまで利用されている。
【０００３】
この２眼式ステレオ方式においても表示方式にはまた各種あり、例えば大画面による多人数同時観察を行う場合には、偏光メガネを併用した偏光投影方式や、シャッタメガネを併用した時分割提示方式が使用されているが、これらは何れも大がかりで高価なシステムを必要とするため、特殊な業務用と以外には使用されることは少ない。そこで、いわゆるパーソナルユースに対しては、同時には１人しか観察できないと云う制約はあるものの、最も基本的且つ古典的な方法であるステレオペア画像を用いる方式が、極めて安価にまた鮮明な画像を観察できる方式として、今日なお広く使用されている。
【０００４】
このステレオペア画像について詳述すれば、左眼視点対応画像であるＬ画像と右眼視点対応画像であるＲ画像とが、通常僅かな隙間を介して２枚並列に並べられて１つの画像を構成している。この種の画像の最も手軽な撮影装置として普及している３５ミリ１眼レフカメラ＋ステレオアダプタのシステム上の制約等のため、ＬＲ画像は実際には１つの標準横位置画像（横３：縦２）を縦に２分割した形で構成されており、従って各画像即ち観察される立体画像は横位置（横縦比約３：４程度）になっているのが一般的である。
【０００５】
本明細書においては、このようにＬＲ２画像が空間的に（画像平面上に）併置されて１つの画像を構成しているものをステレオペア画像と称する。なお、上記した具体的な構成（数値等）は一例に過ぎないが、説明を簡単にするために、特記しない場合は上記具体例のものが例として取り上げられていることを前提に説明する。
【０００６】
このステレオペア画像は、
(1) 記録，印画，電送，印刷等に際して何らかの特殊なシステムを要しない。
(2) 適切な条件を満たせば直接立体観察できる。即ち、左右像の融合が何らの装置を用いることなくできる。
という極めて優れた特長を有している。
【０００７】
特に、(2) に関して詳述すれば、ＬＲ画像が正しく左右眼によって捕らえられ、２つの異なる画像ではなく１つの立体画像として認識される状態を左右像の融合と称するが、例えば適当な大きさ（具体的には横幅が眼幅の２倍よりやや小さい程度＝１０〜１３ｃｍ）に印画された「平行配置」（Ｌを左、Ｒを右に配置）のものであれば、観察に際しても視線を平行に向けるいわゆる「平行法」（人によっては若干の練習を要するが）を用いることで融合可能である。また、これとは左右の画像を入れ替えた「交差配置」も使用され、こちらは印画サイズの制約が無く、視線を交差させる「交差法」によってやはり直接立体観察できるが、観察時の目の疲労と立体観察時の不自然さ（箱庭現象）がやや大きいため、上記平行配置の方がより普及しているものである。
【０００８】
いずれにせよ、このように(1) システムを選ばず(2) 直接観察も可能であるという２つの大きな特長を持つステレオペア画像は、特にインターネットやデジタルカメラの普及などいわゆるメディアミックス化が進めば進むほどその価値が見直され、利用され続けるものと予想される。
【０００９】
そこで本出願人は、先に電子的なステレオペア画像たるＳＰＭ（Stereo Pear in Multimedia）を用いて臨場感の高い高画質観察を容易に行うために、ＬＲ画像に異なるシフトを与える観察方法及び観察装置（ビュアー）に関する技術を提案している（特願２０００−１１５３５７号）。この技術では、通常は、２つの表示デバイスには同一の画像が表示されるが（モノキュラモード）、ＳＰＭをメモリカードから読み出して表示する場合には、左眼画像側と右眼画像側とで互いに異なるシフト処理がステレオペア画像シフト処理部によって施され、そのシフト処理後の画像信号がそれぞれ左眼画像及び右眼画像として表示デバイスから表示される（ステレオモード）。そして、このシフト処理により、左眼画像側におけるＳＰＭのＬ画像と右眼画像側におけるＳＰＭのＲ画像とが１つの立体画像として融合するようになり、臨場感の高い高画質の立体画像を容易に観察することが可能となる。
【００１０】
ところで一方、ステレオ画像を撮像するデジタルスチルカメラ（電子カメラ）としては、例えば本発明者の考案による特開平５−３０５３８号公報に記載のものがある。これは、２つの撮像系（レンズ＋撮像素子）を用いてＬＲの画像を得て、各画像個別にステレオペアコードデータ（ステレオ画像であるというデータ、ＬとＲの識別情報など）を付加して記録するものであり、簡単にステレオ撮像が可能な優れたものである。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記公報の電子カメラにあっては、以下に示す不十分な点が存在する。
(a) 撮像系を２系統必要とするから、大型化・高価格化を免れない。
(b) 得られるステレオ画像は上記ＳＰＭ（並列配置されたステレオペア）とは異なるから、上記ＳＰＭを得るためには別途処理を必要とする。
【００１２】
ここで、一般的な（単眼の）デジタルカメラに、従来のステレオアダプタを組み合わせて使用すれば、一見上記 (a)(b) とも解決されるように見えるが、この場合も
(c) 当該画像がステレオ画像であるということを含めてステレオに関するデータが付随しない。従って、通常の平面（非ステレオ）画像との混在状況において管理が煩雑となるし、上記先願のようなビュアーにおける再生に際して画像のシフトを自動化するような応用も不可能となる。
【００１３】
特にこの問題に対しては、上記公報に記載のように、Ｌ，Ｒ各画像を記録した各画像ファイルにそれぞれステレオペアコードを付加して対応すると云うことも考え得るが、従来の単眼撮像のカメラにステレオアダプタを組み合わせたものでは、Ｌ，Ｒ各画像を個別の画像として扱うことはできないから、実際には不可能であった。
【００１４】
また、(d) 通常の単眼カメラの撮像系に外付けのステレオアダプタを追加した場合には、アダプタ方式特有のオーバーラップやケラレなどの不具合現象を回避できないという問題があった。図５（ａ）はＦ値が小さい（開放側の）場合であり、ＬＲ画像のオーバーラップが生じている。図５（ｂ）はＦ値が大きい（絞り込み側の）場合であり、ＬＲ画像間にケラレが生じている。
【００１５】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、簡単に高画質のステレオデータの付加された多眼式ステレオ画像を撮像することができ、またステレオアダプタを使用した場合の各種不具合現象の影響を回避できる撮像装置を提供することにある。
【００１６】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【００１７】
即ち本発明は、多眼式ステレオ画像を撮像するための撮像装置において、撮像光学系により結像された被写体像を光電変換する撮像素子と、前記撮像光学系の前段に配置され、視差に応じた異なる位置で前記被写体からの光を受光して、前記撮像素子の異なる領域に導くミラー型ステレオアダプタと、前記撮像素子の出力に基づいて被写体画像信号を得る撮像手段と、前記被写体画像信号に対して所定のトリミングを行うことで、前記撮像素子の撮像領域の中に、１つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像に対応した複数の撮影画枠を設定する撮影画枠設定手段と、前記複数の撮影画枠に対応して得られた複数のモノキュラ画像を、１つの画像上の異なる位置領域に配置することで、１つの平面画像である並列配置型ステレオ画像を合成する画像合成手段と、前記並列配置型ステレオ画像を記録する記録手段と、を具備してなり、前記画像合成手段は、前記並列配置型ステレオ画像の合成に際して、当該並列配置型ステレオ画像上の各モノキュラ画像の境界領域に或いはさらに当該並列配置型ステレオ画像の周囲に、枠線を表す画枠画像を重畳するように構成されたことを特徴とする。
【００１８】
ここで、本発明の望ましい実施態様としては次のものが挙げられる。
【００２０】
(1) 複数のモノキュラ画像は、２眼式ステレオ画像の構成要素であるＬ及びＲ画像であり、画像合成手段が合成する並列配置型ステレオ画像は、Ｌ及びＲ画像を左右に配置したステレオペア画像であること。
【００２２】
（作用）
本発明によれば、１つの撮像素子の撮像領域の中に複数のモノキュラ画枠を設定し、これから得られた複数のモノキュラ画像によりステレオ画像を生成しているので、多眼式ステレオ画像を撮像するために複数の撮像素子を要せず、ステレオアダプタと１つの撮像素子で済むことになる。即ち、装置構成の小型化，低価格化が可能となる。また、モノキュラ画枠を適切に設定することで、アダプタ方式特有のオーバーラップやケラレなどの不具合も回避することが可能となる。
【００２３】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００２４】
図１は、本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図である。
【００２５】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞り及びシャッタを含む露出制御機構、１０４は光学式ローパスフィルタなどのフィルタ系、１０５はＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はＣＦ等のメモリカード、１１１はＬＣＤ画像表示系を示している。
【００２６】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構１０３及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００２７】
本実施形態の電子カメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、露出制御機構１０３とＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。なお、ＣＣＤ撮像素子１０５は、例えば縦型オーバーフロードレイン構造のインターライン型である。
【００２８】
ここまでの基本的な構成は従来一般的な電子カメラと同様であるが、本実施形態ではこれに加えて、操作スイッチ系１１３には、通常モードとステレオモードを切り替えるためのモード切り替えスイッチが設けられている。さらに、システムコントローラ１１２には、撮像エリアのトリミング領域を設定するための画枠設定部，モノキュラ画像からＳＰＭ画像を合成するためのＳＰＭ合成部，ＳＰＭ画像からＪＰＥＧ画像データを生成するためのＳＧＭ生成部が設けられている。
【００２９】
本実施形態の電子カメラにおいては、図２に示すように、カメラ本体１００にミラー式ステレオアダプタ２００が着脱可能となっている。このアダプタ２００は、視差程度離れた位置にミラー２０１，２０２をそれぞれ配置し、更にこれらのミラー２０１，２０２で反射した光をカメラ側に導くためのミラー２０３，２０４を配置して構成される。アダプタ２００の右側のミラー２０１に入射した光はミラー２０３及び撮影レンズ１０１を介して撮像素子１０５の左側領域Ｌに結像され、左側のミラー２０２に入射した光はミラー２０４及び撮影レンズ１０１を介して撮像素子１０５の右側領域Ｒに結像されるようになっている。
【００３０】
通常モードでは、アダプタ２００を取り付けることなく、通常（単眼）カメラと同様に撮像される。なお、通常モードとステレオモードの切り替えは前記したモード切り替えスイッチで行われるが、ミラー式ステレオアダプタ２００を取り付けているか否かに応じて自動的に切り替えるようにしてもよい。
【００３１】
ステレオモードでは、ステレオアダプタ２００を取り付けた状態でトリガー操作によって、通常のカメラと全く同様の撮像を行う。そして、撮像エリアの全領域から読み出した画像信号に対して、以下の処理を行う。
【００３２】
まず、システムコントローラ１１２に含まれる画枠設定部によって、デジタルプロセス回路１０８においてトリミングが行われる。即ち、図３に示すように、画面を縦に２分割し、左半分をＬ画像、右半分をＲ画像と割り当てる（１００％トリミング）。なお、１００％トリミングで使用することも可能であるが、本実施形態ではオーバーラップやケラレが画像に出るのを防ぐために横幅を９０％に制限し、更に（必須ではないが）縦横バランスを整えるために縦幅も同率でトリミングしたものをそれぞれＬ，Ｒ画像に割り当てる。
【００３３】
次いで、システムコントローラ１１２に含まれるＳＰＭ合成部によって、デジタルプロセス回路１０８においてＳＰＭ画像が生成される。即ち、上記のトリミングにより得られたＬ，Ｒ画像は、図４に示すように合成され、２つの画像が左右に隙間無く並列配置された１つの画像（ＳＰＭ画像）となる。このとき、境界領域に或いはさらにＳＰＭ画像の周囲に１〜数画素幅の枠線（例えばＲ＝Ｇ＝Ｂ＝０の黒）を配して、ＳＰＭ画像であることが視覚的にも明確となるようにすることも好適な変形例である。
【００３４】
そして、ＳＰＭ画像は、システムコントローラ１１２に含まれるＳＧＭ（Stereo Gram in Multimedia）生成部によって、ステレオデータをヘッダ部として付加されたＪＰＥＧ画像データに生成される。即ち、記録や伝送に際して画像情報を圧縮しておくことが好適であり、その際任意の方法を用いることが可能であるが、最も標準的な公知のＪＰＥＧ圧縮を用いる。その際、例えばヘッダ部のユーザー情報領域の所定のタグにステレオ情報を割り当てる。記録する情報は、
ａ：ステレオであるか否か（デフォルト：Ｙ）
ｂ：ステレオの場合の画像枚数（デフォルト：２）
ｃ：各モノキュラ画像の配置（縦横画素数を含む存在領域）
が基本情報となる。
【００３５】
これらの情報があれば、自身或いは他の装置はこの情報を読み取ることによって、元の各モノキュラ画像を分離、再現することができる（画像を伸張した後に数，配置情報に従って各画像を切り出せばよい）。このようなＳＧＭは、１つのステレオ画像の全画像データと、画像データ以外に必要なステレオデータとを１ファイル、即ち取り扱い単位としたものであるから、（狭義の）構造化ステレオ画像の一例である。一般の、例えば汎用ＰＣでの使用やインターネット上での伝送に際しての不可分な取り扱い単位であるから、このうちの一部だけが誤って記録，伝送，消去されるような不具合は生じない。
【００３６】
但し、本発明においては、構造化ステレオ画像としては広義のものを対象とする。従って、上記例以外にも、従来例に示したような画像データが複数ファイルに分かれているような形でＳＧＭを構成してもよい。即ち、ＳＧＭの形式に拘わらず、小型軽量化やアダプタ使用時の不具合回避などの効果が同様に得られることは自明である。なお、このような複数ファイル形式のＳＧＭを構成するためには、上記トリミング（１つの撮像画枠からのＬ、Ｒ各画像の切り出し）が不可欠となる。
【００３７】
生成されたＳＧＭを、システムコントローラ１１２の指示により働くデジタルプロセス回路１０８内の記録手段でカードインターフェース１０９を介してメモリカード１１０に記録する。
【００３８】
なお、ＳＧＭが記録されたカードは、例えば汎用ＰＣ等のスロット等に差し替えて使用される。カメラ本体は他に入出力ポートを持っており、有線又は無線接続により、生成されたＳＧＭを入出力可能である。また、カード（カードインターフェース）経由で、ＳＧＭを入出力することも可能である。
【００３９】
このように本実施形態によれば、通常の単眼式電子カメラと同様の構成である電子カメラ１００にミラー型ステレオアダプタ２００を取り付け、１つの撮像素子１０５の撮像エリア上に、複数のモノキュラ画枠を設定し、これから得た複数のモノキュラ画像によりステレオ画像を得るようにしているので、複数の撮像素子を要しない。このため、小型化及び低価格化が可能となる。また、画枠を適切に設定することで、アダプタ方式特有のオーバーラップやケラレなどの不具合を回避することができる。
【００４０】
なお、本発明は上述した実施形態に限定されるものではない。実施形態においては、ＳＰＭやＳＧＭ等は静止画の場合を例示したが、これに限られることなく、例えば動画であっても全く同様に適用可能である。即ち、上記ＳＰＭ合成のやり方、ＳＧＭ生成に際して付加するステレオデータに関しては、静止画動画の別によらない要素しか含まれていないから、従来の動画撮像技術をそのまま使用し、例えば代表的な動画圧縮フォーマットの１つであるＭＰＥＧを上記ＪＰＥＧに代えて用いることによって、全く同様に実施して効果を得ることができるものである。
【００４１】
また、実施形態では撮像エリアに２つの画枠を設定したが、例えば、公知のレンチキュラー方式（レンチキュラーシートプリントやレンチキュラースクリーンを用いたマルチプロジェクション方式など）に用いられる一般の多眼式立体画像を得るべく、3眼以上のミラーアダプタとこれに対応した３つ以上の画枠設定を使用しても良い。その他、本発明の要旨を逸脱しない範囲で、種々変形して実施することができる。
【００４２】
【発明の効果】
以上詳述したように本発明によれば、ミラー型ステレオアダプタを用いて１つの撮像素子でステレオ画像を撮像すると共に、撮像素子の撮像領域の中にモノキュラ画像に対応した複数の撮影画枠を設定し、これから得られた複数のモノキュラ画像によりステレオ画像を生成しているので、ステレオ撮像に際して複数の撮像素子を要することなく、装置構成の小型化及び低価格化が可能となる。また、画枠を適当に設定することで、アダプタ方式特有のオーバーラップやケラレなどの不具合も回避可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図。
【図２】実施形態の電子カメラに装着するミラー式ステレオアダプタの構成を示す図。
【図３】撮像エリアに設定する画枠を示す図。
【図４】Ｌ，Ｒ画像を合成してＳＰＭ画像を生成し、更にＳＧＭを生成する様子を示す図。
【図５】従来の問題点であるアダプタ方式特有のオーバーラップとケラレを示す図。
【符号の説明】
１００…カメラ本体
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス部
１０８…デジタルプロセス部
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）
２００…ミラー式ステレオアダプタ
２０１〜２０４…ミラー
【図１】
0004536231.tif 000002
【図２】
0004536231.tif 000003
【図３】
0004536231.tif 000004
【図４】
0004536231.tif 000005
【図５】
0004536231.tif 000006