(57)【特許請求の範囲】
【請求項１】
立体画像としてのステレオ画像を取り扱う画像取り扱い装置であって、
１つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像を入力する入力手段と、
前記入力した複数のモノキュラ画像を１つの平面上の異なる位置領域に並列配置して並列配置型ステレオ画像を生成する画像合成手段と、
前記並列配置型ステレオ画像に対し、前記モノキュラ画像の境界領域及び周囲に所定の枠線部を付加して枠線付きステレオ画像を生成する枠線付加手段と、
前記枠線付きステレオ画像に係わる画像データに画像以外の情報であるステレオデータを付加して、１つのデジタル画像ファイルとして構成した構造化ステレオ画像ファイルを記録する記録手段と、
を具備したことを特徴とする画像取り扱い装置。
【請求項２】
前記モノキュラ画像は２眼式ステレオ画像の構成要素であるＬ及びＲ画像であり、前記並列配置型ステレオ画像は前記Ｌ及びＲ画像を左右に配置したステレオペア画像であることを特徴とする請求項１記載の画像取り扱い装置。
【請求項３】
コンピュータ読み取り可能な記録媒体であり、１つのデジタル画像ファイルとして構成した構造化ステレオ画像ファイルを記録した記録媒体であって、
前記構造化ステレオ画像ファイルは、１つの多眼式ステレオ画像に係わる画像データに、該多眼式ステレオ画像に関する画像以外の情報であるステレオデータを付加して構成され、
前記多眼式ステレオ画像は、複数のモノキュラ画像を１つの平面画像上の異なる位置領域に配置した並列配置型ステレオ画像であって、該モノキュラ画像の境界領域及び該平面画像の周囲に所定の枠線部が付加されて記録されていることを特徴とする記録媒体。
【請求項４】
前記モノキュラ画像は２眼式ステレオ画像の構成要素であるＬ及びＲ画像であり、前記並列配置型ステレオ画像は前記Ｌ及びＲ画像を左右に配置したステレオペア画像であることを特徴とする請求項３記載の記録媒体。
【請求項５】
立体画像として記録媒体に記録される構造化ステレオ画像ファイルであって、
前記構造化ステレオ画像ファイルは、１つの多眼式ステレオ画像に係わる画像データに、該多眼式ステレオ画像に関する画像以外の情報であるステレオデータを付加して、１つのデジタル画像ファイルとして構成され、
前記多眼式ステレオ画像は、複数のモノキュラ画像を１つの平面画像上の異なる位置領域に配置したものである並列配置型ステレオ画像であって、該モノキュラ画像の境界領域及び該平面画像の周囲に所定の枠線部が付加されていることを特徴とする構造化ステレオ画像ファイル。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体画像を取り扱う技術に係わり、特に１つの画像取り扱い単位として構成した構造化ステレオ画像を取り扱う画像取り扱い装置、また構造化ステレオ画像を記録した記録媒体、更にはデータ構造を改良した構造化ステレオ画像に関する。
【０００２】
【従来の技術】
被写体等など画像を立体的情報を含んで撮影記録し、これを再生観察する方式には、多種多様な提案がある。その中でも、左右両眼の視点に対応する視差を持った２画像を記録し、これを左右両眼に対してそれぞれ提示するいわゆる２眼式ステレオ方式は、構成が最も簡単で安価な割に効果が大きいため、古くから今日に至るまで利用されている。
【０００３】
この２眼式ステレオ方式においても表示方式にはまた各種あり、例えば大画面による多人数同時観察を行う場合には、偏光メガネを併用した偏光投影方式や、シャッタメガネを併用した時分割提示方式が使用されているが、これらは何れも大がかりで高価なシステムを必要とするため、特殊な業務用と以外には使用されることは少ない。そこで、いわゆるパーソナルユースに対しては、同時には１人しか観察できないと云う制約はあるものの、最も基本的且つ古典的な方法であるステレオペア画像を用いる方式が、極めて安価にまた鮮明な画像を観察できる方式として、今日なお広く使用されている。
【０００４】
このステレオペア画像について詳述すれば、左眼視点対応画像であるＬ画像と右眼視点対応画像であるＲ画像とが、通常僅かな隙間を介して２枚並列に並べられて１つの画像を構成している。この種の画像の最も手軽な撮影装置として普及している３５ミリ１眼レフカメラ＋ステレオアダプタのシステム上の制約等のため、ＬＲ画像は実際には１つの標準横位置画像（横３：縦２）を縦に２分割した形で構成されており、従って各画像即ち観察される立体画像は横位置（横縦比約３：４程度）になっているのが一般的である。
【０００５】
本明細書においては、このようにＬＲ２画像が空間的に（画像平面上に）併置されて１つの画像を構成しているものをステレオペア画像と称する。なお、上記した具体的な構成（数値等）は一例に過ぎないが、説明を簡単にするために、特記しない場合は上記具体例のものが例として取り上げられていることを前提に説明する。
【０００６】
このステレオペア画像は、
(1) 記録，印画，電送，印刷等に際して何らかの特殊なシステムを要しない。  (2) 適切な条件を満たせば直接立体観察できる。即ち、左右像の融合が何らの装置を用いることなくできる。
【０００７】
という極めて優れた特長を有している。
【０００８】
特に、(2) に関して詳述すれば、ＬＲ画像が正しく左右眼によって捕らえられ、２つの異なる画像ではなく１つの立体画像として認識される状態を左右像の融合と称するが、例えば適当な大きさ（具体的には横幅が眼幅の２倍よりやや小さい程度＝１０〜１３ｃｍ）に印画された「平行配置」（Ｌを左、Ｒを右に配置）のものであれば、観察に際しても視線を平行に向けるいわゆる「平行法」（人によっては若干の練習を要するが）を用いることで融合可能である。また、これとは左右の画像を入れ替えた「交差配置」も使用され、こちらは印画サイズの制約が無く、視線を交差させる「交差法」によってやはり直接立体観察できるが、観察時の目の疲労と立体観察時の不自然さ（箱庭現象）がやや大きいため、上記平行配置の方がより普及しているものである。
【０００９】
いずれにせよ、このように(1) システムを選ばず(2) 直接観察も可能であるという２つの大きな特長を持つステレオペア画像は、特にインターネットやデジタルカメラの普及などいわゆるメディアミックス化が進めば進むほどその価値が見直され、利用され続けるものと予想される。
【００１０】
そこで本出願人は、先に電子的なステレオペア画像たるＳＰＭ（Stereo Pear in Multimedia）を用いて臨場感の高い高画質観察を容易に行うために、ＬＲ画像に異なるシフトを与える観察方法及び観察装置（ビュアー）に関する技術を提案している（特願２０００−１１５３５７号）。この技術では、通常は、２つの表示デバイスには同一の画像が表示されるが（モノキュラモード）、ＳＰＭをメモリカードから読み出して表示する場合には、左眼画像側と右眼画像側とで互いに異なるシフト処理がステレオペア画像シフト処理部によって施され、そのシフト処理後の画像信号がそれぞれ左眼画像及び右眼画像として表示デバイスから表示される（ステレオモード）。そして、このシフト処理により、左眼画像側におけるＳＰＭのＬ画像と右眼画像側におけるＳＰＭのＲ画像とが１つの立体画像として融合するようになり、臨場感の高い高画質の立体画像を容易に観察することが可能となる。
【００１１】
ところで一方、ステレオ画像を撮像するデジタルスチルカメラ（電子カメラ）としては、例えば本発明者の考案による特開平５−３０５３８号公報に記載のものがある。これは、２つの撮像系（レンズ＋撮像素子）を用いてＬＲの画像を得て、各画像個別にステレオペアコードデータ（ステレオ画像であるというデータ、ＬとＲの識別情報など）を付加して記録するものであり、簡単にステレオ撮像が可能な優れたものである。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記公報の電子カメラにあっては、以下に示す不十分な点が存在する。
(a) 撮像系を２系統必要とするから、大型化・高価格化を免れない。
(b) 得られるステレオ画像は上記ＳＰＭ（並列配置されたステレオペア）とは異なるから、上記ＳＰＭを得るためには別途処理を必要とする。
【００１３】
ここで、一般的な（単眼の）デジタルカメラに、従来のステレオアダプタを組み合わせて使用すれば、一見上記 (a)(b) とも解決されるように見えるが、この場合も
(c) 当該画像がステレオ画像であるということを含めてステレオに関するデータが付随しない。従って、通常の平面（非ステレオ）画像との混在状況において管理が煩雑となるし、上記先願のようなビュアーにおける再生に際して画像のシフトを自動化するような応用も不可能となる。
【００１４】
特にこの問題に対しては、上記公報に記載のように、Ｌ，Ｒ各画像を記録した各画像ファイルにそれぞれステレオペアコードを付加して対応すると云うことも考え得るが、従来の単眼撮像のカメラにステレオアダプタを組み合わせたものでは、Ｌ，Ｒ各画像を個別の画像として扱うことはできないから、実際には不可能であった。
【００１５】
また、この点を別にして何らかの方法で、仮にこのようなステレオ画像の記録が可能であった場合を考えても、このような画像の取り扱い構造に由来する問題として、
(d) １つのステレオ画像情報が複数の画像取り扱い単位（ファイル）に分散されてしまうから、これを汎用の記録再生装置や伝送装置で取り扱った場合にはこれらのステレオペアコードを認識することができず、全て独立の画像として取り扱われることになり、誤ってＬＲのうち１コマだけ消去したり、伝送したりされる不具合を生じる問題があった。
【００１６】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、記録再生装置や伝送装置を含めた汎用の装置での処理時にも、多眼式ステレオ画像を構成する複数のモノキュラ画像が、常に１つの画像（取り扱い単位）として処理を受け、誤って一部のモノキュラ画像だけが伝送されたり或いは消去されたりすることがないようにし得る画像取り扱い装置を提供することにある。
【００１７】
また本発明の他の目的は、上記のように多眼式ステレオ画像を構成する複数のモノキュラ画像が、常に１つの画像（取り扱い単位）として処理を受けるような構造化ステレオ画像及びこれを記録した記録媒体を提供することにある。
【００１８】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【００１９】
即ち本発明は、立体画像としてのステレオ画像を取り扱う画像取り扱い装置であって、１つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像を入力する入力手段と、前記入力した複数のモノキュラ画像を１つの平面上の異なる位置領域に並列配置して並列配置型ステレオ画像を生成する画像合成手段と、前記並列配置型ステレオ画像に対し、前記モノキュラ画像の境界領域及び周囲に所定の枠線部を付加して枠線付きステレオ画像を生成する枠線付加手段と、前記枠線付きステレオ画像に係わる画像データに画像以外の情報であるステレオデータを付加して、１つのデジタル画像ファイルとして構成した構造化ステレオ画像ファイルを記録する記録手段と、を具備したことを特徴とする。
【００２３】
また本発明は、コンピュータ読み取り可能な記録媒体であり、１つのデジタル画像ファイルとして構成した構造化ステレオ画像ファイルを記録した記録媒体であって、前記構造化ステレオ画像ファイルは、１つの多眼式ステレオ画像に係わる画像データに、該多眼式ステレオ画像に関する画像以外の情報であるステレオデータを付加して構成され、前記多眼式ステレオ画像は、複数のモノキュラ画像を１つの平面画像上の異なる位置領域に配置した並列配置型ステレオ画像であって、該モノキュラ画像の境界領域及び該平面画像の周囲に所定の枠線部が付加されて記録されていることを特徴とする。
【００２４】
また本発明は、立体画像として記録媒体に記録される構造化ステレオ画像ファイルであって、前記構造化ステレオ画像ファイルは、１つの多眼式ステレオ画像に係わる画像データに、該多眼式ステレオ画像に関する画像以外の情報であるステレオデータを付加して、１つのデジタル画像ファイルとして構成され、前記多眼式ステレオ画像は、複数のモノキュラ画像を１つの平面画像上の異なる位置領域に配置したものである並列配置型ステレオ画像であって、該モノキュラ画像の境界領域及び該平面画像の周囲に所定の枠線部が付加されていることを特徴とする。
【００２５】
（作用）
本発明によれば、１つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像に係わる画像データに、該ステレオ画像に関する画像以外の情報であるステレオデータを付加して、１つの画像取り扱い単位として構造化ステレオ画像を構成している。従って、多眼式ステレオ画像を構成する複数のモノキュラ画像が、常に１つの画像（取り扱い単位）として処理を受けることになり、これにより画像の取り扱いが簡単になり、誤って一部のモノキュラ画像だけが伝送されたり或いは消去されたりすることがない。
【００２６】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００２７】
図１は、本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図である。
【００２８】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞り及びシャッタを含む露出制御機構、１０４は光学式ローパスフィルタなどのフィルタ系、１０５はＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はＣＦ等のメモリカード、１１１はＬＣＤ画像表示系を示している。
【００２９】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構１０３及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００３０】
本実施形態の電子カメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、露出制御機構１０３とＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。なお、ＣＣＤ撮像素子１０５は、例えば縦型オーバーフロードレイン構造のインターライン型である。
【００３１】
ここまでの基本的な構成は従来一般的な電子カメラと同様であるが、本実施形態ではこれに加えて、操作スイッチ系１１３には、通常モードとステレオモードを切り替えるためのモード切り替えスイッチが設けられている。さらに、システムコントローラ１１２には、撮像エリアのトリミング領域を設定するための画枠設定部，モノキュラ画像からＳＰＭ画像を合成するためのＳＰＭ合成部，ＳＰＭ画像からＪＰＥＧ画像データを生成するためのＳＧＭ生成部が設けられている。
【００３２】
本実施形態の電子カメラにおいては、図２に示すように、カメラ本体１００にミラー式ステレオアダプタ２００が着脱可能となっている。このアダプタ２００は、視差程度離れた位置にミラー２０１，２０２をそれぞれ配置し、更にこれらのミラー２０１，２０２で反射した光をカメラ側に導くためのミラー２０３，２０４を配置して構成される。アダプタ２００の右側のミラー２０１に入射した光はミラー２０３及び撮影レンズ１０１を介して撮像素子１０５の左側領域Ｌに結像され、左側のミラー２０２に入射した光はミラー２０４及び撮影レンズ１０１を介して撮像素子１０５の右側領域Ｒに結像されるようになっている。
【００３３】
通常モードでは、アダプタ２００を取り付けることなく、通常（単眼）カメラと同様に撮像される。なお、通常モードとステレオモードの切り替えは前記したモード切り替えスイッチで行われるが、ミラー式ステレオアダプタ２００を取り付けているか否かに応じて自動的に切り替えるようにしてもよい。
【００３４】
ステレオモードでは、ステレオアダプタ２００を取り付けた状態でトリガー操作によって、通常のカメラと全く同様の撮像を行う。そして、撮像エリアの全領域から読み出した画像信号に対して、以下の処理を行う。
【００３５】
まず、システムコントローラ１１２に含まれる画枠設定部によって、デジタルプロセス回路１０８においてトリミングが行われる。即ち、図３に示すように、画面を縦に２分割し、左半分をＬ画像、右半分をＲ画像と割り当てる（１００％トリミング）。なお、１００％トリミングで使用することも可能であるが、本実施形態ではオーバーラップやケラレが画像に出るのを防ぐために横幅を９０％に制限し、更に（必須ではないが）縦横バランスを整えるために縦幅も同率でトリミングしたものをそれぞれＬ，Ｒ画像に割り当てる。
【００３６】
次いで、システムコントローラ１１２に含まれるＳＰＭ合成部によって、デジタルプロセス回路１０８においてＳＰＭ画像が生成される。即ち、上記のトリミングにより得られたＬ，Ｒ画像は、図４に示すように合成され、２つの画像が左右に隙間無く並列配置された１つの画像（ＳＰＭ画像）となる。このとき、境界領域に或いはさらにＳＰＭ画像の周囲に１〜数画素幅の枠線（例えばＲ＝Ｇ＝Ｂ＝０の黒）を配して、ＳＰＭ画像であることが視覚的にも明確となるようにすることも好適な変形例である。
【００３７】
そして、ＳＰＭ画像は、システムコントローラ１１２に含まれるＳＧＭ（Stereo Gram in Multimedia）生成部によって、ステレオデータをヘッダ部として付加されたＪＰＥＧ画像データに生成される。即ち、記録や伝送に際して画像情報を圧縮しておくことが好適であり、その際任意の方法を用いることが可能であるが、最も標準的な公知のＪＰＥＧ圧縮を用いる。その際、例えばヘッダ部のユーザー情報領域の所定のタグにステレオ情報を割り当てる。記録する情報は、
ａ：ステレオであるか否か（デフォルト：Ｙ）
ｂ：ステレオの場合の画像枚数（デフォルト：２）
ｃ：各モノキュラ画像の配置（縦横画素数を含む存在領域）
が基本情報となる。
【００３８】
これらの情報があれば、自身或いは他の装置はこの情報を読み取ることによって、元の各モノキュラ画像を分離、再現することができる（画像を伸張した後に数，配置情報に従って各画像を切り出せばよい）。このようなＳＧＭは、１つのステレオ画像の全画像データと、画像データ以外に必要なステレオデータとを１ファイル、即ち取り扱い単位としたものであるから、構造化ステレオ画像の一例である。そしてこの構造化ステレオ画像は、一般の例えば汎用ＰＣでの使用やインターネット上での伝送に際しての不可分な取り扱い単位であるから、このうちの一部だけが誤って記録，伝送，消去されるような不具合は生じない。
【００３９】
生成されたＳＧＭを、システムコントローラ１１２の指示により働くデジタルプロセス回路１０８内の記録手段でカードインターフェース１０９を介してメモリカード１１０に記録する。
【００４０】
なお、ＳＧＭが記録されたカードは、例えば汎用ＰＣ等のスロット等に差し替えて使用される。カメラ本体は他に入出力ポートを持っており、有線又は無線接続により、生成されたＳＧＭを入出力可能である。また、カード（カードインターフェース）経由で、ＳＧＭを入出力することも可能である。
【００４１】
このように本実施形態によれば、通常の単眼式電子カメラと同様の構成である電子カメラ１００にミラー型ステレオアダプタ２００を取り付け、１つの撮像素子１０５の撮像エリア上に、複数のモノキュラ画枠を設定し、これから得た複数のモノキュラ画像によりステレオ画像を得るようにしているので、複数の撮像素子を要しない。このため、小型化及び低価格化が可能となる。また、画枠を適切に設定することで、アダプタ方式特有のオーバーラップやケラレなどの不具合を回避することができる。
【００４２】
なお、本発明は上述した実施形態に限定されるものではない。例えば、複数の単独のＬ，Ｒ画像ファイルを入力して、実施形態と同様の手法でＳＧＭを生成する（又はその逆を行う）変換装置を構成してもよい。これによって、取り扱いが煩雑で誤った部分消去などのおそれがあった従来のステレオ画像データをそのまま、そのような不具合のない構造化ステレオ画像に変換することができる。また、その逆によって、システムの互換性を確保することができる。
【００４３】
実施形態においては、ＳＰＭやＳＧＭ等は静止画の場合を例示したが、これに限られることなく、例えば動画であっても全く同様に適用可能である。即ち、上記ＳＰＭ合成のやり方、ＳＧＭ生成に際して付加するステレオデータに関しては、静止画動画の別によらない要素しか含まれていないから、従来の動画撮像技術をそのまま使用し、例えば代表的な動画圧縮フォーマットの１つであるＭＰＥＧを上記ＪＰＥＧに代えて用いることによって、全く同様に実施して効果を得ることができるものである。
【００４４】
また、実施形態ではミラーアダプタを用いたステレオ撮像を取り上げたため、撮像エリアに２つの画枠を設定した２眼式立体画像であったが、本発明の技術は３眼以上の任意の多眼式立体画像に応用することができる。即ち例えば、公知のレンチキュラー方式（レンチキュラーシートプリントやレンチキュラースクリーンを用いたマルチプロジェクション方式など）に用いられるｎ眼式立体画像（ｎ＝３以上）をｎ台のカメラを用いて撮影した場合に、そのｎ個のモノキュラ画像を並列配置して１枚の画像に合成し、さらにこれに対応したステレオデータを付加して上記実施例と同様のＳＧＭを生成することも好適な適用例の一つである。
【００４５】
また、２眼の場合もそれ以上の場合も、ＳＧＭの画像データ部分の構成としては「複数のモノキュラ画像を並列配置して１枚の画像とした」形式に限られるものでは無く、例えば各モノキュラ画像をそれぞれ対応するページとして有するような複数ページから構成された画像データであっても良い。このような場合も１つの立体画像に対応する全画像データとこれに付随するステレオデータとが合わせて１つの画像取り扱い単位（ファイル）となるから、本発明の基本的効果が得られるものである。
【００４６】
その他、本発明の要旨を逸脱しない範囲で、種々変形して実施することができる。
【００４７】
【発明の効果】
以上詳述したように本発明によれば、１つの多眼式ステレオ画像の構成要素である複数のモノキュラ画像に係わる画像データに、該ステレオ画像に関する画像以外の情報であるステレオデータを付加して、１つの画像取り扱い単位として構造化ステレオ画像を構成しているので、多眼式ステレオ画像を構成する複数のモノキュラ画像が、常に１つの画像（取り扱い単位）として処理を受けることになる。従って、画像の取り扱いが簡単になり、従って一部のモノキュラ画像だけが伝送されたり消去されるのを防ぐことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図。
【図２】実施形態の電子カメラに装着するミラー式ステレオアダプタの構成を示す図。
【図３】撮像エリアに設定する画枠を示す図。
【図４】Ｌ，Ｒ画像を合成してＳＰＭ画像を生成し、更にＳＧＭを生成する様子を示す図。
【符号の説明】
１００…カメラ本体
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス部
１０８…デジタルプロセス部
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）
２００…ミラー式ステレオアダプタ
２０１〜２０４…ミラー
【図１】
0003841630.tif 000002
【図２】
0003841630.tif 000003
【図３】
0003841630.tif 000004
【図４】
0003841630.tif 000005