(57)【要約】【課題】統合画像と単眼視画像との識別を容易にすると共に、融合を効果的に支援する。【解決手段】  所定の視差を有して得られた同一被写体の複数のモノキュラ画像について、上記複数のモノキュラ画像の縁辺の一部又は全部に配置する付帯画像を設定する付帯画像設定手段５０ａと、上記複数のモノキュラ画像の各モノキュラ画像に夫々所定の相対位置関係を有して上記付帯画像上に配置される各画像パターンを設定する画像パターン設定手段５０ａと、上記複数のモノキュラ画像が与えられ、上記複数のモノキュラ画像と上記画像パターンが配置された上記付帯画像とに基づく１枚の統合画像を生成する統合画像生成手段５０ｂとを具備したことを特徴とする。【選択図】      図１
2005311983.tif 000002
【特許請求の範囲】
【請求項１】
所定の視差を有して得られた同一被写体の複数のモノキュラ画像について、上記複数のモノキュラ画像の縁辺の一部又は全部に配置する付帯画像を設定する付帯画像設定手段と、
上記複数のモノキュラ画像の各モノキュラ画像に夫々所定の相対位置関係を有して上記付帯画像上に配置される各画像パターンを設定する画像パターン設定手段と、
上記複数のモノキュラ画像が与えられ、上記複数のモノキュラ画像と上記画像パターンが配置された上記付帯画像とに基づく１枚の統合画像を生成する統合画像生成手段とを具備したことを特徴とする画像処理装置。
【請求項２】
上記画像パターン設定手段は、上記付帯画像上に配置する各画像パターンとして、上記各モノキュラ画像に対する相対位置関係が相互に同一のパターンを用いることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像パターン設定手段は、上記各モノキュラ画像に夫々所定の相対位置関係を有して上記付帯画像上に配置される各画像パターンとして、形状が相互に同一のパターンを用いることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記画像パターン設定手段は、上記統合画像の各モノキュラ画像を融合させて１枚の画像として認識する場合において、上記各画像パターンに基づく画像が立体的に表されるように、上記各画像パターンの形状及び上記各モノキュラ画像に対する相対位置関係を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記複数のモノキュラ画像は、撮像手段によって１枚の画像に配列された状態で上記統合画像生成手段に入力されることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記画像パターン設定手段によって設定される画像パターンは、文字パターンであることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
上記画像パターン設定手段によって設定される画像パターンは、上記統合画像が立体視画像であることを示すパターンであることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
上記統合画像と所定の付随データとに基づいて所定フォーマットの画像ファイルを生成する画像ファイル生成手段を更に具備したことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像を撮像する電子カメラ等に好適な画像処理装置に関する。
【背景技術】
【０００２】
画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。その中でも、左右両眼の視点に対応する視差を持った２画像を記録し、これを左右両眼に対してそれぞれ提示するいわゆる２眼式ステレオ方式は、構成が最も簡単で安価な割に効果が大きいため、旧くから今日に至るまで利用されている。
【０００３】
この２眼式ステレオ方式において、いわゆるパーソナルユースに対しては、同時には１人しか観察できないという制約はあるものの、最も基本的かつ古典的な方法であるステレオペア画像を用いる方式が、極めて安価にまた鮮明な画像を観察できる方式として、今日、なお広く使用されている。
【０００４】
そして、ステレオアダプタを用いたステレオ撮像装置としては、例えば、特許文献１に開示されたものがある。特許文献１では、システムコントローラに、ステレオアダプタの装着を検出するステレオアダプタ検出部、測光エリアに関する被写体画像信号を解析して露出制御に必要な測光情報を算出するための自動露出（ＡＥ）制御部、及び上述の測光エリアの設定を行う測光エリア設定部を設けて、測光エリア設定部が、通常撮影モード時とステレオ撮影モードとでそれぞれ異なる測光エリアを設定する機能を有しており、通常撮影モード及びステレオ撮影モードそれぞれに最適な測光エリアを設定する技術を開示している。
【特許文献１】特開２００２−２１８５０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように、２眼式ステレオ方式では、１枚の画枠の中の左右に、視差に応じて相互にずれた同一被写体の２つの画像（以下、モノキュラ画像という）を映し出す方法を採用する。即ち、２眼式ステレオ方式では、左右にモノキュラ画像が配置された１枚の画像（以下、統合画像という）から立体感を得るために、統合画像中の左右のモノキュラ画像を夫々右目又は左目で観察する。左右の目で観察した２つの画像を、１つの画像として融合させることによって、立体感を有する画像を認識することができる。この認識上の画像（以下、融合画像という）は、左右のモノキュラ画像の各部のずれ量に応じて、各部に遠近感を生じさせる。
【０００６】
ところで、ステレオアダプタ内のミラーや絞り等の光学系の誤差等に起因して、統合画像の全領域が立体視に寄与するモノキュラ画像となるとは限らない。例えば、モノキュラ画像の縁辺部及び各モノキュラ画像同士の境界部は立体視に寄与せず、画像品位を悪化させてしまうことがある。そこで、統合画像の周辺及び左右方向の中央部分には、例えば黒レベルの帯状の画像（以下、付帯画像という）を配置し、付帯画像によって囲まれた領域のみを有効とすることで、有効なモノキュラ画像の範囲を容易に認識可能にする方法が採用されることがある。
【０００７】
このような付帯画像を含む統合画像に対しては、当然のことながら、一般の単眼視画像に対する画像処理と異なる処理を施した方がよい。例えば、一般の単眼視画像に対する露出補正は、画像中央部の輝度レベルを基準にするのに対し、統合画像では画像中央の付帯画像部分ではなく、各モノキュラ画像の中央位置の輝度レベルを基準にした方がよい。
【０００８】
ところが、一般に、統合画像についての周知度は低く、付帯画像を有する統合画像が立体視用の画像であることが認識されないことがある。このため、統合画像に一般の単眼視画像と同様の画像処理が施されてしまうこともあり、あるいは、撮影ミスによる画像と誤認識され、必要な画像処理が施されないこともあるという問題点があった。
【０００９】
また、上述したように、融合画像は、左右のモノキュラ画像を夫々左右の目で観察することによって得られる。ところが、このような画像の融合には個人差があり、適正な統合画像を観察しても、必ずしも、融合画像を得ることができるとは限らないという問題点もあった。
【００１０】
本発明は統合画像と単眼視画像とを容易に識別可能にすると共に、統合画像から融合画像を認識するための融合を効果的に支援することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、所定の視差を有して得られた同一被写体の複数のモノキュラ画像について、上記複数のモノキュラ画像の縁辺の一部又は全部に配置する付帯画像を設定する付帯画像設定手段と、上記複数のモノキュラ画像の各モノキュラ画像に夫々所定の相対位置関係を有して上記付帯画像上に配置される各画像パターンを設定する画像パターン設定手段と、上記複数のモノキュラ画像が与えられ、上記複数のモノキュラ画像と上記画像パターンが配置された上記付帯画像とに基づく１枚の統合画像を生成する統合画像生成手段とを具備したことを特徴とする。
【００１２】
本発明において、付帯画像設定手段は、複数のモノキュラ画像の縁辺の一部又は全部に配置する付帯画像を設定する。画像パターン設定手段は、複数のモノキュラ画像の各モノキュラ画像に夫々所定の相対位置関係を有して付帯画像上に配置される各画像パターンを設定する。統合画像生成手段には、所定の視差を有して得られた同一被写体の複数のモノキュラ画像が与えられ、これらの複数のモノキュラ画像と画像パターンが配置された付帯画像とに基づく１枚の統合画像を生成する。
【発明の効果】
【００１３】
本発明によれば、統合画像と単眼視画像とを容易に識別可能にすると共に、統合画像から融合画像を認識するための融合を効果的に支援することができるという効果を有する。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る画像処理装置が組込まれた電子カメラを示すブロック図である。
【００１５】
（第１の実施形態）
図１において、電子カメラは、カメラ本体１と、レンズ鏡筒を有するレンズユニット５と、ステレオ画像撮影用のステレオアダプタ１０とによって構成されている。電子カメラは、レンズユニット５にミラー式のステレオアダプタ１０が着脱自在に取り付けられている。ステレオアダプタ１０は、視差程度離れた位置にミラー１１、１２がそれぞれ配置され、更にこれらのミラー１１、１２によって反射された光をカメラ側に導くためのミラー１３、１４が配置された構成となっている。
【００１６】
ステレオアダプタ１０内のミラー１１、１３及びミラー１２、１４を通過した光は、それぞれレンズユニット５内の撮影レンズ群２１を介して露出制御機構２２、更にはカメラ本体１内のハーフミラー３１に導かれる。
【００１７】
レンズユニット５は、撮影レンズ群２１と、露出制御機構２２と、レンズ駆動機構２３と、レンズドライバ２４と、露出制御ドライバ２５とを有して構成されている。
【００１８】
撮影レンズ群２１は、ステレオアダプタ１０が装着していない状態では通常の単眼視の撮像（モノキュラ撮像）が可能な主撮像光学系であり、レンズ駆動機構２３によって駆動されてフォーカシングやズーミングの調節が行われるようになっている。レンズ駆動機構２３は、レンズドライバ２４によって制御される。露出制御機構２２は、撮影レンズ群２１の絞り及びシャッタ装置（図示せず）を制御するようになっている。露出制御機構２２は、露出制御ドライバ２５によって制御される。
【００１９】
レンズユニット５からカメラ本体１に導かれた光は、ハーフミラー３１を通過して、ローパス及び赤外カット用のフィルタ系３２を介してＣＣＤカラー撮像素子３４に導かれて結像されるようになっている。ＣＣＤカラー撮像素子３４は、ＣＣＤドライバ３５によって駆動制御されて、被写体の光学像を電気信号に変換する。なお、ＣＣＤカラー撮像素子３４としては、例えば、縦型オーバフロードレイン構造のインターライン型で、プログレッシブ（順次）走査型のものが採用される。
【００２０】
図２は図１中のミラー式ステレオアダプタの構成を示す説明図である。
【００２１】
図２において、カメラ本体１に装着されたレンズ鏡筒を有するレンズユニット５に、ミラー式のステレオアダプタ１０が着脱可能となっている。このステレオアダプタ１０は、視差程度離れた位置にミラー１１、１２がそれぞれ配置され、更にこれらのミラー１１、１２で反射された光をカメラ側に導くためのミラー１３、１４が配置されて構成される。
【００２２】
ステレオアダプタ１０の右眼視用ミラー１１に入射された光は、ミラー１３及び撮影レンズ群２１を介してＣＣＤカラー撮像素子３４の撮像面３４ａの領域Ｒに結像される。同様に、左眼視用ミラー１２に入射された光は、ミラー１４及び撮影レンズ群２１を介してＣＣＤカラー撮像素子３４の撮像面３４ａの領域Ｌに結像されるようになっている。
【００２３】
ＣＣＤカラー撮像素子３４によって光電変換された信号は、Ａ／Ｄ変換器等を含むプリプロセス回路３６を介して、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行うためのデジタルプロセス回路３９に与えられる。このデジタルプロセス回路３９において、デジタル化された画像信号を処理することにより、カラー画像データが生成される。
【００２４】
デジタルプロセス回路３９には、ＬＣＤ表示部４０が接続されると共に、カードインターフェース（ＩＦ）４１を介してＣＦ（Ｃｏｍｐａｃｔ  Ｆｌａｓｈ  Ｍｅｍｏｒｙ  Ｃａｒｄ）やスマートメディア等のメモリカード４２が接続される。ＬＣＤ表示部４０はカラー画像データに基づく表示を行うものであり、メモリカード４２はカラー画像データを格納するものである。
【００２５】
なお、メモリカード４２は、外部のパーソナルコンピュータ６０に装填が可能である。そして、メモリカード４２に記録された画像は、パーソナルコンピュータ６０上で表示、画像処理等が可能である。更に、メモリカード４２に記録された画像を、図示しないプリンタによってプリントアウトすることも可能である。
【００２６】
ハーフミラー３１は、入射される被写体像が一部反射されるように構成されているもので、反射光をＡＦセンサモジュール４５に導くようになっている。ＡＦセンサモジュール４５は、撮影レンズ群２１を通って入射された光線に基づいて焦点検出を行うためのものである。ＡＦセンサモジュール４５は、瞳分割用のセパレータレンズ４６と、ラインセンサで構成されるＡＦセンサ４７を有して構成されている。
【００２７】
ＣＰＵ等によって構成されるシステムコントローラ５０は、カメラ本体１及びレンズユニット５内の各部を統括的に制御するためのものである。システムコントローラ５０には、上述したレンズドライバ２４と、露出制御ドライバ２５と、ＣＣＤドライバ３５と、プリプロセス回路３６と、デジタルプロセス回路３９と、ＡＦセンサモジュール４５の他、操作スイッチ部５２と、操作表示部５３と、不揮発性メモリ（ＥＥＰＲＯＭ）５１と、ステレオ切り替えスイッチ（ＳＷ）５４とが接続されている。
【００２８】
操作スイッチ部５２は、レリーズスイッチや撮影モード設定等の各種スイッチから構成される。操作表示部５３は、カメラの操作状態及びモード状態等を表示するための表示部である。
【００２９】
ＥＥＰＲＯＭ５１は、各種設定情報等を記憶するためのメモリである。そして、ステレオ切り替えスイッチ５４は、ステレオアダプタ１０がレンズユニット５に装着される際にモードを切り替えるための切り替えスイッチである。なお、ここでは、撮影モード切り替えはステレオ切り替えスイッチ５４を操作して行うようにしているが、これに限られるものではない。例えば、ステレオアダプタ１０内に検出機能を設けて自動的に撮影モードの切り替えが行われるようにしてもよい。
【００３０】
システムコントローラ５０は、露出制御機構２２とＣＣＤドライバ３５によるＣＣＤカラー撮像素子３４の駆動を制御して、露光（電荷蓄積）及び信号の読み出しを行う。システムコントローラ５０は、ＣＣＤ３４の出力をプリプロセス回路３６を介してデジタルプロセス回路３９に与えて各種信号処理を施し、カードインターフェース４１を介してメモリカード４２に記録させるようになっている。
【００３１】
ストロボ５７は、閃光を発光するもので、レンズユニット５内の露出制御ドライバ２５を介して、システムコントローラ５０によって制御されるようになっている。
【００３２】
システムコントローラ５０は、更に、露出制御部５０ｄ及び測光エリア設定部５０ｅを有している。露出制御部５０ｄは、測光エリアに関する被写体画像信号を解析して露出制御に必要な露光情報を算出するためのものである。また、測光エリア設定部５０ｅは、露出制御部５０ｄに対して、測光エリアの設定を行うようになっている。
【００３３】
本実施の形態においては、システムコントローラ５０は、更に、付帯画像設定部５０ａ、統合画像生成部５０ｂ及び画像ファイル生成部５０ｃを有している。
【００３４】
統合画像生成部５０ｂは、２つのモノキュラ画像を含む統合画像を生成するためのものである。画像ファイル生成部５０ｃは、統合画像を所定フォーマットの電子画像ファイルに変換して出力することができるようになっている。例えば、画像ファイル生成部５０ｃは、統合画像を必要に応じて圧縮処理し、付属データ（メタデータ）を付加した図７示す所定フォーマットのデジタル画像ファイルを生成する。
【００３５】
付帯画像設定部５０ａは、統合画像中に含まれる各モノキュラ画像の有効範囲を規定する付帯画像を設定するためのものである。付帯画像は、統合画像の縁辺に所定レベルの帯状に設定される。付帯画像設定部５０ａは、設定すべき付帯画像を統合画像生成部５０ｂに指示するようになっており、統合画像生成部５０ｂは付帯画像設定部５０ａの指示に従って、統合画像中に付帯画像を含めるようになっている。なお、付帯画像設定部５０ａは、付帯画像として任意の画像パターンを設定することができる。
【００３６】
図２のＬＲの各領域に結像された被写体光学像は、実際には境界部にケラレが生じていたり、或いは結像位置にずれが生じていたりする。このケラレ及び位置ずれ等を補正すべく、ＬＲ領域中の所定部分をトリミングして有効なモノキュラ画像の範囲（以下、画枠という）を設定する。付帯画像設定部５０ａは、この画枠を囲むように、付帯画像を設定する。
【００３７】
更に、本実施の形態においては、画像パターン設定手段としての付帯画像設定部５０ａは、付帯画像中に、画像が統合画像であることを識別するための所定の画像パターン（以下、識別パターンという）及び統合画像の観察による融合を支援して容易に融合画像を得ることを可能にするための所定の画像パターン（以下、融合支援パターンという）の少なくとも一方を含めるための設定を行うことができるようになっている。
【００３８】
例えば、付帯画像設定部５０ａは、識別パターン及び融合支援パターンを兼用した画像パターンとして、「ＳＴＥＲＥＯ」の文字列を採用する。付帯画像設定部５０ａは、画像パターン「ＳＴＥＲＥＯ」を、各モノキュラ画像の下方又は上方の付帯画像部分に、夫々配置させる。この場合には、付帯画像設定部５０ａは、融合支援パターンである「ＳＴＥＲＥＯ」の同一パターンを、夫々各モノキュラ画像に対して相対的な位置を例えば一致させて配置する。即ち、左右のモノキュラ画像の画枠サイズ及び倍率が同一で、融合支援パターンの形状及びサイズが同一であるものとすると、各モノキュラ画像に対する相対位置が一致しているので、この場合には、融合支援パターンは、融合画像中において、奥行きを感じない基準位置、即ち、画枠平面上に定位することになる。
【００３９】
なお、融合支援パターンを画枠平面上に定位させることによって、融合を効果的に支援することができるものと考えられるが、各モノキュラ画像の絵柄等によっては必ずしも融合支援パターンを画枠平面上に定位させる必要はない。即ち、各モノキュラ画像に対応して配置する各融合支援パターンの形状及びサイズは必ずしも一致させる必要はなく、パターンの形状及びサイズ並びに各モノキュラ画像に対する相対的な位置を適宜設定することによって、所定の奥行き感を有するように定位させ、或いは立体的な形状として提示することで、融合を支援することも可能である。
【００４０】
次に、このように構成された実施の形態の作用について図３を参照して説明する。図３は統合画像を説明するための説明図である。
【００４１】
いま、ステレオ切り替えスイッチ５４によって、ステレオ撮影モードが指示されているものとする。ステレオアダプタ１０を介して入射した被写体光学像は、撮影レンズ群２１、露出制御機構２２、ハーフミラー３１及びフィルタ系３２を介してＣＣＤカラー撮像素子３４の撮像面に結像する。図２に示すように、ＣＣＤカラー撮像素子３４によって、左右のモノキュラ画像Ｌ，Ｒを含む１枚の画像が得られる。ＣＣＤカラー撮像素子３４からの画像信号はプリプロセス回路３６を介してコントローラ５０に入力される。
【００４２】
コントローラ５０内の付帯画像設定部５０ａは、ケラレや結像位置のずれを考慮して、有効なモノキュラ画像の範囲を区画する帯状の付帯画像の領域を設定する。付帯画像設定部５０ａの設定に基づいて、統合画像生成部５０ｂは、付帯画像を含む統合画像を生成する。
【００４３】
図３は統合画像生成部５０ｂが生成する統合画像を示している。図３の斜線部によって、付帯画像設定部５０ａが設定した帯状の付帯画像を示している。即ち、統合画像は、図３に示すように、左右のモノキュラ画像７１Ｌ，７１Ｒと、その縁辺に配置される帯状の付帯画像７１ｓを含んでいる。なお、図３中のＬ，Ｒは左右のモノキュラ画像が配置されていることを示している。
【００４４】
更に、本実施の形態においては、付帯画像設定部５０ａは、識別パターン及び融合支援パターンを兼用した画像パターンである「ＳＴＥＲＥＯ」の文字パターン７２Ｌ，７２Ｒを、付帯画像７１ｓ上に表示させる。図３に示すように、統合画像生成部５０ｂは、文字パターン７２Ｌ，７２Ｒをそれぞれモノキュラ画像７１Ｌ，７１Ｒ下方の付帯画像７１ｓ部分に配置する。これらの文字パターン７２Ｌ，７２Ｒは、例えば、同一形状、同一サイズに構成され、それぞれ、モノキュラ画像７１Ｌ，７１Ｒに対する相対位置関係が相互に同一に設定される。
【００４５】
例えば、付帯画像設定部５０ａは、各モノキュラ画像７１Ｌ，７１Ｒの画枠を基準として、文字パターン７２Ｌ，７２Ｒのモノキュラ画像７１Ｌ，７１Ｒに対する相対位置関係を設定することができる。
【００４６】
図３に示す統合画像は、付帯画像７１ａ上に、統合画像であることを示す「ＳＴＥＲＯ」の文字パターン７２Ｌ，７２Ｒを含むことから、これらの文字パターン７２Ｌ，７２Ｒによって、統合画像であることを容易に識別することができる。
【００４７】
また、文字パターン７２Ｌ，７２Ｒは、夫々モノキュラ画像７１Ｌ，７１Ｒに対する相対位置関係が相互に同一であり、同一形状及びサイズのパターンであることから、融合画像上では、「ＳＴＥＲＯ」の文字列が画枠平面に定位する。従って、画像の認識時に文字列「ＳＴＥＲＯ」が重なるように融合を試みることによって、融合画像の形成が容易となる。
【００４８】
画像ファイル生成部５０ｃは、統合画像生成部５０ｂが生成した統合画像を所定フォーマットの電子画像ファイルに変換する。即ち、画像ファイル生成部５０ｃは、統合画像を必要に応じて圧縮処理し、付属データ（メタデータ）を付加した所定フォーマットのデジタル画像ファイルを生成する。例えば、画像ファイル生成部５０ｃは、付帯画像については、統合画像上の範囲及び輝度レベル等をコード化して、メタデータとして出力することもできる。
【００４９】
画像ファイル生成部５０ｃからの統合画像の電子画像ファイルは、デジタルプロセス回路３９に与えられる。デジタルプロセス回路３９は、入力された電子画像ファイルに基づいて、統合画像をＬＣＤ４０の表示画面に表示させることができる。また、デジタルプロセス回路３９は、入力された電子画像ファイルをカードＩＦ４１を介してメモリカード４２に与えて、記録させることもできる。
【００５０】
このように本実施の形態においては、左右のモノキュラ画像及びその領域を区画する付帯画像を含む統合画像には、左右のモノキュラ画像に対して相対位置関係が相互に同一で、同一サイズ及び形状の２つの画像パターンが識別パターン及び融合支援パターンとして含まれている。
【００５１】
従って、統合画像の再生時には、識別パターンによって統合画像であることを容易に識別することができ、また、画像の認識時には、融合支援パターンによって容易に融合画像の形成が可能である。
【００５２】
なお、識別パターンとしては、統合画像であることを識別可能にする画像パターンであればよく、文字に限定されるものではなく、また、配置する位置も自由であり、１つの画像パターンのみによって構成してもよい。
【００５３】
また、融合支援パターンとしては、各モノキュラ画像にそれぞれ所定の位置関係を有して配置される一対の画像パターンであればよく、融合画像中の奥行き方向を含む表示位置に応じて相互に所定の関係を有する形状及びサイズの画像パターンを採用することができる。
【００５４】
なお、第１の実施の形態においては、電子カメラに適用した例を説明したが、電子カメラによって撮像された画像を処理する単独の画像処理装置にも適用することができ、また、撮像画像を処理するパーソナルコンピュータ等のプログラムによって、同様の機能を達成することも可能である。
【００５５】
また、図３では付帯画像が左右のモノキュラ画像の全縁辺部に帯状に配置されている例について説明したが、融合支援パターンは、左右のモノキュラ画像の上方又は下方の付帯画像上に配置すればよい。従って、図４に示すように、統合画像の下方のみに付帯画像７５Ｄを配置するようにしてもよく、また、図５に示すように、統合画像の上方を除く左右のモノキュラ画像７１Ｌ，７１Ｒの縁辺に付帯画像７７ｓを配置するようにしてもよい。また、図示しないが統合画像の上方のみに付帯画像を配置するようにしてもよい。更に、付帯画像を各モノキュラ画像の１縁辺の１部に配置するようにしてもよい。
【００５６】
（第２の実施の形態）
上述したように、左右のモノキュラ画像に対してそれぞれ設けられる２つの融合支援パターンは、融合画像中の奥行き方向に応じた形状等に形成される。例えば、融合支援パターンそのものを立体視させるように構成することも可能である。
【００５７】
図６は融合支援パターンとして立体的な「ＳＴＲＥＯ」の文字列を採用する場合の「Ｔ」の文字の画像パターンを示す説明図である。図６に示すように、Ｔの文字の表面（図６の無地部分）のパターンは、左右のモノキュラ画像に対する相対位置関係が相互に異なる。これに対し、Ｔの文字の図示しない裏面のパターンは、左右のモノキュラ画像に対する相対位置が同一である。即ち、Ｔの文字の裏面のパターンは融合画像中では奥行き方向の基準位置である画枠平面に定位し、Ｔの文字の表面は手前側に飛び出し、Ｔの文字の側面が図６の斜線部に示す画像に応じた表示となる立体文字が認識されることになる。なお、他の文字についても同様である。
【００５８】
また、表面が平面形状の例を示したが、表面に凹凸を有するパターンを設定することもでき、また、側面の色や輝度がグラデーションを有するようにパターンを設定することも可能である。
【００５９】
なお、上記各実施の形態においては、ステレオ方式として、左右両眼に対応する２眼式として説明したが、３眼以上の一般の多眼式ステレオ方式に対しても同様に適用可能であることはもちろんである。
【００６０】
また、上記各実施の形態においては、左右にモノキュラ画像が配置された１枚の画像をカメラによって取得し、この画像に対して付帯画像の設定等を行う例について説明したが、例えば２台のカメラで別々に撮影して得られた各モノキュラ画像が別々に入力され、これらの各モノキュラ画像及び付帯画像等に基づいて、１枚の統合画像を生成するものに適用することができることは明らかである。
【００６１】
更に、本発明を動画に適用することができることも明らかである。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１の実施の形態に係る画像処理装置が組込まれた電子カメラを示すブロック図。
【図２】図１中のミラー式ステレオアダプタの構成を示す説明図。
【図３】統合画像を説明するための説明図。
【図４】付帯画像の他の例を示す説明図。
【図５】付帯画像の他の例を示す説明図。
【図６】融合支援パターンとして立体的な「ＳＴＲＥＯ」の文字列を採用する場合の「Ｔ」の文字の画像パターンを示す説明図。
【図７】画像ファイルのデータフォーマットの一例を示す説明図。
【符号の説明】
【００６３】
１…カメラ本体、５…レンズユニット、１０…ステレオアダプタ、１１、１２、１３、１４…ミラー、２１…撮影レンズ群、２２…露出制御機構、２５…露出制御ドライバ、３１…ハーフミラー、３２…フィルタ、３４…ＣＣＤカラー撮像素子、３５…ＣＣＤドライバ、３６…プリプロセス回路、３９…デジタルプロセス回路、４０…ＬＣＤ表示部、４１…カードインターフェース（ＩＦ）、４２…メモリカード、４５…ＡＦセンサモジュール、４６…セパレータレンズ、４７…ＡＦセンサ、５０…システムコントローラ（ＣＰＵ）、５０ａ…付帯画像設定部、５０ｂ…統合画像生成部、５０ｃ…画像ファイル生成部、５０ｄ…露出制御部、５０ｅ…測光エリア設定部、５１…不揮発性メモリ（ＥＥＰＲＯＭ）、５２…操作スイッチ（ＳＷ）、５３…操作表示部、５４…ステレオ切り替えスイッチ、６０…パーソナルコンピュータ。
代理人      弁理士      伊  藤    進
【図１】
2005311983.tif 000003
【図２】
2005311983.tif 000004
【図３】
2005311983.tif 000005
【図４】
2005311983.tif 000006
【図５】
2005311983.tif 000007
【図６】
2005311983.tif 000008
【図７】
2005311983.tif 000009