(57)【要約】【課題】光学アダプタを用いて得られた立体視画像の元となるＬ画像とＲ画像の画質を統一する。【解決手段】ステップＳ２において、ミラー画像の周辺部の輝度が、実験結果に基づくルックアップテーブルを用いて補正される。ステップＳ３において、補正済のミラー画像とスルー画像とが比較され、ミラー画像の輝度および色差が補正される。ステップＳ４において、ミラー画像のエッジが強調される。ステップＳ５において、ミラー画像とスルー画像がそれぞれトリミングされて、Ｌ画像とＲ画像が設定される。ステップＳ６において、Ｌ画像とＲ画像の上下方向の位置が調整される。ステップＳ７において、Ｌ画像とＲ画像が合成されて立体視画像が生成される。本発明は、画像処理プログラムに適用することができる。【選択図】　　　図１４
2004102513.tif 000002
【特許請求の範囲】
【請求項１】
光学アダプタを用いて同時に撮影された、ミラーを介して得られた第１の画像、および前記ミラーを介さずに得られた第２の画像を元にして立体視画像を表示するための画像データを生成する画像処理装置において、
前記第１の画像の輝度信号を補正する輝度補正手段と、
前記第１の画像の輝度信号および色差信号のうちの少なくとも一方を、前記第２の画像に基づいて調整する調整手段と、
前記立体視画像の奇数ラインについては前記第１および第２の画像のうちの一方の画像データを優先的に用い、前記立体視画像の偶数ラインについては前記第１および第２の画像のうちの他方の画像データを優先的に用いて、前記立体視画像を表示するための画像データを生成する生成手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記立体視画像の奇数ラインについては前記第１および第２の画像のうちの一方の画像データを用い、前記立体視画像の偶数ラインについては前記第１および第２の画像のうちの他方の画像データを用いて、前記立体視画像の画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像中のエッジを強調するエッジ強調手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の画像および前記第２の画像をそれぞれトリミングして、左眼用の画像および右眼用の画像を生成するトリミング手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記生成手段は、前記立体視画像の奇数ラインについては前記左眼用の画像および前記右眼用の画像のうちの一方の画像データを優先的に用い、前記立体視画像の偶数ラインについては前記左眼用の画像および前記右眼用の画像のうちの他方の画像データを優先的に用いて、前記立体視画像の画像データを生成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
輝度補正手段は、実験結果に基づいて生成された対応表または関数に基づいて、前記第１の画像の前記輝度信号を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
光学アダプタを用いて同時に撮影された、ミラーを介して得られた第１の画像、および前記ミラーを介さずに得られた第２の画像を元にして立体視画像を表示するための画像データを生成する画像処理装置の画像処理方法において、
前記第１の画像の輝度信号を補正する輝度補正ステップと、
前記第１の画像の輝度信号および色差信号のうちの少なくとも一方を、前記第２の画像に基づいて調整する調整ステップと、
前記立体視画像の奇数ラインについては前記第１および第２の画像のうちの一方の画像データを優先的に用い、前記立体視画像の偶数ラインについては前記第１および第２の画像のうちの他方の画像データを優先的に用いて、前記立体視画像を表示するための画像データを生成する生成ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
光学アダプタを用いて同時に撮影された、ミラーを介して得られた第１の画像、および前記ミラーを介さずに得られた第２の画像を元にして立体視画像を表示するための画像データを生成するプログラムであって、
前記第１の画像の輝度信号を補正する輝度補正ステップと、
前記第１の画像の輝度信号および色差信号のうちの少なくとも一方を、前記第２の画像に基づいて調整する調整ステップと、
前記立体視画像の奇数ラインについては前記第１および第２の画像のうちの一方の画像データを優先的に用い、前記立体視画像の偶数ラインについては前記第１および第２の画像のうちの他方の画像データを優先的に用いて、前記立体視画像を表示するための画像データを生成する生成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項９】
光学アダプタを用いて同時に撮影された、ミラーを介して得られた第１の画像、および前記ミラーを介さずに得られた第２の画像を元にして立体視画像を表示するための画像データを生成するコンピュータに、
前記第１の画像の輝度信号を補正する輝度補正ステップと、
前記第１の画像の輝度信号および色差信号のうちの少なくとも一方を、前記第２の画像に基づいて調整する調整ステップと、
前記立体視画像の奇数ラインについては前記第１および第２の画像のうちの一方の画像データを優先的に用い、前記立体視画像の偶数ラインについては前記第１および第２の画像のうちの他方の画像データを優先的に用いて、前記立体視画像を表示するための画像データを生成する生成ステップと
を含む処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、左眼用の画像と右眼用の画像を元にして立体視画像を生成する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、人の左右の眼がそれぞれ取得する網膜像の空間的ずれ（両眼視差）を利用して、２次元の画像を立体的に視認させる方法（以下、立体視の方法と記述する）が数多く知られている。
【０００３】
立体視の方法としては、特殊なメガネを利用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式等と、特殊なメガネを利用しないレンチキュラ方式等が知られている（いずれについても、例えば、非特許文献１参照）。
【０００４】
アナグリフ方式は、例えば、左眼用の画像（以下、Ｌ画像と記述する）を赤色モノトーン画像に変換し、右眼用の画像（以下、Ｒ画像と記述する）を青色モノトーン画像に変換して、赤色モノトーン画像と青色モノトーン画像を重ね合わせる。そして、その画像を、左側に赤色フィルタ、右側に青色フィルタが配置されたメガネ（以下、赤青メガネと記述する）を用いて見る方法である。アナグリフ方式は、比較的容易で安価に実施できることが、画像全体がモノトーンとなってしまう。
【０００５】
カラーアナグリフ方式は、アナグリフ方式の短所を補うものであり、Ｌ画像とＲ画像を重ね合わせたとき、それぞれの画像において対応する箇所がずれる部分（すなわち、視差が大きい部分）については、アナグリフ方式と同様に、例えば、Ｌ画像を赤色モノトーン画像に変換し、Ｒ画像を青色モノトーン画像に変換して重ね合わせる。それぞれの画像の対応する箇所がずれない部分（すなわち、視差が小さい部分）については、本来の色の状態で重ね合わせる。そして、その画像を、赤青メガネを用いて見る方法である。
【０００６】
カラーアナグリフ方式では、画像全体のうち、視差が少ない部分については、本来の色を再現することができる。なお、カラーアナグリフ方式には、視差が少ない部分に用いる色の違いにより、複数のバリエーションが存在する。以下、視差が小さい部分に本来の色を用いる方式を、第１のカラーアナグリフ方式と記述する。また、視差が小さい部分に本来の色を用いない方式を、第２のカラーアナグリフ方式と記述する。
【０００７】
偏光フィルタ方式は、例えば、垂直方向の直線偏光によって投影されたＬ画像と、水平方向の直線偏光によって投影されたＲ画像を重ね合わせる。そして、その画像を、左側に垂直方向の直線偏光フィルタ、右側に水平方向の直線偏光フィルタが配置された偏光フィルタメガネを用いて見る方法である。偏光フィルタ方式は、色の再現性がよく、解像度が高いことが長所であるが、偏光フィルタを利用することにより画像が暗くなってしまう短所がある。
【０００８】
時分割立体テレビジョン方式は、テレビジョン受像機に、Ｌ画像とＲ画像を、フィールド周期毎に交互に表示するようにし、その映像を、テレビジョン受像機のフィールド周期に同期して左眼側と右眼側を交互に開閉する液晶シャッタメガネを用いて見る方法である。時分割立体テレビジョン方式は、液晶シャッタメガネの開閉動作を高い精度で制御することが重要となる。
【０００９】
レンチキュラ方式は、画面を縦方向のストライプ状の領域に区分し、各ストライプ上の領域に交互に、Ｌ画像とＲ画像を表示し、その映像を、レンチキュラスクリーンと称されるレンズで覆う方法である。
【００１０】
ところで、上述したさまざまな立体視の方法を実現するためには、Ｌ画像とＲ画像を取得する必要がある。Ｌ画像とＲ画像を取得するためには、同一の被写体を、カメラの位置を人の両眼の間隔だけ移動して２回撮影する方法が最も容易である。
【００１１】
また、１回の撮影でＬ画像とＲ画像を取得する方法として、例えば、図１に示すように、ミラーなどから構成される光学アダプタ１１を、カメラ１の撮影レンズ３の外側に取り付ける方法が知られている（例えば、特許文献１参照）。
【００１２】
図２は、光学アダプタ１１の構造を模式的に表している。単一の採光窓から入射される右眼用の光学像は、ミラー２１によってミラー２２に向けて反射され、ミラー２２によって撮影レンズ３に向けて反射された後、撮影レンズ３によって集光される。単一の採光窓から入射される左眼用の光学像は、ミラー２１，２２によって反射されることなく、撮影レンズ３によって集光される。
【００１３】
光学アダプタ１１を介して入射された光学像は、図３に示すように、左眼用の領域および右眼用の領域からなる画像（以下、視差画像と記述する）として撮影される。この左眼用の領域がＬ画像として利用され、右眼用の領域がＲ画像として利用される。
【００１４】
【非特許文献１】
泉武博監修、ＮＨＫ放送技術研究所編「３次元映像の基礎」オーム出版、平成７年６月５日発行
【特許文献１】
特開平１１−４６３７３号公報
【００１５】
【発明が解決しようとする課題】
ところで、光学アダプタ１１を用いて視差画像を撮影し、その左眼用の領域をＬ画像として、右眼用の領域をＲ画像として利用する場合、Ｌ画像とＲ画像のうち、一方の画像が他方の画像よりもミラーによって反射される分だけ、輝度、彩度、解像度等が低下するような画質の劣化が生じてしまう課題があった。
【００１６】
輝度については、例えば、ミラーの反射率が０．９であるとすれば、ミラーに２回反射されるミラー画像の輝度は、スルー画像の輝度を１とした場合、０．８１（＝０．９×０．９）に低下していることになる。
【００１７】
したがって、このような一方の画像が他方の画像よりも劣化しているＬ画像およびＲ画像を元にして立体視を実現した場合、立体的に視覚できる画像も画質が劣化したものとなってしまう課題があった。
【００１８】
本発明はこのような状況に鑑みてなされたものであり、光学アダプタを用いて得られるＬ画像とＲ画像の画質を統一できるようにすることを目的とする。
【００１９】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画像の輝度信号を補正する輝度補正手段と、第１の画像の輝度信号および色差信号のうちの少なくとも一方を、第２の画像に基づいて調整する調整手段と、立体視画像の奇数ラインについては第１および第２の画像のうちの一方の画像データを優先的に用い、立体視画像の偶数ラインについては第１および第２の画像のうちの他方の画像データを優先的に用いて、立体視画像を表示するための画像データを生成する生成手段とを含むことを特徴とする。
【００２０】
前記生成手段は、立体視画像の奇数ラインについては第１および第２の画像のうちの一方の画像データを用い、立体視画像の偶数ラインについては第１および第２の画像のうちの他方の画像データを用いて、立体視画像の画像データを生成するようにすることができる。
【００２１】
本発明の画像処理装置は、第１の画像中のエッジを強調するエッジ強調手段をさらに含むことができる。
【００２２】
本発明の画像処理装置は、第１の画像および第２の画像をそれぞれトリミングして、左眼用の画像および右眼用の画像を生成するトリミング手段をさらに含むことができる。
【００２３】
前記生成手段は、立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、立体視画像の画像データを生成するようにすることができる・
【００２４】
前記輝度補正手段は、実験結果に基づいて生成された対応表または関数に基づいて、第１の画像の輝度信号を補正するようにすることができる。
【００２５】
本発明の画像処理方法は、第１の画像の輝度信号を補正する輝度補正ステップと、第１の画像の輝度信号および色差信号のうちの少なくとも一方を、第２の画像に基づいて調整する調整ステップと、立体視画像の奇数ラインについては第１および第２の画像のうちの一方の画像データを優先的に用い、立体視画像の偶数ラインについては第１および第２の画像のうちの他方の画像データを優先的に用いて、立体視画像を表示するための画像データを生成する生成ステップとを含むことを特徴とする。
【００２６】
本発明の記録媒体のプログラムは、第１の画像の輝度信号を補正する輝度補正ステップと、第１の画像の輝度信号および色差信号のうちの少なくとも一方を、第２の画像に基づいて調整する調整ステップと、立体視画像の奇数ラインについては第１および第２の画像のうちの一方の画像データを優先的に用い、立体視画像の偶数ラインについては第１および第２の画像のうちの他方の画像データを優先的に用いて、立体視画像を表示するための画像データを生成する生成ステップとを含むことを特徴とする。
【００２７】
本発明のプログラムは、第１の画像の輝度信号を補正する輝度補正ステップと、第１の画像の輝度信号および色差信号のうちの少なくとも一方を、第２の画像に基づいて調整する調整ステップと、立体視画像の奇数ラインについては第１および第２の画像のうちの一方の画像データを優先的に用い、立体視画像の偶数ラインについては第１および第２の画像のうちの他方の画像データを優先的に用いて、立体視画像を表示するための画像データを生成する生成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２８】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の画像の輝度信号が補正され、第１の画像の輝度信号および色差信号のうちの少なくとも一方が、第２の画像に基づいて調整される。そして、立体視画像の奇数ラインについては第１および第２の画像のうちの一方の画像データが優先的に用いられ、立体視画像の偶数ラインについては第１および第２の画像のうちの他方の画像データが優先的に用いられて、立体視画像を表示するための画像データが生成される。
【００２９】
【発明の実施の形態】
図４は、本発明を適用した立体視システムの構成例を示している。この立体視システムは、主に、立体視画像を生成するパーソナルコンピュータ（ＰＣ）３１、表示された立体視画像を見るときにユーザが使用するフィルタメガネ４１、およびパーソナルコンピュータ３１の表示部５７の表示面外側に配置するライン偏光４３から構成される。
【００３０】
パーソナルコンピュータ３１は、図１に示されたように、光学アダプタ１１が装着された状態のカメラ（ディジタルスチルカメラ）１によって撮影された視差画像、光学アダプタ１１が装着されていない状態で撮影された画像などを取り込み、視差画像または連続的に撮影された２枚の画像からなる画像対を元にして立体視画像を生成して表示する。なお、ディジタルスチルカメラ１からパーソナルコンピュータ３１に取り込まれる視差画像等の画像データには、撮影された日時、撮影された順序を示すシリアルなファイル番号、連写モードで撮影されたか否かを示す連写モードフラグなどの属性情報が付与されている。
【００３１】
フィルタメガネ４１は、パーソナルコンピュータ３１に接続された支持棒４２により、パーソナルコンピュータ３１のキーボード付近の上方空間に位置するように支持されている。フィルタメガネ４１の左側の枠には、垂直方向の直線偏光フィルタが配置されている。また、右側の枠には、水平方向の直線偏光フィルタが配置されている。
【００３２】
パーソナルコンピュータ３１の表示部５７の表示面外側に配置するライン偏光板４３は、水平方向の偶数ラインに垂直方向の直線偏光フィルタが、水平方向の奇数ラインに水平方向の直線偏光フィルタが配置されている。
【００３３】
フィルタメガネ４１、支持棒４２、およびライン偏光板４３は、例えば、図１の光学アダプタ１１、並びに画像処理プログラム６５（図１０を参照して後述する）などとセットにされて販売される。
【００３４】
次に、パーソナルコンピュータ３１によって立体視画像が生成される過程の概要について、図５乃至図８を参照して説明する。
【００３５】
図５は、光学アダプタ１１が装着されたディジタルスチルカメラ１によって撮影された視差画像を示している。同図において、視差画像の右眼用の領域は、ミラーによって反射されているものであり、左眼用の領域は、ミラーによって反射されていないものであるとする。そこで、以下においては、視差画像の右眼用の領域をミラー画像、左眼用の領域をスルー画像と記述する。
【００３６】
上述したように、ミラー画像は、スルー画像に比較して、画質（輝度、彩度、解像度等）が劣化している。特に、ミラー画像の周辺部（上辺部、下辺部、および左辺部）は、中心部に比較して輝度が低下している。また、ミラー画像は、本来、矩形である画像が台形に歪んだものとなる。そこで、始めにミラー画像の画質が補正され（詳細については、図１４を参照して後述する）、画像の形状の歪みが補正される。次に、図６に示すように、ミラー画像およびスルー画像がそれぞれトリミングされて、Ｒ画像およびＬ画像が生成される。
【００３７】
次に、図７に示すように、次式（１）に従って、Ｌ画像とＲ画像が合成されて、図８に示すような立体視画像が生成される。
偶数ライン
１×（Ｌ画像の画素）＋０×（Ｒ画像の画素）＝（立体視画像の画素）
奇数ライン
０×（Ｌ画像の画素）＋１×（Ｒ画像の画素）＝（立体視画像の画素）・・・（１）
【００３８】
以上で、立体視画像が生成される過程の概要についての説明を終了する。生成された立体視画像は、表示部５７に表示される。図９に示すように、ユーザは、表示部５７に表示された立体視画像を、フィルタメガネ４１およびライン偏光板４３を介して見ることになる。したがって、ユーザの左眼は、立体視画像の偶数ライン、すなわち、１ライン置きのＬ画像を見ることになり、ユーザの右眼は、立体視画像の奇数ライン、すなわち、１ライン置きのＲ画像を見ることになる。よって、ユーザは、立体視画像を立体的に視認することが可能となる。
【００３９】
次に、図１０は、画像処理プログラム６５を実行することにより、立体視画像を生成する処理等を実行するパーソナルコンピュータ３１の構成例を示している。
【００４０】
パーソナルコンピュータ３１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５１を内蔵している。ＣＰＵ５１には、バス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５２およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ
Ｍｅｍｏｒｙ）５３が接続されている。
【００４１】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる操作入力部５６、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）や生成される立体視画像等を表示するＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等よりなる表示部５７、各種のプログラムやデータを格納するハードディスクドライブなどよりなる記憶部５８、およびインタネット等のネットワークを介してデータを通信する通信部５９が接続されている。また、入出力インタフェース５５には、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、および半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００４２】
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または磁気ディスク６１乃至半導体メモリ６４から読み出されて記憶部６５に記憶され、記憶部６５からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４３】
このパーソナルコンピュータに立体視画像を生成する処理等を実行させる画像処理プログラム６５は、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）を含む）、光磁気ディスク６３（ＭＤ（Ｍｉｎｉ　Ｄｉｓｃ）を含む）、もしくは半導体メモリ６４に格納された状態でパーソナルコンピュータ３１に供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。記憶部５８にインストールされている画像処理プログラム６５は、操作入力部５６に入力されるユーザからのコマンドに対応するＣＰＵ５１の指令によって、記憶部５８からＲＡＭ５３にロードされて実行される。
【００４４】
図１１は、ＣＰＵ５１が画像処理プログラムを実行することによって実現される機能ブロックの構成例示している。
【００４５】
ＧＵＩブロック７１は、ＧＵＩに対するユーザの操作に対応して、画像管理部７２乃至表示制御部７６を制御する。画像管理ブロック７２は、ＧＵＩブロック７１からの制御に従い、ディジタルカメラ１から取り込まれて記憶部５８等に記憶されている視差画像などの画像データを、画像処理プログラム６５が取り扱うデータとして管理する。また、画像管理ブロック７２は、視差画像に付加されている属性情報に、サムネイル画像（縮小画像）の画像データ、トリミングされる領域の位置を示す情報、画質が補正されるときの設定値を示す情報、上下方向の位置が調整されるときの調整値を示す情報等を追加する。
【００４６】
画像取得ブロック７３は、ＧＵＩブロック７１からの制御に従い、画像管理ブロック７２によって管理されている視差画像などの画像データを取得し、ベース画像選択ブロック７４に出力する。ベース画像選択ブロック７４は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、画像処理ブロック７３から入力される画像のうち、ユーザによって選択された視差画像または画像対を立体視画像生成ブロック７５に出力する。また、ベース画像選択ブロック７４は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、画像処理ブロック７３から入力される画像のうち、立体視画像の元とすることができる画像対を選択して、立体視画像生成ブロック７５に出力する。
【００４７】
立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、ベース画像選択ブロック７４から入力される視差画像または画像対を元に、立体視画像を生成して表示制御ブロック７６に出力する。表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、ＧＵＩおよび生成される立体視画像の表示を制御する。
【００４８】
次に、視差画像を元にして立体視画像を生成する立体視画像生成処理について説明するが、その前に、画像処理プログラム６５に対応するウィンドウと当該ウィンドウ上のＧＵＩについて、図１２および図１３を参照して説明する。
【００４９】
図１２は、画像処理プログラム６５が起動されたときに表示されるウィンドウ１０１の表示例を示している。ウィンドウ１０１には、処理の対象とする画像のサムネイルなどが表示されるメインエリア１０２、および「立体視」ボタン１０４乃至「エンド」ボタン１０７が設けられている。
【００５０】
「画像取得」ボタン１０３は、立体視画像の元とする視差画像および画像対を選択するためのサムネイルをメインエリア１０２に表示させるときに押下される。「立体視画像」ボタン１０４は、選択された立体視画像（または画像対）を元にして立体視画像の生成を開始させるときに押下される。「ＬＲ置換」ボタン１０５は、立体視画像の元となるＬ画像とＲ画像を置換させるときに押下される。「印刷」ボタン１０６は、生成された立体視画像などをプリントアウトするときに押下される。「エンド」ボタン１０７は、画像処理プログラムを終了させるときに押下される。
【００５１】
図１３は、「画像取得」ボタン１０３が押下されたときのウィンドウ１０１の表示例を示している。メインエリア１０２には、ディジタルカメラ１から取り込まれた視差画像、通常の画像（連続的に撮影された画像対含む）などのサムネイル画像が表示される。メインエリア１０２の上側には、「視差画像選択」ボタン１１１、「画像対選択」ボタン１１２、および「画像対自動選択」ボタン１１３が設けられる。
【００５２】
「視差画像選択」ボタン１１１は、メインエリア１０２に表示されているサムネイル画像のうち、視差画像に対応するものを選択するときに押下される。すなわち、ユーザは、「視差画像選択」ボタン１１１を押下した後、視差画像に対応するサムネイルを１つだけ選択することができる。
【００５３】
「画像対選択」ボタン１１２は、メインエリア１０２に表示されているサムネイル画像のうち、立体視画像の元とする画像対に対応するものを選択するときに押下される。すなわち、ユーザは、「画像対選択」ボタン１１２を押下した後、画像対に対応するサムネイルを２つ選択することができる。
【００５４】
「画像対自動選択」ボタン１１３は、メインエリア１０２に表示されているサムネイル画像のうち、立体視画像の元とする画像対を自動的に選択させるときに押下される。
【００５５】
次に、視差画像を元にして立体視画像を生成する立体視画像生成処理について、図１４のフローチャートを参照して説明する。この立体視画像生成処理は、図１３に示されたメインエリア１０２のサムネイルのうち、視差画像に対応するものがユーザによって選択された後、「立体視画像」ボタン１０４が押下されたときに開始される。
【００５６】
ステップＳ１において、ベース画像選択ブロック７４は、画像処理ブロック７３から入力される画像データのうち、ＧＵＩブロック７１からの制御に従い、ユーザが選択する視差画像の画像データを立体視画像生成ブロック７５に出力する。
【００５７】
ステップＳ２において、立体視画像生成ブロック７５は、ミラー画像の周辺部の輝度を、実験結果に基づくルックアップテーブル（または関数）を用いて補正する。この補正に関する情報は、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００５８】
ここで、実験とは、画像処理プログラム６５の開発者側によって実施されたものである。具体的には、光学アダプタ１１を装着した状態のディジタルカメラ１で画角の全体を占める白壁等を撮影し、得られた視差画像のうちのミラー画像について、中心部と周辺部の画素の輝度を比較する。そして、その比較結果に基づき、周辺部の画素の輝度が、中心部の画素の輝度と一致するように、例えば、周辺部の座標を入力とし、当該座標に対する補正値を出力するようなルックアップテーブル（関数でもよい）を生成する。または、周辺部の輝度を入力とし、当該輝度に対する補正値を出力するようなルックアップテーブルを生成する。そして、生成したルックアップテーブルを画像処理プログラム６５に組み込むようにすればよい。画像処理プログラム６５には、ディジタルカメラ１の機種に対応して複数のルックアップテーブルを組み込むようにしてもよい。
【００５９】
なお、ステップＳ２において、スルー画像の輝度も修正するようにしてもよい。
【００６０】
また、ステップＳ２において、立体視画像生成ブロック７５は、台形に歪んでいるミラー画像の形状を補正する。なお、このミラー画像の形状の補正については、本出願人が特開２００２−３４０５４号として既に提案済であるので、その説明は省略する。
【００６１】
ステップＳ３において、立体視画像生成ブロック７５は、補正済のミラー画像とスルー画像との全体的な輝度を比較して、その比較結果に基づいて、ミラー画像の輝度を補正する。具体的には、ミラー画像とスルー画像のそれぞれにおいて、所定の複数（例えば、４点）のサンプリング点の輝度を加算し、ミラー画像における輝度の加算値と、スルー画像の輝度の加算値を比較して、その差がなくなるように、ミラー画像を補正する。この補正に関する情報も、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６２】
例えば、ミラー画像における４サンプリング点の輝度の加算値が３５０であり、スルー画像の４サンプリング点の輝度の加算値が５００である場合、その差１５０をサンプリング点の数で除算した値（１５０／４）を、ミラー画像の全ての画素の輝度に加算する。
【００６３】
また、ステップＳ３において、立体視画像生成ブロック７５は、ミラー画像とスルー画像の全体的な彩度が一致するように、ミラー画像の色差を補正する。この補正に関する情報も、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６４】
ステップＳ４において、立体視画像生成ブロック７５は、ミラー画像に対し、所定のエッジ強調処理を施して、画像の全体的なぼけを補正する。ステップＳ５において、立体視画像生成ブロック７５は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、ミラー画像とスルー画像をそれぞれトリミングして、それぞれを、Ｌ画像とＲ画像に設定する。このトリミング位置に関する情報は、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６５】
ステップＳ６において、立体視画像生成ブロック７５は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、Ｌ画像とＲ画像の上下方向の位置を調整する。なお、Ｌ画像とＲ画像の上下方向の位置を調整する過程の情報は、表示制御ブロック７６に出力されて、その調整の様子がメインエリア１０２に表示される（詳細は図１６のフローチャートを参照して後述する）。
【００６６】
ステップＳ７において、立体視画像生成ブロック７５は、ステップＳ６の処理で上下方向の位置が調整されたＬ画像およびＲ画像を、式（１）に従って合成し、立体視画像を生成する。生成された立体視画像は、メインエリア１０２に表示される。また、生成された立体視画像の画像データは、画像管理ブロック７２により、元となった視差画像に対応付けて記憶される。
【００６７】
なお、ユーザからの所定の操作により、生成された立体視画像を表示部５７の全体を占めるように表示させることも可能である。以上で、立体視画像生成処理の説明を終了する。
【００６８】
ところで、画像処理プログラム６５によれば、２枚の画像からなる画像対を元にしても、立体視画像を生成することができる。この画像対は、図１３に示された「画像対選択」ボタン１１２を押下して、メインエリア１０２に表示されているサムネイル画像のうちの２つを選択することにより、ユーザが任意に選択することができる。
【００６９】
画像対が選択された後、「立体視画像」ボタン１０４が押下された場合、画像対の一方がＬ画像とされ、他方がＲ画像とされて、上述したステップＳ６以降の処理が開始されて、立体視画像が生成される。生成された立体視画像の画像データは、画像管理ブロック７２により、元となった画像対に対応付けて記憶される。
【００７０】
なお、立体視画像の元とする画像対を自動的に選択させることもできる。画像対を自動的に選択する処理について、図１５のフローチャートを参照して説明する。この画像対自動選択処理は、図１３に示された「画像対自動選択」１１３が押下されたときに開始される。また、この画像対自動選択処理は、画像処理ブロック７３からベース画像選択ブロック７４に入力される画像が１つずつ処理対象とされて実行される。
【００７１】
ステップＳ１１において、ベース画像選択ブロック７４は、処理対象の画像が連写モードで撮影されたものであるか否かを、属性情報に含まれる連写フラグを参照して判定する。処理対象の画像が連写モードで撮影されたものではないと判定された場合、処理はステップＳ１２に進む。
【００７２】
ステップＳ１２において、ベース画像選択ブロック７４は、処理対象の画像と、１枚後に撮影された画像との撮影日時の差が所定の閾値（例えば、数秒）以内であるか否かを判定する。撮影日時の差が所定の閾値以内であると判定された場合、処理はステップＳ１３に進む。
【００７３】
ステップＳ１３において、ベース画像選択ブロック７４は、処理対象の画像と、１枚後に撮影された画像との類似度を算出し、類似度が所定の閾値以内であるか否かを判定する。ここで、２枚の画像の類似度としては、例えば、それぞれから所定の１ライン分の画素を抽出し、対応する画素同士の差分の総和を算出するようにする。
【００７４】
処理対象の画像と１枚後に撮影された画像との類似度が所定の閾値以内であると判定された場合、処理対象の画像と１枚後に撮影された画像とは、同一の被写体を連続して撮影したものであると判断できるので、処理対象の画像と１枚後に撮影された画像とを画像対に設定する。
【００７５】
画像対に設定された２枚の画像のサムネイルは、画像対に設定されたことをユーザに通知するために、メインエリア１０２において、例えば、単一の太枠で囲まれる。また、画像対の情報は、画像管理ブロック７２に出力され、画像対のそれぞれの画像データの付加情報に、画像対の相手を示す情報（シリアル番号等）が追加される。あるいは、画像対をなす２つの画像データとそれぞれの属性情報を新たなフォルダを生成して記憶するようにしてもよい。
【００７６】
なお、ステップＳ１１において、処理対象の画像が連写モードで撮影されたものであると判定された場合、ステップＳ１２はスキップされ、処理はステップＳ１３に進む。
【００７７】
ステップＳ１２において、処理対象の画像と、１枚後に撮影された画像との撮影日時の差が所定の閾値以内ではないと判定された場合、この２枚の画像は、立体視画像の元とする画像対に適していないので、画像対自動選択処理は終了される。
【００７８】
ステップＳ１３において、処理対象の画像と、１枚後に撮影された画像との類似度が所定の閾値以内ではないと判定された場合にも、この２枚の画像は、立体視画像の元とする画像対に適していないので、画像対自動選択処理は終了される。以上で、画像対自動選択処理の説明を終了する。
【００７９】
この画像対自動選択処理が、画像処理ブロック７３からベース画像選択ブロック７４に入力される全ての画像を処理対象として実行された後に、複数の画像対が設定されている場合、ユーザは設定された複数の画像対のうち、１つの画像対を選択することができる。画像対がユーザによって選択された後、「立体視画像」ボタン１０４が押下された場合、上述したステップＳ６以降の処理が開始されて、立体視画像が生成される。生成された立体視画像の画像データは、画像管理ブロック７２により、元となった画像対に対応付けて記憶される。
【００８０】
ただし、画像対を元にして立体視画像を生成した場合、画像対の一方をＬ画像とし、他方をＲ画像とする設定が適切ではなかった場合（逆であった場合）、立体的に視認することはできない。このとき、ユーザが「ＬＲ置換」ボタン１０５を押下すれば、Ｌ画像とＲ画像が置換されて、立体的に視認できる立体視画像が再生成される。
【００８１】
また、「ＬＲ置換」ボタン１０５を押下して立体視画像を再生成させることは、表示された立体視画像に対して、ライン偏光板４３が１ライン分だけ上下方向にずれて設置されている場合にも有効に作用する。
【００８２】
次に、図１４のステップＳ６の処理、すなわち、Ｌ画像とＲ画像の上下方向の位置を調整する処理の詳細について、図１６のフローチャートおよび図１７を参照して説明する。
【００８３】
ステップＳ２１において、立体視画像生成ブロック７５は、ステップＳ６の処理で設定したＬ画像およびＲ画像のサムネイル画像を、画像管理ブロック７２から取得する。ステップＳ２２において、立体視画像生成ブロック７５は、Ｌ画像のサムネイル画像とＲ画像のサムネイル画像の同じ座標の画素を５０％ずつ加算して合成画像を生成する。
【００８４】
このとき、ウィンドウ１０１の表示は、例えば、図１７に示すようなものとなる。すなわち、メインエリア１０２には、Ｌ画像が表示されたＬ画像表示エリア１２１、Ｒ画像が表示されたＲ画像表示エリア１２２、および合成画像が表示された合成画像表示エリア１２３が設けられる。
【００８５】
メインエリア１０２の上方には、Ｌ画像に対するＲ画像の相対的な位置を上方に移動させて合成画像を再生成させるときに操作させる「Ｒ画像上方移動」ボタン１２４、Ｌ画像に対するＲ画像の相対的な位置を下方に移動させ合成画像を再生成させるときに操作される「Ｒ画像下方移動」ボタン１２５、およびＬ画像に対するＲ画像の相対的な位置の調整が終了したとき操作される「位置調整終了」ボタン１２６が設けられる。
【００８６】
図１４に戻る。ステップＳ２３において、ＧＵＩブロック７１は、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５が押下されたか否かを判定する。「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５が押下されたと判定された場合、処理はステップＳ２４に進む。ステップＳ２４において、立体視画像生成ブロック７５は、ユーザの操作に従うＧＵＩブロック７１からの制御に基づき、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させて、合成画像を再生成する。
【００８７】
このとき、合成画像表示エリア１２３の表示は、再生成された合成画像に更新される。なお、ステップＳ２３において、「Ｒ画像上方移動」ボタン１２４および「Ｒ画像下方移動」ボタン１２５が押下されていない判定された場合、ステップＳ２４はスキップされ、処理はステップＳ２５に進む。
【００８８】
ステップＳ２５において、ＧＵＩブロック７１は、「位置調整終了」ボタン１２６が押下されたか否かを判定する。「位置調整終了」ボタン１２６が押下されていないと判定された場合、ステップＳ２３に戻り、それ以降の処理が繰り返される。
【００８９】
従って、ユーザは、合成画像表示エリア１２３に表示される合成画像を見ながら、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５を押下することにより、Ｌ画像とＲ画像の上下方向の位置を調整することができる。なお、再生成されて表示される合成画像は、データ量の少ない縮小された画像であるので、この再生成の処理は速やかに実行される。
【００９０】
ステップＳ２５において、「位置調整終了」ボタン１２６が押下されたと判定された場合、処理はステップＳ２６に進む。ステップＳ２６において、立体視画像生成ブロック７５は、Ｌ画像とＲ画像の上下方向の位置の調整値を画像管理ブロック７２に出力する。画像管理ブロック７２は、この上下方向の位置の調整値を、視差画像の属性情報に追加する。なお、画像対がＬ画像とＲ画像とされている場合、この上下方向の位置の調整値は、画像対の両方の属性情報に追加される。この後、処理は、上述した図１４のステップＳ７に戻ることとなる。
【００９１】
以上で、Ｌ画像とＲ画像の上下方向の位置を調整する処理の説明を終了する。
【００９２】
なお、上述した説明においては、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５を押下することにより、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させるようにしたが、例えば、合成画像表示エリア１２３に表示されている合成画像を、マウス（操作入力部５６）を用いて、上方または下方にドラッグアンドドロップすることにより、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させるようにしてもよい。
【００９３】
次に、図１８は、立体視画像が生成されたときのウィンドウ１０１の表示例を示している。メインエリア１０２には、生成された立体視画像が表示される。メインエリア１０２の上側には、メインエリア１０２の表示を、立体視画像から、立体視画像の元となったＬ画像およびＲ画像を用いて従来の立体視の方法によって立体的に視認することができる画像に変換させるときに押下される「アナグリフ」ボタン１３１乃至「液晶シャッタメガネ」１３５が設けられている。また、メインエリア１０２の左側には、生成された立体視画像に任意の文字、記号などを書き込むときに押下される「テキスト入力」ボタン１３６が追加して設けられている。
【００９４】
「アナグリフ」ボタン１３１は、立体視画像の元となったＬ画像およびＲ画像を用いてアナグリフ方式の画像（以下、アナグリフ画像と記述する）を生成させるときに押下される。「カラーアナグリフ１」ボタン１３２は、立体視画像の元となったＬ画像およびＲ画像を用いて第１のカラーアナグリフ方式の画像（以下、第１のカラーアナグリフ画像と記述する）を生成させるときに押下される。「カラーアナグリフ２」ボタン１３３は、立体視画像の元となったＬ画像およびＲ画像を用いて第２のカラーアナグリフ方式の画像（以下、第２のカラーアナグリフ画像と記述する）を生成させるときに押下される。これらの場合、ユーザは、赤青メガネを用いて画像を見る必要がある。
【００９５】
「レンチキュラ」ボタン１３４は、立体視画像の元となったＬ画像およびＲ画像を用いてレンチキュラ方式の画像（以下、第１のレンチキュラ画像と記述する）を生成させるときに押下される。この場合、ユーザは、レンチキュラスクリーンを介して画像を見る必要がある。
【００９６】
「液晶シャッタメガネ」ボタン１３５は、立体視画像の元となったＬ画像およびＲ画像を時分割立体テレビジョン方式で表示させるときに押下される。この場合、ユーザは、表示部５７のフィールド周期に同期して左眼側と右眼側を交互に開閉する液晶シャッタメガネを用いて画像を見る必要がある。
【００９７】
次に、メインエリア１０２に表示されている立体視画像を、ユーザの操作に対応して変換する処理について、図１９のフローチャートを参照して説明する。
【００９８】
この立体視画像変換処理は、立体視画像が生成され、図１８に示されたようなウィンドウ１０１が表示されたときに開始される。
【００９９】
ステップＳ３１において、ＧＵＩブロック７１は、「ＬＲ置換」ボタン１０５が押下されたか否かを判定する。「ＬＲ置換」ボタン１０５が押下されたと判定された場合、処理はステップＳ３２に進む。ステップＳ３２において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を置換して、立体視画像を再生成する。表示制御ブロック７６は、再生成された立体視画像を、メインエリア１０２に表示させる。この後、処理はステップＳ４３に進む。
【０１００】
ステップＳ３１において、「ＬＲ置換」ボタン１０５が押下されていないと判定された場合、処理はステップＳ３３に進む。ステップＳ３３において、ＧＵＩブロック７１は、「アナグリフ」ボタン１３１が押下されたか否かを判定する。「アナグリフ」ボタン１３１が押下されたと判定された場合、処理はステップＳ３４に進む。ステップＳ３４において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、アナグリフ画像を生成する。表示制御ブロック７６は、生成されたアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０１】
ステップＳ３３において、「アナグリフ」ボタン１３１が押下されていないと判定された場合、処理はステップＳ３５に進む。ステップＳ３５において、ＧＵＩブロック７１は、「カラーアナグリフ１」ボタン１３２が押下されたか否かを判定する。「カラーアナグリフ１」ボタン１３２が押下されたと判定された場合、処理はステップＳ３６に進む。ステップＳ３６において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、第１のカラーアナグリフ画像を生成する。表示制御ブロック７６は、生成された第１のカラーアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０２】
ステップＳ３５において、「カラーアナグリフ１」ボタン１３２が押下されていないと判定された場合、処理はステップＳ３７に進む。ステップＳ３７において、ＧＵＩブロック７１は、「カラーアナグリフ２」ボタン１３３が押下されたか否かを判定する。「カラーアナグリフ２」ボタン１３３が押下されたと判定された場合、処理はステップＳ３８に進む。ステップＳ３８において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、第２のカラーアナグリフ画像を生成する。表示制御ブロック７６は、生成された第２のカラーアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０３】
ステップＳ３７において、「カラーアナグリフ２」ボタン１３３が押下されていないと判定された場合、処理はステップＳ３９に進む。ステップＳ３９において、ＧＵＩブロック７１は、「レンチキュラ」ボタン１３４が押下されたか否かを判定する。「レンチキュラ」ボタン１３４が押下されたと判定された場合、処理はステップＳ４０に進む。ステップＳ４０において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、レンチキュラ画像を生成する。表示制御ブロック７６は、生成されたレンチキュラ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０４】
ステップＳ３９において、「レンチキュラ」ボタン１３４が押下されていないと判定された場合、処理はステップＳ４１に進む。ステップＳ４１において、ＧＵＩブロック７１は、「液晶シャッタメガネ」ボタン１３５が押下されたか否かを判定する。「液晶シャッタメガネ」ボタン１３５が押下されたと判定された場合、処理はステップＳ４２に進む。ステップＳ４２において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を表示制御ブロック７６に供給する。表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、Ｌ画像とＲ画像を、表示部５７のフィールド周期に同期して交互にメインエリア１０２に表示させる。この後、処理はステップＳ４３に進む。
【０１０５】
ステップＳ４３において、ＧＵＩブロック７１は、何らかのボタンが押下されるまで待機する。何らかのボタンが押下されたと判定された場合、処理はステップＳ４４に進む。ステップＳ４４において、ＧＵＩブロック７１は、「エンド」ボタン１０７が押下されたか否かを判定する。「エンド」ボタン１０７が押下されたと判定された場合、立体視画像変換処理は終了され、さらに、実行されている画像処理プログラム６５も終了される。
【０１０６】
ステップＳ４４において、「エンド」ボタン１０７が押下されてないと判定された場合、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【０１０７】
ステップＳ３４，Ｓ３６，Ｓ３８、またはＳ４０の処理の後に実行されるステップＳ４５において、ＧＵＩブロック７１は、何らかのボタンが押下されるまで待機する。何らかのボタンが押下されたと判定された場合、処理はステップＳ４６に進む。ステップＳ４６において、ＧＵＩブロック７１は、「印刷」ボタン１０６が押下されたか否かを判定する。「印刷」ボタン１０６が押下されたと判定された場合、処理はステップＳ４７に進む。ステップＳ４７において、表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、メインエリア１０２に表示されているアナグリフ画像、第１のカラーアナグリフ画像、第２のアナグリフ画像、またはレンチキュラ画像の画像データをプリンタ（不図示）に出力して印刷させる。
【０１０８】
印刷されたアナグリフ画像、第１のカラーアナグリフ画像、または第２のアナグリフ画像は、赤青メガネを用いることにより、立体的に視認することができる。印刷されたレンチキュラ画像は、レンチキュラパネルを介することにより、立体的に視認することができる。以上で、立体視画像変換処理の説明を終了する。
【０１０９】
次に、図２０は、「テキスト入力」ボタン１３６が押下されたときのウィンドウ１０１の表示例を示している。メインエリア１０２の上側には、メインエリア１０２に表示されている立体視画像に重畳して、任意の文字、記号等を表示させるためのテキスト入力エリア１４１が設けられている。テキスト入力エリア１４１に入力される文字等は、立体的に視認されるように立体視画像に重畳される。ユーザは、マウス（操作入力部５６）を用いてドラッグアンドドロップすることにより、テキスト入力エリア１４１を任意の位置に移動することができる。
【０１１０】
メインエリア１０２の上側には、テキスト入力エリア１４１に入力された文字等の立体視したときの遠近感を近づけるときに押下される「近く」ボタン１４２、およびテキスト入力エリア１４１に入力される文字等の立体視したときの遠近感を遠ざけるときに押下される「遠く」ボタン１４３が設けられている。
【０１１１】
ここで、テキスト入力処理について、図２１のフローチャートを参照して説明する。このテキスト入力処理は、「テキスト入力」ボタン１３６が押下されたときに開始される。
【０１１２】
ステップＳ５１において、表示制御ブロック７６は、メインエリア１０２に表示されている立体視画像に重畳して、テキスト入力エリア１４１を表示する。ユーザがテキスト入力エリア１４１に任意の文字等を入力すると、立体視画像生成ブロック７５は、入力された文字等が所定の遠近感で立体的に視認されるように、立体視画像に文字等を重畳する。
【０１１３】
ステップＳ５２において、ＧＵＩブロック７１は、「近く」ボタン１４２が押下されたか否かを判定する。「近く」ボタン１４２が押下されたと判定された場合、処理はステップＳ５３に進む。ステップＳ５３において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、入力された文字等の遠近感がより近くで立体的に視認されるように、立体視画像に文字等を重畳する。なお、ステップＳ５２において、「近く」ボタン１４２が押下されていないと判定された場合、ステップＳ５３の処理はスキップされる。
【０１１４】
ステップＳ５４において、ＧＵＩブロック７１は、「遠く」ボタン１４３が押下されたか否かを判定する。「遠く」ボタン１４３が押下されたと判定された場合、処理はステップＳ５５に進む。ステップＳ５５において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、入力された文字等の遠近感がより遠くで立体的に視認されるように、立体視画像等に文字等を重畳する。なお、ステップＳ５４において、「遠く」ボタン１４３が押下されていないと判定された場合、ステップＳ５５の処理はスキップされる。
【０１１５】
ステップＳ５６において、ＧＵＩブロック７１は、「テキスト入力」ボタン１３６４２が再び押下されたか否かを判定する。「テキスト入力」ボタン１３６が再び押下されていないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。
【０１１６】
ステップＳ５６において、「テキスト入力」ボタン１３６４２が再び押下されたと判定された場合、処理はステップＳ５７に進む。ステップＳ５７において、立体視画像生成ブロック７５は、入力された文字等のテキスト情報、文字等の立体視画像上の座標情報、文字等の立体視における遠近の情報を画像管理ブロック７２に出力する。画像管理ブロック７２は、立体視画像の画像データに対応付けて記録する。以上で、テキスト入力処理の説明を終了する。
【０１１７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１８】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１９】
【発明の効果】
以上のように、本発明によれば、光学アダプタを用いて得られた立体視画像の元となるＬ画像とＲ画像の画質を統一することが可能となる。
【図面の簡単な説明】
【図１】光学アダプタをカメラに取り付けた状態を示す図である。
【図２】図１の光学アダプタの構成例を示す図である。
【図３】光学アダプタ取り付けた状態のカメラによって撮影される視差画像を示す図である。
【図４】本発明を適用した立体視システムの構成例を示す図である。
【図５】ミラー画像とスルー画像から構成される視差画像を示す図である。
【図６】ミラー画像とスルー画像からトリミングされるＬ画像とＲ画像を示す図である。
【図７】Ｌ画像とＲ画像を合成して立体視画像生成する処理を説明するための図である。
【図８】立体視画像を示す図である。
【図９】立体視画像を立体的に視認する概要を説明するための図である。
【図１０】図４のパーソナルコンピュータの構成例を示すブロック図である。
【図１１】図１０のＣＰＵが画像処理プログラムを実行すること実現する機能ブロックの構成例を示す図である。
【図１２】画像処理プログラムに対応するウィンドウの表示例を示す図である。
【図１３】図１２の「画像取得」ボタンが押下されたときのウィンドウの表示例を示す図である。
【図１４】立体視画像生成処理を説明するフローチャートである。
【図１５】画像対自動選択処理を説明するフローチャートである。
【図１６】Ｌ画像とＲ画像の上下方向の位置調整処理を説明するフローチャートである。
【図１７】Ｌ画像とＲ画像の上下方向の位置調整処理におけるウィンドウの表示例を示す図である。
【図１８】立体視画像が生成されたときのウィンドウの表示例を示す図である。
【図１９】立体視画像変換処理を説明するフローチャートである。
【図２０】図１８の「テキスト入力」ボタンが押下されたときのウィンドウの表示例を示す図である。
【図２１】テキスト入力処理を説明するフローチャートである。
【符号の説明】
１　ディジタルスチルカメラ，　１１　光学アダプタ，　３１　パーソナルコンピュータ，　４１　フィルタメガネ，　４３　ライン偏光板，　５１　ＣＰＵ，６１　磁気ディスク，　６２　光ディスク，　６３　光磁気ディスク，　６４半導体メモリ，　６５　画像処理プログラム，　７１　ＧＵＩブロック，　７２画像管理ブロック，　７３　画像取得ブロック，　７４　ベース画像選択ブロック，　７５　立体視画像生成ブロック，　７６　表示制御ブロック
【図１】
2004102513.tif 000003
【図２】
2004102513.tif 000004
【図３】
2004102513.tif 000005
【図４】
2004102513.tif 000006
【図５】
2004102513.tif 000007
【図６】
2004102513.tif 000008
【図７】
2004102513.tif 000009
【図８】
2004102513.tif 000010
【図９】
2004102513.tif 000011
【図１０】
2004102513.tif 000012
【図１１】
2004102513.tif 000013
【図１２】
2004102513.tif 000014
【図１３】
2004102513.tif 000015
【図１４】
2004102513.tif 000016
【図１５】
2004102513.tif 000017
【図１６】
2004102513.tif 000018
【図１７】
2004102513.tif 000019
【図１８】
2004102513.tif 000020
【図１９】
2004102513.tif 000021
【図２０】
2004102513.tif 000022
【図２１】
2004102513.tif 000023