(57)【要約】【課題】  複数の画像を合成して立体視画像を生成するに際し、立体視画像を見やすくする。【解決手段】  デジタルカメラにより立体視画像を生成するための２つの画像を撮影し、各画像を表す画像データＳ１，Ｓ２のタグ情報に撮影時の被写体距離を表す情報を記述する。画像処理装置１１０の距離比率計算部１１４は、被写体距離情報に基づいて、２つの画像データＳ１，Ｓ２の被写体距離の比率Ｌ２／Ｌ１を算出し、画像拡縮処理部１１６が比率Ｌ２／Ｌ１に基づいて画像データＳ１により表される画像のサイズを拡大縮小する。画像変換処理部１１８がこれにより得られた画像データＳ１′と画像データＳ２とを合成して、立体視画像データＧ１を生成する。【選択図】          図３
2005229280.tif 000002
【特許請求の範囲】
【請求項１】
立体視画像を生成するために、同一被写体を複数の視点から撮影することにより取得された、撮影時における撮影情報が付与された複数の画像を取得する画像取得手段と、
前記複数の画像のそれぞれに付与された前記撮影情報に基づいて、前記複数の画像に含まれる前記被写体のサイズおよび／または該複数の画像の画質がほぼ同一となるように、少なくとも１つの前記画像を補正する画像補正手段と、
前記補正された画像およびそれ以外の画像を前記立体視画像に変換する画像変換手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記撮影情報が撮影時における被写体距離を表す被写体距離情報を含む場合において、
前記画像補正手段は、前記複数の画像の前記被写体距離情報に基づいて、前記複数の画像のそれぞれに対応する前記被写体距離の比率を算出し、前記複数の画像のそれぞれに含まれる前記被写体のサイズがほぼ同一となるように、少なくとも１つの前記画像を該比率に応じて拡大縮小する手段であり、
前記画像変換手段は、前記拡大縮小された画像およびそれ以外の画像を前記立体視画像に変換する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画質は前記画像の色味であることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記撮影情報が撮影時における光源の種類を表す光源情報を含む場合において、
前記画像補正手段は、前記光源情報に基づいて前記少なくとも１つの画像の色味を補正する手段であり、
前記画像変換手段は、前記色味が補正された画像およびそれ以外の画像を前記立体視画像に変換する手段であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記画像補正手段は、光源の種類が異なる画像同士のホワイトバランスをほぼ同一とするホワイトバランス変換係数を、複数種類の光源のそれぞれについて規定したホワイトバランス変換係数テーブルを参照して、前記複数の画像のそれぞれに対応する光源情報に基づいて、少なくとも１つの前記画像のホワイトバランスを補正することにより色味を補正する手段であり、
前記画像変換手段は、前記ホワイトバランスが補正された画像およびそれ以外の画像を前記立体視画像に変換する手段であることを特徴とする請求項４記載の画像処理装置。
【請求項６】
立体視画像を生成するために、同一被写体を複数の視点から撮影することにより取得された、撮影時における撮影情報が付与された複数の画像を取得し、
前記複数の画像のそれぞれに付与された前記撮影情報に基づいて、前記複数の画像に含まれる前記被写体のサイズおよび／または該複数の画像の画質がほぼ同一となるように、少なくとも１つの前記画像を補正し、
前記補正された画像およびそれ以外の画像を前記立体視画像に変換することを特徴とする画像処理方法。
【請求項７】
立体視画像を生成するために、同一被写体を複数の視点から撮影することにより取得された、撮影時における撮影情報が付与された複数の画像を取得する手順と、
前記複数の画像のそれぞれに付与された前記撮影情報に基づいて、前記複数の画像に含まれる前記被写体のサイズおよび／または該複数の画像の画質がほぼ同一となるように、少なくとも１つの前記画像を補正する手順と、
前記補正された画像およびそれ以外の画像を前記立体視画像に変換する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を組み合わせ、視差を利用して立体視を行うことが可能な立体視画像を生成する際に複数の画像に対して画像処理を施す画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
平面的な画像を立体的な映像として表現するための立体視画像を生成する方法は種々知られている。この立体視画像は、右目と左目との間隔によって生じる両目の視差を意図的に生成することにより実現される。すなわち、画像を見る人の左右の目に異なる画像を与えることにより映像が浮き出て見えるような立体感を表現している。具体的には、例えば、裸眼平行法による立体視においては、左右それぞれの目に対応する２つの画像を用意し、２つの画像中における同一物体の位置を左右にずらして配置することにより立体視を実現している。これは、看者の遠くの物体は、左右どちらの目で見た場合にも略同一位置にあるが、近くの物体は左右にずれること、すなわち両目が視差を有することに起因するものである。
【０００３】
また、立体視を行うための３Ｄ液晶が搭載された、携帯電話、ノートパソコン、テレビ等の各種装置が知られている。これらの装置においては、右目用の画像および左目用の画像を生成し、これら２つの画像を３Ｄ液晶に表示することにより、立体的な画像を表現するものである。
【０００４】
一方、立体視画像を生成するためには、同一被写体を複数の異なる視点から撮影する必要がある。このため、立体視画像を生成することを目的として撮影を行うための各種手法が提案されている。例えば、光学系を２種類用いたカメラを使用したり、カメラに立体視画像撮影用のアダプタを装着して、同一被写体を異なる２つの視点から撮影することにより立体視画像を生成するための２つの画像を取得する方法（特許文献１，２参照）が提案されている。
【０００５】
また、複数の画像を並べて合成する際に、撮影時における露光情報等の撮影条件に基づいて、複数の画像における重複部分の濃度レベルを変更することにより、見栄えのよい合成画像を得るようにした手法が提案されている（特許文献３参照）。さらに、複数の画像上における基準点から各画像の輝度情報を求め、これに基づいて各画像の輝度を補正して、各画像の輝度をほぼ同一にする手法も提案されている（特許文献４参照）。
【特許文献１】特開平７−１３４３４５号公報
【特許文献２】特開平１０−１９１３９５号公報
【特許文献３】特開平９−３３２０４０号公報
【特許文献４】特開平１１−２４２７３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、同一被写体を複数の視点から撮影する場合に、被写体とカメラとの間の被写体距離を正確に一致させることは困難であり、各撮影毎に被写体と撮影装置との間の距離が異なってしまう場合が多い。このような場合、取得された画像に含まれる被写体のサイズが画像毎に異なってしまうため、取得された複数の画像を並べるように合成して立体視画像を生成しても被写体を立体的に見えるようにすることが困難であった。また、各撮影毎に光源の種類が異なる場合があるが、このような場合には、画像の色味が画像毎に異なるものとなってしまい、その結果、立体視画像が見にくいものとなっていた。
【０００７】
本発明は、上記事情に鑑みなされたものであり、立体視画像を見やすくすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像処理装置は、立体視画像を生成するために、同一被写体を複数の視点から撮影することにより取得された、撮影時における撮影情報が付与された複数の画像を取得する画像取得手段と、
前記複数の画像のそれぞれに付与された前記撮影情報に基づいて、前記複数の画像に含まれる前記被写体のサイズおよび／または該複数の画像の画質がほぼ同一となるように、少なくとも１つの前記画像を補正する画像補正手段と、
前記補正された画像およびそれ以外の画像を前記立体視画像に変換する画像変換手段とを備えたことを特徴とするものである。
【０００９】
「画像取得手段」としては、画像が記録された記録媒体から画像を読み出すメディアドライブ等の読み出し手段、ネットワーク経由で送信された画像を受信する手段、プリントやフイルムに記録された画像を読み取るスキャナ等の読み取り手段等、画像を取得することが可能な任意の手段を用いることができる。
【００１０】
「立体視画像に変換する」とは、複数の画像のそれぞれに含まれる被写体の向きを同一にして左右に並べて合成することにより１つの画像を作成することのみならず、３Ｄ液晶に表示した際に立体視可能となるように複数の画像を１つの画像に合成すること、並びに複数の画像を含む１つの画像ファイルを生成し、そのヘッダ部分にその画像ファイルが立体視画像生成用の複数の画像を含む旨、および複数の画像の配置位置を表す情報を含め、その画像ファイルを開いたときに複数の画像が左右に並べられて配置された立体視画像を再生できるようにすることをも含む。
【００１１】
「画質」としては、画像の色味、明るさ、コントラスト、階調、シャープネス、解像感、ノイズ等を挙げることができる。
【００１２】
なお、本発明による画像処理装置においては、前記撮影情報が撮影時における被写体距離を表す被写体距離情報を含む場合において、
前記画像補正手段を、前記複数の画像の前記被写体距離情報に基づいて、前記複数の画像のそれぞれに対応する前記被写体距離の比率を算出し、前記複数の画像のそれぞれに含まれる前記被写体のサイズがほぼ同一となるように、少なくとも１つの前記画像を該比率に応じて拡大縮小する手段とし、
前記画像変換手段を、前記拡大縮小された画像およびそれ以外の画像を前記立体視画像に変換する手段としてもよい。
【００１３】
「少なくとも１つの画像を比率に応じて拡大縮小する」とは、複数の画像のうちある１つの画像以外の他の画像に含まれる被写体のサイズを１つの画像に含まれる被写体のサイズと同一とすることのみならず、複数の画像のすべてを拡大縮小して複数の画像のすべてについて含まれる被写体のサイズをほぼ同一とすることをも含む。
【００１４】
また、本発明による画像処理装置においては、画質が色味である場合に、さらに、前記撮影情報が撮影時における光源の種類を表す光源情報を含む場合において、
前記画像補正手段を、前記光源情報に基づいて前記少なくとも１つの画像の色味を補正する手段とし、
前記画像変換手段を、前記色味が補正された画像およびそれ以外の画像を前記立体視画像に変換する手段としてもよい。
【００１５】
この場合、前記画像補正手段を、光源の種類が異なる画像同士のホワイトバランスをほぼ同一とするホワイトバランス変換係数を、複数種類の光源のそれぞれについて規定したホワイトバランス変換係数テーブルを参照して、前記複数の画像のそれぞれに対応する光源情報に基づいて、少なくとも１つの前記画像のホワイトバランスを補正することにより色味を補正する手段とし、
前記画像変換手段を、前記ホワイトバランスが補正された画像およびそれ以外の画像を前記立体視画像に変換する手段としてもよい。
【００１６】
本発明による画像処理方法は、立体視画像を生成するために、同一被写体を複数の視点から撮影することにより取得された、撮影時における撮影情報が付与された複数の画像を取得し、
前記複数の画像のそれぞれに付与された前記撮影情報に基づいて、前記複数の画像に含まれる前記被写体のサイズおよび／または該複数の画像の画質がほぼ同一となるように、少なくとも１つの前記画像を補正し、
前記補正された画像およびそれ以外の画像を前記立体視画像に変換することを特徴とするものである。
【００１７】
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１８】
本発明によれば、立体視画像を生成するための複数の画像が取得され、複数の画像に付与された撮影情報に基づいて複数の画像に含まれる被写体のサイズおよび／または複数の画像の画質がほぼ同一となるように、少なくとも１つの画像が補正され、補正された画像およびそれ以外の画像が立体視画像に変換される。これにより、複数の画像に含まれる被写体のサイズおよび／または複数の画像の画質をほぼ同一することができるため、立体視画像を見やすいものとすることができる。
【００１９】
とくに、撮影情報が撮影時における被写体距離を表す被写体距離情報を含む場合において、複数の画像のそれぞれに対応する被写体距離の比率を算出し、複数の画像のそれぞれに含まれる被写体がほぼ同一のサイズとなるように少なくとも１つの画像を、算出した比率に応じて拡大縮小することにより、比較的容易に複数の画像に含まれる被写体のサイズをほぼ同一することができる。
【００２０】
また、画質が画像の色味であり、撮影情報が撮影時における光源の種類を表す光源情報を含む場合において、光源情報に基づいて少なくとも１つの画像の色味を補正することにより、複数の画像の色味をほぼ同一とすることができる。
【００２１】
この場合、光源の種類が異なる画像同士のホワイトバランスをほぼ同一とするホワイトバランス変換係数を、複数種類の光源のそれぞれについて規定した変換係数テーブルを参照して、複数の画像のそれぞれに対応する光源情報に基づいて、少なくとも１つの画像のホワイトバランスを補正することにより、比較的に容易に複数の画像の色味をほぼ同一とすることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の実施形態について説明する。まず、本発明の実施形態による画像処理装置により画像処理が施される立体視画像を生成するための画像データを取得するデジタルカメラについて説明する。
【００２３】
図１はデジタルカメラの構成を示す概略ブロック図である。図１に示すように、デジタルカメラ１を構成する撮影レンズ２２は、１枚または複数枚のレンズで構成される。撮影レンズ２２は、単一の焦点距離（固定焦点）のレンズでもよいし、ズームレンズや望遠／広角の二焦点切替式レンズのように焦点距離可変のものでもよい。撮影レンズ２２を通過した光は、絞り２４により光量が調節された後、ＣＣＤやＣＭＯＳ等からなる撮像素子２６に入射する。撮像素子２６の受光面には、フォトセンサが平面的に配列されており、撮像素子２６の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は、撮像素子駆動部２８から与えられるパルスに基づいて信号電荷に応じた電圧信号として順次読み出される。
【００２４】
撮像素子２６から出力された画像データは、アナログ信号処理部３０に送られる。アナログ信号処理部３０は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含み、このアナログ信号処理部３０において、相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
【００２５】
アナログ信号処理部３０から出力された画像データは、Ａ／Ｄ変換器４０によりデジタルのデータに変換された後、メモリ制御部４６により制御されるメインメモリ４８に格納される。
【００２６】
メインメモリ４８に格納された画像データは、バス７０を介してデジタル信号処理部５０に送られる。デジタル信号処理部５０は、輝度・色差信号生成回路、ガンマ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路等を含むデジタルシグナルプロセッサ（ＤＳＰ）で構成された画像処理手段であり、ＣＰＵ４２からのコマンドに従って画像データを処理する。
【００２７】
なお、ＣＰＵ４２はレリーズボタンや十字キー等からなる操作部４４からデジタルカメラの撮影者による各種操作の入力を受け付け、入力された操作に応じたコマンドを出力する。
【００２８】
デジタル信号処理部５０に入力された画像データは、輝度信号（Ｙ信号）および色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正、ホワイトバランス補正等の所定の画像処理が施された後、メインメモリ４８に格納される。
【００２９】
メインメモリ４８に格納された画像データは、ＣＰＵ４２の指令に従って読み出され、表示用メモリを備えた表示制御部６０に送られる。表示制御部６０に送られたデータは、表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、Ｄ／Ａ変換されて液晶モニタ等からなる表示部６２に出力される。これにより、当該画像データの画像内容が表示部６２に再生される。
【００３０】
撮像素子２６から出力される画像データによってメインメモリ４８の画像データが定期的に書き換えられ、その画像データが表示部６２に供給されることにより、撮像素子２６が捉える画像がリアルタイムに表示部６２に再生される。撮影者は、表示部６２に再生される画像により撮影画角を確認することができる。
【００３１】
ＣＰＵ４２は、デジタルカメラの撮影に関する動作を制御する制御部である。ＣＰＵ４２は、ＲＯＭ４２ＡおよびＲＡＭ４２Ｂ等の記憶手段を備え、ＲＯＭ４２ＡにはＣＰＵ４２が処理するプログラムおよび制御に必要な各種データ等が格納され、ＲＡＭ４２ＢはＣＰＵ４２が各種の演算処理等を行う際の作業用エリアとして利用される。ＣＰＵ４２は、操作部４４からの入力信号に基づき、対応する回路の動作を制御するとともに、表示部６２における表示の制御、オートフォーカス（ＡＦ）制御および自動露出（ＡＥ）制御等を行う。
【００３２】
ＡＦ制御およびＡＥ制御時には、ＣＰＵ４２は、ＡＥ／ＡＦ演算部５４に、測距装置７４から出力される被写体距離や撮像素子２６から出力される画像データに基づいて、合焦位置の演算およびＡＥ演算等の各種演算を行わせ、その演算結果に基づいてフォーカスモータを含むレンズ駆動部３２を制御してレンズを合焦位置に移動させるとともに、アイリスモータを含む絞り駆動部３４を制御して適正な絞りに設定し、かつ撮像素子２６の電荷蓄積時間を制御する。
【００３３】
すなわち、撮影時には、操作部４４に含まれるレリーズボタンの半押し操作によりＣＰＵ４２から測距開始指示信号が発せられ、これにより、測距装置駆動部７２が測距装置７４を駆動する。これにより、発光部７６から測距用の赤外線が被写体に向けて発せられ、受光部７８が被写体により反射された光を受光する。測距装置７４は赤外線が戻ってきた時間や角度から、被写体距離を算出する。そして、この被写体距離を表す情報がＣＰＵ４２を介してＡＥ／ＡＦ演算部５４に入力されると、ＡＥ／ＡＦ演算部５４が合焦位置を決定し、これを受けてＣＰＵ４２が合焦位置に撮影レンズ２２を移動させるようにレンズ駆動部３２を制御する。
【００３４】
一方、レリーズボタンの半押し操作によりＡ／Ｄ変換器４０から出力されたデジタルの画像データは、ＡＥ／ＡＦ演算部５４に送信される。ＡＥ／ＡＦ演算部５４は、画像データを構成するＲ、Ｇ、Ｂ信号を積算し、その積算値をＣＰＵ４２に送信する。ＣＰＵ４２は、入力された積算値に基づいて被写体の平均的な明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影Ｅｖ値）を算出する。そして、求めた露出値と所定のプログラム線図に従い、撮影時の絞り値とシャッタースピードを決定し、絞り駆動部３４および撮像素子駆動部２８を制御する。これにより、レリーズボタンの全押し時に最適な露光量を得ることができる。
【００３５】
さらに、操作部４４に含まれるレリーズボタンの全押し操作により記録開始指示信号が発せられ、これにより記録用の画像データの取り込みが開始される。画像データを圧縮して記録するモードが選択されている場合、ＣＰＵ４２は圧縮伸張処理部５２にコマンドを送り、これにより圧縮伸張処理部５２は、メインメモリ４８上の画像データをＪＰＥＧその他の所定の形式に従って圧縮する。圧縮された画像データは、メモリ制御部５６を介してメモリカード等の記録媒体５８に記録される。なお、非圧縮の画像データを記録するモード（非圧縮モード）が選択されている場合には、圧縮伸張処理部５２による圧縮処理を実施せずに、非圧縮のまま画像データが記録媒体５８に記録される。
【００３６】
図２は本実施形態において生成される画像データのファイル構造を示す図である。図２に示すように、画像ファイル１００には、ファイル種別等を表すヘッダ部１０２と、撮影情報等が記述されているタグ情報１０４と、撮影した画像データのサムネイル画像１０６と、撮影した画像データに基づいて生成された例えば１６００×１２００画素のサイズの主画像１０８とが記録されている。なお、サムネイル画像１０６は、主画像１０８の見出し等に利用される１６０×１２０画素サイズの画像である。
【００３７】
タグ情報１０４には、主画像１０８の画素数、圧縮の種類、撮影日時、撮影時の露出時間、被写体距離情報および光源情報等が記述されている。なお、光源情報は画像データを構成するＲＧＢの色信号に基づいて決定される。
【００３８】
実際には、タグ情報１０４に記述される情報はあらかじめ定められたタグ番号により特定される。例えば回転情報は３７３８２番のタグ番号が割り当てられており、被写体距離の数値がメートルの単位にて記述されている。また、光源情報には３７３８４番のタグ番号が割り当てられており、光源の種類が番号によりあらかじめ設定されている。例えば、「１」が昼光の光源情報を表し、「２」が蛍光灯の光源情報を表す。したがって、タグ情報１０４の光源情報にはこのような番号が記述される。
【００３９】
そして、このようなデジタルカメラ１を用いて、撮影者が同一被写体を複数の視点から撮影することにより、立体視画像を生成するための複数の画像を表す画像データが取得され、記録媒体５８に記録される。
【００４０】
図３は本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図である。本発明の第１の実施形態による画像処理装置１１０は、図１に示すデジタルカメラ１により撮影を行うことにより画像データが記録された記録媒体５８がセットされ、記録媒体５８から立体視画像を生成するための画像データを読み出して読み出した画像データから立体視画像を表す画像データを生成するものである。なお、立体視画像を生成するための画像データは、撮影者が、同一被写体を複数の視点から撮影することにより取得されるものである。
【００４１】
ユーザが画像の一覧の表示指示を操作部１２８から行うと、メモリ制御部１１２が記録媒体５８からすべての画像データを読み出し、記録媒体５８から読み出されたすべての画像データに付与されたサムネイル画像１０６が圧縮伸張処理部１２６によって伸張処理され（圧縮されている場合）、さらにその一覧が生成されて表示部１３０に画像の一覧が表示される。さらに、ユーザが画像の一覧から立体視画像を生成する２つの画像の選択を操作部１２８を用いて行うと、メモリ制御部１１２が記録媒体５８からユーザが選択した画像を表す画像データを読み出し、記録媒体５８から読み出された画像データが圧縮伸張処理部１２６によって伸張処理され、距離比率計算部１１４に入力される。
【００４２】
距離比率計算部１１４は、２つの画像データ（以下Ｓ１，Ｓ２とする）のタグ情報１０４に記述された被写体距離情報を参照して、２つの画像データＳ１，Ｓ２の撮影時における被写体距離Ｌ１，Ｌ２の比率Ｌ１／Ｌ２を算出し、比率Ｌ１／Ｌ２を画像拡縮処理部１１６に入力する。
【００４３】
画像拡縮処理部１１６は、画像データＳ１により表される画像（以下画像についても参照符号としてＳ１を用いる、画像データＳ２により表される画像についても同様）をＬ１／Ｌ２倍に拡大縮小して拡大縮小された画像データＳ１′を生成する。ここで、拡大縮小について説明する。図４は被写体距離に応じた画像に含まれる被写体のサイズの違いを説明するための図である。被写体である人物に比較的近い被写体距離Ｌ１により撮影を行った場合、撮影により取得された画像Ｓ１に含まれる人物は大きくなる。一方、被写体距離Ｌ１よりも大きい被写体距離Ｌ２により撮影を行った場合、撮影により取得された画像Ｓ２に含まれる人物は、被写体距離Ｌ１の場合と比較して小さくなる。この場合、画像Ｓ１，Ｓ２に含まれる人物の大きさの比率はＬ２：Ｌ１となる。したがって、画像拡縮処理部１１６は画像Ｓ１，Ｓ２に含まれる人物の大きさが同一となるように、画像Ｓ１をＬ１／Ｌ２倍に縮小するようにしたものである。
【００４４】
なお、画像拡縮処理部１１６は、Ｌ１／Ｌ２＜０の場合、画像Ｓ１のサイズは縮小されるため、縮小された画像Ｓ１′内の周囲を、例えば画像Ｓ１′の周縁部の画素値を用いて補完して、画像Ｓ１′のサイズを画像Ｓ２のサイズと同一にする。逆に、Ｌ１／Ｌ２＞０の場合、画像Ｓ１のサイズは拡大されるため、拡大された画像Ｓ１′内の周囲を削除して、画像Ｓ１′のサイズを画像Ｓ２のサイズと同一にする。
【００４５】
画像変換処理部１１８は、図５に示すように画像Ｓ１′と画像Ｓ２とが左右に並ぶように画像データＳ１′および画像データＳ２を合成するよう変換して立体視画像データＧ１を生成する。なお、生成された立体視画像データＧ１は圧縮伸張処理部１２６により圧縮されて記録媒体５８に記録される。
【００４６】
なお、画像処理装置１１０を駆動するためのプログラムはメインメモリ１２４に記憶されており、ＣＰＵ１２０からの指示によりメモリ制御部１２２がメインメモリ１２４からプログラムを読み出し、これによりＣＰＵ１２０が立体視画像の生成を含む各種処理を行う。また、メインメモリ１２４は画像処理装置１１０が行う処理の作業領域ともなる。
【００４７】
次いで、第１の実施形態において行われる処理について説明する。図６は第１の実施形態による画像処理装置１１０において行われる処理を示すフローチャートである。なお、ここでは立体視画像生成用の２つの画像データＳ１，Ｓ２をユーザが選択した後の処理について説明する。ユーザが立体視画像生成用の２つの画像データＳ１，Ｓ２の選択指示を操作部１２８を用いて行うことにより処理が開始され、ＣＰＵ１２０がメモリ制御部１１２を駆動して記録媒体５８に記録されている２つの画像データＳ１，Ｓ２を記録媒体５８から読み出す（ステップＳ１）。そして、圧縮伸張処理部１２６が画像データＳ１，Ｓ２を伸張し（ステップＳ２）、伸張された画像データＳ１，Ｓ２を距離比率計算部１１４に入力し、距離比率計算部１１４が被写体距離の比率Ｌ１／Ｌ２を算出する（ステップＳ３）。そして、画像拡縮処理部１１６が、画像データＳ１により表される画像を比率Ｌ１／Ｌ２により拡大縮小して、拡大縮小済みの画像データＳ１′を生成する（ステップＳ４）。次いで、画像変換処理部１１８が画像データＳ１′および画像データＳ２を変換して立体視画像データＧ１を生成し（ステップＳ５）、圧縮伸張処理部１２６が立体視画像データＧ１を圧縮する（ステップＳ６）。そしてＣＰＵ１２０が圧縮された立体視画像データＧ１を記録媒体５８に記録し（ステップＳ７）、処理を終了する。
【００４８】
このように、第１の実施形態においては、立体視画像を生成するための２つの画像データＳ１，Ｓ２のタグ情報１０４に記述された被写体距離情報から、２つの画像データＳ１，Ｓ２を取得した際の被写体距離Ｌ１，Ｌ２の比率Ｌ１／Ｌ２を算出し、この比率Ｌ１／Ｌ２により画像Ｓ１を拡大縮小するようにしたため、画像Ｓ１′に含まれる被写体のサイズと画像Ｓ２に含まれる被写体のサイズとをほぼ同一とすることができる。したがって、画像データＳ１′および画像データＳ２を合成することにより生成された立体視画像データＧ１により表される立体視画像を用いて立体視を行った際に、立体視画像を見やすいものとすることができる。
【００４９】
なお、上記第１の実施形態においては、比率Ｌ１／Ｌ２を算出して画像Ｓ１を比率Ｌ１／Ｌ２に応じて拡大縮小しているが、比率Ｌ２／Ｌ１を算出し、画像Ｓ２を比率Ｌ２／Ｌ１に応じて拡大縮小してもよい。また、拡大縮小後の画像Ｓ１′および画像Ｓ２をさらに所定の拡大率により拡大縮小するようにしてもよい。
【００５０】
次いで本発明の第２の実施形態について説明する。図７は本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第２の実施形態による画像処理装置１４０は、第１の実施形態による画像処理装置１１０の距離比率計算部１１４および画像拡縮処理部１１６に代えて、ホワイトバランス変換処理部（以下ＷＢ変換処理部とする）１３２および変換係数格納部１３４を備えた点が第１の実施形態と異なる。
【００５１】
ＷＢ変換処理部１３２は、ユーザが選択した立体視画像を生成する２つの画像データＳ１，Ｓ２のタグ情報１０４に記述された光源情報Ｋ１，Ｋ２に基づいて、画像Ｓ２のホワイトバランスと画像Ｓ１のホワイトバランスとがほぼ同一となるように、変換係数格納部１３４に格納されたホワイトバランス変換係数テーブルを参照して、画像Ｓ２のホワイトバランスを補正してホワイトバランスが補正された画像データＳ２″を生成する。
【００５２】
なお、本実施形態において、立体視画像を生成するための２つの画像データＳ１，Ｓ２は、同一被写体を異なる方向から撮影することにより取得されるものであるため、本来であれば撮影時の光源は同一である。しかしながら、撮影時の背景等の影響により２つの画像Ｓ１，Ｓ２を取得した際の光源が異なるものであると判断された場合、その判断結果に基づいてホワイトバランスが補正されると、２つの画像Ｓ１，Ｓ２の色味が異なるものとなってしまう場合がある。第２の実施形態はこのような場合に、画像Ｓ２のホワイトバランスを補正するものである。
【００５３】
図８はホワイトバランス変換係数テーブルの例を示す図である。図８に示すようにホワイトバランス変換係数テーブルＷＢＴは、画像データＳ１の光源情報Ｋ１と画像データＳ２の光源情報Ｋ２とに基づいて、画像データＳ２のホワイトバランスを画像データＳ１のホワイトバランスとほぼ同一とするために画像データＳ２を補正する、より具体的には画像データＳ２を構成するＲＧＢの各色信号を補正するマトリクスＭを記述したものである。具体的には横方向に光源情報Ｋ１、縦方向に光源情報Ｋ２を定め、縦横方向の光源情報Ｋ１，Ｋ２が交差する欄におけるマトリクスＭを、画像データＳ２のホワイトバランスを画像データＳ１のホワイトバランスとほぼ同一とするよう画像データＳ２を補正するためのマトリクスＭとして選択することができるものである。例えば、画像データＳ１の光源情報Ｋ１が昼光、画像データＳ２の光源情報Ｋ２が白熱灯の場合には、画像データＳ２のホワイトバランスを画像データＳ１のホワイトバランスとほぼ同一とするよう画像データＳ２を補正するためのマトリクスＭとしてマトリクスＭ２が選択される。
【００５４】
ここで、マトリクスＭは３×３の要素を有する。したがって、ＷＢ変換処理部１３２は、画像データＳ１の光源情報Ｋ１および画像データＳ２の光源情報Ｋ２に基づいて、ホワイトバランス変換係数テーブルＷＢＴを参照してマトリクスＭを選択し、画像データＳ２を構成するＲＧＢの各色信号に対して下記の式（１）に示す演算を施すことにより、画像データＳ２のホワイトバランスを補正してホワイトバランスが補正された画像データＳ２″を生成する。  
Ｒ″      Ｒ
Ｇ″＝Ｍ・Ｇ      （１）
Ｂ″      Ｂ
但し、Ｒ″，Ｇ″，Ｂ″は画像データＳ２″を構成する色信号
ここで、画像データＳ１，Ｓ２はデジタルカメラ１のデジタル信号処理部５０においてすでに光源の種類に応じたホワイトバランス補正処理が施されている。したがって、ＷＢ変換処理部１３２は、デジタルカメラにおいてホワイトバランスが補正された画像データＳ２のホワイトバランスをさらに補正する処理を行うものである。
【００５５】
次いで、第２の実施形態において行われる処理について説明する。図９は第２の実施形態による画像処理装置１４０において行われる処理を示すフローチャートである。なお、ここでは立体視画像生成用の２つの画像データＳ１，Ｓ２をユーザが選択した後の処理について説明する。ユーザが立体視画像生成用の２つの画像データＳ１，Ｓ２の選択指示を操作部１２８を用いて行うことにより処理が開始され、ＣＰＵ１２０がメモリ制御部１１２を駆動して記録媒体５８に記録されている２つの画像データＳ１，Ｓ２を記録媒体５８から読み出す（ステップＳ１１）。そして、圧縮伸張処理部１２６が画像データＳ１，Ｓ２を伸張し（ステップＳ１２）、伸張された画像データＳ１，Ｓ２をＷＢ変換処理部１３２に入力し、ＷＢ変換処理部１３２が、画像データＳ１のタグ情報１０４に記述された光源情報Ｋ１および画像データＳ２のタグ情報１０４に記述された光源情報Ｋ２に基づいて変換係数格納部１３４に格納されたホワイトバランス変換係数テーブルＷＢＴを参照して、画像データＳ２のホワイトバランスを画像データＳ１のホワイトバランスとほぼ同一とするよう画像データＳ２を補正するマトリクスＭを選択する（ステップＳ１３）。
【００５６】
そして、ＷＢ変換処理部１３２はマトリクスＭを用いて画像データＳ２のホワイトバランスを補正して、ホワイトバランスが補正された画像データＳ２″を生成する（ステップＳ１４）。次いで、画像変換処理部１１８が画像データＳ１および画像データＳ２″を変換して立体視画像データ（Ｇ２とする）を生成し（ステップＳ１５）、圧縮伸張処理部１２６が立体視画像データＧ２を圧縮する（ステップＳ１６）。そしてＣＰＵ１２０が圧縮された立体視画像データＧ２を記録媒体５８に記録し（ステップＳ１７）、処理を終了する。
【００５７】
このように、第２の実施形態においては、立体視画像を生成するための２つの画像データＳ１，Ｓ２のタグ情報１０４に記述された光源情報Ｋ１，Ｋ２に基づいて、変換係数格納部１３４に格納されたホワイトバランス変換係数テーブルＷＢＴを参照して、画像データＳ２のホワイトバランスを画像データＳ１のホワイトバランスとほぼ同一とするよう画像データＳ２を補正するマトリクスＭを選択し、このマトリクスにより画像データＳ２のホワイトバランスを補正するようにしたため、画像Ｓ１および画像Ｓ２″の色味をほぼ同一とすることができる。したがって、画像データＳ１′および画像データＳ２を変換することにより生成された立体視画像データＧ２により表される立体視画像を用いて立体視を行った際に、立体視画像を見やすいものとすることができる。
【００５８】
なお、上記第２の実施形態においては、画像データＳ２のホワイトバランスを画像データＳ１のホワイトバランスとほぼ同一とするよう画像データＳ２を補正するマトリクスＭを選択し、このマトリクスＭにより画像データＳ２のホワイトバランスを補正するようにしているが、ホワイトバランス変換係数テーブルＷＢＴを参照して、画像データＳ１のホワイトバランスを画像データＳ２のホワイトバランスとほぼ同一とするよう画像データＳ１を補正するマトリクスＭを選択し、このマトリクスＭにより画像データＳ１のホワイトバランスを補正するようにしてもよい。
【００５９】
また、図１０に示す本発明の第３の実施形態による画像処理装置１６０のように、上記第１の実施形態による画像処理装置１１０と第２の実施形態による画像処理装置１４０とを組み合わせ、画像の拡縮処理およびホワイトバランス補正処理の双方を行うことも可能である。この場合、画像データＳ１，Ｓ２の拡大縮小処理と、画像データＳ１，Ｓ２のホワイトバランスの補正処理とはいずれを先に行ってもよい。
【００６０】
また、上記第１から第３の実施形態においては、画像処理装置１１０，１４０，１６０を単独で用いているが、デジタルカメラ１に画像処理装置１１０，１４０，１６０を設け、デジタルカメラ１において立体視画像データＧ１，Ｇ２を生成するようにしてもよい。
【００６１】
また、上記第１から第３の実施形態においては、立体視画像データＧ１，Ｇ２を生成するための画像データとして２つの画像データＳ１，Ｓ２を用いているが、３以上の画像データを用いて立体視画像データＧ１，Ｇ２を生成することも可能である。
【００６２】
また、上記第１から第３の実施形態においては、デジタルカメラにより取得した画像データを用いて立体視画像データＧ１，Ｇ２を生成しているが、立体視画像を生成することを目的として同一被写体を撮影することに取得したプリントやネガフイルムに記録された画像をスキャナ等により読み取ることにより取得した画像データを用いて立体視画像データＧ１，Ｇ２を生成することもできる。この場合、プリントやネガフイルムに記録された画像を読み取って得た画像データに被写体距離情報および／または光源情報を付与した後に記録媒体５８に記録すればよい。
【００６３】
また、上記第１から第３の実施形態においては、記録媒体５８に記録された画像データＳ１，Ｓ２を読み出して立体視画像を生成しているが、例えば画像処理装置１１０，１４０，１６０を、立体視画像生成用の画像データを保管するサーバとネットワークを介して接続し、ネットワーク経由で画像データＳ１，Ｓ２を画像処理装置１１０，１４０，１６０に読み出して、立体視画像を生成してもよい。
【００６４】
また、上記第１から第３の実施形態においては、画像データＳ１，Ｓ２を左右に並べた立体視画像データＧ１，Ｇ２を生成して、これを記録媒体５８に記録しているが、画像データＳ１，Ｓ２を含む１つの画像ファイルを生成し、そのヘッダ部分にその画像ファイルが立体視画像生成用の画像を含む旨、および画像Ｓ１，Ｓ２の配置位置を表す情報を含め、その画像ファイルを開いたときに画像Ｓ１，Ｓ２が左右に並べられて配置された立体視画像を再生できるようにしてもよい。また、３Ｄ液晶に表示したときに画像を立体視できるように画像データＳ１，Ｓ２を合成して立体視画像データＧ１，Ｇ２を生成してもよい。
【００６５】
以上、本発明の実施形態に係る画像処理装置について説明したが、コンピュータを、上記のメモリ制御部１１２、距離比率計算部１１４、画像拡縮処理部１１６、画像変換処理部１１８、ＷＢ変換処理部１３２および変換係数格納部１３４に対応する手段として機能させ、図６および図９に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。これらの場合において、ホワイトバランス変換係数テーブルＷＢＴは、プログラム内あるいは同一の記録媒体内に含まれているものであってもよいし、外部の装置や別個の媒体から提供されるものであってもよい。
【図面の簡単な説明】
【００６６】
【図１】デジタルカメラの構成を示す概略ブロック図
【図２】本実施形態において生成される画像データのファイル構造を示す図
【図３】本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図
【図４】被写体距離に応じた画像に含まれる被写体のサイズの違いを説明するための図
【図５】画像の合成を説明するための図
【図６】第１の実施形態による画像処理装置において行われる処理を示すフローチャート
【図７】本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図
【図８】ホワイトバランス変換係数テーブルの例を示す図
【図９】第２の実施形態による画像処理装置において行われる処理を示すフローチャート
【図１０】本発明の第３の実施形態による画像処理装置の構成を示す概略ブロック図
【符号の説明】
【００６７】
５８    記録媒体
１１０，１４０，１６０    画像処理装置
１１２    メモリ制御部
１１４    距離比率計算部
１１６    画像拡縮処理部
１１８    画像変換処理部
１２０    ＣＰＵ
１２２    メモリ制御部
１２４    メインメモリ
１２６    圧縮伸張処理部
１２８    操作部
１３０    表示部
１３２    ＷＢ変換処理部
１３４    変換係数格納部
【図１】
2005229280.tif 000003
【図２】
2005229280.tif 000004
【図３】
2005229280.tif 000005
【図４】
2005229280.tif 000006
【図５】
2005229280.tif 000007
【図６】
2005229280.tif 000008
【図７】
2005229280.tif 000009
【図８】
2005229280.tif 000010
【図９】
2005229280.tif 000011
【図１０】
2005229280.tif 000012