(57)【要約】【課題】複数の立体画像を合成して自然で優れた質感を持つ立体画像を出力する立体画像処理装置を提供する。【解決手段】画像入力部３０から複数の立体画像を入力し、画像処理部４０において、当該立体画像の奥行方向に関する色温度の変化を解析して、操作部２０などにより選択された立体画像情報を元に他の立体画像情報の奥行方向に関する色温度の変化を調整した後に合成する。【選択図】図２
2006211386.tif 000002
【特許請求の範囲】
【請求項１】
複数の立体画像情報を取得する立体画像取得手段と、
前記複数の立体画像情報ごとに当該立体画像の奥行方向における色温度の変化の度合を色温度情報として取得する色温度取得手段と、
前記複数の立体画像情報のうち、いずれか一の立体画像情報の前記取得された色温度情報に応じて他の立体画像情報の奥行方向に関する色温度の変化の度合を調整する色温度調整手段と、
前記いずれか一の立体画像情報と前記色温度調整後の他の立体画像情報とを合成する立体画像合成手段と、
を備えたことを特徴とする立体画像処理装置。
【請求項２】
前記色温度調整手段は、前記他の立体画像情報の奥行方向に関する色温度の変化の度合の調整量に応じてカラーバランス補正を行なうことを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記請求項１又は２に記載の立体画像処理装置と、
光源から観察者の間に、前記合成された立体情報に基づいた視差違いの画像群を表示する表示部と、複数の微小透孔がアレイ状に配置されて前記表示部の画像を観察者の両目に視差違いの像として映す微小透孔アレイと、を配置して立体像を観察者に表示する立体画像表示手段と、
を備えたことを特徴とする立体画像表示装置。
【請求項４】
複数の立体画像情報を取得する立体画像取得工程と、
前記複数の立体画像情報ごとに当該立体画像の奥行方向における色温度の変化の度合を色温度情報として取得する色温度取得工程と、
前記複数の立体画像情報のうち、いずれか一の立体画像情報の前記取得された色温度情報に応じて他の立体画像情報の奥行方向に関する色温度の変化の度合を調整する色温度調整工程と、
前記いずれか一の立体画像情報と前記色温度調整後の他の立体画像情報とを合成する立体画像合成工程と、
を含むことを特徴とする立体画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像処理装置、立体画像表示装置、及び立体画像生成方法に関する。
【背景技術】
【０００２】
近年、観察者が上下左右に移動して表示部の画像を見た際に立体的に視認することができる３次元立体画像を表示する表示パネルなどの立体画像表示装置が市場に普及しつつある。この３次元立体画像の表示に関する技術は、様々なものが開発されており、具体的には、インテグラルフォトグラフィ（Integral  Photography：以下、「ＩＰ」という）方式、またはそれと技術的に関連が深い光線再生法を用いる方式が知られている。
【０００３】
上述の方式による立体画像は、主に視差違いの画像群と複数の微小透孔がアレイ状に設けられた微小透孔アレイとから構成され、視差違いの画像群からの像が観察者の両目に対して視差のある像として映るように微小透孔アレイが配置されることで実現される。
【０００４】
ここで、ＩＰ方式における立体画像の作成及び表示例を図１を参照して説明する。立体画像の作成（撮影）は、一般にステレオ多眼方式と呼ばれる、被写体、微小透孔アレイ、及び映像記録部からなる撮像系で当該映像記録部に映像を記録して行われる。映像記録部は、微小透孔アレイの各微小透孔に対応する撮像領域に分割されている。各微小透孔と対応する撮像領域は、各々がカメラを構成し、それぞれの領域に微小な映像が記録される。
記録された立体画像の再生（表示）は、観察者から見て当該微小透孔アレイの後ろに設けられた映像表示部に、上記映像記録部に記録された微小な画像を元にして微小透孔アレイに対して点対称に反転する変換処理を施された映像が映し出されて行われる。
【０００５】
なお、立体画像の作成には、上述したステレオ多眼方式で撮影して作成する方法の他に、コンピュータのデータ上で仮想の立体被写体を想定し、当該仮想の立体被写体からの光線がステレオ多眼方式と同等の条件で映像記録部に記録された場合を演算し、印刷して作成するコンピュータグラフィックス（以下、「ＣＧ」という）による方法もある。
【０００６】
上述した方法で作成された立体画像を表示する場合は、より遠近感があり、奥行が自然に見える映像を表示するため、表示する画像の色温度を調整することが必要である。例えば、特許文献１には、表示器に表示される映像を見て人間の眼が実際に感じる映像が同じ映像であればその輝度又は色温度が同じに見える立体映像表示装置が提案されている。また、特許文献２には、二次元画像を三次元画像に変換する際に、空間内における個々の色ポイントの位置づけを色温度スケール、彩度スケール、コントラストスケールを利用して一つに集約し、より自然に見える画像を得る方法が提案されている。
【特許文献１】特開平７−５９１２０号公報
【特許文献１】特表２００１−５２４２３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したステレオ多眼方式により撮像して作成された立体画像とＣＧにより作成された立体画像は、それぞれにおいて長所と短所がある。例えば、撮像による場合は、質感に優れるという長所があるが撮影の工数が増えるという欠点がある。逆にＣＧによる場合は、汎用性に優れるという長所があるが質感が劣るという欠点がある。このため、立体画像を例えば街頭広告として利用する場合などは、それぞれの利点を生かすために二つ以上の画像と合成することが一般的である。
【０００８】
しかしながら、撮像された画像とＣＧにより作成された画像を合成する場合は、互いに色温度が異なるため、合成後に上述した技術を用いて色温度を調整しても、あきらかに合成したと分かる違和感のある仕上がりとなってしまった。例えば、奥行を持つ立体画像では奥行が異なるに連れて照明光と環境光で混交された色温度になるのが自然であるが、照明光のみの条件下でＣＧにより作成された画像を合成した場合は、ＣＧの画像が周囲にとけ込むことなく、浮き上がってしまう。
また、一画面内に被写体と背景で大きく異なる色温度領域が存在する場合は、単純に被写体領域量分の補正を背景にも適用すると、違和感のある画像となってしまうなどの問題があった。
このため、複数の立体画像を合成して表示する場合においても、より自然で優れた質感を持つように、さらなる開発が望まれていた。
【０００９】
そこで、本発明は、複数の立体画像を合成して自然で優れた質感を持つ立体画像を出力する立体画像処理装置の提供を課題とするものである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、請求項１に記載の発明は、複数の立体画像情報を取得する立体画像取得手段と、前記複数の立体画像情報ごとに当該立体画像の奥行方向における色温度の変化の度合を色温度情報として取得する色温度取得手段と、前記複数の立体画像情報のうち、いずれか一の立体画像情報の前記取得された色温度情報に応じて他の立体画像情報の奥行方向に関する色温度の変化の度合を調整する色温度調整手段と、前記いずれか一の立体画像情報と前記色温度調整後の他の立体画像情報とを合成する立体画像合成手段とを備えたことを特徴とする。
【００１１】
請求項２に記載の発明は、前記色温度調整手段は、前記他の立体画像情報の奥行方向に関する色温度の変化の度合の調整量に応じてカラーバランス補正を行なうことを特徴とする。
【００１２】
請求項３に記載の発明は、前記請求項１又は２に記載の立体画像処理装置と、光源から観察者の間に、前記合成された立体情報に基づいた視差違いの画像群を表示する表示部と、複数の微小透孔がアレイ状に配置されて前記表示部の画像を観察者の両目に視差違いの像として映す微小透孔アレイと、を配置して立体像を観察者に表示する立体画像表示手段と、を備えたことを特徴とする立体画像表示装置である。
更に、請求項４に記載の発明は、請求項１に記載の立体画像を生成する立体画像生成方法である。
【発明の効果】
【００１３】
請求項１に記載の発明によれば、複数の立体画像を合成して１つの立体画像を得る場合に、いずれか一の立体画像情報を元に他の立体画像情報の奥行方向に関する色温度の変化の度合を調整する構成であるため、より自然で優れた質感を持つ立体画像を得ることができる。
【００１４】
請求項２に記載の発明によれば、色温度の変化量に応じてカラーバランスの補正も行なう構成であるため、撮像状態に近い、より自然な色に発色する立体画像を得ることができる。
【００１５】
請求項３、５に記載の発明によれば、複数の立体画像情報を合成し、例えばＩＰ方式により、観察者の眼に自然で優れた質感を持つ立体像を提供することができる。
【発明を実施するための最良の形態】
【００１６】
［第１の実施の形態］
以下、図面を参照して、本発明に係る立体画像処理装置の実施の形態について説明する。なお、この発明はこの実施の形態に限定されるものではない。また、この発明の実施の形態は、発明の最も好ましい形態を示すものであり、この発明の用語はこれに限定されない。
【００１７】
図１は、画像処理装置１の機能的構成を模式的に示した図である。画像処理装置１は、図１に示すように、制御部１０、操作部２０、画像入力部３０、画像処理部４０、記憶部５０、画像出力部６０、及び通信部７０を備える。
【００１８】
制御部１０は、特に図示しないＣＰＵ（Central  Processing  Unit）、内部ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）を備える。制御部１０は、制御全体を司るＣＰＵにおいて、内部ＲＡＭの所定領域を作業領域としてＲＯＭに記憶されている各種制御プログラムに従い、各部に制御信号を送って画像処理装置１の動作全般を統括制御する。
【００１９】
操作部２０は、カーソルキー、数字入力キー、機能キーなどの各種キーを備えたキーボードや、マウス・タブレット等のポインティングデバイスなどから構成され、押下されたキーの押下信号や、前記ポインティングデバイスの位置信号を制御部１０へ出力する。画像処理装置１は、利用者からの操作指示を操作部２０で受け付けることで、立体画像の編集作業を円滑に行うことができる。
【００２０】
立体画像取得手段としての画像入力部３０は、ステレオ多眼画像３０１、３ＤＣＧレンダリング画像３０２を入力するスキャナや映像入力インターフェイスなどであり、入力された立体画像情報を画像処理部４０に出力する。なお、ステレオ多眼画像３０１、３ＤＣＧレンダリング画像３０２の入力は、画像入力部３０からの入力以外に、後述する記憶部５０による記録媒体や、通信部７０による他の情報機器からであってよい。
【００２１】
画像処理部４０は、第１の画像解析部４０１、第２の画像解析部４０２、画像調整部４０３、及び画像合成部４０４を備え、画像入力部３０から入力された複数の立体画像情報を合成して画像出力部６０へ出力する。
【００２２】
色温度取得手段としての第１の画像解析部４０１、第２の画像解析部４０２は、画像入力部３０から入力されるステレオ多眼画像３０１、３ＤＣＧレンダリング画像３０２の立体画像情報（画像信号）を受け取り、当該立体画像情報に付加された画像の奥行方向における色温度やカラーバランスに関する情報を含む撮影条件やレンダリング作成条件などのデータを解析データ蓄積部５０１に保存し、その信号のデータ書式に従い必要に応じて圧縮符号の復元・色信号の表現方法の変換などを行ない、画像処理の演算に適したデータ形式に変換した画像信号を画像調整部４０３に送る。
【００２３】
また、第１の画像解析部４０１、第２の画像解析部４０２は、上記撮影条件やレンダリング作成条件において後述する画像合成時に必要な色温度やカラーバランスに関する情報が不足している場合に、画像情報の各ピクセルにおける画面に平行な平面上の位置だけでなく奥行情報とその奥行における同一平面上の色温度やカラーバランスを解析し、得られたデータを解析データ蓄積部５０１に保存する。なお、上述した色温度やカラーバランスに関する情報は、第１の画像解析部４０１、第２の画像解析部４０２から取得する構成以外に、操作部２０から直接入力される構成や、記憶部５０に予め格納された色温度に関するテーブル情報を参照する構成であって良い。
【００２４】
色温度調整手段としての画像調整部４０３は、第１の画像変換部４０３ａ及び色再現変換部４０３ｂを備え、第１の画像解析部４０１、第２の画像解析部４０２から入力される画像信号と、解析データ蓄積部５０１に格納された立体画像の奥行方向における色温度やカラーバランスに関するデータとにより、本発明に係る画像処理を施して画像合成部４０４に出力する。
【００２５】
第１の画像変換部４０３ａ、色再現変換部４０３ｂは、第１の画像解析部４０１、第２の画像解析部４０２から受け取った画像信号に対して、例えば画像のグレーバランス調整、濃度調整、階調コントロール、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒子を抑制しながらシャープネスを強調するハイパーシャープネス処理等の出力画像の画質向上のための画像処理を第１の画像変換部４０３ａで行ない、後述する色温度変換処理を色再現変換部４０３ｂで行なう。
【００２６】
また、第１の画像変換部４０３ａ、色再現変換部４０３ｂは、画調を意図的に変更する画像処理（例えば人物を細身に仕上げたり、しわ除去等をさせるための画像処理）を実行する構成であってもよい。また、第１の画像変換部４０３ａへの画像信号の入力は、必ずしも第１の画像解析部４０１、第２の画像解析部４０２から受け取る必要はなく、例えば画像入力部３０、記憶部５０、通信部７０から受け取る構成であっても良い。また、第１の画像変換部４０３ａ、色再現変換部４０３ｂは、本発明の効果を妨げない範囲であれば、種々の変換処理の前に色温度変換処理を行なうこともでき、構成の順序は逆であってもよい。
【００２７】
立体画像合成手段としての画像合成部４０４は、前記画像調整部４０３から送られてくる画像信号による変換処理後の複数の立体画像情報を合成し、１つの立体画像としての立体画像情報（画像信号）を画像出力部６０に出力する、後述する画像合成処理を行なう。
【００２８】
記憶部５０は、上述した第１の画像解析部４０１、第２の画像解析部４０２で解析されたデータを格納する解析データ蓄積部５０１、画像調整部４０３の処理に必要なデータを格納するデータ蓄積部５０２を備える。また、記憶部５０は、制御部１０による制御処理時に使用される各種設定データやプログラムなどを格納するとともに、記憶部５０で格納されるデータを後述する画像データ書込部６０６に送り、各種記録媒体に格納する構成である。具体的には、記憶部５０は、電気的に消去及び書き換えが可能な不揮発メモリであるＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  ＲＯＭ）などで構成され、制御部１０の指示によりアドレスを指定して入力されたデータの格納や、逆にアドレスを指定されることでそのアドレスに格納されたデータを制御部１０に出力する。
【００２９】
画像出力部６０は、ＣＲＴ固有処理部６０１、ＣＲＴ６０２、プリンタ固有処理部６０３、プリンタ６０４、画像データ書式作成部６０５、及び画像データ書込部６０６を備え、ＣＲＴ６０２に表示、又はプリンタ６０４に出力することにより作成される表示パネルなどにより、観察者の眼に立体画像として表示する。また、画像出力部６０は、画像データ書式作成部６０５により所定のデータ形式に変換して画像データ書込部６０６に出力することで記録媒体への書込み、又は通信部７０へ出力することで他の情報機器への送信を行なう。
【００３０】
ＣＲＴ固有処理部６０１では、画像処理部４０から受け取った画像信号に対して、必要に応じて画像数変更・カラーマッチング等の処理を行ない、制御部１０からの制御情報等の表示に必要な情報と合成した表示用の信号をＣＲＴ６０２に送出する。これにより、適宜画像作成の状況を得て、操作部２０から必要な修正も行うことができる。なお、ＣＲＴ６０２は、ＬＣＤ（Liquid  Crystal  Display）等であって良く、特に限定しない。
【００３１】
また、ＣＲＴ６０２は、利用者が眼前に装着可能な液晶シャッター付き眼鏡を備える構成でも良い。この場合は、視差の付いた２枚の画像を交互に高速で切り換えて画面上に表示し、液晶シャッターを用いることで、利用者の右眼に右眼用の画像、左眼に左眼用の画像を表示する。
【００３２】
プリンタ固有処理部６０３では、必要に応じてプリンタ６０４に固有の校正処理・カラーマッチング・画素数変更等を行ない、プリンタ６０４に画像信号を送出する。プリンタ６０４は、大判インクジェットプリンタやハロゲン化銀感光材料による現像装置である。なお、より好適には、接続するプリンタ６０４の機種ごとに専用のプリンタ固有処理部６０３を設け、適正な校正処理を行なう構成が望ましい。
【００３３】
画像データ書式作成部６０５では、画像処理部４０から受け取った画像信号に対して、必要に応じてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行ない、画像データ書込部６０６や通信部７０に画像信号を転送する。画像データ書込部６０６は、マルチメディアカード、メモリースティック（登録商標）、ＭＤ（Mini  Disk：登録商標）、ＣＤ−Ｒ、ＤＶＤ−ＲＡＭ等の各種記録媒体に書込み可能な構成である。
【００３４】
通信部７０は、ＬＡＮ回線、Bluetooth無線通信など各種通信方式により外部にある他の情報機器と有線又は無線でデータ通信可能な通信回路である。
【００３５】
なお、上述の図１で説明した画像処理部４０の内部構成やＣＲＴ固有処理部６０１、プリンタ固有処理部６０３、画像データ書式作成部６０５などの各部は、本発明における機能の理解を助ける為に設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されて良い。
【００３６】
本発明の画像作成（画像処理）は、ステレオ多眼画像や３ＤＣＧのデータを受け取り、第１の画像解析部４０１、第２の画像解析部４０２で上記撮影条件、レンダリング作成条件や、多視点画像のピクセル毎の位置情報として画面に平行な平面上の位置だけでなく、奥行方向とその奥行における同一平面上の色温度やカラーバランスを解析し、その情報を解析データ蓄積部５０１に送る。そしてこれらの入力から得られた奥行情報と画像情報を画像調整部４０３で受け取り、本発明の画像処理である色温度変換を色再現変換部４０３ｂで行なう。その後、画像合成部４０４で、これらの処理の画像に着いて視点毎の画像で各入力手段から得られた画像の合成を行なう。その後、例えばプリンタに出力する場合は、プリンタ固有処理部６０３でプリンタに固有の処理を施し、本発明の効果を得る。
【００３７】
上述したように、画像処理装置１は、最終的に立体画像を表示する表示パネルなどの表示装置を作成するが、合成の元となる画像の入力は３ＤＣＧのみ、ステレオ多眼画像のみ、または３つ以上であってよい。また、画像の出力は、写真感光材料を用いる方式に限らず、インクジェット方式、電子写真方式、感熱方式、昇華方式のプリント装置であって良い。
【００３８】
次に、制御部１０が画像処理部４０を制御して行なう、ステレオ多眼画像とＣＧレンダリング画像（３ＤＣＧ）を合成して出力する画像処理について、図２、図３を参照して説明する。図２は、画像処理の主な工程を示すフローチャートであり、図３（ａ）は、ステレオ多眼画像取得処理を示すフローチャートであり、図３（ｂ）は、ＣＧレンダリング画像取得処理を示すフローチャートである。
【００３９】
先ず、制御部１０は、画像入力部３０から入力されたステレオ多眼画像を解析するステレオ多眼画像取得処理をおこなう（ステップＳ１１）。画像入力部３０からの画像データの入力により、ステレオ多眼画像所得処理が開始されると立体画像入力工程としてのステップＳ１１１により撮像されたステレオ多眼画像が画像データとして取り込まれ、そのステレオ多眼画像の歪み補正が行なわれ（ステップＳ１１２）、画像上における対応点の抽出が行なわれる（ステップＳ１１３）。対応点の抽出は、自動で行っても良いし、初めの数点を操作部２０からの入力により指定して行なった後に必要に応じて自動で行なうなど、半自動で行っても良い。この場合は、１画像中の主要部（例えば人物の顔に相当する領域（顔領域））の抽出や、各種の画像特徴量の演算等の処理から成る画像データの解析を併用して行なってもかまわない。
【００４０】
ステップＳ１１３の後、特徴点の差分から三角測量法等の計算手法を用いて視差量が算出され（ステップＳ１１４）、同様の計算手法を用いて、各原画像のピクセルについて、画面に平行な平面上の位置（ｘ、ｙ）及び奥行の座標（ｚ）が算出される（ステップＳ１１５）。
【００４１】
ステップＳ１１５の後、色温度取得工程としてのステップＳ１１６により、奥行の座標ごとにおける色温度変化とカラーバランスが算出される。本発明では、奥行方向における立体画像の最前面と最後面での色温度情報を求め、整合するように色再現変化を合わせる処理を行なう構成でも良いが、好ましくは、奥行方向での色温度データから奥行方向における色温度の関数を最小二乗法などを用いて算出してそれを用いて色再現変化を合わせる処理を行なう。
【００４２】
ステップＳ１１６の後、視差量、ｘ、ｙ、ｚを用い、原画像から、必要に応じて視点を補間する画像を作成する（ステップＳ１１７）。たたし、本発明においては、ステレオ多眼撮影をする際に３ＤＣＧと同じ視点数、視差量で撮影した画像で３ＤＣＧと合成する際や、ステレオ多眼撮影での同じ視点数、視差量で撮影した複数のシーンでの画像を合成する際には、視点補間をせずとも本発明を実施することができ、視差量が異なった場合においても、視点数が同じである場合はこのステップは省略できる。
【００４３】
ここで、視点補間の画像を得る処理について、具体的に説明する。先ず、得られた多眼ステレオ画像の基準となる基準視点画像を設定する。その基準視点画像に対し、他の画像データの位置ずれ量を求め、撮影時の複数のカメラと被写体との距離や、その奥行方向の分布に応じて水平方向のずれ量が異なるために起こる台形歪みや各々の画像データでの画像位置の調整を行なう。そして、比較対の画像データ内において、ほとんどの領域で被写体の同一部分が入るように左右画像データの位置ずれ量をテンプレートマッチングにより求める。
【００４４】
続いて、所定の矩形領域の画像データを切り出して、テンプレート画像を作成する。そして、画像の同じ矩形領域の画像データ（ＲＧＢ等のデータ）との画素値の差分和を水平／垂直それぞれの方向に所定の移動量分だけ計算し、最も画素値の差分和の小さい時の移動量をその位置ずれ量とする。この様にした後にステップＳ１１３での画像対の画像間で同一な被写体部分を点対点の対応として表す対応点を抽出する。対応点の抽出は、各点に対してテンプレートマッチングを適用して対応する点をそれぞれ求める。画像サイズが大きい場合は処理時間に膨大になることから、必要な抽出点数で行なうこともできる。
【００４５】
対応点の位置は、テンプレートマッチングを行ない、特徴点の差分和のうちで最も小さい位置に決定される。但し、対応点位置での差分和の値から、対応点抽出の処理の信頼度が低いと予め与えられた閾値を元に判定された場合は、その点に関しては未対応という情報を与える。
【００４６】
以上の処理を繰り返して、多視点ステレオ画像対の対応点を画像領域にわたり複数求める。また対応点の抽出により差から直接求められるものもあるが、未対応の点や、元々対応点の探索を行なわなかった点に対しても、精度を高める為に視差を補間により求めて補足してもよい。
【００４７】
続いて、これまで求まった視差から元々対応点を求めていない点に対しても、求める視差に対する近傍の４つの視差から補間により視差を求める。視差の補間方法は、対応点位置ごとの点数等による加重平均で算出することもできる。以上の処理により、画像の全画素に対して視差量を求めることができる。
【００４８】
上記の各視差量の解析データを用いて多視点画像の視点補間を行なう場合の方法を例として挙げる。ここで生成する画像は、各視点での画像サイズは視点画像数とプリントする時の解像度とサイズで決まり、プリンタの解像度をａ（dpi：dot  per  inch）、印刷サイズをＳＸ、ＳＹインチとすると、プリントする画像サイズは、ｘ＝ａ×ＳＸ、ｙ＝ａ×ＳＹのそれぞれの画素が必要である。
【００４９】
視点画像数Ｎは、微小透孔領域のピッチ、ｆインチに合わせて、Ｎ＝ａ×ｆとなるように整数を求める。例えば、プリンタの解像度４００ｄｐｉ、微小透孔領域の板のピッチ１／２０ｉｎｃｈの場合には、Ｎ＝１４の水平方向、垂直方向の計２５６の視点画像数が望ましい。このとき、各視点の画像のサイズは、水平（Ｈ）、垂直（Ｖ）方向で、Ｈ＝ｘ／Ｎ、Ｖ＝ｙ／Ｎとなる。実際には、Ｈ、Ｖが整数になるようにプリントサイズを決める。
【００５０】
生成する画像の視点位置は、所定の視差量が発生するように決定する。視差量が小さくなり過ぎると、立体像を観察する際の立体感が損なわれる。また、視差量が大きすぎると、観察する立体像が不鮮明になる。また、安定した立体像を観察するために各視点での画像は基準視点となる画像の視点位置を中心として、等間隔且つ対称に並ぶように視点位置を決める。
【００５１】
補間視点画像を生成する方法について説明する。補間で作成する新規視点画像は、求めようとする視差量ｄｉ、または視点に当る画像を内挿できる最近傍の対となる左右にあたる画像を選択する。例えば左側の最近傍視点に当たる画像で水平方向の視点補間を例示して説明する。各画素をマッピングする新規視点画像中の位置（ｘｉ、ｙｉ）を、左画像の画素位置（ｘＬ、ｙＬ）、右画像の画素位置（ｘＲ、ｙＲ）、視差量ｄＬ、ｄＲとして、ｘｉ＝ｘＬ＋（ｄｉ−ｄＬ）／｜（ｄＬ−ｄＲ）｜で求める（ｙｉも同様にして求める）。ここにおいて、（ｄｉ−ｄＬ）が負の場合は右側のシフト量を示唆する。また、新規視点画像と原画像が異なる場合には、上記数値に視点画像サイズ／原画像サイズの比を掛けて求める。そして、左画像の画素位置（ｘＬ、ｙＬ）での画素信号値を新規視点画像の（ｘｉ、ｙｉ）の位置に記録する。この処理を左画像の全画素について繰り返す。
【００５２】
次に、新規視点画像の画素のうち、左画像から画素が割り当てられなかった画素に対しては、同様の視差量から内挿で右側から見つける処理や、求める画素の近傍隣接画素を探索して平均値を割り当てるなどの穴埋め処理を行なう。他の方法としては、生成した新規視点画素の隣接画像を用いて推定することもできる。
【００５３】
上述した方法により、全画素有効な新規視点画像が生成される。この処理を視点数分繰り返し行なうことで、視点画像を補間する。更に詳細には、左右近傍だけでなく、更に複数の視点画像のデータを用いて求めても良い。
【００５４】
次に、ステップＳ１１の後に行なわれる３ＤＣＧを取り込むためのＣＧレンダリング画像取得処理（ステップＳ１２）について説明する。先ず、制御部１０は、レンダリングされた複数の視点画像データを取り込む（ステップＳ１２１）。なお、ステレオ多眼画像と合成する場合における３ＤＣＧの取り込みは、前述したステップＳ１１１〜Ｓ１１７の各処理を行なう構成でも良いが、レンダリングを行なう際にステレオ多眼画像と同じ視点数、視差量でレンダリングを行ない、同様な多視点画像データを得るようにしてステップＳ１２に示す処理を行なう方が、作業工数が少なく、品質の向上が見込まれるためにより好適である。
なお、本実施の形態では、ステレオ多眼画像と３ＤＣＧの両方を取り込む構成としたが、取り込む画像に合わせて、ステップＳ１１、ステップＳ１２が選択され、いずれか一方だけを取り込む構成であっても良い。
【００５５】
ステップＳ１２１の後、レンダリング条件からの算出、又は特徴点の差分から三角測量法等の計算手法を用いて視差量が算出され（ステップＳ１２２）、原画像のピクセルについて画面に平行な位置及び奥行の座標が算出された後、（ステップＳ１２３）奥行方向の座標ごとにおける色温度変化とカラーバランスが算出される（ステップＳ１２４）。なお、ステップＳ１２４における算出処理は、上述したステップＳ１１６と同様に、最小二乗法などを用いて奥行方向における色温度の関数を求める構成であってよい。
【００５６】
ステップＳ１１、Ｓ１２で複数の立体画像情報の入力、つまり、ステレオ多眼画像と３ＤＣＧとが入力された後、変換する目標となる奥行方向における色温度の関係がいずれか一の立体画像情報を元にしたものに決定される（ステップＳ１３）。
【００５７】
ステップＳ１３におけるいずれか一の立体画像情報の決定は、ステレオ多眼画像又は３ＤＣＧのいずれかに予め決定する構成でも良いが、操作部２０から選択する構成でも良い。また、操作部２０から与えられる奥行方向における色温度との関係、又は変化させる度合いなどを目標にする構成や、予め記憶部５０に格納された色温度変換テーブルを用いる構成でもよい。
【００５８】
ステップＳ１３の後、鮮鋭性強調などの第１の画像変換処理が本発明の効果を損なわない範囲で行なわれ（ステップＳ１４）、色温度調整工程としてのステップＳ１５により、上述した変換する目標となる奥行方向における色温度との関係に基づいて、上述したステップＳ１１７、Ｓ１２４で得られた解析情報を解析データ蓄積部５０１から読み出して、各視点での画像に対して、ピクセル毎に色温度の変換とその変換における色温度の変化量に応じたカラーバランスの補正とによる色再現変換処理が行なわれる。なお、ここにおけるカラーバランスの補正とは、国際照明委員会(CIE)の標準化式(CIE Color Appearance Model, CIECAM)などを元にしたカラーアピアランスの補正やカラーマッチングである。
【００５９】
ここで、ステップＳ１５における色再現変換について、図８〜図１１を参照して説明する。図８（ａ）は、３ＤＣＧによる家の画像を例示する図であり、図８（ｂ）は、ステレオ多眼で撮像された風景画像を例示する図であり、図８（ｃ）は、上述した図８（ａ）、（ｂ）の画像を合成した場合の画像を例示する図である。また、図１０は、図８（ａ）、（ｂ）に示した画像についての奥行方向における色温度の関係を示したグラフである。図１０の色温度曲線Ａは図８（ｂ）の画像における奥行方向の色温度を示すグラフ曲線であり、色温度曲線Ｂは図８（ａ）の画像における奥行方向の色温度を示すグラフ曲線である。
【００６０】
同様に、図９（ａ）は、３ＤＣＧを例示する図であり、図９（ｂ）は、ステレオ多眼画像を例示する図であり、図９（ｃ）は、図９（ａ）、（ｂ）を合成した画像を例示する図である。また、図１１は、図９（ａ）、（ｂ）に示した画像についての奥行方向における色温度の関係を示したグラフである。図１１の色温度曲線Ｃは図９（ｂ）の画像における奥行方向の色温度を示すグラフ曲線であり、色温度曲線Ｄは図９（ａ）の画像における奥行方向の色温度を示すグラフ曲線である。
【００６１】
例えば、ステップＳ１３において変換する目標となる奥行方向における色温度の関係が３ＤＣＧを元にすると決定された場合は、ステップＳ１５において、色温度曲線Ａが色温度曲線Ｂを描く様に図８（ｂ）の画像に対して色再現変換が行なわれる。このため、図８（ｃ）に示したように画像を合成した場合は、３ＤＣＧで描かれた画像に合わせて風景画像が違和感なく合成される。
【００６２】
逆に、ステップＳ１３において変換する目標となる奥行方向における色温度の関係がステレオ多眼で撮像された風景画像を元にすると決定された場合は、ステップＳ１５において、色温度曲線Ｄが色温度曲線Ｃを描くように図９（ａ）の画像に対して色再現変換が行なわれる。このため、図９（ｃ）に示したように画像を合成した場合は、風景画像に合わせて３ＤＣＧで描かれた画像が違和感なく合成される。
【００６３】
ステップＳ１５の後、立体画像合成工程としてのステップＳ１６により、各視点毎に画像合成が行なわれ、処理後の画像データが画像データ書込部６０６又はデータ蓄積部５０２に格納されて（ステップＳ１７）、終了する。なお、ステップＳ１６において画像を合成する際に、特に強調表示する対象が画像中にない場合は、各シーンで最前面となる画素を用い、それ以外の他のシーンでの対応視点の対応画素を塗りつぶす。逆に、強調表示する対象が操作部２０などにより指定された場合は、テンプレートマッチングを行う等での判断を加えて指示されたもので、他のシーンでの対応視点の対応画素を塗りつぶすことで、所望の合成画像を得ることができる。
【００６４】
次に、上述した画像処理装置１を用いて作成される、ＩＰ画像により観察者に立体像を表示する表示パネルなどの立体画像表示装置について図５〜図７を参照して説明する。図５は、本発明の立体画像表示装置の製造方法を示す工程原理図であり、図６は、当該立体画像表示装置におけるＩＰ画像の作成を説明する原理図であり、図７は、立体画像表示装置の構成概略図である。
【００６５】
入力工程１０１は前述したステップＳ１１、Ｓ１２の処理であり、多視点画像データ化工程１０２はステップＳ１３〜Ｓ１７の各処理である。この工程により、ステレオ多眼画像又は３ＤＣＧ形状の３Ｄデータ入力などによる複数の立体画像情報が入力され、いずれか一の立体画像情報や操作部２０から入力される指示データを元に色再現変換処理後に合成されて、処理後の立体画像情報としてデータ蓄積部５０２に記憶される。
【００６６】
ＩＰ画像処理工程１０３では、データ蓄積部５０２に記憶された処理後の立体画像情報に基づいて視点違いの画像群から一枚のＩＰ画像が作成される。例えば、１視点が１８０×１８０画素からなる画像を縦３２視点×横３２視点＝１０２４視点分を集め、一つのピンホール（やレンズ）から観察される各視点の画像をピンホールに対応する位置に集めて、一枚のＩＰ用画像が作成される。具体的には、図６に示すように、元画の１画面サイズが１８０×１８０画像、視点数が上下３２・左右３２の場合において、１０２４枚の視点違いの画像群１１０から１枚のＩＰ用画像１１１が作成される。そして、図６で示された工程が、ＩＰ画像処理工程１０３となる。
【００６７】
ＩＰ画像出力工程１０４では、プリンタ６０４によりＩＰ用画像１１１がプラスチックフィルム支持体（好ましくは透過型支持体）上にハロゲン化銀写真感光材料などの感光材料で画像形成される。
【００６８】
感光材料としては、次のものが包含される。
先ず、ハロゲン化銀カラー写真感光材料が挙げられる。この感光材料としては光透過性支持体、もしくは反射支持体の上に互いに吸収波長領域の異なる少なくとも３種の感光性層を有するものであれば、公知のいずれのものであってもよいが、光透過性支持体上に画像形成される透過光観察型のハロゲン化銀カラー写真感光材料であることが好ましい。
【００６９】
また、ハロゲン化銀カラー写真感光材料は、撮影用のカラーネガフィルム、カラーポジフィルムであってもよく、プリント用の印画紙やディスプレイ用の透過印画フィルムのいずれであってもよい。本発明の用いることの出来るハロゲン化銀感光材料の好ましい様態の一つは、大判サイズのカラーポジフィルムである。また別の様態は、透過型ディスプレイ作成用のカラーフィルムであり、特にデジタル露光に適したディスプレイフィルムが好ましい。
【００７０】
３Ｄ表示化工程１０５では、微小透孔領域であるピンホール（銀塩感光材料や印刷で形成されたもの）やフライアイレンズ（印刷や成型形成されたもの）と、ＩＰ画像出力工程１０４で形成されたＩＰ用画像とが（適宜スペーサーを介して）合体されることで、立体像を観察者の眼に表示する。
【００７１】
立体画像表示装置は、立体像を観察者に表示する立体画像表示手段として、図７に示すように、上側透明シート１１４ａには微小透孔アレイ１１３が、下側透明シート１１４ｃにはＩＰ用画像１１１が、それぞれ予め画像処理装置１によりプリントされ、２枚の透明シートの間隔を一定に保つため、間に中間透明板１１４ｂが挿入されている。またＩＰ用画像１１１を照らすため、その下に光源１１２が置かれている。
【００７２】
観察者Ｈは、微小透孔アレイ１１３を通過してきた光を見る。その際、右目に入る光が、ＩＰ用画像１１１の点Ｑから出たのか、それとも３次元物体上のＳから出たのか区別できない。同様に左目に入る光が、ＩＰ用画像１１１の点Ｒから出たのか、それとも仮想の３次元物体上のＳから出たのか区別できない。従って、両眼視差により、あたかも点Ｓに物体があるように見える、というものである。尚、微小透孔アレイ１１３は、図３において、ＩＰ画像であるＩＰ用画像１１１とその位置が交換されてもよいし、光源１１２は、透過光でなく、反射光を利用するのであれば、観察者Ｈ側にあってもよい。この様にＩＰ画像を用いた立体画像表示装置は、手軽に立体画像を得られ、また銀塩写真プリンタを使用すると立体感が向上する利点が見られる。
【００７３】
また、立体画像表示装置は、電気的に開口位置を変更可能な液晶シャッターによりマスク位置を変動可能な微小透孔アレイ１１３と、２コマの立体像が描かれたＩＰ用画像１１１とにより、複数コマのよる擬似動画を表示する構成であって良い。
【００７４】
以上のように、画像処理装置１は、入力される複数の立体画像情報に対していずれか一の立体画像情報に応じた色再現変換処理をして合成することで、自然で優れた質感を持つ立体画像を出力することができる。また、画像処理装置１を用いて立体画像表示装置を作成することにより、より自然で優れた質感を持つ立体画像表示装置を提供することができる。
【図面の簡単な説明】
【００７５】
【図１】インテグラルフォトグラフィ（ＩＰ）方式による立体画像の撮像及び表示の原理を示す原理図である。
【図２】本発明における画像処理装置１の機能的構成を模式的に示した図である。
【図３】本発明における画像処理を示すフローチャートである。
【図４】（ａ）は、ステレオ多眼取得処理を示すフローチャートであり、（ｂ）は、ＣＧレンダリング画像取得処理を示すフローチャートである。
【図５】本発明における立体画像表示装置の製造方法を示す工程原理図である。
【図６】ＩＰ画像の作成を説明する原理図である。
【図７】立体画像表示装置の構成概略図である。
【図８】（ａ）は、３ＤＣＧによる家の画像を例示する図であり、（ｂ）は、ステレオ多眼で撮像された風景画像を例示する図であり、（ｃ）は、図８（ａ）と図８（ｂ）の画像を合成した場合の画像を例示する図である。
【図９】（ａ）は、３ＤＣＧによる机の画像を例示する図であり、（ｂ）は、ステレオ多眼で撮像された部屋の画像を例示する図であり、（ｃ）は、図９（ａ）と図９（ｂ）の画像を合成した場合の画像を例示する図である。
【図１０】図８（ａ）、（ｂ）に示した画像についての奥行方向における色温度の関係を示したグラフである。
【図１１】図９（ａ）、（ｂ）に示した画像についての奥行方向における色温度の関係を示したグラフである。
【符号の説明】
【００７６】
１  画像処理装置
１０  制御部
２０  操作部
３０  画像入力部
４０  画像処理部
５０  記憶部
６０  画像出力部
７０  通信部
１０１  入力工程
１０２  多視点画像データ化工程
１０３  ＩＰ画像処理工程
１０４  ＩＰ画像出力工程
１０５  ３Ｄ表示化工程
１１０  視点違いの画像群
１１１  ＩＰ用画像
１１２  光源
１１３  微小透孔アレイ
１１４ａ  上側透明シート
１１４ｂ  中間透明板
１１４ｃ  下側透明シート
３０１  ステレオ多眼画像
３０２  ３ＤＣＧレンダリング画像
４０１  第１の画像解析部
４０２  第２の画像解析部
４０３  画像調整部
４０３ａ  第１の画像変換部
４０３ｂ  色再現変換部
４０４  画像合成部
５０１  解析データ蓄積部
５０２  データ蓄積部
６０１  ＣＲＴ固有処理部
６０２  ＣＲＴ
６０３  プリンタ固有処理部
６０４  プリンタ
６０５  画像データ書式作成部
６０６  画像データ書込部
Ａ、Ｂ、Ｃ、Ｄ  色温度曲線
Ｈ  観察者
【図１】
2006211386.tif 000003
【図２】
2006211386.tif 000004
【図３】
2006211386.tif 000005
【図４】
2006211386.tif 000006
【図５】
2006211386.tif 000007
【図６】
2006211386.tif 000008
【図７】
2006211386.tif 000009
【図８】
2006211386.tif 000010
【図９】
2006211386.tif 000011
【図１０】
2006211386.tif 000012
【図１１】
2006211386.tif 000013