(57)【要約】【課題】左の画像及び右画像を用いて、立体画像を表示する上で、被写体の画像そのものに他の画像を合成して、被写体の画像に修整や補足等を加える。【解決手段】元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成部１１と、左右のテンプレート画像を記憶するテンプレート画像記憶部１２と、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成する画像合成部１３とを備えている。左右の合成画像を形成し、３次元ディスプレイを用いて、左右の合成画像を左右の目で略同時に見ると、修整もしくは補足された被写体を立体的に見ることができる。【選択図】図１
2008210405.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示す左右のテンプレート画像を記憶手段に記憶しておくテンプレート画像記憶ステップと、
２台のカメラにより元の被写体を２視点もしくは２方向から撮影して得られた左右の投影画像をコンピュータに入力し、コンピュータの演算処理により、前記記憶手段から左右のテンプレート画像を読み出し、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成する画像合成ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示す左右のテンプレート画像を記憶手段に記憶しておくテンプレート画像記憶ステップと、
コンピュータの演算処理により、透視投影法又は平行投影法を用いて、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成ステップと、
コンピュータの演算処理により、前記記憶手段から左右のテンプレート画像を読み出し、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、前記右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成する画像合成ステップと
を含むことを特徴とする画像処理方法。
【請求項３】
コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示すテンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶手段に記憶しておくテンプレート画像記憶ステップと、
コンピュータの演算処理により、前記記憶手段からテンプレート画像及び該テンプレート画像の奥行き情報を読み出し、テンプレート画像及び該テンプレート画像の奥行き情報を用いて、左右のテンプレート画像を生成するテンプレート画像生成ステップと、
２台のカメラにより元の被写体を２視点もしくは２方向から撮影して得られた左右の投影画像をコンピュータに入力し、コンピュータの演算処理により、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成する画像合成ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示すテンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶手段に記憶しておくテンプレート画像記憶ステップと、
コンピュータの演算処理により、前記記憶手段からテンプレート画像及び該テンプレート画像の奥行き情報を読み出し、テンプレート画像及び該テンプレート画像の奥行き情報を用いて、左右のテンプレート画像を生成するテンプレート画像生成ステップと、
コンピュータの演算処理により、透視投影法又は平行投影法を用いて、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成ステップと、
コンピュータの演算処理により、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、前記右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成する画像合成ステップと
を含むことを特徴とする画像処理方法。
【請求項５】
記憶手段内のテンプレート画像は、階層付き画像データ、又はベクトルグラフィックスデータによって示されることを特徴とする請求項３又は４に記載の画像処理方法。
【請求項６】
投影画像及びテンプレート画像を該各画像の少なくとも一部を透過処理してから合成して、合成画像を形成することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理方法。
【請求項７】
請求項１乃至４のいずれか１つに記載の画像処理方法を実現するためにコンピュータにより実行されるプログラム。
【請求項８】
請求項７に記載の画像処理方法を実現するためにコンピュータにより実行されるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、左目用の画像（左の画像）及び右目用の画像（右の画像）を用いて、立体画像を表示するための画像処理方法、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
この種の従来の技術としては、特許文献１に記載のものがある。ここでは、左の被写体の画像及び背景画像を合成して、左の合成画像を形成すると共に、右の被写体の画像及び背景画像を合成して、右の合成画像を形成し、左の合成画像及び右の合成画像を用いて、立体画像を表示しており、被写体の撮影距離に応じて被写体の画像及び背景画像の合成位置を調節することにより、立体画像を表示したときの被写体の画像及び背景画像の位置関係の矛盾を解消している。
【特許文献１】特開平５−３４６７７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１では、被写体の画像及び背景画像を合成していても、被写体の画像そのものに他の画像を合成して、被写体の画像を加工し、その上で加工された被写体を立体的に見せてはおらず、その様な技術が望まれていた。
【０００４】
そこで、本発明は、上記従来の問題点に鑑みてなされたものであり、左の画像及び右画像を用いて、立体画像を表示する上で、被写体の画像そのものに他の画像を合成して、被写体の画像に修整や補足等を加えることが可能な画像処理方法、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記従来の課題を解決するために、本発明の画像処理方法は、コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示す左右のテンプレート画像を記憶手段に記憶しておくテンプレート画像記憶ステップと、２台のカメラにより元の被写体を２視点もしくは２方向から撮影して得られた左右の投影画像をコンピュータに入力し、コンピュータの演算処理により、前記記憶手段から左右のテンプレート画像を読み出し、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成する画像合成ステップとを含んでいる。
【０００６】
また、本発明の画像処理方法は、コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示す左右のテンプレート画像を記憶手段に記憶しておくテンプレート画像記憶ステップと、コンピュータの演算処理により、透視投影法又は平行投影法を用いて、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成ステップと、コンピュータの演算処理により、前記記憶手段から左右のテンプレート画像を読み出し、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、前記右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成する画像合成ステップとを含んでいる。
【０００７】
更に、本発明の画像処理方法は、コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示すテンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶手段に記憶しておくテンプレート画像記憶ステップと、コンピュータの演算処理により、前記記憶手段からテンプレート画像及び該テンプレート画像の奥行き情報を読み出し、テンプレート画像及び該テンプレート画像の奥行き情報を用いて、左右のテンプレート画像を生成するテンプレート画像生成ステップと、２台のカメラにより元の被写体を２視点もしくは２方向から撮影して得られた左右の投影画像をコンピュータに入力し、コンピュータの演算処理により、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成する画像合成ステップとを含んでいる。
【０００８】
また、本発明の画像処理方法は、コンピュータの演算処理により、被写体の陰影パターンもしくは輪郭パターンを示すテンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶手段に記憶しておくテンプレート画像記憶ステップと、コンピュータの演算処理により、前記記憶手段からテンプレート画像及び該テンプレート画像の奥行き情報を読み出し、テンプレート画像及び該テンプレート画像の奥行き情報を用いて、左右のテンプレート画像を生成するテンプレート画像生成ステップと、コンピュータの演算処理により、透視投影法又は平行投影法を用いて、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成ステップと、コンピュータの演算処理により、左の投影画像に左のテンプレート画像を合成して、左の投影画像を修正もしくは補足し、該被写体を一方の視点もしくは方向から見たときの左の合成画像を形成すると共に、前記右の投影画像に右のテンプレート画像を合成して、右の投影画像を修正もしくは補足し、該被写体を他方の視点もしくは方向から見たときの右の合成画像を形成し、陰影もしくは輪郭を付与された左右の合成画像を形成する画像合成ステップとを含んでいる。
【０００９】
このような本発明において、記憶手段内のテンプレート画像は、階層付き画像データ、又はベクトルグラフィックスデータによって示されるものであってもよい。
【００１０】
また、投影画像及びテンプレート画像を該各画像の少なくとも一部を透過処理してから合成して、合成画像を形成してもよい。
【００１１】
また、本発明は、画像処理方法だけではなく、その方法を実現するためにコンピュータにより実行されるプログラム、及びそのプログラムを記録した記録媒体をも包含する。
【００１２】
プログラムは、磁気ディスク、光ディスク、コンピュータに内蔵のハードディスク等の記録媒体に記録されたり、通信ネットワークを通じて送受される。コンピュータやマイクロプロセッサ内蔵の端末装置等は、プログラムを記録媒体から読み出したり、プログラムを通信ネットワークを通じて受信し、このプログラムを実行して、本発明を実施することができる。コンピュータ等の端末装置及びネットワーク等からなるシステムにおいては、複数の処理をコンピュータ等の端末装置に分散して行い得る。従って、プログラムは、コンピュータ等の単一の端末装置だけではなく、システムにも適用し得る。
【００１３】
記録媒体としては、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭといった半導体記憶素子、ＩＣカード、ハードディスク、フレキシブルディスク、あるいはＭＯ、ＣＤ、ＭＤ、ＤＶＤ等の光ディスク、磁気テープ等を挙げることができ、プログラムを記録することが可能であれば他の種類の記録媒体であっても良い。
【発明の効果】
【００１４】
以上説明した様に本発明によれば、元の被写体を示す左右の投影画像を生成し、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成し、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成している。すなわち、被写体を示す投影画像をテンプレート画像により加工して、左右の合成画像を形成している。従って、左右の合成画像を用いて、立体画像を表示すると、加工された被写体を立体視することができる。
【００１５】
また、各種のテンプレート画像を用意しておけば、被写体の投影画像を該各テンプレート画像に合成することができる。更に、テンプレート画像を繰り返し再利用することができ、テンプレート画像の生成のための撮影や演算処理を低減することができる。
【００１６】
また、テンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶しておき、これらのテンプレート画像及び奥行き情報を用いて、左右のテンプレート画像を生成している。このため、奥行き情報の変更により、左右のテンプレート画像によって表される立体画像の奥行きを変更することができる。従って、相互に異なるそれぞれの奥行きのテンプレート画像を記憶する必要がなく、記憶容量の節減を果たすことができる。
【００１７】
更に、テンプレート画像を階層付き画像データ、又はベクトルグラフィックスデータとして記憶しているので、テンプレート画像の拡大縮小にかかわらず、高品位のテンプレート画像の再生を可能である。また、データ量が少なく、記憶容量の節減を果たすことができる。
【００１８】
また、画像の少なくとも一部を透過処理してから合成して、合成画像を形成しているので、投影画像及びテンプレート画像の合成をフレキシブルに行うことが可能になる。
【発明を実施するための最良の形態】
【００１９】
まず、本発明の概略を説明する。
【００２０】
３次元ディスプレイでは、見る人の左右の目の視差、所謂両眼視差を考慮して、左の画像及び右の画像を作成し、これらの画像を左右の目で略同時に見ることにより被写体を立体的に見せる。左の画像及び右の画像は、２台のカメラを用いて、被写体を左右の２方向から撮影することにより作成するか、あるいはコンピュータグラフィックスを用いて、３次元の被写体を作成し、その上で該被写体を左右の２方向から見ることにより作成する。あるいは、カメラにより撮影された画像とコンピュータグラフィックスにより作成された画像の合成により、左の画像及び右の画像を作成しても構わない。
【００２１】
本発明においては、左の画像及び右の画像を用いて、被写体を立体的に見せるだけではなく、元の被写体を示す左右の投影画像を左右のテンプレート画像に合成して、元の被写体を示す投影画像をテンプレート画像により修整もしくは補足し、修整もしくは補足された被写体を立体的に見せる。
【００２２】
例えば、元の被写体が人の顔であり、左右のテンプレート画像が顔の陰影を示す濃淡パターンであれば、被写体を示す左右の投影画像を左右のテンプレート画像に合成して、陰影のある顔を立体的に見せる。あるいは、左右のテンプレート画像が顔の輪郭を示すものであれば、被写体を示す左右の投影画像を左右のテンプレート画像に合成して、輪郭が変更された顔を立体的に見せる。更に、左右のテンプレート画像として、様々な顔の陰影を示す濃淡パターンや様々な顔の輪郭を示すものを用意しておき、左右のテンプレート画像の選択的な適用により、顔を様々に修整もしくは補足して立体的に見せる。
【００２３】
次に、本発明の実施形態を添付図面を参照して詳細に説明する。
【００２４】
図１は、本発明の画像処理方法を適用した画像処理装置の第１実施形態を示すブロック図である。本実施形態の画像処理装置１０は、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する投影画像生成部１１と、左右のテンプレート画像を記憶するテンプレート画像記憶部１２と、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成する画像合成部１３とを備えている。
【００２５】
図２は、画像処理装置１０の処理過程を示すフローチャートである。このフローチャートに従って、画像処理装置１０の処理過程を順次説明する。
【００２６】
まず、投影画像生成部１１は、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する（ステップＳ１０１）。
【００２７】
この左右の投影画像は、例えば図３に示す様に被写体２１を左右に離れたそれぞれの視点の画像面２２，２３に投影することにより生成される。実際には、被写体２１を左右に離れた２台のカメラにより撮影したり、被写体２１を１台のカメラとステレオアダプタにより撮影して、左右の投影画像を生成する。
【００２８】
あるいは、コンピュータグラフィックスのソフトウェアをパーソナルコンピュータ等により実行して、左右の投影画像を生成することもできる。コンピュータグラフィックスを用いる場合は、図４（ａ）に示す様な透視投影法又は図４（ｂ）に示す様な近似的手法の平行投影法を用いる。図４（ａ）の透視投影法では、２台の仮想カメラを左右に適宜の距離を開けて直線上に並べ、被写体２１を該各仮想カメラにより撮影して、左右の投影画像を生成する。また、図４（ｂ）の平行投影法では、２台の仮想カメラを左右に適宜の距離を開けて置き、該各仮想カメラを適宜の角度だけ被写体２１に向けて、該各仮想カメラ間に角度差を設定し、被写体２１を該各仮想カメラにより撮影して、左右の投影画像を生成する。
【００２９】
透視投影法の場合は、被写体２１が各仮想カメラのレンズ面から遠くなる程、左右の投影画像が小さくなり、左右の投影画像が実際の２台のカメラにより撮影されたものに近似するが、左右の投影画像を被写体２１と各仮想カメラのレンズ面間の距離で除算するという演算処理が必要となる。
【００３０】
平行投影法の場合は、被写体２１と各仮想カメラのレンズ面間の距離に応じて左右の投影画像の大きさが変化することはなく、透視投影法の様な演算処理を必要としない。特に、被写体２１の奥行きが短ければ、左右の投影画像に大きな誤差を生じることがなく、演算処理のためのコストを削減することができる。ただし、図５に示す様な各仮想カメラ間の距離ａもしくは角度差αが小さ過ぎると、左右の投影画像を左右の目で略同時に見たときの被写体２１の立体感が乏しくなり、逆に各仮想カメラ間の距離ａもしくは角度差αが大き過ぎると、左右の投影画像を左右の目で略同時に見たときの左右の対応が取り難く、立体視そのものが困難になる。３次元ディスプレイの仕様にもよるが、一般的には、角度差αを３度乃至１５度の範囲で設定することが望ましい。
【００３１】
次に、画像合成部１３は、左右の投影画像を投影画像生成部１１から受け取り、左右のテンプレート画像をテンプレート画像記憶部１２から読み出して、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成する（ステップＳ１０２）。すなわち、元の被写体２１を示す左右の投影画像を左右のテンプレート画像に合成して、左右の投影画像を修整もしくは補正し、修整もしくは補足された被写体を示す左右の合成画像を形成する。
【００３２】
例えば、図６（ａ）に示す様な左右のテンプレート画像２４ａ，２４ｂ及び図６（ｂ）に示す様な被写体の左右の投影画像２５ａ，２５ｂを合成して、図６（ｃ）に示す様な修整もしくは補足された被写体の左右の合成画像２６ａ，２６ｂを形成する。
【００３３】
また、図７（ａ）に示す様な陰影パターンのテンプレート画像２７に透過処理を施してから、テンプレート画像２７及び図７（ｂ）に示す様な顔の投影画像２８を合成して、図７（ｃ）に示す様な修整もしくは補足された顔の合成画像２９を形成する。ここでは、陰影パターンのテンプレート画像２７及び顔の投影画像２８を合成して、陰影を有する顔の合成画像２９を形成している。
【００３４】
あるいは、図８（ａ）に示す様な輪郭パターンの各テンプレート画像３１ａ，３１ｂ，３１ｃ，３１ｄ及び図８（ｂ）に示す様な顔の投影画像３２の中央部分（点線の内側部分）を合成して、図８（ｃ）に示す様な輪郭を修整もしくは補足された顔の合成画像３３ａ，３３ｂ，３３ｃ，３３ｄを形成する。これにより、顔の輪郭を様々に変更することができる。
【００３５】
また、図９（ａ）に示す様な髪型の各テンプレート画像３４ａ，３４ｂ，３４ｃ，３４ｄ及び図９（ｂ）に示す様な顔の投影画像３５を合成して、図９（ｃ）に示す様な髪型を修整もしくは補足された顔の合成画像３６ａ，３６ｂ，３６ｃ，３６ｄを形成する。これにより、顔の髪型を様々に変更することができる。
【００３６】
尚、図７、図８、及び図９においては、左右の画像を別々に示さずに、１つの画像のみを示して簡略化している。また、図６乃至図９の他にも、多様な被写体の投影画像やテンプレート画像を想定することができる。
【００３７】
こうして左右の合成画像を形成し、３次元ディスプレイを用いて、左右の合成画像を左右の目で略同時に見ると、修整もしくは補足された被写体を立体的に見ることができる。
【００３８】
３次元ディスプレイとしては、左右の合成画像を表示するそれぞれの液晶ディスプレイパネルを備えるヘッドマウントディスプレイ、液晶方式の眼鏡により左右の合成画像を時分割で交互に表示する方式のディスプレイ、レンチキュラーレンズを用いる方式のディスプレイ、及び偏光フィルターを用いる方式のディスプレイ等があり、左右の合成画像を左右の目で略同時に見て、被写体を立体的に見ることができれば、他の方式のものであっても構わない。
【００３９】
図１０は、本発明の画像処理方法を適用した画像処理装置の第２実施形態を示すブロック図である。尚、図１０において、図１の装置と同様の作用を果たす部位には同じ符号を付す。
【００４０】
本実施形態の画像処理装置１０Ａは、図１の装置におけるテンプレート画像記憶部１２の代わりに、テンプレート画像及び該テンプレート画像の奥行きを示す奥行き情報を記憶する奥行き付きテンプレート記憶部４１、及び奥行き付きテンプレート記憶部４１内のテンプレート画像及び奥行き情報を用いて、左右のテンプレート画像を生成するテンプレート画像生成部４２を適用している。
【００４１】
図１１は、画像処理装置１０Ａの処理過程を示すフローチャートである。このフローチャートに従って、画像処理装置１０Ａの処理過程を順次説明する。
【００４２】
まず、投影画像生成部１１は、元の被写体を２視点もしくは２方向から見たときの左右の投影画像を生成する（ステップＳ２０１）。このステップＳ２０１の処理は、図２のステップＳ１０１の処理と同様である。
【００４３】
次に、テンプレート画像生成部４２は、テンプレート画像及び奥行き情報を奥行き付きテンプレート記憶部４１から読み出し、これらを用いて、左右のテンプレート画像を生成する（ステップＳ２０２）。
【００４４】
例えば、図１２（ａ）に示す様な各物体５１ａ，５１ｂを含むテンプレート画像５１及び各物体５１ａ，５１ｂの奥行き情報５２ａ，５２ｂを奥行き付きテンプレート記憶部４１から読み出し、図１２（ｂ）に示す様に奥行き情報５２ａによって示される奥行きに応じて物体５１ａを位置決めし、かつ奥行き情報５２ｂによって示される奥行きに応じて物体５１ｂを位置決めした左右のテンプレート画像５３，５４を生成する。
【００４５】
一般に、左の画像では物体をより右に位置決めし、右の画像では該物体をより左に位置決めし、これにより左右の画像を略同時に見たときに該物体を立体的に見せる。また、物体の奥行きの距離が短くなる程、左右への物体の移動距離が長くなる（物体の移動距離が奥行きの距離に反比例する）。
【００４６】
図１２（ａ）のテンプレート画像５１では、物体５１ａの奥行き情報５２ａの値が「１」であって、物体５１ｂの奥行き情報５２ｂの値が「３」であり、それらの値が大きい程、奥行きの距離が長くなる。奥行き情報５２ｂの値「３」は、奥行き情報５２ａの値「１」よりも３倍の奥行きの距離を示している。このため、図１２（ｂ）の左右のテンプレート画像５３，５４では、物体５１ａの移動距離が物体５１ｂの移動距離よりも長くなっている。
【００４７】
また、テンプレート画像５１は、階層付き画像データ、又はベクトルグラフィックスデータによって示されることが好ましい。これらのデータは、テンプレート画像５１の拡大縮小にかかわらず、高品位のテンプレート画像の再生を可能にする。また、データ量が少なく、奥行き付きテンプレート記憶部４１の容量の節減を果たすことができる。
【００４８】
次に、画像合成部１３は、左右の投影画像を投影画像生成部１１から受け取り、左右のテンプレート画像をテンプレート画像生成部４２から受け取り、左の投影画像及び左のテンプレート画像を合成して、左の合成画像を形成すると共に、右の投影画像及び右のテンプレート画像を合成して、右の合成画像を形成する（ステップＳ２０３）。
【００４９】
こうして左右の合成画像を形成し、３次元ディスプレイを用いて、左右の合成画像を左右の目で略同時に見ると、修整もしくは補足された被写体を立体的に見ることができる。
【００５０】
被写体の投影画像及びテンプレート画像は、第１実施形態と同様に、多様なものを想定することができる。
【００５１】
尚、本発明は、画像処理方法を実現するためのプログラムをＣＰＵ等のハードウェアあるいはコンピュータ等により実行することによりなされる。従って、本発明は、画像処理方法、その方法を実施するためのプログラム、及びそのプログラムを記憶した記録媒体を包含する。
【００５２】
プログラムは、磁気ディスク、光ディスク、コンピュータに内蔵のハードディスク等の記録媒体に記録されたり、通信ネットワークを通じて送受される。コンピュータやマイクロプロセッサ内蔵の端末装置等は、プログラムを記録媒体から読み出したり、プログラムをインターネット等の通信ネットワークを通じて受信し、このプログラムを実行して、本発明を実施することができる。プログラムをインターネット等の通信ネットワークを通じて受信する場合は、ダウンロード用のプログラムが必要になる。このダウンロード用のプログラムも、磁気ディスク、光ディスク、コンピュータに内蔵のハードディスク等の記録媒体に記録されたり、通信ネットワークを通じて送受される。また、これらのプログラムをインターネットを通じて定期的に端末装置にダウンロードすることもできる。
【００５３】
更に、コンピュータ等の端末装置及びネットワーク等からなるシステムにおいては、複数の処理をコンピュータ等の端末装置に分散して行い得る。従って、プログラムは、コンピュータ等の単一の端末装置だけではなく、システムにも適用し得る。このシステムは、テレビジョン、ビデオカメラ、パーソナルコンピュータ、ＣＲＴ、液晶ディスプレイ、プリンタ、サーバ等をネットワークを通じて接続したものである。ネットワークとしては、インターネット、ＬＡＮ等がある。
【００５４】
記録媒体としては、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭといった半導体記憶素子、ＩＣカード、ハードディスク、フレキシブルディスク、あるいはＭＯ、ＣＤ、ＭＤ、ＤＶＤ等の光ディスク、磁気テープ等を挙げることができ、プログラムを記録することが可能であれば他の種類の記録媒体であっても良い。
【図面の簡単な説明】
【００５５】
【図１】本発明の画像処理方法を適用した画像処理装置の第１実施形態を示すブロック図である。
【図２】図１の画像処理装置の処理過程を示すフローチャートである。
【図３】左右の投影画像の生成方法を示す図である。
【図４】（ａ）は左右の投影画像を生成するための透視投影法を示す図であり、（ｂ）は左右の投影画像を生成するための平行投影法を示す図である。
【図５】左右の投影画像を生成するための平行投影法を更に詳しく示す図である。
【図６】（ａ）、（ｂ）、及び（ｃ）は、左右のテンプレート画像、左右の投影画像、及び左右の合成画像の一例を示す図である。
【図７】（ａ）、（ｂ）、及び（ｃ）は、テンプレート画像、投影画像、及び合成画像の他の例を示す図である。
【図８】（ａ）、（ｂ）、及び（ｃ）は、テンプレート画像、投影画像、及び合成画像の別の例を示す図である。
【図９】（ａ）、（ｂ）、及び（ｃ）は、テンプレート画像、投影画像、及び合成画像の更に他の例を示す図である。
【図１０】本発明の画像処理方法を適用した画像処理装置の第２実施形態を示すブロック図である。
【図１１】図１０の画像処理装置の処理過程を示すフローチャートである。
【図１２】（ａ）はテンプレート画像及び奥行き情報を例示する図であり、（ｂ）は左右のテンプレート画像を例示する図である。
【符号の説明】
【００５６】
１０，１０Ａ  画像処理装置
１１  投影画像生成部
１２  テンプレート画像記憶部
１３  画像合成部
２１  被写体
４１  奥行き付きテンプレート記憶部
４２  テンプレート画像生成部
【図１】
2008210405.tif 000003
【図２】
2008210405.tif 000004
【図３】
2008210405.tif 000005
【図４】
2008210405.tif 000006
【図５】
2008210405.tif 000007
【図７】
2008210405.tif 000008
【図８】
2008210405.tif 000009
【図９】
2008210405.tif 000010
【図１０】
2008210405.tif 000011
【図１１】
2008210405.tif 000012
【図１２】
2008210405.tif 000013
【図６】
2008210405.tif 000014