(57)【特許請求の範囲】
【請求項１】
被写体画像を取得する画像取得手段と、
前記画像取得手段により取得された被写体画像を出力画像領域に配置することにより前記出力画像領域上での前記被写体像の位置と大きさが確認可能な出力確認用画像を表示手段に表示させる表示制御手段と、
前記表示手段に表示された出力確認用画像に含まれる被写体画像に対するユーザによる被写体領域の指示選択に応じて前記被写体画像から被写体領域を取得する領域取得手段と、
前記被写体領域から被写体の奥行き分布を表す視差マップを抽出する視差マップ抽出手段と、
前記抽出された視差マップを前記出力確認用画像に重ねて前記表示手段に表示する視差マップ表示制御手段と、
前記被写体画像および前記視差マップを基に、複数の視点からの前記被写体に対する多視点画像を生成する多視点画像生成手段と、
前記多視点画像の各画像における同一座標の画素を、前記視点の配列に応じた隣接画素となるように配列して３次元画像を合成する画像合成手段と、
前記視差マップが重ねて表示された出力確認用画像に対応する前記合成された３次元画像を前記出力画像領域に配置して出力する出力手段とを備え、
前記出力された３次元画像に周期的構造を有する光学部材を重ね合わせることにより、
前記被写体の立体像が観察されることを特徴とする立体画像形成システム。
【請求項２】
前記被写体領域は、前記被写体画像の各画素に対応し、被写体であるか背景であるかを表す二次元配列のマスクデータからなり、
前記視差マップ抽出手段は、前記マスクデータを二次元フィルタ処理によりぼかすことで、前記視差マップを抽出することを特徴とする請求項１記載の立体画像形成システム。
【請求項３】
前記視差マップ抽出手段は、前記被写体領域から被写体の３次元形状を推定し、該推定された３次元形状を基に前記視差マップを抽出することを特徴とする請求項１記載の立体画像形成システム。
【請求項４】
前記出力手段は、印刷手段であることを特徴とする請求項１記載の立体画像形成システム。
【請求項５】
前記光学部材は、レンチキュラ板であることを特徴とする請求項１記載の立体画像形成システム。
【請求項６】
前記画像取得手段により取得した被写体画像をデジタル画像データとして記録する画像記録手段を備え、
前記画像記録手段は、ネットワークを介して前記デジタル画像データを転送することを特徴とする請求項１記載の立体画像形成システム。
【請求項７】
被写体画像を取得する工程と、
前記取得された被写体画像を出力画像領域に配置することにより前記出力画像領域上での前記被写体像の位置と大きさが確認可能な出力確認用画像を表示手段に表示させる表示制御工程と、
前記表示手段に表示された出力確認用画像に含まれる被写体画像に対するユーザによる被写体領域の指示選択に応じて前記被写体画像から被写体領域を取得する工程と、
前記被写体領域から被写体の奥行き分布を表す視差マップを抽出する工程と、
前記抽出された視差マップを前記出力確認用画像に重ねて前記表示手段に表示する工程と、
前記被写体画像および前記視差マップを基に、複数の視点からの前記被写体に対する多視点画像を生成する工程と、
前記多視点画像の各画像における同一座標の画素を、前記視点の配列に応じた隣接画素となるように配列して３次元画像を合成する工程と、
前記視差マップが重ねて表示された出力確認用画像に対応する前記合成された３次元画像を前記出力画像領域に配置して出力する工程とを有し、
前記出力された３次元画像に周期的構造を有する光学部材を重ね合わせることにより、
前記被写体の立体像が観察されることを特徴とする立体画像形成方法。
【請求項８】
前記被写体領域は、前記被写体画像の各画素に対応し、被写体であるか背景であるかを表す二次元配列のマスクデータからなり、
前記視差マップを抽出する工程では、前記マスクデータを二次元フィルタ処理によりぼかすことで、前記視差マップを抽出することを特徴とする請求項７記載の立体画像形成方法。
【請求項９】
前記視差マップを抽出する工程では、前記被写体領域から被写体の３次元形状を推定し、該推定された３次元形状を基に前記視差マップを抽出することを特徴とする請求項７記載の立体画像形成方法。
【請求項１０】
前記出力する工程では、印刷することを特徴とする請求項７記載の立体画像形成方法。
【請求項１１】
前記光学部材は、レンチキュラ板であることを特徴とする請求項７記載の立体画像形成方法。
【請求項１２】
前記取得した被写体画像をデジタル画像データとして記録する工程と、
前記記録されたデジタル画像データをネットワークを介して転送する工程とを有することを特徴とする請求項７記載の立体画像形成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ等により取得した画像から３次元画像を生成し、レンチキュラ板等の光学部材を、生成した３次元画像に重ね合わせることにより、立体像が観察される立体画像形成システムおよび立体画像形成方法に関する。
【０００２】
【従来の技術】
従来、立体画像を形成する方法として、インテグラルフォトグラフィやレンチキュラ板３次元画像が知られている（大越孝敬著：「三次元画像工学」，産業図書，１９７２発行参照）。
【０００３】
このような従来の立体画像の形成方法は、写真的方法によるものである。例えば、レンチキュラ板３次元画像では、被写体を多くの視点から撮影した画像を取得し、これらの画像をレンチキュラ板を介して１つの写真乾板に焼き付けるものであり、以下に示す▲１▼〜▲３▼の問題点があった。
【０００４】
▲１▼  被写体の多地点からの画像を必要とするため、多眼式カメラなどの撮影装置が大掛かりなものとなっていた。
【０００５】
▲２▼  ▲１▼と同様、立体画像形成に関しても、焼き付け装置が大掛かりなものとなっていた。
【０００６】
▲３▼  上記装置を用いても、撮影や焼付けに調整や熟練を要していた。
【０００７】
このような問題点を克服するため、特開平５−２１０１８１号公報では、複数の視点の画像からより多くの視点の画像を補間により生成し、それらの画像を電子的な処理を用いて立体画像を形成する方法が示されている。すなわち、画像の電子的補間により、撮影の必要な画像の視点数を少なくした。また、近年のデジタル写真術を利用し、立体画像形成を簡便なものにした。
【０００８】
しかしながら、複数の画像を必要とする以上、撮影は困難であり、動被写体を撮影できないという問題があった。
【０００９】
このような撮影における問題を解消するため、本願出願人は、先に、カメラに立体写真アダプタを装着し、左右２つの視点のステレオ画像を撮影し、ステレオ画像から電子的補間により多視点画像を取得し、立体画像を形成する方法を提案した。しかし、この場合、通常の撮影では、必要としない立体写真アダプタが必須であった。したがって、理想的には、１枚の画像から多視点画像を取得し、立体画像を形成することが望ましい。
【００１０】
これに対し、特開平８−１４０１１６号公報では、撮影時に画像中の複数のブロック毎に測距を行い、画像とともに距離値を記録し、その距離値を基に多視点画像を取得し、立体画像を取得する方法が示されている。
【００１１】
また、１枚の画像から多視点画像を取得する方法として、例えば、画像中の背景から被写体領域を切り出し、背景に対して切り出した被写体領域がレンチキュラ板を重ね合わせて見たときに手前に飛び出して見えるように、多視点画像生成時に背景画像と被写体画像を所定の視差分ずらして合成する方法が知られている。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記従来の特開平８−１４０１１６号公報に記載の方法では、撮影時に複数のブロックの距離値を得るための特殊な装置が必要であり、また、距離値を画像データとともに記録しておく必要があるので、通常撮影される画像から立体画像を形成することはできなかった。
【００１３】
また、上記従来の１枚の画像から多視点画像を取得する方法では、取得した多視点画像から合成した３次元画像をレンチキュラ板を通して観察すると、背景に対して切り出した被写体が衝立状のものとなり、立体感が不自然になってしまうという問題があった。また、被写体領域を切り出すことは、手作業を要し、簡単に被写体領域を指定したいという要望もあった。
【００１４】
そこで、本発明は、特殊な撮影を行わず、１枚の画像から多視点画像を取得し、多視点画像を合成して立体画像として印刷し、レンチキュラ板などの光学部材を重ね合わせることにより、自然な立体感のある被写体の立体像を簡単な操作で観察できる立体画像形成システムおよび立体画像形成方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために、本発明の立体画像形成システムは、被写体画像を取得する画像取得手段と、前記画像取得手段により取得された被写体画像を出力画像領域に配置することにより前記出力画像領域上での前記被写体像の位置と大きさが確認可能な出力確認用画像を表示手段に表示させる表示制御手段と、前記表示手段に表示された出力確認用画像に含まれる被写体画像に対するユーザによる被写体領域の指示選択に応じて前記被写体画像から被写体領域を取得する領域取得手段と、前記被写体領域から被写体の奥行き分布を表す視差マップを抽出する視差マップ抽出手段と、前記抽出された視差マップを前記出力確認用画像に重ねて前記表示手段に表示する視差マップ表示制御手段と、前記被写体画像および前記視差マップを基に、複数の視点からの前記被写体に対する多視点画像を生成する多視点画像生成手段と、前記多視点画像の各画像における同一座標の画素を、前記視点の配列に応じた隣接画素となるように配列して３次元画像を合成する画像合成手段と、前記視差マップが重ねて表示された出力確認用画像に対応する前記合成された３次元画像を前記出力画像領域に配置して出力する出力手段とを備え、前記出力された３次元画像に周期的構造を有する光学部材を重ね合わせることにより、前記被写体の立体像が観察されることを特徴とする。
【００１７】
本発明の立体画像形成方法は、被写体画像を取得する工程と、前記取得された被写体画像を出力画像領域に配置することにより前記出力画像領域上での前記被写体像の位置と大きさが確認可能な出力確認用画像を表示手段に表示させる表示制御工程と、前記表示手段に表示された出力確認用画像に含まれる被写体画像に対するユーザによる被写体領域の指示選択に応じて前記被写体画像から被写体領域を取得する工程と、前記被写体領域から被写体の奥行き分布を表す視差マップを抽出する工程と、前記抽出された視差マップを前記出力確認用画像に重ねて前記表示手段に表示する工程と、前記被写体画像および前記視差マップを基に、複数の視点からの前記被写体に対する多視点画像を生成する工程と、前記多視点画像の各画像における同一座標の画素を、前記視点の配列に応じた隣接画素となるように配列して３次元画像を合成する工程と、前記視差マップが重ねて表示された出力確認用画像に対応する前記合成された３次元画像を前記出力画像領域に配置して出力する工程とを有し、前記出力された３次元画像に周期的構造を有する光学部材を重ね合わせることにより、前記被写体の立体像が観察されることを特徴とする。
【００１９】
【発明の実施の形態】
本発明の立体画像形成システムおよび立体画像形成方法の実施の形態について図面を参照しながら説明する。
【００２０】
［第１の実施形態］
図１は第１の実施形態における立体画像形成システムの構成を示す図である。図において、１は被写体である。２はデジタルカメラである。３はマウス、キーボード等の指示選択部であり、ユーザインターフェース機能を有する。４は画像処理部である。５は画像および処理情報を表示するＣＲＴディスプレイ等の表示部である。
【００２１】
上記指示選択部３、画像処理部４および表示部５は、例えば、汎用のＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）から構成される。この汎用のＰＣは、周知のＣＰＵ、ＲＯＭ、ＲＡＭ等の他、記録媒体としてハードディスクを内蔵する。６は画像処理部４に接続され、画像処理部４で生成された画像データ等を印刷する印刷部である。カメラ２、画像処理部４および印刷部６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）を介して接続される。
【００２２】
上記構成を有する立体画像形成システムでは、まず、カメラ２で撮影された画像を画像処理部４に取り込む。カメラ２で撮影・記録された画像データは、例えば、カメラ２のドライバソフトウェアを画像処理部４であるＰＣ内で起動し、所定の操作を行うことで、ＵＳＢインターフェースを介してＰＣ内のハードディスクに一旦記録される。
【００２３】
例えば、撮影された画像データは、ＣＦ（Ｃｏｍｐａｃｔ  Ｆｌａｓｈ、登録商標）カードに記録されるので、画像処理部４にＰＣカードスロットがある場合、カメラ２と画像処理部４とを接続しないでも、一旦、カメラ２からＣＦカードを外し、ＣＦカードをＰＣカードスロットに装着可能なＣＦカードアダプタに装着し、それをＰＣカードスロットに装着することで、ＣＦカードに記録された画像データをＰＣのハードディスクに記録された画像データと同等に扱うことができる。
【００２４】
このようにして画像処理部４に取り込まれた画像に対し、画像処理部４は被写体の多視点画像を生成し、３次元画像を合成して印刷部６に出力する。この一連の処理は、例えば、ＰＣのアプリケーションソフトウェアとして実行される。
【００２５】
図２は立体画像形成システムの画像処理部４における３次元画像形成処理手順を示すフローチャートである。この処理プログラムは、ＰＣ本体に相当する画像処理部４内のＲＯＭ（図示せず）に格納されており、同じく画像処理部４内のＣＰＵ（図示せず）によって実行される。
【００２６】
まず、カメラで撮影した画像を、この処理プログラムで扱えるデータに変換するため、画像処理部４であるＰＣ本体のメモリに取り込む（ステップＳ１）。このとき、画像データのファイル名等の指示は、指示選択部３により行われ、指定されたファイルをプログラムに読み込む。また、画像データをＲＧＢからなる３チャンネルの２次元配列データやビットマップに変換しておく。特に、入力する画像データがＪＰＥＧ画像フォーマットのような圧縮画像データである場合、そのままの圧縮画像データに対して処理することは困難であるので、ＪＰＥＧ画像を解凍処理するような画像データの変換を行うことが必要である。
【００２７】
ステップＳ１で取り込んだ画像データを表示部５に表示する（ステップＳ２）。このとき、所定の用紙に画像データを印刷する際の大きさ、位置などを確認できるように、用紙を表す無地の矩形領域中に画像が表示される。図３は画像データの表示例を示す図である。図中、Ｒは用紙を表す無地の矩形領域である。Ｉは取り込んだ画像である。印刷する用紙のサイズ、画像データの１画素当たりの印刷サイズ（解像度）などのパラメータから予め用紙中の画像の大きさ、位置が計算される。ユーザは、指示選択部３により、画像の大きさ、位置および方向（紙面内での回転）を指定し、パラメータを変更すると、それに応じて、表示部５に表示される画像が更新される。
【００２８】
そして、被写体領域を取得する（ステップＳ３）。まず、ユーザが表示部５に表示された画像を見たときに、立体画像として手前に飛び出させたい被写体領域を指示選択部３により指定する。例えば、図３に示すように、背景の前に人物が立っているようなシーンでは、ユーザが人物の輪郭に沿って被写体領域を指定する。図４は図３の画像に対して被写体領域を指定した例を示す図である。図中、破線部分は、ユーザによって指定された被写体の輪郭である。被写体領域のデータを、例えば、指定した被写体領域では値１、背景では値０の画像データと同じサイズの２値からなる２次元データとして、メモリに記憶しておく。
【００２９】
この後、ステップＳ３で指定された被写体領域から視差マップを生成する（ステップＳ４）。視差マップは、画像データの２次元上の各画素に対応した被写体を２つの視点で見たときのずれ量を表すものである。２値の被写体領域データに所定のサイズの２次元平均値フィルタを作用させ、２次元実数配列データを生成し、視差マップとする。この平均値フィルタ処理により、指定した被写体の輪郭がぼけて、被写体が衝立状のものではなく、背景から徐々に飛び出してくるような効果が期待できる。
【００３０】
ここで、２次元平均値フィルタのサイズが大きいと、立体感がより滑らかになるが、ユーザが指定した被写体領域の輪郭がぼけ、形成される立体画像にユーザの意思が忠実に反映されなくなる。また、２次元平均値フィルタのサイズが小さいと、ユーザの意思はより忠実に反映されるが、被写体が衝立状のものに近づく。２次元平均値フィルタのサイズとしては、画像サイズの５〜１０％程度が望ましい。
【００３１】
また、ステップＳ１で取得した画像データのサイズが大きいと、フィルタ処理の計算量が大きくなるので、予め所定の倍率で被写体領域のデータを縮小してフィルタ処理を行い、その後、元のサイズに視差マップを拡大するようにしてもよい。
【００３２】
また、指定した被写体領域の輪郭から経験的に望ましい３次元形状を得る方法として、輪郭形状を多角形に置き換え、多角形の骨格を推定し、骨格を構成する各頂点の高さを多角形の境界からの距離に応じて決めることにより、３次元形状を擬似的に得る方法が知られている（”Ｔｅｄｄｙ：Ａ  Ｓｋｅｔｃｈｉｎｇ  Ｉｎｔｅｒｆａｃｅ  ｆｏｒ  ３Ｄ  Ｆｒｅｅｆｏｒｍ  Ｄｅｓｉｇｎ”，  Ｔ．Ｉｇａｒａｓｈｉ，  Ｓ．Ｍａｔｓｕｏｋａ，  Ｈ．Ｔａｎａｋａ，  ＳＩＧＧＲＡＰＨ９９  Ｃｏｎｆｅｒｅｎｃｅ  Ｐｒｏｃｅｅｄｉｎｇｓ  参照）。
【００３３】
この方法によれば、領域の幅に応じて、幅が広い部分には太い断面、狭い部分には細い断面を仮定した３次元形状が得られる。被写体領域から視差マップを得る方法として、上記方法を応用してもよい。すなわち、ステップＳ３で取得した被写体領域を輪郭形状を表すチェーンコード等の線図形データとして記憶しておき、最初に輪郭形状を多角形に近似する。近似した多角形データから上記方法で３次元形状を取得し、その３次元形状を所定の２つの視点で透視投影変換を行って各画素に対応した画素位置のずれ量として画像の視差マップを求める。尚、簡易には、求まった３次元形状の高さデータに比例するように視差量を決めてもよい。
【００３４】
この後、視差マップを画像データに重ね合わせて表示する（ステップＳ５）。視差マップのデータと画像データのＲＧＢ各成分の画素値の積を視差マップを表す画像データとして表示する。
【００３５】
本実施形態では、手前の視差は値０であり、奥側が値１であるので、手前ほど暗い画像が表示される。図５は図３および図４のデータから生成した視差マップの表示例を示す図である。ユーザは、表示された視差マップを見て、作成する立体画像の確認を行う。すなわち、ステップＳ５の表示例から所望の視差マップが得られているか否かを判断する（ステップＳ６）。所望の視差マップが得られていると判断した場合、指示選択部３で次の処理を行うように指示し、ステップＳ７の処理を行う。一方、ステップＳ６で視差マップを修正し直す必要があると判断した場合、指示選択部３で被写体領域の再取得を行うように指示し、前述したステップＳ３の処理に戻る。
【００３６】
この後、所望の視差マップを用いて多視点画像を生成する（ステップＳ７）。ここで、生成される画像は、３次元ストライプ画像を構成する多視点画像であり、それぞれの画像サイズは、画像数、印刷する解像度および大きさに依存する。印刷部６の解像度をＲＰｄｐｉ（ｄｏｔ  ｐｅｒ  ｉｎｃｈ）、印刷サイズをＸＰ×ＹＰｉｎｃｈとすると、印刷する画像のサイズは、Ｘ（＝ＲＰ×ＸＰ）×Ｙ（＝ＲＰ×ＹＰ）画素となる。画像数Ｎは、レンチキュラ板のピッチＲＬｉｎｃｈに合わせて、Ｎ＝ＲＰ×ＲＬとなるように決める。Ｎは整数であるので、実際には、ＲＰ×ＲＬに近い整数を画像数とする。
【００３７】
例えば、プリンタの解像度６００ｄｐｉ、レンチキュラ板のピッチ１／５０．８ｉｎｃｈの場合、Ｎ＝１２の像が望ましい。このとき、各視点の画像のサイズは、Ｈ（＝Ｘ／Ｎ）×Ｖ（＝Ｙ）となる。ここで、実際には、Ｈ、Ｖが整数になるように、印刷サイズを決める。例えば、Ｈ＝２００、Ｖ＝１８００画素である場合、Ｘ＝２４００、Ｙ＝１８００画素となり、印刷サイズは、４×３ｉｎｃｈとなる。
【００３８】
実際には、レンチキュラ板のピッチと画像周期を合わせる必要があるので、多少サイズが変わる。この処理は後述するステップＳ８で行われる。画像は、ステップＳ１で取得した画像を視差マップを用いて変形することにより生成される。
【００３９】
例えば、画像のサイズがｈ（＝８００）×ｖ（＝６００）画素である場合、水平方向の画素数Ｈ、垂直方向の画素数ｖに合わせて、２００×６００画素の画像を生成する。垂直方向の画素数が少ないのは、印刷に必要な各画像の垂直方向の画素数が水平方向の画素数に比べて著しく多く、視差を用いていきなり大きなサイズの画像を生成すると、処理時間がかかるためである。
【００４０】
生成する画像の視点位置を、所定の視差量が発生するように決定する。視差量が小さくなりすぎると、立体像を観察する際の立体感が損われる。逆に、視差量が大きくなりすぎると、隣接する画像とのクロストークにより観察する立体像が不鮮明になる。また、各視点が左画像の視点位置を中心として等間隔かつ対称に並ぶように、視点位置を決める。これは、画像シーケンスの視点位置が等間隔に並ぶことで、立体像を安定して観察するためであり、また、左画像の視点位置を中心として視点位置を対称に並べることで、画像の変形量を最小に抑え、被写体や撮影条件により視差マップに誤差が生じても、高品位な立体像を安定して得るためである。
【００４１】
ステップＳ４で求めた視差マップを基に、カメラ２から最も近い被写体位置に相当する視差と、最も遠い被写体位置に相当する視差とを求める。本実施形態では、視差マップは「０」から「１」の実数値となるので、最も近い被写体位置に相当する視差は「０」であり、最も遠い被写体位置に相当する視差は「１」である。そして、最も近い被写体が所定の観察位置において、観察時に印刷面から所定の距離だけ手前に観察され、最も遠い被写体が印刷面から所定の距離だけ奥に観察されるように、視点位置を決める。
【００４２】
このとき、実際に画像生成に用いるパラメータは、左右ステレオ画像対の視差に対する各画像の比率ｒ、遠近の視差調整量ｓｈであり、視点位置に対応する。例えば、比率ｒ＝０の場合、左画像そのものを表し、比率ｒ＝１の場合、右画像の視点位置での画像を表す。尚、視差マップに誤差がある場合、最近被写体の視差および最遠被写体の視差にも誤差が生じる場合があるので、画像生成に用いるパラメータを、視差マップ全体の統計的な分布から誤差に影響しないような方法で求めるようにしてもよい。
【００４３】
以下、各視点画像を生成する方法を示す。まず、新規視点画像の生成を左画像の画素を用いてフォワードマッピングにより生成する。すなわち、まず、左画像の各画素をマッピングする新規視点画像中の位置（ＸN，ＹN）を、左画像の画素位置（ｘ，ｙ）における視差ｄ、視点位置を表す比率ｒ、左画像のサイズと新規視点画像のサイズから数式（１）により求める。
【００４４】
ＸN  ＝  Ｈ／ｈ×（ｘ＋ｒ×（ｄ−ｓｈ）），ＹN  ＝  ｙ  …  （１）
左画像の画素位置（ｘ，ｙ）における画素を新規視点画像の（ＸN，ＹN）の位置にコピーする。この処理を左画像の全画素について繰り返す。つぎに、新規視点画像の画素のうち、左画像から画素が割り当てられなかった画素に対して穴埋め処理を行う。穴埋め処理では、求める画素から所定距離だけ離れた有効な画素を探索し、その画素値の距離をパラメータとした加重平均値を割り当てる。有効な画素がない場合、探索する範囲を広げて、探索を繰り返す。この処理で全画素有効な新規視点画像が生成される。この処理を視点数分繰り返し、多視点画像シーケンスとする。
【００４５】
そして、多視点画像シーケンスから３次元ストライプ画像を合成する（ステップＳ８）。このとき、多視点画像シーケンスの各画像の同一座標の画素を、画像の視点配列に従って隣接画素として配列するように、３次元画像を合成する。ｊ番目視点の画素値をＰｊｍｎ（但し、ｍ、ｎはそれぞれ水平、垂直方向の画素配列のインデックス）とする場合、ｊ番目の画像データは、次のような２次元配列として表される。
【００４６】
Ｐj00  Ｐj10  Ｐj20  Ｐj30  ………
Ｐj01  Ｐj11  Ｐj21  Ｐj31  ………
Ｐj02  Ｐj12  Ｐj22  Ｐj32  ………
………
合成は、それぞれの視点の画像を垂直方向に１ライン毎に短冊状に分解し、視点位置の逆順に視点数分だけ合成する。したがって、合成後の画像は、以下に示すようなストライプ画像となる。
【００４７】
ＰN00…Ｐ200Ｐ100  ＰN10…Ｐ210Ｐ110  ＰN20…Ｐ220Ｐ120  ………
ＰN01…Ｐ201Ｐ101  ＰN11…Ｐ211Ｐ111  ＰN21…Ｐ221Ｐ121  ………
ＰN02…Ｐ202Ｐ102  ＰN12…Ｐ212Ｐ112  ＰN22…Ｐ222Ｐ122  ………
………
但し、視点１が左端、Ｎが右端の画像を表す。ここで、視点位置の配列順を逆にするのは、レンチキュラ板により観察する際、レンチキュラの１ピッチ内で画像が左右逆に観察されるためである。この３次元ストライプ画像は、元の多視点画像がＨ×ｖのサイズのＮ視点画像である場合、Ｘ（＝Ｎ×Ｈ）×ｖのサイズとなる。
【００４８】
そして、この３次元ストライプ画像に対し、レンチキュラ板とのピッチを合わせる。１ピッチにＲＰｄｐｉの画素がＮ画素分あるので、１ピッチはＮ／ＲＰｉｎｃｈとなるが、レンチキュラ板のピッチがＲＬｉｎｃｈであるので、画像を水平方向にＲＬ×ＲＰ／Ｎ倍してピッチを合わせる。また、このとき、垂直方向の画素数は、（ＲＬ×ＲＰ／Ｎ）×Ｙ画素とする必要があるので、垂直方向に（ＲＬ×ＲＰ×Ｙ）／（Ｎ×ｖ）倍して倍率を合わせる。したがって、３次元ストライプ画像に対し、上記水平、垂直方向に変倍処理を行い、印刷用の画像データとする。この変倍の処理は、例えば、双線形補間などにより行う。このようにして合成した３次元ストライプ画像は、ＰＣ内のハードディスクに保存可能である。
【００４９】
最後に、ステップＳ８で得られた画像の印刷を行い（ステップＳ９）、この処理を終了する。
【００５０】
以上示したステップＳ１〜Ｓ９の処理により、印刷された画像に対してレンチキュラ板を重ね合わせると、ユーザの意思を反映した、自然な立体像が観察される。このように、本実施形態では、特殊な撮影を行わないで、１枚の画像から立体画像の印刷を簡単な操作で行うことができる。
【００５１】
［第２の実施形態］
図６は第２の実施形態における立体画像形成システムの構成を示す図である。前記第１の実施形態と同一の構成要素については、同一の符号を付してその説明を省略する。図において、７は形状モデル記憶部であり、複数の標準的な３次元形状をワイヤフレームモデル、サーフェスモデルなどのデータとして記憶している。
【００５２】
図７は立体画像形成システムの画像処理部４における３次元画像形成処理手順を示すフローチャートである。この処理プログラムは、ＰＣ本体に相当する画像処理部４内のＲＯＭ（図示せず）に格納されており、同じく画像処理部４内のＣＰＵ（図示せず）によって実行される。前記第１の実施形態と同一のステップ処理については、同一のステップ番号を付してその説明を省略する。
【００５３】
第２の実施形態では、前記第１の実施形態のステップＳ３における被写体領域を取得する処理の代わりに、形状モデルを選択・配置する処理（ステップＳ３Ａ）を行う。
【００５４】
まず、前記第１の実施形態と同様、ステップＳ１、Ｓ２の処理により、ユーザの指示に応じて、取得した画像が表示部５に表示される。
【００５５】
この後、ユーザの指示に応じて、形状モデルの選択および配置を行う（ステップＳ３Ａ）。この処理では、３次元形状モデルを任意の方向および視点から描画し、画像に重畳して表示する機能、および３次元形状モデルを変形する機能が実行される。
【００５６】
すなわち、表示部５に形状モデル記憶部７に記憶されている形状の一覧が表示される。ユーザは、一覧の中から被写体の形状に最も適合すると思われる形状モデルを指示選択部３により選択する。例えば、前述した図３の画像に対し、被写体の形状モデルとして、図８に示す形状モデルをユーザが選択した場合を示す。
図８は被写体の形状モデルを示す図である。
【００５７】
選択された形状モデルが標準的な方向および視点位置で描画され、画像中に重畳して表示部５に表示される。ユーザは、指示選択部３により、画像中に表示された形状モデルを自由に移動、回転および変形させることができ、画像中の被写体領域に重ね合わせる操作を行い、被写体形状データを一時的に記憶する。図９は選択された形状モデルを画像に合わせる様子を示す図である。
【００５８】
ステップＳ３Ａで取得した被写体形状データから視差マップを生成する（ステップＳ４）。３次元形状から視差マップを求める場合、前記第１の実施形態のステップＳ４に示した方法を用いる。すなわち、３次元形状を所定の２つの視点で透視投影変換を行って画像の視差マップを求める。尚、簡易には、求まった３次元形状の高さデータに比例するように視差量を決めてもよい。
【００５９】
そして、求めた視差マップを表示部５に表示する（ステップＳ５）。ユーザは、この表示された視差マップが所望のものであるか否かを判断する（ステップＳ６）。視差マップを修正する必要があると判断した場合、ステップＳ３Ａに戻って同様の処理を繰り返す。このとき、画像に重畳して表示される形状データは、ステップＳ３Ａで一時的に記憶された形状データである。一方、ステップＳ６で所望の視差マップが得られた場合、前記第１の実施形態と同様、ステップＳ７〜Ｓ９の処理を行い、３次元ストライプ画像を印刷する。
【００６０】
このように、第２の実施形態では、被写体領域を切り出す代わりに、形状モデルを用いているので、被写体領域を切り出すことなく、１枚の画像から自然な立体画像を形成できる。さらに、より被写体に適合した形状モデルを用いることにより、より自然な立体画像を形成できる。
【００６１】
以上が本発明の実施の形態の説明であるが、本発明は、これら実施の形態の構成に限られるものではなく、特許請求の範囲で示した機能、または実施の形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【００６２】
例えば、上記実施形態では、画像処理部内のハードディスクにカメラで撮影した画像を一旦記録するようにしたが、例えば、画像記録用として別のＰＣを用意しておき、これにカメラで撮影した画像を一旦記録した後、ネットワークを介して画像処理部が画像データを読み込めるようにしてもよい。この場合、さらに、あるユーザＡが遠隔地でカメラ撮影を行い、その場でカメラの画像を携帯型ＰＣに一旦記録した後、ネットワークに接続してデジタル画像データを転送する。別のユーザＢは、別の地点で印刷部が接続された画像処理部であるＰＣをネットワークに接続し、デジタル画像データを直接、処理プログラムに取り込み、３次元画像を印刷し、その立体像を観察してもよい。また、ユーザＡがリモートで画像処理部を操作することにより、遠隔地から立体画像を即時に取得できるようにしてもよい。
【００６３】
また、上記実施形態では、生成した３次元ストライプ画像をそのまま印刷していたが、フォトフレーム、クリスマスカード、アニメキャラクタ等の画像テンプレートや文字テンプレートを３次元ストライプ画像に合成し、合成したデータを印刷するようにしてもよい。
【００６４】
さらに、上記実施形態では、レンチキュラ板３次元画像の方式を用いた立体画像形成システムについて示したが、本発明は、この方式に限らず、インテグラルフォトグラフィやバリア方式を用いた立体画像形成システムにも適用できる。また、立体画像の最終出力をプリンタ出力としての印刷である場合を示したが、これに限らず、液晶ディスプレイ等の表示部にレンチキュラ板が取り付けられた、いわゆる眼鏡なしディスプレイへの最終出力であってもよく、立体画像の表示にも適用できる。
【００６５】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードをシステムに供給することによって達成される場合、プログラムコード自体が本発明の新規な機能を実現することになり、そのプログラム自体およびそのプログラムを記憶した記憶媒体は本発明を構成することになる。
【００６６】
上記実施形態では、図２、図７のフローチャートに示すプログラムコードは記憶媒体に格納されている。プログラムコードを供給する記憶媒体としては、ＲＯＭ、フレキシブルディスク、不揮発性のメモリカードなどを用いることができる。
【００６７】
【発明の効果】
本発明によれば、特殊な撮影を行わず、１枚の画像から多視点画像を取得し、多視点画像を合成して立体画像として印刷し、レンチキュラ板などの光学部材を重ね合わせることにより、被写体の立体像を観察できる。また、背景に対して被写体が衝立状にならない、自然な立体感のある立体画像を得ることができる。さらに、簡単な操作で立体画像を得ることができる。
【図面の簡単な説明】
【図１】第１の実施形態における立体画像形成システムの構成を示す図である。
【図２】立体画像形成システムの画像処理部４における３次元画像形成処理手順を示すフローチャートである。
【図３】画像データの表示例を示す図である。
【図４】図３の画像に対して被写体領域を指定した例を示す図である。
【図５】図３および図４のデータから生成した視差マップの表示例を示す図である。
【図６】第２の実施形態における立体画像形成システムの構成を示す図である。
【図７】立体画像形成システムの画像処理部４における３次元画像形成処理手順を示すフローチャートである。
【図８】被写体の形状モデルを示す図である。
【図９】選択された形状モデルを画像に合わせる様子を示す図である。
【符号の説明】
１  被写体
２  カメラ
３  指示選択部
４  画像処理部
５  表示部
７  形状モデル記憶部
【図１】
0004708619.tif 000002
【図２】
0004708619.tif 000003
【図３】
0004708619.tif 000004
【図４】
0004708619.tif 000005
【図５】
0004708619.tif 000006
【図６】
0004708619.tif 000007
【図７】
0004708619.tif 000008
【図８】
0004708619.tif 000009
【図９】
0004708619.tif 000010