(57)【要約】【課題】３次元画像にテキスト等の付加情報を合成して表示する際、視点が移動しても常に連続的に視点に正対させた状態で付加情報を表示することができる画像形成装置を提供する。【解決手段】この画像形成装置は、少なくとも右目用と左目用の一対の２次元画像情報からなる３次元画像情報を入力する３次元画像入力手段４００と、付加情報を入力する付加情報入力手段と４０１、入力した３次元画像情報と付加情報を合成する合成手段４０２と、合成手段４０２により合成した３次元画像情報を３次元表示する表示手段４０３と、を有し、合成手段４０２は、右目用または左目用のいずれか一方の２次元画像情報と入力した付加情報を合成し、表示手段４０３は、付加情報が合成された一方の２次元画像情報と付加情報が合成されていない他方の２次元画像からなる３次元画像情報を３次元表示する。【選択図】図４
2015119360.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも右目用と左目用の一対の２次元画像情報からなる３次元画像情報を入力する３次元画像入力手段と、
付加情報を入力する付加情報入力手段と、
前記３次元画像入力手段により入力した前記３次元画像情報と前記付加情報入力手段により入力した前記付加情報を合成する合成手段と、
前記合成手段により合成した前記３次元画像情報を３次元表示する表示手段と、
を有し、
前記合成手段は、前記右目用または前記左目用のいずれか一方の２次元画像情報と前記入力した付加情報を合成し、前記表示手段は、前記付加情報が合成された前記一方の２次元画像情報と前記付加情報が合成されていない他方の２次元画像からなる３次元画像情報を３次元表示する
ことを特徴とする画像処理装置。
【請求項２】
前記合成手段は、所定の時間経過後、前記他方の２次元画像情報と前記付加情報を合成し、前記表示手段は、前記付加情報が合成された前記他方の２次元画像情報と、前記付加情報が合成されていない前記一方の２次元画像情報からなる３次元画像情報を３次元表示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、前記付加情報を前記右目用または前記左目用のいずれに合成する場合であっても、前記表示手段により３次元表示する際に前記付加情報が同じ位置に表示されるように合成する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記３次元画像入力手段は、被写体に対して複数の視点における複数の３次元画像情報を入力し、前記合成手段は、前記複数の３次元画像情報に前記付加情報を合成し、前記表示手段は、前記複数の視点に応じた多視点の前記３次元画像情報を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記合成手段は、前記複数の視点の内、視点に応じて異なる付加情報を、前記複数の３次元画像情報の内、前記視点に応じた３次元画像情報に合成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記２次元画像情報および前記付加情報は、それぞれ画素情報を含み、
前記合成手段は、前記付加情報を合成する位置の前記２次元画像の画素情報を前記付加情報の画素情報の画素情報に置き換える
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
少なくとも右目用と左目用の一対の２次元画像情報からなる３次元画像情報を入力する３次元画像入力工程と、
付加情報を入力する付加情報入力工程と、
前記３次元画像入力工程において入力した前記３次元画像情報と前記付加情報入力工程において入力した前記付加情報を合成する合成工程と、
前記合成工程において合成した前記３次元画像情報を３次元表示する表示工程と、
を有し、
前記合成工程において、前記右目用または前記左目用のいずれか一方の２次元画像情報と前記入力した付加情報を合成し、前記表示工程において、前記付加情報が合成された前記一方の２次元画像情報と他方の２次元画像からなる３次元画像情報を３次元表示する
ことを特徴とする画像処理方法。
【請求項８】
請求項１〜６のいずれか１項に記載の手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関し、特に、３次元表示情報に付加情報を加えて表示するための画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、３次元画像情報にテキスト等の情報を合成して、３次元画像とそのテキスト等の情報を同時に３次元表示することができる多視点３次元表示する画像処理装置が提案されている。特許文献１には、多視点３次元表示する医用画像にテキスト情報を合成して表示する際に視点に応じてテキスト情報を視点方向に３次元的に合成して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２-２３４４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、多視点３次元画像にテキスト等の付加情報を３次元空間で合成して表示するためには、視点ごとに３次元画像と付加情報の両者の３次元的干渉を避けて合成する必要がある。また、合成した多視点３次元画像は、視点によって付加情報が見難くなることがあり、視点毎に異なる位置に当該視点方向に向けて付加情報を合成しなければならず、処理が複雑で、専用ツールなどが必要になることがあり、手間が掛かる。
【０００５】
そこで本発明は、上記の課題に鑑みてなされたものであり、３次元画像にテキスト等の付加情報を合成して表示する際、視点が移動しても常に連続的に視点に正対させた状態で付加情報を表示することができる画像形成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像形成装置は、少なくとも右目用と左目用の一対の２次元画像情報からなる３次元画像情報を入力する３次元画像入力手段と、付加情報を入力する付加情報入力手段と、３次元画像入力手段により入力した３次元画像情報と付加情報入力手段により入力した付加情報を合成する合成手段と、合成手段により合成した３次元画像情報を３次元表示する表示手段と、を有し、合成手段は、右目用または左目用のいずれか一方の２次元画像情報と入力した付加情報を合成し、表示手段は、付加情報が合成された一方の２次元画像情報と付加情報が合成されていない他方の２次元画像からなる３次元画像情報を３次元表示することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複雑な処理を実施することなく、３次元画像情報に付加情報を合成して、不自然に干渉しない３次元画像を表示することができる画像形成装置を提供することができる。また、付加情報を合成した多視点３次元画像の表示の際、視点が移動しても常に連続的に視点に正対させて付加情報を表示することができる画像形成装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像処理装置の一例を示すブロック図である。
【図２】バララックスバリア方式の３次元表示装置を説明する図である。
【図３】視点と視差画像対との関係を示す図である。
【図４】画像処理装置の機能ブロックの一例を示す図である。
【図５】付加情報を合成した３次元画像情報を表示する処理のフローチャートである。
【図６】３次元画像と付加情報の一例を示す図である。
【図７】画像処理装置の機能ブロックの詳細例を示す図である。
【図８】付加情報を合成した３次元画像情報を表示する処理のフローチャートである。
【図９】付加情報を合成した３次元画像の一例を示す図である。
【図１０】レンチキュラー方式の３次元表示装置を説明する図である。
【図１１】視点と多視点画像との関係を示す図である。
【図１２】図１１に示す各視点における多視点画像の一例を示す図である。
【図１３】付加情報を合成した３次元画像情報を表示する処理のフローチャートである。
【図１４】付加情報を合成した３次元画像の一例を示す図である。
【図１５】画像処理装置の機能ブロックの詳細例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面などを参照して説明する。
【００１０】
実施例の説明に先立って、本明細書で用いる用語について簡単に説明する。まず、２次元画像とは、表示器やプリンターで記録表示する、例えば人や図形などを表す１画面の２次元の画像そのものを示している。３次元画像とは、３次元表示器で立体的に表示される、例えば人や図形など被写体を表す１画面の３次元の画像そのものを示している。
【００１１】
３次元画像は、異なる位置から撮影した複数の２次元画像で構成される。例えば、左目用と右目用の一対の２次元画像を既定の表示素子で表示し、その画像をそれぞれの目で見ることで得られる画像である。各２次元画像を生成する際に、被写体と撮影手段との相対位置を示す角度をそれぞれ視角と呼ぶ。多視点画像とは、略同一被写体から既定の視角で連続的に得た複数の２次元画像であり、それぞれの２次元画像の視角によって３次元画像として表示出来る多視点３次元画像や、いわゆるパノラマ画像と呼ばれる画像である。
【００１２】
また、画像オブジェクトとは、２次元画像中または３次元画像中に存在する画像の一部、あるいは特定の物体を指す。なお、ユーザー視点とは、表示器や被写体をユーザーが見る際の任意の基準からの角度であり、左目用と右目用の左右一対の２次元画像は両画像の視角の略中央にユーザー視点が有る場合に立体的に画像を見る事が出来る。
【００１３】
２次元画像情報または３次元画像情報は、上記の２次元画像または３次元画像を表示するための輝度信号や濃度信号等の信号源を示している。特に、３次元画像情報は、少なくとも左目用および右目用の一対の２次元画像情報から成り、該画像対を視差画像対と呼ぶ。また、視差画像対が被写体と成す角度、すなわち、両画像の視角の差を視差角と呼び、人の両目と表示面中央を結ぶ３角形の頂角に等しい。なお、多視点画像情報は、カメラで撮影した画像情報であってよく、あるいは、コンピュータグラフィックス等で人工的に制作されてもよい。
【００１４】
次に、本発明で用いる多視点３次元画像を表示するための３次元表示器について説明する。一般に、３次元表示器は、３次元画像情報として、その表示器の画面中に複数の２次元画像情報を同時に表示している。具体的には、３次元表示器に表示される２次元画像は、ユーザーが複数の視点において、左目および右目で見た２枚の２次元画像情報に基づいていて、対応する表示素子及びその周辺の光学部材は、それぞれの目で見せるための光学的な工夫が施されている。
【００１５】
（第１実施形態）
図１は、本実施形態に係る画像処理装置の一例を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置は、画像情報等をネットワーク回線１１０等からネットワーク制御部９０を介して取得する一般的なパーソナルコンピュータ（以下、単に「ＰＣ」と称する）１を備える。また、画像処理装置は、少なくとも、３次元画像情報に基づいた３次元画像を立体表示する３次元表示装置２を備える。
【００１６】
ＰＣ１は、ＣＰＵ１０、ＲＯＭ６０、ＲＡＭ７０、記憶手段８０、操作入力部５０、およびネットワーク制御部（ネットワーク）９０を備える。ＣＰＵ１０は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称であり、ＰＣ１の動作を制御する制御部である。ＲＯＭ６０は、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称であり、各種設定やプログラムを格納し、ＲＡＭ７０は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称であり、一時的な記憶手段として機能する記憶部である。記憶手段８０は、３次元画像情報や本実施形態に用いられるプログラム等を記憶し保持する。操作入力部５０は、マウスまたはタッチパッドなどの入力手段であり、ユーザーからＰＣ１への各種入力操作を可能にする。
【００１７】
３次元表示装置２は、３次元表示手段である３次元表示器３０、タッチパネル４０、および撮像手段２０を備える。３次元表示器３０は、３次元画像を表示する表示器である。また、タッチパネル４０は、３次元表示器の表示面に備えられ、表示した３次元画像に触れる（タッチする）ことで、画像や表示された入力キーを選択すると共に、操作入力部５０同様、ユーザーのＰＣへの各種の入力操作を可能にする。撮像手段２０は、一般的な表示器に通常備えられ、ユーザーの位置やユーザーの動作を認識するため、３次元表示器３０の近傍に設けられている。
【００１８】
本実施形態における３次元表示器３０は、バララックスバリア方式を用いており、その表示原理について、図２を参照して説明する。バララックスバリア方式の３次元表示器３０は、左右の眼の並び方向に１画素ずつ交互にストライプ状に配置された右目用表示画素と左目用表示画素をもつ液晶表示器３２を有する。また、３次元表示器３０は、表示画面の手前に左右の目から見た視線上に互いに他方の目用の表示画素からの光を遮る為の光学的なバリア３１を有する。
【００１９】
図２に示すように、右目からは左目用画素がバララックスバリア３１で光路が遮光され、逆に左目からは右目用画素がバララックスバリア３１で光路が遮光される。その結果、両目には両目の視点で撮影された異なる視点の画像が見えるため、人が通常に見ている画像に等しい立体画像として見ることができる。図２において、３次元表示器３０の左目用画素と右目用画素は、それぞれ図３に示すように、被写体２００を見る視点からそれぞれ一定の角度を有して撮影した左目画像と右目画像、すなわち、視差画像対の各画素情報を表示している。
【００２０】
図４は、本実施形態に係る画像処理装置の画像処理機能のブロックの一例を示す図である。本実施形態に係る画像処理の概要について図４を用いて説明する。３次元画像情報入力部（３次元画像入力手段）４００は、ネットワーク制御部９０等から少なくとも一対の２次元画像からなる３次元画像情報が入力され、必要に応じて記憶手段８０で記憶保持する。
【００２１】
付加情報入力部（付加情報入力手段）４０１は、先の３次元画像情報入力部４００と同様に、ネットワーク制御部９０から付加情報が入力される。付加情報は、直接キーボード５０等で作成した一般的なテキスト情報等であってもよく、３次元画像に重畳して表示すべき情報である。付加情報合成部（合成手段）４０２は、３次元画像情報入力部４００で入力した少なくとも一対の視差画像対の中から、一方の２次元画像を選択し、付加情報入力部４０１で入力した付加情報と合成処理を行う。
【００２２】
３次元画像表示部（表示手段）４０３は、付加情報合成部４０２で合成された視差画像対を後述するビデオＲＡＭ（以降ＶＲＡＭと記載）に書き込む。ＶＲＡＭに書き込まれた画像情報は、一定の周期で読み出され、３次元表示器３０で表示される。以上により、３次元画像情報と付加情報を同時に３次元表示することが可能になる。
【００２３】
なお、本実施形態では、付加情報を視差画像対の内の一方の２次元画像とのみ合成し、３次元表示するため、３次元表示器３０で表示される付加情報は、３次元的な表示はしない。すなわち、付加情報は、合成した一方の視差画像に重なって表示されるため、３次元画像情報入力部４００で入力した３次元画像オブジェクトと３次元的に不自然に干渉することは原理的に無い。また、付加情報は、合成した画像をユーザーが見る視線方向に常に正対して表示される。
【００２４】
図５は、付加情報を合成した３次元画像情報を表示する処理のフローチャートである。まず、図５（Ａ）を用いて、付加情報を合成した３次元画像情報を表示する処理の全体的な流れについて説明する。まず、ステップＳ５０１で、３次元画像情報入力部４００が３次元画像情報として少なくとも一対の視差画像情報を読み込む。次に、ステップＳ５０２で、付加情報入力部４０１がテキスト情報等の付加情報を読み込む。そして、ステップＳ５０３で、付加情報合成部４０２は、ステップＳ５０２で入力した付加情報をステップＳ５０１で入力した視差画像対の内の一方である右（左）目用画像情報と合成する。
【００２５】
次に、ステップＳ５０４で、３次元画像表示部４０３は、上記ステップＳ５０３で付加情報が合成された右（左）目用画像情報を、右（左）目用画像情報を表示するためのＶＲＡＭに書き込む。そして、ステップＳ５０５で、３次元画像表示部４０３は、付加情報を合成していない他方の左（右）目用画像情報を、そのまま左（右）目用画像情報を表示するためのＶＲＡＭに出力する。以上の処理により、付加情報が合成された右（左）目用画像情報と左（右）目用画像情報が図２で示す３次元表示器３０で表示される。このため、ユーザーは、ステップＳ５０１で入力した３次元画像にステップＳ５０２で入力した付加情報を同時に重ねて３次元的に見ることができる。
【００２６】
そして、ステップＳ５０６で、３次元画像の表示が終了したか否かを判定する。３次元画像の表示が終了していない場合（ＮＯ）、ステップＳ５０１に戻って、３次元画像の表示が終了するまで処理を続ける。そして、３次元画像の表示が終了した場合（ＹＥＳ）、処理を終了する。従って、付加情報および３次元画像情報は、随時ステップＳ５０２およびステップＳ５０１で読み込み、ステップＳ５０３で合成処理を行っているため、３次元画像およびそれに合成する付加情報は、共に動画的に表示する事も可能である。
【００２７】
次に、図５（Ｂ）は、図５（Ａ）の付加情報を合成するステップＳ５０３をより詳細に説明するフローチャートである。また、図６は、図５に示す処理における３次元画像情報と付加情報の一例を示す図である。図６において、付加情報６０３は、「非売品」という白色の文字とする。
【００２８】
まず、ステップＳ５１０で、例えば、図６に示す右目用画像６００中に付加情報６０３、すなわち、「非売品」の文字を合成する位置を決定する。付加情報の合成位置は、図示しないユーザーの指示で決定してもよく、もしくは、３次元画像にかかわらず、画面中に予め決定しておいた複数の位置から選択して決定してもよい。
【００２９】
ステップＳ５１１は、ステップＳ５１０で決めた付加情報合成位置に従って、右目用画像６００の各画素位置が、付加情報６０３を合成する画素位置か否かを判定する。ステップＳ５１１で、付加情報６０３を合成する画素位置である場合（ＹＥＳ）、ステップＳ５１２に進み、合成処理を実施する。すなわち、付加情報６０３は、右目用画像情報６００上の該当する画素位置の画像情報を合成する付加情報６０３の画素情報に入れ替える（置き換える）ことで合成される。従って、付加情報は、右目用画像情報６００に上書きされる。
【００３０】
一方、ステップＳ５１１で、付加情報６０３を合成する画素位置でない場合（ＮＯ）、ステップＳ５１３に進み、右目用画像情報６００の全ての画素位置に対する処理が終了するまでステップＳ５１１からステップＳ５１３の処理を繰り返す。付加情報６０３を合成した右目用画像６００を右目用画像６０４とする。
【００３１】
付加情報６０３が合成された右目用画像６０４を右目で、左目用画像６０１を左目で見る場合、３次元画像オブジェクトとしてのカメラが立体的に見え、付加情報６０３、すなわち、「非売品」の文字は、文字で隠れたカメラの一部の前面に位置して見られる。ただし、付加情報としての文字「非売品」は、右目用画像中にしか存在しないため、３次元的に表示される画像オブジェクトのカメラと３次元的な位置が決定されたものではない。すなわち、立体表示される３次元画像オブジェクトの形状や向きにかかわらず、また、奥行き方向で干渉することなく、常に、右目用画像オブジェクトの前面に正対して表示することができる。
【００３２】
次に、図７は、図４で概説した画像処理装置の機能ブロックの詳細例を示す図である。記憶手段８０に格納された３次元画像情報の右目用画像６００および左目用画像６０１と付加情報６０３は、３次元画像情報入力部４００および付加情報入力部４０１によって付加情報合成部４０２に入力される。そして、右目用または左目用のいずれか一方の画像に付加情報を合成する。合成した一方の目用の画像情報と、付加情報が合成されない他方の目用の画像情報をそれぞれ、右目用または左目用のＶＲＡＭ７０１および７０２に書き込む。
【００３３】
これにより、ドライバ７０３および７０４がそれぞれのＶＲＡＭに書き込まれた画像情報を一定の周期で読み出し右目用画像表示素子７０５および左目用画像表示素子７０６を駆動する。３次元画像表示部４０３は、左右の目用に表示手段を２組有する。右目用の表示手段は、右目用の画像を担当する右目用ＶＲＡＭ７０１と、ドライバ７０３と、右目用画像表示素子７０５と、を有する。左目用の表示手段は、左目用の画像を担当する左目用ＶＲＡＭ７０２と、ドライバ７０４と、左目用画像表示素子７０６と、を有する。
【００３４】
以上、本実施形態によれば、複雑な処理を実施することなく、３次元画像情報に付加情報を合成して、不自然に干渉しない３次元画像を表示することができる画像形成装置を提供することができる。
【００３５】
（第２実施形態）
次に、図８および図９を用いて、本発明の第２実施形態について説明する。第１実施形態では、付加情報を視差画像対の内の一方、すなわち、右または左目用画像に合成して表示する。これに対して、本実施形態では、所定の時間の経過後、付加情報を合成する左右いずれかの目用画像を入れ替えて合成する。具体的には、右目用画像に付加情報を合成して表示して、一定の時間経過後、左目用画像に付加情報を合成して、付加情報が合成された左右いずれかの目用の画像が入れ替わる。
【００３６】
上記の処理について図８を用いて説明する。なお、第１実施形態において説明した図５と同じ処理については同じ番号を付し、その説明を省略する。まず、ステップＳ５０３で付加情報を合成し、ステップＳ５０４およびステップＳ５０５で、付加情報を合成した右（左）目用画像情報と左（右）目用画像情報をそれぞれ対応するＶＲＡＭに出力する。そして、ステップＳ８００で、所定時間、上記の画像を表示した後、付加情報合成部４０２は、ステップＳ８０１で、ステップＳ５０２で入力した付加情報をステップＳ５０３で合成した視差画像とは逆の目用画像情報と合成する。
【００３７】
すなわち、ステップＳ８０１で、左（右）目用画像に付加情報を合成する。次に、ステップＳ８０２で、付加情報が合成された左（右）目用画像を左（右）目用ＶＲＡＭに出力する。次に、ステップＳ８０３で、付加情報が合成されていない右（左）目用画像を右（左）目用ＶＲＡＭに出力する。そして、付加情報が合成された左（右）目用画像情報と右（左）目用画像情報が図２で示す３次元表示器３０で表示される。
【００３８】
図９は、図８に示す処理により合成される画像の一例を示す。第１実施形態において説明した図６と同じものについては、同じ番号を付し、その説明を省略する。図８のステップＳ８００で、所定の時間経過後、ステップＳ８０１で、左目用画像６０１に付加情報６０３を合成する。付加情報６０３を合成した左目用画像６０１を右目用画像９０１とする。このとき、付加情報６０３を合成した右目用画像６０４の付加情報の合成位置と付加情報６０３を合成した左目用画像９０１の付加情報の合成位置は、略画像オブジェクトと同じ位置関係が保たれる。
【００３９】
つまり、ユーザーは、ステップＳ５０４からステップＳ８０１の処理を実行している間は、図９の付加情報６０３が合成された右目用画像６０４を右目で見ており、同時に左目で左目用画像６０１を見ている。所定の時間経過後は、図９の右目用画像６００を右目で、同時に左目で付加情報６０３が合成された左目用画像９０１を見ている。３次元画像オブジェクトのカメラは、常に両方の目で視差画像として見ているため、ユーザーには、同じ立体画像として見える。実際には、付加情報の文字「非売品」は、右目で右目用画像６０４中の文字として見ており、所定の時間経過後は、左目で左目用画像９０１の画像中の文字として、一定の時間おきに交互に見ていることになる。
【００４０】
また、付加情報を左右の目用の２次元画画像情報に合成する位置は、その中の画像オブジェクトに対してほぼ同じ相対位置とすれば、付加情報を安定に表示することができる。さらに、それぞれの目で見た瞬間の付加情報が残像として残らない１００ミリ秒以上に長くせず、かつ文字がチラつくことのない程度の短い時間に、ステップＳ８００における時間を調整する。
【００４１】
以上、本実施形態によれば、所定の時間おきに、右目用または左目用画像情報に対して交互に付加情報を合成することにより、常に左右の目用画像情報いずれか一方に付加情報が合成されて表示されている。このため、例えば、両方の目の視力さが大きいユーザーや、一方の目が不自由なユーザーが３次元画像を見る場合であっても、複雑な処理を実施することなく、不自然に干渉しない３次元画像の付加情報を見ることができる。
【００４２】
（第３実施形態）
本実施形態では、付加情報が合成された多視点３次元画像を表示する際の処理について説明する。図１０は、図１で示した３次元表示装置２をより詳細に説明する図である。図１０（Ａ）は、３次元表示装置２の表示面の断面図である。なお、本実施形態における３次元表示器３０は、多視点３次元表示器である。
【００４３】
図１０（Ａ）に示すように、多視点３次元表示器３０は、液晶表示器３００と、その全面に設置されるレンチキュラーレンズ３０１とを有する。レンチキュラーレンズ３０１は、右目と左目で見える映像位置のずれ（人間の両眼視差）を利用して、画像を立体的に表示するレンズである。レンチキュラーレンズ３０１の表示面側には、タッチパネル４０が配置される。また、図１０（Ａ）に示すように、本実施形態においては、撮像装置２０は、表示器３０の画面中央部に配置される。
【００４４】
図１０（Ｂ）は、多視点の画像を表示するレンチキュラーレンズ３０１と相対位置が保証された各液晶表示画素とを示す図である。図１０（Ｂ）に示す多視点３次元表示器３０は、この多視点３次元表示器３０に対し、７方向から多視点３次元画像を見ることができるよう、それぞれ１つのレンチキュラーレンズ内に画素３０２から画素３０３まで連続した８つの表示画素を有する。なお、多視点３次元表示器３０はカラー表示も可能であるが、説明を簡略化するため、本実施形態での多視点３次元表示器３０は単色表示を行う表示器とする。また、以後の図においても、表示素子や画素の並びを１次元的に表現する。なお、以下で単に「視点」と述べる場合、多視点３次元表示器３０に対するユーザーの位置を指し、１つの「視点」から見ているユーザーの目には、それぞれ右目用の画像と左目用の画像とが届けられる。
【００４５】
図１０（Ｃ）および（Ｄ）は、異なる視点１および視点４からユーザーが見ることができる画素を示す図である。図１０（Ｃ）に示すように、視点４のユーザーの右目には、画素５のみが、視点４のユーザーの左目には、画素４のみが見える。また、図１０（Ｄ）に示すように、レンチキュラーレンズ３０１の光学特性により、視点１のユーザーの右目には、画素２のみが、視点１のユーザーの左目には、画素１のみが見える。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であり、本明細書ではさらなる説明を省略する。
【００４６】
図１１は、７つの視点とその視点に合わせて多視点３次元画像を表示するために撮影する撮影画像との関係を示す図である。図１１に示すように、多視点３次元画像表示器で表示する前に、各視点からユーザーの左右のそれぞれの眼で見た画像に相当する２つの２次元画像を撮影し、３次元画像情報を作製する。なお、多視点３次元表示器の光学特性に従い、各視角における２次元画像を作るため、通常、視角と視点は、略一致する。また、同一の被写体２００を視点１から視点７まで連続的に３次元表示する場合、視点Ｎ（Ｎは１〜７のいずれかの整数）においてユーザーの左目に届けられる画像Ｎは、視点Ｎ−１におけるユーザーの右目に届けられる画像と同一である。
【００４７】
これらの各２次元画像情報を横方向に分割して、レンチキュラーレンズ３０１と相対位置を保った液晶表示画素で表示すると、図１１で示す各視点から被写体２００を見た場合に近い立体像を見ることが可能となる。すなわち、図１０（Ｃ）および（Ｄ）で示す画素１は、視点１の左側で撮影した２次元画像（画像１）を示す２次元画像情報の１部であり、画素２は視点１の右側で撮影した２次元画像（画像２）を示す２次元画像情報の１部である。
【００４８】
また、画素４は、視点４の左側で撮影した２次元画像（画像４）を示す２次元画像情報の１部であり、画素５は視点４の右側で撮影した２次元画像（画像５）を示す２次元画像情報の１部である。多視点３次元表示器３０の左目用画素と右目用画素は、それぞれ図１１に示すように、被写体２００を見る視点からそれぞれ一定の視角θの角度を有して撮影した左目画像と右目画像、すなわち、視差画像対の各画素情報を表示している。
【００４９】
次に、図１２は、本実施形態に係る画像情報生成部４０１の処理を説明するための画像１から画像８の画像例を示す。画像１(１２０１)は、被写体のカメラを図１１の視点１の左目で見せるための画像で、画像２(１２０２)は、同被写体を視点１の右目で見せるための画像である。同様に、視点２から視点７に対する左右の目用の画像を、画像３（１２０３）から画像８（１２０８）として示している。これらの８枚の画像情報を多視点３次元表示器３０で表示すれば、ユーザーは、視点１から視点７に渉って連続的に各視点の方向に従って被写体のカメラを立体的に見ることができる。
【００５０】
図１３は、本実施形態に係る付加情報を合成する画像処理のフローチャートであり、第１実施形態において、図５で説明した処理については同じ番号を付し、その説明を省略する。本実施形態では、第１実施形態と異なる処理について説明する。まず、ステップＳ５０１およびステップＳ５０２で多視点３次元画像情報および付加情報を入力する。次に、ステップＳ１３０１で、付加情報合成部４０２は、８種の画像の中で画像１（画像２）、画像３（画像４）、画像５（画像６）、画像７（画像８）にそれぞれ付加情報を合成する。そして、ステップＳ１３０２で、３次元画像表示部４０４は、各多視点３次元画像を表示するために、図１４に示す画像情報を、それぞれ８種の画像の表示を担当するＶＲＡＭに出力する。
【００５１】
具体的には、図１１に示す視点１では、左目で画像１、右目で画像２を見るため、どちらか一方の３次元画像に付加情報を合成すればよい。従って、全ての視点で付加情報を３次元オブジェクトに合成させて表示するために、どの視点においても右目か左目かどちらか一方の目用の画像に合成すればよい。すなわち、視点１、視点３、視点５、視点７では必ず左（右）目が見る画像に付加情報が合成され、視点２、視点４、視点６では必ず右（左）目が見る画像に付加情報が合成される。
【００５２】
図１４は、ステップＳ５０１で入力した、図１２に示す多視点画像情報の内、画像１、画像３、画像５、画像７にステップＳ１３０１で付加情報を合成した結果を示す。具体的には、「＊カメラ＊」とする文字の付加情報１４０２を画像１に合成した画像１４０１、付加情報１４０４を画像３に合成した画像１４０３、付加情報１４０６を画像５に合成した画像１４０５、付加情報１４０８を画像７に合成した画像１４０７を示す。
【００５３】
第２実施形態では、３次元画像オブジェクトの略同じ位置に付加情報を合成したが、本実施形態においても、付加情報を合成する位置は表示する画面に対して略同じ位置に合成することが望ましい。多視点３次元画像の場合、必ずしも視角の異なる８種の画像中に同じ画像オブジェクトが存在しないためである。
【００５４】
すなわち、本実施形態において、多視点３次元画像表示器３０は、画像オブジェクトを視点に応じてその向きを変えながら立体表示する場合でも、視点にかかわらず画面（本実施形態では、画面の下部）に、常に、合成した付加情報が正対して表示される。このため、合成された付加情報を違和感なく見ることができる。また、本実施形態では、全て同じ付加情報が全ての視点で３次元画像に合成されて表示するが、これに限定することなく、例えば、視点に応じて異なった付加情報を表示してもよい。
【００５５】
例えば、図１１に示す視点１では左目で付加情報１４０２のみを表示し、視点２では右目で付加情報１４０４のみを表示し、視点３では左目で付加情報１４０４のみを表示し、視点４では右目で付加情報１４０６のみを表示する。同様に、視点５では左目で付加情報１４０６のみを表示し、視点６では左目で付加情報１４０８のみを表示し、視点７では右目で付加情報１４０８のみを表示する。このため、視点１、視点２と視点３、視点４と視点５と、視点６と視点７は、それぞれ立体表示される画像オブジェクトの向きに応じて異なる付加情報１４０２〜１４０８でも違和感無く連続性を保って付加情報を３次元画像に合成させて表示することができる。
【００５６】
図１５は、本実施形態に係る画像処理装置の機能ブロックの詳細例を示す図である。付加情報合成部４０２で付加情報１４０２〜１４０８が合成された各画像情報は、付加情報の合成処理が実施された否かに関わらず、画像１は、画像１用ＶＲＡＭ１５０１に書き込まれ、ドライバ１５１１が、画像１用表示素子１５２１を表示駆動する。
【００５７】
本実施形態は、第１および第２実施形態と異なり、３次元画像表示部４０３は、それぞれの多視点画像を担当するＶＲＡＭとドライバと表示素子を一組とする表示手段を８組有している。すなわち、画像１〜画像８に対しては、画像１用ＶＲＡＭ１５０１〜画像８用ＶＲＡＭ１５０８、ドライバ１５１１〜ドライバ１５１８、画像１用表示素子１５２１〜画像８用表示素子１５２８である。
【００５８】
以上、本実施形態によれば、付加情報を合成した多視点３次元画像の表示の際、視点が移動しても常に連続的に視点に正対させて付加情報を表示することができる画像形成装置を提供することができる。
【００５９】
（その他の実施形態）
なお、本発明では、３次元表示部４０２は、液晶表示器３１および３００で表示する場合の例を開示したが、同じ光学的に位置に表示画像を有するいわゆる記録画像であっても同様の効果が得られる。すなわち、３次元表示部４０２が、レンチキュラーレンズをその前面に有し、視差画像をそれぞれ所定の間隔でストライプ状に分解し、同じ記録材面に各種の記録材を使って記録する手段で構成することによって本発明を適用してもよい。
【００６０】
また、本発明は、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムや装置に供給し、システムや装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行ことによっても実現する。
【００６１】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００６２】
４００  ３次元画像情報入力部
４０１  付加情報入力部
４０２  付加情報合成部
４０３  ３次元画像表示部
【図１】
2015119360.tif 000003
【図２】
2015119360.tif 000004
【図３】
2015119360.tif 000005
【図４】
2015119360.tif 000006
【図５】
2015119360.tif 000007
【図６】
2015119360.tif 000008
【図７】
2015119360.tif 000009
【図８】
2015119360.tif 000010
【図９】
2015119360.tif 000011
【図１０】
2015119360.tif 000012
【図１１】
2015119360.tif 000013
【図１２】
2015119360.tif 000014
【図１３】
2015119360.tif 000015
【図１４】
2015119360.tif 000016
【図１５】
2015119360.tif 000017