(57)【要約】【課題】三次元画像中に、様々な文字、図形、記号等の三次元画像を自由に追加して表示させることができる立体画像データ生成装置、立体画像データ生成方法、および立体画像データ生成プログラムを提供する。【解決手段】表示装置は、右眼用画像および左眼用画像のいずれか一方を基準表示画像として、基準表示画像上に描画された描画物の画像データを、追加画像のデータとして入力する。表示装置は、基準表示画像内の描画物が追加された領域である追加領域内に表示される表示物について、右眼用画像における表示位置と左眼用画像における表示位置との関係を示す視差情報を取得する。表示装置は、取得した視差情報に基づいて、追加画像を右方向または左方向にずらした画像のデータを生成することで、追加画像と共に描画物を立体視させるための画像のデータを生成する（Ｓ３７）。【選択図】図８
2011180779.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに知覚させる表示物の奥行き距離に応じて視差を有する右眼用画像および左眼用画像のデータの少なくとも一方を生成する立体画像データ生成装置であって、
ユーザによる表示画像上への描画を受け付ける受付手段から、右眼用画像および左眼用画像のいずれか一方を基準表示画像として前記基準表示画像上に描画された描画物の画像データである追加画像のデータを入力する入力手段と、
前記基準表示画像のデータと、前記基準表示画像と共に表示されることでユーザに画像を立体視させるための右眼用画像または左眼用画像である対応画像のデータとを取得するデータ取得手段と、
前記基準表示画像および前記対応画像から、前記基準表示画像内の領域における前記描画物が追加された領域である追加領域内に表示される表示物について、右眼用画像における表示位置と左眼用画像における表示位置との関係を示す情報である視差情報を取得する視差情報取得手段と、
前記視差情報取得手段によって取得された視差情報に基づいて、前記描画物を右方向または左方向にずらした画像のデータを生成することで、前記入力手段によって入力された前記追加画像と共にユーザに前記描画物を立体視させるための画像データを生成する生成手段と
を備えたことを特徴とする立体画像データ生成装置。
【請求項２】
前記視差情報取得手段は、前記データ取得手段によって取得された前記基準表示画像のデータと前記対応画像のデータとを用いて、前記基準表示画像内の前記追加領域内に表示される表示物の前記視差情報を算出することで、前記視差情報を取得することを特徴とする請求項１に記載の立体画像データ生成装置。
【請求項３】
前記視差情報取得手段は、
前記追加領域の少なくとも一部を含む領域を設定領域として前記基準表示画像内に設定する設定手段と、
前記対応画像内で、前記設定手段によって設定された前記設定領域と形状および上下方向の位置が同一である領域であり、且つ領域内に含まれる画素である探索画素の画素値と前記探索画素の位置に対応する前記設定領域内の画素の画素値との差の合計の絶対値が最小となる領域を探索する探索手段とを備え、
前記探索手段によって探索された領域の位置と前記設定領域の位置との左右方向のずれ幅を少なくとも前記視差情報として算出することを特徴とする請求項２に記載の立体画像データ生成装置。
【請求項４】
前記生成手段は、前記視差情報取得手段によって取得された、前記追加領域内の表示物についての１または複数の視差情報のうち、ユーザの右眼の視線と左眼の視線との交点を最もユーザに近い位置とする視差情報に応じて前記追加画像をずらした画像のデータを生成することを特徴とする請求項２または３に記載の立体画像データ生成装置。
【請求項５】
ユーザに知覚させる表示物の奥行き距離に応じて視差を有する右眼用画像および左眼用画像のデータの少なくとも一方を生成する立体画像データ生成装置によって行われる立体画像データ生成方法であって、
ユーザによる表示画像上への描画を受け付ける受付手段から、右眼用画像および左眼用画像のいずれか一方を基準表示画像として前記基準表示画像上に描画された描画物の画像データである追加画像のデータを入力する入力ステップと、
前記基準表示画像のデータと、前記基準表示画像と共に表示されることでユーザに画像を立体視させるための右眼用画像または左眼用画像である対応画像のデータとを取得するデータ取得ステップと、
前記基準表示画像および前記対応画像から、前記基準表示画像内の領域における前記描画物が追加された領域である追加領域内に表示される表示物について、右眼用画像における表示位置と左眼用画像における表示位置との関係を示す情報である視差情報を取得する視差情報取得ステップと、
前記視差情報取得ステップによって取得された視差情報に基づいて、前記描画物を右方向または左方向にずらした画像のデータを生成することで、前記入力ステップによって入力された前記追加画像と共にユーザに前記描画物を立体視させるための画像データを生成する生成ステップと
を備えたことを特徴とする立体画像データ生成方法。
【請求項６】
ユーザに知覚させる表示物の奥行き距離に応じて視差を有する右眼用画像および左眼用画像のデータの少なくとも一方を生成する立体画像データ生成装置に実行させる立体画像データ生成プログラムであって、
コンピュータに、
ユーザによる表示画像上への描画を受け付ける受付手段から、右眼用画像および左眼用画像のいずれか一方を基準表示画像として前記基準表示画像上に描画された描画物の画像データである追加画像のデータを入力する入力ステップと、
前記基準表示画像のデータと、前記基準表示画像と共に表示されることでユーザに画像を立体視させるための右眼用画像または左眼用画像である対応画像のデータとを取得するデータ取得ステップと、
前記基準表示画像および前記対応画像から、前記基準表示画像内の領域における前記描画物が追加された領域である追加領域内に表示される表示物について、右眼用画像における表示位置と左眼用画像における表示位置との関係を示す情報である視差情報を取得する視差情報取得ステップと、
前記視差情報取得ステップによって取得された視差情報に基づいて、前記描画物を右方向または左方向にずらした画像のデータを生成することで、前記入力ステップによって入力された前記追加画像と共にユーザに前記描画物を立体視させるための画像データを生成する生成ステップと
を実行させることを特徴とする立体画像データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像を表示するための画像データを生成する立体画像データ生成装置、立体画像データ生成方法、および立体画像データ生成プログラムに関する。
【背景技術】
【０００２】
従来、視差を有する一組の画像を表示することで、三次元画像をユーザに視認させる技術が知られている。例えば、特定の方向に振動する光によって表示される左眼用画像と、左眼用画像の光とは異なる方向に振動する光によって表示される右眼用画像とを、表示装置が表示する。ユーザは、三次元画像を視認するための眼鏡を装着する。眼鏡の左眼用のレンズは、左眼用画像の方向に振動する光のみを透過する。眼鏡の右眼用のレンズは、右眼用画像の方向に振動する光のみを透過する。その結果、ユーザは、視差を有する一組の画像のそれぞれを左右の眼で別々に見ることができるため、三次元画像を視認することができる。
【０００３】
三次元画像に、文字、図形、記号等の情報を追加して表示させるニーズも存在する。例えば、特許文献１が開示している立体映像装置は、追加して表示させる文字等の左眼用画像のデータと右眼用画像のデータとをあらかじめ記憶している。立体映像装置は、ユーザからの入力に応じて、記憶しているデータの中から表示させる文字等のデータを選択して表示させる。特許文献２が開示している表示装置は、表示させている画像に情報を追加して表示させる場合、三次元画像を二次元画像に変更する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−２４９４９３号公報
【特許文献２】特開２００５−１１０１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１が開示している立体映像装置は、追加して表示させる三次元画像のデータをあらかじめ記憶しておかなければならない。よって、ユーザが表示装置に追加表示させることができる文字等は限られていた。特許文献２が開示している表示装置では、追加表示させる画像のデータをあらかじめ記憶しておく必要はないが、文字等を追加表示させる場合は二次元画像となる。従って、ユーザは、三次元画像中に、様々な文字、図形、記号等の三次元画像を自由に追加して表示させることはできなかった。
【０００６】
本発明は、三次元画像中に、様々な文字、図形、記号等の三次元画像を自由に追加して表示させることができる立体画像データ生成装置、立体画像データ生成方法、および立体画像データ生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第一の態様に係る立体画像データ生成装置は、ユーザに知覚させる表示物の奥行き距離に応じて視差を有する右眼用画像および左眼用画像のデータの少なくとも一方を生成する立体画像データ生成装置であって、ユーザによる表示画像上への描画を受け付ける受付手段から、右眼用画像および左眼用画像のいずれか一方を基準表示画像として前記基準表示画像上に描画された描画物の画像データである追加画像のデータを入力する入力手段と、前記基準表示画像のデータと、前記基準表示画像と共に表示されることでユーザに画像を立体視させるための右眼用画像または左眼用画像である対応画像のデータとを取得するデータ取得手段と、前記基準表示画像および前記対応画像から、前記基準表示画像内の領域における前記描画物が追加された領域である追加領域内に表示される表示物について、右眼用画像における表示位置と左眼用画像における表示位置との関係を示す情報である視差情報を取得する視差情報取得手段と、前記視差情報取得手段によって取得された視差情報に基づいて、前記描画物を右方向または左方向にずらした画像のデータを生成することで、前記入力手段によって入力された前記追加画像と共にユーザに前記描画物を立体視させるための画像データを生成する生成手段とを備えている。
【０００８】
第一の態様に係る立体画像データ生成装置は、左眼用画像および右眼用画像の一方に追加された描画物を三次元表示するための画像のデータを、描画物が追加された追加領域内に表示されている表示物の視差に応じて自動的に生成することができる。従って、ユーザは、三次元画像中に、所望する三次元画像を違和感なく自由に追加して表示させることができる。ユーザは、左眼用画像および右眼用画像の一方（二次元画像）に描画物を追加するだけで、所望する三次元画像を容易に追加することができる。追加して表示する候補となる三次元画像のデータがあらかじめ記憶されている必要がないため、データの記憶容量が圧迫されることを防止することもできる。
【０００９】
前記視差情報取得手段は、前記データ取得手段によって取得された前記基準表示画像のデータと前記対応画像のデータとを用いて、前記基準表示画像内の前記追加領域内に表示される表示物の前記視差情報を算出することで、前記視差情報を取得してもよい。この場合、立体画像データ生成装置は、描画物が描画される毎に、描画物が追加された追加領域内の表示物の視差情報を算出することができる。従って、描画物が追加された位置に適した適切な視差情報を取得することができる。立体画像データ生成装置は、視差情報をあらかじめ記憶しておく必要もない。
【００１０】
前記視差情報取得手段は、前記追加領域の少なくとも一部を含む領域を設定領域として前記基準表示画像内に設定する設定手段と、前記対応画像内で、前記設定手段によって設定された前記設定領域と形状および上下方向の位置が同一である領域であり、且つ領域内に含まれる画素である探索画素の画素値と前記探索画素の位置に対応する前記設定領域内の画素の画素値との差の合計の絶対値が最小となる領域を探索する探索手段とを備えてもよい。前記視差情報取得手段は、前記探索手段によって探索された領域の位置と前記設定領域の位置との左右方向のずれ幅を少なくとも前記視差情報として算出してもよい。この場合、立体画像データ生成装置は、追加領域内の視差情報を的確に取得することができる。よって、追加領域に適した三次元の描画物を表示するためのデータを、確実に生成することができる。
【００１１】
前記生成手段は、前記視差情報取得手段によって取得された、前記追加領域内の表示物についての１または複数の視差情報のうち、ユーザの右眼の視線と左眼の視線との交点を最もユーザに近い位置とする視差情報に応じて前記追加画像をずらした画像のデータを生成してもよい。この場合、三次元の描画物は、追加領域内で最も手前に見える表示物と同様の奥行き距離に存在するように見える。つまり、追加された描画物が周囲の表示物よりも奥に存在するように見えることはない。従って、ユーザは、三次元画像の中に表示された描画物を容易に認識することができる。
【００１２】
本発明の第二の態様に係る立体画像データ生成方法は、ユーザに知覚させる表示物の奥行き距離に応じて視差を有する右眼用画像および左眼用画像のデータの少なくとも一方を生成する立体画像データ生成装置によって行われる立体画像データ生成方法であって、ユーザによる表示画像上への描画を受け付ける受付手段から、右眼用画像および左眼用画像のいずれか一方を基準表示画像として前記基準表示画像上に描画された描画物の画像データである追加画像のデータを入力する入力ステップと、前記基準表示画像のデータと、前記基準表示画像と共に表示されることでユーザに画像を立体視させるための右眼用画像または左眼用画像である対応画像のデータとを取得するデータ取得ステップと、前記基準表示画像および前記対応画像から、前記基準表示画像内の領域における前記描画物が追加された領域である追加領域内に表示される表示物について、右眼用画像における表示位置と左眼用画像における表示位置との関係を示す情報である視差情報を取得する視差情報取得ステップと、前記視差情報取得ステップによって取得された視差情報に基づいて、前記描画物を右方向または左方向にずらした画像のデータを生成することで、前記入力ステップによって入力された前記追加画像と共にユーザに前記描画物を立体視させるための画像データを生成する生成ステップとを備えている。
【００１３】
第二の態様に係る立体画像データ生成方法によると、立体画像データ生成装置は、左眼用画像および右眼用画像の一方に追加された描画物を三次元表示するための画像のデータを、描画物が追加された追加領域内に表示されている表示物の視差に応じて自動的に生成することができる。従って、ユーザは、三次元画像中に、所望する三次元画像を違和感なく自由に追加して表示させることができる。ユーザは、左眼用画像および右眼用画像の一方（二次元画像）に描画物を追加するだけで、所望する三次元画像を容易に追加することができる。追加して表示する候補となる三次元画像のデータがあらかじめ記憶されている必要がないため、データの記憶容量が圧迫されることを防止することもできる。
【００１４】
本発明の第三の態様に係る立体画像データ生成プログラムは、ユーザに知覚させる表示物の奥行き距離に応じて視差を有する右眼用画像および左眼用画像のデータの少なくとも一方を生成する立体画像データ生成装置に実行させる立体画像データ生成プログラムであって、コンピュータに、ユーザによる表示画像上への描画を受け付ける受付手段から、右眼用画像および左眼用画像のいずれか一方を基準表示画像として前記基準表示画像上に描画された描画物の画像データである追加画像のデータを入力する入力ステップと、前記基準表示画像のデータと、前記基準表示画像と共に表示されることでユーザに画像を立体視させるための右眼用画像または左眼用画像である対応画像のデータとを取得するデータ取得ステップと、前記基準表示画像および前記対応画像から、前記基準表示画像内の領域における前記描画物が追加された領域である追加領域内に表示される表示物について、右眼用画像における表示位置と左眼用画像における表示位置との関係を示す情報である視差情報を取得する視差情報取得ステップと、前記視差情報取得ステップによって取得された視差情報に基づいて、前記描画物を右方向または左方向にずらした画像のデータを生成することで、前記入力ステップによって入力された前記追加画像と共にユーザに前記描画物を立体視させるための画像データを生成する生成ステップとを実行させることを特徴とする。
【００１５】
第三の態様に係る立体画像データ生成プログラムによると、立体画像データ生成装置は、左眼用画像および右眼用画像の一方に追加された描画物を三次元表示するための画像のデータを、描画物が追加された追加領域内に表示されている表示物の視差に応じて自動的に生成することができる。従って、ユーザは、三次元画像中に、所望する三次元画像を違和感なく自由に追加して表示させることができる。ユーザは、左眼用画像および右眼用画像の一方（二次元画像）に描画物を追加するだけで、所望する三次元画像を容易に追加することができる。追加して表示する候補となる三次元画像のデータがあらかじめ記憶されている必要がないため、データの記憶容量が圧迫されることを防止することもできる。
【図面の簡単な説明】
【００１６】
【図１】表示装置１の物理的構成を示す図である。
【図２】表示装置１の電気的構成を示すブロック図である。
【図３】画像データベースのデータ構成を示す模式図である。
【図４】表示装置１が実行する描画受付処理のフローチャートである。
【図５】ディスプレイ２に表示される表示画像２５と、基準表示画像３０および追加画像４０との関係を示す図である。
【図６】描画受付処理中に実行される視差情報取得処理のフローチャートである。
【図７】面積相関法を用いて視差情報を算出する処理を説明するための図である。
【図８】表示装置１が実行する画像表示処理のフローチャートである。
【図９】視差情報データベースのデータ構成を示す模式図である。
【図１０】変形例に係る表示装置１が実行する視差情報取得処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明に係る立体画像データ生成装置を具現化した一実施の形態である表示装置１について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００１８】
図１を参照して、表示装置１の概要について説明する。表示装置１は、略直方体形状に形成されており、正面の略中央にディスプレイ２を備える。表示装置１は、ディスプレイ２の前面にタッチパネル３を備える。ユーザは、指先またはタッチペン（図示せず）を用いてタッチパネル３を操作することで、文字、図形、記号等の所望の描画物をディスプレイ２に描画することができる。表示装置１は、複数のボタンからなる操作部４を備える。ユーザは、タッチパネル３および操作部４を操作することで、種々の指示を表示装置１に入力する。
【００１９】
表示装置１は、絵、写真、資料等の様々な画像をディスプレイ２に表示させることができる。特に、表示装置１は、両眼視差による立体知覚を利用して、ユーザに画像を立体視させることができる。画像を立体視させるための技術は複数知られているが、本実施の形態に係る表示装置１はパッシブ・ステレオ方式と呼ばれる技術を利用している。詳細には、表示装置１は、左眼用画像と右眼用画像とを共にディスプレイ２に表示させる。左眼用画像は、特定の方向に振動する光によって表示される。右眼用画像は、左眼用画像の光とは異なる方向に振動する光によって表示される。ユーザは、三次元画像を視認するための専用眼鏡（図示せず）を装着し、ディスプレイ２へ視線を移動させる。専用眼鏡の左眼用のレンズは、左眼用画像の光の振動方向に振動する光のみを透過する。専用眼鏡の右眼用のレンズは、右眼用画像の光の振動方向に振動する光のみを透過する。その結果、ユーザは、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。
【００２０】
左眼用画像に表示される表示物の位置と、右眼用画像に表示される表示物の位置とが左右方向にずれていれば、ユーザは、表示物がディスプレイ２の表示面よりも奥または手前に存在するように認識する。例えば、左眼用画像における表示物Ａの位置よりも、右眼用画像における表示物Ａの位置が左側となっている場合を例示する。この場合、左眼から左眼用画像の表示物Ａに延びる視線と、右眼から右眼用画像の表示物Ａに延びる視線との交点は、ディスプレイ２の表示面よりも手前となる。その結果、ユーザは、表示物Ａがディスプレイ２の表示面よりも手前側に存在するように認識する。逆に、左眼用画像における表示物Ａの位置よりも、右眼用画像における表示物Ａの位置が右側となっていれば、表示物Ａは表示面よりも奥に存在するように認識される。左眼用画像および右眼用画像が同一の位置に表示物Ａを表示すれば、表示物Ａは表示面に存在するように認識される。表示装置１は、タッチパネル３によって描画された描画物を、描画が行われる以前から表示されていた表示物と共に三次元表示することができる点に特徴を有する。
【００２１】
図２を参照して、表示装置１の電気的構成について説明する。表示装置１は、表示装置１の制御を司るＣＰＵ１０を備える。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、フラッシュメモリ１３、および入出力インターフェース１５が、バス１４を介して接続されている。ＲＯＭ１１は、表示装置１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。フラッシュメモリ１３は、各種の情報を記憶する不揮発性の記憶装置である。
【００２２】
入出力インターフェース１５には、表示ドライバ２２、タッチパネルドライバ２３、操作部４、およびメモリカードスロット１６が接続されている。表示ドライバ２２は、画像を表示するディスプレイ２の動作を処理する。タッチパネルドライバ２３は、タッチパネル３の操作を入力する。メモリカードスロット１６には、メモリカード１７が装着される。
【００２３】
メモリカード１７には、基礎画像データ記憶エリア１７１、追加画像データ記憶エリア１７２、および画像データベース記憶エリア１７３等の各種記憶エリアが設けられている。基礎画像データ記憶エリア１７１には、ディスプレイ２に表示させる画像としてあらかじめ用意された画像である基礎画像のデータが記憶される。描画物は、基礎画像上に描画されることとなる。基礎画像が二次元の静止画像であれば、基礎画像のデータファイルは１つである。基礎画像が三次元の静止画像であれば、基礎画像のデータは、左眼用画像のデータファイルおよび右眼用画像のデータファイルによって構成される。詳細は後述するが、ユーザは、三次元の基礎画像に描画物を追加する場合、左眼用画像および右眼用画像の一方を基準表示画像として、二次元の基準表示画像上に描画物を描画することとなる。
【００２４】
追加画像データ記憶エリア１７２には、追加画像データが記憶される。追加画像データとは、ユーザによって描画された描画物を含む二次元の画像のデータである。詳細は後述するが、表示装置１は、描画物を三次元表示させる指示が入力された際に、対応追加画像を生成することができる。表示装置１は、追加画像を左眼用画像として表示し、且つ対応追加画像を右眼用画像として表示することで、描画物をユーザに立体視させることができる。従って、表示装置１は、描画物を三次元表示させるために必要な画像データとして追加画像データのみを記憶しておけばよく、対応追加画像のデータをあらかじめ記憶しておく必要はない。ただし、一旦生成した対応追加画像のデータを追加画像のデータと共に記憶してもよいことは勿論である。画像データベース記憶エリア１７３には、対応追加画像のデータを生成するために必要な画像データベースが記憶される。
【００２５】
図３を参照して、メモリカード１７の画像データベース記憶エリア１７３に記憶される画像データベースのデータ構成について説明する。画像データベースは、基礎画像データＩＤと、追加画像データＩＤと、三次元画像フラグと、視差情報とによって構成される。基礎画像データＩＤは、基礎画像データのそれぞれに付されたＩＤである。基礎画像が三次元の静止画像であれば、左眼用の基礎画像のデータ、および右目用の基礎画像のデータのそれぞれにＩＤが付される。追加画像データＩＤは、追加画像に付されたＩＤである。追加画像データＩＤは、描画物が追加された基礎画像に対応付けて記憶されている。三次元画像フラグは、追加画像が三次元画像に追加された画像であるか否かを示すフラグである。三次元画像フラグが「ＴＲＵＥ」であれば、三次元画像に追加された追加画像であることを示す。三次元画像フラグが「ＦＡＬＳＥ」であれば、二次元画像に追加された追加画像であることを示す。
【００２６】
視差情報は、左眼用画像における表示物（以下、「左眼用表示物」という。）の位置と、右眼用画像における表示物（以下、「右眼用表示物」という。）の位置との関係を示す情報である。詳細には、視差情報は、左眼用表示物と右眼用表示物との間の距離を示す情報と、左眼用表示物が右眼用表示物よりも右側に位置するか否かを示す情報とを含む。本実施形態における視差情報は、距離を画素数（単位：ｐｘ）で示す。視差情報の値の絶対値が、左眼用表示物の表示位置と右眼用表示物の表示位置との間の距離となる。左眼用表示物が右眼用表示物よりも右側に位置する場合は、ユーザの右眼から右眼用表示物に延びる視線と、左目から左眼用表示物に延びる視線との交点は、ディスプレイ２の表示面よりも手前になる。よって、ユーザは、表示物がユーザに近い位置に存在するように認識する。一方、左眼用表示物の方が左側に位置する場合は、２本の視線の交点は、ディスプレイ２の表示面よりも奥になる。この場合、ユーザは、表示物がユーザから遠い位置に存在するように認識する。左眼用表示物が右眼用表示物よりも右側に位置する場合に、視差情報の値は正となる。
【００２７】
なお、本実施の形態では、「２つの画像が視差を有する」とは、左眼用画像における左眼用表示物の位置と、右眼用画像における右眼用表示物の表示位置とが互いにずれていることを意味する。しかし、表示物自体をより立体的にユーザに認識させる場合には、表示物をやや左側から見た場合の画像を左眼用表示物の画像とし、さらに表示物をやや右側から見た場合の画像を右眼用表示物の画像としてもよい。この手法は公知である。この手法は本発明にも採用することができるが、採用した場合には、「２つの画像が視差を有する」とは、左眼用表示物の画像と右眼用表示物の画像との間に、左から見た場合と右から見た場合とで生じる見え方の差が存在することも意味する。以下の処理では、説明を簡略化するため、右眼用表示物の画像および左眼用表示物の画像に同一の画像を用いる場合（描画物自体は平面的に表示し、描画物の表示位置をディスプレイ２よりも手前または奥に存在するように認識させる場合）を例に挙げる。
【００２８】
以下、図４から図８を参照して、表示装置１が行う描画受付処理および画像表示処理について説明する。描画受付処理および画像表示処理は、ＲＯＭ１１に記憶されているプログラムに従ってＣＰＵ１０が実行する。
【００２９】
図４に示す描画受付処理は、ディスプレイ２に表示されている基礎画像に描画物を追加する指示がユーザによって入力されることを契機として実行される。描画受付処理が開始されると、ＣＰＵ１０は、ディスプレイ２に表示されている基礎画像が三次元画像であるか否かを判断する（Ｓ１）。表示されている基礎画像が三次元画像であれば（Ｓ１：ＹＥＳ）、ＣＰＵ１０は、左眼用画像および右眼用画像からなる基礎画像のうちの左眼用画像のみを、基準表示画像としてディスプレイ２に二次元表示させる（Ｓ２）。基準表示画像とは、描画物が描画される基準となる画像である。ユーザは、基準表示画像のどの部分に描画物を追加するかをディスプレイ２を見て決定し、基準表示画像上に描画物を描画する。一方、ディスプレイ２に表示されている基礎画像が三次元画像でなく二次元画像であれば（Ｓ１：ＮＯ）、ＣＰＵ１０は、表示されている二次元画像をそのまま基準表示画像とし、処理はＳ３へ移行する。
【００３０】
ＣＰＵ１０は、基準表示画像上に描画物を描画するための描画入力画面を、ディスプレイ２に表示させる（Ｓ３）。ＣＰＵ１０は、タッチパネル３に対する描画の入力を受け付けて、追加画像のデータを生成する（Ｓ４）。図５に、描画が受け付けられた状態でディスプレイ２に表示されている表示画像２５の一例を示す。表示画像２５は、基準表示画像３０における表示物である人３１、家３２、および背景３３と、新たに描画された描画物４１（ＡＢＣの文字）とを含む。つまり、図５に示すように、ディスプレイ２に表示される表示画像２５は、基準表示画像３０と、描画物４１が描画されることで生成された追加画像４０とが重ねられて表示される画像である。
【００３１】
ＣＰＵ１０は、描画を終了する指示が操作部４に入力されたか否かを判断する（Ｓ５）。入力されていなければ（Ｓ５：ＮＯ）、ＣＰＵ１０は、描画の入力の受け付けを継続する（Ｓ４）。描画を終了する指示がユーザによって入力されると（Ｓ５：ＹＥＳ）、ＣＰＵ１０は、描画によって生成された追加画像４０のデータを、メモリカード１７の追加画像データ記憶エリア１７２に記憶する（Ｓ６）。ＣＰＵ１０は、画像データベース（図３参照）において、新たに記憶された追加画像４０のデータのＩＤと、描画物４１が描画される基礎となった基礎画像のデータのＩＤとを対応付ける（Ｓ７）。ＣＰＵ１０は、描画物４１が描画される基礎となった基礎画像が三次元画像であるか否かを判断する（Ｓ８）。二次元画像であれば（Ｓ８：ＮＯ）、ＣＰＵ１０は、画像データベースにおける三次元画像フラグを、三次元画像でないことを示す「ＦＡＬＳＥ」とし（Ｓ９）、処理は終了する。基礎画像が三次元画像であれば（Ｓ８：ＹＥＳ）、ＣＰＵ１０は、三次元画像フラグを「ＴＲＵＥ」として（Ｓ１０）、視差情報取得処理を行う（Ｓ１１）。
【００３２】
図６に示すように、ＣＰＵ１０は、視差情報取得処理を開始すると、基準表示画像３０のデータと、対応画像３８（図７参照）のデータとを、メモリカード１７の基礎画像データ記憶エリア１７１から取得する（Ｓ２１）。対応画像３８とは、基準表示画像３０と共にディスプレイ２に表示されることでユーザに画像を立体視させるための画像である。本実施の形態では、２つの画像データからなる１組の基礎画像のうち、基準表示画像３０として表示されなかった右眼用画像が対応画像３８となる。立体視させる表示物については、基準表示画像３０における表示位置と対応画像３８における表示位置とが左右方向にずれている。
【００３３】
ＣＰＵ１０は、基準表示画像３０内の領域のうち、描画物４１が追加された領域である追加領域３５（図５参照）を特定する（Ｓ２２）。ＣＰＵ１０は、基準表示画像３０の追加領域３５内に表示される表示物の視差情報を、基準表示画像３０のデータおよび対応画像３８のデータを用いて算出する。視差情報を算出する手法は複数知られており、本発明ではいずれの手法を用いることもできる。本実施の形態で採用している手法は、基準表示画像３０内に小ブロックである設定領域（ｓ）を設定し、対応画像３８内の領域の画素と設定領域（ｓ）の画素との間の画素値の差を面積相関法で求める手法である。
【００３４】
以下、図６および図７を参照して、視差情報を算出する処理について詳細について説明する。まず、ＣＰＵ１０は、基準表示画像３０内に、特定された追加領域３５の少なくとも一部を含む所定の面積および形状の設定領域（ｓ）を設定する（Ｓ２３）。設定領域（ｓ）には複数の画素が含まれる。矩形の画像の左下を原点、右方向をｘ軸の正方向、上方向をｙ軸の正方向とする座標（単位：ｐｘ）によって、設定領域（ｓ）内の各画素の位置が（ｘ，ｙ）で示される。
【００３５】
次いで、ＣＰＵ１０は、対応画像３８内で、設定領域（ｓ）と形状、面積、および上下方向の位置が同一である領域であり、且つ領域内に含まれる画素の画素値と設定領域（ｓ）内の画素値との差が最小となる領域（ｔ）を、面積相関法によって探索する（Ｓ２４）。詳細には、ＣＰＵ１０は、対応画像３８内で、設定領域（ｓ）に対応する位置（図７の点線で示す位置）から距離ｄだけ左（ｄがマイナスの場合には右）に位置する領域を、探索領域とする。ＣＰＵ１０は、設定領域（ｓ）内の画素（ｘ，ｙ）の画素値Ｉｓ[ｘ][ｙ]と、この画素の位置に対応する探索領域内の画素（ｘ−ｄ，ｙ）の画素値Ｉｔ[ｘ−ｄ][ｙ]との差を算出する。画素値とは、画素の明るさであってもよいし、ＲＧＢ値であってもよい。ＣＰＵ１０は、画素値の差の算出を、設定領域（ｓ）および探索領域における全ての画素に対して行う。ＣＰＵ１０は、算出した差の合計を算出する。以上の処理を、設定領域（ｓ）と形状、面積、および上下方向の位置が同一である複数の探索領域に対して実行する。ＣＰＵ１０は、複数の探索領域のうち、算出した差の合計の絶対値が最小となる探索領域である領域（ｔ）を、探索の結果として特定する。
【００３６】
ＣＰＵ１０は、探索した領域（ｔ）と設定領域（ｓ）とのずれ幅であるｄの値を、設定領域（ｓ）の視差情報（ｄ）として取得する（Ｓ２５）。ＣＰＵ１０は、追加領域３５の全範囲に設定領域（ｓ）を設定したか否かを判断する（Ｓ２６）。追加領域３５の一部が未だ設定領域（ｓ）に設定されていなければ（Ｓ２６：ＮＯ）、処理はＳ２３へ戻り、新たな設定領域（ｓ）の視差情報が算出される（Ｓ２３〜Ｓ２５）。ＣＰＵ１０は、追加領域３５の全範囲に設定領域（ｓ）を設定した場合には（Ｓ２６：ＹＥＳ）、取得した１または複数の視差情報（ｄ）のうち、最大の視差情報（ｄ）の値を、画像データベース（図３参照）に視差情報として記憶する（Ｓ２７）。処理は描画受付処理（図４参照）へ戻り、描画受付処理は終了する。
【００３７】
図８を参照して、画像表示処理について説明する。画像表示処理は、ユーザが操作部４を操作して基礎画像の１つを選択し、選択した基礎画像を表示させる指示を入力することで実行される。ＣＰＵ１０は、画像表示処理を開始すると、表示させる基礎画像に追加画像が付されているか否かを、画像データベース（図３参照）から判断する（Ｓ３１）。追加画像が付されていなければ（Ｓ３１：ＮＯ）、ＣＰＵ１０は、基礎画像をそのままディスプレイ２に表示させて（Ｓ３２）、処理は終了する。Ｓ３２では、基礎画像が三次元画像であれば、ＣＰＵ１０は、右眼用画像および左眼用画像を共に表示させる。基礎画像が二次元画像であれば、二次元の基礎画像をそのまま表示させる。
【００３８】
表示させる基礎画像に追加画像が付されていれば（Ｓ３１：ＹＥＳ）、ＣＰＵ１０は、画像データベースの三次元画像フラグによって、追加画像が三次元画像に追加された追加画像４０であるか否かを判断する（Ｓ３３）。二次元画像に追加された追加画像であれば（Ｓ３３：ＮＯ）、ＣＰＵ１０は、基礎画像上に追加画像を重ねて、表示用の二次元画像を生成する（Ｓ３４）。ＣＰＵ１０は、生成した画像を二次元表示させて（Ｓ３５）、処理を終了する。
【００３９】
追加画像が三次元画像に追加された追加画像４０であれば（Ｓ３３：ＹＥＳ）、ＣＰＵ１０は、画像データベースから視差情報（ｄ）を取得する。ＣＰＵ１０は、追加画像４０の全体をｄだけずらした画像のデータを生成する（Ｓ３７）。生成された画像である対応追加画像は、追加画像４０と共に表示されることで描画物４１をユーザに立体視させるための画像である。つまり、対応追加画像を右眼用画像として表示し、且つ追加画像４０を左眼用画像として表示することで、描画物４１をユーザに立体視させることができる。
【００４０】
次いで、ＣＰＵ１０は、描画物４１を立体視させるための右眼用画像である対応追加画像と、２つの基礎画像のうちの右眼用画像である対応画像３８とを重ねる（Ｓ３８）。この画像は、ディスプレイ２に表示される右眼用画像となる。ＣＰＵ１０は、描画物４１の左眼用画像である追加画像４０と、２つの基礎画像のうちの左眼用画像である基準表示画像３０とを重ねる（Ｓ３９）。この画像は、ディスプレイ２に表示される左眼用画像となる。ＣＰＵ１０は、Ｓ３８で重ねた右眼用画像と、Ｓ３９で重ねた左眼用画像とをディスプレイ２に表示させることで、基礎画像中の表示物３１〜３３と追加された描画物４１とを共に三次元表示させる（Ｓ４０）。
【００４１】
次いで、ＣＰＵ１０は、ユーザが知覚する描画物４１の奥行き距離を補正する処理を行う。まず、ＣＰＵ１０は、ユーザが操作部４を操作して奥行き距離を入力したか否かを判断する（Ｓ４１）。奥行き距離は、ディスプレイ２の表示面を０、表示面よりも手前を正、表示面よりも奥を負として、数字によって入力される。奥行き距離が入力されていなければ（Ｓ４１：ＮＯ）、ＣＰＵ１０は、表示中の画像を確定させる指示が入力されたか否かを判断する（Ｓ４２）。確定指示が入力されていなければ（Ｓ４２：ＮＯ）、処理はＳ４１の判断へ戻る。
【００４２】
奥行き距離が入力された場合には（Ｓ４１：ＹＥＳ）、ＣＰＵ１０は、ユーザが知覚する描画物４１の奥行き距離が、入力された値に対応する奥行き距離となるように、視差情報（ｄ）の値を補正する（Ｓ４３）。本実施の形態では、ユーザが入力可能な奥行き距離の値と、視差情報（ｄ）の値とが、あらかじめ対応付けられている。Ｓ４３の処理では、ＣＰＵ１０は、入力された奥行き距離に対応付けられている値に視差情報（ｄ）を補正する。処理はＳ３７へ戻り、ＣＰＵ１０は、補正した視差情報（ｄ）に応じて、画像データの生成処理、および三次元画像の表示処理を行う（Ｓ３７〜Ｓ４０）。画像を確定する指示が入力されると（Ｓ４２：ＹＥＳ）、処理は終了する。
【００４３】
以上説明したように、本実施の形態に係る表示装置１は、描画物４１が追加された追加領域３５内に表示される表示物から視差情報（ｄ）の値を取得する。取得した視差情報（ｄ）に基づいて、追加画像４０を右方向または左方向にずらした画像のデータを生成する。その結果、表示装置１は、追加領域３５に表示されている表示物の視差に応じた適切な画像データを、描画物４１を立体視させるための画像データとして自動的に生成することができる。換言すると、ユーザは、三次元の基礎画像中に、所望する描画物４１の三次元画像を違和感なく自由に追加して表示させることができる。ユーザは、二次元の基準表示画像上に描画物を描画するだけで、描画物の三次元画像を容易に追加することができる。追加して表示する候補となる三次元画像のデータがあらかじめ記憶されている必要がないため、メモリカード１７の記憶容量が圧迫されることを防止することもできる。
【００４４】
表示装置１は、描画物４１が描画される毎に、描画物４１が追加された追加領域３５内に表示されている表示物の視差情報（ｄ）を算出することができる。従って、描画物４１が追加された位置に適した適切な視差情報（ｄ）を取得することができる。表示装置１は、基礎画像中の表示物の視差情報（ｄ）をあらかじめ記憶しておく必要もない。表示装置１は、面積相関法を用いることで、基礎画像中の表示物の視差情報（ｄ）を的確に算出して取得することができる。
【００４５】
表示装置１は、追加領域３５内の表示物の視差情報（ｄ）を１または複数算出する。算出した視差情報（ｄ）のうち最も大きい値に応じて、描画物４１を立体視させるための画像のデータを生成する。その結果、三次元表示される描画物４１は、追加領域３５内で最も手前に見える表示物と同様の奥行き距離に存在するように見える。換言すると、追加された描画物４１が周囲の表示物よりも奥に存在するように見えることはない。従って、ユーザは、三次元画像の中に表示された描画物４１を容易に認識することができる。
【００４６】
表示装置１は、ユーザによって入力された描画物４１の奥行き距離に応じて、視差情報（ｄ）の値を補正することができる。従って、ユーザは、描画物４１の奥行き距離が所望の距離となるように調整することができる。その結果、ユーザは描画物４１をより容易に認識することができる。
【００４７】
上記実施の形態において、表示装置１が本発明の「立体画像データ生成装置」に相当する。タッチパネル３が本発明の「受付手段」に相当する。図４のＳ４でタッチパネル３へ描画された追加画像のデータを入力するＣＰＵ１０が「入力手段」として機能する。図６のＳ２１で基準表示画像３０のデータと対応画像３８のデータとを取得するＣＰＵ１０が「データ取得手段」として機能する。図６のＳ２２〜Ｓ２６で視差情報（ｄ）を取得するＣＰＵ１０が「視差情報取得手段」として機能する。図８のＳ３７で画像データを生成するＣＰＵ１０が「生成手段」として機能する。図６のＳ２３で設定領域（ｓ）を設定するＣＰＵ１０が「設定手段」として機能する。図６のＳ２４で領域（ｔ）を探索するＣＰＵ１０が「探索手段」として機能する。図８のＳ４１で奥行き距離の入力を受け付けるＣＰＵ１０が「距離受付手段」として機能する。図８のＳ４３で視差情報（ｄ）の値を補正するＣＰＵ１０が「補正手段」として機能する。
【００４８】
図４のＳ４でタッチパネル３へ描画された追加画像のデータを入力する処理が「入力ステップ」に相当する。図６のＳ２１で基準表示画像３０のデータと対応画像３８のデータとを取得する処理が「データ取得ステップ」に相当する。図６のＳ２２〜Ｓ２６で視差情報（ｄ）を取得する処理が「視差情報取得ステップ」に相当する。図８のＳ３７で画像データを生成する処理が「生成ステップ」に相当する。
【００４９】
本発明は、上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。以下、図９および図１０を参照して、上記実施の形態の一変形例について説明する。上記実施の形態と同一の構成および処理については同一の番号を付し、説明を省略または簡略化する。変形例の表示装置１に装着されるメモリカード１７には、図９に示す視差情報データベースが記憶されている。視差情報データベースでは、三次元の基礎画像データのＩＤの各々に、基礎画像中に表示される各表示物の視差情報があらかじめ対応付けられている。
【００５０】
図１０に示すように、変形例の表示装置１が実行する視差情報取得処理では、ＣＰＵ１０は、基準表示画像３０のデータと対応画像３８のデータとを、メモリカード１７の基礎画像データ記憶エリア１７１から取得する（Ｓ２１）。ＣＰＵ１０は、基準表示画像３０内の追加領域３５を特定する（Ｓ２２）。ＣＰＵ１０は、基準表示画像３０で表示される１または複数の表示物のうち、追加領域３５に表示される表示物を特定する（Ｓ５１）。ＣＰＵ１０は、特定した追加領域３５内の表示物の視差情報を、視差情報データベース（図９参照）から取得する（Ｓ５２）。ここで、変形例の表示装置１では、ユーザは、取得された１または複数の視差情報のうちの１つを、対応追加画像を生成する際に採用させる視差情報として選択することができる。ＣＰＵ１０は、採用する視差情報を選択する指示を受け付けて（Ｓ５３）、処理を終了する。
【００５１】
以上のように、変形例の表示装置１は、基礎画像中に表示される各表示物の視差情報があらかじめ記憶されたメモリカード１７から、追加領域３５に表示される表示物の視差情報を取得することができる。従って、視差情報を算出する処理を経ることなく、描画物４１をユーザに立体視させるための画像のデータを生成することができる。また、上記実施の形態では、追加領域３５に基づいて算出された１または複数の視差情報（ｄ）のうち最も大きい値の視差情報（ｄ）が用いられて、画像データが生成される。換言すると、ユーザの左眼から左眼用画像の表示物に延びる視線と、ユーザの右眼から右眼用画像の表示物に延びる視線との交点が最もユーザに近い位置となる視差情報（ｄ）が用いられる。しかし、これは変更が可能である。例えば、変形例の表示装置１のように、取得された１または複数の視差情報のうちの１つをユーザに選択させて、選択された視差情報を用いて画像データを生成してもよい。この場合、ユーザは、追加領域３５に適した視差情報の中から、最適な視差情報を自ら選択して画像データを生成させることができる。また、表示装置１は、１または複数の視差情報の平均値を用いて画像データを生成してもよい。この場合でも、ユーザは、追加領域３５内の表示物と同様の奥行き距離に描画物４１が存在するように認識する。従って、ユーザは違和感無く描画物を認識することができる。
【００５２】
上記実施の形態は、他の変形も可能である。例えば、上記実施の形態では、画像を表示する表示装置１が、描画物４１を立体視させるための画像のデータを生成する。しかし、表示装置１以外の他の装置が画像データを生成してもよい。例えば、タッチパネルを備えた表示装置にパーソナルコンピュータを接続する。パーソナルコンピュータが、タッチパネルで描画された追加画像のデータを表示装置から入力し、描画物４１を立体視させるための画像のデータを生成してもよい。この場合、パーソナルコンピュータが本発明の「立体画像データ生成装置」に相当する。
【００５３】
上記実施の形態では、ユーザによる基準表示画像３０上への描画を受け付ける受付手段としてタッチパネル３が用いられた。しかし、マウス等の他のデバイスを受付手段として用いることも可能である。
【００５４】
上記実施の形態の表示装置１は、パッシブ・ステレオ方式と呼ばれる技術を利用して表示物を立体視させるための画像データを生成する。しかし、本発明は、右眼用画像と左眼用画像とを表示することで表示物を立体視させる技術であれば、パッシブ・ステレオ方式以外の他の技術にも利用できる。例えば、アクティブ・ステレオ方式、視差バリア方式、レンチキュラー方式等の公知の技術を用いる場合でも、本発明は利用できる。
【００５５】
上記実施の形態では、追加領域３５から視差情報（ｄ）を算出する手法として、面積相関法を用いる手法を採用している。しかし、他の手法を用いて視差情報（ｄ）を算出してもよい。例えば、表示物の輪郭を抽出し、左眼用画像における輪郭の位置と右眼用画像における輪郭の位置とから視差情報を取得する手法も、視差情報（ｄ）を算出する手法として採用できる。
【００５６】
上記実施の形態では、三次元表示される描画物自体は平面画像である。しかし、前述したように、表示物をやや左側から見た場合の画像を左眼用表示物の画像とし、さらに表示物をやや右側から見た場合の画像を右眼用表示物の画像とすることで、描画物自体も立体視させてもよい。例えば、基準表示画像に表示されている表示物のうち、描画物が追加された追加領域内に表示されている表示物の立体形状に基づいて、描画物の左眼用表示物の画像および右眼用表示物の画像を生成してもよい。
【符号の説明】
【００５７】
１    表示装置
２    ディスプレイ
３    タッチパネル
１０    ＣＰＵ
１１    ＲＯＭ
１７    メモリカード
３０    基準表示画像
３１〜３３    表示物
３５    追加領域
３８    対応画像
４０    追加画像
４１    描画物
１７１    基礎画像データ記憶エリア
１７２    追加画像データ記憶エリア
１７３    画像データベース記憶エリア
【図１】
2011180779.tif 000003
【図２】
2011180779.tif 000004
【図３】
2011180779.tif 000005
【図４】
2011180779.tif 000006
【図５】
2011180779.tif 000007
【図６】
2011180779.tif 000008
【図７】
2011180779.tif 000009
【図８】
2011180779.tif 000010
【図９】
2011180779.tif 000011
【図１０】
2011180779.tif 000012