(57)【要約】【課題】情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成する画像生成部と、前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定する特定部と、を備える、情報処理装置。【選択図】図１
2012256214.tif 000002
【特許請求の範囲】
【請求項１】
遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成する画像生成部と、
前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定する特定部と、
を備える、情報処理装置。
【請求項２】
前記画像生成部は、前記特定部により特定された立体画像および前記二次元画像の少なくともいずれかを、前記ユーザ操作に応じて変化させる、請求項１に記載の情報処理装置。
【請求項３】
前記二次元画像は、前記立体画像の影として表示されることにより前記立体画像に関連付けられる、請求項１に記載の情報処理装置。
【請求項４】
前記二次元画像は、前記立体画像を示す表示を含むことにより前記立体画像に関連付けられる、請求項１に記載の情報処理装置。
【請求項５】
前記画像生成部は、前記特定部により特定された立体画像および二次元画像の少なくともいずれかの色を変化させる、請求項１記載の情報処理装置。
【請求項６】
前記画像生成部は、前記二次元画像へユーザ操作に応じて、前記二次元画像および前記特定された立体画像の表示位置を変化させる、請求項１に記載の情報処理装置。
【請求項７】
前記画像生成部は、前記二次元画像の大きさをユーザ操作に応じて変化させ、さらに前記二次元画像の大きさの変化に応じて前記特定された立体画像の大きさを変化させる、請求項１に記載の情報処理装置。
【請求項８】
前記画像生成部は、前記特定された立体画像が浮いて表示される場合に、前記二次元画像の大きさをユーザ操作に応じて変化させ、さらに前記二次元画像の大きさの変化に応じて前記特定された立体画像の表示位置を変化させる、請求項１に記載の情報処理装置。
【請求項９】
前記画像生成部は、前記合成画像が表示される表示画面に垂直な軸を中心に前記二次元画像を回転させるユーザ操作に応じて、前記軸を中心に前記特定された立体画像を回転させる、請求項１に記載の情報処理装置。
【請求項１０】
遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成するステップと、
前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定するステップと、
を含む、情報処理方法。
【請求項１１】
遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成する処理と、
前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定する処理と、
をコンピュータに実行させる、プログラム。
【請求項１２】
前記合成画像を生成する処理は、前記特定する処理により特定された立体画像および前記二次元画像の少なくともいずれかを、前記ユーザ操作に応じて変化させる、請求項１１記載のプログラム。
【請求項１３】
前記二次元画像は、前記立体画像の影として表示されることにより前記立体画像に関連付けられる、請求項１１に記載のプログラム。
【請求項１４】
前記二次元画像は、前記立体画像を示す表示を含むことにより前記立体画像に関連付けられる、請求項１１に記載のプログラム。
【請求項１５】
前記合成画像を生成する処理は、前記特定する処理により特定された立体画像および二次元画像の少なくともいずれかの色を変化させる、請求項１１に記載のプログラム。
【請求項１６】
前記合成画像を生成する処理は、前記二次元画像へユーザ操作に応じて、前記二次元画像および前記特定された立体画像の表示位置を変化させる、請求項１１に記載のプログラム。
【請求項１７】
前記合成画像を生成する処理は、前記二次元画像の大きさをユーザ操作に応じて変化させ、さらに前記二次元画像の大きさの変化に応じて前記特定された立体画像の大きさを変化させる、請求項１１に記載のプログラム。
【請求項１８】
前記合成画像を生成する処理は、前記特定された立体画像が浮いて表示される場合に、前記二次元画像の大きさをユーザ操作に応じて変化させ、さらに前記二次元画像の大きさの変化に応じて前記特定された立体画像の表示位置を変化させる、請求項１１に記載のプログラム。
【請求項１９】
前記合成画像を生成する処理は、前記合成画像が表示される表示画面に垂直な軸を中心に前記二次元画像を回転させるユーザ操作に応じて、前記軸を中心に前記特定された立体画像を回転させる、請求項１１に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、映像を立体視できる３次元立体映像が注目されている。３次元立体映像の鑑賞方式としては、視差を設けた左眼用映像と右眼用映像を鑑賞させることにより鑑賞者に映像を立体視させる両目視差方式が普及しつつある。
【０００３】
このような３次元立体映像への操作を検出するために、特許文献１および特許文献２では、３次元空間上での物体の位置検知技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１３７７８号公報
【特許文献２】特開２０１０−５５５０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上述したような３次元空間上での物体の位置検知技術は、３次元空間の操作体の位置を認識するセンサが必要になるので、モバイル機器など比較的ハードウェアリソースが限られている機器で利用することが困難な場合が多い。
【０００６】
３次元空間上での物体の位置検知技術が困難であると、ユーザが３次元立体映像を直接操作できるインターフェースは実現し難い。また、通常モバイル機器などに搭載されているタッチセンサを利用して３次元立体映像を直接操作しようとすると、立体的に見える３次元立体映像と、実際に操作を行なう位置にズレが生じる。このようなズレにより、ユーザは３次元画像を操作する際に違和感を覚える。
【０００７】
そこで、本開示では、立体画像を容易に違和感なく選択することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラム提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成する画像生成部と、前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定する特定部と、を備える情報処理装置が提供される。
【０００９】
また、本開示によれば、遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成するステップと、前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定するステップと、を含む情報処理方法が提供される。
【００１０】
また、本開示によれば、遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成する処理と、前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定する処理と、をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、立体画像を容易に違和感なく選択することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本開示による情報処理装置の概要を説明するための図である。
【図２】ファントグラムの概要を説明するための図である。
【図３】本開示の一実施形態による情報処理装置のブロック構成図である。
【図４】モデルデータに基づいてファントグラムを作成する手順を説明するための図である。
【図５】オブジェクトに仮想的なライトからの光が当たった場合に生じる影を説明するための図である。
【図６】浮かんでいる立体画像とその影である二次元画像との関連を明示する表示例を示す図である。
【図７】浮かんでいる立体画像とその影である二次元画像との関連を明示する他の表示例を示す図である。
【図８】本開示の一実施形態による情報処理装置が画像生成を行う場合の動作処理を示すフローチャートである。
【図９】本開示の一実施形態による情報処理装置がユーザ操作に応じて合成画像を変更する場合の動作処理を示すフローチャートである。
【図１０】本開示の一実施形態の操作例１を説明するための図である。
【図１１】本開示の一実施形態の操作例１の変形例を説明するための図である。
【図１２】本開示の一実施形態の操作例２を説明するための図である。
【図１３】本開示の一実施形態の操作例３におけるピンチアウト操作を説明するための図である。
【図１４】本開示の一実施形態の操作例３におけるピンチイン操作を説明するための図である。
【図１５】本開示の一実施形態の操作例４を説明するための図である。
【図１６】本開示の一実施形態の操作例５におけるピンチアウト操作を説明するための図である。
【図１７】本開示の一実施形態の操作例６におけるピンチアウト操作を説明するための図である。
【図１８】本開示の一実施形態の操作例６におけるピンチイン操作を説明するための図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．情報処理装置の概要
２．本開示の一実施形態
２−１．構成
２−２．動作処理
２−３．具体的な操作例
３．まとめ
【００１５】
このように、「２．本開示の一実施形態」を例として挙げて説明する本開示による情報処理装置（１０）は、
Ａ：遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成する画像生成部（１２）と、
Ｂ：前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定する特定部（１８）と、
を備える。
次に、このような本開示による情報処理装置（１０）の概要について図１を参照して説明する。
【００１６】
＜１．情報処理装置の概要＞
図１は、本開示による情報処理装置の概要を説明するための図である。図１に示すように、情報処理装置１０は表示部１４を有する。情報処理装置１０の一例としては、タブレット型コンピュータが挙げられる。また、表示部１４には、後述するファントグラム形式の視差をつけた両目用画像が表示されている。このため、机６などの水平な場所に置かれた情報処理装置１０を、ユーザが斜め上方からメガネ３を通して観察すると、図１に示すように、あたかもそこに立体画像３０が実在しているかのように見ることができる。
【００１７】
さらに、表示部１４は、二次元画像３２を立体画像３０のデフォルメした影として表示する。上述したように、立体画像３０は、机上等に置かれた情報処理装置１０上にあたかも実在しているように見えるので、表示部１４に表示された二次元画像３２は、平面に落ちた立体画像３０の影に見える。ユーザは、このように影として表示された二次元画像３２をタッチ操作することで、間接的に違和感なく立体画像３０を操作できる。例えば表示部１４が操作入力部１６と一体化したタッチパネルディスプレイの場合、ユーザはタッチパネルディスプレイに表示された二次元画像３２をタッチ操作できる。
【００１８】
一般的に、立体画像を直接操作する場合は、空間上のユーザ操作の位置を、ｘ，ｙ，ｚ方向において検出しなければならず、モバイル機器など比較的ハードウェアリソースが限られている機器で実現することが困難な場合が多い。また、立体画像を直接操作する場合、立体画像のユーザによる知覚位置をｘ，ｙ，ｚ方向において検出する必要もあるので、立体画像が複雑な飛び出し形状を有する場合などは、知覚位置を正確に認識することが困難であった。
【００１９】
そこで、本開示による情報処理装置１０によれば、立体画像３０の形状やユーザ操作の位置を３次元空間のｘ，ｙ，ｚ方向において検出することなく、二次元画像３２への操作に応じて立体画像３０を表示制御する。つまり、情報処理装置１０は、二次元画像３２のｘ，ｙ方向の操作位置のみ検出できれば、ユーザ操作に応じた立体画像操作を実現することができる。
【００２０】
また、情報処理装置１０によれば、立体画像３０の操作ハンドルを表示部１４の平面に落ちた立体画像３０の影として表現することで、画一的な操作インターフェースを提供することができる。
【００２１】
このように、ユーザは、立体画像３０の影として表示された二次元画像３２に対して直接操作することで立体画像３０を間接的に操作するので、立体画像３０の操作を違和感なく行なえる。
【００２２】
（ファントグラム）
上述したように、本開示による情報処理装置は、立体画像３０の操作ハンドルである影を表示部１４の平面に落ちた立体画像３０の影として表現するので、表示部１４を水平にした場合に、表示部１４上に飛び出して見える立体画像３０を生成する。このような立体画像を実現する方式の一例として、ファントグラムと称される技術が挙げられる。以下、ファントグラムについて図２を参照して説明する。
【００２３】
図２は、ファントグラムの概要を説明するための図である。図２に示すように、ファントグラム形式で生成されたアナグリフ１は、赤−シアンなどの異なる独立した２色で描画された左目用画像２Ｌおよび右目用画像２Ｒを含む。左目用画像２Ｌおよび右目用画像２Ｒは、斜め上方の視点から見た場合の視差を有する左目用画像および右目用画像をそれぞれ遠近補正したものである。
【００２４】
そして、アナグリフ１が水平になるよう表示装置を置き、左目用画像２Ｌと右目用画像２Ｒの色にそれぞれ対応する色のフィルターをレンズにしたメガネ３を通して斜め上方から観察すると、あたかもそこに立体画像５が実在するように見える。斜め上方から見る場合の角度αは、１８０度以下の所定の角度、例えば４５度である。
【００２５】
また、水平に置かれた表示装置を斜め上方から観察すると、ユーザは、表示装置の表示画面を机や床などの基準面の延長のように知覚する。さらに立体画像５はファントグラムにより遠近が強調されるので、ユーザは基準面から立体画像５が飛び出して見え、立体画像５がよりリアルにそこに実在しているように見える。
【００２６】
このように、ファントグラム形式により生成された立体画像は、水平に置かれた表示画面を基準面として、あたかも基準面上にものが置かれているように見えるので、ユーザはよりリアルに感じることができる。以下に説明する本開示の一実施形態による情報処理装置では、このようなファントグラム形式により立体画像を生成する。
【００２７】
＜２．本開示の一実施形態＞
［２−１．構成］
本開示の一実施形態による情報処理装置１０の構成について、図３から図７を参照して説明する。
【００２８】
図３は、本実施形態による情報処理装置１０のブロック構成図である。図３に示すように、情報処理装置１０は、画像生成部１２、メモリ１３、表示部１４、操作入力部１６、特定部１８および判定部２０を備える。
【００２９】
画像生成部１２は、表示部１４に表示する画像を生成する機能を有する。また、本実施形態による表示生成部１２は、選択対象として特定された立体画像およびタッチ操作された二次元画像の少なくともいずれかの表示を変更する制御を行う。具体的には、画像生成部１２は、立体画像生成部１２１、影生成部１２２、および合成部１２３を備える。立体画像生成部１２１は、メモリ１３からモデルデータを取得し、モデルデータに基づいて視差を有する両目用画像を生成する。
【００３０】
なお本実施形態による立体画像生成部１２は、ファントグラム形式により立体画像を生成する。ここで、図４を参照してファントグラム形式による立体画像生成について説明する。
【００３１】
図４は、モデルデータに基づいてファントグラムを作成する手順を説明するための図である。図４に示すように、モデルデータに含まれる視差を有するＬ（左目用画像）０およびＲ（右目用画像）０に示す。モデルデータは、正面用、回転用、拡大・縮小用など全てのバリエーションに対応するデータを含むが、ここでは正面用のモデルデータに基づいてファントグラムを作成する。
【００３２】
また、図４に示すＬ０およびＲ０は、説明を分かりやすくするため、被写体が置かれる基準面に格子模様が描かれているものとした。また、Ｌ０およびＲ０は、斜め上方の視点から見た場合の画像である。斜め上方から見た場合の角度は、１８０度以下の所定の角度、例えば４５度である。
【００３３】
次に、Ｌ０およびＲ０に示すモデルデータについて遠近補正を行ったものがＬ１およびＲ１である。遠近補正は、遠近法的変形による座標変換であって、パースペクティブ変換とも称される。Ｌ１およびＲ１においては基準面に平行な面上に存在する図形は歪みなく表示されるので、格子模様は直角に交わる正方格子となる。
【００３４】
そして、Ｌ１およびＲ１をそれぞれ異なる色の画像として重ね、アナグリフＡを作成したものがファントグラムとなる。
【００３５】
立体画像生成部１２１は、このように生成した立体画像（ファントグラム）を、合成部１２３に入力する。
【００３６】
影生成部１２２は、モデルに対する影を二次元画像により生成する。影生成部１２２が生成する影は、図５に示すように、オブジェクトＯに仮想的なライト７からの光が当たった場合にオブジェクトＯの形状に即して生じる影Ｓでもよい。また、影生成部１２２が生成する影は、デフォルメにより簡略化した影でもよい。また、影生成部１２２は、生成した二次元画像を合成部１２３に入力する。
【００３７】
合成部１２３は、立体画像生成部１２１が生成した立体画像に、影生成部１２２が立体画像の影として生成した二次元画像を合成して合成画像を生成する。合成部１２３は、生成した合成画像を表示部１４に入力する。
【００３８】
メモリ１３は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。メモリ１３は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。メモリ１３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。メモリ１３は、ハードディスクを駆動し、情報処理装置１０が実行するプログラムや各種データを格納する。また、本実施形態によるメモリ１３は、立体画像生成用の様々なバリエーションを含むモデルデータを格納する。
【００３９】
表示部１４は、表示画面に画像を表示する機能を有する。また、表示部１４の機能は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置により実現される。本実施形態による表示部１４は、画像生成部１２から入力された合成画像を表示する。
【００４０】
操作入力部１６は、ユーザによる操作を検出する機能を有する。操作入力部１６の機能は、接触センサ、近接センサ、操作ボタンなどにより実現される。ここで、本明細書では、表示部１４および操作入力部１６が一体的に構成されるタッチパネルディスプレイを一例として用いる。本実施形態による操作入力部１６は、表示された二次元画像へのタッチ操作、ドラッグ操作などのユーザ操作を検出し、検出結果を特定部１８および判定部２０に入力する。なお、本明細書では操作入力部１６が接触センサの場合を例として説明するが、これに限らず、タッチ操作、ドラッグ操作などのユーザ操作を近接センサにより検出してもよい。
【００４１】
特定部１８は、操作入力部１６から入力された検出結果に基づいて、タッチ操作（タップまたはクリック操作を含む）がされた二次元画像が関連付けられた立体画像を選択対象として特定する。例えば、二次元画像を、立体画像に重なる影として関連付けて表示する場合、タッチ操作された二次元画像に重なって表示される立体画像を選択対象として特定する。
【００４２】
なお二次元画像が、浮かんでいる立体画像の影の場合、影は立体画像と重ならず、離れて表示されることがある。この場合、立体画像と影である二次元画像との関連付けを示すために、二次元画像は、立体画像を示す表示を含んでもよい。立体画像を示す表示を含む二次元画像の具体例について、図６および図７を参照して説明する。
【００４３】
図６は、浮かんでいる立体画像３４とその影である二次元画像３６との関連を明示する表示例を示す図である。図６に示すように、立体画像３４とその影である二次元画像３６を、立体画像の紐３７で繋げる表示を行うことで、関連付けを行ってもよい。
【００４４】
図７は、浮かんでいる立体画像３４とその影である二次元画像３６との関連を明示する他の表示例を示す図である。図７に示すように、二次元画像３６に、どの立体画像の影であるかを示す文字情報３９を表示することで、関連付けを行ってもよい。以上、特定部１８による処理を説明した。次に、再び図３に戻り、情報処理装置１０の構成の説明を続ける。
【００４５】
判定部２０は、操作入力部１６から入力された検出結果に基づいて、表示部１４に表示された二次元画像に対する所定のユーザ操作を判定する。検出結果は、例えばユーザが接触または近接した箇所の二次元座標により示される。判定部２０は、二次元画像に対して所定のユーザ操作がなされたか否かを判定する。
【００４６】
所定のユーザ操作は、例えば、ドラッグ操作、ピンチアウト操作、ピンチイン操作、および回転操作などである。判定部２０は、どのようなユーザ操作が行なわれたか、およびドラッグした距離などの操作量を判定結果として画像生成部１２に入力する。
【００４７】
以上、本実施形態による情報処理装置１０の構成について詳細に説明した。次に、本実施形態による情報処理装置１０における動作処理について図８および図９を参照して説明する。
【００４８】
［２−２．動作処理］
図８は、本実施形態による情報処理装置１０が画像生成を行う場合の動作処理を示すフローチャートである。図８に示すように、まずステップＳ１０２において、モデルデータが画像生成部１２に入力される。次いで、ステップＳ１０４において、立体画像生成部１２１は、モデルデータに基づいて立体画像を生成する。
【００４９】
次に、ステップＳ１０６において、影生成部１２２は、モデルに対する影を二次元画像により生成する。
【００５０】
そして、ステップＳ１０８において、合成部１２３は、立体画像生成部１２１により生成された立体画像と、影生成部１２２により生成された二次元画像を合成し、合成画像を生成する。なお、合成部１２３は、生成した合成画像を表示部１４に入力する。
【００５１】
このようにして、画像生成部１２は、表示部１４に表示する合成画像を生成する。次に、表示部１４に表示された合成画像に対するユーザ操作に応じて、合成画像が変更される場合の動作処理について図９を参照して説明する。
【００５２】
図９は、本実施形態による情報処理装置１０がユーザ操作に応じて合成画像を変更する場合の動作処理を示すフローチャートである。図９に示すように、まずステップＳ１１２において、操作入力部１６は、影の領域である二次元画像に対するユーザのタッチ操作を検出し、検出結果を特定部１８および判定部２０に入力する。
【００５３】
次いで、ステップＳ１１４において、特定部１８は、検出結果に基づいて、タッチ操作された二次元画像が関連付けられた立体画像を選択対象として特定する。また、特定部１８は、特定結果を画像生成部１２に入力する。
【００５４】
次に、ステップＳ１１５において、表示生成部１２は、選択対象として特定された立体画像およびタッチ操作された二次元画像の少なくともいずれかの表示を変更する制御を行う。これにより、表示部１４においてタッチ操作のフィードバックを行ない、ユーザは選択できたことを認識できる。タッチ操作（タップまたはクリック操作を含む）に応じた表示変更については、次の［２−３．具体的な操作例］において説明する。
【００５５】
続いて、ステップＳ１１６において、判定部２０は、操作入力部１６により検出されたユーザ操作が所定のユーザ操作であるか否か判定する。所定のユーザ操作である場合、処理はステップＳ１１８に進む。一方、所定のユーザ操作でない場合、処理は終了する。
【００５６】
そして、ステップＳ１１８において、画像生成部１２は、特定部１８によって特定された立体画像およびタッチ操作された二次元画像の少なくともいずれかを、判定部２０によって判定された所定のユーザ操作に応じて表示変更する。これにより、表示部１４において所定のユーザ操作のフィードバックが行なわれる。ここで、所定のユーザ操作は、ドラッグ操作、ピンチアウト操作、ピンチイン操作、回転操作などが挙げられる。各所定の操作に応じた表示変更については、次の［２−３．具体的な操作例］において説明する。
【００５７】
以上、本実施形態による情報処理装置１０の動作処理について説明した。次に、判定部２０による判定結果に応じて合成画像がどのように変化するかについて、操作例１から操作例６を挙げて具体的に説明する。
【００５８】
［２−３．具体的な操作例］
（操作例１）
操作例１は、ユーザが二次元画像にタッチ操作（タップまたはクリック操作を含む）を行なった場合の例である。画像生成部１２は、判定部２０によりユーザ操作としてタップ操作が判定された場合、タップ操作が行なわれた二次元画像およびかかる二次元画像に関連付けられている立体画像の少なくともいずれかを変化させ、選択状態であることを示す。以下に、操作例１による合成画像の変化を図１０および図１１を参照して説明する。
【００５９】
図１０は、本実施形態の操作例１を説明するための図である。図１０に示すように、立体画像３４と、立体画像３４が重なった二次元画像の影３６が表示されている場合に、ユーザが影３６をタップ操作すると、立体画像３４の周りに発光画像３８が立体表示される。この他、画像生成部１２は、立体画像３４の色を変化させてもよいし、立体画像３４を回転させるなどのモーション変化を行ってもよいし、立体画像３４を点滅させてもよい。
【００６０】
図１１は、本実施形態の操作例１の変形例を説明するための図である。図１１に示すように、立体画像３４と、立体画像３４が重なった二次元画像の影３６が表示されている場合に、ユーザが影３６にタップ操作を行なうと、影３６の色が変化する。この他、画像生成部１２は、ユーザのタップ操作に応じて、影３６を薄く／濃くしてもよいし、影３６の形が一瞬変化するなどのモーション変化を行ってもよいし、影３６を点滅させてもよい。
【００６１】
（操作例２）
操作例２は、ユーザが二次元画像にドラッグ操作を行なった場合の例である。画像生成部１２は、判定部２０によりユーザ操作としてドラッグ操作が判定された場合、ドラッグされた方向に立体画像および二次元画像を移動させる。以下に、操作例２による合成画像の変化について図１２を参照して説明する。
【００６２】
図１２は、本実施形態の操作例２を説明するための図である。図１２に示すように、立体画像３４ａの影３６ａを右方向にドラッグすると、立体画像３４ｂと影３６ｂとして示すように、表示位置が右方向に移動する。
【００６３】
（操作例３）
操作例３は、ユーザが二次元画像にピンチアウト操作またはピンチイン操作を行なった場合の例である。画像生成部１２は、判定部２０によりユーザ操作としてピンチアウト操作またはピンチイン操作が判定された場合、操作が行なわれた二次元画像およびかかる二次元画像に関連付けられている立体画像の大きさを変化させる。以下に、操作例３による合成画像の変化を図１３および図１４を参照して説明する。
【００６４】
図１３は、本実施形態の操作例３におけるピンチアウト操作を説明するための図である。図１３に示すように、立体画像４０ａの影４２ａをピンチアウトする操作を行なうと、影４２ｂのように、影はユーザの指に合わせて大きく表示され、また、立体画像４０ｂのように、立体画像も影が大きく表示されるにつれて等方的に大きく表示される。
【００６５】
図１４は、本実施形態の操作例３におけるピンチイン操作を説明するための図である。図１４に示すように、立体画像４０ａの影４２ａをピンチインする操作を行なうと、影４２ｃのように、影はユーザの指に合わせて小さく表示され、また、立体画像４０ｃのように、立体画像も影が小さく表示されるにつれて等方的に小さく表示される。
【００６６】
（操作例４）
操作例４は、ユーザが二次元画像に回転操作を行なった場合の例である。画像生成部１２は、判定部２０によりユーザ操作として回転操作が判定された場合、回転操作が行なわれた二次元画像およびかかる二次元画像に関連付けられている立体画像を回転させる。以下に、操作例４による合成画像の変化について図１５を参照して説明する。
【００６７】
図１５は、本実施形態の操作例４を説明するための図である。図１５に示すように、ユーザが立体画像４４ａの影４６ａに対して回転操作を行なうと、立体画像４４ｂおよび影４６ｂのように、合成画像が表示される表示画面に垂直な軸Ｐを中心に回転する。なお、軸Ｐは、図１５に示すような立体画像４４ａおよび影４６ａの中心軸に限られず、例えば影４６ａおよび立体画像４４ａの右端であって、表示画面に垂直な軸であってもよい。
【００６８】
（操作例５）
操作例５は、ユーザが二次元画像にピンチアウト操作またはピンチイン操作を行なった場合の他の例である。画像生成部１２は、判定部２０によりユーザ操作としてピンチアウト操作またはピンチイン操作が判定された場合、ｘ成分およびｙ成分を分解し、各成分に応じて合成画像を変化させる。以下に、操作例５による合成画像の変化について図１６を参照して説明する。
【００６９】
図１６は、本実施形態の操作例５におけるピンチアウト操作を説明するための図である。図１６に示すように、ユーザが立体画像４０ａの影４２ａに対してピンチアウト操作を行なうと、画像生成部１２は、ピンチアウト操作をｘ成分、ｙ成分に分解し、それぞれの成分毎に影の拡大を行う。
【００７０】
そして、変更後の影４２ｄの形状と、図５に示すような仮想的なライト７の位置に基づき、変更後の影の形状が想定される立体画像４０ｄの形状を算出し、立体画像４０の形状を変化させる。なお、ユーザが立体画像４０ａの影４２ａに対してピンチイン操作を行なうと、画像生成部１２は、ピンチイン操作をｘ成分、ｙ成分に分解し、それぞれの成分毎に影の縮小を行う。
【００７１】
（操作例６）
操作例６は、浮かんでいる立体画像の影である二次元画像にユーザがピンチアウト操作またはピンチイン操作を行なった場合の例である。画像生成部１２は、判定部２０によりユーザ操作としてピンチアウト操作またはピンチイン操作が判定された場合、これらの操作が行なわれた二次元画像およびかかる二次元画像に関連付けられている立体画像を変化させる。また、二次元画像は、立体画像の影として関連付けられる。ここで、物体が浮くほど影は拡散するので、影の色の濃い範囲が小さくなる。よって、画像生成部１２は、立体画像が浮かび上がる程影の色の濃い範囲を小さく表示する。以下に、操作例６による合成画像の変化を図１７および図１８を参照して説明する。
【００７２】
図１７は、本実施形態の操作例６におけるピンチアウト操作を説明するための図である。図１７に示すように、浮かんでいる立体画像４８ａの影４９ａに対してピンチアウト操作を行なうと、影４９ａはユーザの指に合わせて大きく表示され、影４９ｄのように表示される。そして、立体画像４８ａの表示位置（高度）は下がり、例えば立体画像４８ｂのように低く表示される。
【００７３】
図１８は、本実施形態の操作例６におけるピンチイン操作を説明するための図である。図１８に示すように、浮かんでいる立体画像４８ａの影４９ａに対してピンチイン操作を行なうと、影４９ａはユーザの指に合わせて小さく表示され、影４９ｃのように表示される。そして、立体画像４８ａの表示位置（高度）は上がり、例えば立体画像４８ｃのように高く表示される。
【００７４】
＜３．まとめ＞
上述したように、本開示による情報処理装置は、立体画像に関連付けて表示された二次元画像を操作することで、間接的に立体画像を操作することができる。これにより、立体画像の複雑な飛び出し形状に応じた３次元空間の操作位置を考慮することなく、容易に立体画像の選択や操作を行なうことができる。
【００７５】
また、本開示による情報処理装置によれば、立体画像をファントグラムにより生成し、二次元画像を表示部１４の平面に落ちた立体画像の影として表現するので、ユーザは立体画像の飛び出しをよりリアルに知覚しつつ、かつ平面に落ちた立体画像の影を違和感なく操作することができる。
【００７６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００７７】
例えば、本明細書に記載の情報処理装置１０の処理における各ステップは、必ずしも図８および図９に示したフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。具体的には、例えば図８に示すステップＳ１０４およびＳ１０６は、異なる順序で処理されても、並列的に処理されてもよい。
【００７８】
また、上述した実施形態による情報処理装置１０の各構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といったハードウェア構成により実現してもよい。
【００７９】
また、上述した実施形態による情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００８０】
なお、本技術は以下のような構成も取ることができる。
（１）
遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成する画像生成部と、
前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定する特定部と、
を備える、情報処理装置。
（２）
前記画像生成部は、前記特定部により特定された立体画像および前記二次元画像の少なくともいずれかを、前記ユーザ操作に応じて変化させる、前記（１）記載の情報処理装置。
（３）
前記二次元画像は、前記立体画像の影として表示されることにより前記立体画像に関連付けられる、前記（１）または前記（２）に記載の情報処理装置。
（４）
前記二次元画像は、前記立体画像を示す表示を含むことにより前記立体画像に関連付けられる、前記（１）から前記（３）のいずれかに記載の情報処理装置。
（５）
前記画像生成部は、前記特定部により特定された立体画像および二次元画像の少なくともいずれかの色を変化させる、前記（１）から前記（４）のいずれかに記載の情報処理装置。
（６）
前記画像生成部は、前記二次元画像へユーザ操作に応じて、前記二次元画像および前記特定された立体画像の表示位置を変化させる、前記（１）から前記（５）のいずれかに記載の情報処理装置。
（７）
前記画像生成部は、前記二次元画像の大きさをユーザ操作に応じて変化させ、さらに前記二次元画像の大きさの変化に応じて前記特定された立体画像の大きさを変化させる、前記（１）から前記（６）のいずれかに記載の情報処理装置。
（８）
前記画像生成部は、前記特定された立体画像が浮いて表示される場合に、前記二次元画像の大きさをユーザ操作に応じて変化させ、さらに前記二次元画像の大きさの変化に応じて前記特定された立体画像の表示位置を変化させる、前記（１）から前記（６）のいずれかに記載の情報処理装置。
（９）
前記画像生成部は、前記合成画像が表示される表示画面に垂直な軸を中心に前記二次元画像を回転させるユーザ操作に応じて、前記軸を中心に前記特定された立体画像を回転させる、前記（１）から前記（８）のいずれかに記載の情報処理装置。
（１０）
遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成するステップと、
前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定するステップと、
を含む、情報処理方法。
（１１）
遠近補正された、視差を有する右目用画像および左目用画像から生成される立体画像に、前記立体画像に関連付けられた二次元画像を合成して合成画像を生成する処理と、
前記二次元画像へのユーザ操作が検出された場合、前記二次元画像が関連付けられた立体画像を選択対象として特定する処理と、
をコンピュータに実行させる、プログラム。
（１２）
前記合成画像を生成する処理は、前記特定する処理により特定された立体画像および前記二次元画像の少なくともいずれかを、前記ユーザ操作に応じて変化させる、前記（１１）記載のプログラム。
（１３）
前記二次元画像は、前記立体画像の影として表示されることにより前記立体画像に関連付けられる、前記（１１）または前記（１２）に記載のプログラム。
（１４）
前記二次元画像は、前記立体画像を示す表示を含むことにより前記立体画像に関連付けられる、前記（１１）から前記（１３）のいずれかに記載のプログラム。
（１５）
前記合成画像を生成する処理は、前記特定する処理により特定された立体画像および二次元画像の少なくともいずれかの色を変化させる、（１１）から前記（１４）のいずれかに記載のプログラム。
（１６）
前記合成画像を生成する処理は、前記二次元画像へユーザ操作に応じて、前記二次元画像および前記特定された立体画像の表示位置を変化させる、前記（１１）から前記（１５）のいずれかに記載のプログラム。
（１７）
前記合成画像を生成する処理は、前記二次元画像の大きさをユーザ操作に応じて変化させ、さらに前記二次元画像の大きさの変化に応じて前記特定された立体画像の大きさを変化させる、前記（１１）から前記（１６）のいずれかに記載のプログラム。
（１８）
前記合成画像を生成する処理は、前記特定された立体画像が浮いて表示される場合に、前記二次元画像の大きさをユーザ操作に応じて変化させ、さらに前記二次元画像の大きさの変化に応じて前記特定された立体画像の表示位置を変化させる、前記（１１）から前記（１６）のいずれかに記載のプログラム。
（１９）
前記合成画像を生成する処理は、前記合成画像が表示される表示画面に垂直な軸を中心に前記二次元画像を回転させるユーザ操作に応じて、前記軸を中心に前記特定された立体画像を回転させる、前記（１１）から前記（１８）のいずれかに記載のプログラム。
【符号の説明】
【００８１】
１      アナグリフ
３      メガネ
５      立体画像
１０    情報処理装置
１２    画像生成部
１２１    立体画像生成部
１２２    影生成部
１２３    合成部
１３    メモリ
１４    表示部
１６    操作入力部
１８    特定部
２０    判定部
３０    立体画像
３２    二次元画像
【図１】
2012256214.tif 000003
【図２】
2012256214.tif 000004
【図３】
2012256214.tif 000005
【図４】
2012256214.tif 000006
【図５】
2012256214.tif 000007
【図６】
2012256214.tif 000008
【図７】
2012256214.tif 000009
【図８】
2012256214.tif 000010
【図９】
2012256214.tif 000011
【図１０】
2012256214.tif 000012
【図１１】
2012256214.tif 000013
【図１２】
2012256214.tif 000014
【図１３】
2012256214.tif 000015
【図１４】
2012256214.tif 000016
【図１５】
2012256214.tif 000017
【図１６】
2012256214.tif 000018
【図１７】
2012256214.tif 000019
【図１８】
2012256214.tif 000020