(57)【要約】【課題】自然に表示される三次元画像を生成する画像処理装置を提供する。【解決手段】画像処理装置である携帯電話機のＣＰＵ１１０は、二次元の編集元画像を擬似立体視画像に変換して右目用画像と左目用画像とを得るための変換部１５と、二次元画像である編集用画像から、視差情報に基づいて右目用画像と左目用画像とを生成するための生成部１６と、変換して得られた右目用画像と生成された右目用画像とを合成し、変換して得られた左目用画像と生成された左目用画像とを合成するための合成部１７とを含む。【選択図】図６
2012239141.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に視差情報を有する第２の画像を合成して、三次元画像を作成する画像処理装置であって、
二次元画像である前記第１の画像を擬似立体視画像に変換して右目用画像と左目用画像とを得るための変換手段と、
前記第２の画像から、前記視差情報に基づいて右目用画像と左目用画像とを生成するための生成手段と、
前記変換手段で得られた前記右目用画像と前記生成手段で生成された前記右目用画像とを合成し、前記変換手段で得られた前記左目用画像と前記生成手段で生成された前記左目用画像とを合成するための合成手段とを備える、画像処理装置。
【請求項２】
前記変換手段で前記第１の画像を擬似立体視画像に変換するために用いる視差は、前記生成手段で前記第２の画像から右目用画像と左目用画像とを生成するために用いる視差よりも小さいことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像に対して視差を設定し、当該視差を表わす前記視差情報を前記第２の画像に対して付加するための第１の設定手段をさらに備え、
前記第１の設定手段は、前記変換手段で前記第１の画像を擬似立体視画像に変換するために用いる視差よりも大きい視差を前記第２の画像に対して設定する、請求項２に記載の画像処理装置。
【請求項４】
前記変換手段で前記第１の画像を擬似立体視画像に変換するために用いる視差を設定するための第２の設定手段と、
前記第１の設定手段で前記第２の画像に対して設定された視差を、前記第２の設定手段で設定された視差に基づいて更新するための更新手段とをさらに備える、請求項３に記載の画像処理装置。
【請求項５】
視差を指定する入力を受け付けるための入力手段をさらに備える、請求項３または４に記載の画像処理装置。
【請求項６】
前記合成手段によって得られた前記右目用画像および前記左目用画像を関連付けて、立体視画像ファイルとして保持するための保持手段をさらに備える、請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
画像処理装置での、第１の画像に視差情報を有する第２の画像を合成して、三次元画像を作成する方法であって、
二次元画像である前記第１の画像を擬似立体視画像に変換して右目用画像と左目用画像とを得るステップと、
前記第２の画像から、前記視差情報に基づいて右目用画像と左目用画像とを生成するステップと、
前記変換するステップで得られた前記右目用画像と前記生成するステップで生成された前記右目用画像とを合成し、前記変換するステップで得られた前記左目用画像と前記生成するステップで生成された前記左目用画像とを合成するステップとを備える、画像処理方法。
【請求項８】
画像処理装置に、第１の画像に視差情報を有する第２の画像を合成して、三次元画像を作成する処理を実行させるためのプログラムであって、
二次元画像である前記第１の画像を擬似立体視画像に変換して右目用画像と左目用画像とを得るステップと、
前記第２の画像から、前記視差情報に基づいて右目用画像と左目用画像とを生成するステップと、
前記変換するステップで得られた前記右目用画像と前記生成するステップで生成された前記右目用画像とを合成し、前記変換するステップで得られた前記左目用画像と前記生成するステップで生成された前記左目用画像とを合成するステップとを前記画像処理装置に実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像処理装置、画像処理方法、および画像処理プログラムに関し、特に、三次元画像の処理を行なう画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
携帯電話機などの画像処理装置において二次元の画像データに基づいて三次元画像を生成する場合、当該画像データに基づいて右目用画像と左目用画像とを生成する方法が一般的である。このとき、奥行きの異なるオブジェクトが含まれる場合、当該オブジェクトを画像データから抽出して仮想レイヤを生成し、当該仮想レイヤに対して異なる視差を用いて右目用画像と左目用画像とを生成する。このようにして三次元画像を生成して表示させる方法は擬似三次元表示、擬似立体視表示、などとも称される。
【０００３】
また、二次元の画像データの編集を行なって三次元画像を生成する場合、編集画像を二次元の画像データに合成した上で合成画像から右目用画像と左目用画像とを生成する方法が一般的である。このような例として、たとえば撮影画像に対してユーザが任意のコンテンツを編集画像として加え、当該コンテンツを撮影画像よりも飛び出して表示させる、という使い方が挙げられる。この場合、合成画像から編集画像であるコンテンツを抽出して仮想レイヤを生成し、当該仮想レイヤに対して異なる視差を用いて右目用画像と左目用画像とを生成する方法が挙げられる。
【０００４】
他の例として、たとえば特開２００２−２１８２１７号公報（以下、特許文献１）は、合成元画像に対してレンチキュラーレンズが配列された飾り画像を合成することで、飾り画像部分が擬似立体画像となった合成画像を得る技術を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２１８２１７号公報
【特許文献２】特開２０１１−２４６３８号公報
【特許文献３】特開２００４−１２００５８号公報
【特許文献４】特開平１１−２４４５３４号公報
【特許文献５】特開平１１−２５０２７４号公報
【特許文献６】特開２０００−６１１４５号公報
【特許文献７】特開２００７−４３６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、編集画像を編集元の二次元の画像に合成して合成画像を三次元表示する方法では、編集画像が編集元の二次元の画像よりも必ずしも前に飛び出して表示されるとは限らない。そのため、三次元表示が不自然に感じられる場合がある、という問題がある。
【０００７】
また、二次元の画像からオブジェクトを抽出して異なる視差に基づいて三次元表示する場合、オブジェクトが抽出されなかった場合には当該オブジェクトが飛び出して表示されないという問題もある。
【０００８】
また、特許文献１に開示された技術は合成元画像が三次元表示されない。
本発明はこのような問題に鑑みてなされたものであって、自然に立体表示される三次元画像を生成することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のある局面に従うと、画像処理装置は第１の画像に視差情報を有する第２の画像を合成して三次元画像を作成する画像処理装置であって、二次元画像である第１の画像を擬似立体視画像に変換して右目用画像と左目用画像とを得るための変換手段と、第２の画像から、視差情報に基づいて右目用画像と左目用画像とを生成するための生成手段と、変換手段で得られた右目用画像と生成手段で生成された右目用画像とを合成し、変換手段で得られた左目用画像と生成手段で生成された左目用画像とを合成するための合成手段とを備える。
【００１０】
好ましくは、変換手段で第１の画像を擬似立体視画像に変換するために用いる視差は、生成手段で第２の画像から右目用画像と左目用画像とを生成するために用いる視差よりも小さいことを特徴とする。
【００１１】
好ましくは、画像処理装置は、第２の画像に対して視差を設定し、当該視差を表わす視差情報を第２の画像に対して付加するための第１の設定手段をさらに備え、第１の設定手段は、変換手段で第１の画像を擬似立体視画像に変換するために用いる視差よりも大きい視差を第２の画像に対して設定する。
【００１２】
より好ましくは、画像処理装置は、変換手段で第１の画像を擬似立体視画像に変換するために用いる視差を設定するための第２の設定手段と、第１の設定手段で第２の画像に対して設定された視差を、第２の設定手段で設定された視差に基づいて更新するための更新手段とをさらに備える。
【００１３】
好ましくは、画像処理装置は視差を指定する入力を受け付けるための入力手段をさらに備える。
【００１４】
好ましくは、画像処理装置は、合成手段によって得られた右目用画像および左目用画像を関連付けて、立体視画像ファイルとして保持するための保持手段をさらに備える。
【００１５】
本発明の他の局面に従うと、画像処理方法は、画像処理装置での、第１の画像に視差情報を有する第２の画像を合成して、三次元画像を作成する方法であって、二次元画像である第１の画像を擬似立体視画像に変換して右目用画像と左目用画像とを得るステップと、第２の画像から、視差情報に基づいて右目用画像と左目用画像とを生成するステップと、変換するステップで得られた右目用画像と生成するステップで生成された右目用画像とを合成し、変換するステップで得られた左目用画像と生成するステップで生成された左目用画像とを合成するステップとを備える。
【００１６】
本発明のさらに他の局面に従うと、画像処理プログラムは、画像処理装置に、第１の画像に視差情報を有する第２の画像を合成して、三次元画像を作成する処理を実行させるためのプログラムであって、二次元画像である第１の画像を擬似立体視画像に変換して右目用画像と左目用画像とを得るステップと、第２の画像から、視差情報に基づいて右目用画像と左目用画像とを生成するステップと、変換するステップで得られた右目用画像と生成するステップで生成された右目用画像とを合成し、変換するステップで得られた左目用画像と生成するステップで生成された左目用画像とを合成するステップとを画像処理装置に実行させる。
【発明の効果】
【００１７】
この発明によると、編集元の画像も編集画像も共に、自然に三次元表示される三次元画像を生成することができる。
【図面の簡単な説明】
【００１８】
【図１】実施の形態にかかる画像処理装置として携帯電話機の外観を表わす図である。
【図２】実施の形態にかかる携帯電話機の装置構成の具体例を示すブロック図である。
【図３】実施の形態にかかる携帯電話機における動作の概要を表わす図である。
【図４】携帯電話機における動作に伴う画像データの流れを表わす図である。
【図５】携帯電話機における動作に伴う画像データの流れを表わす図である。
【図６】実施の形態にかかる携帯電話機の機能構成の具体例を示すブロック図である。
【図７】実施の形態にかかる携帯電話機での動作の具体例を表わすフローチャートである。
【図８】実施の形態にかかる携帯電話機での動作の具体例を表わすフローチャートである。
【図９】携帯電話機での動作に従う、当該携帯電話機のディスプレイでの画面遷移を表わす図である。
【図１０】携帯電話機での動作に従う、当該携帯電話機のディスプレイでの画面遷移を表わす図である。
【発明を実施するための形態】
【００１９】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。
【００２０】
本実施の形態において、画像処理装置を携帯電話機であるものとして説明する。しかしながら、画像処理装置は携帯電話機に限定されるものではなく、携帯電話機の他、パーソナルコンピュータやＰＤＡ（Personal  Digital  Assistants）などの携帯端末、テレビジョン受像機、オーディオ機器などであってもよい。
【００２１】
＜装置外観＞
図１は、本実施の形態にかかる画像処理装置として携帯電話機１００の外観を表わす図である。
【００２２】
図１を参照して、携帯電話機１００は、一例として、人の手のひらに納まる程度のサイズであって、平面状の形状を有する。その平面部分にはディスプレイ１５０が配される。
【００２３】
ディスプレイ１５０は、液晶表示装置などの表示装置と光学式タッチパネルや静電容量タッチパネルなどの位置指示装置とが重なって構成されたものである。
【００２４】
なお、携帯電話機１００の外観は図１に表わされたものに限定されず、いわゆるクラムシェル型と言われる折りたたみ式であったり、スライド式であったりしてもよい。
【００２５】
＜装置構成＞
図２は、携帯電話機１００の装置構成の具体例を示すブロック図である。
【００２６】
図２を参照して、携帯電話機１００は、通信装置１０２と、アンテナ１０８と、ＣＰＵ（Central  Processing  Unit）１１０と、音声信号処理回路１１１と、カメラ１２０と、フラッシュメモリ１４４と、ＲＡＭ（Random  Access  Memory）１４６と、ＲＯＭ（Read  Only  Memory）１４８と、バックライト１５１と、ボタン１６０と、ＬＥＤ（Light  Emitting  Diode）１７６と、メモリカード駆動装置１８０と、データ通信Ｉ／Ｆ（Interface）１７８と、バイブレータ１８４とを備える。メモリカード駆動装置１８０には、メモリカード１８２が装着され得る。
【００２７】
アンテナ１０８によって受信された信号は、通信装置１０２によってフロントエンド処理が行なわれた後にＣＰＵ１１０に送られる。
【００２８】
ＣＰＵ１１０は、携帯電話機１００に対して与えられる命令に基づいて、携帯電話機１００の動作を制御するための処理を実行する。ＣＰＵ１１０は、通信装置１０２から送られた信号に基づいて予め規定された処理を実行し、処理後の信号を音声信号処理回路１１１に送出する。音声信号処理回路１１１は、その信号に対して予め規定された信号処理を実行し、処理後の信号をスピーカ１４０に送出する。スピーカ１４０は、その信号に基づいて音声を出力する。
【００２９】
マイク１７０は、携帯電話機１００に対する発話を受け付けて、発話された音声に対応する信号を音声信号処理回路１１１に対して送出する。音声信号処理回路１１１は、その信号に基づいて通話のために予め規定された処理を実行し、処理後の信号をＣＰＵ１１０に対して送出する。ＣＰＵ１１０は、その信号を送信用のデータに変換し、変換後のデータを通信装置１０２に対して送出する。通信装置１０２は、そのデータを用いて送信用の信号を生成し、アンテナ１０８に向けてその信号を送出する。
【００３０】
フラッシュメモリ１４４は、ＣＰＵ１１０から送られるデータを格納する。また、ＣＰＵ１１０は、フラッシュメモリ１４４に格納されているデータを読み出し、そのデータを用いて予め規定された処理を実行する。
【００３１】
ＲＡＭ１４６は、ボタン１６０に対して行なわれた操作に基づいてＣＰＵ１１０によって生成されるデータを一時的に保持する。ＲＯＭ１４８は、携帯電話機１００に予め定められた動作を実行させるためのプログラムあるいはデータを格納している。ＣＰＵ１１０は、ＲＯＭ１４８から当該プログラムまたはデータを読み出し、携帯電話機１００の動作を制御する。
【００３２】
メモリカード駆動装置１８０は、メモリカード１８２に格納されているデータを読み出し、ＣＰＵ１１０に送出する。また、メモリカード駆動装置１８０は、ＣＰＵ１１０によって出力されるデータを、メモリカード１８２の空き領域に書き込む。
【００３３】
音声信号処理回路１１１は、上述のような通話のための信号処理を実行する。なお、図２に示される例では、ＣＰＵ１１０と音声信号処理回路１１１とが別個の構成として示されているが、これらは一体として構成されていてもよい。
【００３４】
ディスプレイ１５０は、二次元で、または三次元で画像を表示することができる。一例として、ディスプレイ１５０は液晶表示装置であって、携帯電話機１００本体の内側に配置される表示パネルと、外側に配置される視差バリアとを含む。
【００３５】
視差バリアは、二次元表示モードと三次元表示モードとで、それぞれ、ＣＰＵ１１０からの制御信号に従って、全面を透過領域とした全透過状態と、透過領域と非透過領域とが交互に配された格子状のスリット状態とに切り替わる。
【００３６】
ディスプレイ１５０は、ＣＰＵ１１０から出力されるデータに基づいて、画像を表示する。たとえば、ディスプレイ１５０は、フラッシュメモリ１４４が格納している静止画、動画、音楽ファイルの属性（当該ファイルの名前、演奏者、演奏時間など）を表示する。
【００３７】
バックライト１５１は、ディスプレイ１５０に対して発光する。バックライト１５１は、ＣＰＵ１１０からの制御信号に基づいて光量を増加させ、または減少させることができる。
【００３８】
ＬＥＤ１７６は、ＣＰＵ１１０からの信号に基づいて、予め定められた発光動作を実現する。
【００３９】
データ通信Ｉ／Ｆ１７８は、データ通信用のケーブルの装着を受け付ける。データ通信Ｉ／Ｆ１７８は、ＣＰＵ１１０から出力される信号を当該ケーブルに対して送出する。また、データ通信Ｉ／Ｆ１７８は、当該ケーブルを介して受信されるデータを、ＣＰＵ１１０に対して送出する。
【００４０】
バイブレータ１８４は、ＣＰＵ１１０から出力される信号に基づいて、予め定められた周波数で発振動作を実行する。
【００４１】
図２に表わされた構成は携帯電話機１００の構成の一例であって、他の構成が含まれていてもよい。他の構成として、たとえば、チューナ、テレビジョン放送信号を受信するためのアンテナ、測位処理部、測位信号受信フロントエンド部、およびＧＰＳ（Global  Positioning  System）アンテナ、などが該当する。
【００４２】
上記チューナは、ＣＰＵ１１０の命令に従って番組を選局し、映像信号および音声信号をＣＰＵ１１０に伝送する。
【００４３】
ＧＰＳアンテナは、ＧＰＳ衛星から発信される信号を受信し、受信した信号を測位信号受信フロントエンド部に送出する。測位信号受信フロントエンド部は、少なくとも３つ（望ましくは４つ以上）のＧＰＳ衛星から受信した各信号に基づいてパターンマッチングを行ない、各信号に含まれるコードパターンと携帯電話機１００が保持するコードパターンとが一致した場合に、その信号を測位処理部に送出する。測位処理部は、その信号を用いて、測位処理を実行し、当該信号を受信した携帯電話機１００の位置を算出する。ＣＰＵ１１０は、その算出結果をディスプレイ１５０に表示する。
【００４４】
＜動作概要＞
本実施の形態にかかる携帯電話機１００では、二次元画像に対して編集を行ない、編集用画像を該二次元画像よりも飛び出させて三次元表示する。具体的には、二次元画像としてたとえばカメラ１２０で撮影された撮影画像などが挙げられ、当該撮影画像に対して手描き文字やスタンプ画像を書き込み、それらを当該撮影画像よりも飛び出させて表示させる例が挙げられる。
【００４５】
図３は、本実施の形態にかかる携帯電話機１００における動作の概要を表わす図である。
【００４６】
図３を参照して、携帯電話機１００では、編集元の画像である画像αが特定され（Ｓ１）、それに対する編集処理が実行される（Ｓ２）。ここでの編集処理では、編集元画像αに対して合成する二次元画像または三次元画像の編集用画像Ａ〜Ｎとしての手描き文字やスタンプ画像などが特定され（２−１）、それぞれ編集元画像αからの奥行き（飛び出し量）Ｄ１〜Ｄｎが設定される（Ｓ２−２）。
【００４７】
編集が終了すると、携帯電話機１００では編集元画像αに編集用画像Ａ〜Ｎが合成された合成画像を三次元表示するための表示処理が実行される（Ｓ３）。ここでの表示処理では、編集元画像αおよび編集用画像Ａ〜Ｎのそれぞれから、当該画像に設定された奥行きに応じた視差に基づく右目用画像および左目用画像が生成される（Ｓ３−１）。そして、右目用画像群および左目用画像群がそれぞれ合成されて右目用画像および左目用画像が生成される（Ｓ３−２）。一例として、携帯電話機１００のディスプレイ１５０が表示パネルと視差バリアとを含む場合、視差バリアを三次元表示モードとして格子状のスリット状態とし、表示パネルに右目用画像と左目用画像とを短冊状にして、スリット間隔に従って交互に表示させることで、三次元表示がなされる。
【００４８】
上記ステップＳ３−２で生成された右目用画像および左目用画像からは三次元表示用の画像ファイルが生成される。
【００４９】
図４および図５は、このときの、画像データの流れを表わす図である。
図４を参照して、上記ステップＳ１では編集元画像αが特定される（図４上図）。その後、ステップＳ２−１で手描き文字やスタンプ画像などの編集用画像Ａ〜Ｎが特定され、ステップＳ２−２でそれぞれの編集元画像αからの奥行きＤ１〜Ｄｎが設定されると、編集用画像Ａ〜Ｎは、各奥行きＤ１〜Ｄｎに対応したレイヤＬ１〜Ｌｎにマッピングされる。各レイヤＬ１〜Ｌｎは、設定された奥行きＤ１〜Ｄｎに応じた視差Ｓ１〜Ｓｎを表わす視差情報を有する。図４下図は、編集元画像と各レイヤとの奥行き関係を表わしている。また、図４下図の例では、最奥の画像が視差０に位置する場合を具体例として視差Ｓ１〜Ｓｎはその画像から視差を表わしている。
【００５０】
次に図５を参照して、上記ステップＳ３−１で、まず、編集元画像αは、被写体をオブジェクトごとに切り出すなどして視差情報（視差量）をもつレイヤに分割される。ここで、編集元画像αから生成されたレイヤのうちの奥行きが最も手前（最も飛び出した）レイヤの視差情報（視差αＳｎ）は編集用画像に設定された最も奥の奥行きに応じた視差Ｓ１より小さく設定される。そして、編集元画像αから生成されたそれぞれのレイヤは、予め設定された視差に応じて右目用画像（画像α１〜ｎ−Ｒ）および左目用画像（画像α１〜ｎ−Ｌ）に変換される（図５上図）。また、レイヤＬ１〜Ｌｎのそれぞれにマッピングされた編集用画像からは、各レイヤＬ１〜Ｌｎに設定された視差に応じて右目用画像（レイヤＬ−Ｒ）および左目用画像（レイヤＬ−Ｌ）が生成される（図５上図）。
【００５１】
上記ステップＳ３−２で、右目用画像（画像α１〜ｎ−Ｒ）および右目用画像（レイヤＬ−Ｒ）と、左目用画像（画像α１〜ｎ−Ｌ）および左目用画像（レイヤＬ−Ｌ）とは、それぞれ合成され、左目用画像Ｌおよび右目用画像Ｒが生成される（図５下図）。
【００５２】
左目用画像Ｌおよび右目用画像Ｒは三次元表示用画像のファイルとして、たとえばＭＰＯ（Multi  Picture  Object）形式などのファイルとしてフラッシュメモリ１４４などのメモリに保持される。ＭＰＯ形式の場合、左目用画像Ｌおよび右目用画像Ｒは、それぞれ、Ｅｘｉｆ形式ＪＰＥＧデータとなる。
【００５３】
＜機能構成＞
図６は、上記動作を行なうための携帯電話機１００の機能構成の具体例を示すブロック図である。図６に示される各機能は、ＣＰＵ１１０がＲＯＭ１４８に記憶されるプログラムをＲＡＭ１４６上に読み出して実行することによって主にＣＰＵ１１０上に形成される機能であるが、少なくとも一部が電気回路などのハードウェア構成によって実現されてもよい。
【００５４】
図６を参照して、携帯電話機１００のＣＰＵ１１０は、タッチパネルであるディスプレイ１５０やボタン１６０などからの操作入力を受け付けるための入力部１１、編集元画像αを入力するための第１入力部１２、編集用画像Ａ〜Ｎを入力するための第２入力部１３、奥行きを設定するための設定部１４、編集元画像αを右目用画像および左目用画像に変換するための変換部１５、編集用画像Ａ〜Ｎのそれぞれから右目用画像および左目用画像を生成するための生成部１６、編集元画像αから得られた右目用画像と編集用画像Ａ〜Ｎから得られた右目用画像とを合成し、また、編集元画像αから得られた左目用画像と編集用画像Ａ〜Ｎから得られた左目用画像とを合成するための合成部１７、および合成して得られた三次元表示用画像のファイルに基づく三次元表示を行なわせるための表示処理部１８を含む。
【００５５】
タッチパネルであるディスプレイ１５０は、指示された位置を示す信号をＣＰＵ１１０に対して送出する。入力部１１はその信号の入力を受け付け、さらに、ディスプレイ１５０の表示画面とその信号とに基づいて操作入力を特定する。
【００５６】
操作入力が編集元画像αを特定する操作である場合、第１入力部１２は、たとえばフラッシュメモリ１４４へアクセスして指定された画像データを読み出したり、メモリカード駆動装置１８０よりメモリカード１８２から読み出した画像データを受け付けたり、データ通信Ｉ／Ｆ１７８を介して他の装置から送信された画像データを受信したりすることで、編集元画像αを入力する。
【００５７】
操作入力が編集用画像を特定する操作である場合、第２入力部１３は、主に、タッチパネルであるディスプレイ１５０からの操作信号に基づいて編集用画像を入力する。すなわち、ディスプレイ１５０のタッチ位置に基づく手描き画像を入力したり、タッチ位置によって特定されたスタンプをタッチ位置に基づく位置に配置したスタンプ画像を入力したりする。
【００５８】
操作入力が奥行きを設定する操作である場合、設定部１４は、設定対象となる編集用画像ごとに、ディスプレイ１５０からの操作信号に基づいて奥行きに応じた視差情報を生成して、編集用画像に付加する。
【００５９】
変換部１５は予めデフォルト設定された奥行きを記憶しておき、その奥行きに基づく視差を用いて編集元画像を三次元画像に変換する。ここでの具体的な変換方法は特定の方法には限定されず、公知の方法を採用することができる。一例として、特開平８−２２７４６４号公報に開示されている方法を採用すると、変換部１５は編集元画像を領域分割して各領域を視点からの距離に従って異なる仮想レイヤにマッピングすることで仮想レイヤを生成し、予め設定されている視点から各レイヤまでの距離に基づく視差を用いて右目用画像および左目用画像に変換する。図５の上図では、編集元画像αの各仮想レイヤから変換された右目用画像および左目用画像を、それぞれ、まとめて画像α−Ｒ、画像α−Ｌと表現している。
【００６０】
なお、設定部１４で設定される奥行きは編集元画像からの飛び出し量である。すなわち、設定部１４で飛び出し量である奥行きが設定されることで、編集用画像は三次元表示された際に編集元画像のうちの最も飛び出した部分よりも、より手前に飛び出して表示される。そのため、変換部１５は、編集元画像を三次元画像に変換する際に用いる視差として、設定部１４で設定された奥行きに応じて編集元画像に最も近い（飛び出し量の小さい）レイヤに設定される視差（図４下図の例では、レイヤＬ１の視差Ｓ１）よりも小さい視差を用いる。
【００６１】
または、設定部１４は、編集用画像に対して、変換部１５において編集元画像を三次元画像に変換する際に用いる視差として予め設定されている視差よりも大きい視差を設定する。
【００６２】
生成部１６は、入力された編集用画像を設定された奥行きに応じたレイヤにマッピングし、そのレイヤ画像を設定された奥行きに基づく視差を用いて右目用画像および左目用画像を生成する。
【００６３】
合成部１７は、変換部１５で編集元画像αが変換されて得られた右目用画像と、編集用画像から生成された右目用画像とを合成する。また、合成部１７は、編集元画像αが変換されて得られた左目用画像と、編集用画像から生成された左目用画像とを合成する。
【００６４】
合成して得られた右目用画像と左目用画像とは三次元表示を行なうための画像ファイルとして、たとえばＭＰＯ形式などのファイル形式でフラッシュメモリ１４４などのメモリに格納される。
【００６５】
表示処理部１８は、生成された画像ファイルに基づく画像をディスプレイ１５０に三次元表示させるための処理を実行する。一例として、上述のようにディスプレイ１５０が表示パネルと視差バリアとを含む場合、視差バリアを三次元表示モードとして格子状のスリット状態とし、表示パネルに右目用画像と左目用画像とを短冊状にして、スリット間隔に従って交互に表示させる。
【００６６】
＜動作フロー＞
図７および図８は、携帯電話機１００での動作の具体例を表わすフローチャートである。また、図９および図１０は、当該動作に従うディスプレイ１５０での画面遷移を表わす図である。
【００６７】
図７および図８のフローチャートに表わされる動作は、携帯電話機１００のＣＰＵ１１０がＲＯＭ１４８に記憶されるプログラムをＲＡＭ１４６上に読み出して実行し、図６の各機能を発揮させることによって実現される。
【００６８】
図７を参照して、ステップＳ１０１でＣＰＵ１１０は、図９（Ａ）に表されたように、編集元画像となる画像をディスプレイ１５０に表示する。その状態において編集開始の指示を受け付けると（ステップＳ１０３でＹＥＳ）、ステップＳ１０５でＣＰＵ１１０は編集用のアプリケーションを起動させる。
【００６９】
図９（Ａ）の画面例では、編集元画像として撮影画像が表示されると共に、指示ボタンが表示されている。指示ボタンのうちのたとえば「編集メニュー」に「編集開始」を指示するメニューが含まれ、たとえばそのボタンがタッチされると、ＣＰＵ１１０は編集開始の指示を受け付けて、編集用アプリケーションを起動させる。
【００７０】
ステップＳ１０５で編集用アプリケーションが起動した後に編集用画像の指定を受け付けると（ステップＳ１０７でＹＥＳ）、ステップＳ１０９でＣＰＵ１１０は指定された編集用画像を入力し、図９（Ｂ）に表わされたように、ステップＳ１０１で表示された編集元画像に重ねて二次元表示する。
【００７１】
編集用画像の指定は、たとえばタッチパネルであるディスプレイ１５０上でのタッチによる線描画を受け付けることや、指定されたスタンプを配置する位置を受け付けることで指定される。
【００７２】
図９（Ｂ）の画面例では、図９（Ａ）に表わされた編集元画像の上に「３Ｄ作成中」という手描き文字と音符をかたどったスタンプ画像とが配置された例が示されている。これら画像の入力を受け付けると、ＣＰＵ１１０は編集元画像の上にこれら画像を重ねて二次元表示させる。この段階ではこれら画像を合成する処理が行なわれていなくてよく、単に、異なる描画レイヤに描画してそれらを重ねて表示させてよい。上記ステップＳ１０９での二次元表示は編集が終了するまでなされる。
【００７３】
プレビュー表示の指示がなされずに編集終了の指示を受け付けた場合（ステップＳ１１１でＹＥＳ、かつステップＳ１１３でＮＯ）、ステップＳ１１５でＣＰＵ１１０は、編集元画像を予め設定された視差に応じて三次元表示用の右目用画像および左目用画像に変換する。また、ステップＳ１１７でＣＰＵ１１０は、予めデフォルト設定された編集元画像からの奥行きに基づく視差に応じて、各編集用画像から右目用画像および左目用画像を生成する。一例として、編集用画像のうち、同じ奥行きが設定された編集用画像を同じレイヤにマッピングする。そして、レイヤ画像ごとに、その奥行きに応じた視差に基づいて右目用画像および左目用画像を生成する。なお、上記ステップＳ１１５とステップＳ１１７とはその順が逆であってもよい。
【００７４】
ここで、後述する編集元画像を三次元画像に変換する際の奥行きが予め設定された視差に基づくものである場合、上記ステップＳ１１７でＣＰＵ１１０は、編集用画像に対して設定する視差のうちの最も小さい視差を、編集元画像を三次元画像に変換する際の視差よりも大きく設定する。
【００７５】
そして、ステップＳ１１９でＣＰＵ１１０は、上記ステップＳ１１５で変換して得られた右目用画像と上記ステップＳ１１７で生成された右目用画像とを、また、上記ステップＳ１１５で変換して得られた左目用画像と上記ステップＳ１１７で生成された左目用画像とを、それぞれ、画像合成して、三次元表示用の右目用画像と左目用画像とを生成する。生成されたこれら画像は、ステップＳ１２１で、たとえばＭＰＯ形式などのファイル形式で三次元表示用ファイルとして保存される。
【００７６】
一方、編集終了の指示を受け付け（ステップＳ１１１でＹＥＳ）、その後、三次元でのプレビュー表示の指示を受け付けると（ステップＳ１１３でＹＥＳ）、図８を参照して、ステップＳ１３１でＣＰＵ１１０は、編集元画像を予め設定された視差に応じて三次元表示用の右目用画像および左目用画像に変換する。また、ステップＳ１３３でＣＰＵ１１０は、予めデフォルト設定された編集元画像からの奥行きに基づく視差に応じて、各編集用画像から右目用画像および左目用画像を生成する。ここでの処理は、上記ステップＳ１１５，Ｓ１１７の処理と同じである。
【００７７】
そして、ステップＳ１３５でＣＰＵ１１０は、上記ステップＳ１３１，Ｓ１３３で生成された右目用画像および左目用画像をそれぞれ用いて、図１０（Ａ）に表わされたように、編集元画像と編集用画像とを三次元表示したプレビュー画面をディスプレイ１５０に表示させる。これにより、ここではデフォルト設定された飛び出し量で編集元画像から飛び出して編集用画像が三次元表示される。
【００７８】
図１０（Ａ）の画面例では、三次元画像がプレビュー表示されると共に、指示ボタンが表示されている。指示ボタンのうちの「飛び出し」ボタンがタッチされると、ＣＰＵ１１０は奥行きを変更する指示が行なわれたと指示内容を特定する。
【００７９】
図１０（Ｂ）は、図１０（Ａ）の表示画面において「飛び出し」ボタンがタッチされたときの表示例であって、一例として、編集元画像に対する編集用画像の飛び出し量を最も大きい量とするための「強」ボタン、それより少ない量とするための「中」ボタン、および飛び出し量を最も少ない量とするための「弱」ボタンが表示される例が示されている。他の例として、数字やアルファベットで飛び出し量のレベルを表わしたボタンを表示してもよいし、タッチ回数やスライド量などで飛び出し量の指定を受け付けるようにしてもよい。
【００８０】
上記ステップＳ１３５での三次元プレビュー表示がなされた状態で「飛び出し」ボタンがタッチされるなどで奥行きを変更する指示がなされると（ステップＳ１３７で「奥行き変更」）、ステップＳ１３９でＣＰＵ１１０は、当該指示に従って奥行きを変更する。そして、処理を再度ステップＳ１３１に戻し、以降の動作を行なう。すなわち、上記指示に従って予め規定された視差量分、編集元画像からの飛び出し量を変化させて、各編集用画像から右目用画像および左目用画像を生成し、再度、三次元表示したプレビュー画面をディスプレイ１５０に表示させる。
【００８１】
図１０（Ａ）の画面例に示された指示ボタンのうちの「３Ｄ保存」ボタンがタッチされると、ＣＰＵ１１０は奥行きを確定する指示が行なわれたと指示内容を特定する。他の例として、三次元プレビュー表示がなされた状態で所定時間操作入力がなされない場合にも奥行きを確定する指示がなされたものと指示内容を確定するようにしてもよい。
【００８２】
上記ステップＳ１３５での三次元プレビュー表示がなされた状態で「３Ｄ保存」ボタンがタッチされるなどで奥行きを変更する指示がなされると（ステップＳ１３７で「確定」）、ステップＳ１４１でＣＰＵ１１０は、編集元画像に対する編集用画像の飛び出し量である当該編集用画像に対する奥行きを三次元プレビュー表示がなされているときに設定されている奥行きで確定し、その奥行きに基づく視差を表わす視差情報を編集用画像に付加する。
【００８３】
上記ステップＳ１４１で編集対象の編集用画像に対して奥行きが確定して視差情報が付加されると、ＣＰＵ１１０は上述のステップＳ１１９の処理を行なって画像合成し、三次元表示用の右目用画像と左目用画像とを生成する。そして、生成されたこれら画像は、ステップＳ１２１で、たとえばＭＰＯ形式などのファイル形式で三次元表示用ファイルとして保存される。
【００８４】
なお、ＣＰＵ１１０は、上記ステップＳ１４１で編集元画像に対する編集用画像の飛び出し量である当該編集用画像に対する奥行きが確定したときに、編集元画像を三次元表示用の画像に変換する際の奥行きを設定（調整）するようにしてもよい。この場合、ＣＰＵ１１０は、各編集用画像に付加された視差情報を参照して、各編集用画像に対して設定した奥行きのうちの編集元画像からの飛び出し量が最も少ない奥行きに基づく視差よりも少ない視差に基づいて、編集元画像を三次元表示用の画像に変換する際の奥行きを設定する。すなわち、ＣＰＵ１１０は、編集元画像のうちの最も飛び出した画像が、編集元画像からの飛び出し量が最も少ない編集用画像よりも奥に表示されるように、編集元画像に対する視差を設定する。
【００８５】
さらに、ＣＰＵ１１０は、上記ステップＳ１０７〜Ｓ１１９を繰り返すことで、複数の編集用画像に対してそれぞれ奥行きを設定するようにしてもよい。この場合、ＣＰＵ１１０は、奥行きが同じ編集用画像を当該奥行きに応じたレイヤにマッピングすることで、編集用画像を図４下図に表わされたような奥行き関係に当てはめることができる。
【００８６】
他の例として、予め奥行きごとのレイヤを設定しておき、または、レイヤごとの奥行きの設定を受け付けた上で、編集用画像をマッピングしたいレイヤの選択を受け付けて当該レイヤにマッピングする編集用画像の指定を受け付けるようにしてもよい。
【００８７】
なお、この場合、各レイヤの奥行きは、編集元画像を三次元表示用の画像に変換する際の奥行きに応じて決定されるものであってもよい。すなわち、編集元画像を三次元表示用の画像に変換する際の奥行きが予め規定されている場合、たとえばその奥行きから所定割合ずつとした奥行きが各レイヤの奥行きとして予め設定されていてもよい。または、上述のようにＣＰＵ１１０がユーザ操作などに基づいて編集元画像を三次元表示用の画像に変換する際の奥行きを設定する場合、設定された奥行きに対して予め規定された所定割合ずつ、などとして、各レイヤの奥行きを決定してもよい。
【００８８】
さらに、編集元画像の奥行きだけでなく、編集用画像をマッピングする位置やサイズに応じて編集用画像をマッピング可能とするレイヤを設定するようにしてもよい。
【００８９】
たとえば、編集元画像が三次元表示用の画像に変換した際に奥行きの大きい部分と奥行きのあまり大きくない部分とが混在するものである場合、奥行きの大きい部分に編集用画像を配置する場合には多くのレイヤから編集用画像をマッピングするレイヤを選択することを可能とし、奥行きのあまり大きくない部分に編集用画像を配置する場合には編集元画像の最前のレイヤに近いレイヤのみ選択可能とする、などの、編集用画像を配置する位置とその位置における編集元画像の奥行きとに応じてマッピング可能なレイヤを設定するようにしてもよい。
【００９０】
＜実施例の効果＞
本実施の形態にかかる携帯電話機１００において以上の動作が行なわれることで、たとえば撮影画像を編集元画像として、手描き文字やスタンプなどの編集用画像を編集して三次元表示させる際に、指定された編集用画像が編集元画像から飛び出して表示されることになる。
【００９１】
さらに、編集用画像は編集元画像のうちの最も飛び出した部分よりも、より飛び出して表示されることになるので、違和感のない自然な三次元表示がなされるようになる。
【００９２】
＜他の例１＞
なお、上の例では、編集元画像は予め設定された視差、または編集用画像に設定された視差に応じた視差を用いて右目用画像および左目用画像に変換されるものとしているが、その視差も、ユーザによる操作入力に従って設定／変更可能としてもよい。
【００９３】
一例として、図１０（Ａ）の画面例に示された指示ボタンのうちの「奥行き」ボタンがタッチされたときに、図１０（Ｂ）の表示例と同様に表示元画像の飛び出し量を最も大きい量とするための「強」ボタン、それより少ない量とするための「中」ボタン、および飛び出し量を最も少ない量とするための「弱」ボタンを表示してその指定を受け付けたり、数字やアルファベットで飛び出し量のレベルを表わしたボタンを表示してその指定を受け付けたり、タッチ回数やスライド量などで飛び出し量の指定を受け付けたりして、その指示に基づく視差を用いて編集元画像を右目用画像および左目用画像に変換するようにしてもよい。
【００９４】
この場合、ＣＰＵ１１０は、編集元画像に対して設定された視差に応じて、編集用画像に対して設定された視差を変更する。すなわち、編集元画像の奥行きの設定が上記ステップＳ１３５での三次元プレビュー表示よりも以前になされる場合には、デフォルト設定された編集用画像の編集元画像からの飛び出し量である奥行きを、編集元画像に対して設定された視差に基づく奥行きよりも大きくした上で三次元プレビュー表示を行なう。また、その後のユーザ指示に応じて編集用画像の編集元画像からの飛び出し量を変更する場合も、最も小さい奥行きを編集元画像に対して設定された視差に基づく奥行きよりも大きいものとなるように奥行きのレベルを変更した上で、編集用画像に対してユーザからの指示に応じた奥行きを設定する。
【００９５】
編集元画像の奥行きの設定が上記ステップＳ１４１での編集用画像に対する奥行きを確定して視差情報を付加した後になされる場合には、編集元画像に設定された奥行きに応じて、編集元画像に対して設定された最も小さい奥行きが編集元画像に対して設定された視差に基づく奥行きよりも大きいものとなるように、上記ステップＳ１４１で編集用画像に対して設定された奥行きを（各編集用画面に対して設定された奥行きの関係を維持したままで）変更する。
【００９６】
このような動作を行なうことで、編集元画像をユーザの指定する奥行きで三次元表示することが可能となると共に、編集用画像が編集元画像のうちの最も飛び出した部分よりも、より飛び出して表示されることになるので、違和感のない自然な三次元表示がなされるようになる。
【００９７】
＜他の例２＞
なお、以上では画像編集アプリケーションの実行に伴って三次元画像が生成される例が説明されているが、他のアプリケーションにおいても同様にして三次元画像が生成されてもよい。他のアプリケーションとしては、たとえば待受アプリケーション（待受画面）が挙げられる。
【００９８】
待受アプリケーションでは、壁紙を最奥レイヤとして、その上にアイコン類やピクト類のレイヤを重ねて画像データを生成している。通常は、壁紙として用いる画像には二次元画像が設定され、ディスプレイを２次元表示モードとして壁紙が表示されている。この状態でディスプレイが３次元表示モードに切り替えられると、ＣＰＵ１１０は、壁紙として設定された二次元画像を疑似三次元画像へ変換して三次元表示させる。
【００９９】
このとき、ＣＰＵ１１０は、二次元画像である壁紙を疑似三次元画像へ変換する際に、予め設定された視差量でアイコン等の壁紙の上に重ねられたレイヤを三次元変換した上で、その視差量がアイコン等の壁紙の上に重ねられたレイヤの視差量をよりも小さいものとなるように二次元画像である壁紙を三次元画像へ変換し、アイコン等の画像に、右目用画像、左目用画像のそれぞれを合成する。
【０１００】
このようにすることで、三次元表示モードで壁紙が表示される際に、アイコン類等のレイヤよりも三次元表示された壁紙が手前に飛び出して表示されることがなく、壁紙の上にアイコン類が配置された状態で自然な三次元表示が行なわれる。
【０１０１】
待受画面を三次元表示する際に壁紙よりもアイコン類が飛び出しすぎると待受画面全体の飛び出し量（奥行き）が大きくなり、視認し難くなったり、操作し難くなったり、場合によっては健康を害するレベルにまで達する場合もあり得る。しかしながら、上述のように、先にアイコン類の壁紙の上に重ねられたレイヤの視差量を壁紙からの飛び出し量が最適となるような視差量として変換した上で壁紙をアイコン類よりも飛び出さないような視差量で三次元画像へ変換して画像合成することで、逆に、最適な飛び出し量となるように壁紙を三次元変換した上でアイコン類をそれより飛び出すように三次元変換する場合よりも、アイコン類が飛び出しすぎることがない。
【０１０２】
さらに、上述の画像処理を画像処理装置としてのコンピュータに実行させるためのプログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact  Disk-Read  Only  Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【０１０３】
なお、本発明にかかるプログラムは、コンピュータのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。
【０１０４】
また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。
【０１０５】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【０１０６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０７】
１１  入力部、１２  第１入力部、１３  第２入力部、１４  設定部、１５  変換部、１６  生成部、１７  合成部、１８  表示処理部、１００  携帯電話機、１０２  通信装置、１０８  アンテナ、１１０  ＣＰＵ、１１１  音声信号処理回路、１２０  カメラ、１４０  スピーカ、１４４  フラッシュメモリ、１４６  ＲＡＭ、１４８  ＲＯＭ、１５０  ディスプレイ、１５１  バックライト、１６０  ボタン、１７０  マイク、１８０  メモリカード駆動装置、１８２  メモリカード、１８４  バイブレータ、１７８  データ通信Ｉ／Ｆ。
【図１】
2012239141.tif 000003
【図２】
2012239141.tif 000004
【図３】
2012239141.tif 000005
【図４】
2012239141.tif 000006
【図５】
2012239141.tif 000007
【図６】
2012239141.tif 000008
【図７】
2012239141.tif 000009
【図８】
2012239141.tif 000010
【図９】
2012239141.tif 000011
【図１０】
2012239141.tif 000012