(57)【要約】【課題】視認性が高く容易に視差調整を行うことができるようにする。【解決手段】画像移動部２１１Ｌ，２１１Ｒは、外部からの指示に応じた視点画像の移動を行い、複数の視点画像間の視差量を変更する。画像読出部２１２Ｌ，２１２Ｒは、ライン単位またはライン方向と直交する方向に画素単位で視点画像を読み出す。画像選択部２１３は、読み出された複数の視点画像を順次選択して視差調整用の画像を生成する。制御部２５ａは、表示部の走査方向と複数の視点画像における基線長方向に応じて、画像読出部における複数の視点画像の読み出しをライン単位または画素単位に適応的に切り替える。このため、各視点画像から基線長方向に切り出した画像を順次選択して基線長方向に対して直交する方向に並べた視差調整用の平面画像を生成できるので、この平面画像で視差量を簡単に確認できるようになり、視認性の高い視差調整を容易に行うことができる。【選択図】        図１
2014007648.tif 000002
【特許請求の範囲】
【請求項１】
外部からの指示に応じて視点画像の移動を行い複数の視点画像間の視差量を変更する画像移動部と、
前記複数の視点画像をライン単位またはライン方向と直交する方向に画素単位で読み出す画像読出部と、
前記画像読出部でライン単位または画素単位で読み出された前記複数の視点画像を順次選択して出力する画像選択部と、
表示部の走査方向と前記複数の視点画像における基線長方向に応じて、前記画像読出部における前記複数の視点画像の読み出しを前記ライン単位または前記画素単位に適応的に切り替える制御部と
を備える画像処理装置。
【請求項２】
前記制御部は、前記走査方向と前記基線長方向を一致させて画像表示を行う場合に前記画像読出部で前記ライン単位の読み出しを行わせて、前記走査方向と前記基線長方向を直交させて画像表示を行う場合に前記画像読出部で前記画素単位の読み出しを行わせる
請求項１記載の画像処理装置。
【請求項３】
表示部の姿勢状態を検出する姿勢検出部をさらに備え、
前記制御部は、前記姿勢検出部で検出された姿勢状態に基づいて、前記走査方向と前記基線長方向を一致させて画像表示を行うか、前記走査方向と前記基線長方向を直交させて画像表示を行うか判別する
請求項２記載の画像処理装置。
【請求項４】
前記複数の視点画像を回転する画像回転部をさらに備え、
前記制御部は、前記走査方向と前記基線長方向を直交させて画像表示を行う場合に、前記画像回転部で前記複数の視点画像における基線長方向が前記走査方向と一致するように前記複数の視点画像を回転させて、前記画像読出部における前記画素単位の読み出しを前記ライン方向とする
請求項２記載の画像処理装置。
【請求項５】
前記複数の視点画像を用いて立体画像表示を行う表示部を備え、
前記制御部は、前記表示部における立体画像表示を停止させて前記画像選択部からの出力に基づき平面画像表示を行う
請求項１記載の画像処理装置。
【請求項６】
前記画像移動部は、前記視点画像の移動によって生じた画像のない領域のマスク処理を行う
請求項１記載の画像処理装置。
【請求項７】
前記複数の視点画像は、左視点画像と右視点画像であり、
前記画像移動部は、前記左視点画像と前記右視点画像を互いに逆方向に移動して視差量を変更する
請求項１記載の画像処理装置。
【請求項８】
外部からの指示に応じて視点画像の移動を行い複数の視点画像間の視差量を変更する工程と、
前記複数の視点画像をライン単位またはライン方向と直交する方向に画素単位で読み出す工程と、
前記ライン単位または画素単位で読み出された前記複数の視点画像を順次選択して出力する工程と、
表示部の走査方向と前記複数の視点画像における基線長方向に応じて、前記複数の視点画像の読み出しを前記ライン単位または前記画素単位に適応的に切り替える工程と
を含む画像処理方法。
【請求項９】
視差量調整用の画像表示をコンピュータで実行させるプログラムであって、
外部からの指示に応じて視点画像の移動を行い複数の視点画像間の視差量を変更する手順と、
前記複数の視点画像をライン単位またはライン方向と直交する方向に画素単位で読み出す手順と、
前記ライン単位または画素単位で読み出された前記複数の視点画像を順次選択して出力する手順と、
表示部の走査方向と前記複数の視点画像における基線長方向に応じて、前記複数の視点画像の読み出しを前記ライン単位または前記画素単位に適応的に切り替える手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムに関し、視認性の高い視差調整を行えるようにする。
【背景技術】
【０００２】
従来、同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法としは、例えば複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成する。この場合、偏光メガネ等の画像分離メガネを用い、立体視表示された立体視用画像を目の自動焦点機能により融合視することにより、立体視を行うことができる。
【０００３】
また、偏光メガネ等を使用しなくても、視差バリア方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することが可能である。この場合、複数の画像を短冊状に切り取って交互に並べ、開口部のある遮光バリアを配置して立体視表示が行われる。また、バックライトからの光を左右眼方向に制御して、この制御と同期させて表示素子に時分割で視点画像を表示させることにより、残像効果によって立体視表示を行う方式も提案されている（バックライトコントロール方式）。
【０００４】
このような立体視を行う場合、立体視用画像を観察するユーザに応じて好ましい立体感が異なる。立体感は複数の立体視用画像のずれ量（視差量）で変わるため、特許文献１では、視差量の変更開始指示に応じて、立体視用画像の立体視表示を２つの画像を重ねた２次元表示に切り替えることが行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１７２２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１では、左視点画像と右視点画像の切り替えを行い、残像効果によって両視点の画像が重なって見えるようにしている。このため、左視点画像と右視点画像の切り替えを高速に行わないと十分な残像効果が得られず、良好な画質で２次元表示を行うことができない。また、左視点画像と右視点画像の切り替えを高速に行うためには、表示処理を行う回路の高速化が必要となり低コスト化が困難となる。
【０００７】
そこで、この技術では、視認性の高い視差調整を容易に行うことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、外部からの指示に応じて視点画像の移動を行い複数の視点画像間の視差量を変更する画像移動部と、前記複数の視点画像をライン単位またはライン方向と直交する方向に画素単位で読み出す画像読出部と、前記画像読出部でライン単位または画素単位で読み出された前記複数の視点画像を順次選択して出力する画像選択部と、表示部の走査方向と前記複数の視点画像における基線長方向に応じて、前記画像読出部における前記複数の視点画像の読み出しを前記ライン単位または前記画素単位に適応的に切り替える制御部とを備える画像処理装置にある。
【０００９】
この技術においては、外部からの指示に応じて視点画像の移動を行い複数の視点画像間の視差量の変更が行われる。この複数の視点画像をライン単位またはライン方向と直交する方向に画素単位で読み出して、ライン単位または画素単位で読み出された複数の視点画像を順次選択することで、視差調整用の平面画像が生成される。複数の視点画像の読み出しは、表示部の走査方向と複数の視点画像における基線長方向（例えば左視点画像と右視点画像によって立体画像表示を行う場合に左視点と右視点を結ぶ方向に相当）に応じて、ライン単位または画素単位に適応的に切り替えられる。例えば、走査方向と基線長方向を一致させて画像表示を行う場合に左視点画像と右視点画像からライン単位で読み出しを行い、走査方向と基線長方向を直交させて画像表示を行う場合に左視点画像と右視点画像から画素単位で読み出しを行う。さらに、表示部の姿勢状態を検出する姿勢検出部が設けられて、姿勢検出部で検出された姿勢状態に基づいて、走査方向と基線長方向を一致させて画像表示を行うか、走査方向と基線長方向を直交させて画像表示を行うか判別される。複数の視点画像を用いて立体画像表示を行う表示部が設けられる場合に、立体画像表示を停止させて視差調整用の平面画像表示が行われる。また、画像の移動では、左視点画像と右視点画像が互いに逆方向に移動されて視差量が変更されて、視点画像の移動によって生じた画像のない領域に対してはマスク処理が行われる。
【００１０】
この技術の第２の側面は、外部からの指示に応じて視点画像の移動を行い複数の視点画像間の視差量を変更する工程と、前記複数の視点画像をライン単位またはライン方向と直交する方向に画素単位で読み出す工程と、前記ライン単位または画素単位で読み出された前記複数の視点画像を順次選択して出力する工程と、表示部の走査方向と前記複数の視点画像における基線長方向に応じて、前記複数の視点画像の読み出しを前記ライン単位または前記画素単位に適応的に切り替える工程とを含む画像処理方法にある。
【００１１】
この技術の第３の側面は、視差量調整用の画像表示をコンピュータで実行させるプログラムであって、外部からの指示に応じて視点画像の移動を行い複数の視点画像間の視差量を変更する手順と、前記複数の視点画像をライン単位またはライン方向と直交する方向に画素単位で読み出す手順と、前記ライン単位または画素単位で読み出された前記複数の視点画像を順次選択して出力する手順と、表示部の走査方向と前記複数の視点画像における基線長方向に応じて、前記複数の視点画像の読み出しを前記ライン単位または前記画素単位に適応的に切り替える手順とを前記コンピュータで実行させるプログラムにある。
【００１２】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１３】
この技術によれば、外部からの指示に応じて画像移動部で視点画像の移動が行われて、複数の視点画像間の視差量が変更される。この複数の視点画像は、画像読出部によってライン単位またはライン方向と直交する方向に画素単位で読み出されて、ライン単位または画素単位で読み出された複数の視点画像を画像選択部で順次選択して出力することで、視差調整用の画像が生成される。また、表示部の走査方向と複数の視点画像における基線長方向に応じて、画像読出部における複数の視点画像の読み出しが制御部によってライン単位または画素単位に適応的に切り替えられる。このため、各視点画像から基線長方向に切り出した画像を順次選択して基線長方向に対して直交する方向に並べた視差調整用の平面画像を生成できる。すなわち、各視点画像を１ライン（または複数ライン）毎に並べた平面画像が視差調整用の画像として表示されるので、この平面画像で視差量を簡単に確認できるようになり、視認性の高い視差調整を容易に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施の形態の構成を示す図である。
【図２】第１の実施の形態の動作を示すフローチャートである。
【図３】第１の動作における基線長方向と表示部の走査方向を示す図である。
【図４】第１の動作を説明するための図である。
【図５】第１の動作（視差量を調整する場合）を説明するための図である。
【図６】第２の動作における基線長方向と表示部の走査方向を示す図である。
【図７】第２の動作を説明するための図である。
【図８】第２の実施の形態の構成を示す図である。
【図９】第２の実施の形態の動作を示すフローチャートである。
【図１０】第１の動作を説明するための図である。
【図１１】第２の動作を説明するための図である。
【図１２】第３の実施の形態の構成を示す図である。
【図１３】第３の実施の形態の動作を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．第１の実施の形態の構成
１−２．第１の実施の形態の動作
２．第２の実施の形態
２−１．第２の実施の形態の構成
２−２．第２の実施の形態の動作
３．第３の実施の形態
３−１．第３の実施の形態の構成と動作
【００１６】
＜１．第１の実施の形態＞
［１−１．第１の実施の形態の構成］
図１は、本技術の第１の実施の形態の構成を示している。第１の実施の形態の画像処理装置を用いた電子機器１０ａは、撮像処理部１１Ｌ，１１Ｒ、信号処理部１２Ｌ，１２Ｒ、表示処理部２１、ユーザインタフェース（Ｉ／Ｆ）部２３、制御部２５ａ、表示部３１を有している。
【００１７】
撮像処理部１１Ｌは、撮像光学系や撮像素子部等を用いて構成されている。撮像光学系にはズームレンズやフォーカスレンズ、絞り機構等が設けられている。撮像光学系は、フォーカス調整動作を行い左視点の被写体光学像を撮像素子の撮像面上に結像させる。また、撮像光学系は、被写体光学像の変倍動作や光量の調整等を行う。撮像素子は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。撮像素子は、光電変換処理を行い、撮像光学系によって撮像面に結像された光学像を電気信号に変換する。また、撮像処理部１１Ｌは、撮像素子で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、撮像処理部１１Ｌは、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換するＡ／Ｄ変換処理を行う。撮像処理部１１Ｌは、生成した左視点画像の画像信号を信号処理部１２Ｌへ出力する。また、撮像処理部１１Ｒは、撮像処理部１１Ｌと同様に構成されており、撮像処理部１１Ｌと同様な動作によって右視点画像の画像信号を生成して信号処理部１２Ｒへ出力する。
【００１８】
信号処理部１２Ｌは、撮像処理部１１Ｌから出力された左視点画像の画像信号に対してカメラプロセス処理等を行う。信号処理部１２Ｌは、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行い、処理後の画像信号を表示処理部２１へ出力する。また、信号処理部１２Ｒは、信号処理部１２Ｌと同様に構成されており、撮像処理部１１Ｒから出力された右視点画像の画像信号に対して信号処理部１２Ｌと同様な処理を行い、処理後の画像信号を表示処理部２１へ出力する。
【００１９】
表示処理部２１は、画像移動部２１１Ｌ，２１１Ｒ、画像読出部２１２Ｌ，２１２Ｒ、画像選択部２１３を有している。
【００２０】
画像移動部２１１Ｌは、後述する制御部２５ａからの制御信号に基づき左視点画像を基線長方向に移動する。なお、基線長方向とは、左視点画像と右視点画像によって立体画像表示を行う場合、左視点と右視点を結ぶ方向であり、左視点と右視点の間隔が基線長である。例えば、画像移動部２１１Ｌは、信号処理部１２Ｌから出力された画像信号をメモリに記憶して、記憶した画像信号の読み出しタイミングや読み出し開始位置を制御することにより、基線長方向に移動された左視点画像を生成する。画像移動部２１１Ｌは、移動後の左視点画像を画像読出部２１２Ｌへ出力する。また、画像移動部２１１Ｒは、画像移動部２１１Ｌと同様に構成されている。画像移動部２１１Ｒは、制御部２５ａからの制御信号に基づき右視点画像を基線長方向に移動する。画像移動部２１１Ｒは、移動後の右視点画像を画像読出部２１２Ｒへ出力する。また、右視点画像の移動方向は、左視点画像の移動方向に対して逆方向とする。このように、画像移動部２１１Ｌ，２１１Ｒは、左視点画像と右視点画像を基線長方向で互いに逆方向に移動することで、左視点画像と右視点画像の画像間の視差量を変更する。
【００２１】
画像読出部２１２Ｌは、制御部２５ａからの制御信号に基づき、移動後の左視点画像からライン単位またはライン方向と直交する方向に画素単位で画像を読み出して、読み出した画像を画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、画像読出部２１２Ｌと同様に構成されている。画像読出部２１２Ｒは、制御部２５ａからの制御信号に基づき、移動後の右視点画像からライン単位またはライン方向と直交する方向に画素単位で画像を読み出して、読み出した画像を画像選択部２１３へ出力する。
【００２２】
画像選択部２１３は、制御部２５ａからの制御信号に基づき、画像読出部２１２Ｌ，２１２Ｒから出力された画像を順次選択して、左視点画像と右視点画像がライン単位またはライン方向と直交する方向に画素単位で交互に選択されている平面画像を生成する。画像選択部２１３は、生成した平面画像の画像信号を表示部３１へ出力する。
【００２３】
ユーザインタフェース部２３は、操作スイッチやタッチパネル等を用いて構成されている。ユーザインタフェース部２３は、ユーザ操作に応じた操作信号を生成して制御部２５ａへ出力する。
【００２４】
制御部２５ａは、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。制御部２５ａは、ユーザインタフェース部２３からの操作信号に基づき各部を制御して、ユーザ操作に応じた動作を電子機器１０ａで行わせる。
【００２５】
制御部２５ａは、複数視点画像間の視差量の調整を行うユーザ操作が行われた場合、表示処理部２１の動作を制御して、複数視点画像から基線長方向に切り出した画像を並べて視差量調整用の平面画像を生成させる。また、制御部２５ａは、ユーザインタフェース部２３からの操作信号に基づき、画像移動部２１１Ｌ，２１１Ｒで視点画像を移動させて視差量を変更する。さらに、制御部２５ａは、表示部３１の走査方向と複数の視点画像における基線長方向に応じて、画像読出部２１２Ｌ，２１２Ｒにおける視点画像の読み出しをライン単位またはライン方向と直交する方向の画素単位に適応的に切り替える。
【００２６】
制御部２５ａは、表示部の走査方向と基線長方向を一致させて視差調整用の画像表示を行う場合、画像読出部２１２Ｌ，２１２Ｒで視点画像をライン単位で読み出すように制御する。また、制御部２５ａは、画像読出部２１２Ｌと画像読出部２１２Ｒの出力をライン単位で交互に選択するように画像選択部２１３を制御して、視差量調整用の平面画像を生成する。なお、撮像処理部１１Ｌ，１１Ｒで生成される左視点画像と右視点画像のライン方向が、左視点画像と右視点画像における基線長方向と一致するように構成されている場合、視差量調整用の平面画像は、左視点画像と右視点画像のそれぞれから基線長方向に切り出された画像を基線長方向に対して直交する方向に交互に並べた画像となる。さらに、制御部２５ａは、表示部の走査方向と基線長方向を直交させて視差調整用の画像表示を行う場合、画像読出部２１２Ｌ，２１２Ｒで視点画像をライン方向と直交する方向に画素単位で読み出すように制御する。また、制御部２５ａは、画像読出部２１２Ｌと画像読出部２１２Ｒの出力を画素単位で交互に選択するように画像選択部２１３を制御して、視差量調整用の平面画像を生成する。なお、撮像処理部１１Ｌ，１１Ｒで生成される左視点画像と右視点画像のライン方向が、左視点画像と右視点画像における基線長方向と一致するように構成されている場合、視差量調整用の平面画像は、左視点画像と右視点画像のそれぞれから基線長方向に切り出された画像を基線長方向に対して直交する方向に交互に並べた画像となる。
【００２７】
表示部３１は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部３１は、表示処理部２１から出力された画像信号に基づき視差量調整用の平面画像を画面上に表示する。また、表示部３１が平面画像だけでなく立体画像表示機能を有している場合、表示部３１は、制御部２５ａからの制御信号に基づき、視差量調整が行われる場合には立体画像表示機能を停止して平面画像表示を行う。例えば表示部３１は、視差バリア方式で立体画像表示を行う機能を有している場合、制御部２５ａからの制御信号に基づき視差バリアをオフ状態とする。また、表示部３１は、バックライトコントロール方式で立体画像表示を行う機能を有している場合、制御部２５ａからの制御信号に基づき  バックライトのオンオフ制御を停止してオン状態とする。
【００２８】
なお、電子機器１０ａで立体画像表示を行う場合は、画像移動部２１１Ｌから出力される左視点画像の画像信号と画像移動部２１１Ｒから出力される右視点画像の画像信号を、立体画像の所定フォーマットの信号として表示部３１へ出力する。
【００２９】
［１−２．第１の実施の形態の動作］
図２は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で制御部２５ａは、視差調整の開始であるか判別する。制御部２５ａは、ユーザインタフェース部２３からの操作信号に基づき、視差調整開始操作が行われたと判別した場合にステップＳＴ２に進み、視差調整開始操作が行われたと判別していない場合にステップＳＴ１に戻る。
【００３０】
ステップＳＴ２で制御部２５ａは、走査方向と基線長方向が一致するか判別する。制御部２５ａは、走査方向と基線長方向が一致するか判別して、方向が一致する場合にはステップＳＴ３に進み、走査方向と基線長方向が直交する場合にはステップＳＴ８に進む。
【００３１】
ステップＳＴ３で制御部２５ａは、ライン単位で画像並べ替えを行う。制御部２５ａは、画像読出部２１２Ｌ，２１２Ｒを制御してライン単位で視点画像の読み出しを行う。さらに、制御部２５ａは、画像選択部２１３を制御して画像読出部２１２Ｌと画像読出部２１２Ｒからのライン単位の出力を交互に選択して視差量調整用の平面画像の生成を行いステップＳＴ４に進む。
【００３２】
ステップＳＴ４で制御部２５ａは、調整指示の受け付けを行う。制御部２５ａは、ユーザインタフェース部２３からの操作信号によって示された調整指示を受け付けてステップＳＴ５に進む。
【００３３】
ステップＳＴ５で制御部２５ａは、調整限界でないか判別する。制御部２５ａは、視点画像が調整限界の位置に達していない場合にステップＳＴ６に進み、調整限界の位置に達した場合にステップＳＴ７に進む。
【００３４】
ステップＳＴ６で制御部２５ａは、画像移動処理を行う。制御部２５ａは、受け付けた調整指示に基づき画像移動部２１１Ｌ，２１１Ｒを制御して、視点画像の画像信号を調整指示に応じて移動させて、視点画像間の視差量を変更してステップＳＴ７に進む。
【００３５】
ステップＳＴ７で制御部２５ａは、調整終了であるか判別する。制御部２５ａは、ユーザインタフェース部２３からの操作信号に基づき、視差調整終了操作が行われたと判別した場合にステップＳＴ１３に進み、視差調整終了操作が行われたと判別していない場合にステップＳＴ３に戻る。
【００３６】
ステップＳＴ８で制御部２５ａは、画素単位で画像並べ替えを行う。制御部２５ａは、画像読出部２１２Ｌ，２１２Ｒを制御して画素単位で視点画像の読み出しを行う。さらに、制御部２５ａは、画像選択部２１３を制御して画像読出部２１２Ｌと画像読出部２１２Ｒからの画素単位の出力を交互に選択して視差量調整用の平面画像の生成を行いステップＳＴ９に進む。
【００３７】
ステップＳＴ９で制御部２５ａは、調整指示の受け付けを行う。制御部２５ａは、ユーザインタフェース部２３からの操作信号によって示された調整指示を受け付けてステップＳＴ１０に進む。
【００３８】
ステップＳＴ１０で制御部２５ａは、調整限界でないか判別する。制御部２５ａは、視点画像が調整限界の位置に達していない場合にステップＳＴ１１に進み、調整限界の位置に達した場合にステップＳＴ１２に進む。
【００３９】
ステップＳＴ１１で制御部２５ａは、画像移動処理を行う。制御部２５ａは、受け付けた調整指示に基づき画像移動部２１１Ｌ，２１１Ｒを制御して、視点画像の画像信号を調整指示に応じて移動させて、視点画像間の視差量を変更してステップＳＴ１２に進む。
【００４０】
ステップＳＴ１２で制御部２５ａは、調整終了であるか判別する。制御部２５ａは、ユーザインタフェース部２３からの操作信号に基づき、視差調整終了操作が行われたと判別した場合にステップＳＴ１３に進み、視差調整終了操作が行われたと判別していない場合にステップＳＴ８に戻る。
【００４１】
ステップＳＴ１３で制御部２５ａは、視差調整量を保存するか判別する。制御部２５ａは、ユーザインタフェース部２３からの操作信号に基づき、視差調整量を保存する指示が行われた場合、あるいは視差調整量を保存するように電子機器１０ａの動作が設定されている場合にステップＳＴ１４に進む。また、制御部２５ａは、視差調整量を保存する指示が行われない場合、および視差調整量を保存するように電子機器１０ａの動作が設定されていない場合に視差調整動作を終了する。
【００４２】
ステップＳＴ１４で制御部２５ａは、視差調整量を保存する。制御部２５ａは、例えば視差調整後の視点画像の画像信号を立体画像の所定フォーマットの信号とする際に、所定フォーマットのヘッダ情報に視差調整量を含めて、視差調整動作を終了する。
【００４３】
次に、第１の実施の形態における第１の動作として、基線長方向と表示部の走査方向が一致する場合について説明する。図３は、第１の動作における基線長方向と表示部の走査方向を示している。例えば図３の（Ａ）に示すように、水平方向に並んだ左視点と右視点の位置から被写体ＯＢを撮影して左視点画像と右視点画像が生成されている場合、左視点と右視点を相互に結ぶ基線長方向は水平方向となる。第１の動作では、図３の（Ｂ）に示すように、表示部３１の走査方向が水平方向とされており、表示部３１で視差調整用の平面画像を表示する。
【００４４】
図４、図５は第１の実施の形態における第１の動作を説明するための図である。図４の（Ａ）は左視点画像、図４の（Ｂ）は右視点画像を示している。画像読出部２１２Ｌは、左視点画像をライン単位で読み出して画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、右視点画像をライン単位で読み出して画像選択部２１３へ出力する。画像選択部２１３は、ライン単位で出力された左視点画像と右視点画像を交互に選択して、平面画像の画像信号を生成する。したがって、生成された画像信号に基づく視差量調整用の平面画像は、図４の（Ｃ）に示すように、左視点画像と右視点画像のそれぞれから基線長方向に切り出された画像を基線長方向に対して直交する方向に交互に並べた画像となる。すなわち、各視点画像を１ライン（または複数ライン）毎に並べた平面画像となる。
【００４５】
視差量を調整する場合、図５の（Ａ）に示す左視点画像と図５の（Ｂ）に示す右視点画像を、調整指示に基づき、基線長方向で互いに反対の向きに移動させる。例えば視差量を大きくする場合には、矢印ＦＡで示す方向に各視点画像を移動させる。この場合、平面画像は図５の（Ｃ）に示すようになる。また、視点画像を移動することで画像のない領域ＰＮが生じる。したがって、平面画像では、画像のない領域をマスク処理例えば黒色表示とする。さらに、調整指示に応じて各視点画像を方向移動させる場合、移動量が水平方向（基線方向に相当）の画像サイズの（１／２）倍となると、左視点画像と右視点画像の重なりあう領域がなくなる。したがって、調整限界量は、水平方向（基線方向に相当）の画像サイズの（１／２）倍以下とする。
【００４６】
このように、第１の実施の形態における第１の動作では、視点画像の有効データを水平同期内で調整指示に応じて移動させて視差量調整用の平面画像の生成が行われる。また、調整限界である場合、視点画像の有効データが水平同期内で調整限界の位置まで移動されて視差量調整用の平面画像が生成される。
【００４７】
次に、第１の実施の形態における第２の動作として、基線長方向と表示部の走査方向が直交する場合、例えば短辺を水平方向としたポートレート表示の表示部を用いて、長辺を水平方向としたランドスケープ表示を行う場合について説明する。
【００４８】
図６は、第２の動作における基線長方向と表示部の走査方向を示している。例えば図６の（Ａ）に示すように、水平方向に並んだ左視点と右視点の位置から被写体ＯＢを撮影して左視点画像と右視点画像が生成されている場合、左視点と右視点を相互に結ぶ基線長方向は水平方向となる。第２の動作では、図６の（Ｂ）に示すように、表示部３１の走査方向が表示画像の垂直方向とされており、表示部３１で視差調整用の平面画像を表示する。
【００４９】
図７は第１の実施の形態における第２の動作を説明するための図である。図７の（Ａ）は左視点画像、図７の（Ｂ）は右視点画像を示している。画像読出部２１２Ｌは、左視点画像をライン方向と直交する方向に画素単位で読み出して（例えば画素Ｌ０，Ｌ１，Ｌ２・・・の順）、画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、右視点画像をライン方向と直交する方向に画素単位で読み出して（例えば画素Ｒ０，Ｒ１，Ｒ２・・・の順）、画像選択部２１３へ出力する。画像選択部２１３は、図７の（Ｃ）に示すように、画素単位で出力された左視点画像と右視点画像を交互に選択して（例えば画素Ｒ０，Ｌ１，Ｒ２・・・の順）、平面画像の画像信号を生成する。また、生成された画像信号に基づく視差量調整用の平面画像は、図７の（Ｄ）に示すように、左視点画像と右視点画像のそれぞれから基線長方向に切り出された画像を基線長方向に対して直交する方向に交互に並べた画像となる。すなわち、各視点画像を１ライン（または複数ライン）毎に並べた平面画像となる。
【００５０】
このように、第１の実施の形態における第２の動作では、視点画像の有効データを垂直同期内で調整指示に応じて移動させて視差量調整用の平面画像の生成が行われる。また、調整限界である場合、視点画像の有効データが垂直同期内で調整限界の位置まで移動されて視差量調整用の平面画像が生成される。
【００５１】
したがって、第１の実施の形態によれば、乗算や加算等の演算処理を行うことなく複数視点画像を合成することが可能となり、簡単な構成で安価に画像処理装置を提供できるようになる。また、基線長方向と表示部の走査方向が一致する場合でも直交する場合でも、複数の各視点画像から基線長方向に切り出された画像が、基線長方向に対して直交する方向に順次並べられている平面画像を生成できる。すなわち、各視点画像を１ライン（または複数ライン）毎に並べた平面画像が視差調整用の画像として表示されるので、視認性の高い視差調整機能を提供できる。また、視差がずれている立体画像を見ながら視差調整を行う必要がないため、目への負担を低減させることが可能となる。
【００５２】
＜２．第２の実施の形態＞
ところで、第１の実施の形態では、表示部の走査方向に応じて、視差量調整用の平面画像を生成する場合について説明した。しかし、電子機器が携帯型である場合、電子機器の姿勢変化によって表示部の向きが変化する。このような場合、表示部の向きの変化に応じて表示画像の向きを切り替えるようにしないと、表示画像を正しい向きで表示することができない。そこで、第２の実施の形態では、電子機器の姿勢を考慮して視差量調整用の平面画像を生成する場合について説明する。
【００５３】
［２−１．第２の実施の形態の構成］
図８は、本技術の第２の実施の形態の構成を示している。第２の実施の形態の画像処理装置を用いた電子機器１０ｂは、撮像処理部１１Ｌ，１１Ｒ、信号処理部１２Ｌ，１２Ｒ、表示処理部２１、姿勢検出部２２、ユーザインタフェース（Ｉ／Ｆ）部２３、制御部２５ｂ、表示部３１を有している。
【００５４】
撮像処理部１１Ｌは、撮像光学系や撮像素子部等を用いて構成されている。撮像光学系にはズームレンズやフォーカスレンズ、絞り機構等が設けられている。撮像光学系は、フォーカス調整動作を行い左視点の被写体光学像を撮像素子の撮像面上に結像させる。また、撮像光学系は、被写体光学像の変倍動作や光量の調整等を行う。撮像素子は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。撮像素子は、光電変換処理を行い、撮像光学系によって撮像面に結像された光学像を電気信号に変換する。また、撮像処理部１１Ｌは、撮像素子で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、撮像処理部１１Ｌは、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換するＡ／Ｄ変換処理を行う。撮像処理部１１Ｌは、生成した左視点画像の画像信号を信号処理部１２Ｌへ出力する。また、撮像処理部１１Ｒは、撮像処理部１１Ｌと同様に構成されており、撮像処理部１１Ｌと同様な動作によって右視点画像の画像信号を生成して信号処理部１２Ｒへ出力する。
【００５５】
信号処理部１２Ｌは、撮像処理部１１Ｌから出力された左視点画像の画像信号に対してカメラプロセス処理等を行う。信号処理部１２Ｌは、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行い、処理後の画像信号を表示処理部２１へ出力する。また、信号処理部１２Ｒは、信号処理部１２Ｌと同様に構成されており、撮像処理部１１Ｒから出力された右視点画像の画像信号に対して信号処理部１２Ｌと同様な処理を行い、処理後の画像信号を表示処理部２１へ出力する。
【００５６】
表示処理部２１は、画像移動部２１１Ｌ，２１１Ｒ、画像読出部２１２Ｌ，２１２Ｒ、画像選択部２１３を有している。
【００５７】
画像移動部２１１Ｌは、後述する制御部２５ｂからの制御信号に基づき左視点画像を基線長方向に移動する。例えば、画像移動部２１１Ｌは、信号処理部１２Ｌから出力された画像信号をメモリに記憶して、記憶した画像信号の読み出しタイミングや読み出し開始位置を制御することにより、基線長方向に移動された左視点画像を生成する。画像移動部２１１Ｌは、移動後の左視点画像を画像読出部２１２Ｌへ出力する。また、画像移動部２１１Ｒは、画像移動部２１１Ｌと同様に構成されている。画像移動部２１１Ｒは、制御部２５ｂからの制御信号に基づき右視点画像を基線長方向に移動する。画像移動部２１１Ｒは、移動後の右視点画像を画像読出部２１２Ｒへ出力する。なお、右視点画像の移動方向は、左視点画像の移動方向に対して逆方向とする。このように、画像移動部２１１Ｌ，２１１Ｒは、左視点画像と右視点画像を基線長方向で互いに逆方向に移動することで、左視点画像と右視点画像の画像間の視差量を変更する。
【００５８】
画像読出部２１２Ｌは、制御部２５ｂからの制御信号に基づき、移動後の左視点画像からライン単位またはライン方向と直交する方向に画素単位で画像を読み出して、読み出した画像を画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、画像読出部２１２Ｌと同様に構成されている。画像読出部２１２Ｒは、制御部２５ｂからの制御信号に基づき、移動後の右視点画像からライン単位またはライン方向と直交する方向に画素単位で画像を読み出して、読み出した画像を画像選択部２１３へ出力する。
【００５９】
画像選択部２１３は、制御部２５ｂからの制御信号に基づき、画像読出部２１２Ｌ，２１２Ｒから出力された画像を順次選択して、左視点画像と右視点画像がライン単位またはライン方向と直交する方向に画素単位で交互に選択されている平面画像を生成する。画像選択部２１３は、生成した平面画像の画像信号を表示部３１へ出力する。
【００６０】
姿勢検出部２２は、傾斜センサ等を用いて構成されている。姿勢検出部２２は、電子機器１０ｂの姿勢、例えば電子機器１０ｂが横向きか縦向きであるかを検出して、検出結果を示す検出信号を制御部２５ｂへ出力する。
【００６１】
ユーザインタフェース部２３は、操作スイッチやタッチパネル等を用いて構成されている。ユーザインタフェース部２３は、ユーザ操作に応じた操作信号を生成して制御部２５ｂへ出力する。
【００６２】
制御部２５ｂは、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。制御部２５ｂは、ユーザインタフェース部２３からの操作信号に基づき各部を制御して、ユーザ操作に応じた動作を電子機器１０ｂで行わせる。
【００６３】
制御部２５ｂは、複数視点画像間の視差量の調整を行うユーザ操作が行われた場合、表示処理部２１の動作を制御して、複数視点画像から基線長方向（視認の水平方向）に切り出した画像を並べて視差量調整用の平面画像を生成させる。また、制御部２５ｂは、ユーザインタフェース部２３からの操作信号に基づき、画像移動部２１１Ｌ，２１１Ｒで視点画像を移動させて視差量を変更する。
【００６４】
制御部２５ｂは、表示部３１の走査方向と複数の視点画像における基線長方向に応じて、画像読出部２１２Ｌ，２１２Ｒにおける視点画像の読み出しをライン単位またはライン方向と直交する方向の画素単位に適応的に切り替える。さらに、制御部２５ｂは、姿勢検出部２２で検出された電子機器１０ｂの姿勢状態に基づいて、走査方向と基線長方向を一致させて画像表示を行うか、走査方向と基線長方向を直交させて画像表示を行うか判別する。
【００６５】
制御部２５ｂは、表示部の走査方向と基線長方向を一致させて視差調整用の画像表示を行う場合、画像読出部２１２Ｌ，２１２Ｒで視点画像をライン単位で読み出すように制御する。また、制御部２５ｂは、画像読出部２１２Ｌと画像読出部２１２Ｒの出力をライン単位で交互に選択するように画像選択部２１３を制御して、視差量調整用の平面画像を生成する。なお、撮像処理部１１Ｌ，１１Ｒで生成される左視点画像と右視点画像のライン方向が、左視点画像と右視点画像における基線長方向と一致するように構成されている場合、視差量調整用の平面画像は、左視点画像と右視点画像のそれぞれから基線長方向に切り出された画像を基線長方向に対して直交する方向に交互に並べた画像となる。さらに、制御部２５ｂは、表示部の走査方向と基線長方向を直交させて視差調整用の画像表示を行う場合、画像読出部２１２Ｌ，２１２Ｒで視点画像をライン方向と直交する方向に画素単位で読み出すように制御する。また、制御部２５ｂは、画像読出部２１２Ｌと画像読出部２１２Ｒの出力を画素単位で交互に選択するように画像選択部２１３を制御して、視差量調整用の平面画像を生成する。なお、撮像処理部１１Ｌ，１１Ｒで生成される左視点画像と右視点画像のライン方向が、左視点画像と右視点画像における基線長方向と一致するように構成されている場合、視差量調整用の平面画像は、左視点画像と右視点画像のそれぞれから基線長方向に切り出された画像を基線長方向に対して直交する方向に交互に並べた画像となる。
【００６６】
表示部３１は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部３１は、表示処理部２１から出力された画像信号に基づき視差量調整用の平面画像を画面上に表示する。また、表示部３１が平面画像だけでなく立体画像表示機能を有している場合、制御部２５ｂからの制御信号に基づき、視差量の調整が行われる場合には立体画像表示機能を停止して平面画像表示を行う。
【００６７】
なお、電子機器１０ｂで立体画像表示を行う場合は、画像移動部２１１Ｌから出力される左視点画像の画像信号と画像移動部２１１Ｒから出力される右視点画像の画像信号を、立体画像の所定フォーマットの信号として表示部３１へ出力する。
【００６８】
［２−２．第２の実施の形態の動作］
図９は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で制御部２５ｂは、視差調整開始であるか判別する。制御部２５ｂは、ユーザインタフェース部２３からの操作信号に基づき、視差調整開始操作が行われたと判別した場合にステップＳＴ２２に進み、視差調整開始操作が行われたと判別していない場合にステップＳＴ２１に戻る。
【００６９】
ステップＳＴ２２で制御部２５ｂは、姿勢検出結果を取得する。制御部２５ｂは姿勢検出部２２から検出信号を取得してステップＳＴ２３に進む。
【００７０】
ステップＳＴ２３で制御部２５ｂは走査方向を判別する。制御部２５ｂは、取得した検出信号に基づき例えば電子機器１０ｂが横向きか縦向きであるかを検出することで、電子機器１０ｂに設けられている表示部３１の走査方向が何れの方向となっているか判別してステップＳＴ２４に進む。
【００７１】
ステップＳＴ２４で制御部２５ｂは、走査方向と基線長方向が一致するか判別する。制御部２５ｂは、判別した表示部３１の走査方向と視点画像の基線長方向が一致するか判別して、方向が一致する場合にはステップＳＴ２５に進み、走査方向と基線長方向が直交する場合にはステップＳＴ３０に進む。
【００７２】
ステップＳＴ２５で制御部２５ｂは、ライン単位で画像並べ替えを行う。制御部２５ｂは、画像読出部２１２Ｌ，２１２Ｒを制御してライン単位で視点画像の読み出しを行う。さらに制御部２５ｂは、画像選択部２１３を制御して画像読出部２１２Ｌと画像読出部２１２Ｒからのライン単位の出力を交互選択して、視差量調整用の平面画像の生成を行いステップＳＴ２６に進む。
【００７３】
ステップＳＴ２６で制御部２５ｂは、調整指示の受け付けを行う。制御部２５ｂは、ユーザインタフェース部２３からの操作信号によって示された調整指示を受け付けてステップＳＴ２７に進む。
【００７４】
ステップＳＴ２７で制御部２５ｂは、調整限界でないか判別する。制御部２５ｂは、視点画像が調整限界の位置に達していない場合にステップＳＴ２８に進み、調整限界の位置に達した場合にステップＳＴ２９に進む。
【００７５】
ステップＳＴ２８で制御部２５ｂは、画像移動処理を行う。制御部２５ｂは、受け付けた調整指示に基づき画像移動部２１１Ｌ，２１１Ｒを制御して、視点画像の画像信号を調整指示に応じて移動させて、視点画像間の視差量を変更してステップＳＴ２９に進む。
【００７６】
ステップＳＴ２９で制御部２５ｂは、調整終了であるか判別する。制御部２５ｂは、ユーザインタフェース部２３からの操作信号に基づき、視差調整終了操作が行われたと判別した場合にステップＳＴ３５に進み、視差調整終了操作が行われたと判別していない場合にステップＳＴ２５に戻る。
【００７７】
ステップＳＴ３０で制御部２５ｂは、画素単位で画像並べ替えを行う。制御部２５ｂは、画像読出部２１２Ｌ，２１２Ｒを制御して画素単位で視点画像の読み出しを行う。さらに制御部２５ｂは、画像選択部２１３を制御して、画像読出部２１２Ｌと画像読出部２１２Ｒからの画素単位の出力を交互に選択して、視差量調整用の平面画像の生成を行いステップＳＴ３１に進む。
【００７８】
ステップＳＴ３１で制御部２５ｂは、調整指示の受け付けを行う。制御部２５ｂは、ユーザインタフェース部２３からの操作信号によって示された調整指示を受け付けてステップＳＴ３２に進む。
【００７９】
ステップＳＴ３２で制御部２５ｂは、調整限界でないか判別する。制御部２５ｂは、視点画像が調整限界の位置に達していない場合にステップＳＴ３３に進み、調整限界の位置に達した場合にステップＳＴ３４に進む。
【００８０】
ステップＳＴ３３で制御部２５ｂは、画像移動処理を行う。制御部２５ｂは、受け付けた調整指示に基づき画像移動部２１１Ｌ，２１１Ｒを制御して、視点画像の画像信号を調整指示に応じて移動させてステップＳＴ３４に進む。このように視点画像を移動させることで、視点画像の有効データを垂直同期内で調整指示に応じて移動させた場合に相当する視差量調整用の平面画像を生成する。
【００８１】
ステップＳＴ３４で制御部２５ｂは、調整終了であるか判別する。制御部２５ｂは、ユーザインタフェース部２３からの操作信号に基づき、視差調整終了操作が行われたと判別した場合にステップＳＴ３５に進み、視差調整終了操作が行われたと判別していない場合にステップＳＴ３０に戻る。
【００８２】
ステップＳＴ３５で制御部２５ｂは、視差調整量を保存するか判別する。制御部２５ｂは、ユーザインタフェース部２３からの操作信号に基づき、視差調整量を保存する指示が行われた場合、あるいは視差調整量を保存するように電子機器１０ｂの動作が設定されている場合にステップＳＴ３６に進む。また、制御部２５ｂは、視差調整量を保存する指示が行われない場合、および視差調整量を保存するように電子機器１０ｂの動作が設定されていない場合に視差調整動作を終了する。
【００８３】
ステップＳＴ３６で制御部２５ｂは、視差調整量を保存する。制御部２５ｂは、例えば視差調整後の視点画像の画像信号を立体画像の所定フォーマットの信号とする際に、所定フォーマットのヘッダ情報に視差調整量を含めて、視差調整動作を終了する。
【００８４】
次に、第２の実施の形態における第１の動作について説明する。なお、第１の動作では、表示部３１の走査方向が表示領域の長手方向であり、電子機器１０ｂが横向きの場合の走査方向は水平方向とする。
【００８５】
図１０は、第２の実施の形態における第１の動作を説明するための図である。画像読出部２１２Ｌ，２１２Ｒは、制御部２５ｂからの制御信号に基づき、姿勢検出部２２の姿勢検出結果に応じて画像の読み出し方向を切り替える。例えば、電子機器１０ｂが横向きとされて、走査方向が基線長方向である水平方向となる場合、画像読出部２１２Ｌは、図１０の（Ａ）に示すように左視点画像をライン単位で読み出して画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、図１０の（Ｂ）に示すように右視点画像をライン単位で読み出して画像選択部２１３へ出力する。画像選択部２１３は、ライン単位で出力された左視点画像と右視点画像を交互に選択して、図１０の（Ｃ）に示すように視差量調整用の平面画像を生成する。
【００８６】
また、例えば電子機器１０ｂが縦向きとされて、走査方向が基線長方向と直交する場合、画像読出部２１２Ｌは、図１０の（Ｄ）に示すように左視点画像を画素単位で読み出して画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、図１０の（Ｅ）に示すように右視点画像を画素単位で読み出して画像選択部２１３へ出力する。画像選択部２１３は、画素単位で出力された左視点画像と右視点画像を交互に選択して、図１０の（Ｆ）に示すように、視差量調整用の平面画像を生成する。
【００８７】
次に、第２の実施の形態における第２の動作について説明する。なお、第２の動作では、表示部３１の走査方向が表示領域の短手方向とされており、電子機器１０ｂが横向きの場合の走査方向は垂直方向とする。
【００８８】
図１１は、第２の実施の形態における第２の動作を説明するための図である。画像読出部２１２Ｌ，２１２Ｒは、制御部２５ｂからの制御信号に基づき、姿勢検出部２２の姿勢検出結果に応じて画像の読み出し方向を切り替える。例えば、電子機器１０ｂが縦向きとされて、走査方向が基線長方向である水平方向となる場合、画像読出部２１２Ｌは、図１１の（Ａ）に示すように左視点画像をライン単位で読み出して画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、図１１の（Ｂ）に示すように右視点画像をライン単位で読み出して画像選択部２１３へ出力する。画像選択部２１３は、ライン単位で出力された左視点画像と右視点画像を交互に選択して、図１１の（Ｃ）に示すように視差量調整用の平面画像を生成する。
【００８９】
また、例えば電子機器１０ｂが横向きとされて、走査方向が基線長方向と直交する場合、画像読出部２１２Ｌは、図１１の（Ｄ）に示すように左視点画像を画素単位で読み出して画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、図１１の（Ｅ）に示すように右視点画像を画素単位で読み出して画像選択部２１３へ出力する。画像選択部２１３は、画素単位で出力された左視点画像と右視点画像を交互に選択して、図１１の（Ｆ）に示すように、視差量調整用の平面画像を生成する。
【００９０】
このように、第２の実施の形態によれば、第１の実施の形態と同様に、乗算や加算等の演算処理を行うことなく複数視点画像を合成することが可能となり、簡単な構成で安価に画像処理装置を提供できるようになる。また、基線長方向と表示部の走査方向が一致する場合でも直交する場合でも、複数の各視点画像から基線長方向に切り出された画像が、基線長方向に対して直交する方向に順次並べられている平面画像を生成できる。すなわち、各視点画像を１ライン（または複数ライン）毎に並べた平面画像が視差調整用の画像として表示されるので、視認性の高い視差調整機能を提供できる。
【００９１】
さらに、第２の実施の形態では、姿勢検出が行われて、姿勢検出結果に基づき視点画像の読み出しが切り替えられる。したがって、表示部３１の向きに係らず、視差量調整用の平面画像を所定の向きで表示することが可能となり、さらに視認性の高い視差調整機能を提供できるようになる。
【００９２】
＜３．第３の実施の形態＞
ところで、第１および第２の実施の形態において、走査方向と基線長方向が一致しない場合に、メモリに記憶した平面画像の読み出し方向を変更すると、読み出す画素のアドレス計算が複雑となる。また、システムによっては読出しデータ単位が必ずしも１画素に閉じない場合もある。そこで、第３の実施の形態では、走査方向と基線長方向が一致しない場合、走査方向と基線長方向が一致するように平面画像を回転して、回転後の画像から画素単位の画像読み出しを行うようにする。
【００９３】
［３−１．第３の実施の形態の構成と動作］
図１２は、本技術の第３の実施の形態の構成を示している。第３の実施の形態の画像処理装置を用いた電子機器１０ｃは、撮像処理部１１Ｌ，１１Ｒ、信号処理部１２Ｌ，１２Ｒ、表示処理部２１ｃ、姿勢検出部２２、ユーザインタフェース（Ｉ／Ｆ）部２３、制御部２５ｃ、表示部３１を有している。
【００９４】
撮像処理部１１Ｌは、撮像光学系や撮像素子部等を用いて構成されている。撮像光学系にはズームレンズやフォーカスレンズ、絞り機構等が設けられている。撮像光学系は、フォーカス調整動作を行い左視点の被写体光学像を撮像素子の撮像面上に結像させる。また、撮像光学系は、被写体光学像の変倍動作や光量の調整等を行う。撮像素子は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。撮像素子は、光電変換処理を行い、撮像光学系によって撮像面に結像された光学像を電気信号に変換する。また、撮像処理部１１Ｌは、撮像素子で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、撮像処理部１１Ｌは、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換するＡ／Ｄ変換処理を行う。撮像処理部１１Ｌは、生成した左視点画像の画像信号を信号処理部１２Ｌへ出力する。また、撮像処理部１１Ｒは、撮像処理部１１Ｌと同様に構成されており、撮像処理部１１Ｌと同様な動作によって右視点画像の画像信号を生成して信号処理部１２Ｒへ出力する。
【００９５】
信号処理部１２Ｌは、撮像処理部１１Ｌから出力された左視点画像の画像信号に対してカメラプロセス処理等を行う。信号処理部１２Ｌは、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行い、処理後の画像信号を表示処理部２１へ出力する。また、信号処理部１２Ｒは、信号処理部１２Ｌと同様に構成されており、撮像処理部１１Ｒから出力された右視点画像の画像信号に対して信号処理部１２Ｌと同様な処理を行い、処理後の画像信号を表示処理部２１へ出力する。
【００９６】
表示処理部２１ｃは、画像回転部２１０Ｌ，２１０Ｒ，画像移動部２１１Ｌ，２１１Ｒ、画像読出部２１２Ｌ，２１２Ｒ、画像選択部２１３を有している。
【００９７】
画像回転部２１０Ｌは、後述する制御部２５ｃからの制御信号に基づき、信号処理部１２Ｌから出力された左視点画像の回転を行う。画像回転部２１０Ｌは、走査方向と基線長方向が直交する場合に例えば左視点画像を時計回り方向に９０度回転させて、回転後の左視点画像を画像移動部２１１Ｌへ出力する。また、画像回転部２１０Ｒは、画像回転部２１０Ｌと同様に構成されている。画像回転部２１０Ｒは、制御部２５ｃからの制御信号に基づき、信号処理部１２Ｒから出力された左視点画像の回転を行う。画像回転部２１０Ｒは、走査方向と基線長方向が直交する場合、画像回転部２１０Ｌと同様に例えば右視点画像を時計回り方向に９０度回転させて、回転後の右視点画像を画像移動部２１１Ｒへ出力する。
【００９８】
画像移動部２１１Ｌは、後述する制御部２５ｃからの制御信号に基づき左視点画像を基線長方向に移動する。例えば、画像移動部２１１Ｌは、画像回転部２１０Ｌから出力された画像信号をメモリに記憶して、記憶した画像信号の読み出しタイミングや読み出し開始位置を制御することにより、基線長方向に移動された左視点画像を生成する。画像移動部２１１Ｌは、移動後の左視点画像を画像読出部２１２Ｌへ出力する。また、画像移動部２１１Ｒは、画像移動部２１１Ｌと同様に構成されている。画像移動部２１１Ｒは、制御部２５ｃからの制御信号に基づき右視点画像を基線長方向に移動する。画像移動部２１１Ｒは、移動後の右視点画像を画像読出部２１２Ｒへ出力する。なお、右視点画像の移動方向は、左視点画像の移動方向に対して逆方向とする。このように、画像移動部２１１Ｌ，２１１Ｒは、左視点画像と右視点画像を基線長方向で互いに逆方向に移動することで、左視点画像と右視点画像の画像間の視差量を変更する。
【００９９】
画像読出部２１２Ｌは、制御部２５ｃからの制御信号に基づき、移動後の左視点画像からライン単位またはライン方向に画素単位で画像を読み出して、読み出した画像を画像選択部２１３へ出力する。また、画像読出部２１２Ｒは、画像読出部２１２Ｌと同様に構成されている。画像読出部２１２Ｒは、制御部２５ｃからの制御信号に基づき、移動後の右視点画像からライン単位またはライン方向に画素単位で画像を読み出して、読み出した画像を画像選択部２１３へ出力する。
【０１００】
画像選択部２１３は、制御部２５ｃからの制御信号に基づき、画像読出部２１２Ｌ，２１２Ｒから出力された画像を順次選択して、左視点画像と右視点画像がライン単位またはライン方向に画素単位で交互に選択されている平面画像を生成する。画像選択部２１３は、生成した平面画像の画像信号を表示部３１へ出力する。
【０１０１】
姿勢検出部２２は、傾斜センサ等を用いて構成されている。姿勢検出部２２は、電子機器１０ｃの姿勢、例えば電子機器１０ｃが横向きか縦向きであるかを検出して、検出結果を示す検出信号を制御部２５ｃへ出力する。
【０１０２】
ユーザインタフェース部２３は、操作スイッチやタッチパネル等を用いて構成されている。ユーザインタフェース部２３は、ユーザ操作に応じた操作信号を生成して制御部２５ｃへ出力する。
【０１０３】
制御部２５ｃは、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。制御部２５ｃは、ユーザインタフェース部２３からの操作信号に基づき各部を制御して、ユーザ操作に応じた動作を電子機器１０ｃで行わせる。
【０１０４】
制御部２５ｃは、複数視点画像間の視差量の調整を行うユーザ操作が行われた場合、表示処理部２１の動作を制御して、複数視点画像から基線長方向に切り出した画像を並べて視差量調整用の平面画像を生成させる。また、制御部２５ｃは、ユーザインタフェース部２３からの操作信号に基づき、画像移動部２１１Ｌ，２１１Ｒで視点画像を移動させて視差量を変更する。
【０１０５】
制御部２５ｃは、姿勢検出部２２で検出された電子機器１０ｃの姿勢状態に基づいて、走査方向と基線長方向を一致させて画像表示を行うか、走査方向と基線長方向を直交させて画像表示を行うか判別する。
【０１０６】
制御部２５ｃは、表示部の走査方向と基線長方向を一致させて視差調整用の画像表示を行う場合、画像読出部２１２Ｌ，２１２Ｒで視点画像をライン単位で読み出すように制御する。また、制御部２５ｃは、画像読出部２１２Ｌと画像読出部２１２Ｒの出力をライン単位で交互に選択するように画像選択部２１３を制御して、視差量調整用の平面画像を生成する。
【０１０７】
また、制御部２５ｃは、表示部の走査方向と基線長方向を直交させて視差調整用の画像表示を行う場合、画像回転部２１０Ｌ，２１０Ｒで視点画像を例えば時計回り方向に９０度回転させる。また、制御部２５ｃは。画像読出部２１２Ｌ，２１２Ｒで視点画像をライン方向に画素単位で読み出すように制御する。また、制御部２５ｃは、画像読出部２１２Ｌと画像読出部２１２Ｒの出力を画素単位で交互に選択するように画像選択部２１３を制御して、視差量調整用の平面画像を生成する。
【０１０８】
表示部３１は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部３１は、表示処理部２１から出力された画像信号に基づき視差量調整用の平面画像を画面上に表示する。また、表示部３１が平面画像だけでなく立体画像表示機能を有している場合、制御部２５ｃからの制御信号に基づき、視差量の調整が行われる場合には立体画像表示機能を停止して平面画像表示を行う。
【０１０９】
なお、電子機器１０ｃで立体画像表示を行う場合は、画像移動部２１１Ｌから出力される左視点画像の画像信号と画像移動部２１１Ｒから出力される右視点画像の画像信号を、立体画像の所定フォーマットの信号として表示部３１へ出力する。
【０１１０】
図１３は第３の実施の形態の動作を説明するための図である。図１３の（Ａ）は左視点画像、図１３の（Ｂ）は右視点画像を示している。電子機器１０ｃは、走査方向と基線長方向が直交する場合、左視点画像と右視点画像を例えば時計回り方向に９０度回転する。
図１３の（Ｃ）は回転後の左視点画像、図１３の（Ｄ）は回転後の右視点画像を示している。したがって、画素単位で画像並べ替えを行う際に、回転後の左視点画像における画素単位の読み出し（例えば画素Ｌ０，Ｌ１，Ｌ２・・・の順）と、、回転後の右視点画像における画素単位の読み出し（例えば画素Ｒ０，Ｒ１，Ｒ２・・・の順）は、ライン方向となる。画像選択部２１３は、図１３の（Ｅ）に示すように、画素単位で出力された左視点画像と右視点画像を交互に選択して（例えば画素Ｒ０，Ｌ１，Ｒ２・・・の順）、平面画像の画像信号を生成する。また、生成された画像信号に基づく視差量調整用の平面画像は、図１３の（Ｆ）に示すように、左視点画像と右視点画像のそれぞれから基線長方向に切り出された画像を基線長方向に対して直交する方向に交互に並べた画像となる。すなわち、各視点画像を１ライン（または複数ライン）毎に並べた平面画像となる。
【０１１１】
このように、走査方向と基線長方向が一致しない場合、走査方向と基線長方向が一致するように平面画像を回転して、回転後の画像から画素単位で読み出しを行えば、画素データの読み出し方向はライン方向となり、画素データの読み出しを容易とすることができる。なお、第３の実施の形態では、画像を回転してから画像の移動を行う構成を例示したが、画像の移動を行ってから回転を行うようにしてもよい。
【０１１２】
また、第１および第３の実施の形態では、表示処理部２１の機能構成として画像移動部２１１Ｌ，２１１Ｒと画像読出部２１２Ｌ，２１２Ｒおよび画像選択部２１３を設ける場合について説明した。しかし、表示処理部２１は、画像移動部２１１Ｌ，２１１Ｒと画像読出部２１２Ｌ，２１２Ｒおよび画像選択部２１３の動作を個々に行うことなくまとめて行うようにしてもよい。例えば、信号処理部から出力された左視点画像と右視点画像の画像信号をメモリに記憶して、メモリから読み出す画像の選択と選択した画像の読み出しタイミングや読み出し開始位置、読み出し方向を制御して、視差調整用の平面画像の画像信号を生成する。このようにすれば、表示処理部２１の構成を簡略化できる。
【０１１３】
また、第１乃至第３の実施の形態において、ライン単位は１ライン単位に限らず複数ライン単位であってもよい。また、画素単位は１画素単位に限らず複数画素単位であってもよい。例えば、４：２：２フォーマットのコンポーネント信号を処理する場合は１画素では色が揃わないため、２画素毎に処理にする。また、４：２：２フォーマットのコンポーネント信号に対して色差成分の補間を行い、４：４：４フォーマットのコンポーネント信号に変換して１画素単位で処理を行うようにしてもよい。
【０１１４】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１１５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１１６】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１１７】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  外部からの指示に応じて視点画像の移動を行い複数の視点画像間の視差量を変更する画像移動部と、
前記複数の視点画像をライン単位またはライン方向と直交する方向に画素単位で読み出す画像読出部と、
前記画像読出部でライン単位または画素単位で読み出された前記複数の視点画像を順次選択して出力する画像選択部と、
表示部の走査方向と前記複数の視点画像における基線長方向に応じて、前記画像読出部における前記複数の視点画像の読み出しを前記ライン単位または前記画素単位に適応的に切り替える制御部と
を備える画像処理装置。
（２）  前記制御部は、前記走査方向と前記基線長方向を一致させて画像表示を行う場合に前記画像読出部で前記ライン単位の読み出しを行わせて、前記走査方向と前記基線長方向を直交させて画像表示を行う場合に前記画像読出部で前記画素単位の読み出しを行わせる（１）に記載の画像処理装置。
（３）  表示部の姿勢状態を検出する姿勢検出部をさらに備え、
前記制御部は、前記姿勢検出部で検出された姿勢状態に基づいて、前記走査方向と前記基線長方向を一致させて画像表示を行うか、前記走査方向と前記基線長方向を直交させて画像表示を行うか判別する（２）に記載の画像処理装置。
（４）  前記複数の視点画像を回転する画像回転部をさらに備え、
前記制御部は、前記走査方向と前記基線長方向を直交させて画像表示を行う場合に、前記画像回転部で前記複数の視点画像における基線長方向が前記走査方向と一致するように前記複数の視点画像を回転させて、前記画像読出部における前記画素単位の読み出しを前記ライン方向とする（２）または（３）に記載の画像処理装置。
（５）  前記複数の視点画像を用いて立体画像表示を行う表示部を備え、
前記制御部は、前記表示部における立体画像表示を停止させて前記画像選択部からの出力に基づき平面画像表示を行う（１）乃至（４）の何れかに記載の画像処理装置。
（６）  前記画像移動部は、前記視点画像の移動によって生じた画像のない領域のマスク処理を行う（１）乃至（５）の何れかに記載の画像処理装置。
（７）  前記複数の視点画像は、左視点画像と右視点画像であり、
前記画像移動部は、前記左視点画像と前記右視点画像を互いに逆方向に移動して視差量を変更する（１）乃至（６）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１１８】
この技術の画像処理装置と画像処理方法およびプログラムでは、外部からの指示に応じて画像移動部で視点画像の移動が行われて、複数の視点画像間の視差量が変更される。この複数の視点画像は、画像読出部によってライン単位またはライン方向と直交する方向に画素単位で読み出されて、ライン単位または画素単位で読み出された複数の視点画像を画像選択部で順次選択して出力することで、視差調整用の画像が生成される。また、表示部の走査方向と複数の視点画像における基線長方向に応じて、複数の視点画像の読み出しがライン単位または画素単位で適応的に切り替えられる。このため、各視点画像から基線長方向に切り出した画像を順次選択して基線長方向に対して直交する方向に並べた視差調整用の平面画像を生成できるので、この平面画像で視差量を簡単に確認できるようになり、視認性の高い視差調整を容易に行うことができる。したがって、携帯型の電子機器等で立体表示を行う場合の視差量の調整に適している。
【符号の説明】
【０１１９】
１０ａ，１０ｂ，１０ｃ・・・電子機器
１１Ｌ，１１Ｒ・・・撮像処理部
１２Ｌ，１２Ｒ・・・信号処理部
２１，２１ｃ・・・表示処理部
２２・・・姿勢検出部
２３・・・ユーザインタフェース（Ｉ／Ｆ）部
２５ａ，２５ｂ，２５ｃ・・・制御部
３１・・・表示部
２１０Ｌ，２１０Ｒ・・・画像回転部
２１１Ｌ，２１１Ｒ・・・画像移動部
２１２Ｌ，２１２Ｒ・・・画像読出部
２１３・・・画像選択部
【図１】
2014007648.tif 000003
【図２】
2014007648.tif 000004
【図３】
2014007648.tif 000005
【図４】
2014007648.tif 000006
【図５】
2014007648.tif 000007
【図６】
2014007648.tif 000008
【図７】
2014007648.tif 000009
【図８】
2014007648.tif 000010
【図９】
2014007648.tif 000011
【図１０】
2014007648.tif 000012
【図１１】
2014007648.tif 000013
【図１２】
2014007648.tif 000014
【図１３】
2014007648.tif 000015