(57)【要約】【課題】ユーザに見易い画像コンテンツを提供する。【解決手段】画像処理装置は、調整部および制御部を具備するものである。その調整部は、立体視画像を表示するための第１画像および第２画像について、その立体視画像に含まれる物体の奥行方向における位置を調整するための視差調整を行うものである。また、その制御部は、その立体視画像の撮像動作時における撮像動作状態に基づいて、その視差調整を制限するための制御を行うものである。【選択図】図１
2013123153.tif 000002
【特許請求の範囲】
【請求項１】
立体視画像を表示するための第１画像および第２画像について前記立体視画像に含まれる物体の奥行方向における位置を調整するための視差調整を行う調整部と、
前記立体視画像の撮像動作時における撮像動作状態に基づいて前記視差調整を制限するための制御を行う制御部と
を具備する画像処理装置。
【請求項２】
前記画像処理装置の姿勢の変化を検出する検出部をさらに具備し、
前記制御部は、前記検出部による検出結果に基づいて前記視差調整を制限するための制御を行う
請求項１記載の画像処理装置。
【請求項３】
前記制御部は、前記姿勢の変化が所定値を基準として大きい場合における前記視差調整の制限よりも、前記姿勢の変化が前記所定値を基準として小さい場合における前記視差調整の制限を強くする請求項１記載の画像処理装置。
【請求項４】
前記制御部は、前記画像処理装置の姿勢の変化が検出されない場合には、前記視差調整を停止するための制御を行う請求項１記載の画像処理装置。
【請求項５】
前記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、
前記第２画像は、第２撮像部が前記被写体を撮像して生成された画像であり、
前記調整部は、前記第１画像および前記第２画像の相対位置を水平方向にシフトさせるシフト処理と、前記第１画像および前記第２画像の所定位置を基準として拡大または縮小を行うスケーリング処理とのうちの少なくとも１つの画像処理を行うことにより前記視差調整を行う
請求項１記載の画像処理装置。
【請求項６】
前記制御部は、前記画像処理時において水平方向に画像が変化する際におけるその変化の速度またはその加速度を制限することにより前記視差調整を制限するための制御を行う請求項５記載の画像処理装置。
【請求項７】
前記制御部は、前記速度または前記加速度の上限値を設定することにより前記視差調整を制限するための制御を行う請求項６記載の画像処理装置。
【請求項８】
前記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、
前記第２画像は、第２撮像部が前記被写体を撮像して生成された画像であり、
前記調整部は、前記第１撮像部および前記第２撮像部の輻輳角を調整することにより前記視差調整を行う
請求項１記載の画像処理装置。
【請求項９】
前記制御部は、前記輻輳角の調整時において水平方向に前記第１撮像部および前記第２撮像部のそれぞれが移動する際におけるその移動速度またはその移動加速度を制限することにより前記視差調整を制限するための制御を行う請求項８記載の画像処理装置。
【請求項１０】
前記制御部は、前記移動速度または前記移動加速度の上限値を設定することにより前記視差調整を制限するための制御を行う請求項９記載の画像処理装置。
【請求項１１】
立体視画像の撮像動作時における撮像動作状態を検出する検出手順と、
前記撮像動作状態の検出結果に基づいて、前記立体視画像を表示するための第１画像および第２画像について行われる前記立体視画像に含まれる物体の奥行方向における位置を調整するための視差調整を制限するための制御を行う制御手順と
を具備する画像処理装置の制御方法。
【請求項１２】
立体視画像の撮像動作時における撮像動作状態を検出する検出手順と、
前記撮像動作状態の検出結果に基づいて、前記立体視画像を表示するための第１画像および第２画像について行われる前記立体視画像に含まれる物体の奥行方向における位置を調整するための視差調整を制限するための制御を行う制御手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置に関する。詳しくは、立体視画像を扱う画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための複数の画像（画像データ）を関連付けて記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の画像処理装置が提案されている。
【０００３】
このように記録された立体視画像をユーザが見る場合には、実世界と輻輳角が同じであっても焦点距離が異なることがある。このため、そのような要因により視聴者が不自然と感じることを軽減させることが重要となる。
【０００４】
そこで、例えば、入力画像の左右画像を用いて適切な視差制御を行うための視差制御パラメータを生成し、この視差制御パラメータに従って画像変換処理の内容を制御する視差変換装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５５０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術によれば、立体視画像について視差調整を行うことにより、この視差調整後の立体視画像を表示する場合に、その立体像を自然に快適に見せることができる。
【０００７】
ここで、例えば、立体視画像（動画）を表示するための左眼視用画像および右眼視用画像の何れかを順次表示することにより、立体視画像コンテンツを平面画像（動画）として表示することができる。しかしながら、視差調整後の立体視画像を平面画像として表示する場合には、その視差調整による視差変化をユーザが不自然に感じて、その平面画像が見難くなるおそれがある。
【０００８】
本技術はこのような状況に鑑みて生み出されたものであり、ユーザに見易い画像コンテンツを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、立体視画像を表示するための第１画像および第２画像について上記立体視画像に含まれる物体の奥行方向における位置を調整するための視差調整を行う調整部と、上記立体視画像の撮像動作時における撮像動作状態に基づいて上記視差調整を制限するための制御を行う制御部とを具備する画像処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、立体視画像の撮像動作時における撮像動作状態に基づいて、立体視画像の視差調整を制限するという作用をもたらす。
【００１０】
また、この第１の側面において、上記画像処理装置の姿勢の変化を検出する検出部をさらに具備し、上記制御部は、上記検出部による検出結果に基づいて上記視差調整を制限するための制御を行うようにしてもよい。これにより、検出部による検出結果に基づいて、立体視画像の視差調整を制限するという作用をもたらす。
【００１１】
また、この第１の側面において、上記制御部は、上記姿勢の変化が所定値を基準として大きい場合における上記視差調整の制限よりも、上記姿勢の変化が上記所定値を基準として小さい場合における上記視差調整の制限を強くするようにしてもよい。これにより、画像処理装置の姿勢の変化が所定値を基準として大きい場合における視差調整の制限よりも、その姿勢の変化が所定値を基準として小さい場合における視差調整の制限を強くするという作用をもたらす。
【００１２】
また、この第１の側面において、上記制御部は、上記画像処理装置の姿勢の変化が検出されない場合には、上記視差調整を停止するための制御を行うようにしてもよい。これにより、画像処理装置の姿勢の変化が検出されない場合には、視差調整を停止するという作用をもたらす。
【００１３】
また、この第１の側面において、上記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、上記第２画像は、第２撮像部が上記被写体を撮像して生成された画像であり、上記調整部は、上記第１画像および上記第２画像の相対位置を水平方向にシフトさせるシフト処理と、上記第１画像および上記第２画像の所定位置を基準として拡大または縮小を行うスケーリング処理とのうちの少なくとも１つの画像処理を行うことにより上記視差調整を行うようにしてもよい。これにより、シフト処理およびスケーリング処理のうちの少なくとも１つの画像処理を行うことにより視差調整を行うという作用をもたらす。
【００１４】
また、この第１の側面において、上記制御部は、上記画像処理時において水平方向に画像が変化する際におけるその変化の速度またはその加速度を制限することにより上記視差調整を制限するための制御を行うようにしてもよい。これにより、画像処理時において水平方向に画像が変化する際におけるその変化の速度またはその加速度を制限することにより視差調整を制限するという作用をもたらす。
【００１５】
また、この第１の側面において、上記制御部は、上記速度または上記加速度の上限値を設定することにより上記視差調整を制限するための制御を行うようにしてもよい。これにより、画像処理時において水平方向に画像が変化する際におけるその速度またはその加速度の上限値を設定することにより視差調整を制限するという作用をもたらす。
【００１６】
また、この第１の側面において、上記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、上記第２画像は、第２撮像部が上記被写体を撮像して生成された画像であり、上記調整部は、上記第１撮像部および上記第２撮像部の輻輳角を調整することにより上記視差調整を行うようにしてもよい。これにより、第１撮像部および第２撮像部の輻輳角を調整することにより視差調整を行うという作用をもたらす。
【００１７】
また、この第１の側面において、上記制御部は、上記輻輳角の調整時において水平方向に上記第１撮像部および上記第２撮像部のそれぞれが移動する際におけるその移動速度またはその移動加速度を制限することにより上記視差調整を制限するための制御を行うようにしてもよい。これにより、第１撮像部および第２撮像部の輻輳角の調整時において水平方向に第１撮像部および第２撮像部のそれぞれが移動する際におけるその移動速度またはその移動加速度を制限することにより視差調整を制限するという作用をもたらす。
【００１８】
また、この第１の側面において、上記制御部は、上記移動速度または上記移動加速度の上限値を設定することにより上記視差調整を制限するための制御を行うようにしてもよい。これにより、第１撮像部および第２撮像部のそれぞれが移動する際におけるその移動速度またはその移動加速度の上限値を設定することにより視差調整を制限するという作用をもたらす。
【発明の効果】
【００１９】
本技術によれば、ユーザに見易い画像コンテンツを提供することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２０】
【図１】本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における撮像装置１００を用いて行われる撮像動作およびその撮像動作により生成される立体視画像の一例を簡略的に示す図である。
【図３】本技術の第１の実施の形態における画像変換部２２２により行われる画像変換の一例を簡略的に示す図である。
【図４】本技術の第１の実施の形態における画像変換部２２２により画像変換が行われた立体視画像の遷移を時系列で模式的に示す図である。
【図５】本技術の第１の実施の形態における撮像装置１００により記録された立体視画像を表示する際における立体視画像の表示遷移を時系列で簡略化して示す図である。
【図６】本技術の第１の実施の形態における画像変換部２２２により行われる画像変換（視差調整）を制限する際に用いられる制限量の一例を示す図である。
【図７】本技術の第１の実施の形態における撮像装置１００により記録された立体視画像を表示する際における立体視画像の表示遷移を時系列で簡略化して示す図である。
【図８】本技術の第１の実施の形態における撮像装置１００による立体視画像記録処理手順の一例を示すフローチャートである。
【図９】本技術の第１の実施の形態における撮像装置１００による立体視画像記録処理手順の一例を示すフローチャートである。
【図１０】本技術の第２の実施の形態における撮像装置６００の機能構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（立体視画像記録制御：立体視画像の撮像動作時における撮像動作状態に基づいて、立体視画像の視差調整を制限する例）
２．第２の実施の形態（立体視画像記録制御：２つの撮像部の輻輳角を調整することにより立体視画像の視差調整を行う撮像装置についてその視差調整を制限する例）
【００２２】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【００２３】
撮像装置１００は、撮像部２１０と、画像処理部２２１と、画像変換部２２２と、表示制御部２２３と、表示部２２４と、記録制御部２２５と、コンテンツ記憶部２２６とを備える。また、撮像装置１００は、姿勢検出部２３０と、視差推定部２４０と、視差制御部２５０と、操作受付部２６０と、制御部２７０とを備える。なお、撮像装置１００は、特許請求の範囲に記載の画像処理装置の一例である。
【００２４】
撮像部２１０は、制御部２７０の制御に基づいて、被写体を撮像してその被写体を含む平面画像またはその被写体を立体視するための立体視画像を生成する撮像部であり、第１撮像部２１１および第２撮像部２１２を備える。
【００２５】
第１撮像部２１１および第２撮像部２１２は、左眼視用画像および右眼視用画像を生成するため、光学系、撮像素子のそれぞれが左右１組となるように構成されている。なお、第１撮像部２１１および第２撮像部２１２の各構成（各光学系、各撮像素子等）は、配置位置が異なる点以外は略同一である。このため、以下では、これらの左右の構成のうち何れかについては一部の説明を省略して説明する。
【００２６】
第１撮像部２１１は、光学系（図示せず）を介して入射された被写体の光を電気信号に変換する撮像素子（図示せず）と、この撮像素子の出力信号（アナログ信号）を処理するアナログ信号処理部（図示せず）とを備える。すなわち、第１撮像部２１１において、光学系を介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行うことにより、アナログ信号が生成される。そして、アナログ信号処理部がそのアナログ信号に対して、ノイズ除去や増幅等のアナログ処理を行うことにより画像信号が生成される。そして、生成された画像信号（アナログ信号）が画像処理部２２１に出力される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。
【００２７】
また、第１撮像部２１１の光学系は、被写体からの入射光を集光するレンズ群や絞りにより構成され、このレンズ群により集光された光が絞りを介して撮像素子に入射される。また、レンズ群は、焦点を合わせるためのフォーカスレンズや被写体を拡大するためのズームレンズ等により構成される。また、制御部２７０の指示に基づいて、光学系を構成する各レンズが駆動され、被写体に対して前後に移動することにより、フォーカス機能およびズーム機能が実現される。
【００２８】
また、撮像部２１０は、制御部２７０により設定された撮像モードに応じた撮像処理を行う。ここで、撮像モードとして、平面画像撮像モードおよび立体視画像撮像モードの何れかの撮像モードが設定される。平面画像撮像モードは、第１撮像部２１１および第２撮像部２１２の何れかが被写体を撮像して平面画像を生成し、この平面画像を記録する撮像モードである。また、立体視画像撮像モードは、第１撮像部２１１および第２撮像部２１２のそれぞれが被写体を撮像してその被写体を立体視するための立体視画像（左眼視用画像、右眼視用画像）を生成し、この立体視画像を記録するための撮像モードである。
【００２９】
また、これらの各撮像モードについては、静止画を記録するための静止画撮像モードと、動画を記録するための動画撮像モードとの何れについても設定することができるものとする。すなわち、平面画像撮像モードおよび立体視画像撮像モードの何れかの撮像モードが設定されている場合には、ユーザ操作に基づいて、静止画の記録動作および動画の記録動作の何れについても行うことができる。
【００３０】
また、第１撮像部２１１は、生成された画像（例えば、左眼視用画像）を画像処理部２２１に出力し、第２撮像部２１２は、生成された画像（例えば、右眼視用画像）を画像処理部２２１に出力する。
【００３１】
画像処理部２２１は、制御部２７０の指示に基づいて、撮像部２１０から出力された画像信号（アナログ信号）をデジタル信号に変換し、この変換により生成された画像信号（デジタル信号）について各種画像処理を施すものである。そして、画像処理部２２１は、各種画像処理が施された画像信号（画像データ）を画像変換部２２２および視差推定部２４０に出力する。
【００３２】
画像変換部２２２は、視差制御部２５０からの指示に基づいて、画像処理部２２１から出力された画像信号（画像データ）について画像変換を行うものであり、画像変換後の画像信号（画像データ）を表示制御部２２３および記録制御部２２５に出力する。例えば、画像変換部２２２は、画像処理部２２１から立体視画像の画像信号（画像データ）が出力された場合には、その立体視画像について画像変換（視差調整）を行う。すなわち、画像変換部２２２は、視差制御部２５０により設定される視差量に応じて、左眼視用画像および右眼視用画像の視差を変化させる画像変換を行う。ここで、視差調整は、立体視画像に含まれる物体の奥行方向における位置を調整することを意味する。
【００３３】
例えば、画像変換部２２２は、画像処理部２２１から出力された立体視画像を構成する左眼視用画像および右眼視用画像の相対位置を水平方向にシフトさせるシフト処理を行うことにより画像変換（視差調整）を行う。また、画像変換部２２２は、立体視画像を構成する左眼視用画像および右眼視用画像の所定位置（水平方向における位置）を基準として画面全体を水平方向に拡大縮小するスケーリング処理を行うことにより画像変換（視差調整）を行う。また、画像変換部２２２は、左眼視用画像および右眼視用画像のそれぞれについて、上述した各処理を２段階で行う２段階の画像変換（視差調整）を行うようにしてもよい（例えば、特開２０１１−５５０２２号公報参照。）。このように、２段階の画像変換を行うことにより、さらに自然な立体感を再現することができる。なお、画像変換部２２２は、特許請求の範囲に記載の調整部の一例である。
【００３４】
表示制御部２２３は、制御部２７０の制御に基づいて、画像変換部２２２から出力された画像信号（画像データ）を表示部２２４に表示させるものである。例えば、表示制御部２２３は、撮像モードが設定されている場合には、画像変換部２２２から出力された画像信号（画像データ）をスルー画像（モニタリング画像）として表示部２２４に表示させる。
【００３５】
表示部２２４は、制御部２７０の制御に基づいて各画像を表示する表示パネルである。例えば、表示部２２４には、撮像動作中にリアルタイムで入力される撮像中の画像（スルー画像）が表示される。これにより、ユーザは、撮像動作中のスルー画像を表示部２２４で見ながら、撮像装置１００を操作することができる。また、コンテンツ記憶部２２６に記憶されている画像コンテンツの再生指示操作が行われた場合には、表示部２２４は、その再生指示操作に係る画像コンテンツを表示する。例えば、表示部２２４として、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いることができる。また、表示部２２４として、立体視画像および平面画像の何れについても表示することが可能な表示パネルを用いることができる。
【００３６】
記録制御部２２５は、制御部２７０の指示に基づいて、コンテンツ記憶部２２６に対する記録制御を行うものである。例えば、記録制御部２２５は、画像変換部２２２から出力された画像信号（画像データ）を画像コンテンツ（静止画ファイルまたは動画ファイル）としてコンテンツ記憶部２２６に記録させる。また、例えば、記録制御部２２５は、立体視画像撮像モードの設定時において、録画ボタン（図示せず）が押下された場合には、画像信号（画像データ）を所定の圧縮符号化方式で圧縮する。そして、その圧縮された画像信号を、動画コンテンツ（立体視画像コンテンツ）としてコンテンツ記憶部２２６に記録させる。また、記録制御部２２５は、立体視画像撮像モードの設定時にシャッターボタン（図示せず）が押下された場合には、画像信号（画像データ）を所定の圧縮符号化方式で圧縮する。そして、その圧縮された画像信号を、静止画コンテンツ（立体視画像コンテンツ）としてコンテンツ記憶部２２６に記録させる。
【００３７】
コンテンツ記憶部２２６は、記録制御部２２５の制御に基づいて、各種情報（画像コンテンツ等）を記憶する記録媒体である。なお、コンテンツ記憶部２２６は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。
【００３８】
姿勢検出部２３０は、撮像装置１００の加速度、動き、傾き等を検出することにより撮像装置１００の姿勢の変化を検出するものであり、検出された姿勢の変化に関する姿勢情報を視差制御部２５０に出力する。すなわち、姿勢検出部２３０は、撮像装置１００が静止しているか否か、または、撮像装置１００の位置や姿勢の変化が少ないことを検出する。なお、姿勢検出部２３０として、例えば、ジャイロセンサを用いることができる。このジャイロセンサにより、撮像装置１００の角速度が検出され、撮像装置１００の姿勢の変化が検出される。なお、ジャイロセンサ以外の他のセンサ（例えば、加速度センサ）を用いて、撮像装置１００の加速度、動き、傾き等を検出し、この検出結果に基づいて、撮像装置１００の姿勢およびその変化を検出するようにしてもよい。なお、姿勢検出部２３０は、特許請求の範囲に記載の検出部の一例である。
【００３９】
なお、撮像部２１０により生成された画像に基づいて、撮像装置１００の姿勢の変化を検出するようにしてもよい。例えば、画像処理部２２１が、撮像部２１０により生成された画像について、時間軸において隣接する画像間における移動量および移動方向を検出する。そして、画像処理部２２１は、その検出された移動量および移動方向に関する情報（移動情報）を、撮像装置１００の姿勢の変化に関する姿勢情報として視差制御部２５０に出力する。例えば、画像処理部２２１は、隣接する２つの画像を構成する画素間のマッチング処理（すなわち、同一被写体の撮像領域を判別するマッチング処理）を行い、各画像間において移動された画素数を算出する。このマッチング処理では、基本的には被写体は静止していると仮定した処理を行う。なお、被写体に動体が含まれる場合には、画像全体の動きベクトルと異なる動きベクトルが検出されるが、これらの動体に対応する動きベクトルは検出対象外として処理を行う。すなわち、撮像装置１００の移動に伴って発生する画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバルモーションベクトル）のみを検出する。
【００４０】
視差推定部２４０は、制御部２７０の制御に基づいて、画像処理部２２１から出力された立体視画像の画像信号（画像データ）における視差を推定して解析することにより視差制御パラメータを生成するものである。そして、視差推定部２４０は、生成された視差制御パラメータを視差制御部２５０に出力する。すなわち、視差推定部２４０は、画像処理部２２１から出力された立体視画像（左眼視用画像および右眼視用画像）に基づいて、快適な視差量を推定する。
【００４１】
例えば、視差推定部２４０は、第１撮像部２１１により生成された左眼視用画像と、第２撮像部２１２により生成された左眼視用画像とに基づいて視差を推定して視差マップを生成する。この視差マップは、立体視画像（左眼視用画像および右眼視用画像）を構成する画素または画素群毎の視差を保持するものである。この場合、立体視画像としては左眼視用画像および右眼視用画像の何れを基準にしてもよい。また、視差の推定方法として、公知の推定方法を用いることができる。例えば、左右画像から背景画像を除いた前景画像についてマッチングを行うことにより、左右画像の視差を推定し、視差マップを生成する技術（例えば、特開２００６−１１４０２３号公報参照）を用いることができる。
【００４２】
また、視差推定部２４０は、その生成された視差マップを解析して、適切な視差制御を行うための視差制御パラメータを生成する。具体的には、視差推定部２４０は、視差マップから視差のヒストグラムを生成し、このヒストグラムの分布が適切な範囲に収まるように視差制御パラメータを決定する（例えば、特開２０１１−５５０２２号公報参照。）。
【００４３】
また、視差推定部２４０は、操作受付部２６０において視差制御パラメータに関する入力操作が行われた場合には、この操作入力に係る視差制御パラメータを生成し、この生成された視差制御パラメータを視差制御部２５０に出力するようにしてもよい。この場合には、ユーザの好みに応じた視差制御パラメータを設定することが可能である。
【００４４】
視差制御部２５０は、制御部２７０の制御に基づいて、立体視画像の視差量を快適な視差量に遷移させるため、画像変換部２２２により行われる画像変換（視差調整）の制御を行うものである。すなわち、視差制御部２５０は、視差推定部２４０から出力された視差制御パラメータに基づいて、画像変換部２２２により行われる画像変換（視差調整）の制御を行う。また、視差制御部２５０は、姿勢検出部２３０による検出結果（立体視画像の撮像動作時における撮像動作状態）に基づいてその画像変換（視差調整）を制限するための制御を行う。例えば、視差制御部２５０は、撮像装置１００が静止している場合、または、撮像装置１００の位置や姿勢の変化が少ない場合に、画像変換部２２２による視差変化速度を制限するか、または、その視差変化を停止させる。なお、この視差調整の制限については、図６、図７を参照して詳細に説明する。また、視差制御部２５０は、特許請求の範囲に記載の制御部の一例である。
【００４５】
操作受付部２６０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部２７０に出力する。
【００４６】
制御部２７０は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置１００における各部を制御するものである。例えば、制御部２７０は、操作受付部２６０により受け付けられたユーザからの操作入力に応じた制御を行う。
【００４７】
［撮像動作例および立体視画像例］
図２は、本技術の第１の実施の形態における撮像装置１００を用いて行われる撮像動作およびその撮像動作により生成される立体視画像の一例を簡略的に示す図である。
【００４８】
図２（ａ）には、三脚２０に固定されている撮像装置１００を用いて行われる撮像動作状態をその側面から見た場合を示す。具体的には、ランナー３０、山４０を被写体として撮像装置１００を用いて撮影者１０により撮像動作が行われている状態を示す。この場合に、ランナー３０は、撮像装置１００からの距離（被写体距離）が比較的近く、山４０は、被写体距離が比較的遠いものとする。
【００４９】
図２（ｂ）には、撮像装置１００を用いて行われる撮像動作により生成される立体視画像３００（左眼視用画像３０１、右眼視用画像３０２）を示す。具体的には、図２（ａ）に示す状態で、第１撮像部２１１により生成される左眼視用画像３０１と、第２撮像部２１２により生成される右眼視用画像３０２とを示す。
【００５０】
このように、図２（ａ）に示す状態で、立体視画像撮像モードが設定されている撮像装置１００を用いて撮像動作を行うことにより、立体視画像３００（左眼視用画像３０１、右眼視用画像３０２）を生成することができる。
【００５１】
ここで、図２（ａ）に示すように、撮像装置１００の光軸方向に移動している物体（ランナー３０）を被写体として撮像された立体視画像の動画コンテンツを再生する場合を想定する。この立体視画像の動画コンテンツを再生する場合には、撮像動作中に光軸方向に移動している物体（ランナー３０）が、表示画面内において飛び出し過ぎることが想定される。
【００５２】
そこで、このような場合には、立体視画像３００を構成する左眼視用画像３０１および右眼視用画像３０２の視差を調整することにより、ユーザにさらに見易い立体視画像を提供することができる（例えば、特開２０１１−５５０２２号公報参照。）。この視差調整の一例を図３に示す。
【００５３】
［立体視画像の視差調整例］
図３は、本技術の第１の実施の形態における画像変換部２２２により行われる画像変換の一例を簡略的に示す図である。図３では、視差調整としてシフト処理を行う例を示す。
【００５４】
図３（ａ）には、図２（ａ）に示す状態で撮像動作により生成された立体視画像３００（左眼視用画像３０１、右眼視用画像３０２）を示す。すなわち、図３（ａ）には、シフト処理が行われていない状態（すなわち、シフト量ｓ＝０）の立体視画像を示す。なお、立体視画像３００は、図２（ｂ）と同様であるため、ここでの説明を省略する。
【００５５】
図３（ｂ）および（ｃ）には、図３（ａ）に示す立体視画像３００について画像変換部２２２がシフト処理を行った状態を示す。なお、図３（ｂ）および（ｃ）に示す太い点線の矩形３０３乃至３０６は、記録対象となる画像領域を示す。また、各シフト処理により空白となる領域３１１乃至３１４は、余剰領域である。
【００５６】
図３（ｂ）には、画像変換部２２２により、左眼視用画像および右眼視用画像が互いに遠ざかる方向にシフト処理が行われた状態（すなわち、シフト量ｓ＞０）の立体視画像を示す。
【００５７】
例えば、視差制御部２５０が、視差推定部２４０により決定された視差制御パラメータに基づいて、シフト量ｓ（ｓ＝２ｄ＞０）を決定する。そして、画像変換部２２２が、左眼視用画像３０１における水平方向の各画素の座標を左方向へｄ画素だけシフトさせ、右眼視用画像３０２における水平方向の各画素の座標を右方向へｄ画素だけシフトさせるようにシフト処理を行う。
【００５８】
図３（ｃ）には、画像変換部２２２により、左眼視用画像および右眼視用画像が互いに近づく方向にシフト処理が行われた状態（すなわち、シフト量ｓ＜０）の立体視画像を示す。
【００５９】
例えば、視差制御部２５０が、視差推定部２４０により決定された視差制御パラメータに基づいて、シフト量ｓ（ｓ＝２ｄ＜０）を決定する。そして、画像変換部２２２が、左眼視用画像３０１における水平方向の各画素の座標を右方向へｄ画素だけシフトさせ、右眼視用画像３０２における水平方向の各画素の座標を左方向へｄ画素シフトさせるようにシフト処理を行う。
【００６０】
このように、図３（ｂ）および（ｃ）では、左眼視用画像３０１および右眼視用画像３０２のそれぞれが、ｄ画素ずつ（すなわち、合計２ｄ画素）シフトされるようにシフト処理が行われた場合における立体視画像を模式的に示す。
【００６１】
なお、図３に示す視差調整は、一例であり、他の視差調整を行うようにしてもよい。例えば、上述したように、スケーリング処理により視差調整を行うようにしてもよい。
【００６２】
［立体視画像の視差調整の遷移例］
図４は、本技術の第１の実施の形態における画像変換部２２２により画像変換が行われた立体視画像の遷移を時系列で模式的に示す図である。
【００６３】
図４（ａ）には、画像変換（視差調整）が行われる前の立体視画像（左眼視用画像群３２０および右眼視用画像群３３０）を時間軸に沿って並べて示す。また、図４（ｂ）には、画像変換（視差調整）が行われた後の立体視画像（左眼視用画像群３２１および右眼視用画像群３３１）を時間軸に沿って並べて示す。なお、図４（ａ）および（ｂ）では、各画像を白抜きの矩形で模式的に示し、これらの各矩形内に符号を付して示す。具体的には、左眼視用画像群３２０を構成する各左眼視用画像にはＬｎを付し、右眼視用画像群３３０を構成する各右眼視用画像にはＲｎを付す（ただし、ｎ＝１乃至４）。また、生成時刻が最も早い画像はｎ＝１とし、生成時刻が最も遅い画像はｎ＝４とする。
【００６４】
なお、図４（ｂ）では、説明の容易のため、立体視画像について行われた画像変換に係るシフト量を比較的大きくして示す。具体的には、左眼視用画像Ｌ２および右眼視用画像Ｒ２のそれぞれは、基準位置（点線で示す）からｄ１画素ずつシフトされるようにシフト処理が行われるものとする。また、左眼視用画像Ｌ３および右眼視用画像Ｒ３のそれぞれは、基準位置（点線で示す）からｄ２画素ずつシフトされるようにシフト処理が行われるものとする。また、左眼視用画像Ｌ４および右眼視用画像Ｒ４のそれぞれは、基準位置（点線で示す）からｄ３画素ずつシフトされるようにシフト処理が行われるものとする。
【００６５】
［視差調整された立体視画像の表示例］
図５は、本技術の第１の実施の形態における撮像装置１００により記録された立体視画像を表示する際における立体視画像の表示遷移を時系列で簡略化して示す図である。
【００６６】
図５（ａ）には、左眼視用画像３４１乃至３４４の表示遷移例を示す。また、図５（ｂ）には、右眼視用画像３５１乃至３５４の表示遷移例を示す。なお、図５（ａ）に示す左眼視用画像３４１は、図３（ａ）に示す左眼視用画像３０１に対応し、図５（ｂ）に示す右眼視用画像３５１は、図３（ａ）に示す右眼視用画像３０２に対応する。
【００６７】
また、図５では、図４（ｂ）と同様に、説明の容易のため、立体視画像について行われた画像変換に係るシフト量を比較的大きくして示す。また、シフト量（ｄ１乃至ｄ３）は、図４（ｂ）と同様とする。
【００６８】
上述したように、コンテンツ記憶部２２６に記憶されている画像コンテンツ（立体視画像コンテンツ）を再生する場合において、上述した視差調整が行われた立体視画像を表示する場合には、この立体視画像がユーザにとって見易い。
【００６９】
ここで、立体視画像コンテンツを再生する場合に、ユーザの好みに応じて、立体視画像（３Ｄ画像）および平面画像（２Ｄ画像）の何れについても見ることができる表示装置（例えば、表示部２２４、立体視対応テレビジョン）が存在する。そこで、例えば、その表示装置を用いて立体視画像コンテンツを再生する場合を想定する。この場合には、例えば、立体視画像を構成する左眼視用画像および右眼視用画像の何れか一方の画像（例えば、左眼視用画像）のみを順次表示することにより、立体視画像を平面画像（２Ｄ画像）として見ることができる。例えば、図５（ａ）に示す左眼視用画像３４１乃至３４４を順次表示することにより、立体視画像を平面画像（２Ｄ画像）として見ることができる。
【００７０】
ここで、画像変換部２２２により行われる画像変換（視差調整）は、立体視画像を見易くするための画像変換である。このため、画像変換部２２２により画像変換（視差調整）が行われた立体視画像（例えば、図５（ａ）に示す左眼視用画像３４１乃至３４４、図５（ｂ）に示す右眼視用画像３５１乃至３５４）を見る場合には、ユーザにとって見易い。
【００７１】
しかしながら、画像変換部２２２により画像変換（視差調整）が行われた立体視画像を平面画像（例えば、図５（ａ）に示す左眼視用画像３４１乃至３４４）として見る場合には、その画像変換（視差調整）後の画像が不自然な画像となることがある。
【００７２】
例えば、図５（ａ）に示すように、左眼視用画像３４１の表示後に表示される左眼視用画像３４２は、左眼視用画像３４１を基準とした場合に、水平方向にシフト量ｄ１だけシフトされている。また、左眼視用画像３４２の表示後に表示される左眼視用画像３４３は、左眼視用画像３４２を基準とした場合に、水平方向にシフト量（ｄ２−ｄ１）だけシフトされている。また、左眼視用画像３４３の表示後に表示される左眼視用画像３４４は、左眼視用画像３４３を基準とした場合に、水平方向にシフト量（ｄ３−ｄ２）だけシフトされている。
【００７３】
このため、図５（ａ）に示す左眼視用画像３４１乃至３４４を平面画像として表示する場合には、各画像に含まれる被写体が極端に横揺れして見えることになる。特に、撮像装置１００が静止している状態（例えば、図２（ａ）に示すように、三脚２０で固定されている状態）では、横揺れが目立ち易い。また、図５（ａ）に示す左眼視用画像３４２乃至３４４の左端部の領域が見えなくなることもある。
【００７４】
そこで、本技術の第１の実施の形態では、立体視画像の撮像動作時における撮像動作状態に基づいて立体視画像の視差調整を制限する。これにより、その立体視画像を平面画像として表示する場合にユーザが見易くすることができる。
【００７５】
［視差調整の制限例］
図６は、本技術の第１の実施の形態における画像変換部２２２により行われる画像変換（視差調整）を制限する際に用いられる制限量の一例を示す図である。
【００７６】
図６（ａ）には、画像変換部２２２が立体視画像について画像変換（視差調整）を行う場合に、その画像変換について一定の制限を行うための２つのパターンに対応する視差変化速度曲線（曲線４００、４１０）を示す。
【００７７】
ここで、曲線４００は、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出された場合に適用される第１パターンに対応する曲線であり、上限値をＡ１とする曲線である。また、曲線４１０は、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出されない場合に適用される第２パターンに対応する曲線であり、上限値をＢ１とする曲線である。
【００７８】
ここで、曲線４００の上限値Ａ１は、例えば、１／６０（フレーム／秒）×１画素程度とすることができる。また、曲線４１０の上限値Ｂ１は、例えば、上限値Ａ１の１／４乃至１／８程度とすることができる。例えば、上限値Ｂ１は、１／６０（フレーム／秒）×０．２５画素程度とすることができる。
【００７９】
また、曲線４００の終了時間ｔ５と、曲線４１０の終了時間ｔ６とは、視差推定部２４０により決定された視差制御パラメータに基づいて算出されるものとする。
【００８０】
図６（ｂ）には、図６（ａ）に示す視差変化速度曲線に対応する視差変化加速度曲線を示す。すなわち、図６（ｂ）に示す視差変化加速度曲線は、図６（ａ）に示す視差変化速度曲線に対応する各区間における加速度を示す曲線（曲線４０１、４０２、４１１、４１２）である。
【００８１】
ここで、曲線４０１は、区間ｔ０乃至ｔ１における曲線４００（図６（ａ）に示す）に対応する視差変化加速度曲線であり、曲線４０２は、区間ｔ３乃至ｔ５における曲線４００に対応する視差変化加速度曲線である。また、曲線４００に対応する視差変化加速度曲線（曲線４０１、４０２）の上限値をＡ２とする
【００８２】
また、曲線４１１は、区間ｔ０乃至ｔ２における曲線４１０（図６（ａ）に示す）に対応する視差変化加速度曲線であり、曲線４１２は、区間ｔ４乃至ｔ６における曲線４１０に対応する視差変化加速度曲線である。また、曲線４１０に対応する視差変化加速度曲線（曲線４０１、４０２）の上限値をＢ２とする
【００８３】
上述したように、撮像装置１００が静止している状態（例えば、図２（ａ）に示すように、三脚２０で固定されている状態）では、横揺れが目立ち易い。これに対して、撮像装置１００が動いている状態（例えば、撮影者が撮像装置１００を手に持った状態）では、横揺れが目立たないことが多い。
【００８４】
そこで、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出された場合には、第１パターン（曲線４００）を適用し、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出されない場合には、第２パターン（曲線４１０）を適用する。
【００８５】
ここで、図２（ａ）に示す状態で、撮像部２１０により生成された立体視画像について、画像変換部２２２がシフト処理（視差調整）を行う場合を想定して説明する。
【００８６】
例えば、図３（ｂ）に示すように、視差推定部２４０が、左眼視用画像３０１における水平方向の各画素の座標を左方向へｄ画素シフトするための視差制御パラメータを決定する。また、図２（ａ）に示す状態では、撮像装置１００が三脚２０に固定されているため、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出されない。このため、視差制御部２５０は、第２パターン（曲線４１０）を用いることを決定する。この場合に、視差制御部２５０は、視差推定部２４０により決定された視差制御パラメータに基づいて、第２パターン（曲線４１０）を用いた場合における時間（ｔ６）を算出する。すなわち、視差推定部２４０により決定された視差制御パラメータに対応する視差調整（左方向へｄ画素シフト）を行うための目標値に到達するまでに必要な時間（ｔ６）が算出される。
【００８７】
続いて、視差制御部２５０は、視差推定部２４０により決定された視差制御パラメータに対応する視差調整（左方向へｄ画素シフト）を行う場合に、その目標値（左方向へｄ画素）に到達するまでの間、曲線４１０に従ってシフト速度を決定する。すなわち、視差推定部２４０により決定された視差制御パラメータに対応する視差調整（左方向へｄ画素シフト）を行うための目標値に到達するまでのシフト速度およびその加速度が決定される。そして、画像変換部２２２は、視差制御部２５０により決定されたシフトの速度に従って、シフト処理を行う。
【００８８】
例えば、曲線４１０において、時間ｔ０では、シフト速度が０であるため、画像変換部２２２は、シフト処理を行わない。続いて、曲線４１０において、時間ｔ０から時間ｔ２までの間、シフト速度が増加するため、画像変換部２２２は、シフト速度を順次速めながら、シフト処理を行う。この場合には、図６（ｂ）に示す曲線４１１に対応する加速度となる。
【００８９】
続いて、曲線４１０において、時間ｔ２から時間ｔ４までの間、速度を一定とするため、画像変換部２２２は、シフト速度を一定としてシフト処理を行う。続いて、曲線４１０において、時間ｔ４から時間ｔ６までの間、シフト速度が減速するため、画像変換部２２２は、シフト速度を順次遅くしながら、シフト処理を行う。この場合には、図６（ｂ）に示す曲線４１２に対応する加速度となる。
【００９０】
このように、曲線４１０に従ったシフト速度により視差調整を行うことにより、急激な速度変化を防止することができる。これにより、ユーザの目にさらに優しい平面画像を提供することができる。
【００９１】
なお、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出された場合には、曲線４００に従ったシフト速度により視差調整を行うことができる。
【００９２】
ここで、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出され、曲線４００に従ったシフト速度により視差調整が行われている場合に、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出されなくなった場合を想定する。この場合には、上限値をＡ１からＢ１に変更するとともに、曲線４００に従ったシフト速度から、曲線４１０に従ったシフト速度となるように、シフト速度を変更して視差調整を行うようにする。また、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出されず、曲線４１０に従ったシフト速度により視差調整が行われている場合に、姿勢検出部２３０により撮像装置１００の姿勢の変化が検出された場合を想定する。この場合についても同様に、上限値をＢ１からＡ１に変更するとともに、曲線４１０に従ったシフト速度から、曲線４００に従ったシフト速度となるように、シフト速度を変更して視差調整を行うようにする。
【００９３】
このように、視差制御部２５０は、立体視画像の撮像動作時における撮像動作状態に基づいて、視差調整を制限するための制御を行う。すなわち、視差制御部２５０は、姿勢検出部２３０による検出結果に基づいて、その視差調整を制限するための制御を行う。
【００９４】
この場合に、視差制御部２５０は、撮像装置１００の姿勢の変化が所定値を基準として大きい場合における視差調整の制限よりも、その変化が所定値を基準として小さい場合における視差調整の制限を強くする。例えば、撮像装置１００の姿勢の変化が検出された場合における視差調整の制限（曲線４００）よりも、その変化が検出されない場合における視差調整の制限（曲線４１０）を強くする。すなわち、視差制御部２５０は、撮像装置１００の姿勢の変化が所定値を基準として大きい場合における視差調整を制限するための上限値よりも、その変化が所定値を基準として小さい場合における視差調整を制限するための上限値を小さくする。例えば、撮像装置１００の姿勢の変化が検出された場合における上限値（曲線４００の上限値Ａ１）よりも、その変化が検出されない場合における上限値（曲線４１０の上限値Ｂ１）を小さくする。
【００９５】
また、視差制御部２５０は、画像変換部２２２による画像処理時において水平方向に画像が変化する際におけるその変化の速度またはその加速度を制限することにより視差調整を制限する。この場合に、視差制御部２５０は、その速度またはその加速度の上限値を設定することにより視差調整を制限する。例えば、撮像装置１００の姿勢の変化が検出されない場合（すなわち、撮像装置１００が静止状態）には、速度の上限値としてＢ１が設定され、加速度の上限値としてＢ２が設定される。
【００９６】
なお、この例では、撮像装置１００の姿勢の変化が検出されない場合（すなわち、撮像装置１００が静止状態）には、曲線４１０に従ったシフト速度により視差調整を行う例を示した。ただし、例えば、撮像装置１００の姿勢の変化が検出されない場合（すなわち、撮像装置１００が静止状態）には、視差調整を停止するようにしてもよい。この場合には、視差制御部２５０は、視差調整を停止するための制御を行う。
【００９７】
また、この例では、撮像装置１００の姿勢の変化が検出された場合には、曲線４００に従ったシフト速度により視差調整を行うことにより、速度および加速度に一定の制限を設ける例を示した。ただし、撮像装置１００の姿勢の変化が検出された場合には、制限を設けずに、ベストな視差調整（視差推定部２４０により決定された視差制御パラメータに対応する視差調整）を行うようにしてもよい。
【００９８】
［視差調整の制限がされた立体視画像の表示例］
図７は、本技術の第１の実施の形態における撮像装置１００により記録された立体視画像を表示する際における立体視画像の表示遷移を時系列で簡略化して示す図である。
【００９９】
図７（ａ）には、左眼視用画像３６１乃至３６４の表示遷移例を示す。また、図７（ｂ）には、右眼視用画像３７１乃至３７４の表示遷移例を示す。なお、図７（ａ）に示す左眼視用画像３６１乃至３６４は、図５（ａ）に示す左眼視用画像３４１乃至３４４について視差調整の制限が行われた画像である。また、図７（ｂ）には、右眼視用画像３７１乃至３７４は、図５（ｂ）に示す右眼視用画像３５１乃至３５４について視差調整の制限が行われた画像である。
【０１００】
ここで、立体視画像を構成する左眼視用画像および右眼視用画像の何れか一方の画像（例えば、左眼視用画像）のみを順次表示することにより、立体視画像を平面画像（２Ｄ画像）として見る場合を想定する。例えば、図７（ａ）に示す左眼視用画像３６１乃至３６４を順次表示することにより、立体視画像を平面画像（２Ｄ画像）として見ることができる。このように、視差調整の制限が行われた左眼視用画像３６１乃至３６４を平面画像として表示する場合には、各画像に含まれる被写体が極端に横揺れして見えることを防止することができる。
【０１０１】
また、例えば、図２（ａ）に示すように、撮像装置１００が三脚２０で固定されている状態において、表示部２２４に表示されるスルー画像（２Ｄ画像）を撮影者１０が見ている場合を想定する。この場合についても同様に、表示部２２４に表示されるスルー画像（２Ｄ画像）に含まれる被写体が極端に横揺れして見えることを防止することができる。このため、撮像動作中のスルー画像を表示部２２４で撮影者１０が見ながら、撮像装置１００を操作する場合に、そのスルー画像を見易くさせることができる。
【０１０２】
［撮像装置の動作例］
図８および図９は、本技術の第１の実施の形態における撮像装置１００による立体視画像記録処理手順の一例を示すフローチャートである。
【０１０３】
最初に、制御部２７０は、立体視画像撮像モードが設定されているか否かを判断し（ステップＳ９０１）、立体視画像撮像モードが設定されていない場合には、監視を継続して行う。一方、立体視画像撮像モードが設定されている場合には（ステップＳ９０１）、姿勢検出部２３０が、撮像装置１００の姿勢を検出する（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の検出手順の一例である。続いて、撮像部２１０が立体視画像を生成し、この立体視画像について画像処理部２２１が画像処理を行う（ステップＳ９０３）。
【０１０４】
続いて、視差推定部２４０が、その立体視画像に基づいて、その立体視画像に最適な視差を推定する（ステップＳ９０４）。すなわち、視差推定部２４０が、視差制御パラメータを生成する（ステップＳ９０４）。続いて、視差制御部２５０は、視差推定部２４０により生成された視差制御パラメータに基づいて、視差調整を開始させる必要があるか、または、画像変換部２２２が画像変換（視差調整）を実行中であるかを判断する（ステップＳ９０５）。視差調整を開始させる必要がない場合、かつ、画像変換部２２２が画像変換（視差調整）を実行中でない場合には（ステップＳ９０５）、ステップＳ９１１に進む。なお、視差調整を開始させる必要がない場合は、例えば、視差推定部２４０により生成された視差制御パラメータに対応する視差量が０の場合である。
【０１０５】
視差調整を開始させる必要がある場合、または、画像変換部２２２が画像変換（視差調整）を実行中である場合には（ステップＳ９０５）、視差制御部２５０は、撮像装置１００の姿勢が一定以上変化したか否かを判断する（ステップＳ９０６）。すなわち、視差制御部２５０は、姿勢検出部２３０により検出された撮像装置１００の姿勢に基づいて、撮像装置１００の姿勢が一定以上変化したか否かを判断する（ステップＳ９０６）。
【０１０６】
そして、撮像装置１００の姿勢が一定以上変化した場合には（ステップＳ９０６）、視差制御部２５０は、視差変化速度の上限値としてＡ１（図６（ａ）に示す上限値Ａ１）を設定する（ステップＳ９０８）。すなわち、撮像装置１００が動いているような場合には、比較的高い値を上限値Ａ１とする第１パターン（曲線４００）に従って画像変換（視差調整）が行われる。
【０１０７】
一方、撮像装置１００の姿勢が一定以上変化していない場合には（ステップＳ９０５）、視差制御部２５０は、視差変化速度の上限値としてＢ１（図６（ａ）に示す上限値Ｂ１）を設定する（ステップＳ９０７）。すなわち、撮像装置１００が静止しているような場合には、比較的低い値を上限値Ｂ１とする第２パターン（曲線４１０）に従って画像変換（視差調整）が行われる。
【０１０８】
続いて、視差制御部２５０は、視差推定部２４０により推定された視差と、設定された上限値（上限値Ａ１またはＢ１）とに基づいて、画像変換時の速度を決定する（ステップＳ９０９）。すなわち、第１パターン（曲線４００）または第２パターン（曲線４１０）に従って画像変換時の速度が決定される。
【０１０９】
続いて、画像変換部２２２は、視差制御部２５０により決定された速度に基づいて、画像処理部２２１により画像処理が施された立体視画像について画像変換（視差調整）を行う（ステップＳ９１０）。なお、ステップＳ９０６乃至Ｓ９１０は、特許請求の範囲に記載の制御手順の一例である。
【０１１０】
続いて、制御部２７０は、モニタリング表示として３Ｄ表示が設定されているか否かを判断する（ステップＳ９１１）。そして、モニタリング表示として３Ｄ表示が設定されていない場合には（ステップＳ９１１）、表示制御部２２３は、画像変換部２２２により画像変換された立体視画像を平面画像として表示部２２４に表示させる（ステップＳ９１３）。例えば、左眼視用画像のみが表示部２２４に表示される（ステップＳ９１３）。
【０１１１】
一方、モニタリング表示として３Ｄ表示が設定されている場合には（ステップＳ９１１）、表示制御部２２３は、画像変換部２２２により画像変換された立体視画像を表示部２２４に表示させる（ステップＳ９１２）。
【０１１２】
続いて、制御部２７０は、動画の記録指示操作（例えば、録画ボタンの最初の押下操作）がされているか否かを判断し（ステップＳ９１４）、動画の記録指示操作がされていない場合には、ステップＳ９０２に戻る。一方、動画の記録指示操作がされている場合には（ステップＳ９１４）、記録制御部２２５は、画像変換部２２２により画像変換された立体視画像を立体視画像コンテンツとしてコンテンツ記憶部２２６に記録させるための記録処理を行う（ステップＳ９１５）。
【０１１３】
続いて、制御部２７０は、立体視画像撮像モードの解除操作が行われたか否かを判断し（ステップＳ９１６）、立体視画像撮像モードの解除操作が行われていない場合には、ステップＳ９０２に戻る。一方、立体視画像撮像モードの解除操作が行われた場合には（ステップＳ９１６）、立体視画像記録処理の動作を終了する。
【０１１４】
なお、この例では、撮像装置１００の姿勢が一定以上変化したか否かに応じて、視差変化速度として第１パターンまたは第２パターンを設定する例を示した。ただし、例えば、撮像装置１００の姿勢の変化に応じた３以上のパターンを用意しておき、これらの各パターンのうちから、撮像装置１００の姿勢の変化に応じたパターンを設定するようにしてもよい。
【０１１５】
また、視差変化速度および視差変化加速度のうちの何れかの上限値のみを、撮像装置１００の姿勢が一定以上変化したか否かに応じて設定するようにしてもよい。例えば、撮像装置１００の姿勢の変化に応じた２以上の上限値を用意しておき、これらの各上限値のうちから、撮像装置１００の姿勢の変化に応じた上限値を設定するようにしてもよい。すなわち、撮像装置１００の動きの大きさに応じて、上限値を可変とするようにしてもよい。
【０１１６】
＜２．第２の実施の形態＞
本技術の第１の実施の形態では、画像変換部２２２が立体視画像について画像変換を行うことにより立体視画像の視差調整を行う例を示した。ここで、撮像部の光学系を水平方向に移動させて２つの撮像部の輻輳角（各撮像部が備える光学系の光軸のなす角度）を調整することにより立体視画像の視差調整を行う撮像装置が存在する。
【０１１７】
そこで、本技術の第２の実施の形態では、２つの撮像部の輻輳角を調整することにより立体視画像の視差調整を行う撮像装置についてその視差調整を制限する例を示す。
【０１１８】
［撮像装置の構成例］
図１０は、本技術の第２の実施の形態における撮像装置６００の機能構成例を示すブロック図である。なお、撮像装置６００は、図１に示す撮像装置１００の一部を変形したものであるため、撮像装置１００と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
【０１１９】
撮像装置６００は、撮像部６１０および視差制御部６２０を備える。
【０１２０】
撮像部６１０は、制御部２７０の制御に基づいて、被写体を撮像してその被写体を含む平面画像またはその被写体を立体視するための立体視画像を生成する撮像部であり、第１撮像部６１１および第２撮像部６１２を備える。
【０１２１】
ここで、撮像部６１０は、第１撮像部６１１および第２撮像部６１２のそれぞれの光軸方向を変更することにより、立体視画像の視差を変更することが可能な撮像部である。すなわち、撮像部６１０は、第１撮像部６１１および第２撮像部６１２のそれぞれの光学系を水平方向に移動させて、第１撮像部６１１および第２撮像部６１２の輻輳角を調整することにより立体視画像の視差調整を行うことが可能な撮像部である。
【０１２２】
視差制御部６２０は、第１撮像部６１１および第２撮像部６１２の輻輳角を調整することにより立体視画像の視差調整を行うための制御を行う。例えば、視差制御部６２０は、第１撮像部６１１および第２撮像部６１２の輻輳角の調整時において、水平方向に第１撮像部６１１および第２撮像部６１２のそれぞれが移動する際におけるその移動速度またはその移動加速度を制限することにより視差調整を制限する。この場合に、視差制御部６２０は、その移動速度またはその移動加速度の上限値を設定することにより視差調整を制限する。なお、視差調整の制限については、図６に示す制限例を適用することができる。なお、視差制御部６２０は、特許請求の範囲に記載の制御部の一例である。
【０１２３】
このように、本技術の実施の形態によれば、撮像装置１００における視差調整後の立体視画像を平面画像として表示する場合に、視聴者の不快感を軽減させ、その平面画像を快適に見せることができる。すなわち、ユーザに見易い画像コンテンツを提供することができる。特に、撮像装置１００を静止させた状態において記録された立体視画像を平面画像として表示する場合に、目立ち易い横揺れを軽減または無くすことができる。
【０１２４】
なお、本技術の実施の形態では、２つの撮像部を備える画像処理装置を示すが、１または３以上の撮像部により立体視画像を生成する画像処理装置に本技術の実施の形態を適用するようにしてもよい。
【０１２５】
また、本技術の実施の形態では、２つの撮像部を備える画像処理装置を例にして説明したが、撮像部（１または複数）を着脱可能な画像処理装置に本技術の実施の形態を適用することができる。また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置（例えば、スマートフォン）等の画像処理装置に本技術の実施の形態を適用することができる。
【０１２６】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１２７】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１２８】
なお、本技術は以下のような構成もとることができる。
（１）  立体視画像を表示するための第１画像および第２画像について前記立体視画像に含まれる物体の奥行方向における位置を調整するための視差調整を行う調整部と、
前記立体視画像の撮像動作時における撮像動作状態に基づいて前記視差調整を制限するための制御を行う制御部と
を具備する画像処理装置。
（２）  前記画像処理装置の姿勢の変化を検出する検出部をさらに具備し、
前記制御部は、前記検出部による検出結果に基づいて前記視差調整を制限するための制御を行う
前記（１）に記載の画像処理装置。
（３）  前記制御部は、前記姿勢の変化が所定値を基準として大きい場合における前記視差調整の制限よりも、前記姿勢の変化が前記所定値を基準として小さい場合における前記視差調整の制限を強くする前記（１）または（２）に記載の画像処理装置。
（４）  前記制御部は、前記画像処理装置の姿勢の変化が検出されない場合には、前記視差調整を停止するための制御を行う前記（１）から（３）のいずれかに記載の画像処理装置。
（５）  前記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、
前記第２画像は、第２撮像部が前記被写体を撮像して生成された画像であり、
前記調整部は、前記第１画像および前記第２画像の相対位置を水平方向にシフトさせるシフト処理と、前記第１画像および前記第２画像の所定位置を基準として拡大または縮小を行うスケーリング処理とのうちの少なくとも１つの画像処理を行うことにより前記視差調整を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）  前記制御部は、前記画像処理時において水平方向に画像が変化する際におけるその変化の速度またはその加速度を制限することにより前記視差調整を制限するための制御を行う前記（５）に記載の画像処理装置。
（７）  前記制御部は、前記速度または前記加速度の上限値を設定することにより前記視差調整を制限するための制御を行う前記（６）に記載の画像処理装置。
（８）  前記第１画像は、第１撮像部が被写体を撮像して生成された画像であり、
前記第２画像は、第２撮像部が前記被写体を撮像して生成された画像であり、
前記調整部は、前記第１撮像部および前記第２撮像部の輻輳角を調整することにより前記視差調整を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（９）  前記制御部は、前記輻輳角の調整時において水平方向に前記第１撮像部および前記第２撮像部のそれぞれが移動する際におけるその移動速度またはその移動加速度を制限することにより前記視差調整を制限するための制御を行う前記（８）に記載の画像処理装置。
（１０）  前記制御部は、前記移動速度または前記移動加速度の上限値を設定することにより前記視差調整を制限するための制御を行う前記（９）に記載の画像処理装置。
（１１）  立体視画像の撮像動作時における撮像動作状態を検出する検出手順と、
前記撮像動作状態の検出結果に基づいて、前記立体視画像を表示するための第１画像および第２画像について行われる前記立体視画像に含まれる物体の奥行方向における位置を調整するための視差調整を制限するための制御を行う制御手順と
を具備する画像処理装置の制御方法。
（１２）  立体視画像の撮像動作時における撮像動作状態を検出する検出手順と、
前記撮像動作状態の検出結果に基づいて、前記立体視画像を表示するための第１画像および第２画像について行われる前記立体視画像に含まれる物体の奥行方向における位置を調整するための視差調整を制限するための制御を行う制御手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１２９】
１０  撮影者
２０  三脚
３０  ランナー
４０  山
１００  撮像装置
２１０  撮像部
２１１  第１撮像部
２１２  第２撮像部
２２１  画像処理部
２２２  画像変換部
２２３  表示制御部
２２４  表示部
２２５  記録制御部
２２６  コンテンツ記憶部
２３０  姿勢検出部
２４０  視差推定部
２５０  視差制御部
２６０  操作受付部
２７０  制御部
６００  撮像装置
６１０  撮像部
６１１  第１撮像部
６１２  第２撮像部
６２０  視差制御部
【図１】
2013123153.tif 000003
【図２】
2013123153.tif 000004
【図３】
2013123153.tif 000005
【図４】
2013123153.tif 000006
【図５】
2013123153.tif 000007
【図６】
2013123153.tif 000008
【図７】
2013123153.tif 000009
【図８】
2013123153.tif 000010
【図９】
2013123153.tif 000011
【図１０】
2013123153.tif 000012