(57)【特許請求の範囲】
【請求項１】
表示部に表示されている立体視画像を回転させる回転指示操作が受け付けられた後に前記立体視画像の視差方向と前記表示部における視差方向とが一致しない場合には、前記立体視画像を平面画像として前記表示部に表示させる第１制御を行い、前記回転指示操作に基づく回転を元に戻す戻し指示操作が受け付けられた後に前記立体視画像の視差方向と前記表示部における視差方向とが一致しない場合には、前記立体視画像の視差方向と前記表示部における視差方向とが一致するように前記立体視画像について画像処理を行い当該画像処理が施された立体視画像を前記表示部に表示させる第２制御を行う制御部を具備する画像処理装置。
【請求項２】
前記立体視画像を前記表示部に表示させるための立体視画像情報を取得する取得部をさらに具備し、
前記制御部は、前記取得された立体視画像情報に基づいて前記立体視画像の視差方向と前記表示部における視差方向とが一致するかを判断する
請求項１記載の画像処理装置。
【請求項３】
前記回転指示操作および前記戻し指示操作を受け付ける操作受付部をさらに具備する請求項１記載の画像処理装置。
【請求項４】
前記制御部は、前記第２制御を行う場合に前記立体視画像の視差方向と前記表示部における視差方向とが一致するように当該立体視画像について回転処理を行い当該回転処理が施された立体視画像を前記表示部に表示させる制御を行う請求項１記載の画像処理装置。
【請求項５】
前記立体視画像は、多視点画像により構成され、
前記制御部は、前記第１制御を行う場合には前記多視点画像のうちの少なくとも１視点画像を前記表示部に表示させる制御を行う
請求項１記載の画像処理装置。
【請求項６】
前記立体視画像情報には、当該立体視画像情報に基づいて前記表示部に表示される立体視画像の撮像動作時における視差方向を示す視差情報が含まれ、
前記制御部は、前記取得された立体視画像情報に含まれる視差情報に基づいて前記立体視画像の視差方向と前記表示部における視差方向とが一致するかを判断する
請求項２記載の画像処理装置。
【請求項７】
前記表示部を備える第１の筐体と、
前記第１の筐体とは異なる筐体である第２の筐体と、
前記第１の筐体および前記第２の筐体を回動可能に連結する回動部材と、
前記第２の筐体に対する前記第１の筐体の回動状態を検出する検出部とをさらに具備し、
前記立体視画像情報には、当該立体視画像情報に基づいて前記表示部に表示される立体視画像の撮像動作時における視差方向を示す視差情報が含まれ、
前記制御部は、前記取得された立体視画像情報に含まれる視差情報と前記検出された第１の筐体の回動状態とに基づいて前記立体視画像の視差方向と前記表示部における視差方向とが一致するかを判断する
請求項２記載の画像処理装置。
【請求項８】
前記表示部は、表示画面における特定方向またはこれに直交する直交方向の何れかを視差方向とする設定がされ、
前記制御部は、前記検出された第１の筐体の回動状態に基づいて前記表示部における視差方向を変更する制御を行う
請求項７記載の画像処理装置。
【請求項９】
前記制御部は、前記表示部に表示される立体視画像の視差方向と前記表示部における視差方向とが一致しない場合には、前記第１制御、前記第２制御または当該立体視画像の視差方向に一致するように前記表示部における視差方向を変更して当該立体視画像を前記表示部に表示させる第３制御の何れかを行う請求項８記載の画像処理装置。
【請求項１０】
前記表示部は、表示画面における特定方向またはこれに直交する直交方向の何れかを視差方向とする設定がされ、
前記制御部は、ユーザ操作または前記表示部の姿勢に基づいて前記表示部における視差方向を変更して当該変更後の前記表示部における視差方向と前記立体視画像の視差方向とが一致するかを判断する
請求項１記載の画像処理装置。
【請求項１１】
前記表示部に表示される立体視画像の視差方向と前記表示部における視差方向とが一致しない場合において前記制御部に前記第１制御を行わせるか、前記第２制御を行わせるかを選択する選択操作を受け付ける操作受付部をさらに具備し、
前記制御部は、前記表示部に表示される立体視画像の視差方向と前記表示部における視差方向とが一致しない場合には前記選択された制御により前記取得された立体視画像情報に対応する画像を前記表示部に表示させる制御を行う
請求項２記載の画像処理装置。
【請求項１２】
前記立体視画像は、第１画像および第２画像の２視点画像により構成され、
前記第１画像および前記第２画像に基づいて前記第１画像における複数の領域の前記第２画像に対する移動量および移動方向を前記領域毎に検出する検出部と、
前記検出された前記第１画像における前記領域毎の移動量および移動方向に基づいて前記第２画像における複数領域の画像を移動させ、当該移動後の各画像に基づいて合成画像を生成する合成部とをさらに具備し、
前記制御部は、前記第２制御を行う場合には前記生成された合成画像と前記第２画像とを前記立体視画像として前記表示部に表示させる制御を行う
請求項１記載の画像処理装置。
【請求項１３】
被写体を撮像して当該被写体を立体視するための立体視画像を表示するための第１画像および第２画像を生成する撮像部と、
前記生成された第１画像および第２画像に基づいて前記第１画像における複数の領域の前記第２画像に対する移動量および移動方向を前記領域毎に検出する検出部と、
前記検出された前記第１画像における前記領域毎の移動量および移動方向に基づいて前記第２画像における複数領域の画像を移動させ、当該移動後の各画像に基づいて合成画像を生成する合成部と、
前記生成された合成画像および前記第２画像を多視点画像として前記立体視画像情報に含めて記録媒体に記録させる記録制御部と
をさらに具備する請求項２記載の画像処理装置。
【請求項１４】
被写体を撮像して当該被写体を立体視するための立体視画像を表示するための多視点画像を生成する撮像部と、
前記生成された多視点画像のそれぞれにおける長手方向の両端部のうちの少なくとも１つの端部側の所定領域を切り取る画像切取部と、
前記所定領域が切り取られた多視点画像を前記立体視画像情報に含めて記録媒体に記録させる記録制御部と
をさらに具備する請求項２記載の画像処理装置。
【請求項１５】
被写体を撮像して当該被写体を立体視するための立体視画像を表示するための多視点画像を１組として時系列で連続する複数組の画像群を生成する撮像部と、
前記生成された複数組の画像群のそれぞれにおける少なくとも一部を用いて合成を行い、前記被写体を立体視するための立体視画像を表示するための複数の合成画像を生成する合成部と、
前記生成された複数の合成画像を多視点画像として前記立体視画像情報に含めて記録媒体に記録させる記録制御部と
をさらに具備する請求項２記載の画像処理装置。
【請求項１６】
ユーザの視差方向を取得する視差方向取得部と、
表示部に表示されている立体視画像を回転させる回転指示操作が受け付けられた後に前記立体視画像の視差方向と前記取得された視差方向とが一致しない場合には、前記立体視画像を平面画像として前記表示部に表示させる第１制御を行い、前記回転指示操作に基づく回転を元に戻す戻し指示操作が受け付けられた後に前記立体視画像の視差方向と前記取得された視差方向とが一致しない場合には、前記立体視画像の視差方向と前記取得された視差方向とが一致するように前記立体視画像について画像処理を行い当該画像処理が施された立体視画像を前記表示部に表示させる第２制御を行う制御部と
を具備する画像処理装置。
【請求項１７】
表示部に表示されている立体視画像を回転させる回転指示操作が受け付けられた後に前記立体視画像の視差方向と前記表示部における視差方向とが一致しない場合には、前記立体視画像を平面画像として前記表示部に表示させる手順と、
前記回転指示操作に基づく回転を元に戻す戻し指示操作が受け付けられた後に前記立体視画像の視差方向と前記表示部における視差方向とが一致しない場合には、前記立体視画像の視差方向と前記表示部における視差方向とが一致するように前記立体視画像について画像処理を行い当該画像処理が施された立体視画像を前記表示部に表示させる手順と
を具備する画像処理方法。
【請求項１８】
表示部に表示されている立体視画像を回転させる回転指示操作が受け付けられた後に前記立体視画像の視差方向と前記表示部における視差方向とが一致しない場合には、前記立体視画像を平面画像として前記表示部に表示させる手順と、
前記回転指示操作に基づく回転を元に戻す戻し指示操作が受け付けられた後に前記立体視画像の視差方向と前記表示部における視差方向とが一致しない場合には、前記立体視画像の視差方向と前記表示部における視差方向とが一致するように前記立体視画像について画像処理を行い当該画像処理が施された立体視画像を前記表示部に表示させる手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、立体視画像を表示させる画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、人物や動物等の被写体を撮像して撮像画像（画像データ）を生成し、この撮像画像を画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。
【０００３】
また、最近では、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための立体視画像表示方法が多数提案されている。また、立体視画像を表示するための画像データを画像コンテンツ（立体視画像コンテンツ）として記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が提案されている。
【０００４】
このように撮像装置により立体視画像コンテンツを記録することができるため、例えば、その記録された立体視画像コンテンツを撮像装置の表示部に表示させることも想定される。例えば、撮像動作により生成された２つの画像から構成される立体視画像を表示部に表示する立体画像表示モードを備える情報機器が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１１２１１１号公報（図４）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の従来技術によれば、撮像動作により生成された立体視画像をその機器の表示部に表示させることができる。
【０００７】
しかしながら、例えば、表示部に表示される立体視画像がユーザ操作により回転されて表示されることも想定される。このような場合には、立体視画像の視差方向と、立体視画像を表示する表示部の視差方向とが不一致となり、立体視画像を適切に表示することができないおそれがある。このようにユーザ操作による立体視画像の回転等により、立体視画像が適切に表示されず、その画像自体をユーザが見ることができないおそれがある。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、立体視画像を表示させる際にその画像を適切に表示させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、表示部に表示されている立体視画像を回転させる回転指示操作が受け付けられた後に上記立体視画像の視差方向と上記表示部における視差方向とが一致しない場合には、上記立体視画像を平面画像として上記表示部に表示させる第１制御を行い、上記回転指示操作に基づく回転を元に戻す戻し指示操作が受け付けられた後に上記立体視画像の視差方向と上記表示部における視差方向とが一致しない場合には、上記立体視画像の視差方向と上記表示部における視差方向とが一致するように上記立体視画像について画像処理を行い当該画像処理が施された立体視画像を上記表示部に表示させる第２制御を行う制御部を具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、回転指示操作が受け付けられた後に、立体視画像の視差方向と、表示部における視差方向とが一致しない場合には、その立体視画像を平面画像として表示させる第１制御を行い、戻し指示操作が受け付けられた後に、立体視画像の視差方向と、表示部における視差方向とが一致しない場合には、その立体視画像の視差方向と表示部における視差方向とが一致するように、その立体視画像について画像処理を行い、この画像処理が施された立体視画像を表示させる第２制御を行うという作用をもたらす。
また、この第１の側面において、上記立体視画像を上記表示部に表示させるための立体視画像情報を取得する取得部をさらに具備し、上記制御部は、上記取得された立体視画像情報に基づいて上記立体視画像の視差方向と上記表示部における視差方向とが一致するかを判断するようにしてもよい。これにより、取得された立体視画像情報に基づいて、立体視画像の視差方向と表示部における視差方向とが一致するかを判断するという作用をもたらす。
また、この第１の側面において、上記回転指示操作および上記戻し指示操作を受け付ける操作受付部をさらに具備するようにしてもよい。これにより、回転指示操作および戻し指示操作を操作受付部により受け付けるという作用をもたらす。
【００１０】
また、この第１の側面において、上記制御部は、上記第２制御を行う場合に上記立体視画像の視差方向と上記表示部における視差方向とが一致するように当該立体視画像について回転処理を行い当該回転処理が施された立体視画像を上記表示部に表示させる制御を行うようにしてもよい。これにより、第２制御を行う場合に、立体視画像の視差方向と表示部における視差方向とが一致するように、その立体視画像について回転処理を行い、この回転処理が施された立体視画像を表示させるという作用をもたらす。
【００１３】
また、この第１の側面において、上記立体視画像は、多視点画像により構成され、上記制御部は、上記第１制御を行う場合には上記多視点画像のうちの少なくとも１視点画像を上記表示部に表示させる制御を行うようにしてもよい。これにより、第１制御を行う場合には、多視点画像のうちの少なくとも１視点画像を表示させるという作用をもたらす。
【００１４】
また、この第１の側面において、上記立体視画像情報には、当該立体視画像情報に基づいて上記表示部に表示される立体視画像の撮像動作時における視差方向を示す視差情報が含まれ、上記制御部は、上記取得された立体視画像情報に含まれる視差情報に基づいて上記立体視画像の視差方向と上記表示部における視差方向とが一致するかを判断するようにしてもよい。これにより、立体視画像情報に含まれる視差情報に基づいて、その立体視画像の視差方向と、表示部における視差方向とが一致するかを判断するという作用をもたらす。
【００１５】
また、この第１の側面において、上記表示部を備える第１の筐体と、上記第１の筐体とは異なる筐体である第２の筐体と、上記第１の筐体および上記第２の筐体を回動可能に連結する回動部材と、上記第２の筐体に対する上記第１の筐体の回動状態を検出する検出部とをさらに具備し、上記立体視画像情報には、当該立体視画像情報に基づいて上記表示部に表示される立体視画像の撮像動作時における視差方向を示す視差情報が含まれ、上記制御部は、上記取得された立体視画像情報に含まれる視差情報と上記検出された第１の筐体の回動状態とに基づいて上記立体視画像の視差方向と上記表示部における視差方向とが一致するかを判断するようにしてもよい。これにより、立体視画像情報に含まれる視差情報と、検出された第１の筐体の回動状態とに基づいて、その立体視画像の視差方向と表示部における視差方向とが一致するかを判断するという作用をもたらす。
【００１６】
また、この第１の側面において、上記表示部は、表示画面における特定方向またはこれに直交する直交方向の何れかを視差方向とする設定がされ、上記制御部は、上記検出された第１の筐体の回動状態に基づいて上記表示部における視差方向を変更する制御を行うようにしてもよい。これにより、検出された第１の筐体の回動状態に基づいて、表示部における視差方向を変更するという作用をもたらす。
【００１７】
また、この第１の側面において、上記制御部は、上記表示部に表示される立体視画像の視差方向と上記表示部における視差方向とが一致しない場合には、上記第１制御、上記第２制御または当該立体視画像の視差方向に一致するように上記表示部における視差方向を変更して当該立体視画像を上記表示部に表示させる第３制御の何れかを行うようにしてもよい。これにより、表示部に表示される立体視画像の視差方向と、表示部における視差方向とが一致しない場合には、第１制御、第２制御またはその立体視画像の視差方向に一致するように、表示部における視差方向を変更して、その立体視画像を表示させる第３制御の何れかを行うという作用をもたらす。
【００１８】
また、この第１の側面において、上記表示部は、表示画面における特定方向またはこれに直交する直交方向の何れかを視差方向とする設定がされ、上記制御部は、ユーザ操作または上記表示部の姿勢に基づいて上記表示部における視差方向を変更して当該変更後の上記表示部における視差方向と上記立体視画像の視差方向とが一致するかを判断するようにしてもよい。これにより、ユーザ操作または表示部の姿勢に基づいて、表示部における視差方向を変更して、この変更後の表示部における視差方向と立体視画像の視差方向とが一致するかを判断するという作用をもたらす。
【００１９】
また、この第１の側面において、上記表示部に表示される立体視画像の視差方向と上記表示部における視差方向とが一致しない場合において上記制御部に上記第１制御を行わせるか、上記第２制御を行わせるかを選択する選択操作を受け付ける操作受付部をさらに具備し、上記制御部は、上記表示部に表示される立体視画像の視差方向と上記表示部における視差方向とが一致しない場合には上記選択された制御により上記取得された立体視画像情報に対応する画像を上記表示部に表示させる制御を行うようにしてもよい。これにより、表示部に表示される立体視画像の視差方向と、表示部における視差方向とが一致しない場合には、選択された制御により、取得された立体視画像情報に対応する画像を表示させるという作用をもたらす。
【００２０】
また、この第１の側面において、上記立体視画像は、第１画像および第２画像の２視点画像により構成され、上記第１画像および上記第２画像に基づいて上記第１画像における複数の領域の上記第２画像に対する移動量および移動方向を上記領域毎に検出する検出部と、上記検出された上記第１画像における上記領域毎の移動量および移動方向に基づいて上記第２画像における複数領域の画像を移動させ、当該移動後の各画像に基づいて合成画像を生成する合成部とをさらに具備し、上記制御部は、上記第２制御を行う場合には上記生成された合成画像と上記第２画像とを上記立体視画像として上記表示部に表示させる制御を行うようにしてもよい。これにより、第１画像および第２画像に基づいて第１画像における複数の領域の第２画像に対する移動量および移動方向を領域毎に検出し、この検出された第１画像における領域毎の移動量および移動方向に基づいて第２画像における複数領域の画像を移動させ、この移動後の各画像に基づいて合成画像を生成し、第２制御を行う場合には、その生成された合成画像と第２画像とを立体視画像として表示させるという作用をもたらす。
【００２１】
また、この第１の側面において、被写体を撮像して当該被写体を立体視するための立体視画像を表示するための第１画像および第２画像を生成する撮像部と、上記生成された第１画像および第２画像に基づいて上記第１画像における複数の領域の上記第２画像に対する移動量および移動方向を上記領域毎に検出する検出部と、上記検出された上記第１画像における上記領域毎の移動量および移動方向に基づいて上記第２画像における複数領域の画像を移動させ、当該移動後の各画像に基づいて合成画像を生成する合成部と、上記生成された合成画像および上記第２画像を多視点画像として上記立体視画像情報に含めて記録媒体に記録させる記録制御部とをさらに具備するようにしてもよい。これにより、第１画像および第２画像に基づいて第１画像における複数の領域の第２画像に対する移動量および移動方向を領域毎に検出し、この検出された第１画像における領域毎の移動量および移動方向に基づいて第２画像における複数領域の画像を移動させ、この移動後の各画像に基づいて合成画像を生成し、この生成された合成画像および第２画像を多視点画像として記録させるという作用をもたらす。
【００２２】
また、この第１の側面において、被写体を撮像して当該被写体を立体視するための立体視画像を表示するための多視点画像を生成する撮像部と、上記生成された多視点画像のそれぞれにおける長手方向の両端部のうちの少なくとも１つの端部側の所定領域を切り取る画像切取部と、上記所定領域が切り取られた多視点画像を上記立体視画像情報に含めて記録媒体に記録させる記録制御部とをさらに具備するようにしてもよい。これにより、生成された多視点画像のそれぞれにおける長手方向の両端部のうちの少なくとも１つの端部側の所定領域を切り取り、この所定領域が切り取られた多視点画像を記録させるという作用をもたらす。
【００２３】
また、この第１の側面において、被写体を撮像して当該被写体を立体視するための立体視画像を表示するための多視点画像を１組として時系列で連続する複数組の画像群を生成する撮像部と、上記生成された複数組の画像群のそれぞれにおける少なくとも一部を用いて合成を行い、上記被写体を立体視するための立体視画像を表示するための複数の合成画像を生成する合成部と、上記生成された複数の合成画像を多視点画像として上記立体視画像情報に含めて記録媒体に記録させる記録制御部とをさらに具備するようにしてもよい。これにより、生成された複数組の画像群のそれぞれにおける少なくとも一部を用いて合成を行うことにより複数の合成画像を生成し、この生成された複数の合成画像を多視点画像として記録させるという作用をもたらす。
【００２４】
また、本発明の第２の側面は、ユーザの視差方向を取得する視差方向取得部と、表示部に表示されている立体視画像を回転させる回転指示操作が受け付けられた後に上記立体視画像の視差方向と上記取得された視差方向とが一致しない場合には、上記立体視画像を平面画像として上記表示部に表示させる第１制御を行い、上記回転指示操作に基づく回転を元に戻す戻し指示操作が受け付けられた後に上記立体視画像の視差方向と上記取得された視差方向とが一致しない場合には、上記立体視画像の視差方向と上記取得された視差方向とが一致するように上記立体視画像について画像処理を行い当該画像処理が施された立体視画像を上記表示部に表示させる第２制御を行う制御部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、回転指示操作が受け付けられた後に、立体視画像の視差方向とユーザの視差方向とが一致しない場合には、その立体視画像を平面画像として表示させる第１制御を行い、戻し指示操作が受け付けられた後に、立体視画像の視差方向と、ユーザの視差方向とが一致しない場合には、その立体視画像の視差方向とユーザの視差方向とが一致するように、その立体視画像について画像処理を行い、この画像処理が施された立体視画像を表示させる第２制御を行うという作用をもたらす。
【発明の効果】
【００２７】
本発明によれば、立体視画像を表示させる際にその画像を適切に表示させることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態における撮像装置１００の外観を示す斜視図である。
【図２】本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図３】本発明の第１の実施の形態における表示部１７０に立体視画像を表示するための表示方式の一例（視差バリア方式）を模式的に示す図である。
【図４】本発明の第１の実施の形態における表示部１７０の表示例および優先情報保持部１２１における保持内容例を示す図である。
【図５】本発明の第１の実施の形態における表示部１７０の姿勢の変化に応じて表示部１７０に表示される画像を変更する場合における表示制御例を示す図である。
【図６】本発明の第１の実施の形態における操作受付部１１０からのユーザ操作または表示部１７０の姿勢の変化に応じて表示部１７０に表示される画像を変更する場合における表示制御例を示す図である。
【図７】本発明の第１の実施の形態における表示部１７０の視差方向と、表示部１７０に表示される立体視画像の視差方向との関係を示す図である。
【図８】本発明の第１の実施の形態における表示部１７０の視差方向と、表示部１７０に表示される立体視画像の視差方向との関係を示す図である。
【図９】本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作の状態およびその撮像動作により生成される立体視画像の一例を示す図である。
【図１０】本発明の第１の実施の形態における表示部１７０の視差方向と、表示部１７０に表示される立体視画像の視差方向との関係を示す図である。
【図１１】本発明の第１の実施の形態における表示部１７０の視差方向と表示部１７０に表示される立体視画像の視差方向とが一致しない場合における表示制御例を模式的に示す図である。
【図１２】本発明の第１の実施の形態における表示部１７０の視差方向と表示部１７０に表示される立体視画像の視差方向とが一致しない場合における表示制御例を模式的に示す図である。
【図１３】本発明の第１の実施の形態における表示部１７０の視差方向と表示部１７０に表示される立体視画像の視差方向とが一致しない場合における表示制御例を模式的に示す図である。
【図１４】本発明の第１の実施の形態における表示部１７０の視差方向と表示部１７０に表示される立体視画像の視差方向とが一致しない場合における表示制御例を模式的に示す図である。
【図１５】本発明の第１の実施の形態における表示部１７０に平面画像を表示する際における表示制御例を模式的に示す図である。
【図１６】本発明の第１の実施の形態における撮像装置１００を用いて縦長の立体視画像を生成する場合の画像生成例を示す図である。
【図１７】本発明の第１の実施の形態における撮像装置１００を用いて縦長の立体視画像を生成する場合の他の画像生成例を示す図である。
【図１８】本発明の第１の実施の形態における撮像装置１００を用いて縦長の立体視画像を生成する場合の他の画像生成例を示す図である。
【図１９】本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図２０】本発明の第１の実施の形態における表示部１７０の視差方向と、表示部１７０に表示される立体視画像の視差方向との関係を示す図である。
【図２１】本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作状態および立体視画像の視差方向を変更する場合の流れを模式的に示す図である。
【図２２】本発明の第１の実施の形態における撮像信号処理部２３０による立体視画像の視差方向を変更する場合の流れを模式的に示す図である。
【図２３】本発明の第１の実施の形態における撮像信号処理部２３０による立体視画像の視差方向を変更する場合の流れを模式的に示す図である。
【図２４】本発明の第１の実施の形態における撮像信号処理部２３０による立体視画像の視差方向を変更する場合の流れを模式的に示す図である。
【図２５】本発明の第１の実施の形態における撮像装置１００による画像表示制御処理の処理手順の一例を示すフローチャートである。
【図２６】本発明の第１の実施の形態における撮像装置１００による画像表示制御処理の処理手順の一例を示すフローチャートである。
【図２７】本発明の第１の実施の形態における撮像装置１００による画像表示制御処理の処理手順の一例を示すフローチャートである。
【図２８】本発明の第１の実施の形態における撮像装置１００による立体視画像記録制御処理の処理手順の一例を示すフローチャートである。
【図２９】本発明の第１の実施の形態における撮像装置１００による立体視画像記録制御処理の処理手順の一例を示すフローチャートである。
【図３０】本発明の第１の実施の形態における撮像装置１００による立体視画像記録制御処理の処理手順の一例を示すフローチャートである。
【図３１】本発明の第１の実施の形態の変形例における画像処理装置７００に立体視画像を表示するための方式の一例（専用メガネ方式）を模式的に示す図である。
【図３２】本発明の第１の実施の形態の変形例における撮像装置７５０の外観構成例および機能構成例を示す図である。
【図３３】本発明の第１の実施の形態の変形例における撮像装置７７０の外観構成例および機能構成例を示す図である。
【図３４】本発明の第１の実施の形態の変形例における携帯電話装置８００の外観構成例を示す図である。
【発明を実施するための形態】
【００２９】
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（表示制御：表示部における視差方向と表示部に表示される立体視画像の視差方向とが一致しない場合にユーザ設定に基づいてその画像を表示させる例）
２．変形例
３．変形例
【００３０】
＜１．第１の実施の形態＞
［撮像装置の外観構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の外観を示す斜視図である。図１（ａ）は、撮像装置１００の正面（すなわち、被写体に向けられるレンズが設けられている面）側の外観を示す斜視図である。また、図１（ｂ）および（ｃ）は、撮像装置１００の背面（すなわち、撮影者に向けられる表示部１７０が設けられている面）側の外観を示す斜視図である。
【００３１】
撮像装置１００は、シャッターボタン１１１と、表示部１７０と、左眼用撮像部２１０と、右眼用撮像部２２０とを備える。撮像装置１００は、被写体を撮像して撮像画像（画像データ）を生成し、この生成された撮像画像を画像コンテンツ（静止画コンテンツまたは動画コンテンツ）としてコンテンツ記憶部２００（図２に示す）に記録することが可能な撮像装置である。また、撮像装置１００は、立体視撮像対応の撮像装置であり、立体視画像（３Ｄ画像）を表示させるための画像コンテンツを生成することができる。なお、立体視画像（３Ｄ画像）は、左右眼の視差を利用して立体的な視覚を得ることができる多視点画像である。例えば、左眼用撮像部２１０および右眼用撮像部２２０のそれぞれが被写体を撮像して２つの撮像画像（立体視画像を表示するための左眼視用画像（左眼画像）および右眼視用画像（右眼画像））を生成する。そして、その生成された２つの撮像画像に基づいて、立体視画像を表示させるための画像コンテンツが生成される。撮像装置１００は、例えば、複数の撮像機能を備えるデジタルスチルカメラ等の撮像装置により実現される。なお、図１では、説明の容易のため、撮像装置１００を簡略化して示し、撮像装置１００の外側面に備えられている電源スイッチ等の図示を省略する。
【００３２】
撮像装置１００は、第１の筐体１０１および第２の筐体１０２を備える。また、第１の筐体１０１および第２の筐体１０２は、回動部材１０３（点線で示す）を回動基準として回動可能に連結されている。これにより、第１の筐体１０１に対する第２の筐体１０２の相対的な位置関係を変化させることができる。例えば、図１（ｂ）に示す矢印１０４方向に第２の筐体１０２を９０度回動させた場合における撮像装置１００の状態を図１（ｃ）に示す。
【００３３】
ここで、本発明の第１の実施の形態では、図１（ｂ）に示すように、第１の筐体１０１の長手方向および第２の筐体１０２の長手方向を同一方向とする状態を、第２の筐体１０２（表示部１７０）の横長状態と称する。また、図１（ｃ）に示すように、第１の筐体１０１の長手方向および第２の筐体１０２の長手方向が略直交する状態を、第２の筐体１０２（表示部１７０）の縦長状態と称する。
【００３４】
第１の筐体１０１は、シャッターボタン１１１と、左眼用撮像部２１０と、右眼用撮像部２２０とを備える。
【００３５】
シャッターボタン１１１は、画像の記録開始を指示する操作部材である。例えば、静止画撮像モードが設定されている場合に、左眼用撮像部２１０および右眼用撮像部２２０により生成された画像データを静止画ファイルとして記録媒体に記録する際に押下される。
【００３６】
左眼用撮像部２１０および右眼用撮像部２２０は、被写体を撮像して画像データを生成するものである。図１（ａ）に示すように、本発明の第１の実施の形態では、２個のレンズ群が特定方向に並べて配置されている左眼用撮像部２１０および右眼用撮像部２２０を例にして説明する。ここで、特定方向は、例えば、第１の筐体１０１の長手方向を水平方向と一致させた場合におけるその水平方向とすることができる。
【００３７】
第２の筐体１０２は表示部１７０を備える。表示部１７０は、各種画像を表示する表示装置である。表示部１７０には、例えば、ユーザによる表示指示操作に基づいて、コンテンツ記憶部２００（図２に示す）に記憶されている画像コンテンツに対応する画像が表示される。また、表示部１７０には、例えば、撮像動作により生成された画像が、モニタリング画像として表示される。表示部１７０として、例えば、ＬＣＤ（Liquid Crystal Display）パネル、有機ＥＬ（Electro Luminescence）パネル等を用いることができる。また、表示部１７０をタッチパネルとして構成し、表示部１７０における接触操作を検出することによりユーザからの操作入力を受け付けるようにしてもよい。
【００３８】
なお、左眼用撮像部２１０および右眼用撮像部２２０については、図２を参照して詳細に説明する。
【００３９】
［撮像装置の機能構成例］
図２は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、操作受付部１１０と、制御部１２０と、優先情報保持部１２１と、コンテンツ取得部１３０と、属性情報取得部１４０と、画像処理部１５０と、表示制御部１６０と、表示部１７０と、表示部姿勢検出部１８０とを備える。また、撮像装置１００は、コンテンツ記憶部２００と、左眼用撮像部２１０と、右眼用撮像部２２０と、撮像信号処理部２３０と、撮像視差方向検出部２４０と、撮像姿勢検出部２５０と、記録制御部２６０とを備える。
【００４０】
コンテンツ記憶部２００は、記録制御部２６０の制御に基づいて、撮像信号処理部２３０から出力された各画像を関連付けて画像ファイル（画像コンテンツ）として記憶するものである。また、コンテンツ記憶部２００は、記憶されている画像コンテンツをコンテンツ取得部１３０に供給する。なお、コンテンツ記憶部２００として、例えば、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。
【００４１】
左眼用撮像部２１０および右眼用撮像部２２０は、左眼視用画像および右眼視用画像を生成するため、光学系、撮像素子のそれぞれが左右１組となるように構成されている。また、左眼用撮像部２１０および右眼用撮像部２２０の各構成（各レンズ、各撮像素子等）は、配置位置が異なる点以外は略同一である。このため、以下では、これらの左右の構成のうち何れかについては一部の説明を省略して説明する。なお、左眼用撮像部２１０および右眼用撮像部２２０は、特許請求の範囲に記載の撮像部の一例である。
【００４２】
左眼用撮像部２１０は、レンズ２１１および撮像素子２１２を備える。また、右眼用撮像部２２０は、レンズ２２１および撮像素子２２２を備える。なお、図２では、説明の容易のため、左眼用撮像部２１０および右眼用撮像部２２０を簡略化して示し、絞りやレンズ駆動部等の図示を省略する。
【００４３】
レンズ２１１は、被写体からの入射光を集光するレンズ群（例えば、フォーカスレンズ、ズームレンズ）であり、これらのレンズ群により集光される光が絞り（図示せず）によりその量（光量）が調整されて撮像素子２１２に入射される。
【００４４】
撮像素子２１２は、レンズ２１１を通過した入射光に光電変換処理を施し、光電変換された電気信号（画像信号）を撮像信号処理部２３０に供給する撮像素子である。すなわち、撮像素子２１２は、レンズ２１１を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。また、撮像素子２１２および撮像素子２２２（右眼用撮像部２２０）は、各レンズを介して入射された被写体像を同期駆動により結像してアナログの画像信号を生成する。このように撮像素子２１２により生成されたアナログの画像信号と、撮像素子２２２により生成されたアナログの画像信号とが撮像信号処理部２３０に供給される。なお、撮像素子２１２および２２２として、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等を用いることができる。
【００４５】
撮像信号処理部２３０は、制御部１２０の制御に基づいて、撮像素子２１２および２２２から供給されたアナログの画像信号に対して各種の信号処理を施す撮像信号処理部である。そして、撮像信号処理部２３０は、各種の信号処理が施されて生成されたデジタルの画像信号（左眼視用画像および右眼視用画像）を記録制御部２６０に出力する。例えば、撮像信号処理部２３０は、制御部１２０の制御に基づいて、視差方向が水平方向であり、長手方向が垂直方向となる立体視画像（縦長の立体視画像）を生成する。なお、縦長の立体視画像の生成方法については、図１６乃至図２４を参照して詳細に説明する。また、縦長の立体視画像については、表示時において、画像処理部１５０が生成するようにしてもよい。なお、撮像信号処理部２３０は、特許請求の範囲に記載の画像切取部、検出部および合成部の一例である。
【００４６】
撮像視差方向検出部２４０は、撮像動作時における視差方向を検出するものであり、検出された視差方向（撮像視差方向）を記録制御部２６０に出力する。なお、通常時における撮像動作では、撮像画像における水平方向が視差方向として検出される。
【００４７】
撮像姿勢検出部２５０は、撮像装置１００の加速度、動き、傾き等を検出することにより撮像動作時における撮像装置１００の姿勢の変化を検出するものであり、この検出結果に基づいて、撮像時の姿勢情報（撮像姿勢）を取得する。そして、撮像姿勢検出部２５０は、その取得された撮像姿勢（例えば、光軸方向を軸とする回転角度（例えば、０度、９０度、１８０度、２７０度））を記録制御部２６０に出力する。なお、撮像姿勢検出部２５０は、ジャイロセンサ（角速度センサ）や加速度センサにより実現することができる。
【００４８】
記録制御部２６０は、制御部１２０の制御に基づいて、撮像信号処理部２３０から出力された各画像を画像ファイル（画像コンテンツ）としてコンテンツ記憶部２００に記録させるものである。例えば、記録制御部２６０は、操作受付部１１０により静止画記録の指示操作が受け付けられた場合には、左眼視用画像および右眼視用画像を関連付けて静止画ファイル（静止画コンテンツ）としてコンテンツ記憶部２００に記録させる。この記録時に、撮像時における日時情報、撮像視差方向（視差情報）、撮像姿勢等の属性情報が画像ファイルに記録される（例えば、Ｅｘｉｆ（Exchangeable Image File Format）の回転情報等に記録）。なお、静止画記録の指示操作は、例えば、シャッターボタン１１１（図１に示す）の押下操作により行われる。また、例えば、記録制御部２６０は、左眼視用画像および右眼視用画像の順序関係（例えば、視点番号）を、左眼視用画像および右眼視用画像に関連付けてＭＰ（Multi Picture）ファイルとして記録媒体に記録させるようにしてもよい。この場合には、撮像時における日時情報、撮像視差方向、撮像姿勢等の属性情報が、ＭＰファイルの付属情報として記録される。ＭＰファイルは、複数の静止画を１つのファイル（拡張子：．ＭＰＯ）として記録するＭＰフォーマットに準拠したファイルである。
【００４９】
また、例えば、操作受付部１１０により動画記録の指示操作が受け付けられた場合を想定する。この場合には、記録制御部２６０は、撮像信号処理部２３０から所定のフレームレートで出力される左眼視用画像および右眼視用画像を動画ファイル（動画コンテンツ）としてコンテンツ記憶部２００に順次記録させる。なお、動画記録の指示操作は、例えば、録画ボタンの押下操作により行われる。
【００５０】
操作受付部１１０は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容に応じた操作信号を制御部１２０に供給する。例えば、操作受付部１１０は、立体視画像表示モードにおいて、表示部１７０に立体視画像を表示する際に優先すべき制御内容を設定するための設定操作を受け付ける。また、例えば、操作受付部１１０は、各立体視画像記録モードを設定する設定操作や画像の記録を指示する指示操作を受け付ける。
【００５１】
また、例えば、操作受付部１１０は、表示部１７０に表示される立体視画像を回転させる回転指示操作を受け付ける。また、例えば、操作受付部１１０は、その回転指示操作を受け付けた後に、その回転指示操作に基づく回転を元に戻す戻し指示操作を受け付ける。これらの各指示操作に基づいて、画像処理部１５０が、表示部１７０に表示される立体視画像について画像処理を行う。
【００５２】
制御部１２０は、操作受付部１１０からの操作内容に基づいて、撮像装置１００の各部を制御するものである。例えば、制御部１２０は、操作受付部１１０により、優先すべき制御内容を設定するための設定操作が受け付けられた場合には、その設定操作に応じた優先情報を優先情報保持部１２１に保持させる。
【００５３】
また、例えば、制御部１２０は、画像コンテンツ（立体視画像コンテンツ）に基づいて表示部１７０に立体視画像が表示される場合に、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致するか否かを判断する。例えば、制御部１２０は、属性情報取得部１４０により取得された属性情報（画像コンテンツに含まれる属性情報）に含まれる撮像視差方向と、表示部１７０（第１の筐体１０１）の回動状態とに基づいて、両者が一致するかを判断する。なお、表示部１７０（第１の筐体１０１）が横長状態である場合には、その属性情報に含まれる撮像視差方向に基づいて、立体視画像の視差方向と、表示部１７０における視差方向とが一致するかを判断する。
【００５４】
そして、制御部１２０は、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合には、第１制御または第２制御の何れかを行う。第１制御は、その立体視画像を平面画像として表示部１７０に表示させる制御である。また、第２制御は、その立体視画像の視差方向と、表示部１７０における視差方向とが一致するように、その立体視画像について画像処理部１５０に画像処理を行わせ、この画像処理が施された立体視画像を表示部１７０に表示させる制御である。なお、第２制御を行う場合には、例えば、その立体視画像の視差方向と、表示部１７０における視差方向とが一致するように、その立体視画像について画像処理部１５０に回転処理を行わせ、この回転処理が施された立体視画像を表示部１７０に表示させる。
【００５５】
また、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合に、第１制御を行わせるか、第２制御を行わせるかについては、例えば、図４（ａ）に示す設定画面３３０において設定することができる。
【００５６】
ここで、表示部１７０については、その表示画面における特定方向（例えば、長手方向）、または、これに直交する直交方向の何れかを視差方向とすることが可能であるものとする。この視差方向については、表示部１７０の姿勢に応じて変更させるか、表示部１７０の姿勢にかかわらず固定とするかを、ユーザ操作により設定することが可能とする。例えば、表示部１７０の姿勢に応じて変更させる設定がされている場合には、制御部１２０は、表示部姿勢検出部１８０により検出された表示部１７０（第１の筐体１０１）の回動状態に基づいて、表示部１７０における視差方向を変更する制御を行う。このように、表示部１７０における視差方向が変更された場合には、この変更後の表示部１７０における視差方向と、その立体視画像の視差方向とが一致するかが判断される。
【００５７】
また、表示部１７０の姿勢にかかわらず固定とする設定がされている場合において、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合を想定する。この場合には、第１制御、第２制御以外に、その立体視画像の視差方向に一致するように、表示部１７０における視差方向を変更して、その立体視画像を表示部１７０に表示させる第３制御を行うようにしてもよい。
【００５８】
また、例えば、制御部１２０は、表示部１７０に立体視画像が表示されている場合において、回転指示操作が受け付けられたことによりその立体視画像の視差方向と、表示部における視差方向とが一致しない場合には第１制御を行う。一方、制御部１２０は、表示部１７０に立体視画像が表示されている場合において、戻し指示操作が受け付けられた後に、その立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合には第２制御を行う。
【００５９】
優先情報保持部１２１は、表示部１７０に立体視画像を表示する際に優先すべき制御内容を優先情報として保持するものであり、保持されている優先情報を制御部１２０に供給する。また、優先情報保持部１２１に保持されている優先情報は、優先情報を設定するための設定操作が操作受付部１１０により受け付けられる毎に、制御部１２０により更新される。なお、優先情報保持部１２１の保持内容については、図４（ｂ）を参照して詳細に説明する。
【００６０】
コンテンツ取得部１３０は、制御部１２０の制御に基づいて、コンテンツ記憶部２００に記憶されている画像コンテンツ（立体視画像情報）を取得し、取得された画像コンテンツを属性情報取得部１４０および画像処理部１５０に供給するものである。なお、コンテンツ取得部１３０は、特許請求の範囲に記載の取得部の一例である。
【００６１】
属性情報取得部１４０は、コンテンツ取得部１３０により取得された画像コンテンツに含まれる属性情報を取得するものであり、取得された属性情報を制御部１２０および画像処理部１５０に供給する。この属性情報は、例えば、撮像時における日時情報、撮像視差方向、撮像姿勢等である。
【００６２】
画像処理部１５０は、制御部１２０の制御に基づいて、コンテンツ取得部１３０により取得された画像コンテンツに対応する画像について、表示部１７０に表示させるための各種の画像処理を行うものである。例えば、画像処理部１５０は、コンテンツ取得部１３０により取得された画像コンテンツと、属性情報取得部１４０により取得された属性情報とに基づいて、表示部１７０に立体視画像を表示させるための画像処理を行う。また、操作受付部１１０により、表示部１７０に表示される立体視画像を変更する変更操作（例えば、回転指示操作）が行われた場合には、画像処理部１５０は、その変更操作に応じて、画像処理を行う。なお、画像処理部１５０は、特許請求の範囲に記載の検出部および合成部の一例である。
【００６３】
表示制御部１６０は、制御部１２０の制御に基づいて、画像処理部１５０により画像処理が施された各画像を表示部１７０に表示させるものである。例えば、表示制御部１６０は、操作受付部１１０により立体視画像（静止画）を表示する指示操作が受け付けられた場合には、画像処理部１５０により画像処理が施された立体視画像を表示部１７０に表示させる。また、表示制御部１６０は、制御部１２０の制御に基づいて、各種画面（例えば、図４（ａ）に示す設定画面３３０）を表示部１７０に表示させる。
【００６４】
表示部１７０は、表示制御部１６０の制御に基づいて、コンテンツ記憶部２００に記憶されている画像コンテンツを表示する表示部である。また、表示部１７０には各種メニュー画面や各種画像が表示される。
【００６５】
表示部姿勢検出部１８０は、表示部１７０の姿勢を検出するものであり、検出結果を制御部１２０に出力する。すなわち、表示部姿勢検出部１８０は、第１の筐体１０１に対する第２の筐体１０２の回動状態を検出する。例えば、表示部姿勢検出部１８０は、第１の筐体１０１に対する第２の筐体１０２の回動状態として、第１の筐体１０１および第２の筐体１０２のなす角度を検出し、検出結果を制御部１２０に出力する。例えば、第１の筐体１０１に対する第２の筐体１０２の回動角度が一定値未満である場合には押下されず、その回動角度が一定値以上となった場合に押下される角度検出スイッチを回動部材１０３の何れかに設ける。そして、角度検出スイッチにより、表示部姿勢検出部１８０は、第１の筐体１０１および第２の筐体１０２のなす角度を検出する。例えば、表示部姿勢検出部１８０は、第１の筐体１０１および第２の筐体１０２のなす角度を９０度単位で検出する。なお、表示部姿勢検出部１８０として、第１の筐体１０１に対する回動状態とは無関係に、表示部１７０の姿勢（例えば、垂直状態または水平状態）を検出する縦横検出センサ（例えば、加速度センサ）を用いるようにしてもよい。また、表示部姿勢検出部１８０は、特許請求の範囲に記載の検出部の一例である。
【００６６】
なお、撮像装置１００は、上述したように、動画および静止画の何れについても記録処理を行うことが可能であるが、以下では、静止画の生成処理および記録処理を中心に説明する。
【００６７】
［立体視画像の表示方式例（視差バリア方式）］
図３は、本発明の第１の実施の形態における表示部１７０に立体視画像を表示するための表示方式の一例（視差バリア方式）を模式的に示す図である。
【００６８】
図３（ａ）には、表示部１７０に立体視画像を表示するための方式の一例である視差バリア方式を模式的に示す。図３（ａ）では、点線の矩形３００（表示部１７０を模式的に示す矩形）内に、表示対象となる立体視画像のうち、左眼視用画像を「Ｌ」とし、右眼視用画像を「Ｒ」として模式的に示す。
【００６９】
また、図３（ａ）では、表示対象となる立体視画像とユーザとの間に形成される視差バリア３０１（表示部１７０内に形成される視差バリア３０１）を太線で模式的に示す。また、図３（ａ）では、視差バリア３０１を通過してユーザの左眼に届く画像（左眼視用画像３１１）を「Ｌ」とし、視差バリア３０１を通過してユーザの右眼に届く画像（右眼視用画像３１２）を「Ｒ」として示す。このように、表示対象となる立体視画像とユーザとの間に視差バリア３０１が形成され、視差バリア３０１を通過してユーザの左右の眼に、左眼視用画像３１１および右眼視用画像３１２が届くことにより、ユーザが立体視画像を適切に見ることができる。ここで、視差バリア３０１は、液晶等により形成される。また、ユーザ操作または表示部１７０の姿勢の変化等に応じて、その視差方向を切り替えることが可能である。この視差方向の切替例を、図３（ｂ）および（ｃ）に示す。
【００７０】
図３（ｂ）および（ｃ）には、表示部１７０における視差バリア（グレーで示す）を模式的に示す。具体的には、図３（ｂ）には、表示部１７０における視差方向が左右方向（矢印３０５で示す方向）である場合における視差バリアを示し、図３（ｃ）には、表示部１７０における視差方向が上下方向（矢印３０６で示す方向）である場合における視差バリアを示す。なお、図３（ｂ）および（ｃ）に示す例では、説明の容易のため、視差バリアの間隔を比較的大きくして示す。
【００７１】
ここで、上述したように、表示部１７０における視差方向については、表示部１７０の姿勢に応じて変更させるか、表示部１７０の姿勢にかかわらず固定とするかを、ユーザ操作により設定することが可能とする。例えば、表示部１７０の姿勢に応じて変更させる設定がされている場合には、制御部１２０は、表示部姿勢検出部１８０により検出された表示部１７０（第１の筐体１０１）の回動状態に基づいて、表示部１７０における視差方向を変更する制御を行う。例えば、表示部１７０が横長状態である場合には、図３（ｂ）に示す視差方向（矢印３０５で示す方向）とされ、表示部１７０が縦長状態である場合には、図３（ｃ）に示す視差方向（矢印３０６で示す方向）とされる。
【００７２】
［優先情報の設定例］
図４は、本発明の第１の実施の形態における表示部１７０の表示例および優先情報保持部１２１における保持内容例を示す図である。図４（ａ）に示す設定画面３３０は、表示部１７０に立体視画像を表示する際に優先すべき制御内容を設定する際に表示部１７０に表示される画面である。例えば、立体視画像を表示するための立体視画像撮像モードの設定操作が行われた直後に設定画面３３０が表示される。設定画面３３０には、選択ボタン３３１および３３２と、決定ボタン３３３と、戻るボタン３３４とが設けられている。
【００７３】
選択ボタン３３１および選択ボタン３３２は、表示部１７０に立体視画像を表示する際に優先すべき制御内容を設定する際に押下されるボタンである。ここで、選択ボタン３３１は、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合に第１制御を行わせる設定を行う際に押下されるボタンである。一方、選択ボタン３３２は、それらが一致しない場合に第２制御を行わせる設定を行う際に押下されるボタンである。例えば、表示部１７０がタッチパネルにより構成されている場合には、表示部１７０において、所望のボタンの押下操作を行うことにより、優先すべき制御内容を優先情報として設定することができる。この優先情報については、図４（ｂ）を参照して詳細に説明する。
【００７４】
決定ボタン３３３は、優先すべき制御内容を選択する押下操作がされた後に、その選択を決定する際に押下されるボタンである。また、決定ボタン３３３の押下操作により決定された優先情報（優先すべき制御内容）が優先情報保持部１２１に保持される。戻るボタン３３４は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
【００７５】
図４（ｂ）には、優先情報保持部１２１における保持内容例を示す。優先情報保持部１２１は、表示部１７０に立体視画像を表示する際に優先すべき制御内容を優先情報として保持するものであり、設定項目１２２毎に優先情報１２３が保持される。
【００７６】
設定項目１２２は、図４（ａ）に示す設定画面３３０においてユーザによる設定操作の対象となる項目である。また、優先情報１２３は、図４（ａ）に示す設定画面３３０においてユーザによる設定操作により設定された優先情報である。優先情報１２３として、例えば、優先すべき制御内容としてユーザ操作により決定された設定項目１２２には、「１」が保持される。一方、優先すべき制御内容として決定されていない設定項目１２２には、「０」が保持される。
【００７７】
図４（ｂ）に示す例では、設定画面３３０における設定操作により、優先すべき制御内容として、「画像の向きを優先する（第１制御）」が設定された場合を示す。
【００７８】
［表示部の姿勢の変化に応じた表示制御例］
図５は、本発明の第１の実施の形態における表示部１７０の姿勢の変化に応じて表示部１７０に表示される画像を変更する場合における表示制御例を示す図である。図５（ａ）には、表示部１７０を横長状態とした場合における画像３５０の表示例を示す。画像３５０は、一人の人物が含まれる平面画像であるものとする。この状態で、表示部１７０（第２の筐体１０２）を矢印１０４方向に９０度回動させた場合における表示例を図５（ｂ）に示す。
【００７９】
図５（ｂ）には、表示部１７０を縦長状態とした場合における画像３５１の表示例を示す。画像３５１は、図５（ａ）に示す画像３５０が縮小された平面画像であるものとする。具体的には、画像処理部１５０が、図５（ａ）に示す画像３５０の水平方向における長さが、図５（ｂ）に示す表示部１７０の水平方向における表示領域の長さに一致するように、画像３５０を縮小させる。そして、表示制御部１６０が、その縮小後の画像３５１を表示部１７０に表示させる。
【００８０】
なお、図５（ｂ）に示す状態で、表示部１７０（第２の筐体１０２）を矢印１０５方向に９０度回動させた場合には、図５（ａ）に示すように、画像３５０が表示部１７０に表示される。この場合には、画像処理部１５０が、図５（ｂ）に示す画像３５１の水平方向における長さが、図５（ａ）に示す表示部１７０の水平方向における表示領域の長さに一致するように、画像３５１を拡大させる。そして、表示制御部１６０が、その拡大後の画像３５０を表示部１７０に表示させる。なお、ユーザ操作により回転された画像に関する表示例については、図６に示す。
【００８１】
このように、表示部１７０の姿勢が変化した場合には、その姿勢の変化に応じて、表示部１７０に表示されている画像の向きを維持した状態で、表示部１７０に表示されている画像を縮小または拡大させて表示部１７０に表示させることができる。すなわち、表示部１７０の姿勢が変化した場合でも、表示部１７０に表示されている画像の向きを維持した状態で、その画像を表示することができる。このため、表示部１７０の姿勢が変化した場合でも、その変化の前後において、ユーザの水平方向と、表示画像の水平方向とを一致させることができる。
【００８２】
なお、表示部１７０の姿勢が変化した場合に、表示部１７０の表示領域における長手方向と、表示部１７０に表示されている画像の長手方向とが一致するように、その画像を表示するようにしてもよい。すなわち、図５（ａ）に示す状態で、表示部１７０（第２の筐体１０２）を矢印１０４方向に９０度回動させた場合には、画像３５０も同様に矢印１０４方向に９０度回動されて表示部１７０に表示される。これらの表示態様については、ユーザ操作により設定することが可能である。
【００８３】
［ユーザ操作および表示部の姿勢の変化に応じた表示制御例］
図６は、本発明の第１の実施の形態における操作受付部１１０からのユーザ操作または表示部１７０の姿勢の変化に応じて表示部１７０に表示される画像を変更する場合における表示制御例を示す図である。図６（ａ）には、表示部１７０を横長状態とした場合における画像３５０の表示例を示す。なお、図６（ａ）に示す例は、図５（ａ）と同様であるため、ここでの説明を省略する。この状態で、操作受付部１１０からのユーザ操作に基づいて、表示部１７０に表示されている画像３５０を矢印３５５方向に９０度回動させた場合における表示例を図６（ｂ）に示す。
【００８４】
図６（ｂ）には、操作受付部１１０からのユーザ操作に基づいて、図６（ａ）に示す画像３５０を矢印３５５方向に９０度回動させた場合における画像３５６の表示例を示す。画像３５６は、図６（ａ）に示す画像３５０が回転させられて縮小された平面画像であるものとする。具体的には、画像処理部１５０が、図６（ａ）に示す画像３５０を矢印３５５方向に９０度回動させ、画像３５０の水平方向における長さが、図６（ｂ）に示す表示部１７０の垂直方向における表示領域の長さに一致するように画像３５０を縮小させる。そして、表示制御部１６０が、その縮小後の画像３５６を表示部１７０に表示させる。なお、コンテンツ記憶部２００に記憶された画像コンテンツのうち、９０度回転の画像処理が施された画像コンテンツ（例えば、画像記録後にユーザ操作により９０度回転された画像）についても同様に、その回転処理後の画像が表示部１７０に表示される。この状態で、表示部１７０（第２の筐体１０２）を矢印１０４方向に９０度回動させた場合における表示例を図６（ｃ）に示す。
【００８５】
図６（ｃ）には、表示部１７０を縦長状態とした場合における画像３５７の表示例を示す。画像３５７は、図６（ｂ）に示す画像３５６が拡大された平面画像であるものとする。具体的には、画像処理部１５０が、図６（ｂ）に示す画像３５６の水平方向における長さが、図６（ｃ）に示す表示部１７０の水平方向における表示領域の長さに一致するように画像３５６を拡大させる。そして、表示制御部１６０が、その拡大後の画像３５７を表示部１７０に表示させる。
【００８６】
なお、図６（ｃ）に示す状態で、表示部１７０（第２の筐体１０２）を矢印１０５方向に９０度回動させた場合には、図６（ｂ）に示すように、画像３５６が表示部１７０に表示される。この場合には、画像処理部１５０が、図６（ｃ）に示す画像３５７の水平方向における長さが、図６（ｂ）に示す表示部１７０の水平方向における表示領域の長さに一致するように画像３５７を縮小させる。そして、表示制御部１６０が、その縮小後の画像３５６を表示部１７０に表示させる。
【００８７】
図５および図６に示すように、ユーザ操作または表示部１７０の姿勢の変化に応じて、表示部１７０に表示される画像の向きを変更することができる。ここで、表示部１７０における視差方向と、表示部１７０に表示されている立体視画像の視差方向とが一致している場合に、ユーザ操作または表示部１７０の姿勢の変化に応じて、表示部１７０に表示される立体視画像の向きを変更する場合を想定する。この場合には、表示部１７０における視差方向と、表示部１７０に表示される立体視画像の視差方向とが一致せずに、立体視画像を適切に見ることができないおそれがある。このように、表示部１７０における視差方向と、表示部１７０に表示される立体視画像の視差方向とが一致しない場合の例を図７乃至図９に示す。
【００８８】
［表示部の視差方向を長手方向に固定する場合の立体視画像の表示例］
図７は、本発明の第１の実施の形態における表示部１７０の視差方向と、表示部１７０に表示される立体視画像の視差方向との関係を示す図である。図７では、ユーザ操作または表示部１７０の姿勢の変化に応じて立体視画像の向きを変更するが、表示部１７０における視差方向を長手方向（矢印３６０で示す方向）に固定する場合を例にして示す。
【００８９】
図７（ａ）には、表示部１７０を横長状態とする場合における立体視画像の表示例を示す。左眼視用画像３６１および右眼視用画像３６２は、撮像装置１００により同時に記録された２つの画像であり、視差方向を水平方向（矢印３６３で示す方向）として立体視画像を表示するための画像である。
【００９０】
図７（ａ）に示すように、表示部１７０における視差方向（矢印３６０で示す方向）と、立体視画像の視差方向（矢印３６３で示す方向）とが一致する場合には、その立体視画像をユーザが適切に見ることができる。しかしながら、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、その立体視画像をユーザが適切に見ることができない。この例を図７（ｂ）および（ｃ）に示す。
【００９１】
図７（ｂ）には、表示部１７０を横長状態とする場合における立体視画像の表示例を示す。この例では、立体視画像の表示時におけるユーザ操作、または、立体視画像の記録時におけるユーザ操作により、９０度回転処理された２つの画像（左眼視用画像３６５および右眼視用画像３６６）を表示する例を示す。なお、左眼視用画像３６５および右眼視用画像３６６は、左眼視用画像３６１および右眼視用画像３６２が９０度回転処理されて縮小された画像であるものとする。
【００９２】
図７（ｂ）に示すように、表示部１７０における視差方向（矢印３６０で示す方向）と、立体視画像の視差方向（矢印３６７で示す方向）とが一致しない場合には、その立体視画像をユーザが適切に見ることができない。
【００９３】
図７（ｃ）には、表示部１７０を縦長状態とする場合における立体視画像の表示例を示す。この例では、縦長状態とされた表示部１７０に合わせて２つの画像（左眼視用画像３７１および右眼視用画像３７２）を表示する例を示す。すなわち、左眼視用画像３７１および右眼視用画像３７２は、左眼視用画像３６１および右眼視用画像３６２の水平方向の長さと、縦長状態とされた表示部１７０の水平方向の長さとが一致するように、縮小された画像であるものとする。
【００９４】
図７（ｃ）に示すように、表示部１７０における視差方向（矢印３７０で示す方向）と、立体視画像の視差方向（矢印３７３で示す方向）とが一致しない場合には、その立体視画像をユーザが適切に見ることができない。また、表示部１７０に立体視画像を表示するための表示方式として視差バリア方式を用いる場合には、図７（ｄ）に示すように、２つの画像に含まれる被写体（１人の人物）が重なって見えることがある。すなわち、図７（ｄ）に示す画像３７５は、図７（ｃ）に示す２つの画像（左眼視用画像３７１および右眼視用画像３７２）が合成された画像として見えることがある。
【００９５】
［表示部の姿勢に応じてその視差方向を変更する場合の立体視画像の表示例］
図８は、本発明の第１の実施の形態における表示部１７０の視差方向と、表示部１７０に表示される立体視画像の視差方向との関係を示す図である。図８では、表示部１７０の姿勢の変化に応じて立体視画像の向きを変更せずに、表示部１７０の姿勢の変化に応じて表示部１７０における視差方向を変更する場合を例にして示す。具体的には、表示部１７０が横長状態となっている場合には、水平方向（矢印３６０で示す方向）を視差方向とし、表示部１７０が縦長状態となっている場合には、垂直方向（図８（ｃ）の矢印３８０で示す方向）を視差方向とする例を示す。
【００９６】
図８（ａ）および図８（ｂ）には、表示部１７０を横長状態とする場合における立体視画像の表示例を示す。この例は、図７（ａ）および図７（ｂ）と同様であるため、ここでの説明を省略する。
【００９７】
図８（ｃ）には、表示部１７０を縦長状態とする場合における立体視画像の表示例を示す。この例では、縦長状態とされた表示部１７０に合わせて２つの画像（左眼視用画像３８１および右眼視用画像３８２）を表示する例を示す。すなわち、左眼視用画像３８１および右眼視用画像３８２は、左眼視用画像３６１および右眼視用画像３６２が９０度回転処理された画像であるものとする。また、この例では、表示部１７０の姿勢の変化に応じて表示部１７０における視差方向を変更するため、表示部１７０における視差方向（矢印３８０で示す方向）が変更される。
【００９８】
このため、図８（ｃ）に示すように、表示部１７０における視差方向（矢印３８０で示す方向）と、立体視画像の視差方向（矢印３８３で示す方向）とが一致しないことになる。この場合には、その立体視画像をユーザが適切に見ることができない。
【００９９】
［垂直方向が視差方向となるように撮像された立体視画像の表示例］
図９は、本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作の状態およびその撮像動作により生成される立体視画像の一例を示す図である。
【０１００】
図９（ａ）には、撮像装置１００を用いて行われる撮像動作状態を簡略化して示す。具体的には、立っている人物４００を被写体として、光軸方向を軸として９０度回転させた撮像装置１００を用いて撮像動作が行われている状態を示す。すなわち、撮像時における垂直方向が視差方向となるように立体視画像が撮像された場合における撮像動作状態を示す。
【０１０１】
図９（ｂ）には、撮像装置１００を用いて行われる撮像動作により生成される立体視画像の一例（左眼視用画像４０１および右眼視用画像４０２）を示す。具体的には、図９（ａ）に示す状態で、左眼用撮像部２１０により生成された左眼視用画像４０１と、右眼用撮像部２２０により生成された右眼視用画像４０２とを示す。
【０１０２】
図９（ａ）に示す状態では、撮像時における垂直方向が視差方向となるように立体視画像が撮像されるため、図９（ｂ）に示すように、左眼視用画像４０１および右眼視用画像４０２に含まれる人物４００が、各画像の長手方向にズレることになる。このように生成された立体視画像（左眼視用画像４０１および右眼視用画像４０２）を表示する例を図１０に示す。
【０１０３】
図１０は、本発明の第１の実施の形態における表示部１７０の視差方向と、表示部１７０に表示される立体視画像の視差方向との関係を示す図である。図１０では、撮像時における垂直方向が視差方向となるように撮像された立体視画像を表示する例を示す。また、図１０では、表示部１７０の姿勢の変化に応じて立体視画像の向きを変更せずに、表示部１７０における視差方向を長手方向（矢印３６０で示す方向）に固定する場合を例にして示す。
【０１０４】
図１０（ａ）には、撮像時における垂直方向が視差方向となるように撮像された２つの画像（左眼視用画像４０１および右眼視用画像４０２）を示す。左眼視用画像４０１および右眼視用画像４０２は、図９（ｂ）に示すものと同様である。
【０１０５】
図１０（ｂ）には、表示部１７０を横長状態とする場合における立体視画像の表示例を示す。この例では、横長状態とされた表示部１７０に合わせて２つの画像（左眼視用画像４１１および右眼視用画像４１２）を表示する例を示す。すなわち、左眼視用画像４１１および右眼視用画像４１２は、左眼視用画像４０１および右眼視用画像４０２の垂直方向の長さと、横長状態とされた表示部１７０の垂直方向の長さとが一致するように、縮小された画像であるものとする。
【０１０６】
図１０（ｂ）に示すように、表示部１７０における視差方向（矢印４１０で示す方向）と、立体視画像の視差方向（矢印４１３で示す方向）とが一致しない場合には、その立体視画像をユーザが適切に見ることができない。
【０１０７】
図１０（ｃ）には、表示部１７０を縦長状態とする場合における立体視画像の表示例を示す。この例では、縦長状態とされた表示部１７０に合わせて２つの画像（左眼視用画像４２１および右眼視用画像４２２）を表示する例を示す。すなわち、左眼視用画像４２１および右眼視用画像４２２は、表示部１７０のサイズと一致する画像であるものとする。
【０１０８】
図１０（ｃ）に示すように、表示部１７０における視差方向（矢印４２０で示す方向）と、立体視画像の視差方向（矢印４２３で示す方向）とが一致する場合であっても、視差方向が垂直方向となるため、人の視差方向と一致しない場合が想定される。すなわち、通常では、人は、このような向きでは見ないため、その立体視画像をユーザが適切に見ることができない。また、人間の目は、左右方向のズレに対しては、ある程度の許容があるが、上下方向のズレに対しては敏感であることが多い。このため、表示部１７０に表示される立体視画像について上下方向のズレがある場合には、ユーザに対して不快感を与えてしまうおそれがある。
【０１０９】
図７乃至図１０に示すように、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、その立体視画像をユーザが適切に立体的に見ることができない。そこで、本発明の第１の実施の形態では、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合でも、その立体視画像をユーザが適切に立体的に見ることができるようにする。具体的には、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、これらが一致するように立体視画像の向きを変更する。または、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、表示対象となる立体視画像を平面画像として表示する。また、これらの何れを優先させるかをユーザ操作により設定可能とする。
【０１１０】
また、表示部１７０に表示される立体視画像の視差方向と、人の視差方向と一致しない場合には、その立体視画像をユーザが適切に立体的に見ることができない。そこで、本発明の第１の実施の形態では、表示部１７０に表示される立体視画像の視差方向と、人の視差方向と一致しない場合でも、その立体視画像をユーザが適切に立体的に見ることができるようにする。具体的には、表示部１７０に表示される立体視画像の視差方向と、人の視差方向と一致しない場合には、これらが一致するように、表示部１７０における視差方向を変更する。この場合に、人の視差方向は、例えば、表示部１７０の姿勢に基づいて取得することができる。すなわち、人の視差方向が表示部１７０の姿勢に対応しているものとして、人の視差方向を推定することができる。例えば、表示部１７０の長手方向と、人の視差方向とを同一方向として推定することができる。なお、視差方向取得部（例えば、図３１（ａ）に示す専用メガネ７２０の視差方向取得部７２２）により人の視差方向を取得するようにしてもよい。また、表示部１７０に表示される立体視画像の視差方向と、人の視差方向と一致しない場合には、表示対象となる立体視画像を平面画像として表示する。また、これらの何れを優先させるかをユーザ操作により設定可能とする。
【０１１１】
［立体視画像の表示を優先する場合の表示制御例］
図１１および図１２は、本発明の第１の実施の形態における表示部１７０の視差方向と表示部１７０に表示される立体視画像の視差方向とが一致しない場合における表示制御例を模式的に示す図である。図１１および図１２では、図４（ａ）に示す設定画面３３０において、選択ボタン３３２の押下操作が行われ、立体視画像の表示を優先する旨の設定がされた場合を例にして説明する。図１１では、表示部１７０における視差方向と、表示部１７０に表示される立体視画像の視差方向とが一致しない場合に、これらが一致するように、その立体視画像の向きを変更する例を示す。
【０１１２】
図１１（ａ）には、表示部１７０を横長状態とする場合における立体視画像（左眼視用画像４５１および右眼視用画像４５２）の表示例を示す。この例では、立体視画像の表示時におけるユーザ操作、または、立体視画像の記録時におけるユーザ操作により、９０度回転処理された２つの画像（左眼視用画像４５１および右眼視用画像４５２）を表示する例を示す。なお、図１１（ａ）に示す例は、図７（ｂ）と同様である。
【０１１３】
図１１（ｂ）には、表示部１７０を横長状態とする場合における立体視画像（左眼視用画像４６１および右眼視用画像４６２）の表示例を示す。図１１（ａ）に示すように、表示部１７０における視差方向（矢印４５０で示す方向）と、立体視画像の視差方向（矢印４５３で示す方向）とが一致しない場合には、その立体視画像をユーザが適切に立体的に見ることができない。そこで、その立体視画像をユーザが適切に立体的に見ることができるように、表示部１７０における視差方向と、立体視画像の視差方向とが一致するように立体視画像の向きを変更する。
【０１１４】
具体的には、制御部１２０が、優先情報保持部１２１に保持されている優先情報を取得し、優先すべき制御内容を判断する。この例では、上述したように、優先情報保持部１２１に保持されている優先情報として「立体視画像の表示を優先する」が設定されている。続いて、制御部１２０が、表示対象となるコンテンツに含まれる属性情報（属性情報取得部１４０により取得された属性情報）を取得し、表示部１７０における視差方向と、表示対象となるコンテンツに対応する立体視画像の視差方向とが一致するか否かを判断する。この判断結果、表示部１７０における視差方向と、表示対象となるコンテンツに対応する立体視画像の視差方向とが一致していない場合には、制御部１２０は、優先情報保持部１２１に保持されている優先情報に従って表示制御を行う。すなわち、制御部１２０は、表示部１７０における視差方向と、立体視画像の視差方向とが一致するように立体視画像の向きを変更する制御を行う。例えば、図１１（ａ）に示すように、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、画像処理部１５０が、その立体視画像（左眼視用画像４５１および右眼視用画像４５２）を９０度回転させる。続いて、画像処理部１５０が、９０度回転処理された立体視画像を表示部１７０の表示領域のサイズに合わせて拡大させる。そして、表示制御部１６０が、拡大処理後の立体視画像（左眼視用画像４６１および右眼視用画像４６２）を表示部１７０に表示させる。このように、表示対象となる立体視画像の向きを変更することにより、ユーザが適切に立体視画像を見ることができる。
【０１１５】
図１２では、表示部１７０における視差方向と、表示部１７０に表示される立体視画像の視差方向とが一致しない場合に、これらが一致するように、表示部１７０における視差方向を変更する例を示す。
【０１１６】
図１２（ａ）には、表示部１７０を縦長状態とする場合における立体視画像（左眼視用画像４７１および右眼視用画像４７２）の表示例を示す。この例では、立体視画像の表示時におけるユーザ操作、または、立体視画像の記録時におけるユーザ操作により、９０度回転処理された２つの画像（左眼視用画像４７１および右眼視用画像４７２）を、９０度回転させた表示部１７０に表示する例を示す。なお、図１２（ａ）に示す例は、図７（ｃ）と同様である。
【０１１７】
図１２（ｂ）には、表示部１７０を縦長状態とする場合における立体視画像（左眼視用画像４７１および右眼視用画像４７２）の表示例を示す。図１２（ａ）に示すように、表示部１７０における視差方向（矢印４７０で示す方向）と、立体視画像の視差方向（矢印４７３で示す方向）とが一致しない場合には、その立体視画像をユーザが適切に立体的に見ることができない。そこで、その立体視画像をユーザが適切に立体的に見ることができるように、表示部１７０における視差方向と、立体視画像の視差方向とが一致するように、表示部１７０における視差方向を変更する。
【０１１８】
すなわち、図１２（ａ）に示すように、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、制御部１２０は、表示部１７０における視差方向を９０度回転させる。このように、表示部１７０における視差方向を変更することにより、ユーザが適切に立体視画像を見ることができる。
【０１１９】
［画像の向きを優先する場合の表示制御例］
図１３および図１４は、本発明の第１の実施の形態における表示部１７０の視差方向と表示部１７０に表示される立体視画像の視差方向とが一致しない場合における表示制御例を模式的に示す図である。図１３および図１４では、図４（ａ）に示す設定画面３３０において、選択ボタン３３１の押下操作が行われ、画像の向きを優先する旨の設定がされた場合を例にして説明する。また、図１３および図１４では、表示部１７０における視差方向と、表示部１７０に表示される立体視画像の視差方向とが一致しない場合に、その立体視画像を平面画像として表示する例を示す。
【０１２０】
図１３（ａ）には、表示部１７０を横長状態とする場合における立体視画像（左眼視用画像４５１および右眼視用画像４５２）の表示例を示す。なお、図１３（ａ）に示す例は、図１１（ａ）と同様である。
【０１２１】
図１３（ｂ）には、表示部１７０を横長状態とする場合における平面画像（表示画像４８１）の表示例を示す。図１３（ａ）に示すように、表示部１７０における視差方向（矢印４５０で示す方向）と、立体視画像の視差方向（矢印４５３で示す方向）とが一致しない場合には、その立体視画像をユーザが適切に立体的に見ることができない。そこで、その向きでユーザが適切に画像を見ることができるように、立体視画像を平面画像として表示する。
【０１２２】
すなわち、図１３（ａ）に示すように、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、表示制御部１６０は、立体視画像を平面画像４８１として表示部１７０に表示させる。このように、立体視画像を平面画像４８１として表示することにより、ユーザが所望の向きで適切にその画像を見ることができる。
【０１２３】
図１４（ａ）には、表示部１７０を縦長状態とする場合における立体視画像（左眼視用画像４７１および右眼視用画像４７２）の表示例を示す。なお、図１４（ａ）に示す例は、図１２（ａ）と同様である。
【０１２４】
図１４（ｂ）には、表示部１７０を縦長状態とする場合における平面画像（表示画像４８２）の表示例を示す。図１４（ａ）に示すように、表示部１７０における視差方向（矢印４７０で示す方向）と、立体視画像の視差方向（矢印４７３で示す方向）とが一致しない場合には、その立体視画像をユーザが適切に立体的に見ることができない。そこで、その向きでユーザが適切に画像を見ることができるように、立体視画像を平面画像として表示する。
【０１２５】
すなわち、図１４（ａ）に示すように、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、表示制御部１６０は、立体視画像を平面画像４８２として表示部１７０に表示させる。このように、立体視画像を平面画像４８２として表示することにより、ユーザが所望の向きで適切にその画像を見ることができる。
【０１２６】
［向き優先の設定時における平面画像の表示例］
図１５は、本発明の第１の実施の形態における表示部１７０に平面画像を表示する際における表示制御例を模式的に示す図である。図１３および図１４に示すように、「画像の向きを優先する」設定がされている場合において、表示部１７０における視差方向と、立体視画像の視差方向とが一致しない場合には、その立体視画像を平面画像として表示する。ここで、立体視画像は、複数の画像により構成される画像（多視点画像）である。例えば、２視点画像の場合には２つの画像により構成される。このため、立体視画像を平面画像として表示する場合には、立体視画像を構成する複数の画像（多視点画像）のうちの少なくとも１視点画像を表示する表示方法等を用いることができる。そこで、図１５では、このような表示方法の一例を示す。
【０１２７】
図１５（ａ）および（ｂ）には、立体視画像を構成する複数の画像（多視点画像）のうちの１つの画像（１視点画像）のみを表示する表示方法を示す。具体的には、図１５（ｂ）に示すように、表示制御部１６０が、立体視画像を構成する左眼視用画像５０１および右眼視用画像５０２のうちの左眼視用画像５０１のみを表示し、右眼視用画像５０２については表示しない。図１５（ａ）および（ｂ）に示す表示方法は、例えば、立体視画像を平面画像として表示する場合には、平面画像表示モードに切り換え、この平面画像表示モードにおいて、左眼視用画像５０１を表示することにより行われる。
【０１２８】
図１５（ｃ）および（ｄ）には、立体視画像を構成する複数の画像（多視点画像）のうちの１つの画像（１視点画像）のみを表示する他の表示方法を示す。具体的には、図１５（ｄ）に示すように、表示制御部１６０が、左眼視用画像５１１および右眼視用画像５１２のうち、左眼視用画像として左眼視用画像５１１を表示するととともに、右眼視用画像としても左眼視用画像５１１（右眼視用画像５１１）を表示する。図１５（ｃ）および（ｄ）に示す表示方法は、例えば、立体視画像表示モードの状態で、各視差画像を同一画像とすることにより行われる。
【０１２９】
このように、本発明の第１の実施の形態では、立体視画像の表示を優先させる場合と、画像の向きを優先させる場合をユーザの選択操作により容易に設定することができる。例えば、立体視画像の表示を優先させる設定がされた場合には、立体視画像の向きよりも立体視画像を表示させることを優先する。このため、例えば、表示対象となる立体視画像の回転が必要な場合には、立体視画像を回転させた後に表示させる。また、画像の向きを優先させる設定がされた場合には、向きを優先させて立体視画像の表示は、可能な範囲内でのみに行う。これにより、ユーザの好みに応じた適切な立体視画像の表示を行うことができる。
【０１３０】
［縦長の立体視画像の生成例］
以上では、主に横長の立体視画像（すなわち、撮像時における水平方向が長手方向となっている立体視画像）を表示する例を示した。しかしながら、縦長状態とした表示部１７０に縦長の立体視画像を表示して見ることを所望するユーザも想定される。そこで、以下では、縦長状態とした表示部１７０に縦長の立体視画像を表示して見ることが可能な立体視画像を生成する例を示す。
【０１３１】
図１６は、本発明の第１の実施の形態における撮像装置１００を用いて縦長の立体視画像を生成する場合の画像生成例を示す図である。
【０１３２】
図１６（ａ）には、撮像装置１００を用いて行われる撮像動作状態を簡略化して示す。具体的には、立っている人物５２０を被写体として撮像装置１００を用いて撮像動作が行われている状態を示す。
【０１３３】
図１６（ｂ）には、撮像装置１００を用いて行われる撮像動作により生成される立体視画像の一例（左眼視用画像５２１および右眼視用画像５２２）を示す。具体的には、図１６（ａ）に示す状態で、左眼用撮像部２１０により生成された左眼視用画像５２１と、右眼用撮像部２２０により生成された右眼視用画像５２２とを示す。
【０１３４】
図１６（ａ）に示す状態では、撮像時における水平方向が視差方向となるように立体視画像が撮像されるため、図１６（ｂ）に示すように、左眼視用画像５２１および右眼視用画像５２２に含まれる人物５２０が、各画像の長手方向にズレることになる。
【０１３５】
図１６（ｃ）および（ｄ）には、図１６（ｂ）に示す左眼視用画像５２１および右眼視用画像５２２を用いて、縦長の立体視画像を生成する際における流れを示す。具体的には、撮像信号処理部２３０が、左眼視用画像５２１における左右の所定領域（太線の矩形５２３で囲まれている領域以外の領域）を切り取ることにより、縦長の画像５２５を生成する。同様に、撮像信号処理部２３０が、右眼視用画像５２２における左右の所定領域（太線の矩形５２４で囲まれている領域以外の領域）を切り取ることにより、縦長の画像５２６を生成する。このように画像のそれぞれにおける長手方向の両端部のうちの少なくとも１つの端部側の所定領域を切り取ることにより生成された画像５２５および５２６を、記録制御部２６０が、左眼視用画像および右眼視用画像としてコンテンツ記憶部２００に記録させる。この際に、画像の拡大縮小等の画像処理が適宜行われる。
【０１３６】
図１７および図１８は、本発明の第１の実施の形態における撮像装置１００を用いて縦長の立体視画像を生成する場合の他の画像生成例を示す図である。この例は、垂直方向において連続または重複する２つの画像を生成し、この生成された２つの画像を合成することにより縦長の画像を生成する例である。
【０１３７】
図１７（ａ）には、撮像装置１００を用いて行われる撮像動作状態を簡略化して示す。なお、図１７（ａ）に示す例は、矢印５３０を追加した点以外は、図１６（ａ）と同様である。
【０１３８】
図１７（ｂ）および（ｃ）には、撮像装置１００を用いて行われる連続撮像動作により生成される立体視画像の一例（左眼視用画像５３１および５３３、右眼視用画像５３２および５３４）を示す。具体的には、図１７（ａ）に示す状態で、スイング撮影を行うことにより、左眼視用画像５３１および５３３と、右眼視用画像５３２および５３４とが生成される。すなわち、ユーザが撮像装置１００を垂直方向（矢印５３０で示す方向）に振ることにより、左眼用撮像部２１０により左眼視用画像５３１および５３３が生成され、右眼用撮像部２２０により右眼視用画像５３２および５３４が生成される。なお、左眼視用画像５３１および５３３に含まれる被写体のうち、少なくとも一部が重複し、右眼視用画像５３２および５３４に含まれる被写体のうち、少なくとも一部が重複しているものとする。
【０１３９】
図１８（ａ）には、左眼視用画像５３１および５３３を合成した合成画像５４１と、右眼視用画像５３２および５３４を合成した合成画像５４２とを示す。このように２つの画像を合成する場合には、２つの画像間における相関性に基づいて、２つの画像を重ねて合成させる。例えば、２つの画像間の移動量および移動方向（すなわち、２つの画像間の相対変位）を検出し、この検出された移動量および移動方向（２つの画像間の移動量および移動方向）に基づいて、２つの画像を、互いの重複領域が互いに重なり合うように合成する。例えば、撮像装置１００の移動に伴って発生する画像全体の動きに対応する動きベクトル（ＧＭＶ（Global Motion Vector））を検出し、この検出された動きベクトルを用いて移動量および移動方向を検出することができる。また、撮像姿勢検出部２５０により検出された角速度に基づいて、移動量および移動方向を検出するようにしてもよい。
【０１４０】
図１８（ｂ）および（ｃ）には、図１８（ａ）に示す合成画像５４１および合成画像５４２を用いて、縦長の立体視画像を生成する際における流れを示す。具体的には、撮像信号処理部２３０が、合成画像５４１における左右の所定領域（太線の矩形５４３で囲まれている領域以外の領域）を切り取ることにより、縦長の画像５４５を生成する。同様に、撮像信号処理部２３０が、合成画像５４２における左右の所定領域（太線の矩形５４４で囲まれている領域以外の領域）を切り取ることにより、縦長の画像５４６を生成する。このように画像の一部を切り取ることにより生成された画像５４５および５４６を、記録制御部２６０が、左眼視用画像および右眼視用画像としてコンテンツ記憶部２００に記録させる。この際に、画像の拡大縮小等の画像処理が適宜行われる。このように、左眼用撮像部２１０および右眼用撮像部２２０が、多視点画像を１組として時系列で連続する複数組の画像群を生成する。そして、撮像信号処理部２３０が、その生成された複数組の画像群のそれぞれにおける少なくとも一部を用いて合成を行い、立体視画像を表示するための複数の合成画像（縦長の立体視画像）を生成する。
【０１４１】
このように、撮像装置１００を用いて、縦長の立体視画像（水平方向が視差方向である立体視画像）を生成することができる。
【０１４２】
なお、この例では、２つの連続する撮像画像を合成することにより、縦長の立体視画像を生成する例を示したが、３以上の連続する撮像画像を合成することにより、縦長の立体視画像を生成してもよい。
【０１４３】
なお、図１７および図１８に示す例では、ユーザが撮像装置１００を垂直方向に振ることにより、垂直方向において連続または重複する２つの画像を生成する例を示した。ただし、図１９に示すように、撮像装置１００に手振れ補正機構を設け、この手振れ補正機構を用いて、垂直方向において連続または重複する２つの画像を生成するようにしてもよい。
【０１４４】
［手振れ補正の構成例］
図１９は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。図１９では、図２に示す撮像装置１００に手振れ補正機構を設けた場合における機能構成例を示すが、手振れ補正機構に関する構成の一部のみを示し、他の構成についての図示は省略する。
【０１４５】
撮像装置１００は、レンズ制御部５５１と、ドライブ部５５２と、手振れ補正レンズ５５３および５５４とを備える。
【０１４６】
レンズ制御部５５１は、制御部１２０の制御に基づいて、手振れ補正を行うための手振れ補正レンズ５５３および５５４を制御するものである。ドライブ部５５２は、レンズ制御部５５１の制御に基づいて、手振れ補正レンズ５５３および５５４を移動させて、手振れ補正を行うものである。
【０１４７】
ここで、手振れ補正機構を備える撮像装置１００を用いて垂直方向において連続または重複する２つの画像を生成する場合について説明する。例えば、注目被写体（例えば、人物）が撮像装置１００から比較的遠い位置に存在する場合には、手振れ補正機構を用いて、垂直方向において注目被写体がズレた２つの画像（連続または重複する２つの画像）を生成することができる。
【０１４８】
また、手振れ補正機構を備える撮像装置１００をユーザが垂直方向に振ることにより、垂直方向において連続または重複する２つの画像を生成し、その振る操作によるブレを手振れ補正機構を用いて補正するようにしてもよい。
【０１４９】
［縦長の立体視画像の表示例］
以上で示したように、撮像装置１００により生成された縦長の立体視画像（水平方向が視差方向である立体視画像）を表示する場合における表示例を図２０に示す。
【０１５０】
図２０は、本発明の第１の実施の形態における表示部１７０の視差方向と、表示部１７０に表示される立体視画像の視差方向との関係を示す図である。図２０（ａ）には、表示部１７０が縦長状態となっている場合における撮像装置１００の外観を示す。なお、図２０では、表示部１７０の姿勢の変化に応じて表示部１７０における視差方向を変更する場合を例にして示す。具体的には、表示部１７０が縦長状態となっている場合には、水平方向（矢印５６０で示す方向）を視差方向とする例を示す。
【０１５１】
図２０（ｂ）には、表示部１７０を縦長状態とする場合における立体視画像の表示例を示す。左眼視用画像５６１および右眼視用画像５６２は、図１６乃至図１８に示す生成方法により生成された２つの画像であり、視差方向を水平方向（矢印５６３で示す方向）として立体視画像を表示するための画像である。
【０１５２】
図２０に示すように、表示対象となる立体視画像は、縦長の画像であり、その視差方向は水平方向であるが、表示部１７０における視差方向（矢印５６０で示す方向）と、立体視画像の視差方向（矢印５６３で示す方向）とが一致する。このため、縦長の立体視画像をユーザが適切に見ることができる。
【０１５３】
このように、撮像時における画像処理により、縦長の立体視画像を生成して記録することができる。また、立体視画像の表示時において、横長の立体視画像について、上述した画像処理を行い、縦長の立体視画像を生成して表示するようにしてもよい。
【０１５４】
以上では、横長の立体視画像を構成する左眼視用画像および右眼視用画像のそれぞれについて、合成処理や切取処理を行うことにより、縦長の立体視画像を生成する例を示した。以下では、立体視画像を構成する各画像のズレ量に基づいて新たな画像を生成することにより、立体視画像の視差方向を変更する例を示す。
【０１５５】
［立体視画像の視差方向の変更例］
図２１は、本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作状態および立体視画像の視差方向を変更する場合の流れを模式的に示す図である。この例では、画像を複数の領域に分割し、この分割された各領域における動きベクトルを用いて立体視画像の視差方向を変更する変更方法を示す。なお、この例では、立体視画像の視差方向を変更する際に用いられる動きベクトルを検出する検出方法として、ブロックマッチング法を用いる。このブロックマッチング法は、動きベクトルの検出対象となる対象領域に含まれる画像と似ている画像が、比較対象となる他の画像のどこにあるかを探索し、この探索結果に基づいて対象画像における各ブロックの動きベクトルを検出する方法である。具体的には、対象画像を複数の領域（ブロック）に分割し、この分割された対象画像における各領域について、想定される最大の動き量の大きさにサーチ範囲を設定し、この設定されたサーチ範囲内で探索を行うことにより動きベクトルを検出する。
【０１５６】
図２１（ａ）には、撮像装置１００を用いて行われる撮像動作状態を簡略化して示す。具体的には、立っている人物６０１および６０２を被写体として、光軸方向を軸として９０度回転させた撮像装置１００を用いて撮像動作が行われている状態を示す。すなわち、撮像時における垂直方向が視差方向となるように立体視画像が撮像された場合における撮像動作状態を示す。
【０１５７】
図２１（ｂ）には、図２１（ａ）に示す状態で、撮像装置１００により生成される立体視画像（左眼視用画像６１１および右眼視用画像６１２）を簡略化して示す。左眼視用画像６１１および右眼視用画像６１２は、光軸方向を回転中心として撮像装置１００を９０度回転させて撮像された画像であり、左眼視用画像６１１および右眼視用画像６１２に含まれる被写体６０１および６０２が垂直方向にズレている。すなわち、左眼視用画像６１１および右眼視用画像６１２の視差方向は垂直方向（矢印６１３で示す方向）である。
【０１５８】
図２１（ｃ）には、図２１（ｂ）に示す立体視画像（左眼視用画像６１１および右眼視用画像６１２）について、その視差方向を変更して生成された立体視画像（左眼視用画像６２１および右眼視用画像６２２）を簡略化して示す。左眼視用画像６２１および右眼視用画像６２２は、その視差方向が変更されているため、左眼視用画像６２１および右眼視用画像６２２に含まれる被写体６０１および６０２が水平方向にズレている。すなわち、左眼視用画像６２１および右眼視用画像６２２の視差方向は水平方向（矢印６２３で示す方向）である。なお、右眼視用画像６２２は、図２１（ｂ）に示す右眼視用画像６１２と同一である。また、立体視画像の視差方向の変更方法については、図２２乃至図２４を参照して詳細に説明する。
【０１５９】
図２２乃至図２４は、本発明の第１の実施の形態における撮像信号処理部２３０による立体視画像の視差方向を変更する場合の流れを模式的に示す図である。
【０１６０】
図２２（ａ）には、撮像装置１００により生成される立体視画像（左眼視用画像６１１および右眼視用画像６１２）を簡略化して示す。なお、左眼視用画像６１１および右眼視用画像６１２は、符号６０１および６０２を省略した点以外は、図２１（ｂ）と同様である。また、図２２（ａ）では、左眼視用画像６１１を複数の領域に分割した場合における分割例を示す。なお、図２２（ａ）に示す例では、説明の容易のため、分割領域のサイズを比較的大きくして示す。また、左眼視用画像６１１における左上隅の領域６３１を太線の矩形で示す。
【０１６１】
図２２（ｂ）には、分割された左眼視用画像６１１における各領域から、比較対象として抽出された領域６３１に含まれる画像６３２と、右眼視用画像６１２における画像６３２と最も相関の高い領域６３３との関係を示す。
【０１６２】
図２２（ｃ）には、右眼視用画像６１２における画像６３２と最も相関の高い領域６３３に基づく動きベクトルの検出例を示す。
【０１６３】
図２２（ｂ）に示すように、分割された左眼視用画像６１１における各領域から、比較対象となる領域６３１が抽出される。そして、右眼視用画像６１２に設定されたサーチ範囲において、その抽出された領域６３１に含まれる画像６３２を移動させ、画像６３２と最も相関の高い領域を探索する。例えば、右眼視用画像６１２において画像６３２と最も相関の高い領域を領域６３３（点線の矩形で示す）とする。そして、この探索の結果、サーチ範囲において、領域６３１に含まれる画像６３２と最も相関の高い領域が検出された場合には、領域６３１と領域６３３との位置関係に基づいて、動きベクトル６３５が求められる。
【０１６４】
すなわち、図２２（ｃ）に示すように、左眼視用画像６１１において、領域６３１と領域６３４（右眼視用画像６１２における領域６３３に対応する位置の領域（太い点線の矩形で示す））との移動方向および移動量に基づいて、動きベクトル６３５が求められる。また、分割された左眼視用画像６１１における各領域について、図２２（ａ）乃至（ｃ）の各処理が繰り返し行われ、各領域から動きベクトルが求められる。
【０１６５】
このように、ブロックマッチング法では、１つの対象領域に対して１つの動きベクトルを算出する。つまり、分割されたブロック単位で、画像間の相関判定（マッチング判定）処理を行い、ブロック毎に動きベクトルを求める。
【０１６６】
図２３（ａ）には、左眼視用画像６１１における各領域から検出された動きベクトルを模式的に示す。上述した動きベクトル検出方法により、左眼視用画像６１１における各領域から動きベクトルが検出される。図２３（ａ）では、左眼視用画像６１１において、検出された動きベクトルを、対応する領域内に矢印で示す。また、比較対象となった右眼視用画像６１２を、動きベクトルを表す矢印が付された左眼視用画像６１１と並べて示す。
【０１６７】
図２３（ｂ）には、図２３（ａ）に示す各領域における動きベクトルを時計周りに９０度回転させた後の動きベクトルを模式的に示す。例えば、動きベクトル６３５が、時計周りに９０度回転して、動きベクトル６３６となる。また、図２３（ｂ）には、右眼視用画像６１２を複数の領域に分割した場合における分割例を示す。この分割では、左眼視用画像６１１を複数の領域に分割した際における領域のサイズと同一のサイズの領域に分割するものとする。また、図２３（ｂ）では、分割後の各領域に識別番号（＃１乃至＃１５）を付して示す。
【０１６８】
図２３（ｃ）には、右眼視用画像６１２の各領域（＃１乃至＃１５）を、図２３（ｂ）に示す動きベクトルに基づいて、移動させた場合における各領域の配置例を示す。なお、図２３（ｃ）では、視差方向を変更した後の左眼視用画像の領域を点線の矩形６３７で示す。
【０１６９】
図２４（ａ）には、右眼視用画像６１２の各領域（＃１乃至＃１５）を、図２３（ｃ）に示すように移動させた場合における各領域に含まれる画像を簡略化して示す。なお、図２４（ａ）に示す各領域の配置は、図２３（ｃ）に示す配置と同様である。また、図２４（ａ）では、各領域に付される識別番号（＃１乃至＃１５）を省略し、各領域に対応する矩形を点線で示す。
【０１７０】
図２３（ｃ）および図２４（ａ）に示すように、右眼視用画像６１２の各領域（＃１乃至＃１５）を、左眼視用画像６１１における各領域について検出された動きベクトルに基づいて移動させる。このように各領域を移動させることにより、視差方向が変更された左眼視用画像６４１を生成することができる。なお、図２３（ｃ）および図２４（ａ）に示すように、右眼視用画像６１２の各領域（＃１乃至＃１５）を移動させた場合には、視差方向の変更後の左眼視用画像の領域内において、画像情報がない領域（隙間領域）が生じる。このように生じた隙間領域については、撮像信号処理部２３０が補間処理を行う。例えば、視差方向の変更対象となる立体視画像が、動画である場合には、時間軸または空間軸による補間処理や平均化処理を行うことができる。例えば、隙間領域について、時間軸における所定範囲内で近接または隣接するフレームに含まれるその近傍（隙間領域の近傍）の画像を用いて時間補間を行うことができる。なお、隙間領域について、時間軸における所定範囲内で近接または隣接するフレームに含まれるその近傍に適切な画像が存在しない場合には、補間対象となる撮像画像の画面内における空間補間を行うことができる。また、例えば、視差方向の変更対象となる立体視画像が、静止画である場合には、空間軸による補間処理や平均化処理を行うことができる。
【０１７１】
図２４（ｂ）には、図２１（ｂ）に示す立体視画像（左眼視用画像６１１および右眼視用画像６１２）について、その視差方向を変更して生成された立体視画像（左眼視用画像６２１および右眼視用画像６２２）を簡略化して示す。なお、図２４（ｂ）に示す立体視画像（左眼視用画像６２１および右眼視用画像６２２）は、図２１（ｃ）と同様である。また、左眼視用画像６２１は、右眼視用画像６１２の各領域（＃１乃至＃１５）を移動させた後に、補間処理が施されて生成された画像である。
【０１７２】
このように、左眼用撮像部２１０および右眼用撮像部２２０が、左眼視用画像および右眼視用画像を生成する。続いて、撮像信号処理部２３０が、その生成された左眼視用画像および右眼視用画像に基づいて左眼視用画像における複数の領域の右眼視用画像に対する移動量および移動方向を領域毎に検出する。続いて、撮像信号処理部２３０が、その検出された左眼視用画像における領域毎の移動量および移動方向に基づいて、右眼視用画像における複数領域の画像を移動させ、この移動後の各画像に基づいて合成画像（新たな左眼視用画像）を生成する。
【０１７３】
このように、撮像時における画像処理により視差方向を変更して、水平方向が視差方向となる縦長の立体視画像を生成して記録することができる。また、立体視画像の表示時において、垂直方向が視差方向となる縦長の立体視画像について、上述した画像処理を行い、水平方向が視差方向となる縦長の立体視画像を生成して表示するようにしてもよい。
【０１７４】
また、合成処理や切取処理により縦長の立体視画像を生成する場合や、視差方向の変更処理により縦長の立体視画像を生成する場合において、これらの各処理前の立体視画像と、処理後の立体視画像とを関連付けて記録するようにしてもよい。これにより、処理前の立体視画像と、処理後の立体視画像とを表示時に用いることができる。
【０１７５】
［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。
【０１７６】
図２５は、本発明の第１の実施の形態における撮像装置１００による画像表示制御処理の処理手順の一例を示すフローチャートである。この例では、立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合には、これらが一致するように、その立体視画像について画像処理を行い、その画像処理が施された立体視画像を表示部１７０に表示させる例を示す。また、この例では、静止画表示モードが設定されている状態で、静止画の表示指示操作が行われた際における画像表示制御処理を示す。
【０１７７】
最初に、コンテンツ取得部１３０が、表示対象となる画像コンテンツをコンテンツ記憶部２００から取得する（ステップＳ９０１）。続いて、表示部姿勢検出部１８０が、表示部１７０の姿勢を検出し（ステップＳ９０２）、制御部１２０が、その検出結果を取得する。続いて、制御部１２０が、操作受付部１１０により受け付けられた回転指示操作に応じた回転量（立体視画像の回転量）を取得する（ステップＳ９０３）。続いて、属性情報取得部１４０が、コンテンツ取得部１３０により取得された画像コンテンツに含まれる撮像時における姿勢（撮像姿勢）を取得し（ステップＳ９０４）、制御部１２０が、その撮像姿勢を取得する。続いて、属性情報取得部１４０が、コンテンツ取得部１３０により取得された画像コンテンツに含まれる撮像時における視差方向（撮像時視差方向）を取得し（ステップＳ９０５）、制御部１２０が、その撮像時視差方向を取得する。
【０１７８】
続いて、表示部１７０の姿勢に基づいて表示部１７０における視差方向を変更する設定がされているか否かが判断される（ステップＳ９０６）。表示部１７０における視差方向を変更する設定がされている場合には（ステップＳ９０６）、制御部１２０が、表示部１７０の姿勢に基づいて表示部１７０における視差方向を変更し（ステップＳ９０７）、変更後の視差方向を取得する（ステップＳ９０８）。例えば、表示部１７０（第２の筐体１０２）が横長状態から縦長状態に変更された場合には、表示部１７０における視差方向を変更する。例えば、図３（ｂ）に示す視差方向を、図３（ｃ）に示す視差方向に変更する。なお、表示部１７０における視差方向を変更する必要がない場合には、視差方向の変更は行わない。また、表示部１７０における視差方向を変更する設定がされていない場合には（ステップＳ９０６）、ステップＳ９０９に進む。
【０１７９】
続いて、制御部１２０が、取得された撮像時視差方向と、表示部１７０の姿勢と、立体視画像の回転量と、撮像姿勢とに基づいて、立体視画像の視差方向の回転処理を行う（ステップＳ９０９）。すなわち、ユーザによる表示に関する設定内容に応じて、立体視画像の回転処理と同様に、立体視画像の視差方向の回転処理が行われる。
【０１８０】
続いて、画像処理部１５０が、制御部１２０の制御に基づいて、コンテンツ取得部１３０により取得された画像コンテンツに対応する立体視画像について表示用の画像処理を行う（ステップＳ９１０）。この場合に、取得された撮像時視差方向と、表示部１７０の姿勢と、立体視画像の回転量と、撮像姿勢とに基づいて、立体視画像の回転処理が行われる。
【０１８１】
続いて、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致するか否かが判断される（ステップＳ９１１）。そして、これらが一致する場合には（ステップＳ９１１）、表示用の画像処理が行われた立体視画像を表示部１７０に表示させる（ステップＳ９１３）。一方、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合には（ステップＳ９１１）、これらが一致するように、その立体視画像について画像処理（回転処理）を行う（ステップＳ９１２）。そして、その画像処理が施された立体視画像を表示部１７０に表示させる（ステップＳ９１３）。
【０１８２】
図２６は、本発明の第１の実施の形態における撮像装置１００による画像表示制御処理の処理手順の一例を示すフローチャートである。この例では、立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合には、その立体視画像を平面画像として表示部１７０に表示させる例を示す。また、この例では、静止画表示モードが設定されている状態で、静止画の表示指示操作が行われた際における画像表示制御処理を示す。なお、この処理手順は、図２５に示す処理手順の変形例である。このため、図２５に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。
【０１８３】
表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致するか否かが判断される（ステップＳ９１１）。そして、これらが一致する場合には（ステップＳ９１１）、表示用の画像処理が行われた立体視画像を表示部１７０に表示させる（ステップＳ９２１）。一方、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合には（ステップＳ９１１）、その立体視画像を平面画像として表示部１７０に表示させる（ステップＳ９２２）。
【０１８４】
図２７は、本発明の第１の実施の形態における撮像装置１００による画像表示制御処理の処理手順の一例を示すフローチャートである。この例では、立体視画像の視差方向と、表示部１７０における視差方向とが一致しない場合には、ユーザ設定による優先情報に基づいて、その立体視画像を平面画像として表示させるか、画像処理後に表示させるかを決定する例を示す。また、この例では、静止画表示モードが設定されている状態で、静止画の表示指示操作が行われた際における画像表示制御処理を示す。なお、この処理手順は、図２５に示す処理手順の変形例である。このため、図２５に示す処理手順と同一のものには、同一の符号を付して、共通する部分の説明を省略する。
【０１８５】
表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致するか否かが判断される（ステップＳ９１１）。そして、これらが一致しない場合には（ステップＳ９１１）、優先情報保持部１２１に保持されている優先情報が、立体視画像の表示を優先する設定であるか否かが判断される（ステップＳ９３１）。立体視画像の表示を優先する設定である場合には（ステップＳ９３１）、表示部１７０に表示される立体視画像の視差方向と、表示部１７０における視差方向とが一致するように、その立体視画像について画像処理（回転処理）を行う（ステップＳ９３３）。そして、その画像処理が施された立体視画像を表示部１７０に表示させる（ステップＳ９２１）。また、その優先情報が、立体視画像の表示を優先する設定でない場合には（ステップＳ９３１）、その立体視画像を平面画像として表示部１７０に表示させる（ステップＳ９３２）。
【０１８６】
図２８は、本発明の第１の実施の形態における撮像装置１００による立体視画像記録制御処理の処理手順の一例を示すフローチャートである。この例では、左眼視用画像および右眼視用画像のそれぞれにおける長手方向の両端部のうちの少なくとも１つの端部側の所定領域を切り取ることにより、縦長の立体視画像を生成する例を示す（すなわち、図１６に対応する例）。また、この例では、静止画撮像モードが設定されている状態で、静止画の記録指示操作が行われた際における立体視画像記録制御処理を示す。
【０１８７】
最初に、左眼用撮像部２１０および右眼用撮像部２２０が、立体視画像を生成するための左眼視用画像および右眼視用画像を生成する撮像処理を行う（ステップＳ９７１）。続いて、縦長の立体視画像記録モードが設定されているか否かが判断される（ステップＳ９７２）。
【０１８８】
縦長の立体視画像記録モードが設定されている場合には（ステップＳ９７２）、撮像信号処理部２３０が、左眼視用画像および右眼視用画像のそれぞれにおける左右の所定領域を切り取ることにより、縦長の画像を生成する（ステップＳ９７３）。続いて、撮像信号処理部２３０が、生成された縦長の画像（左眼視用画像および右眼視用画像）について記録用の画像処理を行う（ステップＳ９７４）。続いて、記録制御部２６０が、その画像処理が施された縦長の画像（左眼視用画像および右眼視用画像）をコンテンツ記憶部２００に記録させる記録処理を行う（ステップＳ９７５）。
【０１８９】
また、縦長の立体視画像記録モードが設定されていない場合には（ステップＳ９７２）、撮像信号処理部２３０が、生成された左眼視用画像および右眼視用画像について記録用の画像処理を行い（ステップＳ９７６）、ステップＳ９７５に進む。すなわち、通常の立体視画像の記録用の画像処理が行われる。
【０１９０】
図２９は、本発明の第１の実施の形態における撮像装置１００による立体視画像記録制御処理の処理手順の一例を示すフローチャートである。この例では、垂直方向において連続または重複する２つの画像を生成し、この生成された２つの画像を合成することにより縦長の立体視画像を生成する例を示す（すなわち、図１７および図１８に対応する例）。また、この例では、静止画撮像モードが設定されている状態で、静止画の記録指示操作が行われた際における立体視画像記録制御処理を示す。
【０１９１】
最初に、縦長の立体視画像記録モードが設定されているか否かが判断される（ステップＳ９８０）。縦長の立体視画像記録モードが設定されている場合には（ステップＳ９８０）、左眼用撮像部２１０および右眼用撮像部２２０が、立体視画像を生成するための１組の第１画像群（左眼視用画像および右眼視用画像）を生成する撮像処理を行う（ステップＳ９８１）。続いて、左眼用撮像部２１０および右眼用撮像部２２０が、立体視画像を生成するための１組の第２画像群（左眼視用画像および右眼視用画像）を生成する撮像処理を行う（ステップＳ９８２）。
【０１９２】
続いて、撮像信号処理部２３０が、生成された第１画像群および第２画像群に含まれる画像間における相関性に基づいて、連続する２つの画像を左右毎に重ねて合成させて合成画像（左眼視用画像および右眼視用画像）を生成する（ステップＳ９８３）。続いて、撮像信号処理部２３０が、生成された合成画像（左眼視用画像および右眼視用画像）のそれぞれにおける左右の所定領域を切り取ることにより、縦長の画像を生成する（ステップＳ９８４）。続いて、撮像信号処理部２３０が、生成された縦長の画像（左眼視用画像および右眼視用画像）について記録用の画像処理を行う（ステップＳ９８５）。続いて、記録制御部２６０が、その画像処理が施された縦長の画像（左眼視用画像および右眼視用画像）をコンテンツ記憶部２００に記録させる記録処理を行う（ステップＳ９８６）。
【０１９３】
また、縦長の立体視画像記録モードが設定されていない場合には（ステップＳ９８０）、左眼用撮像部２１０および右眼用撮像部２２０が、左眼視用画像および右眼視用画像（左右１組の画像群）を生成する撮像処理を行う（ステップＳ９８７）。続いて、撮像信号処理部２３０が、生成された左眼視用画像および右眼視用画像について記録用の画像処理を行い（ステップＳ９８８）、ステップＳ９８６に進む。すなわち、通常の立体視画像の記録用の画像処理が行われる。
【０１９４】
図３０は、本発明の第１の実施の形態における撮像装置１００による立体視画像記録制御処理の処理手順の一例を示すフローチャートである。この例では、画像を複数の領域に分割し、この分割された各領域における動きベクトルを用いて立体視画像の視差方向を変更する例を示す（すなわち、図２２乃至図２４に対応する例）。また、この例では、静止画撮像モードが設定されている状態で、静止画の記録指示操作が行われた際における立体視画像記録制御処理を示す。
【０１９５】
最初に、縦長の立体視画像記録モードが設定されているか否かが判断される（ステップＳ１００１）。縦長の立体視画像記録モードが設定されている場合には（ステップＳ１００１）、撮像姿勢検出部２５０からの検出結果に基づいて、撮像装置１００の姿勢が、光軸方向を軸として９０度回転された姿勢であるか否かが判断される（ステップＳ１００２）。撮像装置１００の姿勢が９０度回転された姿勢である場合には（ステップＳ１００２）、左眼用撮像部２１０および右眼用撮像部２２０が左眼視用画像および右眼視用画像（１組の画像群）を生成する撮像処理を行う（ステップＳ１００３）。
【０１９６】
続いて、撮像信号処理部２３０が、左眼視用画像を複数の領域に分割する（ステップＳ１００４）。続いて、撮像信号処理部２３０が、分割された左眼視用画像における各領域から、比較対象として１つの領域（対象領域）を抽出する（ステップＳ１００５）。続いて、撮像信号処理部２３０が、対象領域に含まれる画像と最も相関の高い右眼視用画像の領域を探索し、この探索結果に基づいて動きベクトルを検出する（ステップＳ１００６）。
【０１９７】
続いて、左眼視用画像における全ての領域について動きベクトルの検出処理を終了したか否かが判断され（ステップＳ１００７）、全ての領域について動きベクトルの検出処理が終了していない場合には、ステップＳ１００５に戻る。一方、左眼視用画像における全ての領域について動きベクトルの検出処理が終了した場合には（ステップＳ１００７）、動きベクトルの回転処理が行われる（ステップＳ１００８）。すなわち、撮像信号処理部２３０が、左眼視用画像における各領域について検出された動きベクトルを所定角だけ（例えば、時計周りに９０度）回転させる回転処理を行う（ステップＳ１００８）。続いて、撮像信号処理部２３０が、左眼視用画像を複数の領域に分割した際における領域のサイズと同一のサイズの領域に右眼視用画像を分割する（ステップＳ１００９）。
【０１９８】
続いて、撮像信号処理部２３０が、右眼視用画像の各領域を、左眼視用画像における各領域について検出された動きベクトルに基づいて移動させ、新たな左眼視用画像を生成する（ステップＳ１０１０）。続いて、撮像信号処理部２３０が、生成された新たな左眼視用画像について補間処理を行う（ステップＳ１０１１）。続いて、撮像信号処理部２３０が、補間処理が行われた新たな左眼視用画像と、元の右眼視用画像とについて記録用の画像処理を行う（ステップＳ１０１２）。続いて、記録制御部２６０が、その画像処理が施された２つの画像（縦長の画像（左眼視用画像および右眼視用画像））をコンテンツ記憶部２００に記録させる記録処理を行う（ステップＳ１０１３）。
【０１９９】
また、縦長の立体視画像記録モードが設定されていない場合（ステップＳ１００１）、または、撮像装置１００の姿勢が９０度回転された姿勢でない場合には（ステップＳ１００２）、左右１組の画像群の撮像処理が行われる（ステップＳ１０１４）。すなわち、左眼用撮像部２１０および右眼用撮像部２２０が、左眼視用画像および右眼視用画像（左右１組の画像群）を生成する撮像処理を行う。続いて、撮像信号処理部２３０が、生成された左眼視用画像および右眼視用画像について記録用の画像処理を行い（ステップＳ１０１５）、ステップＳ１０１３に進む。すなわち、通常の立体視画像の記録用の画像処理が行われる。
【０２００】
なお、図２８乃至図３０に示す例では、静止画撮像モードが設定されている状態で、静止画の記録指示操作が行われた際における立体視画像記録制御処理を示したが、動画を記録する立体視画像記録制御処理についても適用することができる。例えば、動画を記録する場合には、動画を構成する各フレームについて、縦長の立体視画像が生成され、この生成された立体視画像が動画ファイルとして順次記録される。
【０２０１】
また、図２８乃至図３０に示す例では、立体視画像記録制御処理を示したが、静止画または動画を表示する立体視画像表示制御処理についても適用することができる。この場合には、例えば、コンテンツ記憶部２００に記憶されている画像コンテンツに基づいて、縦長の立体視画像が生成され、この生成された縦長の立体視画像が表示部１７０に表示される。
【０２０２】
また、本発明の第１の実施の形態では、表示部１７０と本体部（第１の筐体１０１）とが異なる筐体として構成され、表示部姿勢検出部１８０が、本体部に対する表示部１７０の回動状態を検出する例を示した。ただし、表示部および本体部が一体として構成されている撮像装置や携帯電話装置等の画像処理装置についても、本発明の第１の実施の形態を適用することができる。例えば、表示部（装置本体）の姿勢（例えば、垂直状態または水平状態）を検出する姿勢検出部（例えば、加速度センサ）を画像処理装置に設け、この姿勢検出部による検出結果を用いて、上述した各制御を行うことができる。例えば、その検出結果に基づいて、表示部における視差方向を変更したり、立体視画像の視差方向と表示部における視差方向とが一致するかを判断したりすることができる。
【０２０３】
＜２．変形例＞
本発明の第１の実施の形態では、立体視画像を表示するための方式として視差バリア方式を例にして説明した。ただし、視差バリア方式以外の他の方式についても本発明の第１の実施の形態を適用することができる。そこで、以下では、本発明の第１の実施の形態の変形例を示す。この変形例における撮像装置の構成については、立体視画像を表示するための方式と、ユーザの視差方向を取得する点が異なる以外は、図１および図２に示す例と略同様である。このため、本発明の第１の実施の形態と共通する部分（または対応する部分）については、同一の符号を付して、これらの説明の一部を省略する。
【０２０４】
［立体視画像の表示方式例（専用メガネ方式）］
図３１は、本発明の第１の実施の形態の変形例における画像処理装置７００（表示部７１０）に立体視画像を表示するための方式の一例（専用メガネ方式）を模式的に示す図である。図３１（ａ）には、表示部７１０に立体視画像を表示するための方式の一例である専用メガネ方式を模式的に示す。この方式は、立体視画像を見るための専用メガネ（例えば、アクティブシャッター方式メガネ、偏光板タイプメガネ）７２０をユーザがかけることにより、そのユーザに立体視画像を提供する方式である。この例では、専用メガネ７２０として、ユーザがアクティブシャッター式メガネ（シャッター機構付きメガネ）をかけて立体視画像を表示する場合を想定して説明する。
【０２０５】
画像処理装置７００は、表示部７１０と、同期信号送信部７１１と、視差方向受信部７１２とを備える。また、専用メガネ７２０は、同期信号受信部７２１と、視差方向取得部７２２とを備える。
【０２０６】
ここで、ユーザが専用メガネ７２０をかけて立体視画像を見る場合を想定する。この場合には、画像処理装置７００（図２に示す表示制御部１６０）が、表示対象となる立体視画像をフレームシーケンシャル表示方式（右眼用画像および左眼用画像を交互に表示する方式）で表示部７１０に表示させる。また、同期信号送信部７１１から同期信号受信部７２１に同期信号が順次送信される。これにより、専用メガネ７２０のレンズ部に相当する液晶シャッター（電子シャッター）と、表示部７１０に交互に表示される右眼用画像および左眼用画像とが同期する。すなわち、専用メガネ７２０は、表示部７１０に交互に表示される右眼用画像および左眼用画像に同期して、専用メガネ７２０のレンズ部に相当する液晶シャッターを交互に開閉する。
【０２０７】
また、視差方向取得部７２２は、専用メガネ７２０の加速度、動き、傾き等を検出することにより専用メガネ７２０の姿勢の変化を検出するものであり、この検出結果に基づいて、ユーザの視差方向を取得する。そして、この取得されたユーザの視差方向が専用メガネ７２０から、視差方向受信部７１２に順次送信される。これにより、ユーザの視差方向（専用メガネ７２０の姿勢）と、立体視画像の視差方向（表示部７１０の姿勢）とが同一か否かを判定することができる。なお、視差方向取得部７２２は、ジャイロセンサ（角速度センサ）や加速度センサにより実現することができる。
【０２０８】
図３１（ｂ）には、表示部７１０に表示される立体視画像と、専用メガネ７２０を介してユーザの左眼および右眼に届く画像との時間軸における関係を模式的に示す。なお、図３１（ｂ）に示す横軸を時間軸とする。
【０２０９】
具体的には、表示部７１０に表示される立体視画像（表示画像７３１）のうち、左眼視用画像を「Ｌ」とし、右眼視用画像を「Ｒ」として時間軸上に模式的に示す。また、専用メガネ７２０を介してユーザの眼に届く画像のうち、右眼用のレンズを介してユーザの右眼に届く画像（右レンズ透過後の画像７３２）を「Ｒ」として時間軸上に模式的に示す。同様に、左眼用のレンズを介してユーザの左眼に届く画像（左レンズ透過後の画像７３３）を「Ｌ」として時間軸上に模式的に示す。
【０２１０】
すなわち、表示部７１０に右眼用画像「Ｒ」が表示されている場合には、専用メガネ７２０の左眼が閉じられる。一方、表示部７１０に左眼用画像「Ｌ」が表示されている場合には、専用メガネ７２０の右眼が閉じられる。このように、表示部７１０に表示される画像を専用メガネ７２０でユーザが見ることにより、立体視画像を適切に見ることができる。
【０２１１】
ここで、専用メガネ７２０を用いて立体視画像を見る場合には、表示部７１０における視差方向はユーザの視差方向の変化（すなわち、専用メガネ７２０の姿勢の変化）に応じて変更される。このため、画像処理装置７００（図２に示す制御部１２０）は、専用メガネ７２０の姿勢に応じて特定されるユーザの視差方向と、表示部７１０に表示される立体視画像の視差方向とが一致するか否かを判断し、この判断結果に基づいて、上述した各制御を行う。
【０２１２】
ここで、例えば、ユーザが頭を傾けたような場合には、ユーザの視差方向が、視線方向を軸として４５度回転することも想定される。このように、ユーザの視差方向の変化が、９０度未満の回転となったような場合には、例えば、図２２乃至図２４に示す例を適用して、立体視画像の視差方向を変更するようにしてもよい。この場合には、例えば、図２３（ｂ）に示す動きベクトルの回転角度を、ユーザの視差方向の変化に対応する角度として、新たな視点画像を生成することができる。
【０２１３】
＜３．変形例＞
本発明の第１の実施の形態では、２つの光学系および２つの撮像素子を用いて２つの画像（立体視画像を表示するための２つの画像）を生成する例を示した。ただし、１つの撮像素子を用いて２つの画像を生成するようにしてもよい。また、他の構成からなる撮像装置を用いて多視点画像を生成する場合についても適用することができる。そこで、以下では、本発明の第１の実施の形態の変形例を示す。この変形例における撮像装置の構成については、外観や撮像部等が異なる点以外は、図１および図２に示す例と略同様である。このため、本発明の第１の実施の形態と共通する部分（または対応する部分）については、同一の符号を付して、これらの説明の一部を省略する。
【０２１４】
［撮像装置の構成例］
図３２は、本発明の第１の実施の形態の変形例における撮像装置７５０の外観構成例および機能構成例を示す図である。図３２（ａ）には、撮像装置７５０の背面側の外観を示し、図３２（ｂ）には、撮像装置７５０の機能構成例を示す。なお、図３２（ｂ）では、撮像部７６０および撮像信号処理部７６６のみを示し、他の構成については、図２に示す例と略同様であるため、ここでの説明および図示を省略する。
【０２１５】
図３２（ｂ）に示すように、撮像部７６０は、１つの撮像素子７６５と、アダプター等を用いた２つの光学系７６１および７６２と、レンズ７６４とを備える。
【０２１６】
［撮像装置の構成例］
図３３は、本発明の第１の実施の形態の変形例における撮像装置７７０の外観構成例および機能構成例を示す図である。図３３（ａ）には、撮像装置７７０の背面側の外観を示し、図３３（ｂ）には、撮像装置７７０の機能構成例を示す。なお、図３３（ｂ）では、撮像部７８０および撮像信号処理部７８５のみを示し、他の構成については、図２に示す例と略同様であるため、ここでの説明および図示を省略する。
【０２１７】
図３３（ｂ）に示すように、撮像部７８０は、１つの光学系７８１と、１つの撮像素子７８３とを備え、光学系７８１および撮像素子７８３の間に、左右の画像を分割するシャッター７８２が設けられている。
【０２１８】
［携帯電話装置の構成例］
以上では、撮像装置を例にして説明した。ただし、表示部を備える他の画像処理装置についても、本発明の第１の実施の形態を適用することができる。また、外部の表示装置に立体視画像または平面画像を表示させることが可能な画像処理装置についても、本発明の第１の実施の形態を適用することができる。例えば、表示部を備える携帯電話装置に、本発明の第１の実施の形態を適用することができる。この携帯電話装置については、図３４に示す。
【０２１９】
図３４は、本発明の第１の実施の形態の変形例における携帯電話装置８００の外観構成例を示す図である。図３４（ａ）には、携帯電話装置８００を使用する際における一態様の正面側を示す。また、図３４（ｂ）には、携帯電話装置８００を使用する際における他の態様の正面側を示す。
【０２２０】
携帯電話装置８００は、第１の筐体８０１および第２の筐体８０２を備える。また、第１の筐体８０１および第２の筐体８０２は、回動部材８０３を回動基準として回動可能に連結されている。携帯電話装置８００は、例えば、複数の撮像機能を備える携帯電話装置（いわゆる、カメラ付き携帯電話装置）により実現される。なお、図３４では、説明の容易のため、携帯電話装置８００を簡略化して示し、携帯電話装置８００の外側面に備えられている電源スイッチ等の図示を省略する。
【０２２１】
第１の筐体８０１は、左眼用撮像部８１０と、右眼用撮像部８２０と、操作部８４０とを備える。第２の筐体８０２は表示部８３０を備える。左眼用撮像部８１０および右眼用撮像部８２０は、図２等に示す左眼用撮像部２１０および右眼用撮像部２２０に対応する。また、操作部８４０は、数字や記号等を入力するテンキー、ユーザによる各種機能を設定する際等に押下される決定キー、表示画面に表示されている各項目の選択状態を変更する場合等に用いられる十字キー等を備える。なお、携帯電話装置８００は、背面側（すなわち、図３４（ａ）および（ｂ）に示す正面側の反対側の面）に、左眼用撮像部８１０および右眼用撮像部８２０を構成するレンズが設けられているものとする。このため、図３４（ａ）および（ｂ）では、左眼用撮像部８１０および右眼用撮像部８２０に対応する正面側の位置に点線を付して示す。
【０２２２】
上述したように、第１の筐体８０１および第２の筐体８０２は回動可能に連結されている。すなわち、回動部材８０３（点線で示す）を回動基準として、第１の筐体８０１に対して第２の筐体８０２を回動させることができる。これにより、第１の筐体８０１に対する第２の筐体８０２の相対的な位置関係を変化させることができる。例えば、図３４（ａ）に示す矢印８０４方向に第２の筐体８０２を９０度回動させた場合における態様を図３４（ｂ）に示す。
【０２２３】
なお、図３４（ｂ）に示す携帯電話装置８００は、回動部材８０３を回動基準として、第１の筐体８０１に対して第２の筐体８０２を９０度回動させた点以外は、図３４（ａ）に示す例と同一である。また、図３４（ｂ）に示す状態で、第２の筐体８０２を矢印８０５方向にさらに９０度回動させると、いわゆる、閉じた状態となる。
【０２２４】
以上で示したように、本発明の第１の実施の形態によれば、立体視画像（多視点画像）が表示される場合には、表示部の視差方向と立体視画像の視差方向とを一致させることができるため、ユーザに不快感を与える立体視画像の表示を防止することができる。
【０２２５】
また、画像の向きを優先させる場合には、ユーザに不快感を与える立体視画像の表示をせずに、その立体視画像を平面画像として表示させることができる。
【０２２６】
また、縦長の立体視画像の撮像動作時において、立体視画像として表示させることができ、かつ、視差方向が適切な多視点画像を、縦長の撮像動作のためだけの機構的、光学的な機器を追加せずに生成することができる。
【０２２７】
なお、本発明の実施の形態では、多視点画像として２視点画像を例にして説明したが、３視点以上の多視点画像についても、本発明の実施の形態を適用することができる。
【０２２８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０２２９】
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【符号の説明】
【０２３０】
１００、７５０、７７０  撮像装置
１０１、８０１  第１の筐体
１０２、８０２  第２の筐体
１０３、８０３  回動部材
１１０  操作受付部
１１１  シャッターボタン
１２０  制御部
１２１  優先情報保持部
１３０  コンテンツ取得部
１４０  属性情報取得部
１５０  画像処理部
１６０  表示制御部
１７０、７１０、８３０  表示部
１８０  表示部姿勢検出部
２００  コンテンツ記憶部
２１０、８１０  左眼用撮像部
２１１、２２１、７６４  レンズ
２１２、２２２、７６５、７８３  撮像素子
２２０、８２０  右眼用撮像部
２３０、７６６、７８５  撮像信号処理部
２４０  撮像視差方向検出部
２５０  撮像姿勢検出部
２６０  記録制御部
７００  画像処理装置
７１１  同期信号送信部
７１２  視差方向受信部
７２０  専用メガネ
７２１  同期信号受信部
７２２  視差方向取得部
７６０、７８０  撮像部
７６１、７８１  光学系
７８２  シャッター
８００  携帯電話装置
８４０  操作部
【図１】
0005577931.tif 000002
【図２】
0005577931.tif 000003
【図３】
0005577931.tif 000004
【図４】
0005577931.tif 000005
【図５】
0005577931.tif 000006
【図６】
0005577931.tif 000007
【図７】
0005577931.tif 000008
【図８】
0005577931.tif 000009
【図９】
0005577931.tif 000010
【図１０】
0005577931.tif 000011
【図１１】
0005577931.tif 000012
【図１２】
0005577931.tif 000013
【図１３】
0005577931.tif 000014
【図１４】
0005577931.tif 000015
【図１５】
0005577931.tif 000016
【図１６】
0005577931.tif 000017
【図１７】
0005577931.tif 000018
【図１８】
0005577931.tif 000019
【図１９】
0005577931.tif 000020
【図２０】
0005577931.tif 000021
【図２１】
0005577931.tif 000022
【図２２】
0005577931.tif 000023
【図２３】
0005577931.tif 000024
【図２４】
0005577931.tif 000025
【図２５】
0005577931.tif 000026
【図２６】
0005577931.tif 000027
【図２７】
0005577931.tif 000028
【図２８】
0005577931.tif 000029
【図２９】
0005577931.tif 000030
【図３０】
0005577931.tif 000031
【図３２】
0005577931.tif 000032
【図３３】
0005577931.tif 000033
【図３４】
0005577931.tif 000034
【図３１】
0005577931.tif 000035