(57)【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像部を有し、３次元画像を表示可能な外部機器と所定の通信規格にしたがって通信可能な撮像装置であって、
２つの画像に基づく３次元画像を表示可能な表示部と、
前記２つの画像を用いることによって前記表示部が表示する表示用３次元画像を生成する表示用画像生成部と、
前記表示部の表示画面上に設けられ、外部から接触する物体の位置に応じた信号の入力を受け付けるタッチパネルと、
前記表示用３次元画像を表示中に前記タッチパネルに接触した物体の軌跡に応じて前記２つの画像の視差を調整する視差調整部と、
前記視差調整部が視差を調整した前記２つの画像を用いることによって前記外部機器で表示させるために送信する送信用画像として前記表示用３次元画像より前記２つの画像の視差が小さい３次元画像である送信用３次元画像を生成する送信用画像生成部と、
前記送信用画像生成部が生成した送信用画像を前記外部機器へ送信する通信部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記表示用画像生成部は、
前記通信部が前記送信用画像を送信するか否かに応じて異なる表示用画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示用画像生成部は、
前記通信部が前記送信用画像を送信する場合、前記表示用画像として、前記２つの画像を重ねた合成画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項４】
請求項１〜３のいずれか一項に記載の撮像装置と、
前記撮像装置と前記通信規格にしたがって通信可能に接続され、前記撮像装置から受信した前記送信用画像に基づいて３次元画像を表示する表示装置と、
を備えたことを特徴とする画像通信システム。
【請求項５】
被写体を撮像して生成した２つの画像に基づく３次元画像を表示可能であるとともに、該３次元画像を表示可能な外部機器と所定の通信規格にしたがって通信可能であり、前記３次元画像の表示画面上で外部から接触する物体の位置に応じた信号の入力を受け付けるタッチパネルを備えた撮像装置が実行する画像通信方法であって、
前記２つの画像を用いることによって表示用３次元画像を生成する表示用画像生成ステップと、
前記表示用画像生成ステップで生成した表示用画像を表示する表示ステップと、
前記表示用３次元画像を表示中に前記タッチパネルに接触した物体の軌跡に応じて前記２つの画像の視差を調整する視差調整ステップと、
前記視差調整ステップで視差を調整した前記２つの画像を用いることによって前記外部機器で表示させるために送信する送信用画像として前記表示用３次元画像より前記２つの画像の視差が小さい３次元画像である送信用３次元画像を生成する送信用画像生成ステップと、
前記送信用画像生成ステップで生成した送信用画像を前記外部機器へ送信する通信ステップと、
を有することを特徴とする画像通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像して表示する撮像装置、および該撮像装置を含み、所定の通信規格にしたがって画像の通信を行う画像通信システムに関する。
【背景技術】
【０００２】
近年、同一の被写体に対して複数の画像データを取得し、この取得した複数の画像データに含まれる被写体の視差を利用することにより、ユーザが立体的に見ることができる３次元画像（以下、「３Ｄ画像」という）を撮像するデジタルステレオカメラ等の撮像装置が普及してきつつある。従来より、このような撮像装置を、３Ｄ画像が表示可能な表示装置と接続する技術が開示されている（例えば、特許文献１を参照）。この技術において、ユーザは専用の液晶シャッタメガネをかけることにより、表示装置が表示する３Ｄ画像を見ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１４５８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した従来技術では、ユーザが液晶シャッタメガネをかけたままで、撮像装置の表示部と表示装置の表示画面とを交互に見るような状況が生じうる。このような状況下において、撮像装置の表示部における表示形式が表示装置における表示形式と異なっていると、ユーザは撮像装置の表示部に表示される３Ｄ画像に対して違和感を感じざるを得なかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、３Ｄ画像を表示可能な外部機器と通信可能に接続された状態で、ユーザが外部機器で３Ｄ画像を見る状況下においても、そのユーザに違和感を感じさせない画像を表示することができる撮像装置、および当該撮像装置を含み、画像の通信を行う画像通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像部を有し、３次元画像を表示可能な外部機器と所定の通信規格にしたがって通信可能な撮像装置であって、２つの画像に基づく３次元画像を表示可能な表示部と、前記２つの画像の少なくとも一方を用いることによって前記表示部が表示する表示用画像を生成する表示用画像生成部と、前記２つの画像を用いることによって前記外部機器で表示させるために送信する送信用画像を生成する送信用画像生成部と、前記送信用画像生成部が生成した送信用画像を前記外部機器へ送信する通信部と、を備えたことを特徴とする。
【０００７】
また、本発明に係る撮像装置は、上記発明において、前記表示用画像生成部は、前記通信部が前記送信用画像を送信するか否かに応じて異なる表示用画像を生成することを特徴とする。
【０００８】
また、本発明に係る撮像装置は、上記発明において、前記表示用画像生成部は、前記通信部が前記送信用画像を送信する場合、表示用画像として、前記２つの画像を重ねた合成画像を生成することを特徴とする。
【０００９】
また、本発明に係る撮像装置は、上記発明において、前記表示部の表示画面上に設けられ、外部から接触する物体の位置に応じた信号の入力を受け付けるタッチパネルと、前記表示部が表示する前記合成画像に対し、前記タッチパネルに接触した物体の軌跡に応じて前記合成画像に含まれる被写体の視差を調整する視差調整部と、前記視差調整部が視差を調整した前記合成画像を前記表示部に表示させる制御を行う表示制御部と、をさらに備え、前記送信用画像生成部は、前記視差調整部が調整した視差を有する前記２つの画像を用いることを特徴とする。
【００１０】
また、本発明に係る撮像装置は、上記発明において、前記合成画像は、前記２つの画像から所定の領域を切り出して重ねた画像であり、前記視差調整部は、前記２つの画像の切り出し領域を変更することを特徴とする。
【００１１】
また、本発明に係る撮像装置は、上記発明において、前記表示用画像生成部は、前記通信部が前記送信用画像を送信しない場合、表示用画像として、前記２つの画像に基づく３次元画像を生成することを特徴とする。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記撮像部は、前記２つの画像として、互いの視野の左右方向の一端部同士が重なりを有する２つの画像を撮像し、各画像に対応する２つの画像データを生成することを特徴とする。
【００１３】
また、本発明に係る撮像装置は、上記発明において、前記撮像部は、前記２つの画像をそれぞれ撮像する２つの光学系を有することを特徴とする。
【００１４】
また、本発明に係る撮像装置は、上記発明において、前記撮像部は、当該撮像装置が移動する間に所定の間隔で連続的に画像を撮像する機能を有し、前記送信用画像生成部および前記表示用画像生成部は、前記撮像部が連続的に撮像した画像の中から前記２つの画像を抽出することを特徴とする。
【００１５】
また、本発明に係る撮像装置は、上記発明において、前記表示制御部は、前記２つの画像にそれぞれ対応する２つの画像データを、前記表示画面における水平方向の１画素ごとに交互に並べて前記表示部に出力する制御を行うことを特徴とする。
【００１６】
また、本発明に係る画像通信システムは、上記発明に記載の撮像装置と、前記撮像装置と通信可能に接続され、前記撮像装置から受信した前記送信用画像に基づいて３次元画像を表示する表示装置と、を備えたことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、撮像装置側で表示する表示用画像と外部機器側で表示するために外部機器へ送信する送信用画像とを個別に生成するため、３Ｄ画像を表示可能な外部機器と通信可能に接続された状態で、ユーザが外部機器で３Ｄ画像を見る状況下においても、そのユーザに違和感を感じさせない画像を表示することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の実施の形態１に係る画像通信システムの構成を示す図である。
【図２】図２は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図３】図３は、本発明の実施の形態１に係る撮像装置が備える表示部の概略構成を示す模式図である。
【図４】図４は、本発明の実施の形態１に係る撮像装置が備える撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。
【図５】図５は、図４に示す状況下で撮像部が被写体に対して互いの視野の左右方向の一端部同士が重なりを有する２つの画像データに対応する画像の一例を示す図である。
【図６】図６は、図４に示す状況下で撮像部が生成した右目画像と左目画像とを仮想的に重ねた画像の一例を示す図である。
【図７】図７は、図４に示す状況下で撮像部と被写体との撮影距離の関係を示す図である。
【図８】図８は、本発明の実施の形態１に係る撮像装置が備える視差調整部が行う処理の概要を示す模式図である。
【図９】図９は、本発明の実施の形態１に係る撮像装置が備える表示用画像生成部によって生成された右目画像と左目画像とを合成した合成画像の一例を示す図である。
【図１０】図１０は、本発明の実施の形態１に係る画像通信システムが備える表示装置が表示する仮想的な３Ｄ画像の一例を示す図である。
【図１１】図１１は、本発明の実施の形態１に係る撮像装置が行う処理の概要を示すフローチャートである。
【図１２】図１２は、図１１の視差調整処理の概要を示すフローチャートである。
【図１３】図１３は、ユーザによって合成画像内に含まれる被写体の視差を大きくする動作を説明する図である。
【図１４】図１４は、本発明の実施の形態１に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
【図１５】図１５は、本発明の実施の形態１に係る撮像装置が備える表示部が表示する画像の別な例を示す図である。
【図１６】図１６は、ユーザによって合成画像内に含まれる被写体の視差を小さくする動作を説明する図である。
【図１７】図１７は、図１１の再生表示処理の概要を示すフローチャートである。
【図１８】図１８は、本発明の実施の形態１に係る撮像装置において、視差調整部がタッチパネルにおける外部からの２つの軌跡に応じて被写体の視差を調整する調整方法（第１例）を説明する図である。
【図１９】図１９は、本発明の実施の形態１に係る撮像装置において、視差調整部がタッチパネルにおける外部からの２つの軌跡に応じて被写体の視差を調整する調整方法（第２例）を説明する図である。
【図２０】図２０は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。
【図２１】図２１は、本発明の実施の形態２に係る撮像装置を用いた撮影の概要を示す図である。
【図２２】図２２は、図２１に示す状況下で撮像部が生成する２つの画像データにそれぞれ対応する２つの画像の一例を示す図であり、表示用画像生成部が生成する表示用画像としての３Ｄ画像を構成する一対の画像の例を示す図である。
【図２３】図２３は、図２１に示す状況下で撮像部が生成する２つの画像データにそれぞれ対応する２つの画像の第２例を示す図であり、送信用画像生成部が生成する送信用画像の例を示す図である。
【図２４】図２４は、本発明の実施の形態２に係る撮像装置が行う処理の概要を示すフローチャートである。
【図２５】図２５は、本発明の実施の形態２に係る画像通信システムが備える表示装置の表示画面をユーザが見るときの状況を模式的に示す図である。
【図２６】図２６は、本発明の実施の形態２に係る撮像装置の表示部をユーザが見るときの状況を示す図である。
【図２７】図２７は、タッチパネルの別な構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像通信システムの構成を示す図である。同図に示す画像通信システム１００は、デジタルステレオカメラである撮像装置１と、撮像装置１と電気的に接続され、撮像装置１からの画像データを受信し、３Ｄ画像を表示することが可能な外部機器としての表示装置２００と、を備える。
【００２１】
本実施の形態１では、表示装置２００として、表示画面２０１で表示する右目用の画像と左目用の画像を高速で切換えるフレームシーケンシャル方式、または液晶パネルからなる表示画面２０１に偏光フィルムが組み込まれた偏光フィルム方式によって３Ｄ画像を表示する３Ｄテレビなどが適用される。このような３Ｄテレビが表示する３Ｄ画像をユーザが見る場合には、方式に応じた専用のメガネ３００をかける必要がある。フレームシーケンシャル方式の場合に適用されるメガネ３００は、画像の切り換えに同期して、表示される画像を見るための目と逆の目を閉じることが可能な構成を有する液晶シャッタメガネである。また、偏光方式の場合に適用されるメガネ３００は、左目には左目用の画像（以下、「左目画像」という）のみが届き、右目には右目用の画像（以下、「右目画像」という）のみが届くように偏光フィルタが貼付された構成を有する。
【００２２】
図２は、撮像装置１の構成を示すブロック図である。図２に示すように、撮像装置１は、異なる位置から撮影し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する撮像部２と、撮像装置１の姿勢を検出する姿勢検出部３と、撮像装置１の各種情報の入力を受け付ける操作入力部４と、撮影日時の判定機能やタイマー機能を有する時計５と、２次元画像（以下、「２Ｄ画像」という）または３Ｄ画像を表示する表示部６と、外部からの接触位置や軌跡に応じた信号の入力を受け付けるタッチパネル７と、撮像部２によって生成された画像データを含む各種情報を記憶する記憶部８と、撮像装置１の動作を制御する制御部９と、表示装置２００との間でデータの送受信を行う通信部１０と、を備える。
【００２３】
撮像部２は、互いに異なる光学系を有する第１撮像部２１および第２撮像部２２を備える。第１撮像部２１および第２撮像部２２は、互いの光軸Ｌ１，Ｌ２が平行または所定の角度をなすように同一平面上で並設される。
【００２４】
第１撮像部２１は、レンズ部２１ａと、レンズ駆動部２１ｂと、絞り２１ｃと、絞り駆動部２１ｄと、シャッタ２１ｅと、シャッタ駆動部２１ｆと、撮像素子２１ｇと、信号処理部２１ｈとを有する。
【００２５】
レンズ部２１ａは、フォーカスレンズやズームレンズ等によって構成され、所定の視野領域からの光を集光する。レンズ駆動部２１ｂは、ＤＣモータ等によって構成され、レンズ部２１ａのフォーカスレンズやズームレンズ等を光軸Ｌ１上で移動させることにより、レンズ部２１ａのピント位置や焦点距離の変更を行う。
【００２６】
絞り２１ｃは、レンズ部２１ａが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２１ｄは、ステッピングモータ等によって構成され、絞り２１ｃを駆動する。
【００２７】
シャッタ２１ｅは、撮像素子２１ｇの状態を露光状態または遮光状態に設定する。シャッタ駆動部２１ｆは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ２１ｅを駆動する。
【００２８】
撮像素子２１ｇは、レンズ部２１ａが集光した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現され、変換した電気信号を信号処理部２１ｈに出力する。
【００２９】
信号処理部２１ｈは、撮像素子２１ｇから出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部９に出力する。
【００３０】
第２撮像部２２は、第１撮像部２１と同一の構成によって実現され、レンズ部２２ａと、レンズ駆動部２２ｂと、絞り２２ｃと、絞り駆動部２２ｄと、シャッタ２２ｅと、シャッタ駆動部２２ｆと、撮像素子２２ｇと、信号処理部２２ｈとを有する。
【００３１】
姿勢検出部３は、加速度センサによって構成され、撮像装置１の加速度を検出することにより、撮像装置１の姿勢を検出する。具体的には、姿勢検出部３は、水平面を基準としたときの撮像装置１の姿勢を検出する。
【００３２】
操作入力部４は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ４１と、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ４２と、撮像装置１の各種撮影モードや各種設定の切換える切換スイッチ４３と、撮像部２のズーム操作を行うズームスイッチ４４とを有する。
【００３３】
時計５は、撮像装置１の動作の基準となる時間信号を生成する。これにより、制御部９は、画像データの取得時間や撮像素子２１ｇ，２２ｇの露光時間等を設定することができる。時計５は、時間計測用のタイマとしての機能も有する。
【００３４】
図３は、表示部６の概略構成を示す模式図である。図２に示すように、表示部６は、バックライト６１と、表示パネル６２と、視差バリア６３とを有する。バックライト６１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル６２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア６３は、液晶等によって構成され、表示パネル６２の上面に積層されてなる。視差バリア６３は、表示パネル６２の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ＥRと左目ＥLとにそれぞれ対応した画像を分離する。このような視差バリア６３として、例えばパララックバリア方式が適用される。なお、視差バリア６３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル６２の上面に設けてもよい。
【００３５】
以上の構成を有する表示部６は、制御部９から３Ｄ画像データが入力された場合、制御部９の制御のもとで表示パネル６２が左端の画素から水平方向に右目画像と左目画像との順で交互に表示し、視差バリア６３が表示パネル６２の各画素から出た光を分離する。このため、右目画像が右目ＥRのみ、左目画像が左目ＥLのみにそれぞれ届く。これにより、ユーザは、表示部６が表示する３Ｄ画像を立体視することができる。また、表示部６が表示態様を３Ｄ画像から２Ｄ画像に切り換える際には、視差バリア６３に印加される電圧がオン状態からオフ状態に変化することによって視差バリア６３が遮光状態から透過状態に遷移し、右目画像または左目画像のどちらか一方が表示パネル６２に出力される。
【００３６】
タッチパネル７は、表示部６の表示画面上に重ねて設けられる。タッチパネル７は、ユーザが表示部６で表示される情報や画像に基づいて接触した（タッチした）位置や軌跡を検出し、この接触位置や軌跡に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態１では、いずれの方式のタッチパネルであっても適用可能である。
【００３７】
記憶部８は、撮像部２が撮影した画像データを記憶する画像データ記憶部８１と、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部８２と、表示部６が表示する３Ｄ画像の快適視差範囲を記憶した視差記憶部８３とを有する。記憶部８は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部８に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【００３８】
制御部９は、ＣＰＵ（Central Processing Unit）等によって実現される。制御部９は、操作入力部４からの操作信号等に応じて記憶部８のプログラム記憶部８２から各種プログラムを読み出し、撮像装置１を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置１の動作を制御する。制御部９は、画像処理部９１と、送信用画像生成部９２と、表示用画像生成部９３と、視差調整部９４と、表示制御部９５と、通信状態検出部９６とを有する。
【００３９】
画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して各種の画像処理を施し、記憶部８の画像データ記憶部８１へ出力する。具体的には、画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して、エッジ強調、色補正およびγ補正等の処理を施す。
【００４０】
送信用画像生成部９２は、通信部１０を介して外部接続された表示装置２００の表示画面２０１で表示させるために表示装置２００へ送信する送信用画像の画像データを生成する。具体的には、送信用画像生成部９２は、画像処理部９１によって画像処理された左目画像データおよび右目画像データを所定の縦横比率（例えばアスペクト比３：４）でそれぞれ切り出すことによって３Ｄ画像を生成する。なお、送信用画像生成部９２が左目画像データおよび右目画像データからそれぞれ切り出す縦横比率を切換スイッチ４３で変更できるようにしてもよい。
【００４１】
表示用画像生成部９３は、表示部６が表示する表示用画像の画像データを生成する。具体的には、表示用画像生成部９３は、表示用画像として３Ｄ画像または２Ｄ画像に対応する画像データを生成する。このうち３Ｄ画像の画像データを生成する際には、送信用画像生成部９２と同様に左目画像データおよび右目画像データを所定の縦横比率で切り出す。
【００４２】
表示用画像生成部９３が２Ｄ画像の画像データを生成する場合には、送信用画像生成部９２が生成した左目画像と右目画像とを重ねた合成画像を生成するか、または左目画像データおよび右目画像データのうち一方を表示用画像として生成する。このうち、送信用画像生成部９２が合成画像を生成する場合、表示用画像生成部９３は、左目画像の画像領域内で鮮鋭度が最大となる領域と右目画像の画像領域内で鮮鋭度が最大となる領域とを一致させて重ねることによって合成画像を生成する。これにより、表示用画像生成部９３は、左目画像および右目画像それぞれの画像領域内でピントが合った被写体を基準にした合成画像を生成することができる。このため、ユーザは、合成画像に含まれる近被写体の視差が小さい状態から３Ｄ画像の変化量の調整を開始することができる。
【００４３】
視差調整部９４は、タッチパネル７に外部から接触した物体の軌跡に応じて、送信用画像生成部９２による左目画像データおよび右目画像データの切り出し領域をそれぞれ変更して合成画像に含まれる被写体の視差を調整する。具体的には、視差調整部９４は、合成画像内で左目画像と右目画像とが互いに重なっている左右方向の一端部の領域に対し、タッチパネル７に接触した物体の軌跡に応じて、例えば右目画像の領域を右方向にずらすことで合成画像に含まれる被写体の視差を調整する。
【００４４】
表示制御部９５は、表示用画像生成部９３が表示用画像として生成した画像データに対応する３Ｄ画像または２Ｄ画像を表示部６に表示させる制御を行う。具体的には、表示制御部９５は、表示部６に３Ｄ画像を表示させる場合、送信用画像生成部９２が生成した３Ｄ画像の左目画像と右目画像とを表示部６の表示画面における水平方向の１画素毎に交互に並べた３Ｄ画像を表示部６に出力する制御を行う。
【００４５】
これに対し、表示部６に２Ｄ画像を表示させる場合、表示制御部９５は、視差バリア６３に印加する電源をオン状態からオフ状態にすることによって視差バリア６３を遮光状態から透過状態にするとともに、表示用画像生成部９３によって生成された表示用画像としての左目画像または右目画像を表示部６に出力させる制御を行う。
【００４６】
表示制御部９５は、視差調整部９４が調整した合成画像および合成画像に含まれる被写体の視差に関する視差情報を表示部６に表示させる制御を行う場合もある。また、表示制御部９５は、視差調整部９４が調整した合成画像に含まれる被写体の視差が所定の視差を超えた場合、表示部６に警告を表示させる制御を行うとともに、合成画像に含まれる被写体の視差を所定の視差に固定して表示させる制御を行う。
【００４７】
通信状態検出部９６は、撮像装置１と表示装置２００との通信状態を検出する。例えば、撮像装置１と表示装置２００との間がＨＤＭＩ（登録商標）を介して接続される場合、通信状態検出部９６は、ＣＥＣプロトコルにしたがって撮像装置１と表示装置２００との通信状態を検出する。また、撮像装置１と表示装置２００との間がインターネットを介して接続される場合、通信状態検出部９６は、ＴＣＰ／ＩＰプロトコルにしたがって撮像装置１と表示装置２００との通信状態を検出する。なお、撮像装置１と表示装置２００との間の通信は、無線通信であってもよい。
【００４８】
以上の構成を有する撮像装置１において、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況について説明する。図４は、撮像部２が、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。図４に示すように、まず撮像部２は、撮像部２からの距離が異なる被写体Ａ１（距離ｄ１）および被写体Ａ２（距離ｄ２）に対して、距離Ｂ１だけ離れて並設された第１撮像部２１および第２撮像部２２で撮影することにより、右目画像データと左目画像データとを生成する。
【００４９】
その後、送信用画像生成部９２は、第１撮像部２１および第２撮像部２２によって生成された右目画像データおよび左目画像データそれぞれを所定の縦横比率で切り出すことによって右目画像ＷＲ１および左目画像ＷＬ１を生成する。図５は、図４に示す状況下で撮像部２が生成する２つの画像データにそれぞれ対応する２つの画像の一例を示す図である。図５において、画像ＷＲ１は、送信用画像生成部９２が第１撮像部２１によって生成された右目画像データに対応する画像から切り出して生成した右目画像である。また、図５において、画像ＷＬ１は、送信用画像生成部９２が第２撮像部２２によって生成された左目画像データに対応する画像から切り出して生成した左目画像である。図６は、図４に示す状況下で送信用画像生成部９２が生成した右目画像と左目画像とを仮想的に重ねた画像の一例を示す図である。
【００５０】
図５および図６に示す破線および一点鎖線は、第１撮像部２１および第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。以下、図８および図９においても、破線および一点鎖線は、図５等と同様の画像領域を意味する。
【００５１】
図７は、図４に示す状況下で撮像部２と被写体との撮影距離の関係を示す図である。図７では、横軸が左端を原点としたときの画像Ｗ１内の被写体位置であり、縦軸が撮像部２と被写体との距離である。図７に示すように、撮像部２と被写体Ａ２との距離は、撮像部２と被写体Ａ１との距離より大きい。このため、被写体Ａ２の領域がほぼ重なる。具体的には、図６に示すように、画像Ｗ１内では、被写体Ａ２の領域がほぼ重なる。一方、被写体Ａ１の領域は重ならない（視差ａ１）。このように、右目画像ＷＲ１と左目画像ＷＬ１では、撮像部２からの距離が近い被写体（被写体Ａ１）ほど画像内での視差が大きく、撮像部２からの距離が遠い被写体（被写体Ａ２）ほど画像内での視差が小さい。
【００５２】
次に、視差調整部９４が行う処理の概要について説明する。図８は、視差調整部９４が行う処理の概要を示す模式図である。図８（ａ）に示す画像ＷＲ２１および図８（ｂ）に示す画像ＷＲ２２は、送信用画像生成部９２が第１撮像部２１によって生成された右目画像データから所定の縦横比率で切り出して生成した右目画像である。また、図８（ａ）に示す画像ＷＬ２１および図８（ｂ）に示す画像ＷＬ２２は、送信用画像生成部９２が第２撮像部２２によって生成された左目画像データから所定の縦横比率で切り出した生成した左目画像である。
【００５３】
図９は、右目画像と左目画像とを合成した合成画像の一例を示す図である。同図に示す合成画像Ｗ２（実線で囲まれた領域）は、表示用画像生成部９３が、送信用画像生成部９２によって生成された右目画像と左目画像とを重ねて合成した画像である。
【００５４】
ここまで、送信用画像生成部９２における３Ｄ画像用の右目画像および左目画像の生成処理の概要を説明したが、表示用画像生成部９３が３Ｄ画像用の右目画像および左目画像を生成する処理も同様である。
【００５５】
視差調整部９４は、タッチパネル７に接触した物体の軌跡に応じて、送信用画像生成部９２が右目画像データおよび左目画像データからそれぞれ切り出して生成する右目画像および左目画像の切り出し領域を変更して被写体の視差を調整する。
【００５６】
具体的には、視差調整部９４は、被写体Ａ１を表示部６の表示画面と直交する垂直な方向に仮想的に飛び出させる場合、右目画像ＷＲ１と左目画像ＷＬ１とに含まれる被写体Ａ１の視差（領域の重なり具合）を大きくすることにより、被写体が表示画面と直交する垂直な方向に仮想的に飛び出す距離（以下、「飛び出し距離」という）を調整する（図６の画像Ｗ１を参照）。これに対して、視差調整部９４は、被写体Ａ１を表示部６の表示画面と直交する垂直な方向に仮想的に引っ込ませる場合、右目画像ＷＲ１と左目画像ＷＬ１とに含まる被写体Ａ１の視差を小さくすることにより、被写体Ａ１が表示画面と直交する方向に仮想的に引っ込む距離（以下、「引っ込み距離」という）を調整する（図９の画像Ｗ２を参照）。
【００５７】
本実施の形態１では、撮像装置１と表示装置２００とが連携しているため、ユーザは、表示装置２００で表示される３Ｄ画像の立体感（飛び出し距離や引っ込み距離）を、撮像装置１に設けられたタッチパネル７等の操作部材を用いて調整することができる。したがって、ユーザは、表示装置２００が表示する３Ｄ画像を見ながら容易に調整を行うことができる。
【００５８】
なお、図８では、視差調整部９４は、右目画像の切り出し領域のみ変更しているが、右目画像および左目画像それぞれを同期させながら、右目画像および左目画像それぞれの切り出し領域を変更してもよい。
【００５９】
図１０は、視差調整部９４によって調整された右目画像と左目画像とを用いて表示部６または表示装置２００で表示され、ユーザが認識する仮想的な３Ｄ画像の表示例を示す図である。図１０においては、被写体Ａ１が仮想的に飛び出して見える場合を示している。
【００６０】
次に、撮像装置１が行う処理について説明する。図１１は、撮像装置１が行う処理の概要を示すフローチャートである。図１１において、まず、制御部９は、撮像装置１の電源がオンになっているか否かを判断する（ステップＳ１０１）。撮像装置１の電源がオンになっている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２に移行する。一方、撮像装置１の電源がオンになっていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は本処理を終了する。
【００６１】
続いて、制御部９は、撮像装置１が撮影モードに設定されているか否かを判断する（ステップＳ１０２）。撮像装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）、表示制御部９５は、撮像部２が一定の微小な時間間隔で連続的に生成する画像データに対応するスルー画を表示部６に表示させる（ステップＳ１０３）。この場合のスルー画は、２Ｄ画像および３Ｄ画像のどちらでも構わない。
【００６２】
続いて、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ１０４）。表示部６がスルー画を表示し始めてから所定時間内に撮影を指示するレリーズ信号が入力された場合（ステップＳ１０４：Ｙｅｓ）、撮像部２は撮影を行い、得られた画像データを記憶部８の画像データ記憶部８１に記憶する（ステップＳ１０５）。
【００６３】
通信状態検出部９６による検出の結果、撮像装置１と表示装置２００とが接続されて通信可能な状態にある場合（ステップＳ１０６：Ｙｅｓ）、制御部９は、送信用画像生成部９２が生成した表示用画像を、通信部１０を介して送信する制御を行う（ステップＳ１０７）。その後、制御部９は、表示用画像として２Ｄ画像を時間ｔ1だけ表示部６に表示させる制御を行う（ステップＳ１０８）。なお、ステップＳ１０７とステップＳ１０８は、並行して行うようにしてもよい。
【００６４】
一方、通信状態検出部９６による検出の結果、撮像装置１と表示装置２００とが接続されていない場合（ステップＳ１０６：Ｎｏ）、制御部９は、表示用画像として３Ｄ画像を時間ｔ2だけレックビュー表示する（ステップＳ１０９）。この時間ｔ2は、上述した時間ｔ1よりも短い（ｔ2＜ｔ1）方がより好ましい。これにより、ユーザは、表示部６と表示装置２００の双方に画像が表示される場合、表示部６にのみ画像が表示される場合よりも長くレックビュー表示を見ることができる。
【００６５】
次に、ステップＳ１０４において、スルー画を表示し始めてから所定時間レリーズ信号が入力されない場合（ステップＳ１０４：Ｎｏ）を説明する。この場合において、通信状態検出部９６が表示装置２００との接続を検出したとき（ステップＳ１１０：Ｙｅｓ）、制御部９は、送信用画像生成部９２が生成した送信用画像を、通信部１０を介して表示装置２００へ送信する制御を行う（ステップＳ１１１）。その後、制御部９は、表示用画像として表示用画像生成部９３が生成した合成画像を表示部６に表示させる（ステップＳ１１２）。
【００６６】
続いて、制御部９は、タッチパネル７の外部からの接触位置に応じた信号が入力されたか否かを判断する（ステップＳ１１３）。外部からの接触位置に応じた信号が入力された場合（ステップＳ１１３：Ｙｅｓ）、撮像装置１は、合成画像に含まれる被写体の飛び出し距離または引っ込み距離を調整する視差調整処理を行う（ステップＳ１１４）。視差調整処理を完了した時点で撮像装置１が表示装置２００と接続されている場合（ステップＳ１１５：Ｙｅｓ）、制御部９は、視差調整を行った後の送信用画像を、通信部１０を介して表示装置２００へ送信する制御を行う（ステップＳ１１６）。この後、撮像装置１は、ステップＳ１０１に戻る。
【００６７】
ステップＳ１１３において、外部からの接触位置に応じた信号が入力されない場合（ステップＳ１１３：Ｎｏ）、所定時間経過していれば（ステップＳ１１７：Ｙｅｓ）、撮像装置１はステップＳ１０１へ戻る。これに対して、ステップＳ１１７において所定時間経過していなければ（ステップＳ１１７：Ｎｏ）、撮像装置１はステップＳ１１３に戻る。
【００６８】
ステップＳ１１０において、表示装置２００との接続が検出されない場合（ステップＳ１１０：Ｎｏ）、制御部９は、表示用画像として３Ｄ画像を表示部６に表示させる（ステップＳ１１８）。その後、ユーザによってタッチパネル７がタッチされた場合（ステップＳ１１９：Ｙｅｓ）、撮像装置１はステップＳ１１２へ移行する。一方、ユーザによってタッチパネル７が所定時間タッチされない場合（ステップＳ１１９：Ｎｏ）、撮像装置１はステップＳ１０１へ戻る。
【００６９】
次に、ステップＳ１０２において、撮像装置１が撮影モードに設定されていない場合を説明する（ステップＳ１０２：Ｎｏ）。この場合、撮像装置１は、撮影した画像データを表示部６に表示する再生表示処理を実行し（ステップＳ１２０）、ステップＳ１０１に戻る。
【００７０】
次に、ステップＳ１１４の視差調整処理について説明する。図１２は、視差調整処理の概要を示すフローチャートである。図１２において、まず、制御部９は、タッチパネル７に接触した物体の軌跡が合成画像内に含まれる被写体の視差を大きくする動作に対応するか否かを判断する（ステップＳ２０１）。タッチパネル７に接触した物体の軌跡が合成画像内に含まれる被写体の視差を大きくする動作に対応する場合（ステップＳ２０１：Ｙｅｓ）、撮像装置１は後述するステップＳ２０２に移行する。一方、タッチパネル７に接触した物体の軌跡が合成画像内に含まれる被写体の視差を大きくする動作に対応しない場合（ステップＳ２０１：Ｎｏ）、撮像装置１はステップＳ２１１に移行する。
【００７１】
図１３は、ユーザによって合成画像内に含まれる被写体の視差を大きくする動作を説明する図である。図１３に示すように、制御部９は、表示部６が現在表示する画像Ｗ４内において視差を持たない被写体Ａ１の領域で、ユーザが人差し指Ｆ1をタッチパネル７に接触させながら画像Ｗ４の左側から右側に向けて移動させた場合（図１３（ａ）→図１３（ｂ））、この動作を被写体の視差を大きくする動作として判断する。
【００７２】
ステップＳ２０２において、制御部９は、ユーザが人差し指でタッチパネル７に最初に接触した領域に対応する画像内に近被写体が含まれているか否かを判断する。ここで、近被写体とは、ユーザが撮像装置１を用いて複数の被写体を撮影する際に撮像部２と被写体との撮影距離が最も近い被写体である（図７を参照）。具体的には、図１３に示すように、ユーザが人差し指Ｆ1でタッチパネル７に最初に接触した領域に対応する画像内に被写体Ａ１が含まれているか否かを判断する。ユーザが人差し指Ｆ1でタッチパネル７に最初に接触した領域に対応する画像内に近被写体が含まれている場合（ステップＳ２０２：Ｙｅｓ）、撮像装置１はステップＳ２０３に移行する。
【００７３】
ステップＳ２０３において、制御部９は、表示部６が表示する合成画像に対し、タッチパネル７に接触した物体の軌跡に応じて、視差調整部９４が合成画像に含まれる被写体の視差を調整することにより、被写体の飛び出し距離が視差記憶部８３に記憶された飛び出しの距離の限界値を超えたか否かを判断する。視差調整部９４が設定する被写体の飛び出し距離が飛び出し距離の限界値を超えた場合（ステップＳ２０３：Ｙｅｓ）、視差調整部９４は、合成画像に含まれる被写体の視差が限界値で固定されるように、送信用画像生成部９２による右目画像データおよび左目画像データそれぞれの切り出し領域を変更し、被写体の飛び出し距離を限界値で調整する（ステップＳ２０４）。
【００７４】
続いて、表示制御部９５は、表示部６が表示する合成画像内に被写体の飛び出し距離が限界値を超えた旨の警告を表示部６に表示させる（ステップＳ２０５）。具体的には、図１４に示すように、表示制御部９５は、画像Ｗ５内に視差が限界である旨をユーザに警告するためのアイコンＱ１を表示部６に表示させる。これにより、ユーザは、被写体の飛び出し距離の限界を知ることができるうえ、鑑賞時に飛び出し過ぎた被写体画像による人間の目の対応限界を超えることを未然に防止することができる。なお、表示制御部９５は、ユーザが誤操作、例えば被写体の視差を調整する方向が逆向きの場合に警告を表示するようにしてもよい。その後、撮像装置１は、図１１に示すメインルーチンに戻る。
【００７５】
次に、ステップＳ２０３において、表示部６が表示する合成画像に対し、タッチパネル７に接触した物体の軌跡に応じて、視差調整部９４が調整する右目画像データおよび左目画像データそれぞれの切り出し領域を変更して合成画像に含まれる被写体の視差が視差記憶部８３に記憶された視差の限界値を超えない場合（ステップＳ２０３：Ｎｏ）について説明する。この場合、視差調整部９４は、タッチパネル７に接触した物体の軌跡に応じて、送信用画像生成部９２による右目画像データおよび左目画像データそれぞれの切り出し領域を変更し、合成画像に含まれる被写体の視差を調整することにより、被写体の飛び出し距離を調整する（ステップＳ２０６）。
【００７６】
その後、表示制御部９５は、表示部６が表示する合成画像内に視差調整部９４が調整した被写体の視差情報を表示させる（ステップＳ２０７）。具体的には、図１５に示すように、表示制御部９５は、画像Ｗ６にアイコンＱ２を表示部６に表示させる。アイコンＱ２は、ユーザに視差調整部９４が調整した被写体の視差情報に対応する被写体の飛び出し距離情報を知らせるためのアイコンである。これにより、ユーザは、操作によって調整した被写体の視差を容易に認識することができる。この後、撮像装置１は、図１１に示すメインルーチンへ戻る。
【００７７】
次に、ステップＳ２０２において、ユーザが人差し指Ｆ1でタッチパネル７に最初に接触した領域に対応する画像内に近被写体が含まれていない場合（ステップＳ２０２：Ｎｏ）について説明する。この場合、視差調整部９４は、タッチパネル７に接触した物体の軌跡に応じて、送信用画像生成部９２による右目画像データおよび左目画像データそれぞれの切り出し領域を変更し、合成画像に含まれる被写体の視差を調整することにより、被写体の引っ込み距離を調整する（ステップＳ２０８）。
【００７８】
その後、表示制御部９５は、表示部６が表示する合成画像内に視差調整部９４が設定した被写体の視差を表示部６に表示させ（ステップＳ２０９）、撮像装置１は図１１に示すメインルーチンへ戻る。
【００７９】
次に、ステップＳ２０１において、タッチパネル７に接触した物体の軌跡が合成画像に含まれる被写体の視差を大きくする動作でない場合（ステップＳ２０１：Ｎｏ）について説明する。この場合、制御部９は、タッチパネル７に接触した物体の軌跡が合成画像に含まれる被写体の視差を小さくする動作であるか否かを判断する（ステップＳ２１０）。タッチパネル７に接触した物体の軌跡が合成画像に含まれる被写体の視差を小さくする動作に対応しない場合（ステップＳ２１０：Ｎｏ）、撮像装置１は図１０に示すメインルーチンへ戻る。一方、タッチパネル７に接触した物体の軌跡が合成画像に含まれる被写体の視差を小さくする動作に対応する場合（ステップＳ２１０：Ｙｅｓ）、撮像装置１はステップＳ２１１へ移行する。
【００８０】
図１６は、ユーザによって合成画像内に含まれる被写体の視差を小さくする動作を説明する図である。図１６に示すように、制御部９は、表示部６が現在表示している画像内において視差を持つ被写体の領域で、ユーザが人差し指Ｆ1をタッチパネル７に接触させながら画像Ｗ７の右側から左側に向けて移動させた場合（図１６（ａ）→図１６（ｂ））、この動作を被写体の視差を小さくする動作として判断する。
【００８１】
ステップＳ２１１において、制御部９は、ユーザが人差し指Ｆ1でタッチパネル７に最初に接触した領域に対応する画像内に近被写体が含まれているか否かを判断する。ユーザが人指し指Ｆ1でタッチパネル７に最初に接触した領域に対応する画像内に近被写体が含まれている場合（ステップＳ２１１：Ｙｅｓ）、視差調整部９４は、タッチパネル７に接触した物体の軌跡に応じて、送信用画像生成部９２による右目画像データおよび左画像データそれぞれの切り出し領域を変更し、合成画像に含まれる被写体の視差を調整することにより、被写体の引っ込み距離を調整する（ステップＳ２１２）。
【００８２】
その後、表示制御部９５は、表示部６が表示する合成画像内に視差調整部９４が設定した被写体の視差情報に対応する引っ込み距離情報を表示させる（ステップＳ２１３）。ステップＳ２１３の後、撮像装置１は図１１に示すメインルーチンへ戻る。
【００８３】
次に、ステップＳ２１１において、ユーザが人指し指Ｆ1でタッチパネル７に最初に接触した領域に対応する画像内に近被写体が含まれていない場合（ステップＳ２１１：Ｎｏ）について説明する。この場合、制御部９は、表示部６が表示する合成画像に対し、タッチパネル７に接触した物体の軌跡に応じて、視差調整部９４が調整する合成画像に含まれる被写体の視差が視差記憶部８３に記憶された視差の限界値を超えたか否かを判断する（ステップＳ２１４）。
【００８４】
視差調整部９４が調整する合成画像に含まれる被写体の視差が視差記憶部８３に記載された視差の限界値を超えた場合（ステップＳ２１４：Ｙｅｓ）、視差調整部９４は、合成画像に含まれる被写体の視差を限界値で固定し、送信用画像生成部９２による右目画像データおよび左目画像データそれぞれの切り出し領域を変更して合成画像に含まれる被写体の視差を調整することにより、被写体の飛び出し距離を限界値で調整する（ステップＳ２１５）。
【００８５】
続いて、表示制御部９５は、表示部６が表示する合成画像内に被写体の視差が限界値である旨の警告を表示部６に表示させる（ステップＳ２１６）。この後、撮像装置１は、図１１に示すメインルーチンへ戻る。
【００８６】
ステップＳ２１４において、視差調整部９４が調整する合成画像に含まれる被写体の視差が視差記憶部８３に記載された視差の限界値を超えない場合（ステップＳ２１４：Ｎｏ）、視差調整部９４は、タッチパネル７に接触した物体の軌跡に応じて、送信用画像生成部９２による右目画像データおよび左目画像データそれぞれの切り出し領域を変更し、合成画像に含まれる被写体の視差を調整することにより、被写体の飛び出し距離を調整する（ステップＳ２１７）。
【００８７】
その後、表示制御部９５は、表示部６が表示する合成画像内に視差調整部９４が設定した被写体の飛び出し距離を視差情報として表示部６に表示させる（ステップＳ２１８）。ステップＳ２１８の後、撮像装置１は、図１１に示すメインルーチンへ戻る。
【００８８】
次に、図１１のステップＳ１２０の再生表示処理について説明する。図１７は、再生表示処理の概要を示すフローチャートである。図１７において、まず、表示制御部９５は、画像データ記憶部８１に記憶された複数の画像をまとめて表示した画像選択画面を表示部６に表示させる（ステップＳ３０１）。ここで、表示部６に表示される画像は２Ｄ画像である。
【００８９】
続いて、制御部９は、ユーザがタッチパネル７を操作することによって表示部６が表示する画像選択画面の中から画像が選択されたか否かを判断する（ステップＳ３０２）。ユーザによって画像選択画面の中から画像が選択されない場合（ステップＳ３０２：Ｎｏ）、撮像装置１はステップＳ３０１へ戻る。一方、ユーザによって画像選択画面の中から画像が選択された場合（ステップＳ３０２：Ｙｅｓ）において、撮像装置１が表示装置２００と接続されているとき（ステップＳ３０３：Ｙｅｓ）、制御部９は、選択された画像に対応する送信用画像を、通信部１０を介して表示装置２００へ送信する（ステップＳ３０４）。その後、制御部９は、表示用画像として、選択された画像に対応する合成画像を表示部６に全画面表示させる（ステップＳ３０５）。
【００９０】
続いて、制御部９は、タッチパネル７の外部からの接触位置に応じた信号が入力されたか否かを判断する（ステップＳ３０６）。タッチパネル７の外部からの接触位置に応じた信号が入力された場合（ステップＳ３０６：Ｙｅｓ）、撮像装置１は、視差調整処理（図１２を参照）を行う（ステップＳ３０７）。撮像装置１が表示装置２００と接続されている場合（ステップＳ３０８：Ｙｅｓ）、制御部９は、視差調整後の送信用画像を、通信部１０を介して表示装置２００へ送信する（ステップＳ３０９）。ステップＳ３０８で撮像装置１が表示装置２００と接続されていない場合（ステップＳ３０８：Ｎｏ）、撮像装置１は後述するステップＳ３１０へ移行する。
【００９１】
ステップＳ３０９の後、画像再生の終了指示が操作入力部４によって入力された場合（ステップＳ３１０：Ｙｅｓ）、撮像装置１は図１１に示すメインルーチンに戻る。一方、ステップＳ３０９の後、画像再生の終了指示が操作入力部４によって入力されない場合（ ステップＳ３１０：Ｎｏ）、撮像装置１はステップＳ３０１へ戻る。
【００９２】
ステップＳ３０６において、タッチパネル７の外部からの物体の接触位置に応じた信号の入力がない場合（ステップＳ３０６：Ｎｏ）、所定時間が経過していれば（ステップＳ３１１：Ｙｅｓ）、撮像装置１はステップＳ３１０へ進む。これに対し、ステップＳ３１１において所定時間が経過していなければ（ステップＳ３１１：Ｎｏ）、撮像装置１はステップＳ３０６へ戻る。
【００９３】
ステップＳ３０３において、撮像装置１が表示装置２００と接続されていない場合（ステップＳ３０３：Ｎｏ）、制御部９は、表示用画像として選択された画像に対応する３Ｄ画像を表示部６に表示させる（ステップＳ３１２）。この後、表示部６が表示している２Ｄ表示アイコンが選択された場合（ステップＳ３１３：Ｙｅｓ）、制御部９は、表示用画像生成部９３が生成した合成画像を表示部６７に表示させる（ステップＳ３１４）。その後、撮像装置１は、ステップＳ３０６へ移行する。一方、表示部６が表示している２Ｄ表示アイコンが選択されない場合（ステップＳ３１３：Ｎｏ）、撮像装置１はステップＳ３１０へ移行する。
【００９４】
以上説明した本発明の実施の形態１によれば、撮像装置側で表示する表示用画像と外部機器側で表示するために外部機器（表示装置）へ送信する送信用画像とを個別に生成するため、３Ｄ画像を表示可能な外部機器と通信可能に接続された状態で、ユーザが外部機器で３Ｄ画像を見る状況下においても、そのユーザに違和感を感じさせない画像を表示することができる。
【００９５】
また、本実施の形態１によれば、撮像装置と表示装置が連携しているため、ユーザが表示装置で表示する３Ｄ画像の立体感を撮像装置に設けたタッチパネル等の操作部材を利用して容易に調整することができる。したがって、本実施の形態１によれば、撮像装置と表示装置とを通信によって連携させることにより、システム全体としての操作性を向上させることができる。
【００９６】
なお、本実施の形態１では、撮像装置１と表示装置２００とが通信可能に接続されている場合、表示装置２００で３Ｄ表示を行う一方、撮像装置１の表示部６では２Ｄ表示を行っていたが、撮像装置１の表示部６において、表示装置２００とは異なる立体感を有する３Ｄ表示を行うようにしてもよい。この場合、例えば被写体の表示画面からの仮想的な飛び出し量を、表示部６の方が表示画面２０１よりも大きくなるようにすることができる。
【００９７】
また、本実施の形態１において、視差調整部９４が、タッチパネル７における外部からの２つの物体の軌跡に応じて、２つの画像データの切り出し領域を変更して合成画像に含まれる被写体の視差を調整するようにしてもよい。具体的には、視差調整部９４が、図１８に示すように、ユーザの人差し指Ｆ1および親指Ｆ2の軌跡に応じて、画像Ｗ９に含まれる被写体Ａ１の視差を調整してもよい。この場合、制御部９は、人差し指Ｆ1と親指Ｆ2とがそれぞれ最初にタッチパネル７に接触した位置と動作があった後のタッチパネル７の位置とを比較することにより、開く動作（視差を大きくする動作に対応）または閉じる動作（視差を小さくする動作に対応）に対応するか否かを判断する。その後、視差調整部９４は、開く動作に対応する場合、合成画像に含まれる被写体の視差を大きくする（図１８（ａ）→図１８（ｂ））。これに対して、視差調整部９４は、閉じる動作に対応する場合、合成画像に含まれる被写体の視差を小さくする。なお、操作可能範囲に制限を設けてもよい。
【００９８】
また、本実施の形態１において、視差調整部９４が、図１９に示すように、ユーザの両手の親指Ｆ1L、Ｆ1Rの軌跡を用いて調整することができるようにしてもよい。この場合、制御部９は、左親指Ｆ1Lと右親指Ｆ1Rとがそれぞれ最初にタッチパネル７に接触した位置と動作があった後のタッチパネル７の位置とを比較することにより、開く動作または閉じる動作に対応するか否かを判断する。判断後の処理は、図１８に示す場合と同様である。
【００９９】
また、本実施の形態１において、レンズ駆動部２１ｂ，２２ｂをそれぞれ同期させながら駆動し、第１撮像部２１および第２撮像部２２それぞれの視野領域を変更することにより、合成画像に含まれる被写体の視差を調整するようにしてもよい。
【０１００】
また、本実施の形態１において、例えば撮像部２による撮影直後に、表示部６がレックビュー表示する画像に対して視差調整処理を行うことができるようにしてもよい。
【０１０１】
（実施の形態２）
図２０は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置１１は、単眼の撮像部１１１と、撮像装置１１の動きを検出する動き検出部１１２と、制御部１１３とを備える。撮像部１１１の構成は、上述した撮像装置１の第１撮像部２１の構成と同様である。これら以外の撮像装置１１の構成は、実施の形態１で説明した撮像装置１の構成と同じである。このため撮像装置１の構成要素と対応する構成要素には、撮像装置１と同じ符号を付してある。
【０１０２】
動き検出部１１２は、例えば速度センサを有し、撮像装置１１が運動する時の速度を検出し、検出結果であるセンサ信号を制御部１１３へ出力する。
【０１０３】
制御部１１３は、画像処理部９１、送信用画像生成部９２、表示用画像生成部９３、視差調整部９４、表示制御部９５、通信状態検出部９６に加え、動き検出部１１２から受信したセンサ信号を用いて撮像装置１１の動きを判定する動き判定部１１４を有する。
【０１０４】
図２１は、撮像装置１１を用いた撮影の概要を示す図である。図２１に示すように、撮像装置１１は、ユーザが水平方向に沿ってほぼ直線的に移動させる間、所定の間隔で連続的に画像を撮像する。本実施の形態２において、送信用画像生成部９２および表示用画像生成部９３は、撮像装置１１が移動しながら連続的に撮影した複数の画像から、２枚の画像を適宜抽出することによって３Ｄ画像用の右目画像と左目画像にそれぞれ対応する画像データを生成する。
【０１０５】
図２２は、図２１に示す状況下で撮像部１１１が生成する２つの画像データにそれぞれ対応する２つの画像の一例を示す図であり、表示用画像生成部９３が生成する表示用画像としての３Ｄ画像を構成する一対の画像の例を示す図である。画像ＷＬ１１は、表示用画像生成部９３が、撮像装置１１が図２１の左端に位置する場合に撮像部１１１によって生成された画像データに対応する画像から切り出して生成した画像である。また、画像ＷＲ１１は、表示用画像生成部９３が、撮像部１１１が図２１の右端に位置する場合に撮像部１１１によって生成された画像データに対応する画像から切り出して生成した画像である。このため、画像ＷＬ１１は左目画像に相当し、画像ＷＲ１１は右目画像に相当している。なお、図２２に示す破線および一点鎖線は、撮像部１１１がそれぞれ生成する画像データに対応する画像領域を示す。
【０１０６】
左目画像ＷＬ１１における被写体Ａ１の中心と被写体Ａ２の中心との視差Ｌ1は、右目画像ＷＲ１１における被写体Ａ１の中心と被写体Ａ２との視差Ｌ2より小さい（Ｌ1＜Ｌ2）。したがって、２つの画像ＷＬ１１およびＷＲ１１を用いることにより、３Ｄ画像を表示することが可能となる。
【０１０７】
図２３は、図２１に示す状況下で撮像部１１１が生成する２つの画像データにそれぞれ対応する２つの画像の別な例を示す図であり、送信用画像生成部９２が生成する送信用画像の例を示す図である。画像ＷＬ１１は、送信用画像生成部９２が、撮像装置１１が図２１の左端に位置する場合に撮像部１１１によって生成された画像データに対応する画像から切り出して生成した画像である。また、画像ＷＲ１２は、表示用画像生成部９３が、撮像部１１１が図２１の中央部に位置する場合に撮像部１１１によって生成された画像データに対応する画像から切り出して生成した画像である。このため、画像ＷＬ１１は左目画像に相当し、画像ＷＲ１２は右目画像に相当している。なお、図２３に示す破線および一点鎖線は、撮像部１１１がそれぞれ生成する画像データに対応する画像領域を示す。
【０１０８】
画像ＷＬ１１における被写体Ａ１の中心と被写体Ａ２の中心との視差Ｌ1は、画像ＷＲ１２における被写体Ａ１の中心と被写体Ａ２との視差Ｌ3より小さい（Ｌ1＜Ｌ3）。したがって、２つの画像ＷＬ１１およびＷＲ１２を用いることによって３Ｄ画像を表示することが可能となる。また、右目画像ＷＲ１２における被写体Ａ１の中心と被写体Ａ２との視差Ｌ3は、右目画像ＷＲ１２における被写体Ａ１の中心と被写体Ａ２との視差Ｌ2より小さい（Ｌ3＜Ｌ2）。このため、画像ＷＬ１１およびＷＲ１２を用いて３Ｄ表示した場合の仮想的な飛び出し量は、画像ＷＬ１１およびＷＲ１１を用いて３Ｄ表示した場合の仮想的な飛び出し量よりも小さい。このようにして、送信用画像における仮想的な飛び出し量を表示用画像における仮想的な飛び出し量よりも小さくすることにより、表示装置２００のように大画面で３Ｄ表示する場合の飛び出し量を抑制して、ユーザが視聴しやすい状況を作り出すことができる。
【０１０９】
なお、連続的に撮像した複数の画像の中からどの２枚を抽出して３Ｄ画像を構成するかについては、ユーザが適宜設定できるようにしてもよい。
【０１１０】
図２４は、撮像装置１１が行う処理の概要を示すフローチャートである。図２４において、まず、制御部１１３は、撮像装置１１の電源がオンになっているか否かを判断する（ステップＳ４０１）。撮像装置１１の電源がオンになっている場合（ステップＳ４０１：Ｙｅｓ）、撮像装置１１はステップＳ４０２に移行する。一方、撮像装置１の電源がオンになっていない場合（ステップＳ４０１：Ｎｏ）、撮像装置１１は本処理を終了する。
【０１１１】
続いて、制御部１１３は、撮像装置１１が撮影モードに設定されているか否かを判断する（ステップＳ４０２）。撮像装置１１が撮影モードに設定されている場合（ステップＳ４０２：Ｙｅｓ）、表示制御部９５は、撮像部１１１が一定の微小な時間間隔で連続的に生成する画像データに対応するスルー画を表示部６に表示させる（ステップＳ４０３）。この場合のスルー画は、２Ｄ画像および３Ｄ画像のどちらでも構わない。
【０１１２】
続いて、制御部１１３は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ４０４）。撮影を指示するレリーズ信号が入力された場合（ステップＳ４０４：Ｙｅｓ）において、動き判定部１１４が撮像装置１１の動きを判定した結果、撮像装置１１が動いていないと判定したとき（ステップＳ４０５：Ｎｏ）、撮像部１１１は撮影を行い、得られた画像データを記憶部８の画像データ記憶部８１に記憶する（ステップＳ４０５）。この画像データは、スルー画に対応しており、２Ｄ画像または３Ｄ画像である。
【０１１３】
その後、表示制御部９５は、撮像部１１１が撮影した画像データに対応する画像を表示部６にレックビュー表示させる（ステップＳ４０７）。
【０１１４】
ステップＳ４０４においてレリーズ信号が所定時間内に入力されない場合（ステップＳ４０５：Ｎｏ）、撮像装置１１はステップＳ４０１に戻る。
【０１１５】
次に、ステップＳ４０５で動き検出部１１２が撮像装置１１の動きを検出した場合、すなわち撮像装置１１が移動している場合（ステップＳ４０５：Ｙｅｓ）を説明する。この場合、撮像部１１１は所定の間隔で連続撮影を行い、得られた画像データを記憶部８の画像データ記憶部８１に記憶する（ステップＳ４０８）。撮像部１１１は、撮像装置１１が静止しなければ（ステップＳ４０９：Ｎｏ）、継続して連続撮影処理（ステップＳ４０８）を実行する。
【０１１６】
以下、撮像装置１１が静止した場合（ステップＳ４０９：Ｙｅｓ）を説明する。この場合、通信状態検出部９６が表示装置２００との接続を検出したとき（ステップＳ４１０：Ｙｅｓ）、制御部１１３は、通信部１０を介して、送信用画像を表示装置２００へ送信する（ステップＳ４１１）。ここで送信する送信用画像は、図２３を参照して説明したように、表示用画像生成部９３が生成する一組の画像よりも被写体間の視差が小さい画像である。
【０１１７】
その後、制御部１１３は、表示用画像生成部９３が生成した合成画像を表示用画像として表示部６に表示させる（ステップＳ４１２）。本実施の形態２においても、ステップＳ４１１とステップＳ４１２の処理は並行して実行するようにしてもよい。
【０１１８】
続いて、制御部１１３は、タッチパネル７の外部からの接触位置に応じた信号が入力されたか否かを判断する（ステップＳ４１３）。外部からの接触位置に応じた信号が入力された場合（ステップＳ４１３：Ｙｅｓ）、撮像装置１は、合成画像に含まれる被写体の飛び出し距離または引っ込み距離を調整する視差調整処理を行う（ステップＳ４１４）。視差調整処理が完了した時点で、撮像装置１が表示装置２００と通信可能に接続されていることを通信状態検出部９６が検出した場合（ステップＳ４１５：Ｙｅｓ）、制御部１１３は、視差調整を行った後の送信用画像を、通信部１０を介して表示装置２００へ送信する制御を行う（ステップＳ４１６）。この後、撮像装置１は、ステップＳ４０１に戻る。
【０１１９】
ステップＳ４１３において、外部からの接触位置に応じた信号が入力されない場合（ステップＳ４１３：Ｎｏ）、所定時間経過していれば（ステップＳ４１７：Ｙｅｓ）、撮像装置１１はステップＳ４０１へ戻る。これに対して、ステップＳ４１７において所定時間経過していなければ（ステップＳ４１７：Ｎｏ）、撮像装置１１はステップＳ４１３に戻る。
【０１２０】
ステップＳ４１０において、表示装置２００との接続が検出されない場合（ステップＳ４１０：Ｎｏ）、制御部１１３は、表示用画像として３Ｄ画像を表示部６に表示させる（ステップＳ４１８）。その後、ユーザによってタッチパネル７がタッチされた場合（ステップＳ４１９：Ｙｅｓ）、撮像装置１１はステップＳ４１２へ移行する。一方、ユーザによってタッチパネル７が所定時間タッチされない場合（ステップＳ４１９：Ｎｏ）、撮像装置１１はステップＳ４０１へ戻る。
【０１２１】
ステップＳ４０２において、撮像装置１１が撮影モードに設定されていない場合（ステップＳ４０２：Ｎｏ）、撮像装置１１は、撮影した画像データを表示部６に表示する再生表示処理を実行し（ステップＳ４２０）、ステップＳ４０１に戻る。ステップＳ４２０の再生表示処理は、実施の形態１で説明した再生表示処理と同様である（図１７を参照）。
【０１２２】
図２５および図２６は、撮像装置１１を用いて３Ｄ画像を生成する際の好ましい移動距離を説明するための図である。このうち、図２５は、ユーザが表示装置２００の表示画面２０１を見るときの状況を示す図である。図２５において、ユーザが表示画面２０１をみるときの距離をＬｔとし、右目ＥRと左目ＥLとの間隔をＷｔとしている。このとき、被写体（図２５では顔を想定）を表示画面２０１から仮想的に飛び出させることによって立体感を与えるための視差は、両目の間隔Ｗｔ程度でよい。
【０１２３】
これに対し、図２６は、ユーザが表示部６を見るときの状況を示す図である。図２６において、ユーザが表示部６を見るときの距離をＬｃとしている。ユーザが人物等を撮影する場合の撮像装置１１から被写体までの距離は、ユーザが表示画面２０１を見るときの距離Ｌｔと同じ程度と仮定することができる。このような仮定のもとで、表示部６で被写体を仮想的に飛び出させて立体感を出すためには、撮像装置１１を図２６のＷｃ〜（Ｌｔ／Ｌｃ）×Ｗｔ程度動かす必要がある。具体的には、例えばＬｔ＝２（ｍ）、Ｗｔ＝５０（ｃｍ）とすると、Ｗｃ〜４×Ｗｔとなる。ここで、記号「〜」は、ほぼ等しいことを意味している。
【０１２４】
以上説明した本発明の実施の形態２によれば、撮像装置側で表示する表示用画像と外部機器側で表示するために外部機器（表示装置）へ送信する送信用画像とを個別に生成するため、３Ｄ画像を表示可能な外部機器と通信可能に接続された状態で、ユーザが外部機器で３Ｄ画像を見る状況下においても、そのユーザに違和感を感じさせない画像を表示することができる。
【０１２５】
また、本実施の形態２によれば、実施の形態１と同様、システム全体としての操作性を向上させることができる。
【０１２６】
ここまで、本発明を実施するための形態として２つの実施の形態を説明してきたが、本発明は上述した実施の形態１、２によって限定されるべきものではない。例えば、上述した実施の形態において、メガネ３００をかけた状態ではユーザの視界が暗くなるため、表示部６で撮影時のフレーミング確認を行ったり操作時の表示確認を行ったりする際にユーザが表示部６の表示画面を見にくくなってしまう恐れがある。そこで、メガネ３００で暗くなった分を補うため、表示部６における表示の明るさを明るくしたり、特定の色を強調したり、コントラストを高めたりするような工夫を施せばより好ましい。
【０１２７】
また、本発明において、タッチパネルの構成は上述したものに限られるわけではない。図２７は、タッチパネルの別な構成例を示す模式図である。図２７に示すように、タッチパネル７０は、フロントパネル７１と、駆動部７２と、駆動電極７３と、受信電極７４と、検出部７５とを有する。
【０１２８】
フロントパネル７１は、所定の厚みを有し、平面的に見て矩形状に形成されたガラスまたはＰＥＴ（Polyethylene Terephthalate）で構成される。駆動部７２は、駆動電極７３に駆動パルス（例えば印加電圧５Ｖ）を出力し、駆動電極７３と受信電極７４との間で静電容量を形成させる。駆動電極７３および受信電極７４は、ＩＴＯ（Indium Tin Oxide）電極によって構成され、フロントパネル７１の下面に対して所定のピッチ（例えば５ｍｍ程度）で交互に設けられる。検出部７５は、静電容量センサによって構成され、ユーザの手Ｈが電界４００に接近することにより、駆動電極７３と受信電極７４との間で形成された静電容量の微細な変化量、例えばユーザの手Ｈがフロントパネル７１に接触したときの変化量として１ｐＦ程度の値を検出する。この検出部７５のより詳細な構成は、例えば米国特許７１４８７０４号明細書に開示されている。
【０１２９】
以上の構成を有するタッチパネル７０において、検出部７５は、ユーザの手Ｈがフロントパネル７１に触れる前から駆動電極７３と受信電極７４との間で形成された静電容量の微細な変化を検出することができる。具体的には、検出部７５は、図２７に示すように、距離ｈ１（例えば０．５ｃｍ）の位置と距離ｈ２（例えば１ｃｍ）の位置とにユーザの手Ｈがある場合のように、微小な距離しか離れていない２箇所を移動する場合の駆動電極７３と受信電極７４との間で形成された静電容量の変化を検出することができる。その結果、タッチパネル７０は、外部からの直接的な接触がなくても操作信号の入力を受け付けることができる。
【０１３０】
本発明に係る撮像装置は、デジタルステレオカメラ以外にも、例えばデジタルビデオカメラ、カメラ付き携帯電話等の撮影機能および表示機能を備えた各種電子機器に適用することができる。
【０１３１】
また、本発明において、外部機器としての表示装置は３Ｄテレビに限られるわけではなく、３Ｄ画像を表示可能な表示部を有していれば、いかなる電子機器であってもかまわない。
【符号の説明】
【０１３２】
１、１１  撮像装置
２、１１１  撮像部
３  姿勢検出部
４  操作入力部
５  時計
６  表示部
７、７０  タッチパネル
８  記憶部
９、１１３  制御部
１０  通信部
２１  第１撮像部
２１ａ、２２ａ  レンズ部
２１ｂ、２２ｂ  レンズ駆動部
２１ｃ、２２ｃ  絞り
２１ｄ、２２ｄ  絞り駆動部
２１ｅ、２２ｅ  シャッタ
２１ｆ、２２ｆ  シャッタ駆動部
２１ｇ、２２ｇ  撮像素子
２１ｈ、２２ｈ  信号処理部
２２  第２撮像部
４１  電源スイッチ
４２  レリーズスイッチ
４３  切換スイッチ
４４  ズームスイッチ
６１  バックライト
６２  表示パネル
６３  視差バリア
７１  フロントパネル
７２  駆動部
７３  駆動電極
７４  受信電極
７５  検出部
８１  画像データ記憶部
８２  プログラム記憶部
８３  視差記憶部
９１  画像処理部
９２  送信用画像生成部
９３  表示用画像生成部
９４  視差調整部
９５  表示制御部
９６  通信状態検出部
１００  画像通信システム
１１２  動き検出部
１１４  動き判定部
２００  表示装置
２０１  表示画面
【図１】
0005750779.tif 000002
【図２】
0005750779.tif 000003
【図３】
0005750779.tif 000004
【図４】
0005750779.tif 000005
【図５】
0005750779.tif 000006
【図６】
0005750779.tif 000007
【図７】
0005750779.tif 000008
【図８】
0005750779.tif 000009
【図９】
0005750779.tif 000010
【図１０】
0005750779.tif 000011
【図１１】
0005750779.tif 000012
【図１２】
0005750779.tif 000013
【図１３】
0005750779.tif 000014
【図１４】
0005750779.tif 000015
【図１５】
0005750779.tif 000016
【図１６】
0005750779.tif 000017
【図１７】
0005750779.tif 000018
【図１８】
0005750779.tif 000019
【図１９】
0005750779.tif 000020
【図２０】
0005750779.tif 000021
【図２１】
0005750779.tif 000022
【図２２】
0005750779.tif 000023
【図２３】
0005750779.tif 000024
【図２４】
0005750779.tif 000025
【図２５】
0005750779.tif 000026
【図２６】
0005750779.tif 000027
【図２７】
0005750779.tif 000028