(57)【要約】 【課題】３次元画像のスルー画が表示されている最中に被写体中の主要被写体の可能性がある動体が２重にぶれて表示されることを防止する撮影装置、およびその撮影装置における画像表示方法を提供する。【解決手段】動体検出回路１４０で検出された１つ以上の動体のそれぞれの被写体距離を距離算出回路１４１に算出させる。ＣＰＵ１００は、その距離算出回路１４１に算出させた被写体距離のすべてが閾値未満にあるときには、２Ｄ／３Ｄ表示切替回路１１６内の１／６０ごとに更新される左眼用の画像信号と右眼用の画像信号とのうちの一方の画像信号を２Ｄ／３Ｄ表示装置ＤＩＳＰに供給させて表示画面上に２次元画像を表示させる。被写体距離のすべてが閾値未満にないときには、２Ｄ／３Ｄ表示切替回路内の左眼用の画像信号と右眼用の画像信号との双方を供給させて表示画面上に３次元画像を表示させる。【選択図】  図２
2010161492.tif 000002
【特許請求の範囲】
【請求項１】
撮影指示を受けて撮影を実行し撮影画像を表わす画像信号を得る撮影装置において、
並べて配置された複数の撮影光学系を有し、被写体が該複数の撮影光学系それぞれで結像されてなる被写体光を受光して画像信号を生成する撮像部と、
画像信号に基づく画像を表示する画像表示部と、
撮影指示前に前記撮像部で画像信号を繰り返し生成させることによりスルー画像を表わすスルー画用画像信号を生成させて前記画像表示部に該スルー画用画像信号に基づくスルー画像を表示させるスルー画表示制御手段と、
前記撮像部で生成された画像信号に基づいて動体を検出する動体検出手段と、
前記撮像部で生成された画像信号に基づいて、前記動体検出手段で検出された動体の被写体距離を算出する被写体距離算出手段とを備え、
前記スルー画表示制御手段が、前記スルー画用画像信号に基づいて前記動体検出手段に動体を検出させるとともに検出された動体の被写体距離を前記被写体距離算出手段に算出させ、前記画像表示部に、動体が存在しかつ該動体の被写体距離が閾値以上の場合に３次元画像を表示させるとともに、該閾値未満のときに２次元画像を表示させることを特徴とする撮影装置。
【請求項２】
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
前記スルー画表示制御手段は、前記動体検出手段により動体が検出された場合に、前記焦点調整手段に、前記複数の撮影光学系を該動体に合焦させることを特徴とする請求項１記載の撮影装置。
【請求項３】
前記スルー画表示制御手段は、
前記スルー画用画像信号に基づいて前記動体検出手段に動体を検出させた結果複数の動体が検出された場合に検出された複数の動体それぞれの被写体距離を前記被写体距離算出手段に算出させ、前記画像表示部に、該複数の動体のうちの１つ以上の動体の被写体距離が前記閾値以上の場合に３次元画像を表示させ、該複数の動体全ての被写体距離が前記閾値未満の場合に２次元画像を表示させることを特徴とする請求項１記載の撮影装置。
【請求項４】
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
前記スルー画表示制御手段は、前記焦点調整手段に、前記複数の動体のうちの１つ以上の動体の被写体距離が前記閾値以上の場合に該閾値以上の被写体距離にある１つ以上の動体のうち該閾値に最も近い距離にある動体に前記複数の撮影光学系を合焦させ、該複数の動体全ての被写体距離が前記閾値未満の場合に該複数の動体のうち該閾値に最も近い被写体距離にある動体に前記複数の撮影光学系を合焦させることを特徴とする請求項３記載の撮影装置。
【請求項５】
前記撮像部で生成された画像信号に基づいて、該画像信号により表わされる画像の中心から前記動体検出手段で検出された動体までの画像内距離を算出する画像内距離算出手段を備え、
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
前記スルー画表示制御手段は、前記複数の動体のうち１つ以上の動体の被写体距離が前記閾値以上の場合に前記画像内距離算出手段に該閾値以上の被写体距離にある１つ以上の動体それぞれについて前記画像内距離を算出させて、前記焦点調整手段に、該１つ以上の動体のうちの該画像内距離が最小の動体に前記複数の撮影光学系を合焦させ、前記複数の動体全ての被写体距離が前記閾値未満の場合に、前記画像内距離算出手段に該複数の動体それぞれについて前記画像内距離を算出させて、該焦点調整手段に、該複数の動体のうちの該画像内距離が最小の動体に前記複数の撮影光学系を合焦させることを特徴とする請求項３記載の撮影装置。
【請求項６】
前記撮像部で生成された画像信号に基づいて、該画像信号により表わされる画像の面積に対する、前記動体検出手段で検出された動体の該画像上の面積比率を算出する画像内比率算出手段を備え、
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
前記スルー画表示制御手段は、前記複数の動体のうち１つ以上の動体の被写体距離が前記閾値以上の場合に前記画像内比率算出手段に該閾値以上の被写体距離にある１つ以上の動体それぞれについて前記面積比率を算出させて、前記焦点調整手段に、該１つ以上の動体のうちの面積比率が最大の動体に前記複数の撮影光学系を合焦させ、前記複数の動体全ての被写体距離が前記閾値未満の場合に、前記画像内比率算出手段に該複数の動体それぞれについて前記面積比率を算出させて、前記焦点調整手段に、該複数の動体のうちの該面積比率が最大の動体に前記複数の撮影光学系を合焦させることを特徴とする請求項３記載の撮影装置。
【請求項７】
前記撮像部で生成された画像信号に基づいて、該画像信号により表わされる画像の中心から前記動体検出手段で検出された動体までの画像内距離を算出する画像内距離算出手段と、
前記撮像部で生成された画像信号に基づいて、該画像信号により表わされる画像の面積に対する、前記動体検出手段で検出された動体の該画像上の面積比率を算出する画像内比率算出手段と、
前記動体検出手段で複数の動体が検出された場合の、該複数の動体それぞれについての、前記画像内距離算出手段で算出された前記画像内距離と前記画像内比率算出手段で算出された前記面積比率とに基づいて主要動体を決定する主要動体決定手段とを備え、
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
前記スルー画表示制御手段は、前記複数の動体のうち１つ以上の動体の被写体距離が前記閾値以上の場合に前記画像内距離算出手段に該閾値以上の被写体距離にある１つ以上の動体それぞれについて前記画像内距離を算出させるとともに、前記画像内比率算出手段に該１つ以上の動体それぞれについて前記面積比率を算出させ、さらに前記主要動体決定手段に該１つ以上の動体の中から主要動体を決定させて、前記焦点調整手段に、該１つ以上の動体のうちの前記主要動体決定手段に決定させた主要動体に前記複数の撮影光学系を合焦させ、前記複数の動体全ての被写体距離が前記閾値未満の場合に、前記画像内距離算出手段に該複数の動体それぞれについて画像内距離を算出させるとともに、前記画像内比率算出手段に該複数の動体それぞれについて前記面積比率を算出させ、さらに前記主要動体決定手段に該複数の動体全ての中から主要動体を決定させて、前記焦点調整手段に、該複数の動体のうちの前記主要動体決定手段に決定させた主要動体に前記複数の撮影光学系を合焦させることを特徴とする請求項３記載の撮影装置。
【請求項８】
並べて配置された複数の撮影光学系を有し被写体が該複数の撮影光学系それぞれで結像されてなる被写体光を受光して画像信号を生成する撮像部、および、画像信号に基づく２次元画像の表示と３次元画像の表示が可能な画像表示部を備え、撮影指示を受けて撮影を実行し撮影画像を表わす画像信号を得る撮影装置における画像表示方法であって、
撮影指示前に前記撮像部で画像信号を繰り返し生成させることによりスルー画像を表わすスルー画用画像信号を生成させ、該スルー画用画像信号に基づいて動体を検出するとともに検出された動体の被写体距離を算出し、前記画像表示部に、動体が存在しかつ該動体の被写体距離が閾値以上の場合に３次元画像を表示させるとともに、該閾値未満のときに２次元画像を表示させることを特徴とする画像表示方法。
【請求項９】
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、動体が検出された場合に、前記焦点調整手段に、前記複数の撮影光学系を該動体に合焦させることを特徴とする請求項８記載の画像表示方法。
【請求項１０】
前記スルー画用画像信号に基づいて動体を検出した結果複数の動体が検出された場合に検出された複数の動体それぞれの被写体距離を算出し、前記画像表示部に、該複数の動体のうちの１つ以上の動体の被写体距離が前記閾値以上の場合に３次元画像を表示させ、該複数の動体全ての被写体距離が前記閾値未満の場合に２次元画像を表示させることを特徴とする請求項８記載の画像表示方法。
【請求項１１】
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
前記焦点調整手段に、前記複数の動体のうちの１つ以上の動体の被写体距離が前記閾値以上の場合に該閾値以上の被写体距離にある１つ以上の動体のうち該閾値に最も近い距離にある動体に前記複数の撮影光学系を合焦させ、該複数の動体全ての距離が閾値未満の場合に該複数の動体のうち該閾値に最も近い被写体距離にある動体に前記複数の撮影光学系を合焦させることを特徴とする請求項１０記載の画像表示方法。
【請求項１２】
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
前記複数の動体のうち１つ以上の動体の被写体距離が前記閾値以上の場合に該閾値以上の被写体距離にある１つ以上の動体それぞれについて、該スルー画用画像信号により表わされるスルー画像の中心から動体までの画像内距離を算出して、前記焦点調整手段に、該１つ以上の動体のうちの該画像内距離が最小の動体に前記複数の撮影光学系を合焦させ、前記複数の動体全ての被写体距離が閾値未満の場合に該複数の動体それぞれについて該画像内距離を算出して、該焦点調整手段に、該複数の動体のうちの該画像内距離が最小の動体に前記複数の撮影光学系を合焦させることを特徴とする請求項１０記載の画像表示方法。
【請求項１３】
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、  
前記複数の動体のうち１つ以上の動体の被写体距離が前記閾値以上の場合に該閾値以上の被写体距離にある１つ以上の動体それぞれについて、該スルー画用画像信号により表わされるスルー画像の面積に対する、検出された動体の該スルー画像上の面積比率を算出して、前記焦点調整手段に、該１つ以上の動体のうちの該面積比率が最大の動体に前記複数の撮影光学系を合焦させ、該複数の動体全ての被写体距離が前記閾値未満の場合に前記画像内比率算出手段で該複数の動体それぞれについて前記面積比率を算出して、該焦点調整手段に、該複数の動体のうちの該面積比率が最大の動体に前記複数の撮影光学系を合焦させることを特徴とする請求項１０記載の画像表示方法。
【請求項１４】
前記撮像部が前記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
前記複数の動体のうち１つ以上の動体の被写体距離が閾値以上の場合に該閾値以上の被写体距離にある１つ以上の動体それぞれについて、該スルー画用画像信号により表わされるスルー画像の中心から動体までの画像内距離を算出し、さらに前記１つ以上の動体それぞれの前記画像内距離と前記面積比率とに基づいて該１つ以上の動体の中から主要動体を決定して、前記焦点調整手段に、前記複数の撮影光学系を決定した主要動体に合焦させ、該複数の動体全ての被写体距離が前記閾値未満の場合に、該複数の動体それぞれについて前記画像内距離を算出するとともに該複数の動体それぞれについて前記面積比率を算出し、さらに該複数の動体それぞれの前記画像内距離と前記面積比率とに基づいて該複数の動体全ての中から主要動体を決定して、前記焦点調整手段に、前記複数の撮影光学系を決定した主要動体に合焦させることを特徴とする請求項１０記載の画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影指示を受けて撮影を実行し撮影画像を表わす画像信号を得る撮影装置、およびその撮影装置における画像表示方法に関する。
【背景技術】
【０００２】
最近、非特許文献１に示すような３次元画像の表示が可能な表示画面を備えた表示装置が提案されている。このような表示装置を使って表示画面上に３次元画像が表示されると、より臨場感のある画像が表示される。電子機器の中には、上記のような表示装置を搭載して、操作に応じて表示画面上の２次元表示と３次元表示とを切り替えることができるようにしているものがある（特許文献１から３参照）。これらの特許文献の中には、画面内に仮想的にカメラを設定してそのカメラの向きに応じて２次元表示と３次元表示とを自動的に切り替えるものがある。
【０００３】
また撮影装置に３次元画像用の画像データを生成する撮像手段と、２次元画像用の画像データを生成する撮像手段との２つの撮像手段を搭載してこれらを操作により自在に切り替えることができるようにしたものなども提案されている（特許文献４参照）。また複数の撮影レンズでは立体視することができない位置に被写体が位置したときには、複数の撮影レンズを通して撮影された画像信号を使って３次元画像を表示せずにいずれか一つの撮影レンズを通して撮影された画像信号を使って２次元画像を表示する表示装置等も提案されている（例えば特許文献５参照）。
【０００４】
さらに、診断装置ではトモシンセシス撮影により得た２次元情報を基に３次元画像を表わす画像データを生成する技術等が提案されている（例えば特許文献６参照）。
【０００５】
このように３次元表示を行なう技術や上記表示装置に表示可能な右眼用、左眼用の画像
信号を生成する撮影装置等が数多く提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２９７５４０号公報
【特許文献２】特開２００５−１３３３０５号公報
【特許文献３】特開２００５−１６３４４７号公報
【特許文献４】特開２００１−１９５６０９号公報
【特許文献５】特開平９−９３００号公報
【特許文献６】特開２００８−６８０３２１号公報
【非特許文献】
【０００７】
【非特許文献１】インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｓｈａｒｐ．ｃｏ．ｊｐ／ｐｒｏｄｕｃｔ／ｌｌ１５１d／）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上記非特許文献１にあるような表示装置を撮影装置に搭載し、さらに複数の撮像部をその撮影装置に配備すると、その撮影装置が備える複数の撮像部が捉えている被写体の画像（以降、スルー画という）をリアルタイムに表示画面上に３次元画像で表示することができる。こうして３次元画像のスルー画を見ながら撮影者が撮影を行なうと、撮影者は撮影により３次元画像を得ることが可能となる。
【０００９】
しかし、３次元画像で表示されているスルー画中に存在する動体が主要被写体（以降主要動体ということがある）であると、その主要動体が撮影装置が備える複数の撮像部では立体視することができない位置に位置したときにはスルー画中の背景はそのままで動体が２重の像になって表示されてしまう。
【００１０】
このため、その主要動体が２重の像で表示されたことにより撮影者に撮影装置が壊れたのではないかという疑念を抱かせてしまう恐れがある。この恐れは撮影者にシャッタチャンスを逃させるという事態を誘発する。撮影者の中には、３次元画像を撮影することができなくても、シャッタチャンスを優先して２次元画像であっても撮影しておきたいと思う人がいる。
【００１１】
本発明は、上記事情に鑑み、３次元画像のスルー画が表示されている最中に被写体中の主要動体が２重の像になって表示されることを防止する撮影装置、およびその撮影装置における画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成する本発明の撮影装置は、撮影指示を受けて撮影を実行し撮影画像を表わす画像信号を得る撮影装置において、
並べて配置された複数の撮影光学系を有し、被写体がその複数の撮影光学系それぞれで結像されてなる被写体光を受光して画像信号を生成する撮像部と、
画像信号に基づく画像を表示する画像表示部と、
撮影指示前に上記撮像部で画像信号を繰り返し生成させることによりスルー画像を表わすスルー画用画像信号を生成させて上記画像表示部にそのスルー画用画像信号に基づくスルー画像を表示させるスルー画表示制御手段と、
上記撮像部で生成された画像信号に基づいて動体を検出する動体検出手段と、
上記撮像部で生成された画像信号に基づいて、上記動体検出手段で検出された動体の被写体距離を算出する被写体距離算出手段とを備え、
上記スルー画表示制御手段が、上記スルー画用画像信号に基づいて上記動体検出手段に動体を検出させるとともに検出された動体の被写体距離を上記被写体距離算出手段に算出させ、上記画像表示部に、動体が存在しかつその動体の被写体距離が閾値以上の場合に３次元画像を表示させるとともに、その閾値未満のときに２次元画像を表示させることを特徴とする。
【００１３】
上記本発明の撮影装置によれば、上記スルー画表示制御手段は上記動体の被写体距離が閾値以上の場合に３次元画像を表示させ、閾値未満のときに２次元画像を表示させる。このため、被写体中の主要動体が当該撮影装置に近付いたり、遠ざかったりすることが時間の経過に伴って繰り返しあったとしても、その主要動体の位置に応じて２次元画像と３次元画像とが適応的に切り替えられてスルー画が表示され動体が２重の像になって表示されることが防止される。
【００１４】
その結果、撮影者は３次元画像のスルー画中の動体を追っかけて撮影しようとしているときにシャッタチャンスに３次元画像から２次元画像に切り替わった鮮明な表示を見て主要動体を確実に撮影することができる。
【００１５】
ここで、上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
上記スルー画表示制御手段は、上記動体検出手段により動体が検出された場合に、上記焦点調整手段に、上記複数の撮影光学系をその動体に合焦させることが好ましい。
【００１６】
そうすると、スルー画表示制御手段は、画像表示部に、上記動体が主要被写体であるとしてその動体にピントのあったスルー画を表示させることができる。
【００１７】
ここで、上記スルー画表示制御手段は、
上記スルー画用画像信号に基づいて上記動体検出手段に動体を検出させた結果複数の動体が検出された場合に検出された複数の動体それぞれの被写体距離を上記被写体距離算出手段に算出させ、上記画像表示部に、その複数の動体のうちの１つ以上の動体の被写体距離が上記閾値以上の場合に３次元画像を表示させ、その複数の動体全ての被写体距離が上記閾値未満の場合に２次元画像を表示させることが好ましい。
【００１８】
スルー画中の動体は一つとは限らない。これらの動体が複数ある場合にはその中のいずれか一つが主要被写体である可能性が高い。
【００１９】
そこで、上記被写体距離算出手段に複数の動体それぞれの被写体距離を算出させ、上記画像表示部にその複数の動体のうちの１つ以上の動体の被写体距離が上記閾値以上の場合には、その閾値以上の動体が主要被写体であるとして３次元画像を表示させ、その複数の動体全ての被写体距離が上記閾値未満の場合には２次元画像を表示させる構成にすると、被写体中の少なくとも一つの動体の位置に応じて的確に２次元画像と３次元画像とが適応的に切り替えられる。
【００２０】
また、スルー画中に複数の動体があるときには、その中のいずれかが主要動体であってその主要動体を予め決められた閾値以上の距離に捉えられることが多い。
【００２１】
そこで、上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
上記スルー画表示制御手段は、上記焦点調整手段に、上記複数の動体のうちの１つ以上の動体の被写体距離が上記閾値以上の場合にその閾値以上の被写体距離にある１つ以上の動体のうちその閾値に最も近い距離にある動体に上記複数の撮影光学系を合焦させ、その複数の動体全ての被写体距離が上記閾値未満の場合にその複数の動体のうちその閾値に最も近い被写体距離にある動体に上記複数の撮影光学系を合焦させると良い。
【００２２】
そうすると、２次元画像であっても３次元画像であっても、いずれにしても主要動体にピントの合った画像が得られる確率が高くなる。
【００２３】
また上記撮像部で生成された画像信号に基づいて、その画像信号により表わされる画像の中心から上記動体検出手段で検出された動体までの画像内距離を算出する画像内距離算出手段を備え、
上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
上記スルー画表示制御手段は、上記複数の動体のうち１つ以上の動体の被写体距離が上記閾値以上の場合に上記画像内距離算出手段にその閾値以上の被写体距離にある１つ以上の動体それぞれについて上記画像内距離を算出させて、上記焦点調整手段に、その１つ以上の動体のうちのその画像内距離が最小の動体に上記複数の撮影光学系を合焦させ、上記複数の動体全ての被写体距離が上記閾値未満の場合に、上記画像内距離算出手段にその複数の動体それぞれについて上記画像内距離を算出させて、その焦点調整手段に、その複数の動体のうちのその画像内距離が最小の動体に上記複数の撮影光学系を合焦させることが好ましい。
【００２４】
一般に撮影装置で動体を捉えるときには、その動体を主要動体として撮影領域の中心に置く。このため、上記動体検出部で検出された１つ以上の動体それぞれについて上記画像信号により表わされる画像の中心から上記動体検出手段で検出された動体までの画像内距離をそれぞれ算出させ、その画像内距離が最小の動体にピントを合わせるようにすると、主要動体にピントのあう確率が高くなる。
【００２５】
また、上記撮像部で生成された画像信号に基づいて、その画像信号により表わされる画像の面積に対する、上記動体検出手段で検出された動体のその画像上の面積比率を算出する画像内比率算出手段を備え、
上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
上記スルー画表示制御手段は、上記複数の動体のうち１つ以上の動体の被写体距離が上記閾値以上の場合に上記画像内比率算出手段にその閾値以上の被写体距離にある１つ以上の動体それぞれについて上記面積比率を算出させて、上記焦点調整手段に、その１つ以上の動体のうちの上記面積比率が最大の動体に上記複数の撮影光学系を合焦させ、上記複数の動体全てのその被写体距離が上記閾値未満の場合に、上記画像内比率算出手段にその複数の動体それぞれについて上記面積比率を算出させて、上記焦点調整手段に、その複数の動体のうちのその面積比率が最大の動体に前記複数の撮影光学系を合焦させても良い。
【００２６】
上記した様に撮影者が撮影装置を使って撮影を行なうときには主要動体を中心に置く。このときには画像上の中央付近に位置する主要動体の面積比率が他のものに比べて大きくなる。
【００２７】
そこで、画像内の各動体の面積比率を求めてそれらのうちの面積比率が最大の動体にピントを合わせても、上記画像内距離の最小の動体にピントを合わせたのと同じ効果を得ることができる。
【００２８】
さらに上記撮像部で生成された画像信号に基づいて、その画像信号により表わされる画像の中心から前記動体検出手段で検出された動体までの画像内距離を算出する画像内距離算出手段と、
上記撮像部で生成された画像信号に基づいて、その画像信号により表わされる画像の面積に対する、上記動体検出手段で検出された動体のその画像上の面積比率を算出する画像内比率算出手段と、
上記動体検出手段で複数の動体が検出された場合の、その複数の動体それぞれについての、上記画像内距離算出手段で算出された上記画像内距離と上記画像内比率算出手段で算出された面積比率とに基づいて主要動体を決定する主要動体決定手段とを備え、
上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
上記スルー画表示制御手段は、上記複数の動体のうち１つ以上の動体の被写体距離が上記閾値以上の場合に上記画像内距離算出手段にその閾値以上の被写体距離にある１つ以上の動体それぞれについて上記画像内距離を算出させるとともに、上記画像内比率算出手段に前記１つ以上の動体それぞれについて上記面積比率を算出させ、さらに上記主要動体決定手段にその１つ以上の動体の中から主要動体を決定させて、その１つ以上の動体のうちの上記主要動体決定手段に決定させた主要動体に上記複数の撮影光学系を合焦させ、上記複数の動体の全ての被写体距離が上記閾値未満の場合に、上記画像内距離算出手段にその複数の動体それぞれについて画像内距離を算出させるとともに、上記画像内比率算出手段に該複数の動体それぞれについて上記面積比率を算出させ、さらに上記主要動体決定手段にその複数の動体全ての中から主要動体を決定させて、上記焦点調整手段に、その複数の動体のうちの上記主要動体決定手段に決定させた主要動体に上記複数の撮影光学系を合焦させる構成であっても良い。
【００２９】
また、上記目的を達成する本発明の画像表示方法は、並べて配置された複数の撮影光学系を有し被写体がその複数の撮影光学系それぞれで結像されてなる被写体光を受光して画像信号を生成する撮像部、および、画像信号に基づく２次元画像の表示と３次元画像の表示が可能な画像表示部を備え、撮影指示を受けて撮影を実行し撮影画像を表わす画像信号を得る撮影装置における画像表示方法であって、
撮影指示前に前記撮像部で画像信号を繰り返し生成させることによりスルー画像を表わすスルー画用画像信号を生成させ、そのスルー画用画像信号に基づいて動体を検出するとともに検出された動体の被写体距離を算出し、上記画像表示部に、動体が存在しかつその動体の被写体距離が閾値以上の場合に３次元画像を表示させるとともに、その閾値未満のときに２次元画像を表示させることを特徴とする。
【００３０】
ここで、上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、動体が検出された場合に、上記焦点調整手段に、上記複数の撮影光学系をその動体に合焦させることが好ましい。
【００３１】
また、上記スルー画用画像信号に基づいて動体を検出した結果複数の動体が検出された場合に検出された複数の動体それぞれの被写体距離を算出し、上記画像表示部に、その複数の動体のうちの１つ以上の動体の被写体距離が上記閾値以上の場合に３次元画像を表示させ、その複数の動体全ての被写体距離が上記閾値未満の場合に２次元画像を表示させることが好ましい。
【００３２】
また、上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
上記焦点調整手段に、上記複数の動体のうちの１つ以上の動体の被写体距離が上記閾値以上の場合にその閾値以上の被写体距離にある１つ以上の動体のうちその閾値に最も近い距離にある動体に上記複数の撮影光学系を合焦させ、その複数の動体全ての距離が閾値未満の場合にその複数の動体のうちその閾値に最も近い被写体距離にある動体に上記複数の撮影光学系を合焦させることが好ましい。
【００３３】
また、上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
上記複数の動体のうち１つ以上の動体の被写体距離が上記閾値以上の場合にその閾値以上の被写体距離にある１つ以上の動体それぞれについて、そのスルー画用画像信号により表わされるスルー画像の中心から動体までの画像内距離を算出して、上記焦点調整手段に、その１つ以上の動体のうちのその画像内距離が最小の動体に上記複数の撮影光学系を合焦させ、上記複数の動体全ての被写体距離が閾値未満の場合にその複数の動体それぞれについて画像内距離を算出して、その焦点調整手段に、その複数の動体のうちのその画像内距離が最小の動体に上記複数の撮影光学系を合焦させても良く、
また、上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、  
上記複数の動体のうち１つ以上の動体の被写体距離が上記閾値以上の場合にその閾値以上の被写体距離にある１つ以上の動体それぞれについて、そのスルー画用画像信号により表わされる画像の面積に対する、検出された動体のそのスルー画像上の面積比率を算出して、上記焦点調整手段に、その１つ以上の動体のうちのその面積比率が最大の動体に上記複数の撮影光学系を合焦させ、その複数の動体全ての被写体距離が上記閾値未満の場合に上記画像内比率算出手段でその複数の動体それぞれについて上記面積比率を算出して、その焦点調整手段に、その複数の動体のうちのその面積比率が最大の動体に上記複数の撮影光学系を合焦させても良く、
さらに、上記撮像部が上記複数の撮影光学系の焦点を調整する焦点調整手段を有し、
上記複数の動体のうち１つ以上の動体の被写体距離が閾値以上の場合にその閾値以上の被写体距離にある１つ以上の動体それぞれについて、そのスルー画用信号により表わされるスルー画像の中心から動体までの画像内距離を算出し、さらに上記１つ以上の動体それぞれの上記画像内距離と上記面積比率とに基づいてその１つ以上の動体の中から主要動体を決定して、上記焦点調整手段に、上記複数の撮影光学系を決定した主要動体に合焦させ、その複数の動体全ての被写体距離が上記閾値未満の場合に、その複数の動体それぞれについて上記画像内距離を算出するとともにその複数の動体それぞれについて上記面積比率を算出し、さらにその複数の動体それぞれの上記画像内距離と上記面積比率とに基づいてその複数の動体全ての中から主要動体を決定して、上記焦点調整手段に、上記複数の撮影光学系を決定した主要動体に合焦させても良い。
【発明の効果】
【００３４】
以上説明した様に、３次元画像のスルー画が表示されている最中に主要動体が２重にぶれて表示されることを防止することができる撮影装置、およびその撮影装置における画像表示方法が実現する。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態である撮影装置を示す図である。
【図２】図１の撮影装置１の内部の構成を示すブロック図である。
【図３】動体検出回路１４０の動作を説明する図である。
【図４】動体検出回路１４０の動作を説明する図である。
【図５】距離算出回路１４１の動作を説明する図である。
【図６】距離算出回路１４１の動作を説明する図である。
【図７】ＣＰＵ１００とＤＳＰとが連携して実行するスルー画表示処理の処理手順を示すフローチャートである。
【図８】第２実施形態を説明する図である。
【図９】第２実施形態を説明する図である。
【図１０】第３実施形態を説明する図である。
【図１１】第３実施形態を説明する図である。
【図１２】第４実施形態を説明する図である。
【図１３】第４実施形態を説明する図である。
【発明を実施するための形態】
【００３６】
以下図面を参照して本発明の実施の形態を説明する。
【００３７】
図１は、本発明の一実施形態である撮影装置を示す図である。
【００３８】
図１（ａ）には、撮影装置１を斜め上方から見た斜視図が示されている。
【００３９】
図１（ａ）に示す撮影装置１には、２つの撮像部１Ａ，１Ｂが備えられている。以降においてはこの２つの撮像部を第１の撮像部１Ａと第２の撮像部１Ｂと記載して区別することにする。
【００４０】
この第１の撮像部１Ａと第２の撮像部１Ｂとは、立体視用の画像信号を生成することが可能な様に並べて配置されており、これらの撮像部１Ａ，１Ｂで右眼用と左眼用の画像信号がそれぞれ生成される。図１の撮影装置１の上面にある電源スイッチ１０Ａが操作され、撮影モードダイヤル１０Ｂが撮影モードというモードにセットされてシャッタ釦１０Ｃが操作されると、立体視用の画像データが双方の撮像部１Ａ，１Ｂで生成される。
【００４１】
また、被写界輝度が暗いときには被写体に向けてフラッシュを発光するフラッシュ発光窓ＷＤが撮像部１Ｂの上方に設けられている。
【００４２】
また、図１（ｂ）に示す様に、背面には３次元表示が可能な表示画面を有する２Ｄ／３Ｄ表示装置ＤＩＳＰが備えられており、その２Ｄ／３Ｄ表示装置ＤＩＳＰが備える表示画面上には双方の撮像部１Ａ，１Ｂが捉えている同一の被写体が立体画像となって表示される。さらに、その表示画面の側方にはズームスイッチ１０Ｄやメニュー／ＯＫ釦１０Ｅや十字キー１０Ｆなどの操作子も配備されている。なおこの明細書の全般にわたって、２次元を示す文言として２Ｄという文言を用い、３次元を示す文言として３Ｄという文言を用いることがある。
【００４３】
図２は、図１の撮影装置１の内部の構成を示すブロック図である。
【００４４】
図２を参照して撮影装置１の内部の構成を説明する。
【００４５】
この撮影装置１の動作は、統括的にＣＰＵ１００によって制御される。
【００４６】
ＣＰＵ１００にはバスＢｕｓを介してメモリ１０１が接続されている。そのメモリ１０１はＲＯＭとＲＡＭとで構成され、そのＲＯＭの中にはこの撮影装置１が動作するのに必要なプログラムが格納されている。このプログラムの手順にしたがってＣＰＵ１００は、この撮影装置１の動作を制御する。
【００４７】
まず、図１に示した電源スイッチ１０Ａが操作されると、ＣＰＵ１００は、不図示の電源制御部を制御してバッテリからの電力を電源制御部を通して図２の各部に供給させてこの撮影装置１を動作状態に移行させる。こうしてＣＰＵ１００は撮影処理を開始する。なお、ＡＥ／ＡＦ検出部１３０と画像入力コントローラ１１３Ａと画像信号処理回路１１４と３Ｄ画像生成回路１１５と動体検出回路１４０と距離算出回路１４１とは、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等のプロセッサで構成されているとし、ＣＰＵ１００はそのＤＳＰと連携して処理を実行するとする。また２Ｄ／３Ｄ表示装置ＤＩＳＰは、非特許文献１のような表示装置で構成され、２Ｄ／３Ｄ表示切替回路１１６は、ＶＲＡＭ等の表示バッファで構成されているとする。この２Ｄ／３Ｄ表示切替回路１１６を構成するＶＲＡＭは、左眼用の画像信号と右眼用の画像信号との双方を２フレーム分を記憶することが可能な記憶領域を有しており、ＣＰＵ１００からの切替信号に応じて２Ｄ／３Ｄ表示装置ＤＩＳＰに右眼用の画像信号と左眼用の画像信号との双方を供給して２Ｄ／３Ｄ表示装置ＤＩＳＰに３次元画像を表示させるか、あるいは右眼用の画像信号と左眼用の画像信号とのうちのいずれか一方の画像信号を供給して２次元画像を表示させる。さらに画像圧縮処理回路１５０は、専用のＩＣで構成されているとして以降説明する。
【００４８】
ここで、先に図１で説明した第１の撮像部１Ａと第２の撮像部１Ｂの内部の構成を、図２を参照して説明する。なお第１の撮像部１Ａの各構成部材には‘第１の’という文言を付し、第２の撮像部１Ｂの各構成部材には‘第２’のという文言を付して説明する。
【００４９】
第１の撮像部１Ａには、第１のフォーカスレンズＦＬＡを含む第１の撮影光学系１１０Ａと、その第１のフォーカスレンズＦＬＡを光軸方向に移動させる第１のモータドライバ１０２Ａと、被写体が第１の撮影光学系で結像されてなる被写体光を受光してその被写体を表わす画像信号を生成する第１のＣＣＤ１１１Ａとその撮像素子に電子シャッタをセットするタイミングジェネレータ１０４Ａが備えられている。
【００５０】
また、この第１の撮影光学系１１０Ａはズームレンズになっており、そのズームレンズを図１のズームスイッチ１０Ｄの操作に応じた焦点距離にする制御を行なう第２のモータドライバ１０３Ａも備えられている。なお、この図２には、撮影光学系全体がズームレンズであることが１枚のレンズＺＬＡ，ＺＬＢで模式的に示されている。
【００５１】
一方、第２の撮像部１Ｂにも上記第１の撮像部１Ａと同じ様に、第２のフォーカスレンズＦＬＢを含む撮影光学系１１０Ｂと、その第２のフォーカスレンズＦＬＢを光軸に方向に移動させる第３のモータドライバ１０２Ｂと、被写体が第２の撮影光学系１１０Ｂで結像されてなる被写体光を受光してその被写体を表わす画像信号を生成する第２の撮像素子１１１Ｂと第２のタイミングジェネレータ１０４Ｂとが備えられている。また第１の撮像部と同様に、ズームレンズである撮影光学系１１０Ｂを図１のズームスイッチ１０Ｄの操作に応じた焦点距離にする制御を行なう第４のモータドライバ１０３Ｂも備えられている。
【００５２】
これらの第１の撮像部１Ａと第２の撮像部１Ｂとで立体視用の画像信号、つまり第１の撮像部１Ａでは右眼用の画像信号が生成され、第２の撮像部１Ｂでは左眼用の画像信号がそれぞれ生成される。
【００５３】
第１の撮像部１Ａと第２の撮像部１Ｂとは右眼用の画像信号を生成するか、左眼用の画像信号を生成するかの違いだけで構成が全く同じであって、第１のＡ／Ｄ変換部１１２Ａと第２のＡ／Ｄ変換部１１２Ｂで双方の撮像部１Ａ，１Ｂで生成された画像信号がデジタル信号に変換されて画像入力コントローラ１１３Ａ，１１３ＢによってバスＢｕｓに導かれた後の処理も同じであるので、第１の撮像部１Ａについて画像信号の流れに沿ってその構成を説明していく。
【００５４】
まず、第１の撮像部１Ａが捉えている被写体をそのままスルー画として表示画面ＤＩＳＰ上に表示する際の動作から説明する。
【００５５】
操作部１０内の電源スイッチ１０Ａが操作されたことを受けてＣＰＵ１００は不図示の電源制御部を制御して各部にバッテリからの電力を供給させてこの撮影装置１を動作状態に移行させる。
【００５６】
ＣＰＵ１００は、まず、第１のモータドライバ１０２Ａを制御して焦点調整を開始する。さらにタイミングジェネレータ（以降ＴＧという）１０４Ａに指示して撮像素子（この例ではＣＣＤ固体撮像素子が用いられているので以降ＣＣＤという）１１１Ａに電子シャッタを設定させ、例えば１／６０秒ごとにＣＣＤ１１１ＡからＡ／Ｄ変換部１１２Ａに画像信号を出力させる。
【００５７】
このＡ／Ｄ変換部１１２ＡにおいてもＴＧ１０４Ａからのタイミング信号に同期して１／６０秒ごとにアナログの画像信号がデジタルの画像信号への変換処理が行なわれる。こうしてＡ／Ｄ変換部１１２Ａで変換され出力されてくるデジタルの画像信号が画像入力コントローラ１１３Ａによって１／６０秒ごとにバスＢｕｓに導かれ、このバスＢｕｓに導かれた画像信号はメモリ１０１内のＲＡＭに一旦記憶される。ＣＣＤ１１１Ａからは１／６０秒ごとに画像信号が出力されるので、このメモリ内のＲＡＭの内容は１／６０ごとに書き換えられることになる。
【００５８】
このＲＡＭに記憶された画像信号は、ＡＥ／ＡＦ検出部１３０と画像信号処理回路１１６Ａ等を構成するＤＳＰによって１／６０ごとにそれぞれ読み出される。
【００５９】
ＡＥ／ＡＦ検出部１３０では、ＣＰＵ１００が第１のモータドライバ１０２Ａを制御してフォーカスレンズＦＬＡを移動させている最中の１／６０ごとにコントラストの検出が行なわれてＡＦサーチが実施される。このＡＥ／ＡＦ検出部１３０の検出結果に基づいてＣＰＵ１００はモータドライバ１０２Ａに指示して第１のフォーカスレンズＦＬＡを合焦位置に移動させ停止させる。このため、第１の撮像部１Ａがどの方向に向けられてもすぐにピントが調整されて、２Ｄ／３Ｄ表示装置ＤＩＳＰの表示画面上には、ほぼいつでもピントのあった被写体が表示される。なおＡＥ／ＡＦ検出回路１３０では、輝度の検出も１／６０ごとに行なわれて不図示の絞りの径なども調整される構成になっている。
一方、画像信号処理回路１１４では、表示に適した画像信号になるように処理が行なわれ、その画像信号処理回路１１４の信号処理により表示に適したものに変換された画像信号が、３Ｄ画像生成回路１１５へと供給されてその３Ｄ画像生成回路１１５で表示用の右眼用の画像信号が生成され、生成された右眼用の画像信号が２Ｄ／３Ｄ表示切替回路１１６に記憶される。
【００６０】
ここまでの動作と同じ動作が、同じタイミングで第２の撮像部１Ｂによっても行なわれる。
【００６１】
したがって２Ｄ／３Ｄ表示切替回路１１８には、右眼用と左眼用との画像信号からなる３次元画像用の画像信号とがそれぞれ記憶されることになる。
【００６２】
この２Ｄ／３Ｄ表示切替回路１１６は、ＣＰＵ１００が受け取った動体検出回路１４０と距離算出回路１４１からの動体の検出とその動体の被写体距離の算出結果とに基づいて２Ｄ／３Ｄ表示装置ＤＩＳＰに対して右眼用の画像信号と左眼用の画像信号との双方か、あるいは一方を供給させて表示画面上に３次元画像と２次元画像とのうちのいずれか一方を表示させる。
【００６３】
ここで、この例では、被写体中の動体が主要被写体であって、その動体の被写体距離が閾値未満のときには立体視が不能であるとして２次元画像を表示画面上に表示させる構成にしてある。また動体は一つとは限らないので、動体検出回路１４０で動体が複数検出された場合には、ＣＰＵ１００は、それらの動体の各被写体距離を距離算出回路１４１に算出させ、ＣＰＵ１００がその距離算出回路１４１からの算出結果を受け取ってそれらの被写体距離がすべて閾値未満にあるかどうかを判定し、一つでも閾値以上のものがあるときには、その閾値以上の動体が主要被写体であるとして３次元画像を表示させ、すべてが閾値未満であるときには２次元画像を表示させている。
【００６４】
ここで、図２から離れて、図３から図６を参照して動体検出回路１４０と距離算出回路１４１との動作を説明する。
【００６５】
図３、図４は、動体検出回路１４０の動作を説明する図であり、図５、図６は、距離算出回路１４１の動作を説明する図である。
【００６６】
まず図３、図４を参照して動体検出回路１４０の動作を説明する。
【００６７】
図３には、動体検出回路１４０の入力信号と出力信号とが示されており、さらに内部で検出に使用されるパラメータが特徴点Ｐであることが示されている。図４には、連続する２つのフレームの被写体を表わす画像とその画像中の動体を特定するパラメータとなる特徴抽出点Ｐとが示されている。
【００６８】
図１、図２の構成を持つ撮影装置１では、被写体中に動体があるかどうかが動体検出回路１４０によって２フレームの画像信号を使って検出される。動体検出回路１４０には、図３に示す様に、１つ前のフレーム（ｎ−１）の画像信号と現在のフレーム（ｎ）の画像信号とが動体検出回路１４０に入力される。この動体検出回路１４０では、図４に示す様に２つのフレームの特徴点Ｐが所定の閾値を超えて移動したかどうかにより特徴点Ｐを含む部分が動体であるかどうかの判定が実施される。ここで動体があると判定されると、動体のエリア情報が距離算出回路１４１に入力される。
【００６９】
図５には、その距離算出回路１４１の動作が示されている。その距離算出回路１４１では、動体のエリア情報を受け取って、２次元と３次元の表示切替判定用のパラメータとなる各動体の被写体距離が算出される。詳細は後述するが、このパラメータには、第２実施形態で説明する画像の中心から主要動体までの画像内距離や第３実施形態で説明する主要動体の画像内の面積比率などがある。
まず、被写体距離が２次元画像と３次元画像とを切り替える判断用のパラメータに何故なるかを説明する。
【００７０】
図６に示す様に、２つの撮像部１Ａ，１Ｂと被写体とを結んで形成される輻輳角Ｋが、主要被写体である動体が２つの撮像部１Ａ，１Ｂに近づいてきて大きくなってくると双方の撮像部１Ａ，１Ｂでは立体視することができなくなる。そこで、立体視することができなくなる輻輳角に対応する被写体距離を閾値として、ＣＰＵ１００が、距離算出手段１４１に算出させた各動体の被写体距離がその閾値未満であるか、閾値以上であるかに応じてスルー画を２次元画像で表示させるか、３次元画像で表示させるかを切り替える構成にしている。なお、距離算出手段１４１に被写体距離を算出させるにあたっては、ＡＥ／ＡＦ検出回路１３０からのコントラスト情報がバスＢｕｓを経由して転送されそのコントラスト情報に基づいて被写体距離が算出される。
【００７１】
つまり第１実施形態では、この被写体距離が輻輳角に対応し、立体視することができない輻輳角になったときの被写体距離を閾値として、２次元画像と３次元画像とを切り替える判断材料にすることを提案している。
【００７２】
そしてＣＰＵ１００は、この距離算出回路１４１で算出された１つ以上の動体の被写体距離がすべて閾値未満であると判定したときには、２Ｄ／３Ｄ表示切替回路１１６に指示して右眼用の画像信号のみを２Ｄ／３Ｄ表示装置ＤＩＳＰに供給させて２Ｄ／３Ｄ表示装置ＤＩＳＰの表示画面上に２次元画像を表示させる。なお、上記閾値は、予め算出されメモリ１０１内のＲＯＭに記憶されている。
【００７３】
こうして１つ以上の動体の被写体距離が１つでも閾値以上になっているときには図１の表示画面を備える表示装置ＤＩＳＰに右眼用の画像信号と左眼用の画像信号とが供給され表示画面上に３次元画像が表示され、撮影者が被写体を捉えている最中の被写体中の１つ以上の動体の被写体距離がすべて閾値未満になったときには右眼用（あるいは左眼用）の画像信号のみが供給されて表示画面上に２次元画像が表示される。
【００７４】
第１、第２のＣＣＤ１１１Ａ，１１１Ｂからは１／６０ごとに画像信号を出力させ続けているので、メモリ内のＲＡＭの画像信号は１／６０ごとに書き換えられ、２Ｄ／３Ｄ表示切替回路には１／６０ごとに切り替えられた画像信号が供給され表示画面上にはスルー画が表示され、そのスルー画が３次元画像か、２次元画像のいずれかに動体の被写体距離に応じて切り替えられることになる。
【００７５】
また、スルー画を表示するにあたっては、ＣＰＵ１００は、１つ以上の動体のうちの上記閾値に最も近い被写体距離に応じた合焦位置に、第１、第２のモータドライバ１０２Ａ，１０２Ｂに指示して第１、第２のフォーカスレンズＦＬＡ，ＦＬＢを移動させて停止させるので、撮影者が撮影しようとする動体を含めて後方に常にピントのあった画像が表示される。
【００７６】
その表示画面上の被写体が参照されシャッタ釦１０Ｃが押されると、表示画面上に３次元画像が表示されているときには、ＣＰＵ１００は、第１、第２のＴＧ１０４Ａ，１０４Ｂに電子シャッタを設定させて静止画の撮影処理を開始する。ＣＰＵ１００は、電子シャッタのオフタイミングで第１、第２のＣＣＤ１１１Ａ，１１１Ｂから出力させた画像信号を第１、第２のＡ／Ｄ変換部１１２Ａ，１１２Ｂでアナログの画像信号をデジタルの画像信号に変換させる。
【００７７】
さらにＣＰＵ１００の指示にしたがって第１、第２の画像入力コントローラ１１３Ａ、１１３Ｂが、第１、第２のＡ／Ｄ変換部１１２Ａ，１１２Ｂで変換されたデジタルの画像信号をバスＢｕｓ側に導いてバスＢｕｓを経由して一旦すべての画像信号をメモリ１０２内のＲＡＭに記憶する。その後、今度は画像信号処理回路１１４がメモリ１０２の画像信号を読み出して表示に適した画像信号に変換し変換した画像信号を３Ｄ画像生成回路１１５へと転送する。こうして画像信号処理回路１１４と３Ｄ画像生成回路１１５で表示に適した右眼用の画像信号と左眼用の画像信号とが生成され、３Ｄ画像生成回路１１５で２Ｄ／３Ｄ表示装置ＤＩＳＰの表示画面に表示するための表示用の右眼用の画像信号と左眼用の画像信号が生成された後、ＣＰＵ１００は、３Ｄ画像生成回路１１５内の右眼用の画像信号と左眼用の画像信号を、バスＢｕｓを使って圧縮・伸長処理回路１５０に供給する。ＣＰＵ１００は、この圧縮伸張処理回路１５０に画像データの圧縮を行なわせた後、その圧縮された画像データをメディアコントローラ１５１にバスＢｕｓを使って転送するとともに、その圧縮や撮影に係るヘッダ情報をメディアコントローラ１５１に供給してメディアコントローラ１５１に画像ファイルを生成させ記録メディア１５２にその画像ファイルを記録させる。
【００７８】
一方、２Ｄ／３Ｄ表示装置ＤＩＳＰの表示画面上の被写体が参照されシャッタ釦１０Ｃが押されたときに表示画面上に２次元画像が表示されているときには、ＣＰＵ１００は、第１のＴＧ１０４Ａに電子シャッタを設定させて静止画の撮影処理を開始する。ＣＰＵ１００は、電子シャッタのオフタイミングで第１のＣＣＤ１１１Ａから出力させた画像信号を第１のＡ／Ｄ変換部１１２Ａでアナログの画像信号をデジタルの画像信号に変換させる。
【００７９】
さらにＣＰＵ１００の指示にしたがって第１の画像入力コントローラ１１３Ａが、第１のＡ／Ｄ変換部１１３Ａで変換されたデジタルの画像信号をバスＢｕｓ側に導いてバスＢｕｓを経由して一旦すべての画像信号をメモリ１０２内のＲＡＭに記憶する。その後、今度は画像信号処理回路１１４がメモリ１０２の画像信号を読み出して表示に適した画像信号に変換する。こうして画像信号処理回路１１４で表示に適した右眼用の画像信号と左眼用の画像信号とが生成された後、ＣＰＵ１００は、画像信号処理回路１１４内の右眼用の画像信号を、バスＢｕｓを使って圧縮・伸長処理回路１５０に供給する。ＣＰＵ１００は、この圧縮・伸張処理回路１５０に画像データの圧縮を行なわせた後、その圧縮された画像データをメディアコントローラ１５１にバスＢｕｓを使って転送するとともに、その圧縮や撮影に係るヘッダ情報をメディアコントローラ１５１に供給してメディアコントローラ１５１に画像ファイルを生成させ記録メディア１５２にその画像ファイルを記録させる。
【００８０】
以上が図１の撮影装置１の構成および動作である。
【００８１】
最後にＣＰＵ１００と画像信号処理回路１１４や動体検出回路１４０等を構成するＤＳＰとが連携して実行するスルー画表示処理の処理手順を説明する。
【００８２】
図７は、ＣＰＵ１００とＤＳＰとが連携して実行するスルー画表示処理の処理手順を示すフローチャートである。
【００８３】
ステップＳ７０１で、動体検出回路１４０に被写体の動きを検出させる。ステップＳ７０１で動体検出回路１４０が被写体に動きのないことを検出したときには、Ｎｏ側へ進んでステップＳ７０２で現在の表示が３Ｄになっているかどうかを判定する。このステップＳ７０２で３Ｄであると判定すると、Ｙｅｓ側へ進んでステップＳ７０３でスルー画を３次元画像で表示させ、ステップＳ７０２で２Ｄであると判定すると、Ｎｏ側へ進んでステップＳ７０４でスルー画を２次元画像で表示させてこのフローの処理を終了する。
【００８４】
ステップＳ７０１で、被写体の動きを検出したときには、ステップＳ７０５で動体検出回路１４０に動体を検出させるとともに視差からその動体を検出したエリア情報を検出させ、そのエリア情報を下にステップＳ７０６で距離算出回路１４１に動体の被写体距離を算出させる。
【００８５】
ステップＳ７０７へ進んで動きを検出した動体が１つであるかどうかを動体検出部１４０からの検出結果に基づいて判定する。ここで１つであると判定すると、Ｙｅｓ側へ進んでステップＳ７０８で動体にピントをあわせる。ステップＳ７０９で動体の被写体距離が閾値未満であるかどうかを判定し、ステップＳ７０９で閾値未満であると判定すると、Ｙｅｓ側へ進んでステップＳ７１０でスルー画を２次元画像で表示させ、ステップＳ７０９で閾値以上であると判定すると、Ｎｏ側へ進んでステップＳ７１１でスルー画を３次元画像で表示させてこのフローの処理を終了する。
【００８６】
ステップＳ７０７で動きを検出した動体が１つよりも多い場合には、Ｎｏ側へ進んでステップＳ７１２で全ての動体の被写体距離が閾値未満であるかどうかを判定する。ここで全ての動体の被写体距離が閾値未満であると判定したときには、Ｙｅｓ側へ進んでステップＳ７１３で距離が閾値に最も近い動体にピントをあわせステップＳ７１４へ進んで表示画面上に２次元画像のスルー画を表示させる。
【００８７】
ステップＳ７１２で全てが閾値未満ではないと判定するとＮｏ側へ進んでステップＳ７１５で閾値以上かつ閾値に最も近い動体の被写体距離にピントをあわせステップＳ７１６へ進んで２Ｄ／３Ｄ画像表示装置ＤＩＳＰに３次元画像のスルー画を表示させこのフローの処理を終了する。
【００８８】
このフローの処理をＣＰＵ１００とＤＳＰとが連携して実行すると、被写体中の動体の被写体距離に応じて２次元画像と３次元画像とが切り替えられてスルー画が表示される。
【００８９】
このフローの処理が、本発明の画像表示方法の一例を構成する。
【００９０】
以上説明した様に、撮影者は、スルー画を３次元画像で見ながら撮影しようとしている最中に主要動体が図１の撮影装置に近づいてきても主要動体の２重像を見ることなく、シャッタチャンスに２次元画像を見ながら撮影を好適に行なうことができる。
【００９１】
図８、図９は、第２実施形態を説明する図である。
【００９２】
図８には、図５の距離算出回路１４１の動作を、距離算出回路１４１Ａに変更して被写体距離に加えて画像内距離を算出する構成にしたことが示されている。この距離算出回路１４１Ａの構成が変更された図２の内部構成を持つ図１の撮像装置１が本発明の第２実施形態を構成する。
【００９３】
上記した様に第１実施形態では、閾値に最も近い被写体距離にある動体にピントをあわせる様にしたが、その場合には撮影領域の中央以外にある被写体を主要動体としてしまう場合もある。
【００９４】
そこで撮影者が撮影において主要被写体を大抵中央に捉えるということを考慮して、図８の距離算出回路１４１Ａに、被写体距離に加えて第１又は第２の撮像部１Ａ又は１Ｂで生成された画像信号に基づいて、画像信号により表わされる画像の中心から動体検出回路１４０で検出された動体までの２次元と３次元の表示切替判定用のパラメータとなる画像内距離Ａを算出させている。こうして画像内距離Ａが最小の動体にピントをあわせる構成にすると、撮影領域の中央の主要動体にピントがあう確率が高くなる。
【００９５】
図９は、図８の距離算出回路１４１Ａが備えられた場合に、ＣＰＵ１００が実行するスルー画の表示処理の手順を示すフローチャートである。
【００９６】
図８に示した様に距離算出回路１４１Ａの構成を変更したことで、図７のフローにステップＳ７１２１とステップＳ７１４１が追加され、図９のフローのステップＳ７１３とステップＳ７１５がステップＳ７１３ＡとステップＳ７１５Ａに変更されている。それ以外は、図７と同じ処理である。
【００９７】
フローの変更箇所のみを説明する。
【００９８】
ＣＰＵ１００が、ステップＳ７１２ですべての動体の被写体距離が閾値未満であると判定したときには、ステップＳ７１２１で画像信号が表わす画像の中心から動体までの距離つまり画像内距離Ａを距離算出回路１４１Ａに算出させる。次のステップＳ７１３Ａへ進んで画像内距離Ａが最小となる動体にピントが合うように第１のモータドライバ１０２Ａ又は第３のモータドライバ１０２Ｂに指示して第１のフォーカスレンズＦＬＡ又は第２のフォーカスレンズＦＬＢを移動させ停止させてスルー画を２次元画像で表示させてこのフローの処理を終了する。
【００９９】
ステップＳ７１２で一つでも閾値以上の動体がある場合には、Ｎｏ側へ進んでステップＳ７１４１で画像内距離Ａを距離算出回路１４１Ａに算出させる。ステップＳ７１５で被写体距離が閾値以上であってしかも画像内距離Ａが最小となる動体にピントがあうように第１、第３のモータドライバ１０２Ａ，１０２Ｂに指示して第１、第２のフォーカスレンズＦＬＡ，ＦＬＢを移動させ停止させてスルー画を３次元画像で表示させてこのフローの処理を終了する。このフローの処理が本発明にいう画像表示方法の別の一例を構成する。
【０１００】
このようにすると、撮影しようとしている主要動体にピントがあう率が一段と高まる。
【０１０１】
図１０、図１１は、第３実施形態を説明する図である。
【０１０２】
第２実施形態では、第１又は第２の撮像部１Ａ，１Ｂで生成された画像信号に基づいて、画像信号により表わされる画像の中心から動体検出手段１４０で検出された動体までの画像内距離Ａを算出しその画像内距離Ａが最小の動体にピントをあわせたが、画像内距離が最小のものであっても例えば並んで歩いている人を撮影しようとしているときに撮影対象ではない小猫がその２人の間の後方を動くようなことがあると、誤ってその子猫にピントを合わせてしまう可能性がある。
【０１０３】
そこで、撮影者が主要動体を画面中央に大きく捉えるということを考慮して、第３実施形態では距離算出回路１４１Ｂの構成が、図１０に示す様に被写体距離に加えて第１又は第２の撮像部で生成された画像信号に基づいて、画像信号により表わされる画像の面積に対する、動体検出回路１４０で検出された動体の画像上の面積比率を２次元と３次元の表示切替判定用のパラメータとして算出する構成に変更されている。
【０１０４】
この距離算出回路１４１Ｂの構成が変更された図２の内部構成を持つ図１の撮像装置１が本発明の第３実施形態を構成する。
【０１０５】
この第３実施形態の構成を持つＣＰＵが実行する処理を図１１のフローチャートを参照して説明する。
【０１０６】
図１１のフローチャートでは、図８の距離算出回路１４１Ａの構成を図１０の距離算出回路１４１Ｂに変更したことで、図９のフローのステップＳ７１２１とステップＳ７１３Ａの処理がステップＳ７１２１ＢとステップＳ７１３Ｂの処理に変更され、さらにステップＳ７１４１とステップＳ７１５Ａの処理がステップＳ７１４１ＢとステップＳ７１５Ｂとに変更されている。それ以外は、図９と同じ処理である。変更部のみを図１１を参照して説明する。
【０１０７】
ＣＰＵ１００が、ステップＳ７１２ですべての動体の被写体距離が閾値未満であると判定したときには、ステップＳ７１２１Ｂで第１の撮像部１Ａ又は第２の撮像部１Ｂで生成された画像信号に基づいて、画像信号により表わされる画像の面積に対する、動体検出回路１４０で検出された動体の画像上の面積比率を距離算出回路１４１Ｂに算出させる。次のステップＳ７１３Ｂへ進んで面積比率が最大となる動体にピントが合うように第１のモータドライバ１０２Ａ又は第３のモータドライバ１０２Ｂに指示して第１のフォーカスレンズＦＬＡ又は第２のフォーカスレンズＦＬＢを移動させ停止させてスルー画を２次元画像で表示させてこのフローの処理を終了する。
【０１０８】
ステップＳ７１２で一つでも閾値以上の動体がある場合には、ステップＳ７１４１Ｂで第１の撮像部１Ａ又は第２の撮像部１Ｂで生成された画像信号に基づいて、画像信号により表わされる画像の面積に対する、動体検出回路１４０で検出された動体の画像上の面積比率を距離算出回路１４１Ｂに算出させる。ステップＳ７１５Ｂで距離が閾値以上であってしかも面積比率が最大となる動体にピントがあうように第１、第３のモータドライバ１０２Ａ，１０２Ｂに指示して第１、第２のフォーカスレンズＦＬＡ，ＦＬＢを移動させ停止させてスルー画を３次元画像で表示させてこのフローの処理を終了する。
【０１０９】
このフローの処理が、本発明の画像表示方法のさらに別の一例を構成する。
【０１１０】
このような構成にしても第１実施形態と第２実施形態と同様の効果が得られる。
【０１１１】
図１２、図１３は、第４実施形態を説明する図である。
【０１１２】
この第４実施形態には、距離算出回路１４１Ｃに第２実施形態と第３実施形態との双方の機能を持たせた例が示されている。図１２に示す様に、距離算出回路１４１Ｃに動体のエリア情報が入力されると、被写体距離と、画像信号により表わされる画像の中心から動体検出回路１４０で検出された動体までの画像内距離Ａと、画像信号により表わされる画像の面積に対する、動体検出回路１４０で検出された動体の画像上の面積比率との双方が２次元と３次元の表示切替判定用パラメータとして算出される。この距離算出回路１４１Ｃの構成が変更された図２の内部構成を持つ図１の撮像装置１が本発明の第４実施形態を構成する。
【０１１３】
この距離算出回路１４１Ｃに構成が変更されると、図９のフローの処理が図１３のフローのように変更される。
【０１１４】
図１３を参照してフローの処理を説明する。
【０１１５】
図１３のフローチャートは、ステップＳ７１２１Ｂ、ステップＳ７１２５、ステップＳ７１２６、ステップＳ７１３Ｃ、ステップＳ７１３Ｄと、ステップＳ７１４１、Ｓ７１４２、Ｓ７１４３、Ｓ７１５Ｃ、Ｓ７１５Ｄが追加されている以外は、図９のフローチャートと同じ処理である。
【０１１６】
変更箇所を図１３を参照して説明する。
【０１１７】
ＣＰＵ１００が、ステップＳ７１２ですべての被写体距離が閾値未満であると判定するとＹｅｓ側へ進んでステップＳ７１２１で画像内距離Ａを距離算出回路１４１Ｃに算出させ、さらにステップＳ７１２１Ｂで動体の画像上の面積比率を距離算出回路１４１Ｃに算出させる。次のステップＳ７１２５へ進んで画像内距離Ａが最小かつ比率が最大となる動体が存在するかどうかを判定する。
【０１１８】
このステップＳ７１２５で画像内距離Ａが最小かつ面積比率が最大となる動体があると判定すると、Ｙｅｓ側へ進んでステップＳ７１３Ｄで被写体距離が閾値に最も近く、かつ画像内距離Ａが最小、かつ比率が最大となる動体を主要動体としてその動体にピントが合うように第１のモータドライバ１０２Ａ又は第３のモータドライバ１０２Ｂに指示して第１のフォーカスレンズＦＬＡ又は第２のフォーカスレンズＦＬＢを移動させ停止させてスルー画を２次元画像で表示させてこのフローの処理を終了する。
【０１１９】
また、ステップＳ７１２５で、画像内距離Ａが最小かつ面積比率が最大となる動体がないと判定すると、Ｎｏ側へ進んで、ステップＳ７１２６でＣＰＵ１００は画像内距離Ａの逆数と比率とを掛け合わせて主要被写体決定値Ｂを算出する。ステップＳ７１３Ｃへ進んで画像内距離が閾値に最も近くかつ主要被写体決定値Ｂが最大となる被写体にピントがあうように第１のモータドライバ１０２Ａ又は第３のモータドライバ１０２Ｂに指示して第１のフォーカスレンズＦＬＡ又は第２のフォーカスレンズＦＬＢを移動させ停止させてステップＳ７１４でスルー画を２次元画像で表示させてこのフローの処理を終了する。
【０１２０】
一方、ＣＰＵ１００がステップＳ７１２ですべての被写体距離が閾値未満ではないと判定するとＮｏ側へ進んでステップＳ７１４１で画像内距離Ａを距離算出回路１４１Ｃに算出させ、さらにステップＳ７１４１Ｂで第１又は第２の撮像部で生成された画像信号に基づいて、画像信号により表わされる画像の面積に対する、動体検出回路１４０で検出された動体の画像上の面積比率を距離算出回路１４１Ｃに算出させる。次のステップＳ７１４２へ進んで画像内距離Ａが最小かつ比率が最大となる動体が存在するかどうかを判定する。
【０１２１】
このステップＳ７１４２で、画像内距離Ａが最小かつ比率が最大となる動体がないと判定すると、Ｎｏ側へ進んで、ステップＳ７１４３でＣＰＵ１００は画像内距離Ａの逆数と比率とを掛け合わせて主要被写体決定値Ｂを算出する。ステップＳ７１５Ｃへ進んで距離が閾値に最も近くかつ主要被写体決定値Ｂが最大となる被写体にピントがあうように第１、第３のモータドライバ１０２Ａ，１０２Ｂに指示して第１、第２のフォーカスレンズＦＬＡ，ＦＬＢを移動させ停止させてステップＳ７１６でスルー画を３次元画像で表示させてこのフローの処理を終了する。
【０１２２】
また、ステップＳ７１４２で、画像内距離Ａが最小かつ比率が最大となる動体があると判定すると、Ｙｅｓ側へ進んで、ステップＳ７１５ＤでＣＰＵ１００は画像内距離Ａが最小かつ比率が最大となる動体にピントがあうように第１、第３のモータドライバ１０２Ａ，１０２Ｂに指示して第１、第２のフォーカスレンズＦＬＡ，ＦＬＢを移動させ停止させてステップＳ７１６でスルー画を３次元画像で表示させてこのフローの処理を終了する。
この例では、ステップＳ７１２５からステップＳ７１３ＣとステップＳ７１２５からステップＳ７１３Ｄの処理と、ステップＳ７１４２からステップＳ７１５ＣとステップＳ７１４２からステップＳ７１５Ｄの処理が、本発明にいう主要動体決定手段の一例を構成する。これらステップの処理は、主要動体がどれであるかを決定するにあたって、画像内距離Ａの逆数をとってその画像内距離Ａの逆数と比率とを掛け合わせることで、中心からの距離Ａが大きくなって逆数が小さくなる動体である場合には例え面積の比率が大きくても中心から離れていて主要動体ではないという判断を行なうことができるようにしている。
【０１２３】
このフローの処理が本発明にいう画像表示方法のさらにもう一つ別の一例を構成する。
【０１２４】
以上説明した様に、３次元画像のスルー画が表示されている最中に主要被写体である動体が２重にぶれて表示されることを防止することができる撮影装置、およびその撮影装置における画像表示方法が実現する。
【符号の説明】
【０１２５】
１  撮影装置
１Ａ  第１の撮像部
１Ｂ  第２の撮像部
１００  ＣＰＵ
１０１  メモリ
１０２Ａ  １０２Ｂ  １０３Ａ  １０３Ｂ  モータドライバ
１１０Ａ  １１０Ｂ  撮影光学系
１１１Ａ  １１１Ｂ  撮像素子（ＣＣＤ）
１１２Ａ  １１２Ｂ  Ａ／Ｄ変換部
１１３Ａ  １１３Ｂ  画像入力コントローラ
１１４  画像信号処理回路
１１５  ３Ｄ画像生成回路
１１６  ２Ｄ／３Ｄ表示切替回路
１３０  ＡＥ・ＡＷＢ検出部
１４０  動体検出回路
１４１  １４１Ａ  １４１Ｂ  １４１Ｃ  距離算出回路  
ＤＩＳＰ    ２Ｄ／３Ｄ表示装置
【図１】
2010161492.tif 000003
【図２】
2010161492.tif 000004
【図３】
2010161492.tif 000005
【図４】
2010161492.tif 000006
【図５】
2010161492.tif 000007
【図６】
2010161492.tif 000008
【図７】
2010161492.tif 000009
【図８】
2010161492.tif 000010
【図９】
2010161492.tif 000011
【図１０】
2010161492.tif 000012
【図１１】
2010161492.tif 000013
【図１２】
2010161492.tif 000014
【図１３】
2010161492.tif 000015