(57)【要約】【課題】立体視可能なパノラマ画像を撮影する。【解決手段】パノラマ写真の撮影範囲（ｂ）と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲でスルー画像を撮影し（ｃ）、各画素毎に距離情報を取得する。スルー画像から人物を抽出し、抽出された人物を主要被写体とする。主要被写体が被写界深度の後端近傍に位置するようにフォーカス位置を決定し、この状態で１枚目の左視点画像データと右視点画像データを撮影（ｄ）し、２枚目の左視点画像データと右視点画像データを撮影する（ｅ）。１枚目の左視点画像データと２枚目の左視点画像データとをつなぎ合わせるとともに、１枚目の右視点画像データと２枚目の右視点画像データとをつなぎ合わせてパノラマ画像を得る（ａ）。【選択図】  図１０
2011259168.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系と、
前記撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、
前記瞳分割手段により分割された光束がそれぞれ結像される第１の画素群及び第２の画素群が同一平面上に２次元状に配設された撮像素子と、
前記撮像素子の水平方向に対する回転角度を検出する検出手段と、
前記検出された水平方向に対する回転角度に基づいて前記撮像素子が水平になるように前記撮像素子を前記撮影光学系の光軸に垂直な平面内で回転させる撮像素子回転手段と、
前記第１の画素群及び前記第２の画素群に被写体像を結像させて第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで前記第１の被写体像及び前記第２の被写体像をそれぞれ複数取得する本撮影手段と、
前記取得された複数の第１の被写体像のうちの重複する部分及び前記取得された複数の第２の被写体像のうちの重複する部分を重ね合わせて前記複数の第１の被写体像及び前記複数の第２の被写体像をそれぞれつなぎ合わせる画像生成手段と、
を備えたことを特徴とする立体パノラマ画像撮影装置。
【請求項２】
前記撮影光学系は、フォーカスレンズを含み、
所定の距離にある被写体が合焦するように前記フォーカスレンズを移動させるフォーカスレンズ移動手段を備え、
前記本撮影手段は、前記フォーカスレンズが前記所定の距離にある被写体に合焦するように移動された状態で、前記複数の第１の被写体像及び前記複数の第２の被写体像を取得することを特徴とする請求項１に記載の立体パノラマ画像撮影装置。
【請求項３】
前記複数の第１の被写体像及び前記複数の第２の被写体像を取得する前に、前記第１の画素群及び前記第２の画素群の少なくとも１つに所定の条件下で被写体像を結像させる前撮影手段と、
前記前撮影手段により結像された被写体像に基づいて被写体までの距離を示す距離情報を取得する第１の距離情報取得手段と、
前記取得された距離情報に基づいて前記所定の距離を決定するフォーカス位置決定手段と、
を備えたことを特徴とする請求項２に記載の立体パノラマ画像撮影装置。
【請求項４】
前記前撮影手段は、前記本撮影手段により連続的に結像される被写体像と略同じ撮影範囲で前記第１の画素群及び前記第２の画素群の少なくとも１つに被写体像を結像させることを特徴とする請求項３に記載の立体パノラマ画像撮影装置。
【請求項５】
前記第１の距離情報取得手段は、前記前撮影手段により結像された被写体像の距離情報を画素毎に取得し、
前記フォーカス位置決定手段は、前記距離情報の略中間値を前記所定の距離と決定することを特徴とする請求項３又は４に記載の立体パノラマ画像撮影装置。
【請求項６】
前記被写体像から主要被写体を検出する主要被写体検出手段を備え、
前記第１の距離情報取得手段は、前記距離情報として前記検出された主要被写体までの距離を取得し、
前記フォーカス位置決定手段は、前記検出された主要被写体までの距離に基づいて前記検出された主要被写体が合焦するように前記所定の距離を決定することを特徴とする請求項３又は４に記載の立体パノラマ画像撮影装置。
【請求項７】
前記フォーカス位置決定手段は、前記検出された主要被写体が被写界深度の前記撮影光学系から遠い側の端と略一致するように前記所定の距離を決定することを特徴とする請求項６に記載の立体パノラマ画像撮影装置。
【請求項８】
前記フォーカス位置決定手段は、前記主要被写体までの距離が所定の距離閾値より遠い主要被写体が合焦するように前記所定の距離を決定することを特徴とする請求項６又は７に記載の立体パノラマ画像撮影装置。
【請求項９】
前記複数の第１の被写体像及び前記複数の第２の被写体像の被写体までの距離を示す距離情報を画素毎に取得する第２の距離情報取得手段を備え、
前記画像生成手段は、前記取得された距離情報が等しい画素を重ねあわせることにより前記複数の第１の被写体像及び前記複数の第２の被写体像をそれぞれつなぎ合わせることを特徴とする請求項１から８のいずれかに記載の立体パノラマ画像撮影装置。
【請求項１０】
前記撮像素子回転手段は、前記撮像素子が水平な状態と、当該水平な状態との重複範囲が最大となるように前記水平な状態から９０度回転された垂直な状態との間で前記撮像素子を回転させ、
前記本撮影手段は、前記撮像素子が前記水平な状態及び前記垂直な状態で前記第１の画素群及び前記第２の画素群に被写体像を結像させて第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで、横向きの第１の被写体像と縦向きの第１の被写体像及び横向きの第２の被写体像と縦向きの第２の被写体像をそれぞれ複数取得し、
前記第２の距離情報取得手段は、前記横向きの第１の被写体像と前記横向きの第２の被写体像とに基づいて前記横向きの第１の被写体像と前記横向きの第２の被写体像の被写体までの距離を示す距離情報（以下、第１の距離情報という）を画素毎に取得し、かつ前記縦向きの第１の被写体像と前記縦向きの第２の被写体像とに基づいて前記縦向きの第１の被写体像と前記縦向きの第２の被写体像の被写体までの距離を示す距離情報（以下、第２の距離情報という）を画素毎に取得し、
前記画像生成手段は、前記横向きの第１の被写体像と前記縦向きの第１の被写体像との重なる範囲を前記横向きの第１の被写体像から切り出して第１の切り出し画像を複数生成すると共に前記横向きの第２の被写体像と前記縦向きの第２の被写体像との重なる範囲を前記横向きの第２の被写体像から切り出して第２の切り出し画像を複数生成し、前記第１の距離情報及び前記第２の距離情報の少なくとも１つに基づいて前記生成された複数の第１の切り出し画像及び前記生成された複数の第２の切り出し画像をそれぞれつなぎ合わせることを特徴とする請求項９に記載の立体パノラマ画像撮影装置。
【請求項１１】
前記第１の距離情報の画素数が所定の画素数より多いか否かを判断する手段を備え、
前記第１の距離情報の画素数が所定の画素数より多い場合には、前記本撮影手段は、前記複数の縦向きの第１の被写体像及び前記複数の縦向きの第２の被写体像を撮影しないことを特徴とする請求項１０に記載の立体パノラマ画像撮影装置。
【請求項１２】
前記画像生成手段は、前記第１の距離情報の画素数と、前記第２の距離情報の画素数とを比較し、前記第１の距離情報と前記第２の距離情報とのうちの画素数が多い方の距離情報に基づいて前記生成された複数の第１の切り出し画像及び前記生成された複数の第２の切り出し画像をそれぞれつなぎ合わせることを特徴とする請求項１０又は１１に記載の立体パノラマ画像撮影装置。
【請求項１３】
前記検出手段は、
前記撮像素子と一体となるように配設され、重力加速度を検出する加速度センサと、
前記撮像素子と一体となるように配設され、当該撮像素子の回転位置を検出する位置検出装置と、を有し、
前記撮像素子回転手段は、
前記撮像素子を回転させるアクチュエータと、
前記加速度センサ及び前記位置検出装置からの出力に基づいて前記アクチュエータの駆動を制御する駆動制御手段と、を有することを特徴とする請求項１から１２のいずれかに記載の立体パノラマ画像撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体パノラマ画像撮影装置に係り、立体視が可能なパノラマ画像を撮影する技術に関する。
【背景技術】
【０００２】
特許文献１には、複数の撮像部を備え、立体画像とパノラマ画像とが撮影可能な複眼カメラが記載されている。立体画像は、複数の撮像部の内、光軸が同一平面上にあり、各光軸が互いに平行または該平面上の前方で交わるような状態にある少なくとも２つの撮像部を利用して撮影する。パノラマ画像は、異なる撮像部を用いて互いに重複する空間を含む連続した空間を撮影し、２つの画像間で重複する部分がなめらかにつながるように合成することにより生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０３３４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１には、立体視可能なパノラマ画像を撮影することは記載されていない。
【０００５】
パノラマ画像は、特許文献１にも記載されているが、一般的には、互いに重複する空間を含む連続した空間を撮影し、これを合成することで生成される。そのためには、撮影装置を水平方向に回転させ、異なる撮影範囲で画像を撮影する必要がある。しかしながら、三脚や雲台を使用しない限り、平行にカメラを回転させることはほぼ不可能である。
【０００６】
三脚や雲台を使用しないで２次元のパノラマ画像を生成する場合には、特開２００９−２６８０３７に記載されているように、画像データ間の移動ベクトルを求め、この移動ベクトルに基づいて画像を合成し、矩形状のパノラマ画像として抜き出すようにトリミング処理を施す。これにより、互いに重複する空間を含む連続する画像データが傾いたとしても、パノラマ画像を生成することができる。
【０００７】
しかしながら、所定の視差を有する左目用画像と右目用画像とからなる立体画像の場合には、撮像素子が傾くと視差が左右方向でなくなってしまうため、トリミング処理により傾きを補正することはできない。
【０００８】
特許文献１に記載された複眼カメラを用いる場合に傾きを補正する方法としては、複眼カメラが傾いた分だけ複数の撮像部をそれぞれ傾かせるという方法も考えられる。しかしながら、複数の撮像部を全く同一の角度で傾かせることは、現実的に不可能である。
【０００９】
本発明はこのような事情に鑑みてなされたもので、立体視可能なパノラマ画像を撮影することができる立体パノラマ画像撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の立体パノラマ画像撮影装置は、撮影光学系と、前記撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、前記瞳分割手段により分割された光束がそれぞれ結像される第１の画素群及び第２の画素群が同一平面上に２次元状に配設された撮像素子と、前記撮像素子の水平方向に対する回転角度を検出する検出手段と、前記検出された水平方向に対する回転角度に基づいて前記撮像素子が水平になるように前記撮像素子を前記撮影光学系の光軸に垂直な平面内で回転させる撮像素子回転手段と、前記第１の画素群及び前記第２の画素群に被写体像を結像させて第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで前記第１の被写体像及び前記第２の被写体像をそれぞれ複数取得する本撮影手段と、前記取得された複数の第１の被写体像のうちの重複する部分及び前記取得された複数の第２の被写体像のうちの重複する部分を重ね合わせて前記複数の第１の被写体像及び前記複数の第２の被写体像をそれぞれつなぎ合わせる画像生成手段と、を備えたことを特徴とする。
【００１１】
請求項１に記載の立体パノラマ画像撮影装置によれば、撮影光学系を通過した光束が複数の光束に分割され、第１の画素群及び第２の画素群にそれぞれ結像される。撮像素子の水平方向に対する回転角度が検出され、検出された水平方向に対する回転角度に基づいて撮像素子が撮影光学系の光軸に垂直な平面内で回転されて撮像素子が水平にされ、隣接する撮影範囲の一部が重複するように第１の画素群及び第２の画素群に被写体像を連続的に結像させて複数の第１の被写体像及び複数の第２の被写体像がそれぞれ取得される。複数の第１の被写体像のうちの重複する部分を重ね合わせて複数の第１の被写体像をつなぎ合わせ、かつ複数の第２の被写体像のうちの重複する部分を重ね合わせて複数の第２の被写体像をつなぎ合わせる。これにより、立体視が可能なパノラマ画像を撮影することができる。
【００１２】
請求項２に記載の立体パノラマ画像撮影装置は、請求項１に記載の立体パノラマ画像撮影装置において、前記撮影光学系は、フォーカスレンズを含み、所定の距離にある被写体が合焦するように前記フォーカスレンズを移動させるフォーカスレンズ移動手段を備え、前記本撮影手段は、前記フォーカスレンズが前記所定の距離にある被写体に合焦するように移動された状態で、前記複数の第１の被写体像及び前記複数の第２の被写体像を取得することを特徴とする。
【００１３】
請求項２に記載の立体パノラマ画像撮影装置によれば、所定の距離にある被写体が合焦するように撮影光学系に含まれるフォーカスレンズが移動され、複数の第１の被写体像及び複数の第２の被写体像が取得される。これにより、つなぎ目が自然で立体感に違和感の無いパノラマ画像を生成することができる。
【００１４】
請求項３に記載の立体パノラマ画像撮影装置は、請求項２に記載の立体パノラマ画像撮影装置において、前記複数の第１の被写体像及び前記複数の第２の被写体像を取得する前に、前記第１の画素群及び前記第２の画素群の少なくとも１つに所定の条件下で被写体像を結像させる前撮影手段と、前記前撮影手段により結像された被写体像に基づいて被写体までの距離を示す距離情報を取得する第１の距離情報取得手段と、前記取得された距離情報に基づいて前記所定の距離を決定するフォーカス位置決定手段と、を備えたことを特徴とする。
【００１５】
請求項３に記載の立体パノラマ画像撮影装置によれば、本撮影の前に第１の画素群及び第２の画素群の少なくとも１つに所定の条件下で被写体像が結像され、この被写体像に基づいて被写体までの距離を示す距離情報が取得され、取得された距離情報に基づいてフォーカス位置が決定される。これにより、適切な立体感のあるパノラマ画像を得ることができる。
【００１６】
請求項４に記載の立体パノラマ画像撮影装置は、請求項３に記載の立体パノラマ画像撮影装置において、前記前撮影手段は、前記本撮影手段により連続的に結像される被写体像と略同じ撮影範囲で前記第１の画素群及び前記第２の画素群の少なくとも１つに被写体像を結像させることを特徴とする。
【００１７】
請求項４に記載の立体パノラマ画像撮影装置によれば、本撮影と略同じ撮影範囲で前撮影を行い、前撮影で得られた画像データに基づいてフォーカス位置が決定される。これにより、パノラマ画像に含まれる全ての被写体に基づいて適切なフォーカス位置を決定することができる。
【００１８】
請求項５に記載の立体パノラマ画像撮影装置は、請求項３又は４に記載の立体パノラマ画像撮影装置において、前記第１の距離情報取得手段は、前記前撮影手段により結像された被写体像の距離情報を画素毎に取得し、前記フォーカス位置決定手段は、前記距離情報の略中間値を前記所定の距離と決定することを特徴とする。
【００１９】
請求項５に記載の立体パノラマ画像撮影装置によれば、距離情報の略中間値がフォーカス位置と決定される。これにより、適切な立体感のあるパノラマ画像を得ることができる。
【００２０】
請求項６に記載の立体パノラマ画像撮影装置は、請求項３又は４に記載の立体パノラマ画像撮影装置において、前記被写体像から主要被写体を検出する主要被写体検出手段を備え、前記第１の距離情報取得手段は、前記距離情報として前記検出された主要被写体までの距離を取得し、前記フォーカス位置決定手段は、前記検出された主要被写体までの距離に基づいて前記検出された主要被写体が合焦するように前記所定の距離を決定することを特徴とする。
【００２１】
請求項６に記載の立体パノラマ画像撮影装置によれば、被写体像から主要被写体が検出され、検出された主要被写体が合焦するようにフォーカス位置が決定される。これにより、主要被写体にピントが合ったパノラマ画像を得ることができる。
【００２２】
請求項７に記載の立体パノラマ画像撮影装置は、請求項６に記載の立体パノラマ画像撮影装置において、前記フォーカス位置決定手段は、前記検出された主要被写体が被写界深度の前記撮影光学系から遠い側の端と略一致するように前記所定の距離を決定することを特徴とする。
【００２３】
請求項７に記載の立体パノラマ画像撮影装置によれば、検出された主要被写体が被写界深度の後端と略一致する、すなわち主要被写体の若干手前が合焦するようにフォーカス位置が決定される。これにより、背景をよりボケやすくすることができる。
【００２４】
請求項８に記載の立体パノラマ画像撮影装置は、請求項６又は７に記載の立体パノラマ画像撮影装置において、前記フォーカス位置決定手段は、前記主要被写体までの距離が所定の距離閾値より遠い主要被写体が合焦するように前記所定の距離を決定することを特徴とする。
【００２５】
請求項８に記載の立体パノラマ画像撮影装置によれば、主要被写体までの距離が所定の距離閾値より遠い主要被写体が合焦するようにフォーカス位置が決定される。これにより、距離が近すぎる被写体が合焦することで視差が大きくなり、全体として見にくい写真となることを防止することができる。
【００２６】
請求項９に記載の立体パノラマ画像撮影装置は、請求項１から８のいずれかに記載の立体パノラマ画像撮影装置において、前記複数の第１の被写体像及び前記複数の第２の被写体像の被写体までの距離を示す距離情報を画素毎に取得する第２の距離情報取得手段を備え、前記画像生成手段は、前記取得された距離情報が等しい画素を重ねあわせることにより前記複数の第１の被写体像及び前記複数の第２の被写体像をそれぞれつなぎ合わせることを特徴とする。
【００２７】
請求項９に記載の立体パノラマ画像撮影装置によれば、本撮影により得られた複数の第１の被写体像及び複数の第２の被写体像の各画素毎に被写体までの距離を示す距離情報が取得され、取得された距離情報が等しい画素を重ねあわせることにより複数の第１の被写体像及び複数の第２の被写体像がそれぞれつなぎ合わされる。これにより、つなぎ目が自然な立体パノラマ画像を得ることができる。
【００２８】
請求項１０に記載の立体パノラマ画像撮影装置は、請求項９に記載の立体パノラマ画像撮影装置において、前記撮像素子回転手段は、前記撮像素子が水平な状態と、当該水平な状態との重複範囲が最大となるように前記水平な状態から９０度回転された垂直な状態との間で前記撮像素子を回転させ、前記本撮影手段は、前記撮像素子が前記水平な状態及び前記垂直な状態で前記第１の画素群及び前記第２の画素群に被写体像を結像させて第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで、横向きの第１の被写体像と縦向きの第１の被写体像及び横向きの第２の被写体像と縦向きの第２の被写体像をそれぞれ複数取得し、前記第２の距離情報取得手段は、前記横向きの第１の被写体像と前記横向きの第２の被写体像とに基づいて前記横向きの第１の被写体像及び前記横向きの第２の被写体像の被写体までの距離を示す距離情報（以下、第１の距離情報という）を画素毎に取得し、かつ前記縦向きの第１の被写体像と前記縦向きの第２の被写体像とに基づいて前記縦向きの第１の被写体像及び前記縦向きの第２の被写体像の被写体までの距離を示す距離情報（以下、第２の距離情報という）を画素毎に取得し、前記画像生成手段は、前記横向きの第１の被写体像と前記縦向きの第１の被写体像との重なる範囲を前記横向きの第１の被写体像から切り出して第１の切り出し画像を複数生成すると共に前記横向きの第２の被写体像と前記縦向きの第２の被写体像との重なる範囲を前記横向きの第２の被写体像から切り出して第２の切り出し画像を複数生成し、前記第１の距離情報及び前記第２の距離情報の少なくとも１つに基づいて前記生成された複数の第１の切り出し画像及び前記生成された複数の第２の切り出し画像をそれぞれつなぎ合わせることを特徴とする。
【００２９】
請求項１０に記載の立体パノラマ画像撮影装置によれば、撮像素子が水平な状態及び垂直な状態で第１の被写体像及び第２の被写体像を取得する処理を隣接する撮影範囲の一部が重複するように連続的に行うことで、横向きの第１の被写体像と縦向きの第１の被写体像及び横向きの第２の被写体像と縦向きの第２の被写体像がそれぞれ複数取得される。横向きの第１の被写体像と縦向きの第１の被写体像との重なる範囲を横向きの第１の被写体像から切り出して第１の切り出し画像が複数生成されると共に、横向きの第２の被写体像と縦向きの第２の被写体像との重なる範囲を横向きの第２の被写体像から切り出して第２の切り出し画像が複数生成される。第１の距離情報及び第２の距離情報が画素毎に取得され、第１の距離情報及び第２の距離情報の少なくとも１つに基づいて複数の第１の切り出し画像及び複数の第２の切り出し画像がそれぞれつなぎ合わされる。これにより、距離情報の誤検出を低減させ、精度の良いパノラマ画像を生成することができる。
【００３０】
請求項１１に記載の立体パノラマ画像撮影装置は、請求項１０に記載の立体パノラマ画像撮影装置において、前記第１の距離情報の画素数が所定の画素数より多いか否かを判断する手段を備え、前記第１の距離情報の画素数が所定の画素数より多い場合には、前記本撮影手段は、前記複数の縦向きの第１の被写体像及び前記複数の縦向きの第２の被写体像を撮影しないことを特徴とする。
【００３１】
請求項１１に記載の立体パノラマ画像撮影装置によれば、第１の距離情報の画素数が所定の画素数より多い場合には、複数の縦向きの第１の被写体像及び複数の縦向きの第２の被写体像は撮影されない。これにより、必要の無い撮影をする手間を省くことができる。
【００３２】
請求項１２に記載の立体パノラマ画像撮影装置は、請求項１０又は１１に記載の立体パノラマ画像撮影装置において、前記画像生成手段は、前記第１の距離情報の画素数と、前記第２の距離情報の画素数とを比較し、前記第１の距離情報と前記第２の距離情報とのうちの画素数が多い方の距離情報に基づいて前記生成された複数の第１の切り出し画像及び前記生成された複数の第２の切り出し画像をそれぞれつなぎ合わせることを特徴とする。
【００３３】
請求項１２に記載の立体パノラマ画像撮影装置によれば、第１の距離情報の画素数と、第２の距離情報の画素数とが比較され、画素数が多い方の距離情報に基づいて複数の第１の切り出し画像及び複数の第２の切り出し画像がそれぞれつなぎ合わされる。これにより、精度の良い距離情報をつなぎ合わせに用いることができる。
【００３４】
請求項１３に記載の立体パノラマ画像撮影装置は、請求項１から１２のいずれかに記載の立体パノラマ画像撮影装置において、前記検出手段は、前記撮像素子と一体となるように配設され、重力加速度を検出する加速度センサと、前記撮像素子と一体となるように配設され、当該撮像素子の回転位置を検出する位置検出装置と、を有し、前記撮像素子回転手段は、前記撮像素子を回転させるアクチュエータと、前記加速度センサ及び前記位置検出装置からの出力に基づいて前記アクチュエータの駆動を制御する駆動制御手段と、を有することを特徴とする。
【００３５】
請求項１３に記載の立体パノラマ画像撮影装置によれば、重力加速度を検出する加速度センサと、撮像素子の回転位置を検出する位置検出装置とが撮像素子と一体となるように配設され、加速度センサ及び位置検出装置からの出力に基づいてアクチュエータの駆動が制御される。これにより、撮像素子が常に水平方向になるように制御することができる。また、フィードバック制御によりハンチングを防止することができる。
【発明の効果】
【００３６】
本発明によれば、立体視可能なパノラマ画像を撮影することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の第１の実施の形態に係る立体パノラマ画像撮影装置１の正面斜視図
【図２】立体パノラマ画像撮影装置１の背面図
【図３】立体パノラマ画像撮影装置１の側面図
【図４】立体パノラマ画像撮影装置１の位相差ＣＣＤの構成例を示す図
【図５】撮影レンズ、絞り、及び位相差ＣＣＤの主、副画素の１画素ずつを示した図
【図６】図５の部分拡大図
【図７】立体パノラマ画像撮影装置１の撮影光学系の模式図
【図８】立体パノラマ画像撮影装置１内部のブロック図
【図９Ａ】傾きの補正の概念を示す図
【図９Ｂ】傾きの補正の概念を示す図
【図１０】立体パノラマ画像撮影装置１の立体パノラマ撮影モードにおける処理の流れを示すフローチャート
【図１１】立体パノラマ画像撮影装置１の立体パノラマ撮影モードの処理を説明する図
【図１２】被写体深度を説明する図
【図１３】画像のつなぎあわせを説明する図
【図１４】本発明の第２の実施の形態に係る立体パノラマ画像撮影装置２の立体パノラマ撮影モードにおける処理の流れを示すフローチャート
【図１５】立体パノラマ画像の撮影処理の流れを示すフローチャート
【図１６】撮影処理の流れを示すフローチャート
【図１７】位相差ＣＣＤの受光エリア中心を回転中心にして９０度回転する様子を示す図
【図１８】位相差ＣＣＤの回転中心を受光エリア中心からずらして９０度回転する様子を示す図
【発明を実施するための形態】
【００３８】
以下、添付図面に従って本発明に係る立体パノラマ画像撮影装置の実施の形態について説明する。
【００３９】
＜第１の実施の形態＞
［撮像装置の全体構成］
図１は本発明に係る第１の実施の形態の撮像装置である立体パノラマ画像撮影装置１の一実施形態を示す斜視図である。図２は、上記立体パノラマ画像撮影装置１の一実施形態を示す背面図である。この立体パノラマ画像撮影装置１は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記憶メディアに記録するデジタルカメラである。
【００４０】
立体パノラマ画像撮影装置１のカメラボディ１０は、横長の四角い箱状に形成されており、その正面には、図１に示すように、レンズユニット１２、ストロボ２１等が配設されている。また、カメラボディ１０の上面にはシャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６等が配設されている。一方、カメラボディ１０の背面には、図２に示すように、液晶モニタ２８、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等が配設されている。
【００４１】
なお、図示しないカメラボディ１０の下面には、三脚ネジ穴と、開閉自在なカバーを介してバッテリ挿入部とメモリカードスロットとが設けられており、このバッテリ挿入部とメモリカードスロットにバッテリとメモリカードが装填される。
【００４２】
レンズユニット１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ２４によってカメラのモードを撮影モードに設定することにより、カメラボディ１０から繰り出される。なお、レンズユニット１２のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。
【００４３】
ストロボ２１は、主要被写体に向けてストロボ光を照射するものである。
【００４４】
シャッタボタン２２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。立体パノラマ画像撮影装置１は、撮影モードで駆動しているときは、このシャッタボタン２２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、立体パノラマ画像撮影装置１は、投影モードで駆動しているときは、このシャッタボタン２２が「全押し」されることにより、投影を実行する。
【００４５】
電源／モードスイッチ２４は、立体パノラマ画像撮影装置１の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、立体パノラマ画像撮影装置１のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。立体パノラマ画像撮影装置１は、電源／モードスイッチ２４をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２４をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
【００４６】
モードダイヤル２６は、立体パノラマ画像撮影装置１の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、立体パノラマ画像撮影装置１の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体視画像（３Ｄ画像）の撮影を行う「立体視画像撮影モード」、動画撮影を行う「動画撮影モード」、立体パノラマ撮影の撮影を行う「立体パノラマ撮影モード」等である。
【００４７】
この液晶モニタ２８は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が液晶モニタ２８に入力された場合には、液晶モニタ２８のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像や使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。なお、液晶モニタ２８の形態はこれに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。
【００４８】
ズームボタン３０は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタン３０Ｔと、広角側へのズームを指示するズームワイドボタン３０Ｗとからなる。立体パノラマ画像撮影装置１は、撮影モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、レンズユニット１２の焦点距離が変化する。また、再生モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、再生中の画像が拡大、縮小する。
【００４９】
十字ボタン３２は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。
【００５０】
ＭＥＮＵ／ＯＫボタン３４は、液晶モニタ２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。
【００５１】
再生ボタン３６は、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ２８に表示させる再生モードに切り替えるためのボタンである。
【００５２】
ＢＡＣＫボタン３８は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。
【００５３】
［撮影光学系、撮像素子の構成例］
図３は、立体パノラマ画像撮影装置１の要部断面図である。レンズユニット１２は、主として撮影レンズ１４、リレーレンズ１５、絞り１６、位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１７で構成される。
【００５４】
撮影レンズ１４は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。図３では、模式的に、撮影レンズ１４を複数のレンズを代表する１枚のメインレンズで表している。撮影モード時において、被写体を示す画像光は、撮影レンズ１４、絞り１６、リレーレンズ１５を介して位相差ＣＣＤ１７の受光面に結像される。
【００５５】
位相差ＣＣＤ１７の背面側には、位相差ＣＣＤ１７を回転させるアクチュエータ１８が配設されている。アクチュエータ１８は、立体パノラマ画像撮影装置１の傾きに応じて位相差ＣＣＤ１７をレンズユニット１２の光軸に垂直な同一平面内で光軸を中心に回転させる（後に詳述する）。
【００５６】
図４は位相差ＣＣＤ１７の構成例を示す図である。
【００５７】
位相差ＣＣＤ１７は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
【００５８】
図４に示すように位相差ＣＣＤ１７の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
【００５９】
図５は撮影レンズ１４、リレーレンズ１５、及び位相差ＣＣＤ１７の主、副画素の１画素ずつを示した図であり、図６は図５の要部拡大図である。図５では、図３と同様に、撮影レンズ１４を１枚のメインレンズで表している。なお、図５では、図３に示したリレーレンズ１５を省略している。
【００６０】
位相差ＣＣＤ１７の主画素、副画素の前面には、それぞれ遮光部材１７Ａ、１７Ｂが形成されている。図６（Ａ）に示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。図６（Ｂ）に示すように遮光部材１７Ａは、主画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、主画素には、射出瞳を通過する光束の光軸の左側のみが受光される。また、図６（Ｃ）に示すように遮光部材１７Ｂは、副画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、副画素には、射出瞳を通過する光束の光軸の右側のみが受光される。すなわち、遮光部材１７Ａ、１７Ｂは瞳分割機能を有している。
【００６１】
このように位相差ＣＣＤ１７の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで、位相差ＣＣＤ１７で立体視画像を撮影する仕組みについて説明する。
【００６２】
図７（Ａ）〜（Ｃ）は、フォーカスレンズがそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図７では、フォーカスによる分離の違いを比較するために絞り１６を省略している。
【００６３】
図７（Ｂ）に示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図７（Ａ）及び（Ｃ）に示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。
【００６４】
従って、左右方向に瞳分割された被写体像を位相差ＣＣＤ１７を介して取得することにより、フォーカス位置に応じて視差の異なる左視点画像及び右視点画像（立体視画像）を取得することができる。
【００６５】
尚、上記構成の位相ＣＣＤ１７は、主画素と副画素とでは、遮光部材１７Ａ、１７Ｂより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１７Ａ、１７Ｂを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。
【００６６】
［撮像装置の内部構成］
図８は本発明の第１の実施の形態に係る立体パノラマ画像撮影装置１の実施の形態を示すブロック図である。
【００６７】
この立体パノラマ画像撮影装置１は、撮像した画像をメモリカード１５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
【００６８】
操作部１３８（シャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等）からの信号はＣＰＵ１４０に入力され、ＣＰＵ１４０は入力信号に基づいて立体パノラマ画像撮影装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ２８の表示制御などを行う。
【００６９】
ＣＰＵ１４０によって制御されるレンズ駆動部１３６によってフォーカスレンズ、ズームレンズが駆動され、フォーカス制御、ズーム制御等が行われる。
【００７０】
レンズ駆動部１３６は、ＣＰＵ１４０からの指令に従い、フォーカスレンズを光軸方向に移動させ、焦点位置を可変する。また、レンズ駆動部１３６は、ＣＰＵ１４０からの指令に従い、ズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
【００７１】
絞り１６は、例えば、５枚の絞り羽根からなり、ＣＰＵ１４０によって制御される絞り駆動部１３４によって駆動され、例えば、絞り値Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。
【００７２】
また、ＣＰＵ１４０は、絞り駆動部１３４を介して絞り１６を制御するとともに、ＣＣＤ制御部１３２を介して位相差ＣＣＤ１７での電荷蓄積時間（シャッタスピード）や、位相差ＣＣＤ１７からの画像信号の読み出し制御等を行う。
【００７３】
さらに、ＣＰＵ１４０は、立体パノラマ画像撮影装置１の傾きを検出するジャイロセンサ（図示せず）の検出結果に応じて、検出された傾きを打ち消すように位相差ＣＣＤ１７が回転され、位相差ＣＣＤ１７が水平となるようにアクチュエータ１８を制御する。
【００７４】
図９Ａ、図９Ｂは、アクチュエータ１８の制御について説明する図であり、図９Ａ（Ａ）はレンズユニット１２近傍の要部を示す正面図であり、図９Ａ（Ｂ）はレンズユニット１２近傍の要部を示す断面図である。同図（Ｂ）には、アクチュエータ１８の制御のための電気的な内部構成があわせて記載されている。
【００７５】
位相差ＣＣＤ１７の背面には基板１７Ａが配設されており、基板１７の背面には、アクチュエータ１８の出力軸１８Ａの中心が位相差ＣＣＤ１７の中央と略一致するように、出力軸１８Ａが固定されている。
【００７６】
位置検出装置１９は、基板１７Ａの回転位置を検出するものであり、ホールセンサ１９Ａと磁石１９Ｂとで構成される。磁石１９Ｂは、基板１７Ａの上側の辺の中央近傍に固定され、基板１７Ａと共に移動する。ホールセンサ１９Ａは、磁石１９Ｂに対向するようにカメラボディ１０に固定され、磁石１９Ｂによる磁界を検出し、その大きさに比例したアナログ信号を出力する。これにより、位置検出装置１９からは基板１７Ａの回転角度に応じた信号が出力される。位置検出装置１９からの出力は、センサアンプ１６０で増幅されてアクチュエータ駆動回路１６５へ入力される。なお、位置検出装置１９は、ホールセンサ１９Ａと磁石１９Ｂとで構成される物に限られず、様々な公知の技術を用いることができる。
【００７７】
加速度センサ２０Ａは、重力加速度を検出するセンサであり、位相差ＣＣＤ１７の傾きを検出するセンサである。角速度センサ２０Ｂは、位相差ＣＣＤ１７のｚ軸周りの角速度を検出するセンサである。加速度センサ２０Ａ、角速度センサ２０Ｂからの出力は、それぞれアンプ１６１Ａ、１６１Ｂで増幅され、Ａ／Ｄ変換器１６２Ａ、１６２Ｂでデジタル信号に変換されてマイコン１６３に入力される。
【００７８】
マイコン１６３は、アクチュエータ駆動回路１６５を介してアクチュエータ１８の駆動を制御するもので、Ａ／Ｄ変換器１６２Ｂから入力された信号に基づいて角速度センサ２０Ｂの出力を打ち消すように位相差ＣＣＤ１７を回転させることを決定する。マイコン１６３は、決定した回転量をＤ／Ａ変換器１６４を介してアクチュエータ駆動回路１６５に出力し、アクチュエータ駆動回路１６５は、マイコン１６３からの出力に基づいてアクチュエータ１８を駆動する。
【００７９】
それに加え、マイコン１６３は、Ａ／Ｄ変換器１６２Ａから入力された信号、すなわち加速度センサ２０Ａからの出力に基づいてアクチュエータ１８の駆動量を決定する。図９Ｂ（Ｃ）は、マイコン１６３が加速度センサ２０Ａからの出力に基づいてアクチュエータ１８の駆動量を決定する処理の流れを示すフローチャートである。
【００８０】
図９Ｂ（Ｄ）に示すように、加速度センサ２０Ａでは重力方向の加速度（鉛直下向き）が検出されるが、基板１７Ａが傾いている場合には、検出された加速度はｘ方向の成分（以下、ｘ成分という）及びｙ方向の成分（以下、ｙ成分という）に分解可能である。まず、マイコン１６３は、Ａ／Ｄ変換器１６２Ａからの信号からｘ成分を検出し、閾値ｘ１、ｘ２と比較することでレベルを判定する（ステップＳ１）。閾値ｘ１、ｘ２は、少なくとも駆動１パルス分に相当するｘ成分の変化量となるように設定される。
【００８１】
ｘ成分がｘ１より大きい場合（ステップＳ２）には、位相差ＣＣＤ１７が正面から見て時計回りに所定の角度以上回転している場合であるため、マイコン１６３は、位相差ＣＣＤ１７を反時計回り（図９Ｂ（Ｄ）Ｌ方向）に１パルス移動させることを決定する（ステップＳ５）。
【００８２】
ｘ成分がｘ１以下、ｘ２以上である場合（ステップＳ３）は、位相差ＣＣＤ１７の傾きが０又は微小である場合であるため、マイコン１６３は、位相差ＣＣＤ１７を回転させないことを決定する。
【００８３】
ｘ成分がｘ２より小さい場合（ステップＳ４）には、位相差ＣＣＤ１７が正面から見て反時計回りに所定の角度以上回転している場合であるため、マイコン１６３は、位相差ＣＣＤ１７を時計回り（図９Ｂ（Ｄ）Ｒ方向）に１パルス移動させることを決定する（ステップＳ６）。
【００８４】
そして、図９Ｂ（Ｃ）のフローチャートにより決定された回転量をＤ／Ａ変換器１６４を介してアクチュエータ駆動回路１６５に出力する。アクチュエータ駆動回路１６５には位置検出装置１９からの信号が入力されており、アクチュエータ駆動回路１６５は、位置検出装置１９により基板１７Ａ（すなわち位相差ＣＣＤ１７）の回転が０となった場合には、角速度センサ２０Ｂの出力を打ち消すように決定された量だけアクチュエータ１８が駆動されていない場合であってもアクチュエータ１８の駆動を停止する。このようなフィードバック制御を行うことにより、ハンチングを防止することができる。
【００８５】
図８の説明に戻る。位相差ＣＣＤ１７に蓄積された信号電荷は、ＣＣＤ制御部１３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１７から読み出された電圧信号は、アナログ信号処理部１２０に加えられる。
【００８６】
アナログ信号処理部１２０は、位相差ＣＣＤ１７から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器１２１に加えられる。Ａ／Ｄ変換器１２１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ１２２に出力する。
【００８７】
デジタル信号処理部１２４は、画像入力コントローラ１２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
【００８８】
ここで、図４（Ｂ）及び（Ｃ）に示すように，位相差ＣＣＤ１７の奇数ラインの主画素から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右視点画像データとして処理される。
【００８９】
デジタル信号処理部１２４で処理された左視点画像データ及び右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ１５０に入力される。ＶＲＡＭ１５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ１５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ１５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ１５０から読み出された３Ｄ画像データはビデオ・エンコーダ１２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ２８に出力され、これにより３Ｄの被写体像が液晶モニタ２８の表示画面上に表示される。
【００９０】
また、操作部１３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部１３６を介して撮影レンズ１４内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器１２１から出力される画像データは、ＡＥ検出部１４４に取り込まれる。
【００９１】
ＡＥ検出部１４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ１４０に出力する。ＣＰＵ１４０は、ＡＥ検出部１４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１６の絞り値及び位相差ＣＣＤ１７の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部１３４を介して絞り１６を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部１３２を介して位相差ＣＣＤ１７での電荷蓄積時間を制御する。
【００９２】
ＡＦ処理部１４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データ及び右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データ及び右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。なお、ＡＦ処理は、所定のフォーカス領域内の画像データを対象にしてもよいし、画像データの全画素を対象にしてもよい。また、ＡＦ処理部１４２は、ＣＰＵ１４０から合焦すべき被写体の位置（以下、フォーカス位置という）が入力された場合には、このフォーカス位置に合焦させるようにフォーカスレンズを制御する。
【００９３】
距離情報取得部１４６は、ＡＦ処理部１４２がコントラストＡＦ処理を行う場合には、ＡＦ評価値が極大となるようにフォーカスレンズが制御された際のレンズ位置から被写体像までの距離を算出する。距離情報取得部１４６は、ＡＦ処理部１４２が位相差ＡＦ処理を行う場合には、ＡＦ処理部１４２で得られたデフォーカス量から距離情報を算出する。距離情報とは被写体までの距離であり、距離情報取得部１４６は各画素毎に距離情報を算出する。なお、距離情報の算出方法はこれに限られず、外測位相差検出方式、超音波センサ方式、赤外線センサ方式等の任意の方式を採用してもよい。
【００９４】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器１２１から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ１２２からメモリ(SDRAM)１４８に入力し、一時的に記憶される。
【００９５】
メモリ１４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部１２４により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ１４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部１２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ１４８に記憶される。
【００９６】
メモリ１４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ１５２により読み出され、メモリカード１５４に記録される。
【００９７】
顔検出部１５６は、ＣＰＵ１４０からの指令に従い、画像データから画像内の顔領域を抽出し、その位置（たとえば、顔領域の重心）を検出する。この顔領域の抽出は、たとえば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔として抽出する。この他、画像から顔領域を抽出する方法としては、測光データを色相と彩度に変換し、変換した色相・彩度の二次元ヒストグラムを作成し、解析することで、顔領域を判断する方法や、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法、画像から人の顔の輪郭を抽出し、顔領域を決定する方法、複数の顔の形状をしたテンプレートを用意し、そのテンプレートと画像との相関を計算し、この相関値により顔候補領域とすることで人の顔を抽出する方法等が知られており、これらの方法を用いて抽出することができる。
【００９８】
［撮像装置の動作の説明］
次に、立体パノラマ画像撮影装置１の動作について説明する。この撮像処理はＣＰＵ１４０によって制御される。この撮像処理をＣＰＵ１４０に実行させるためのプログラムはＣＰＵ１４０内のプログラム格納部に記憶されている。立体パノラマ画像撮影装置１は、平面画像、立体視画像の両方が撮影可能である。
【００９９】
（１）平面画像の撮影処理
モードダイヤル２６により平面画像撮影モードに設定されている場合には、ＣＰＵ１４０は、位相差ＣＣＤ１７の主画素のみを用いて撮影を行う。
【０１００】
撮影レンズ１４を通過した被写体光は、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。ＣＣＤ制御部１３２は位相差ＣＣＤ１７の主画素に蓄えられた信号電荷は信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ信号処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してデジタル信号処理部１２４に順次入力され、左視点画像データが順次生成される。生成された左視点画像データは順次ＶＲＡＭ１５０に入力される。
【０１０１】
左視点画像データはＶＲＡＭ１５０から順次出力され、デジタル信号処理部１２４で輝度／色差信号が生成され、その信号がビデオ・エンコーダ１２８を介して液晶モニタ２８に出力される。
【０１０２】
この処理を順次行うことにより、位相差ＣＣＤ１７の主画素で撮像される画像が液晶モニタ２８にリアルタイムに表示される。撮影者は、この液晶モニタ２８に液晶モニタ２８にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。
【０１０３】
シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ／ＡＦ動作を実施する。平面画像の撮影処理においては、ＡＦ処理部１４２は、コントラストＡＦ処理によりＦ動作を行う。
【０１０４】
この後、シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差ＣＣＤ１７を露光する。
【０１０５】
位相差ＣＣＤ１７から出力された画像信号は、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、ＶＲＡＭ１５０に格納される。ＶＲＡＭ１５０に格納された左視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納され、所定の画像記録フォーマット（たとえばＥｘｉｆ形式）の画像ファイルとされたのち、メディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、平面画像が撮影、記録される。
【０１０６】
（２）立体視画像の撮影処理
モードダイヤル２６により立体視画像撮影モードに設定されている場合には、ＣＰＵ１４０は、位相差ＣＣＤ１７の主画素、副画素の全てを用いて撮影を行う。
【０１０７】
撮影レンズ１４を通過した被写体光は、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。ＣＣＤ制御部１３２は位相差ＣＣＤ１７の主画素及び副画素に蓄えられた信号電荷は信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ信号処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してデジタル信号処理部１２４に順次入力され、左視点画像データ及び右視点画像データが順次生成される。生成された左視点画像データ及び右視点画像データは順次ＶＲＡＭ１５０に入力される。
【０１０８】
左視点画像データ及び右視点画像データはＶＲＡＭ１５０から順次出力され、デジタル信号処理部１２４で輝度／色差信号が生成され、その信号がビデオ・エンコーダ１２８を介して液晶モニタ２８に出力される。液晶モニタ２８には、パララックスバリアが発生されるとともに、その下層の画像表示面に左視点画像データと右視点画像データとの短冊状の画像断片が交互に配列して表示される。
【０１０９】
この処理を順次行うことにより、位相差ＣＣＤ１７の主画素、副画素で撮像される画像を液晶モニタ２８にリアルタイムに表示する。撮影者は、この液晶モニタ２８に液晶モニタ２８にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。
【０１１０】
シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ／ＡＦ動作を実施する。立体視画像の撮影処理においては、ＡＦ処理部１４２は、位相差ＡＦ処理によりＡＦ動作を行う。
【０１１１】
シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差ＣＣＤ１７を露光する。
【０１１２】
位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力された２枚分の画像データは、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、ＶＲＡＭ１５０に格納される。ＶＲＡＭ１５０に格納された左視点画像データ及び右視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納される。
【０１１３】
メモリ１４８に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、立体視画像が撮影、記録される。
【０１１４】
（３）立体パノラマ画像の撮影処理
モードダイヤル２６により立体パノラマ撮影モードに設定されている場合には、ＣＰＵ１４０は、位相差ＣＣＤ１７の主画素、副画素の全てを用いて撮影を行う。図１０は、図１１（ａ）に示すパノラマ画像を撮影する場合における立体パノラマ画像の撮影処理の流れを示すフローチャートである。図１１（ｂ）は、図１１（ａ）に示すパノラマ画像の撮影範囲を示す図である。
【０１１５】
（ステップＳ１０）ＣＰＵ１４０は、通常の立体視画像の撮影処理と同様の方法により、位相差ＣＣＤ１７の主画素、副画素で撮像される画像を液晶モニタ２８にリアルタイムに表示する。このスルー画像の撮影は、図１１（ｃ）に示すように、パノラマ写真の撮影範囲と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲で行われる。
【０１１６】
（ステップＳ１２）ＡＦ処理部１４２は、リアルタイムに主画素、副画素で撮像された左視点画像データ及び右視点画像データのうちの全画素を対象に位相差ＡＦ処理を行い、デフォーカス量を求める。距離情報取得部１４６は、この求められたデフォーカス量を取得し、距離情報を算出する。これにより、パノラマ写真の撮影範囲と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲の全被写体に対して距離情報が取得できる。
【０１１７】
算出された距離情報は、ＣＰＵ１４０に入力される。ＣＰＵ１４０は、主要被写体が被写界深度の後端（撮影レンズ１４から遠い側の端）近傍に位置するように、距離情報に基づいてフォーカス位置を決定する。
【０１１８】
本実施の形態では、顔検出部１５６により顔領域が抽出された人物を主要被写体とするが、他の方法により主要被写体を求めてもよい。顔検出部１５６により複数の顔領域が検出されている場合には、最も大きい顔領域を主要被写体とすればよい。顔検出部１５６により顔領域が検出されなかった場合には、スルー画像から特徴点検出等により検出された被写体を主要被写体とすればよい。
【０１１９】
図１２は、被写界深度を説明する図である。厳密に言えば点Ｂが合焦位置であるが、点Ａ〜点Ｃまでの範囲にある被写体は感覚的には合焦しているように見える。この点Ａ〜点Ｃまでの範囲が被写界深度である。被写界深度の後端は、図１２の点Ａである。
【０１２０】
このように、主要被写体が被写界深度の後端に位置する、すなわちフォーカス位置を主要被写体の若干手前にすると、背景がよりボケ易くなる。背景がボケている場合は心理効果によって主要被写体の立体視による浮かび具合が際立つため、立体視画像の品質を向上させることができる。
【０１２１】
（ステップＳ１４）ＣＰＵ１４０は、ステップＳ１２で決定されたフォーカス位置をＡＦ処理部１４２へ入力する。ＡＦ処理部１４２は、このフォーカス位置に合焦させるようにフォーカスレンズを制御する。
【０１２２】
シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ動作を実施する。立体パノラマ写真撮影では、フォーカス位置が決定されているため、ＡＦ処理は行われない。
【０１２３】
シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、図１１（ｄ）に示すように、パノラマ写真の撮影範囲の端を含む撮影範囲（図１１（ａ）の撮影範囲Ａ）で１枚目の左視点画像データ及び右視点画像データを取得する。ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して各画素毎に距離情報を算出する。
【０１２４】
（ステップＳ１６）再度シャッタボタンが全押しされると、ＣＰＵ１４０に２回目のＳ２ＯＮ信号が入力される。ＣＰＵ１４０は、ステップＳ１４のフォーカス位置のまま、図１１（ｅ）に示すように１枚目とは異なる撮影範囲（図１１（ａ）の撮影範囲Ｂ）で２枚目の左視点画像データ及び右視点画像データを取得する。撮影範囲の移動は、撮影者が立体パノラマ画像撮影装置１の位置を変えないで立体パノラマ画像撮影装置１の向きを左右に振る、すなわちパンニングすることにより行われる。なお、パンニングの方向は特に限定されない。
【０１２５】
ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して各画素毎に距離情報を算出する。２枚目の撮影範囲は、図１１（ｄ）、（ｅ）に示すように１枚目の画像と重複する空間を含み、かつ１枚目の画像と連続した空間となるように設定される。したがって、２枚目の左視点画像データ及び右視点画像データは、１枚目の左視点画像データ及び右視点画像データと一部が重複している。
【０１２６】
ステップＳ１４、Ｓ１６で位相差ＣＣＤ１７の主画素、副画素から出力された４枚分の画像データは、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、ＶＲＡＭ１５０に格納される。
【０１２７】
（ステップＳ１８）ＣＰＵ１４０は、ＶＲＡＭ１５０に格納された１枚目の左視点画像データと２枚目の左視点画像データとをつなぎ合わせてパノラマ画像用の左視点画像データを生成する。ＣＰＵ１４０は、距離情報取得部１４６により算出された１枚目の左視点画像データ及び２枚目の左視点画像データの各画素の距離情報に基づいて１枚目の左視点画像データと２枚目の左視点画像データとの互いに重複する部分のなかから距離情報が同一の領域を検出する。図１３の斜線部は、１枚目の左視点画像データと２枚目の左視点画像データとの互いに重複する部分のなかから距離情報が同一の領域である。ＣＰＵ１４０は、この領域を重ね合わせるようにして１枚目の左視点画像データと２枚目の左視点画像データとをつなぎ合わせる。
【０１２８】
また、ＣＰＵ１４０は、左視点画像データと同様の方法により、１枚目の右視点画像データと２枚目の右視点画像データをつなぎ合わせてパノラマ画像用の右視点画像データを生成する。このようにして生成されたパノラマ画像用の左視点画像データ及び右視点画像データはＶＲＡＭ１５０に格納される。
【０１２９】
ＶＲＡＭ１５０に格納されたパノラマ画像用の左視点画像データ及び右視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納される。
【０１３０】
メモリ１４８に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、立体パノラマ画像が撮影、記録される。
【０１３１】
以上のようにしてメモリカード１５４に記録された画像は、再生ボタンにより立体パノラマ画像撮影装置１のモードを再生モードに設定することにより、液晶モニタ２８で再生表示させることができる。
【０１３２】
再生モードに設定されると、ＣＰＵ１４０は、メディア・コントローラ１５２にコマンドを出力し、メモリカード１５４に最後に記録された画像ファイルを読み出させる。
【０１３３】
読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部１２６に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオ・エンコーダ１２８を介して液晶モニタ２８に出力される。
【０１３４】
画像のコマ送りは、十字キーの左右のキー操作によって行なわれ、十字キーの右キーが押されると、次の画像ファイルがメモリカード１５４から読み出され、液晶モニタ２８に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルがメモリカード１５４から読み出され、液晶モニタ２８に再生表示される。
【０１３５】
本実施の形態によれば、立体パノラマ画像撮影装置が傾いた場合にも、位相差ＣＣＤの傾きを容易に補正することができる。これにより、１枚目の左目用画像データ、右目用画像データの視差の方向と、２枚目の左目用画像データ、右目用画像データの視差の方向とが一致し、１枚目の画像データと２枚目の画像データとの連結が可能となる。すなわち、単眼立体撮影装置で１枚の位相差ＣＣＤを用いて立体視画像を撮影することにより、立体パノラマ写真の生成が可能となる。
【０１３６】
また、本実施の形態によれば、主要被写体よりも若干手前にくるようにフォーカス位置を決定するため、主要被写体にピントが合いかつ背景がボケた、適切な立体感のパノラマ画像とすることができる。
【０１３７】
また、本実施の形態によれば、同じフォーカス位置で２枚の立体視画像を撮影し、これをつなぎ合わせて立体パノラマ画像を生成するため、つなぎ目が自然で違和感の無い綺麗な立体パノラマ画像を得ることができる。
【０１３８】
また、本実施の形態によれば、全画素に対して距離情報を算出し、これを用いて画像をつなぎ合わせるため、高精度に画像をつなぎ合わせることができる。したがって、つなぎ目が自然となり、違和感の無い立体パノラマ画像を得ることができる。
【０１３９】
なお、本実施の形態では、主要被写体よりも若干手前にくるようにフォーカス位置を決定したが、主要被写体までの距離に応じてフォーカス位置の設定を変えてもよい。撮影装置からの距離が近い被写体は視差が大きくなる。このため、その被写体に視差を合わせてしまうと、主要被写体以外の被写体は視差が不適切となるため、結果的に全体として見にくい写真となってしまう。したがって、ＣＰＵ１４０は、まず主要被写体の距離情報を取得し、主要被写体が所定の閾値よりも近い位置にあると判断した場合は、この主要被写体と異なる被写体を対象にフォーカス位置を決定する。例えば、顔検出部１５６により複数の顔領域が検出されている場合には所定の閾値よりも遠い人物を異なる被写体とすればよい。なお、この閾値はあらかじめ設定されており、その設定された値がメモリ１４８等に記憶されている。
【０１４０】
また、本実施の形態では、主要被写体が被写界深度の後端（図１２の点Ａ）にくるようにフォーカス位置を決定したが、フォーカス位置の設定方法はこれに限られない。例えば、主要被写体が合焦位置（図１２の点Ｂ）にくるようにフォーカス位置を決定してもよい。この場合には、背景が遠い位置にあれば背景をぼかすことができる。また、主要被写体が確実にボケないようにするため、主要被写体が図１２の点Ａと点Ｂと中間にくるようにフォーカス位置を決定してもよい。
【０１４１】
また、本実施の形態では、スルー画像用の画像データからフォーカス位置決定用の距離情報を取得するが、距離情報を取得する画像データはこれに限らない。フォーカス位置決定用の距離情報は本撮影の前に取得されていればよいのでＳ１ＯＮの時に取得される画像データから距離情報を求めてもよいし、プリ撮影等距離情報取得用の画像データを別途撮影するようにしてもよい。
【０１４２】
また、本実施の形態では、右目用画像データ、左目用画像データの両方についてフォーカス位置決定用の距離情報を取得したが、どちらか一方でもよい。また、本実施の形態では、右目用画像データ、左目用画像データの各画素毎に距離情報を取得したが、各画素毎に距離情報を取得できない場合も考えられる。一般的には、画像のつなぎ合わせに用いる領域（１枚目の画像データと２枚目の画像データとの互いに重複する部分のなかから距離情報が同一の領域）のうちの約２０％程度の画素で距離情報が得られているのであれば、つなぎ合わせは可能であるため、全画素で距離情報が取得できなくても問題はない。
【０１４３】
また、本実施の形態では、位相差ＣＣＤ１７の回転用にアクチュエータ１８を配設したが、回転方向のθ軸回りに撮像素子を移動させることで手ブレを補正する機械式の手ブレ補正機構を有する場合には、この手ブレ補正機構を用いて位相差ＣＣＤ１７を水平にしてもよい。
【０１４４】
＜第２の実施の形態＞
本発明の第１の実施の形態は、主要被写体よりも若干手前にくるようにフォーカス位置を決定するものであるが、フォーカス位置の設定の方法はこれに限られない。
【０１４５】
本発明の第２の実施の形態は、１枚目の画像の距離情報と２枚目の画像の距離情報とに基づいてすべての被写体までの距離の略中間位置をフォーカス位置とするものである。以下、第２の実施の形態に係る立体パノラマ画像撮影装置２について説明する。なお、立体パノラマ画像撮影装置１と立体パノラマ画像撮影装置２とは、立体パノラマ撮影モードの処理のみが異なるため、立体パノラマ画像撮影装置２については立体パノラマ撮影モードの処理についてのみ説明し、その他は説明を省略する。
【０１４６】
図１４は、パノラマ画像を撮影する場合における立体パノラマ画像の撮影処理の流れを示すフローチャートである。
【０１４７】
（ステップＳ１０）ＣＰＵ１４０は、通常の立体視画像の撮影処理と同様の方法により、位相差ＣＣＤ１７の主画素、副画素で撮像される画像を液晶モニタ２８にリアルタイムに表示する。
【０１４８】
（ステップＳ２０）パノラマ画像を生成する１枚目、２枚目の画像の撮影（本撮影）前にプリ撮影を行う。シャッタボタンが半押しされると、１回目のＳ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ動作及びＡＦ動作を実施する。この１回目のプリ撮影は、本撮影の１枚目の画像撮影（ステップＳ２６、後に詳述）と略同じ撮影範囲で行われる。
【０１４９】
ＡＦ処理部１４２は、１回目のプリ撮影により主画素、副画素で撮像された左視点画像データ及び右視点画像データのうちの全画素を対象に位相差ＡＦ処理を行い、デフォーカス量を求める。距離情報取得部１４６は、この求められたデフォーカス量を取得し、距離情報を算出する。
【０１５０】
（ステップＳ２２）再度シャッタボタンが半押しされると、２回目のＳ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ動作及びＡＦ動作を実施する。この２回目のプリ撮影は、本撮影の２枚目の画像撮影（ステップＳ２８、後に詳述）と略同じ撮影範囲で行われる。２枚目の画像の撮影範囲は、１枚目の画像と重複する空間を含み、かつ１枚目の画像と連続した空間となるように設定される。
【０１５１】
ＡＦ処理部１４２は、２回目のプリ撮影により主画素、副画素で撮像された左視点画像データ及び右視点画像データのうちの全画素を対象に位相差ＡＦ処理を行い、デフォーカス量を求める。距離情報取得部１４６は、この求められたデフォーカス量を取得し、距離情報を算出する。これにより、これにより、パノラマ写真の撮影範囲と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲の全被写体に対して距離情報が取得できる。
【０１５２】
（ステップＳ２４）ＣＰＵ１４０は、ステップＳ２０、Ｓ２２で算出された距離情報を取得する。そして、距離情報の中間値をフォーカス位置と決定する。距離情報の中間値をフォーカス位置と決定することにより、主要被写体を検出せず適切なフォーカス位置を決定することができる。なお、中間値は、全ての画素に対して算出された距離情報の最大値と最小値との中間値でもよいし、全ての画素に対して算出された距離情報の平均値でもよい。
【０１５３】
（ステップＳ２６）ＣＰＵ１４０は、ステップＳ２４で決定されたフォーカス位置をＡＦ処理部１４２へ入力する。ＡＦ処理部１４２は、このフォーカス位置に合焦させるようにフォーカスレンズを制御する。
【０１５４】
シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、ステップＳ２０と同じ撮影範囲で１枚目の左視点画像データ及び右視点画像データを取得する。ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して各画素毎に距離情報を算出する。
【０１５５】
（ステップＳ２８）再度シャッタボタンが全押しされると、ＣＰＵ１４０に２回目のＳ２ＯＮ信号が入力される。ＣＰＵ１４０は、ステップＳ２６のフォーカス位置のまま、１枚目とは異なる撮影範囲で２枚目の左視点画像データ及び右視点画像データを取得する。２枚目の左視点画像データ及び右視点画像データは、１枚目の左視点画像データ及び右視点画像データと一部が重複している。ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して各画素毎に距離情報を算出する。
【０１５６】
ステップＳ２６、Ｓ２８で位相差ＣＣＤ１７の主画素、副画素から出力された４枚分の画像データは、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、ＶＲＡＭ１５０に格納される。
【０１５７】
（ステップＳ１８）ＣＰＵ１４０は、ＶＲＡＭ１５０に格納された１枚目の左視点画像データと２枚目の左視点画像データとをつなぎ合わせてパノラマ画像用の左視点画像データを生成する。また、ＣＰＵ１４０は、左視点画像データと同様の方法により、１枚目の右視点画像データと２枚目の右視点画像データをつなぎ合わせてパノラマ画像用の右視点画像データを生成する。このようにして生成されたパノラマ画像用の左視点画像データ及び右視点画像データはＶＲＡＭ１５０に格納される。
【０１５８】
ＶＲＡＭ１５０に格納されたパノラマ画像用の左視点画像データ及び右視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納される。
【０１５９】
メモリ１４８に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、立体パノラマ画像が撮影、記録される。
【０１６０】
本実施の形態によれば、主要被写体を検出せずに適切なフォーカス位置を決定することができる。そのため、立体感に違和感の無い立体パノラマ画像を得ることができる。
【０１６１】
なお、第１の実施の形態と第２の実施の形態とは、別々に実施してもよいし、組み合わせて実施してもよい。また、第１の実施の形態と第２の実施の形態では、２枚の立体視画像をつなぎ合わせて立体パノラマ写真を生成したが、枚数は２枚に限定されない。また、パノラマ画像に限らず、３６０°の撮影範囲を有する全方位画像の生成を行なうようにしてもよい。
【０１６２】
＜第３の実施の形態＞
本発明の第１の実施の形態は、同じフォーカス位置で２枚の立体視画像を撮影し、これをつなぎ合わせて立体パノラマ画像を生成するものであるが、立体パノラマ画像の生成の方法はこれに限られない。
【０１６３】
本発明の第３の実施の形態は、１枚目の画像、２枚目の画像のそれぞれについて縦、横の２通りの画像を撮影することで、画像のつなぎ合わせの精度をよくするものである。以下、第３の実施の形態に係る立体パノラマ画像撮影装置３について説明する。なお、立体パノラマ画像撮影装置１と立体パノラマ画像撮影装置３とは、立体パノラマ撮影モードの処理のみが異なるため、立体パノラマ画像撮影装置３については立体パノラマ撮影モードの処理についてのみ説明し、その他は説明を省略する。
【０１６４】
図１５は、パノラマ画像を撮影する場合における立体パノラマ画像の撮影処理の流れを示すフローチャートである。
【０１６５】
（ステップＳ１０）ＣＰＵ１４０は、通常の立体視画像の撮影処理と同様の方法により、位相差ＣＣＤ１７の主画素、副画素で撮像される画像を液晶モニタ２８にリアルタイムに表示する。
【０１６６】
（ステップＳ１２）ＡＦ処理部１４２は、リアルタイムに主画素、副画素で撮像された左視点画像データ及び右視点画像データのうちの全画素を対象に位相差ＡＦ処理を行い、デフォーカス量を求める。距離情報取得部１４６は、この求められたデフォーカス量を取得し、距離情報を算出する。これにより、パノラマ写真の撮影範囲と略同一の撮影範囲又はパノラマ写真の撮影範囲を含む撮影範囲の全被写体に対して距離情報が取得できる。
【０１６７】
算出された距離情報は、ＣＰＵ１４０に入力される。ＣＰＵ１４０は、主要被写体が被写界深度の後端（撮影レンズ１４から遠い側の端）近傍に位置するように、距離情報に基づいてフォーカス位置を決定する。
【０１６８】
（ステップＳ３０）ＣＰＵ１４０は、ステップＳ１２で決定されたフォーカス位置をＡＦ処理部１４２へ入力する。ＡＦ処理部１４２は、このフォーカス位置に合焦させるようにフォーカスレンズを制御する。図１６は、このようにしてフォーカスレンズが制御された後の撮影処理の流れを示すフローチャートである。
【０１６９】
（ステップＳ４０）シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ１４０に入力され、ＣＰＵ１４０はＡＥ動作を実施する。立体パノラマ写真撮影では、フォーカス位置が決定されているため、ＡＦ処理は行われない。シャッタボタンが全押しされると、ＣＰＵ１４０にＳ２ＯＮ信号が入力され、ＣＰＵ１４０は、図１７の実線で示すように位相差ＣＣＤ１７が横向き（通常の状態）の場合における１枚目の左視点画像データ（以下、横向きの左視点データという）及び右視点画像データ（以下、横向きの右視点データという）を取得する。この横向きの左視点データと横向きの右視点データは、左右方向に視差を持っている。
【０１７０】
ＡＦ処理部１４２は撮影された左視点画像データ及び右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して左視点画像データ及び右視点画像データの各画素毎に距離情報を算出する。この場合には、左右方向の視差に基づいて距離情報が算出される。
【０１７１】
（ステップＳ４２）ＣＰＵ４０は、アクチュエータ駆動回路１５６を介して位相差ＣＣＤ１７を既定回転方向（図１７では反時計回り）に既定パルス分だけ、すなわち位相差ＣＣＤ１７が９０度回転するようにアクチュエータ１８を駆動する。これにより、図１７の点線で示すように、位相差ＣＣＤ１７の略中央を中心として位相差ＣＣＤ１７が９０度回転された縦向きの状態となる。この縦向きの状態においては、横向きの状態との重複エリア（図１７参照）が最大となる。
【０１７２】
ＣＰＵ１４０は、この状態で撮影を行い、位相差ＣＣＤ１７が縦向きの場合における１枚目の左視点画像データ（以下、縦向きの左視点画像データという）及び右視点画像データ（以下、縦向きの右視点画像データという）を取得する。この縦向きの左視点画像データと縦向きの右視点画像データは、左視点画像データが下側、右視点画像データが上側の上下方向に視差を持っている。
【０１７３】
ＡＦ処理部１４２は、撮影された縦向きの左視点画像データ及び縦向きの右視点画像データに基づいてデフォーカス量を求め、距離情報取得部１４６はこの求められたデフォーカス量を取得して縦向きの左視点画像データ及び縦向きの右視点画像データの各画素毎に距離情報を算出する。この場合には、上下方向の視差に基づいて距離情報が算出される。
【０１７４】
（ステップＳ４４）ステップＳ４０、Ｓ４２で位相差ＣＣＤ１７の主画素、副画素から出力された４枚分の画像データは、アナログ処理部１２０、Ａ／Ｄ変換器１２１、画像入力コントローラ１２２を介してＶＲＡＭ１５０に取り込まれ、デジタル信号処理部１２４において輝度／色差信号に変換されたのち、関連付けてＶＲＡＭ１５０に格納される。
【０１７５】
これにより、１枚目の画像撮影処理が終了される。
【０１７６】
（ステップＳ３２）再度シャッタボタンが全押しされると、ＣＰＵ１４０に２回目のＳ２ＯＮ信号が入力される。ＣＰＵ１４０は、ステップＳ１４のフォーカス位置のまま、１枚目とは異なる撮影範囲で２枚目の横向きの左視点画像データ及び横向きの右視点画像データを取得する。ステップＳ１６と同様、２枚目の撮影範囲は、１枚目の画像と重複する空間を含み、かつ１枚目の画像と連続した空間となるように設定される。
【０１７７】
その後、ステップＳ３０と同様、ＣＰＵ１４０は図１６に示すフローチャートに従って、位相差ＣＣＤ１７が横向きの状態及び縦向きの状態で画像を撮影し、２枚目の縦向きの左視点画像データ及び縦向きの右視点画像データを取得する。
【０１７８】
さらに、ステップＳ３０と同様の方法により、２枚目の横向きの左視点画像データ及び横向きの右視点画像データと、２枚目の縦向きの左視点画像データ及び縦向きの右視点画像データとについて各画素毎に距離情報が算出され、４枚分の画像データが関連付けてＶＲＡＭ１５０に格納される。
【０１７９】
（ステップＳ３４）ＣＰＵ１４０は、ＶＲＡＭ１５０に格納された１枚目の横向きの左視点画像データと２枚目の横向きの左視点画像データとをつなぎ合わせてパノラマ画像用の左視点画像データを生成する。
【０１８０】
本実施の形態では、１枚目、２枚目共に位相差ＣＣＤ１７が横向きの状態及び縦向きの状態で画像が撮影されているため、図１７に示すように、位相差ＣＣＤ１７が横向きの状態で撮影された画像と、位相差ＣＣＤ１７が縦向きの状態で撮影された画像との重複エリアがパノラマ画像の基となる。
【０１８１】
したがって、ＣＰＵ４０は、１枚目の横向きの左視点画像データから重複エリアを切り出し、２枚目の横向きの左視点画像データから重複エリアを切り出す。そして、切り出された１枚目の重複エリアと２枚目の重複エリアとをつなぎ合わせる。
【０１８２】
この重複エリアについては、位相差ＣＣＤ１７が横向きの状態で撮影された画像及び縦向きの状態で撮影された画像のそれぞれに対して画像距離情報取得部１４６において距離情報が算出されている。一般的に画像が横縞模様の場合には、水平方向の視差に基づいて算出された距離は誤検出が発生しやすく、垂直方向に視差に基づいて算出された距離のほうが精度が高い。逆に画像の縦縞模様の場合には、垂直方向の視差に基づいて算出された距離は誤検出が発生しやすく、水平方向に視差に基づいて算出された距離のほうが精度が高い。そのため、ＣＰＵ１４０は、画像を解析し、横縞模様が含まれる画像が撮影された場合には、縦向きの左視点画像データ及び縦向きの右視点画像データから算出された距離情報を採用し、縦縞模様が含まれる画像が撮影された場合には、横向きの左視点画像データ及び横向きの右視点画像データから算出された距離情報を採用する。これにより、距離情報の誤検出を低減することができる。
【０１８３】
なお、ＣＰＵ１４０は、ステップＳ３２、Ｓ３４で距離情報が全ての画素に対して算出されなかった場合には、横向きの左視点画像データ及び横向きの右視点画像データの距離情報の画素数と、縦向きの左視点画像データ及び縦向きの右視点画像データの距離情報の画素数とを比較し、画素数が多い方の距離情報を採用するようにしてもよい。
【０１８４】
ＣＰＵ１４０は、このようにして採用された１枚目の左視点画像データの重複エリア及び２枚目の左視点画像データの重複エリアの各画素の距離情報に基づいて、１枚目の重複エリアと２枚目の重複エリアとをつなぎ合わせる。
【０１８５】
また、ＣＰＵ１４０は、左視点画像データと同様の方法により、１枚目の横向きの右視点画像データから重複エリアを切り出し、２枚目の横向きの右視点画像データから重複エリアを切り出す。そして、横向きの左視点画像データ及び横向きの右視点画像データの距離情報、又は縦向きの左視点画像データ及び縦向きの右視点画像データの距離情報に基づいて１枚目の右視点画像データの重複エリアと２枚目の右視点画像データの重複エリアとをつなぎ合わせてパノラマ画像用の右視点画像データを生成する。このようにして生成されたパノラマ画像用の左視点画像データ及び右視点画像データはＶＲＡＭ１５０に格納される。
【０１８６】
ＶＲＡＭ１５０に格納されたパノラマ画像用の左視点画像データ及び右視点画像データは、圧縮伸張処理部１２６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１４８に格納される。
【０１８７】
メモリ１４８に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ１５２を介してメモリカード１５４に記録される。これにより、立体パノラマ画像が撮影、記録される。
【０１８８】
本実施の形態によれば、距離情報の誤検出が低減されるため、より高精度に画像をつなぎ合わせることができる。したがって、つなぎ目が自然となり、違和感の無い立体パノラマ画像を得ることができる。
【０１８９】
なお、本実施の形態では、横向きの左視点データ及び右視点データ、縦向きの左視点データ及び右視点データのそれぞれについて距離情報を算出し、精度がよいと思われる方や距離情報が算出された画素数の多い方を採用して重複エリアをつなぎ合わせたが、横向きの左視点データ及び右視点データから精度の良い距離情報が算出されるのであれば縦向きの左視点データ及び右視点データの撮影は必須ではない。例えば、横向きの左視点データ及び右視点データの距離情報の画素数が所定の画素数以上であるか（例えば、つなぎ合わせに用いられることが想定される領域の約２０％以上の画素であるか。但し、これに限定されるものではない）否かをＣＰＵ１４０が判断し、画素数が所定の画素数以上である場合には、縦向きの左視点データ及び縦向きの右視点データの撮影を行わないようにしてもよい。この場合において、ＣＰＵ１４０が横向きの左視点データ及び横向きの右視点データの距離情報の画素数が所定の画素数以下であると判断した場合には、縦向きの左視点データ及び縦向きの右視点データの撮影と距離情報の算出を行い、不足している距離情報を補うようにしてもよいし、横向きの左視点画像データ及び横向きの右視点画像データの距離情報の画素数と、縦向きの左視点画像データ及び縦向きの右視点画像データの距離情報の画素数とを比較し、画素数が多い方の距離情報を採用するようにしてもよい。
【０１９０】
また、本実施の形態では、位相差ＣＣＤ１７が横向きの状態（通常状態）と、位相差ＣＣＤ１７の略中央を中心として位相差ＣＣＤ１７が９０度回転された縦向きの状態とで画像を撮影したが、重複エリアの大きさが最大となるのであれば縦向きの状態はこの形態に限られない。例えば、図１８に示すように、位相差ＣＣＤ１７の受光エリアの角（例えば右上の角）が一致するように位相差ＣＣＤ１７を回転させるようにしてもよい。この場合には、出力軸１８Ａが回転中心と一致するようにアクチュエータ１８を基板１７Ａに配設するか、位相差ＣＣＤ１７を９０度回転させるためのアクチュエータを別途配設するようにすればよい。
【０１９１】
図１７に示す場合には、重複エリアをつなぎ合わせに用いたが、図１８に示す場合には横向きの左視点画像データ、横向きの右視点画像データ全体をつなぎ合わせに用いることができる。但し、１枚目の画像撮影後に立体パノラマ画像撮影装置を時計回りに回転させて２枚目の画像を撮影した場合には、１枚目の画像は精度の良い距離情報が得られる重複エリアをつなぎ合わせに用いるが、２枚目の画像については重複エリア以外をつなぎ合わせに用いることとなる。この場合には、距離情報の補間、予測等に基づいて距離情報を補うことが可能であるため、重複エリアが無い場合と比較してつなぎ合わせの精度を向上させることができる。
【符号の説明】
【０１９２】
１、２：立体パノラマ画像撮影装置、１３：偏光部材、１４：撮影レンズ、１５：遮光部材、１６：絞り、１７、：位相差ＣＣＤ、１３２：ＣＣＤ制御部、１３４：絞り駆動部、１３６：レンズ駆動部、１４０：ＣＰＵ、１５４：メモリカード
【図１】
2011259168.tif 000003
【図２】
2011259168.tif 000004
【図３】
2011259168.tif 000005
【図４】
2011259168.tif 000006
【図５】
2011259168.tif 000007
【図６】
2011259168.tif 000008
【図７】
2011259168.tif 000009
【図８】
2011259168.tif 000010
【図９Ａ】
2011259168.tif 000011
【図９Ｂ】
2011259168.tif 000012
【図１０】
2011259168.tif 000013
【図１１】
2011259168.tif 000014
【図１２】
2011259168.tif 000015
【図１３】
2011259168.tif 000016
【図１４】
2011259168.tif 000017
【図１５】
2011259168.tif 000018
【図１６】
2011259168.tif 000019
【図１７】
2011259168.tif 000020
【図１８】
2011259168.tif 000021