(57)【要約】【課題】複数の視点に係る画像群の表示において、好適に被写体の立体的形状を知覚させられる表示用の視点を選択する。【解決手段】情報処理装置は、同一の被写体を撮影した画像群に係る、各々異なる位置に対応する複数の視点の情報を取得する。そして被写体を含む撮影範囲のうちの注目領域を検出し、取得した複数の視点のうち、検出した注目領域に対応する視点を表示用の視点として選択する。【選択図】図５
2016001854.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を撮影した画像群に係る、各々異なる位置に対応する複数の視点の情報を取得する取得手段と、
前記被写体を含む撮影範囲のうちの注目領域を検出する検出手段と、
前記取得手段により取得された前記複数の視点のうち、前記検出手段により検出された前記注目領域に対応する視点を表示用の視点として選択する選択手段と、を有する
ことを特徴とする情報処理装置。
【請求項２】
前記選択手段は、前記複数の視点をその位置関係に応じて配列した場合に、前記撮影範囲における前記注目領域の位置に対応する位置に存在する視点を前記表示用の視点として選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記同一の被写体を撮影した画像群は、瞳分割して撮影された画像群であり、
前記選択手段は、視点に対応する瞳領域の射出瞳面上の位置が、前記撮影範囲における前記注目領域の位置に対応する視点を、前記表示用の視点として選択する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記選択手段は、前記検出手段により検出された前記注目領域が変化した場合に、前記表示用の視点を異なる視点に変更することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記選択手段は、変化前の前記注目領域から変化後の前記注目領域までの移動量が閾値を超える場合に、前記変化後の注目領域に収束するように、前記変化前の注目領域から前記変化後の注目領域までに存在する領域に対応する視点を、前記表示用の視点として順次選択することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記同一の被写体を撮影した画像群のうち、前記選択手段により選択された前記表示用の視点に係る画像を表示する表示手段をさらに有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記表示手段は、前記表示用の視点が変更される場合に、変更前に表示していた画像における前記注目領域内の像が表示領域中の同一の位置に表示されるように、変更後の前記表示用の視点に係る画像の表示位置を制御することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記表示手段は、前記表示用の視点に係る画像のうち、前記注目領域の像に先鋭化処理を適用して表示することを特徴とする請求項６または７に記載の情報処理装置。
【請求項９】
前記検出手段は、前記同一の被写体を撮影した画像群のうちの１つの画像が前記表示手段に表示されている際に、観察者の視線方向に基づいて定まる該１つの画像内の領域を前記注目領域として検出することを特徴とする請求項６乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
同一の被写体を撮影し、各々異なる位置に対応する複数の視点に係る画像群を取得する撮像手段と、
前記被写体を含む撮影範囲のうちの注目領域を検出する検出手段と、
前記複数の視点のうち、前記検出手段により検出された前記注目領域に対応する視点を表示用の視点として選択する選択手段と、
前記複数の視点に係る画像群のうち、前記選択手段により選択された前記表示用の視点に係る画像を表示する表示手段と、を有する
ことを特徴とする撮像装置。
【請求項１１】
取得手段が、同一の被写体を撮影した画像群に係る、各々異なる位置に対応する複数の視点の情報を取得する取得工程と、
検出手段が、前記被写体を含む撮影範囲のうちの注目領域を検出する検出工程と、
選択手段が、前記取得工程において取得された前記複数の視点のうち、前記検出工程において検出された前記注目領域に対応する視点を表示用の視点として選択する選択工程と、を有する
ことを特徴とする情報処理装置の制御方法。
【請求項１２】
コンピュータを、請求項１乃至９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、撮像装置、制御方法及びプログラムに関し、特に複数の視点に係る画像群を有するデータの再生技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置の中には、撮影時に光の強度分布と進行方向の情報（光線空間情報）を記録するものがある。特許文献１、非特許文献１及び２には、マイクロレンズアレイを用いて撮像レンズの異なる分割瞳領域を通過した光束を撮像素子の各画素（光電変換素子）に結像させることで、様々な方向から入射した光を分離して光線空間情報を記録することが開示されている。このようにして得られた光線空間情報は、複数の分割瞳領域の各々に対応する複数の画像、即ち異なる位置の視点に係る複数の画像を有している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４４７１号公報
【非特許文献】
【０００４】
【非特許文献１】Ren Ng外、「Light Field Photography with a Hand-held Plenoptic Camera」、2005年、Computer Science Technical Report CTSR
【非特許文献２】Todor Georgiev外、「Superresolution with Plenoptic 2.0 Camera」、2009年、Optical Society of America
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、視覚による空間中の物体の立体的形状の把握は、所定の眼間距離を隔てて左右の眼球があることにより両方の眼球の網膜に形成された光学像間に生じる像のずれ（両眼視差）を知覚することにより行われる。またこの他、片方の眼球で観察した場合であっても頭部位置の移動により時間的に連続して生じる光学像間のずれ（運動視差）によっても、立体的形状の把握が可能である。
【０００６】
単眼の撮像装置で撮影された画像は、片方の眼球で観察された光学像のように２次元に被写体像が投影されたものであるため、該画像から被写体の立体的形状を把握することができない。近年では上述の運動視差の原理を逆に利用し、撮像装置の表示装置に画像を表示する際に、同一の被写体を撮影した異なる視点に係る画像を撮像装置の傾斜角に応じて切り替えて表示することで、観察者が被写体を立体的に知覚できるようにした撮像装置もある。
【０００７】
しかしながら、このように撮像装置の傾斜角を異ならせることにより画像を切り替えて立体を知覚させる方式は、撮像装置を記録した画像の再生用の利用に供している場合にのみ利用可能であった。即ち、例えば撮影者が電子ビューファインダを覗きながら撮影構図を決める際（エイミングあるいはフレーミング中）には撮像装置を傾斜させることは好ましくなく、上記方式による立体提示をすることができなかった。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、複数の視点に係る画像群の表示において、好適に被写体の立体的形状を知覚させられる表示用の視点を選択することが可能な情報処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の情報処理装置は、同一の被写体を撮影した画像群に係る、各々異なる位置に対応する複数の視点の情報を取得する取得手段と、被写体を含む撮影範囲のうちの注目領域を検出する検出手段と、取得手段により取得された複数の視点のうち、検出手段により検出された注目領域に対応する視点を表示用の視点として選択する選択手段と、を有することを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、複数の視点に係る画像群の表示において、好適に被写体の立体的形状を知覚させられる表示用の視点を選択することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るカメラシステムの構成を示した図
【図２】本発明の実施形態に係る撮像部１０２の構成を説明するための図
【図３】複数の視点に係る画像群を取得可能な光学設計を説明するための図
【図４】本発明の実施形態に係るカメラシステムで実行される表示制御処理を例示したフローチャート
【図５】本発明の実施形態に係るファインダ用表示部１０７の表意態様を説明するための図
【図６】本発明の実施形態及び変形例１に係るファインダ用表示部１０７の表意態様を説明するための図
【図７】本発明を適用可能な構成を例示した図
【発明を実施するための形態】
【００１２】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、情報処理装置の一例としての、同一の被写体を撮影し、各々異なる位置に対応する複数の視点に係る画像群を取得可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、同一の被写体を撮影した画像群に係る、各々異なる位置に対応する複数の視点から、表示用の視点を選択することが可能な任意の機器に適用可能である。
【００１３】
《カメラシステムの構成》
図１は、カメラ本体１００及びレンズ鏡筒２００で構成される、本発明の実施形態に係るカメラシステムの構成を示している。図１（ａ）は、カメラシステムをレンズ鏡筒２００が有する撮像光学系２０３の光軸を通る断面により、各部材の配置構成を示した断面図である。また図１（ｂ）は、カメラ本体１００及びレンズ鏡筒２００の機能構成を示したブロック図である。図１（ｂ）に示されるように、カメラ本体１００とレンズ鏡筒２００とは電気接点１１により電気的に接続され、カメラ制御部１０１とレンズ制御部２０１が相互に通信可能に構成される。
【００１４】
カメラ制御部１０１は、例えばＣＰＵやマイクロプロセッサ等の制御装置であり、カメラ本体１００が有する各ブロックを制御する。カメラ制御部１０１は、不図示の不揮発性メモリを有して構成され、該不揮発性メモリに記憶された各ブロックの動作プログラムを読み出し、例えばメモリ１０４等の展開領域に展開して実行することにより各ブロックの動作を制御する。またカメラ制御部１０１は、レンズ鏡筒２００の各ブロックの動作を制御させるための信号を、電気接点１１を介してレンズ制御部２０１に送信する。
【００１５】
撮像部１０２は、光軸と直交する面に２次元に配置された光電変換素子群を有する、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有する。撮像部１０２は、撮像光学系２０３により撮像素子の結像面に結像された光学像を光電変換し、撮影範囲の被写体に係る撮像画像信号（アナログ画像信号）を画像処理部１０３に出力する。
【００１６】
〈撮像部１０２の構成〉
ここで、本実施形態の撮像部１０２の構造について、図２を用いて説明する。
【００１７】
本実施形態のカメラ本体１００では、複数の視点に係る画像群を同時に取得するために、図２（ａ）のように撮像部１０２の撮像光学系２０３の結像面近傍の光軸と直交する面に複数のマイクロレンズを２次元配置したマイクロレンズアレイ（ＭＬＡ）２１０が設けられる。図２（ａ）では、撮像素子２１１の結像面の水平方向にｘ軸、垂直方向にｙ軸を、そして右手系となるように光軸方向にｚ軸を定義しており、ｚ軸負の方向、ｘ軸の負の方向に見たＭＬＡ２１０が示されている。
【００１８】
ＭＬＡ２１０の各マイクロレンズ２２１は、図２（ｂ）に示されるように予め定められた数の撮像素子２１１の光電変換素子（図では２５の光電変換素子）に割り当てられており、入射した光束を割り当てられた光電変換素子の範囲に展開して結像する。これにより、該マイクロレンズ２２１に入射した光束は、複数の光電変換素子によって分割して記録されることになる。例えば図２（ｂ）のマイクロレンズ２２１ａと該マイクロレンズに割り当てられた光電変換素子のうちの水平方向に並んだ光電変換素子２２２ａ乃至ｅに着目すると、該光電変換素子が受光する光束と撮像光学系２０３の入射光束とは図２（ｃ）のような関係になる。図２（ｃ）に示されるように、撮像光学系２０３の射出瞳２３０を通過してマイクロレンズ２２１ａに入射する光束は共役関係にある光電変換素子２２２ａ乃至ｅに展開されてそれぞれ結像される。このため、各光電変換素子は射出瞳２３０のそれぞれ異なる瞳領域２３１の光束を受光することになる。なお、図２（ｃ）では、瞳領域２３１に付したａ〜ｅは、光電変換素子２２２に付した文字と対応付けられており、射出瞳面上の各瞳領域を通過した光束がいずれの光電変換素子に受光されるかを示している。図２（ｃ）において撮像素子２１１の光電変換素子の間隔（画素ピッチ）をΔｘとすると、角度分解能Δθは、角度の分割数Ｎθ（図２においてＮθ＝５）を用いて決定される。即ち、各光電変換素子が取得可能な範囲や光線方向等のパラメータは、物理的な構造（撮像素子２１１およびＭＬＡ２１０の構造）のみによって特定できる。
【００１９】
従って、ＭＬＡ２１０を設けることで各マイクロレンズに割り当てられた光電変換素子群が各々異なる瞳領域を通過した光束を記録できるため、得られた撮像画像信号を通過した瞳領域ごとに分類すると、瞳分割数の異なる視点に係る画像群を得ることができる。なお、本実施形態では、光軸上にＭＬＡ２１０を設けて得られた撮像画像信号（光線空間情報）に対応するデータを複数の視点に係る画像群を有するデータであるものとして説明するが、該データの取得方法はこれに限られるものではない。即ち、複数の視点に係る画像群は、本実施形態のように瞳分割した光束を記録したものに限らず、多眼カメラのような複数の光学系を有する撮像装置あるいは複数の撮像装置により、同時あるいは間欠的に撮影されて得られたものであってもよい。あるいは、複数の視点に係る画像群は、１つの撮像光学系を有する撮像装置を、順次移動しながら撮影された複数の画像により構成されるものであってもよい。
【００２０】
画像処理部１０３は、撮像部１０２から入力された撮像画像信号に対して、Ａ／Ｄ変換、ホワイトバランス調整、ガンマ補正、補間演算等の各種画像処理を適用する。また画像処理部１０３は、入力された信号やメモリ１０４から読み出された光線空間情報データから、所定の被写体に合焦した再構成画像を生成する再構成処理（現像処理）を行う。画像処理部１０３は、それぞれの画像処理を実行する画像処理回路群として構成されてもよい。また本実施形態では画像処理部１０３は、光線空間情報データから生成可能な再構成画像について、各画素に対応する被写体距離の頻度マップ（ヒストグラム）を生成する処理を行う。被写体距離は、画像群により規定される撮影範囲に含まれる各被写体とカメラシステムとの距離に対応する。
【００２１】
メモリ１０４は、揮発性の記憶装置やメモリカードやＨＤＤ等の恒久的にデータを記録する記録媒体である。メモリ１０４は、カメラ本体１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データの一時的な記憶領域としても用いられる。また本実施形態ではメモリ１０４は、画像処理部１０３により生成された再構成画像を記録する格納領域や、表示部１０５に表示させるための画像が一時的に格納される領域としても用いられる。
【００２２】
表示部１０５は、例えばＬＣＤ等のカメラ本体１００が有する表示装置である。表示部１０５は、撮影が行われた際に得られた撮像画像信号から生成された再構成画像や、各種のメニュー画像等のＧＵＩ画像を表示する。
【００２３】
一方、ファインダ用表示部１０７は、エイミング動作中に撮影者（観察者）が覗き込む電子ビューファインダに係る画像提示を行う表示装置である。ファインダ用表示部１０７の表示領域には、エイミング動作中、撮像部１０２より撮像された画像信号に基づく画像が表示される。ファインダ用表示部１０７の表示領域に表示された画像は、ファインダ光学系１０８を介して電子ビューファインダを覗く撮影者の眼球１８にその反射光が到達する。
【００２４】
また本実施形態の電子ビューファインダには、電子ビューファインダを覗いている眼球１８の視線方向を検出する検出部１０９を有する。検出部１０９は、例えば赤外線ＬＥＤと赤外線撮像素子で構成されており、眼球１８の角膜反射光及び瞳孔位置を検出することで、視線方向を検出する。また検出部１０９は、該視線方向に基づいて眼球１８がファインダ用表示部１０７に表示されている画像のいずれの領域または位置を注視しているかを特定する。そして検出部１０９は、特定した注目領域の情報をカメラ制御部１０１に出力する。
【００２５】
操作検出部１０６は、例えばレリーズボタンやメニューボタン等の操作部材を有するユーザインタフェースである。操作検出部１０６は、操作部材に対してなされた操作入力を検出し、なされた操作に対応する制御信号をカメラ制御部１０１に出力する。
【００２６】
一方、レンズ制御部２０１は、レンズ鏡筒２００が有する各ブロックの動作を制御する。上述したようにレンズ制御部２０１は電気接点１１を介してカメラ制御部１０１に接続されており、所定の演算によりカメラ制御部１０１が出力した制御信号に応じて、レンズ制御部２０１は各ブロックの動作を制御する。
【００２７】
撮像光学系２０３は、対物レンズ、焦点レンズ、ブレ補正レンズ、絞りなどを有して構成されており、撮像部１０２の撮像素子に被写体からの反射光束を結像する。撮像光学系２０３の焦点レンズ、ブレ補正レンズ、絞り等は所定の範囲で駆動可能に構成され、駆動部２０２により駆動される。例えば、カメラ制御部１０１が露光制御を行う場合は、撮像により得られた画像解析によりピント評価値や適切な露光量を得ることができるので、該情報に基づいて駆動部２０２は撮像光学系２０３の各光学部材を制御する。
具体的にはカメラ制御部１０１は、画像処理部１０３に撮像部１０２からの信号を元に適切な焦点位置、絞り位置を求めさせ、該情報を電気接点１１を介してレンズ制御部２０１に伝送し、レンズ制御部２０１に駆動部２０２を制御させる。さらにレンズ制御部２０１には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、レンズ制御部２０１が手ぶれ検出センサの信号を元に駆動部２０２に制御信号を送出し、ブレ補正レンズを適切に駆動させる。
【００２８】
《複数の視点に係る画像群を取得可能な光学設計》
次に、本実施形態のカメラシステムにおける撮影により得られる光線空間情報データ（複数の視点に係る画像群を有するデータ）が、別の光学設計においても取得可能であることを図３を用いて詳細を説明する。
【００２９】
図３（ａ）は、撮像光学系２０３の結像面近傍にＭＬＡ２１０が配置された例であり、図２において示した光学系と同様の構成を示している。また図３（ｂ）及び（ｃ）は、それぞれ撮像光学系２０３の結像面よりも被写体に近接した位置に、または撮像光学系２０３の結像面よりも被写体から遠離した位置に、ＭＬＡ２１０が配置された例を示している。
【００３０】
図３（ａ）乃至（ｃ）において、撮像光学系２０３の瞳平面が３０３で、所定の物体が存在する物体平面が３０２で、そして撮像光学系２０３のメインレンズの仮想結像面（物体との共役面）が３０１で示されている。図では、物体平面３０２上の２種類の位置に存在する物体（点）にそれぞれａまたはｂを付して識別しており、点３０４ａに係る反射光束を実線で、点３０４ｂに係る反射光束を一点鎖線で示している。
【００３１】
図３（ａ）の例では、撮像光学系２０３の結像面近傍にＭＬＡ２１０が配置されることにより、撮像素子２１１と撮像光学系２０３の瞳平面３０３とは共役の関係にある。さらに、物体平面３０２とＭＬＡ２１０も共役の関係にある。このため、物体平面３０２上の点３０４ａから出た光束はマイクロレンズ２２１ａに、点３０４ｂを出た光束はマイクロレンズ２２１ｂに収束する。即ち、物体平面３０２上の所定の位置の点から瞳領域２３１ａ乃至ｅの各々を通過して仮想結像面３０１に到達する光束は、該所定の位置と共役な位置に存在するマイクロレンズ下に設けられた対応する光電変換素子にそれぞれ結像される。
【００３２】
図３（ｂ）の例では、各マイクロレンズ２２１により撮像光学系２０３からの光束が結像される結像面に撮像素子２１１が配置されている。該配置により、物体平面３０２と撮像素子２１１とが共役の関係となる。このとき、物体平面３０２上の点３０４ａから出て瞳平面３０３上の瞳領域２３１ａを通過した光束はマイクロレンズ２２１ｃに到達し、点３０４ａから出て瞳領域２３１ｃを通過した光束はマイクロレンズ２２１ｄに到達する。また物体平面３０２上の点３０４ｂから出て瞳領域２３１ａを通過した光束はマイクロレンズ２２１ｄに到達し、点３０４ｂから出て瞳領域２３１ｃを通過した光束はマイクロレンズ２２１ｅに到達する。また各マイクロレンズを通過した光束は、図３（ａ）と同様にマイクロレンズ下に設けられた対応する光電変換素子にそれぞれ結像される。このように、物体平面３０２上の同一の点から出た光束であっても、瞳平面３０３上で通過する瞳領域によって、それぞれ異なるマイクロレンズに割り当てられた光電変換素子に結像することになる。しかし、このようにして得られた光線空間情報データは、受光した光束が仮想結像面３０１上における光電変換素子に係る配列になるように並べ替えを行うことで、図３（ａ）の配置構成と同様のデータに変換することが可能である。即ち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００３３】
図３（ｃ）の例では、各マイクロレンズ２２１により撮像光学系２０３からの光束が再結像（一度結像してから拡散する状態となった光束を（再度）結像させる）される結像面に撮像素子２１１が配置されている。該配置により、物体平面３０２と撮像素子２１１とが共役の関係となる。このとき、物体平面３０２上の点３０４ａから出て瞳平面３０３上の瞳領域２３１ａを通過した光束はマイクロレンズ２２１ｇに到達し、点３０４ａから出て瞳領域２３１ｃを通過した光束はマイクロレンズ２２１ｆに到達する。また物体平面３０２上の点３０４ｂから出て瞳領域２３１ａを通過した光束はマイクロレンズ２２１ｉに到達し、点３０４ｂから出て瞳領域２３１ｃを通過した光束はマイクロレンズ２２１ｈに到達する。また各マイクロレンズを通過した光束は、図３（ａ）と同様にマイクロレンズ下に設けられた対応する光電変換素子にそれぞれ結像される。しかし、このようにして得られた光線空間情報データは、図３（ｂ）と同様に受光した光束が仮想結像面３０１上における光電変換素子に係る配列になるように並べ替えを行うことで、図３（ａ）の配置構成と同様のデータに変換することができる。即ち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００３４】
このように、物体平面３０２と共役の関係にない面にＭＬＡ２１０及び撮像素子２１１を配置して得られた光線空間情報データであっても、共役の関係にある仮想結像面３０１近傍にＭＬＡ２１０及び撮像素子２１１を配置した場合のデータを再構成できる。
【００３５】
また、瞳分割を行って光束を記録しなくとも、光線空間情報データと等価な、複数の視点に係る画像群を有するデータは取得可能である。図３（ｄ）は、ＭＬＡ２１０を用いず、所謂多眼光学系を用いることにより同様のデータを取得する構成を示している。図においてメインレンズ３０５ａ乃至ｅは、多眼光学系の各々異なる視点位置に対応する光学系を示しており、図３（ａ）乃至（ｃ）における各瞳領域２３１に対応する。そして、各メインレンズ３０５は通過した光束をそれぞれ異なる撮像素子２１１に結像する。
【００３６】
図３（ａ）乃至（ｃ）ではＭＬＡ（位相変調素子）により瞳分割し、複数の視点に係る画像群を有するデータを取得する例について説明したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学設計も利用可能である。例えば光線空間情報データは、例えば適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入することにより取得してもよい。またこの他、手振れや撮像装置全体の移動を利用した時分割撮影により、複数の視点に係る画像群を取得する方法が用いられてもよい。
【００３７】
このような光学設計により得られたデータは、図３（ａ）乃至（ｃ）では瞳領域２３１ａ乃至ｅの位置に対応する視点に係る画像群、図３（ｄ）ではメインレンズ３０５ａ乃至ｅの位置に対応する視点に係る画像群を有していることになる。また、各視点に係る画像は各々異なる位置にあるため、両眼視差と同様、各々視差を有する関係にある。
【００３８】
《表示制御処理》
上述のような構成をもつ本実施形態のカメラシステムの表示制御処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部１０１が、例えば不揮発性メモリに記憶されている対応する処理プログラムを読み出し、メモリ１０４に展開して実行することにより実現することができる。本表示制御処理は、例えば撮影モードにカメラ本体１００が設定されている際に撮影者が電子ビューファインダに眼球を近づけた際に開始されるものとして説明する。なお、本表示制御処理では簡単のため、撮影指示がなされるまでの間、撮像部１０２が所定の時間間隔で撮像を行い、撮像により得られた複数の視点に係る画像群を有するデータ（光線空間情報データ）がメモリ１０４に格納されるものとする。
【００３９】
Ｓ４０１で、カメラ制御部１０１は、現在設定されている撮影モードが、電子ビューファインダにおいて視点を切り替えて画像提示を行うモードであるか否かを判断する。本実施形態では、ファインダ用表示部１０７は撮影モードに設定されている際に、撮像により得られた複数の視点に係る画像群のうちの１つの画像を電子ビューファインダ用に表示する。視点を切り替えて画像提示を行うモードでは、後述のように撮影者の眼球が注視する注目領域の変化に合わせて、ファインダ用表示部１０７に表示される画像が切り替えられる。カメラ制御部１０１は、現在設定されている撮影モードが視点を切り替えて画像提示を行うモードであると判断した場合は処理をＳ４０３に移し、それ以外のモードであると判断した場合は処理をＳ４０２に移す。
【００４０】
Ｓ４０２で、カメラ制御部１０１は、撮像により得られた画像群に係る複数の視点のうち、射出瞳面の中央の瞳領域に係る視点を表示用の視点として選択する。なお、視点を切り替えずに画像提示を行うモードでファインダ用表示部１０７に表示される画像は、中央の瞳領域に係る画像である必要はなく、いずれか１つの視点が固定視点として選択され、該固定視点に係る画像がファインダ用表示部１０７に表示されればよい。また、１つの視点に係る画像ではなく、複数の視点に係る画像を非特許文献１に開示されるような手法を用いて生成された特定の焦点状態の再構成画像をファインダ用表示部１０７に表示するようにしてもよい。
【００４１】
一方、視点を切り替えて画像提示を行うモードである場合、検出部１０９はＳ４０３で、現在の撮影者の視線方向に基づいて、ファインダ用表示部１０７に表示されている画像の注目領域、即ち撮影範囲のうちの注目領域を検出する。なお、本ステップの処理が最初に実行される際には、例えば中央の瞳領域に係る画像がファインダ用表示部１０７に表示され、注目領域を検出するようにしてよい。
【００４２】
Ｓ４０４で、カメラ制御部１０１は、取得された画像群に係る複数の視点のうち、検出された注目領域に対応する視点を表示用の視点として選択する。注目領域に対応する視点とは、例えば複数の視点をその位置関係に応じて配列した場合に、撮影範囲における注目領域の位置に対応する位置に存在する視点であってよい。つまり、本実施形態のように画像群が瞳分割して撮影された画像群である場合、射出瞳面上における位置が、撮影範囲における注目領域の位置に対応する瞳領域に係る画像が、表示用の視点に係る画像として選択される。具体的には、図５（ａ）に示されるように、ファインダ用表示部１０７上の５０１が注目領域として検出された場合、該注目領域に対応する瞳領域５１１は、射出瞳面５１０において図示される位置となる。このように、撮影範囲における注目領域の位置と視点の位置関係に応じて表示用の視点を選択することで、例えば撮影者が画面の右側を観た場合に右側からの視点が表示されるといった、視点切り替えを実現することができる。また視点の選択方法はこれに限られるものでなく、例えば注目領域と共役の関係にある瞳領域に対応する視点が選択されてもよい。この場合、撮影者が画面の右側を観た場合に被写体を左側から右方向に観た視点が表示される。なお、注目領域に応じて選択される視点の情報は、例えば不揮発性メモリに格納されたルックアップテーブルを参照することにより決定されてよい。
【００４３】
Ｓ４０５で、カメラ制御部１０１は、選択された表示用の視点に係る画像をメモリ１０４から読み出してファインダ用表示部１０７に伝送し、表示させる。
【００４４】
Ｓ４０６で、カメラ制御部１０１は、ファインダ用表示部１０７への画像提示を終了するか否かを判断する。本実施形態のカメラシステムでは、撮影指示がなされた際、あるいは撮影者が電子ビューファインダから眼球を離した際に、ファインダ用表示部１０７への画像提示を終了するものとする。カメラ制御部１０１は、ファインダ用表示部１０７への画像提示を終了すると判断した場合は本表示制御処理を完了し、終了しないと判断した場合は処理をＳ４０１に戻す。
【００４５】
このようにすることで、撮影者が注視した領域に応じて視点切り替えを表現するように画像提示することができるため、エイミング中であっても撮影者に被写体の立体的形状を把握させることができる。
【００４６】
上述した表示制御処理では注目領域に対応する視点が表示用の視点として選択されるものとして説明したが、撮影者は視線方向の移動を俊敏に行うことができるため、移動に応じて提示する画像の切り替えを行った場合に撮影者に混乱を与えうる。例えば、図５（ｂ）に示されるように視点Ａに係る画像５２０がファインダ用表示部１０７に表示されている際に、撮影者が瞬間的に視線を右端に移した場合、上記の表示制御処理では視点Ｃに係る画像５４０が表示される。この場合、画像５２０では近景被写体５２１と遠景被写体５２２とは重なって表示されていたが、画像５４０では近景被写体５２１と遠景被写体５２２は全く重ならない状態となっているため、撮影者に全く異なる画像に切り替わった印象を与えうる。従って、変化前の注目領域から変化後の注目領域までの移動量が予め定められた閾値を超える移動量と判断した場合には、例えば視点ＡとＣの間にある視点Ｂに係る画像５３０を表示した後に画像５４０が表示されるように表示用の視点を選択してもよい。画像５３０では近景被写体５２１と遠景被写体５２２との重複面積は画像５２０より小さく、画像５２０から画像５４０までを視点が連続的に切り替わった印象を撮影者に与えることができる。即ち、注目領域の移動量が閾値を超える場合には、最終的に変化後の注目領域に収束するように、変化前の注目領域から変化後の注目領域までに存在する領域に対応する視点が、表示用の視点として順次選択されるように制御してもよい。
【００４７】
以上説明したように、本実施形態の情報処理装置は、複数の視点に係る画像群の表示において、好適に被写体の立体的形状を知覚させられる表示用の視点を選択することができる。具体的には情報処理装置は、同一の被写体を撮影した画像群に係る、各々異なる位置に対応する複数の視点の情報を取得する。そして被写体を含む撮影範囲のうちの注目領域を検出し、取得した複数の視点のうち、検出した注目領域に対応する視点を表示用の視点として選択する。
【００４８】
［変形例１］
上述した実施形態では撮像により得られた複数の視点に係る画像群のうち、注目領域に対応して選択された視点に係る画像をファインダ用表示部１０７に表示する例について説明した。
【００４９】
例えば、図３（ａ）乃至（ｃ）に示したような光学設計の撮像装置で撮影した場合には、撮影者が視線を図面右側に移動させると、図６（ａ）に示されるように画像６０１、６０２、６０３が順にファインダ用表示部１０７に表示される。上述したように結像面では共役の関係にある合焦している被写体が存在する物体平面の像からの光束が同一のマイクロレンズ収束するため、図６（ａ）において合焦している被写体６０５の像は、視点が切り替わったとしても画像内の位置が変化しない。一方、被写体６０５よりも撮像装置寄りにいる近景被写体６０４の像は視線移動方向とは反対の左側に移動していき、被写体６０５よりも遠方に入る遠景被写体６０６の像は視線移動方向と同一の右側に移動していくように表示される。
【００５０】
また例えば、図３（ｄ）に示したような多眼構成の撮像装置で撮影した場合には、撮影者が視線を図面右側に移動させると、図６（ｂ）に示されるように画像６１１、６１２、６１３が順にファインダ用表示部１０７に表示される。図３（ｄ）のような光学設計である場合、各撮像素子のメインレンズが視点位置が異なるのみで並行した方向を向いているのであれば、被写体像の位置は全ての画像において変化しうる。これは、無限遠が固定であることによるものであり、有限距離の物体の像は全て移動する。従って、図６（ｂ）に示されるように、切り替えられて表示される画像では全ての被写体の像は視線移動方向とは反対の左側に移動していく。またその移動量は、撮像装置との距離が短い被写体ほど大きくなり、無限遠に近い被写体ほど小さくなる。
【００５１】
しかし、このように視線移動により注目領域が移動した場合、単純に対応する視点に係る画像を提示すると、変更前の画像において表示領域内の注目領域の位置に配置されていた被写体の像が、変更後の画像において表示領域内の別の位置に移動する可能性がある。従って、変更前に表示していた画像における注目領域内の像が表示領域中の同一の位置に表示されるように、変更後の画像の表示位置を制御してもよい。
【００５２】
また、視線の移動は撮影者が被写体を注視したい場合が多いため、図６（ｃ）に示されるように注目領域内の被写体の像が最も先鋭化する、即ちピントが合ったような状態にする先鋭化処理を適用し、ファインダ用表示部１０７に表示する画像が生成されてもよい。図６（ｃ）の例では、画像６２１、６２２、６２３の各々において枠６２４を付した領域が注目領域であり、該領域内の被写体の像、あるいは該領域内の画像と同一の深度範囲に存在する被写体の像が先鋭化されている。
【００５３】
［変形例２］
上述した実施形態及び変形例１では、電子ビューファインダに表示する画像に本発明を適用する例について説明したが、注目領域を検出する手段が設けられるのであれば、本発明は適用可能である。例えばカメラシステムが有する表示部１０５に表示する画像の選択に本発明は適用されてもよい。この場合、例えば図７（ａ）に示されるように表示部１０５の下部に設けられたステレオカメラとしての２つの撮像部７０１、７０２の出力を利用して、視線方向や注目領域の特定を行えばよい。この他、例えば液晶モニタ等の表示装置に表示する画像の選択においても、例えば図７（ｂ）に示されるようにポインティングデバイスにより指示される位置７０３を注目領域と捉えて本発明を適用してもよい。
【００５４】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５５】
１００：カメラ本体、１０１：カメラ制御部、１０２：撮像部、１０３：画像処理部、１０４：メモリ、１０５：表示部、１０６：操作検出部、１０７：ファインダ用表示部、１０８：ファインダ光学系、１０９：検出部、２００：レンズ鏡筒、２０１：レンズ制御部、２０２：駆動部、２０３：撮像光学系、２１０：マイクロレンズアレイ（ＭＬＡ）、２１１：撮像素子、２２１：マイクロレンズ、２２２：光電変換素子、２３０：射出瞳、２３１：瞳領域
【図１】
2016001854.tif 000003
【図２】
2016001854.tif 000004
【図３】
2016001854.tif 000005
【図４】
2016001854.tif 000006
【図５】
2016001854.tif 000007
【図７】
2016001854.tif 000008
【図６】
2016001854.tif 000009