(57)【要約】  本技術は、視差情報を適切に求めることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。画像処理部は、被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、視点画像を用いた画像処理を行うことにより、視点画像に対する視差情報を求める。本技術は、例えば、複数の視点の視点画像を用いた画像処理により、視点画像に対する視差情報を求める場合等に適用することができる。
2019135365.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める画像処理部を備える
画像処理装置。
【請求項２】
前記画像処理部は、前記被写体距離のうちの最小の最小被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める
請求項１に記載の画像処理装置。
【請求項３】
前記最小被写体距離に応じて、前記画像処理により求められる視差情報の最大値又は最小値を設定する設定部をさらに備え、
前記画像処理部は、前記視差情報の最大値又は最小値に応じて、前記視点画像を用いた画像処理を行うことにより、前記最大値以下の視差情報又は前記最小値以上の視差情報を求める
請求項２に記載の画像処理装置。
【請求項４】
前記最小被写体距離に応じて、前記画像処理に用いる視点画像を設定する設定部をさらに備え、
前記画像処理部は、前記最小被写体距離に応じて設定された前記視点画像を用いた前記画像処理を行うことにより、前記視点画像に対する視差情報を求める
請求項２に記載の画像処理装置。
【請求項５】
前記最小被写体距離に応じて、前記画像処理に用いる視点画像の解像度を設定する設定部をさらに備え、
前記画像処理部は、前記最小被写体距離に応じて設定された前記解像度の視点画像を用いた前記画像処理を行うことにより、前記視点画像に対する視差情報を求める
請求項２に記載の画像処理装置。
【請求項６】
前記最小被写体距離に応じて、前記画像処理により求められる視差情報の精度を設定する設定部をさらに備え、
前記画像処理部は、前記最小被写体距離に応じて設定された精度で、前記視点画像に対する視差情報を求める
請求項２に記載の画像処理装置。
【請求項７】
前記被写体距離を検出する距離検出部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記距離検出部は、像面位相差方式により前記被写体距離を検出する
請求項７に記載の画像処理装置。
【請求項９】
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求めることを含む
画像処理方法。
【請求項１０】
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める画像処理部
として、コンピュータを機能させるためのプログラム。
【請求項１１】
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更を要求する変更要求部を備える
画像処理装置。
【請求項１２】
前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める画像処理部をさらに備え、
前記変更要求部は、前記画像処理で求められる前記視差情報と、前記被写体距離のうちの最小の最小被写体距離とに応じて、前記被写体の撮影状態の変更を要求する
請求項１１に記載の画像処理装置。
【請求項１３】
前記画像処理で求められる前記視差情報に応じて、前記視差情報の閾値である視差閾値を設定する設定部をさらに備え、
前記変更要求部は、前記視差閾値と、前記最小被写体距離とに応じて、前記撮影状態の変更を要求する
請求項１２に記載の画像処理装置。
【請求項１４】
前記変更要求部は、ユーザにより操作される操作部の操作を制限することにより、前記ユーザに、前記撮影状態の変更を要求する
請求項１１に記載の画像処理装置。
【請求項１５】
前記変更要求部は、所定の表示を行うことにより、ユーザに、前記撮影状態の変更を要求する
請求項１１に記載の画像処理装置。
【請求項１６】
前記被写体距離を検出する距離検出部をさらに備える
請求項１１に記載の画像処理装置。
【請求項１７】
前記距離検出部は、像面位相差方式により前記被写体距離を検出する
請求項１６に記載の画像処理装置。
【請求項１８】
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更を要求することを含む
画像処理方法。
【請求項１９】
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更を要求する変更要求部
として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、複数の視点の視点画像から、視差に関する視差情報を適切に求めることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、位相差方式により、被写体までの被写体距離を算出するとともに、その被写体距離の確からしさを表す信頼度を算出し、被写体距離と信頼度とに基づいて、被写体距離の範囲を算出する技術が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2016-173322号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、複数の視点の視点画像を用いた画像処理を行うことにより、視点画像に対して、その視点画像に映る被写体の視差に関する視差情報を求める場合に、画像処理を適切に行うことができず、視差情報を適切に求めることができないことがある。【０００５】
例えば、視点画像に、視差が大きい被写体が映っている場合、すなわち、距離が近い被写体が映っている場合、視差情報を適切に求めることができないことがある。【０００６】
本技術は、このような状況に鑑みてなされたものであり、複数の視点の視点画像から、視差情報を適切に求めることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の画像処理装置又はプログラムは、被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める画像処理部を備える画像処理装置、又は、そのような画像処理装置としてコンピュータを機能させるためのプログラムである。【０００８】
本技術の第１の画像処理方法は、被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求めることを含む画像処理方法である。【０００９】
本技術の第１の画像処理装置、画像処理方法、及び、プログラムにおいては、被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報が求められる。【００１０】
本技術の第２の画像処理装置又はプログラムは、被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更を要求する変更要求部を備える画像処理装置、又は、そのような画像処理装置としてコンピュータを機能させるためのプログラムである。【００１１】
本技術の第２の画像処理方法は、被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更を要求することとを含む画像処理方法である。【００１２】
本技術の第２の画像処理装置、画像処理方法、及び、プログラムにおいては、被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更が要求される。【００１３】
なお、第１の画像処理装置や第２の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１４】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術によれば、視差情報を適切に求めることができる。【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本技術を適用した撮影システムの第１実施の形態の構成例を示すブロック図である。
【図２】多視点撮影装置１１の第１の構成例を示す平面図である。
【図３】多視点撮影装置１１の第２の構成例を示す平面図である。
【図４】多視点撮影装置１１の第３の構成例を示す平面図である。
【図５】多視点撮影装置１１の第４の構成例を示す平面図である。
【図６】ディスパリティと被写体距離との関係を説明する図である。
【図７】カメラ５１ｉが有する画素の構成例を示す断面図である。
【図８】撮影システムが行う撮影処理の例を説明するフローチャートである。
【図９】撮影システムが行う画像処理としてのディスパリティマップ生成処理の例を説明するフローチャートである。
【図１０】最小被写体距離に応じたディスパリティの精度の設定の例を示す図である。
【図１１】撮影システムが行う画像処理としてのディスパリティマップ生成処理の他の例を説明するフローチャートである。
【図１２】本技術を適用した撮影システムの第２実施の形態の構成例を示すブロック図である。
【図１３】撮影システムが行う撮影処理の例を説明するフローチャートである。
【図１４】撮影システムを利用したカメラシステムの構成例を示す斜視図である。
【図１５】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜本技術を適用した撮影システムの第１実施の形態＞
【００１９】
図１は、本技術を適用した撮影システムの第１実施の形態の構成例を示すブロック図である。
【００２０】
図１において、撮影システムは、多視点撮影装置１１、画像処理装置１２、及び、UI(User Interface)装置１３を有する。
【００２１】
多視点撮影装置１１は、複数の視点から被写体を撮影し、これにより、複数の視点の視点画像を得て、画像処理装置１２（の記憶部２３）に供給する。
【００２２】
なお、多視点撮影装置１１は、例えば、像面位相差方式によるAF(Auto Focus)の機能を有し、その像面位相差方式によるAFで得られる後述する位相差情報を、画像処理装置１２（の距離検出部２１）に供給する。
【００２３】
画像処理装置１２は、距離検出部２１、最小距離検出部２２、記憶部２３、読み出し部２４、設定部２５、及び、画像処理部２６を有する。
【００２４】
距離検出部２１は、多視点撮影装置１１による被写体の撮影時に、多視点撮影装置１１で撮影された視点画像に映る被写体までの被写体距離を検出し、最小距離検出部２２に供給する。例えば、距離検出部２１は、多視点撮影装置１１から供給される位相差情報に応じて、多視点撮影装置１１で撮影された視点画像に映る被写体までの被写体距離を検出し、最小距離検出部２２に供給する。
【００２５】
最小距離検出部２２は、距離検出部２１から供給される、様々な被写体の被写体距離のうちの最小の被写体距離（以下、最小被写体距離ともいう）を検出し、記憶部２３に供給する。なお、最小距離検出部２２では、最小被写体距離の他、最大の被写体距離を検出することができる。
【００２６】
記憶部２３は、多視点撮影装置１１から供給される複数の視点の視点画像と、その視点画像に映る被写体の被写体距離のうちの、最小距離検出部２２から供給される最小被写体距離とを対応付けて記憶する。
【００２７】
複数の視点の視点画像と最小被写体距離とを対応付ける方法としては、例えば、複数の視点の視点画像のファイルと最小被写体距離のファイルとを、ファイル名によって関連付ける方法を採用することができる。また、複数の視点の視点画像と最小被写体距離とを対応付ける方法としては、例えば、複数の視点の視点画像のファイルのヘッダ情報に、最小被写体距離を含める方法を採用することができる。
【００２８】
読み出し部２４は、記憶部２３に記憶された複数の視点の視点画像と、それらの複数の視点の視点画像に対応付けられた最小被写体距離とを読み出し、最小被写体距離を、設定部２５に供給するとともに、複数の視点の視点画像を、画像処理部２６に供給する。
【００２９】
設定部２５は、読み出し部２４から供給される最小被写体距離（や最大の被写体距離）に応じて、画像処理部２６の画像処理を制御する制御情報を設定し、画像処理部２６に供給することで、画像処理部２６の画像処理を制御する。
【００３０】
例えば、設定部２５は、最小被写体距離に応じて、画像処理部２６の画像処理により求められる視差情報の最大値又は最小値を設定し、その視差情報の最大値又は最小値を表す制御情報を、画像処理部２６に供給する。
【００３１】
また、設定部２５は、最小被写体距離に応じて、画像処理部２６の画像処理に用いる視点画像を設定し、その視点画像を表す制御情報を、画像処理部２６に供給する。
【００３２】
さらに、設定部２５は、最小被写体距離に応じて、画像処理部２６の画像処理に用いる視点画像の解像度を設定し、その視点画像の解像度を表す制御情報を、画像処理部２６に供給する。
【００３３】
また、設定部２５は、最小被写体距離に応じて、画像処理部２６の画像処理により求められる視差情報の精度を設定し、その視差情報の精度を表す制御情報を、画像処理部２６に供給する。
【００３４】
なお、設定部２５では、最小被写体距離に応じて、画像処理により求められる視差情報の最大値又は最小値、画像処理に用いる視点画像、画像処理に用いる視点画像の解像度、及び、画像処理により求められる視差情報の精度のうちの２以上を設定し、制御情報として、画像処理部２６に供給することができる。
【００３５】
画像処理部２６は、多視点撮影装置１１による被写体の撮影後に、読み出し部２４から供給される複数の視点の視点画像（のうちの２視点以上の視点画像）を用いた画像処理を行うことにより、（１視点以上の）視点画像に対して、その視点画像に映る被写体の視差に関する視差情報を求める（生成する）。
【００３６】
画像処理部２６は、設定部２５からの制御情報に従って、視差情報を求める画像処理を行う。
【００３７】
すなわち、設定部２５からの制御情報が、画像処理により求められる視差情報の最大値又は最小値を表す場合には、画像処理部２６は、制御情報が表す視差情報の最大値又は最小値に応じて、視点画像を用いた画像処理を行うことにより、その最大値以下の視差情報又は最小値以上の視差情報を求める。
【００３８】
また、設定部２５からの制御情報が、画像処理に用いる視点画像を表す場合には、画像処理部２６は、制御情報が表す視点画像を用いて画像処理を行うことにより、視差情報を求める。
【００３９】
さらに、設定部２５からの制御情報が、画像処理に用いる視点画像の解像度を表す場合には、画像処理部２６は、制御情報が表す解像度の視点画像を用いて画像処理を行うことにより、視差情報を求める。
【００４０】
また、設定部２５からの制御情報が、画像処理により求められる視差情報の精度を表す場合には、画像処理部２６は、制御情報が表す精度で、視差情報を求める。
【００４１】
以上のように、画像処理部２６は、距離検出部２１で検出される被写体距離のうちの、例えば、最小被写体距離に応じて設定される制御情報に従って、視差情報を求めるので、画像処理部２６は、被写体距離に応じて、画像処理を行うことにより、視差情報を求める、ということができる。
【００４２】
なお、画像処理部２６は、視差情報を求めた後、複数の視点の視点画像及び視差情報を用いて、複数の視点の視点画像から、フォーカスを変更して撮影を行った画像を再構成するリフォーカスその他の、複数の視点の視点画像及び視差情報を用いた画像処理を、必要に応じて行うことができる。
【００４３】
ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等の視差に換算することができる任意の情報を採用することができる。本実施の形態では、視差情報として、例えば、ディスパリティを採用することとし、画像処理部２６では、画像処理により、ディスパリティが求められ、そのディスパリティが登録されたディスパリティマップが生成されることとする。
【００４４】
画像処理によりディスパリティが視差情報として求められる場合、設定部２５が、最小被写体距離に応じて、画像処理部２６の画像処理により求められる視差情報の最大値又は最小値を設定するときには、設定部２５では、例えば、視差情報としてのディスパリティの最大値である最大ディスパリティ又は最小値である最小ディスパリティを設定することができる。最大ディスパリティは、画像処理部２６が画像処理によりディスパリティを視差情報として求める場合の、そのディスパリティの最大値（最も近い被写体のディスパリティ）である。最小ディスパリティの最小値は、０である。
【００４５】
また、画像処理により距離が視差情報として求められる場合、設定部２５が、最小被写体距離に応じて、画像処理部２６の画像処理により求められる視差情報の最大値又は最小値を設定するときには、設定部２５では、例えば、視差情報としての距離の最小値である最小距離又は最大値である最大距離を設定することができる。
【００４６】
以下では、説明を簡単にするため、視差情報として、ディスパリティを採用する場合について説明し、距離を採用する場合については、説明を省略する。なお、視差情報として、距離を採用する場合は、ディスパリティを採用する場合に対して、値の大小関係が逆になる。
【００４７】
UI装置１３は、ユーザとのインターフェースとして機能する。UI装置は、例えば、操作部３１や表示部３２を有する。
【００４８】
操作部３１は、図示せぬシャッタボタン等の各種のボタンやレバー等を有し、ユーザによって操作され、その操作に対応する操作信号を、必要なブロックに供給する。
【００４９】
表示部３２は、タッチパネル等で構成され、多視点撮影装置１１で撮影された（視点）画像を、いわゆるスルー画として表示する。また、表示部３２は、撮影システムの設定のためのメニュー等の各種の表示を行う。
【００５０】
なお、図１の撮影システムにおいて、読み出し部２４、設定部２５、及び、画像処理部２６は、撮影システムとは別に、例えば、クラウド（コンピュータ）上に設けることができる。
【００５１】
＜多視点撮影装置１１の構成例＞
【００５２】
図２は、図１の多視点撮影装置１１の第１の構成例を示す平面図である。
【００５３】
図２では、多視点撮影装置１１は、横×縦が５×５に等間隔に配置された２５個のカメラ（ユニット）５１１ないし５１２５で構成される。
【００５４】
なお、図２では、図が煩雑になることを避けるため、カメラ５１ｉの符号の一部を省略してある。
【００５５】
図３は、図１の多視点撮影装置１１の第２の構成例を示す平面図である。
【００５６】
図３では、多視点撮影装置１１は、水平（横）方向に並べて配置された２個のカメラ５１１及び５１２で構成される。図３の多視点撮影装置１１は、いわゆるステレオカメラである。
【００５７】
図４は、図１の多視点撮影装置１１の第３の構成例を示す平面図である。
【００５８】
図４では、多視点撮影装置１１は、水平方向に等間隔に並べて配置された３個のカメラ５１１ないし５１３で構成される。
【００５９】
図５は、図１の多視点撮影装置１１の第４の構成例を示す平面図である。
【００６０】
図５では、多視点撮影装置１１は、図３と同様に、水平方向に並べて配置された２個のカメラ５１１及び５１２で構成されるステレオカメラになっている。
【００６１】
但し、図５の多視点撮影装置１１では、２個のカメラ５１１及び５１２のうちの一方又は両方を水平方向に移動することができるようになっており、したがって、カメラ５１１の光軸とカメラ５１２の光軸との間の距離である基線長が可変になっている。
【００６２】
なお、図５では、２個のカメラ５１１及び５１２のうちの一方へ、例えば、カメラ５１２が水平方向に移動することができるようになっている。
【００６３】
＜ディスパリティと被写体距離との関係＞
【００６４】
図６は、ディスパリティと被写体距離との関係を説明する図である。
【００６５】
いま、画像処理部２６において、例えば、水平方向に並べて配置された２個のカメラ５１１及び５１２で撮影された２視点の視点画像を用いて、ディスパリティを求めることとする。また、説明を簡単にするため、２個のカメラ５１１及び５１２は、同一の仕様のカメラであることとする。
【００６６】
この場合、２個のカメラ５１１及び５１２の基線長をBと、カメラ５１１及び５１２の水平画角をaと、カメラ５１１及び５１２で撮影される視点画像の水平解像度（画素数）をHと、被写体距離をLと、ディスパリティをDと、それぞれ表すこととすると、ディスパリティDと被写体距離Lとの関係は、式（１）で表される。
【００６７】
D=B×H/(2×L×tan(a/2))
・・・（１）
【００６８】
画像処理部２６では、例えば、２視点の視点画像を用いて、その２視点の視点画像のマッチングをとる画像処理を行うことにより、２視点の視点画像のうちの少なくとも一方の視点画像に対するディスパリティが、その視点画像の画素ごとに求められる。
【００６９】
式（１）によれば、ディスパリティDは、基線長Bによって変化する（基線長Bに比例する）ので、画像処理部２６の画像処理に用いる２視点の視点画像の選び方により、基線長Bを変更し、画像処理により求められるディスパリティD（の範囲）を変更することができる。
【００７０】
すなわち、例えば、図４の第３の構成例の多視点撮影装置１１において、カメラ５１１とカメラ５１２との間の基線長B1は、カメラ５１１とカメラ５１３との間の基線長B2の1/2である。
【００７１】
したがって、カメラ５１１で撮影された視点画像とカメラ５１２で撮影された視点画像とを用いて求められるディスパリティは、カメラ５１１で撮影された視点画像とカメラ５１３で撮影された視点画像とを用いて求められるディスパリティの1/2になる。
【００７２】
図２及び図４に示した多視点撮影装置１１によれば、画像処理に用いる２視点の視点画像を撮影するカメラ５１ｉ及び５１ｊのペアを変更することにより、基線長Bを変更し、画像処理で求められるディスパリティD（の範囲）を変更することができる。
【００７３】
また、図５に示した多視点撮影装置１１によれば、カメラ５１２を移動することにより、基線長Bを変更し、画像処理で求められるディスパリティDを変更することができる。
【００７４】
ところで、式（１）によれば、ディスパリティDは、被写体距離Lが小さい（近い）ほど、大きな値となり、ディスパリティDの（検出）分解能は高くなる。一方、ディスパリティDは、被写体距離Lが大きいほど小さな値となり、ディスパリティDの分解能は低くなる。
【００７５】
ディスパリティを求める画像処理において、最大ディスパリティは、画像処理に用いられるメモリの記憶容量や、画像処理における演算量に影響する。
【００７６】
すなわち、ディスパリティを求める画像処理では、例えば、２視点の視点画像のうちの一方を、ベースとなるベース画像として、ベース画像の各画素が、注目画素に選択され、その注目画素を中心とする所定サイズの領域R1と、２視点の視点画像のうちの他方の視点画像の、注目画素の位置から、注目画素のディスパリティの候補となるディスパリティ候補だけずれた位置を中心とする所定サイズの領域R2とのマッチングがとられる。そして、マッチングの評価値（例えば、領域R1及び領域R2それぞれの同一位置の画素どうしの画素値の自乗和等）が最も良いディスパリティ候補が、注目画素のディスパリティに決定される。
【００７７】
マッチングの評価値は、例えば、０を最小ディスパリティとするとともに、最小ディスパリティから最大ディスパリティまでの範囲を、ディスパリティの探索範囲として、その探索範囲の値を、ディスパリティ候補として用いて求められる。
【００７８】
最大ディスパリティは、ディスパリティ候補の最大値であり、また、ディスパリティの探索範囲を規定するので、画像処理に用いられるメモリの記憶容量や、画像処理における演算量に影響する。
【００７９】
なお、ここでは、最小ディスパリティを０に固定することとしたが、最小ディスパリティは、最大ディスパリティ未満の任意の値に設定することができる。最小ディスパリティが任意の値に設定される場合、最小ディスパリティは、最大ディスパリティとともに、ディスパリティの探索範囲を規定するので、画像処理における演算量に影響する。
【００８０】
以上のように、最大ディスパリティは、画像処理に用いられるメモリの記憶容量や、画像処理における演算量に影響するので、小さい方が望ましいが、最大ディスパリティが小さいと、画像処理により求められるディスパリティの最大値が制限される。すなわち、画像処理により求められる被写体距離の最小値が制限される。
【００８１】
したがって、画像処理に用いられるメモリの記憶容量や、画像処理における演算量の低減化と、画像処理により求められる被写体距離の最小値（どこまで近い被写体距離を求めることができるか）とは、トレードオフの関係にある。
【００８２】
また、ベース画像に、（画像処理により求められる）最大ディスパリティに対応する距離よりも近い被写体が映っている場合には、画像処理において、その被写体については、ディスパリティを正確に求めることができず、エラーが生じることがある。
【００８３】
本技術では、画像処理において、視差情報としてのディスパリティを適切に求めることができるようにする。すなわち、本技術では、例えば、画像処理に用いられるメモリの記憶容量を低減することや、画像処理における演算量を低減化すること、ディスパリティを求める画像処理においてエラーが生じることを抑制することができるようにする。
【００８４】
図１の撮影システムでは、被写体（視点画像）の撮影時に距離検出部２１で検出された被写体距離を、被写体の撮影後の、ディスパリティを求める画像処理に、いわばフィードバック（フィードフォワード）することで、画像処理に用いられるメモリの記憶容量や、画像処理における演算量を低減化やエラーの抑制が図られる。
【００８５】
＜カメラ５１ｉが有する画素の構成例＞
【００８６】
図７は、カメラ５１ｉが有する画素の構成例を示す断面図である。
【００８７】
ここで、距離検出部２１は、図１で説明したように、多視点撮影装置１１による被写体の撮影時に、視点画像に映る被写体までの被写体距離を検出する。
【００８８】
多視点撮影装置１１による被写体の撮影時に被写体距離を検出する検出方法としては、光を発光し、その光の反射光を受光することにより距離を検出する距離センサであるアクティブセンサや、光を発光せずに、距離を検出する距離センサであるパッシブセンサを用いる検出方法がある。
【００８９】
アクティブセンサとしては、例えば、TOF(Time Of Flight)センサがあり、パッシブセンサとしては、例えば、像面位相差方式のAF(Auto Focus)に対応したイメージセンサ（以下、像面位相差センサともいう）がある。
【００９０】
被写体の撮影時に被写体距離を検出する検出方法としては、上述のようなアクティブセンサを用いる検出方法、及び、パッシブセンサを用いる検出方法のいずれの検出方法をも採用することができる。本実施の形態では、被写体の撮影時に被写体距離を検出する検出方法として、例えば、パッシブセンサを用いる検出方法を採用することとする。
【００９１】
パッシブセンサを用いる検出方法では、多視点撮影装置１１を構成する少なくとも１個のカメラ５１ｉ（例えば、ベース画像となる視点画像を撮影するカメラ５１ｉ）が、像面位相差センサを用いて構成される。
【００９２】
図７は、像面位相差センサの画素の構成例を示している。
【００９３】
図７において、画素は、複数である、例えば、２個のPD(Photo Diode)６１Ａ及び６１Ｂ、CF(Color Filter)６２、及び、マイクロレンズ６３を有する。
【００９４】
２個のPD６１Ａ及び６１Ｂは、水平方向に並べて配置され、その２個のPD６１Ａ及び６１Ｂの上部に、CF６２が形成されている。そして、CF６２の上部には、マイクロレンズ６３が配置されている。
【００９５】
したがって、画素においては、２個のPD６１Ａ及び６１Ｂに対して、１個のマイクロレンズ６３が配置されている。
【００９６】
PD６１Ａ及び６１Ｂでは、マイクロレンズ６３を介して光線が受光されることにより、カメラ５１ｉの図示せぬ集光レンズの異なる位置を通過した同一被写体からの光線が、同時に受光される。その結果、あるエリアの複数の画素について、PD６１Ａの光電変換により得られる信号を並べた信号（以下、Ａ層信号ともいう）と、PD６１Ｂの光電変換により得られる信号を並べた信号（以下、Ｂ層信号ともいう）との間には、そのエリアに映る被写体に対するフォーカスのずれに応じた位相差が生じる。
【００９７】
像面位相差方式のAFでは、例えば、Ａ層信号とＢ層信号との間の位相差が最小になるように、フォーカスレンズを駆動することにより、フォーカスレンズが合焦位置に移動される。
【００９８】
Ａ層信号とＢ層信号との間の位相差からは、被写体距離を求めることができ、距離検出部２１は、多視点撮影装置１１の被写体の撮影ごとに得られる、Ａ層信号とＢ層信号との間の位相差を表す位相差情報に応じて、被写体距離を検出する。
【００９９】
なお、以上のように、２個のPD６１Ａ及び６１Ｂに対して、１個のマイクロレンズ６３が配置された画素を用いる像面位相差方式は、マイクロレンズ方式と呼ばれる。マイクロレンズ方式では、画素を構成するPD６１Ａ及び６１Ｂの信号の加算値が、その画素の画素値として用いられる。
【０１００】
また、ここでは、像面位相差方式として、マイクロレンズ方式を採用することとしたが、像面位相差方式としては、マイクロレンズ方式の他、例えば、１個のPDで画素を構成し、画素のPDの左半分を遮光した画素と、右半分を遮光した画素とから、それぞれ、Ａ層信号とＢ層信号とを得る遮光方式、その他の任意の方式を採用することができる。
【０１０１】
＜撮影処理＞
【０１０２】
図８は、図１の撮影システムが行う撮影処理の例を説明するフローチャートである。
【０１０３】
撮影処理では、ステップＳ１１において、多視点撮影装置１１は、複数の視点からの被写体（複数の視点の視点画像）の撮影を開始し、その撮影により得られる複数の視点の視点画像を、記憶部２３に供給して、処理は、ステップＳ１２に進む。
【０１０４】
ステップＳ１２では、多視点撮影装置１１は、カメラ５１ｉが有する図示せぬイメージセンサとしての像面位相差センサの受光面について、被写体距離を検出する複数の検出エリアを設定し、処理は、ステップＳ１３に進む。
【０１０５】
ここで、多視点撮影装置１１は、像面位相差センサの受光面について、被写体距離を検出する複数の検出エリアを設定すると、その複数の検出エリアそれぞれで得られる位相差情報を出力する。多視点撮影装置１１が出力する複数の検出エリアそれぞれの位相差情報は、距離検出部２１に供給される。
【０１０６】
ステップＳ１３では、距離検出部２１は、複数の検出エリアそれぞれに対して、多視点撮影装置１１からの位相差情報から、検出エリアに映る被写体の被写体距離を検出し、最小距離検出部２２に供給して、処理は、ステップＳ１４に進む。
【０１０７】
ステップＳ１４では、最小距離検出部２２は、距離検出部２１から供給される、複数の検出エリアそれぞれに対して検出された被写体距離のうちの最小被写体距離を検出し、記憶部２３に供給して、処理は、ステップＳ１５に進む。
【０１０８】
ステップＳ１５では、記憶部２３は、操作部３１のシャッタボタンが全押しされるのを待って、多視点撮影装置１１から供給される複数の視点の視点画像の画像ファイルと、最小距離検出部２２から供給される最小被写体距離とを対応付けて記憶する。
【０１０９】
なお、図８の撮影処理において、ステップＳ１３及びＳ１４の処理は、操作部３１のシャッタボタンが全押しされるまで、必要に応じて繰り返し行われる。例えば、ステップＳ１３及びＳ１４の処理は、多視点撮影装置１１の撮影開始後、操作部３１のシャッタボタンが全押しされるまで、繰り返し行うことや、操作部３１のシャッタボタンが半押しされている間だけ、繰り返し行うことができる。
【０１１０】
また、像面位相差方式では、合焦面（フォーカスが合っている実空間内の平面）から被写体が離れるにしたがって、被写体距離の検出精度が落ちる。そこで、距離検出部２１は、多視点撮影装置１１を制御することにより、合焦面を複数の位置に移動させ、各位置の合焦面に対して、被写体距離を検出することができる。この場合、距離検出部２１は、各位置の合焦面と複数の検出エリアそれぞれとに対して検出された被写体距離の中から、最小被写体距離を検出することができる。
【０１１１】
＜ディスパリティマップ生成処理の例＞
【０１１２】
図９は、図１の撮影システムが行う画像処理としてのディスパリティマップ生成処理の例を説明するフローチャートである。
【０１１３】
ステップＳ２１において、読み出し部２４は、記憶部２３に記憶された画像ファイルの中から、処理対象の画像ファイルを決定し、処理は、ステップＳ２２に進む。
【０１１４】
例えば、読み出し部２４は、記憶部２３に記憶された画像ファイルのうちの、ディスパリティマップを生成していない最古の画像ファイルや、ユーザが操作部３１を操作することにより指定した画像ファイル等を、処理対象ファイルに決定する。
【０１１５】
ステップＳ２２において、読み出し部２４は、記憶部２３から、処理対象の画像ファイルと、その画像ファイル（の複数の視点の視点画像）に対応付けられた最小被写体距離とを読み出す。さらに、読み出し部２４は、処理対象の画像ファイルの複数の視点の視点画像を、画像処理部２６に供給するとともに、処理対象の画像ファイルに対応付けられた最小被写体距離を、設定部２５に供給し、処理は、ステップＳ２２からステップＳ２３に進む。
【０１１６】
ステップＳ２３では、設定部２５は、読み出し部２４からの最小被写体距離に応じて、画像処理部２６の画像処理により求められる最大ディスパリティを設定し、その最大ディスパリティを表す制御情報を、画像処理部２６に供給して、処理は、ステップＳ２４に進む。
【０１１７】
例えば、設定部２５は、最小被写体距離に対応するディスパリティ（以上の値）を、最大ディスパリティに設定する。
【０１１８】
ステップＳ２４では、画像処理部２６は、読み出し部２４からの複数の視点の視点画像の中から、画像処理に用いる２視点の視点画像を選択し、その２視点の視点画像のうちの一方の視点画像を、ベース画像に選択して、処理は、ステップＳ２５に進む。
【０１１９】
ステップＳ２５では、画像処理部２６は、ベース画像の画素から、まだ注目画素に選択していない１画素を注目画素に選択し、処理は、ステップＳ２６に進む。
【０１２０】
ステップＳ２６では、画像処理部２６は、ディスパリティ候補を、例えば、デフォルトの最小ディスパリティである０に設定し、処理は、ステップＳ２７に進む。
【０１２１】
ステップＳ２７では、画像処理部２６は、ディスパリティ候補が、注目画素のディスパリティであることの確からしさを表す評価値を求め、処理は、ステップＳ２８に進む。
【０１２２】
例えば、画像処理部２６は、ベース画像の注目画素を中心とする所定サイズの領域R1と、画像処理に用いる２視点の視点画像のうちの他方の視点画像の、注目画素の位置から、ディスパリティ候補だけずれた位置を中心とする所定サイズの領域R2とについて、領域R1の各画素と領域R2の対応する画素（位置）との画素値の自乗和等を、ディスパリティ候補の評価値として求める。
【０１２３】
ステップＳ２８では、画像処理部２６は、ディスパリティ候補が、設定部２５からの制御情報が表す最大ディスパリティに等しいかどうかを判定する。
【０１２４】
ステップＳ２８において、ディスパリティ候補が、最大ディスパリティに等しくないと判定された場合、処理は、ステップＳ２９に進み、画像処理部２６は、ディスパリティ候補を、所定のステップ幅だけインクリメントする。そして、処理は、ステップＳ２９から、２７に戻り、以下、同様の処理が繰り返される。
【０１２５】
また、ステップＳ２８において、ディスパリティ候補が、最大ディスパリティに等しいと判定された場合、すなわち、デフォルトの最小ディスパリティである０から、最小被写体距離に応じて設定された最大ディスパリティまでの範囲を、ディスパリティの探索範囲として、その探索範囲の各値のディスパリティ候補の評価値が求められた場合、処理は、ステップＳ３０に進む。
【０１２６】
ステップＳ３０では、画像処理部２６は、評価値が最も良いディスパリティ候補を、注目画素のディスパリティに決定し、処理は、ステップＳ３１に進む。
【０１２７】
ステップＳ３１では、画像処理部２６は、ベース画像のすべての画素を、注目画素に選択したかどうかを判定し、まだ、ベース画像のすべての画素を、注目画素に選択していないと判定した場合、処理は、ステップＳ２５に戻る。
【０１２８】
また、ステップＳ３１において、ベース画像のすべての画素を、注目画素に選択したと判定された場合、画像処理部２６は、ベース画像の各画素のディスパリティを画素値とする画像を、ディスパリティマップとして生成し、ディスパリティマップ生成処理は、終了する。
【０１２９】
以上のように、図１の撮影システムでは、最小被写体距離に応じて、最大ディスパリティが設定され、デフォルトの最小ディスパリティである０から、最小被写体距離に応じて設定された最大ディスパリティまでの範囲を、ディスパリティの探索範囲として、ディスパリティが求められる。したがって、ディスパリティの探索範囲が、視点画像に映る最も近い被写体の被写体距離（最小被写体距離）によって、視点画像についてディスパリティを求めるのに必要な範囲に制限されるので、そのような制限がされない場合に比較して、ディスパリティを求める画像処理に用いられるメモリの記憶容量や、画像処理における演算量の低減化を図ることができる。
【０１３０】
＜最小被写体距離に応じたディスパリティの精度の設定＞
【０１３１】
図１０は、最小被写体距離に応じたディスパリティの精度の設定の例を示す図である。
【０１３２】
例えば、画像処理部２６において、ディスパリティが８ビット等の固定長のビット列によって表現される場合、設定部２５では、最小被写体距離に応じて、ディスパリティの精度を設定することができる。
【０１３３】
すなわち、画像処理部２６において、ディスパリティは、ディスパリティの探索範囲において、ディスパリティ候補を、所定のステップ幅ずつインクリメントしながら求められるが、ディスパリティの精度は、その所定のステップ幅によって決まる。
【０１３４】
例えば、所定のステップ幅として、１画素を採用する場合には、１画素精度（単位）のディスパリティを求めることができ、所定のステップ幅として、１／２画素を採用する場合には、１／２画素精度のディスパリティを求めることができる。
【０１３５】
ディスパリティが、例えば、８ビットのビット列によって表現される場合、０ないし２５５の２５６階調のディスパリティを表現することができる。
【０１３６】
そして、例えば、所定のステップ幅として、１画素を採用する場合には、８ビットのビット列によって表現される２５６階調を用いて、１画素精度の０ないし２５５（０，１，２，・・・）のディスパリティを表現することができる。
【０１３７】
また、例えば、所定のステップ幅として、１／２画素を採用する場合には、８ビットのビット列によって表現される２５６階調のうちの、例えば、２４１階調を用いて、１／２画素精度で、０ないし１２０（０，１／２，１，３／２，・・・）のディスパリティを表現することができる。
【０１３８】
そこで、設定部２５では、図１０に示すように、最小被写体距離に応じて、ディスパリティの精度を設定することができる。
【０１３９】
すなわち、例えば、最小被写体距離に対応するディスパリティDが０以上３０以下である場合には、設定部２５は、最大ディスパリティを３０に設定するとともに、ディスパリティの精度としての所定のステップ幅を、１／８画素に設定する。この場合、８ビットのビット列によって表現される２５６階調のうちの、例えば、２４１階調を用いて、１／８画素精度で、０ないし３０（０，１／８，２／８，・・・）のディスパリティを表現することができる。
【０１４０】
例えば、最小被写体距離に対応するディスパリティDが３０より大で６０以下である場合には、設定部２５は、最大ディスパリティを６０に設定するとともに、ディスパリティの精度としての所定のステップ幅を、１／４画素に設定する。この場合、８ビットのビット列によって表現される２５６階調のうちの、例えば、２４１階調を用いて、１／４画素精度で、０ないし６０（０，１／４，２／４，・・・）のディスパリティを表現することができる。
【０１４１】
例えば、最小被写体距離に対応するディスパリティDが６０より大で１２０以下である場合には、設定部２５は、最大ディスパリティを１２０に設定するとともに、ディスパリティの精度としての所定のステップ幅を、１／２画素に設定する。この場合、８ビットのビット列によって表現される２５６階調のうちの、例えば、２４１階調を用いて、１／２画素精度で、０ないし１２０（０，１／２，１，・・・）のディスパリティを表現することができる。
【０１４２】
例えば、最小被写体距離に対応するディスパリティDが１２０より大で２５５以下である場合には、設定部２５は、最大ディスパリティを２５５に設定するとともに、ディスパリティの精度としての所定のステップ幅を、１画素に設定する。この場合、８ビットのビット列によって表現される２５６階調を用いて、１画素精度で、０ないし２５５（０，１，２，・・・）のディスパリティを表現することができる。
【０１４３】
以上のように、設定部２５では、最小被写体距離に応じて、ディスパリティの精度としての所定のステップ幅を設定し、その所定のステップ幅を表す制御情報を、画像処理部２６に供給することができる。そして、画像処理部２６では、設定部２５からの制御情報が表すステップ幅で、ステップＳ２９（図９）のディスパリティ候補のインクリメントを行うことにより、その所定のステップ幅に対応する精度で、ディスパリティを求めることができる。
【０１４４】
＜ディスパリティマップ生成処理の他の例＞
【０１４５】
図１１は、図１の撮影システムが行う画像処理としてのディスパリティマップ生成処理の他の例を説明するフローチャートである。
【０１４６】
ここで、図１の撮影システムでは、画像処理部２６が求め得るディスパリティの最大の値（以下、ディスパリティ限界値ともいう）が決まっていることがある。
【０１４７】
最小被写体距離に対応するディスパリティが、ディスパリティ限界値を超えている場合、ディスパリティを求める画像処理において、最小被写体距離に対応するディスパリティを正確に求めることができず、エラーが生じることがある。
【０１４８】
ところで、ディスパリティDと被写体距離Lとの関係は、式（１）で表されるので、ディスパリティDは、基線長Bや視点画像の水平解像度Hに比例し、基線長Bや視点画像の水平解像度Hが小さくなると小さくなる。
【０１４９】
そこで、図１の撮影システムでは、基線長Bや視点画像の水平解像度Hを調整することにより、最小被写体距離に対応するディスパリティが、ディスパリティ限界値を超えないように制御し、これにより、ディスパリティを求める画像処理において、エラーが生じることを抑制することができる。
【０１５０】
図１１のディスパリティマップ生成処理では、ステップＳ４１及びＳ４２において、図９のステップＳ２１及びＳ２２とそれぞれ同様の処理が行われる。
【０１５１】
そして、ステップＳ４３において、設定部２５は、読み出し部２４からの最小被写体距離とディスパリティ限界値とに応じて、画像処理部２６の画像処理に用いる２視点の視点画像を設定し、その２視点の視点画像を表す制御情報を、画像処理部２６に供給して、処理は、ステップＳ４４に進む。
【０１５２】
例えば、設定部２５は、最小被写体距離に対応するディスパリティが、ディスパリティ限界値以下になる基線長Bの２個のカメラ５１ｉ及び５１ｊでそれぞれ撮影された視点画像を、画像処理部２６の画像処理に用いる２視点の視点画像を設定する。以上のように、画像処理部２６の画像処理に用いる２視点の視点画像が設定されることにより、最小被写体距離に対応するディスパリティが、ディスパリティ限界値以下になるように、基線長Bが調整（変更）される。
【０１５３】
ステップＳ４４では、画像処理部２６は、読み出し部２４からの複数の視点の視点画像の中から、設定部２５からの制御情報が表す２視点の視点画像を、画像処理に用いる２視点の視点画像に選択し、その２視点の視点画像のうちの一方の視点画像を、ベース画像に選択する。
【０１５４】
又は、ステップＳ４３において、設定部２５は、読み出し部２４からの最小被写体距離とディスパリティ限界値とに応じて、画像処理部２６の画像処理に用いる２視点の視点画像の水平解像度Hを設定し、その水平解像度Hを表す制御情報を、画像処理部２６に供給して、処理は、ステップＳ４４に進む。
【０１５５】
例えば、設定部２５は、最小被写体距離に対応するディスパリティが、ディスパリティ限界値以下になる水平解像度Hを設定する。
【０１５６】
ステップＳ４４では、画像処理部２６は、読み出し部２４からの複数の視点の視点画像の中から、画像処理に用いる２視点の視点画像に選択し、その２視点の視点画像の水平解像度を、設定部２５からの制御情報が表す水平解像度H（以下）になるように調整する（間引く）。そして、画像処理部２６は、水平解像度の調整後の２視点の視点画像のうちの一方の視点画像を、ベース画像に選択する。
【０１５７】
その後、処理は、ステップＳ４４からステップＳ４５に進み、以下、ステップＳ４５ないしＳ５１において、図９のステップＳ２５ないしＳ３１とそれぞれ同様の処理が行われる。
【０１５８】
ここで、図１１では、最小被写体距離に対応するディスパリティ（基線長Bや水平解像度Hの調整後のディスパリティ）及びディスパリティ限界値のうちの小さい方が、最大ディスパリティに設定される。
【０１５９】
なお、最小距離検出部２２では、距離検出部２１から供給される、様々な被写体の被写体距離の中から、最小被写体距離を検出する他、最大の被写体距離（以下、最大被写体距離）を検出することができる。
【０１６０】
最大被写体距離が検出される場合、設定部２５では、最大被写体距離に応じて、画像処理部２６の画像処理により求められる視差情報としてのディスパリティの最小値である最小ディスパリティを設定し、その最小ディスパリティを表す制御情報を、画像処理部２６に供給することができる。
【０１６１】
また、設定部２５では、最小ディスパリティ及び最大ディスパリティを表す制御情報を画像処理部２６に供給することができる。
【０１６２】
設定部２５から画像処理部２６に、最小ディスパリティを表す制御情報が供給される場合、画像処理部２６では、最小ディスパリティ以上のディスパリティを探索範囲として、視点画像に対するディスパリティを求めることができる。
【０１６３】
また、設定部２５から画像処理部２６に、最小ディスパリティ及び最大ディスパリティを表す制御情報が供給される場合、画像処理部２６では、最小ディスパリティ以上で最小ディスパリティ以下のディスパリティを探索範囲として、視点画像に対するディスパリティを求めることができる。
【０１６４】
したがって、設定部２５から画像処理部２６に、最小ディスパリティを表す制御情報が供給される場合であっても、最小ディスパリティ及び最大ディスパリティを表す制御情報が供給される場合であっても、ディスパリティを求めるときの探索範囲が制限される。その結果、ディスパリティを求める画像処理の高速化、及び、ディスパリティを求める画像処理に用いられるメモリの記憶容量の低減化を図ることができる。
【０１６５】
＜本技術を適用した撮影システムの第２実施の形態＞
【０１６６】
図１２は、本技術を適用した撮影システムの第２実施の形態の構成例を示すブロック図である。
【０１６７】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６８】
図１２の撮影システムは、多視点撮影装置１１、UI装置１３、及び、画像処理装置５０を有する。
【０１６９】
したがって、図１２の撮影システムは、多視点撮影装置１１、及び、UI装置１３を有する点で、図１の場合と共通する。
【０１７０】
但し、図１２の撮影システムは、画像処理装置１２に代えて、画像処理装置５０が設けられている点で、図１の場合と相違する。
【０１７１】
画像処理装置５０は、距離検出部２１、最小距離検出部２２、記憶部２３、画像処理部２６、設定部７１、及び、変更要求部７２を有する。
【０１７２】
したがって、画像処理装置５０は、距離検出部２１ないし記憶部２３、及び、画像処理部２６を有する点で、図１の画像処理装置１２と共通する。
【０１７３】
但し、画像処理装置５０は、読み出し部２４及び設定部２５が設けられておらず、設定部７１、及び、変更要求部７２が新たに設けられている点で、図１の場合と相違する。
【０１７４】
設定部７１は、画像処理部２６の画像処理で求められる視差情報、すなわち、例えば、画像処理部２６が求め得るディスパリティ限界値に応じて、視差情報の閾値である視差閾値としてのディスパリティ閾値を設定し、変更要求部７２に供給する。
【０１７５】
例えば、設定部７１は、ディスパリティ限界値、又は、ディスパリティ限界値以下の値を、ディスパリティ閾値に設定する。
【０１７６】
ここで、図１２の撮影システムでは、ディスパリティ閾値は、画像処理部２６の画像処理で求められる最大ディスパリティになる。
【０１７７】
上述したように、画像処理部２６の画像処理で求められる最大ディスパリティは、ディスパリティの探索範囲を規定するので、画像処理部２６の画像処理に用いられるメモリの記憶容量や、画像処理における演算量に影響する。したがって、メモリの記憶容量や演算量の観点からは、最大ディスパリティは、できるだけ小さいことが望ましい。一方、最大ディスパリティが小さいと、その分、ディスパリティの探索範囲が狭くなる。したがって、設定部７１において、最大ディスパリティとなるディスパリティ閾値は、メモリの記憶容量や演算量と、ディスパリティの探索範囲（画像処理により求めることができるディスパリティの範囲）とを考慮して設定することができる。
【０１７８】
図１２の撮影システムでは、画像処理部２６は、例えば、最小ディスパリティを０とするとともに、最大ディスパリティをディスパリティ閾値として規定される、最小ディスパリティから最大ディスパリティまでの範囲を、ディスパリティの探索範囲として、ディスパリティを求める画像処理を行う。
【０１７９】
なお、設定部７１は、ディスパリティ限界値に応じて、ディスパリティ閾値を設定する他、例えば、ユーザによる操作部３１の操作等に応じて、ディスパリティ閾値を設定することができる。
【０１８０】
変更要求部７２には、設定部７１からディスパリティ閾値が供給される他、最小距離検出部２２から最小被写体距離が供給される。
【０１８１】
変更要求部７２は、記憶部２３を制御し、多視点撮影装置１１で撮影された複数の視点の視点画像を、記憶部２３に記憶させる。
【０１８２】
さらに、変更要求部７２は、設定部７１からのディスパリティ閾値と、最小距離検出部２２からの最小被写体距離とに応じて、撮影状態の変更を要求する変更要求処理を行う。
【０１８３】
すなわち、画像処理部２６は、上述したように、最小ディスパリティを０とするとともに、最大ディスパリティをディスパリティ閾値として規定される、最小ディスパリティから最大ディスパリティまでの範囲を、ディスパリティの探索範囲として、ディスパリティを求める画像処理を行うので、最小被写体距離に対応するディスパリティが、ディスパリティ閾値よりも大である場合には、正確なディスパリティを求めることができず、エラーが生じることがある。
【０１８４】
そこで、最小被写体距離に対応するディスパリティが、ディスパリティ閾値よりも大である場合には、変更要求部７２は、変更要求処理を行い、最小被写体距離に対応するディスパリティが、ディスパリティ閾値以下になるように、撮影状態を変更させる。すなわち、撮影状態を変更して撮影を行うように、（撮影システムの）ユーザを促す。
【０１８５】
例えば、変更要求部７２は、変更要求処理において、ユーザにより操作される操作部３１のシャッタボタンの全押し（の操作）を制限し、これにより、ユーザに、現在の撮影状態では、画像処理でエラーが生じることを報知するとともに、撮影状態の変更を要求する。
【０１８６】
また、例えば、変更要求部７２は、変更要求処理において、表示部３２に所定の表示、例えば、警告用のLEDの点灯を行わせ、これにより、ユーザに、現在の撮影状態では、画像処理でエラーが生じることを報知するとともに、撮影状態の変更を要求する。
【０１８７】
最小被写体距離に対応するディスパリティが、ディスパリティ閾値よりも大である場合、変更要求部７２は、以上のような変更要求処理を行い、撮影状態の変更を、ユーザに促す。
【０１８８】
そして、例えば、撮影システムを所持するユーザが、被写体から遠ざかったり、被写体を遠ざけたりすることにより、撮影状態が変更され、最小被写体距離に対応するディスパリティが、ディスパリティ閾値以下になった場合、変更要求部７２は、変更要求処理を終了する。さらに、変更要求部７２は、操作部３１のシャッタボタンの全押しに応じて、多視点撮影装置１１で撮影された複数の視点の視点画像を、記憶部２３に記憶させる。
【０１８９】
撮影状態の変更としては、ユーザが、被写体から遠ざかったり、被写体を遠ざけたりすることの他、ディスパリティを求める画像処理に用いる２視点の視点画像の基線長Bの変更を行うことができる。ディスパリティを求める画像処理に用いる２視点の視点画像の基線長Bを変更することにより、式（１）から、最小被写体距離に対応するディスパリティをディスパリティ閾値以下にすることができる。
【０１９０】
例えば、図２等に示したように、多視点撮影装置１１が３個以上のカメラ５１ｉを有する場合には、ディスパリティを求める画像処理に用いる２視点の視点画像の基線長Bの変更は、多視点撮影装置１１が有する３個以上のカメラ５１ｉの中から、ユーザの操作に応じて、２個のカメラ５１ｉを選択することにより行うことができる。
【０１９１】
また、図５に示したように、多視点撮影装置１１が有するカメラ５１ｉを移動することができる場合には、ディスパリティを求める画像処理に用いる２視点の視点画像の基線長Bの変更は、ユーザが、多視点撮影装置１１のカメラ５１ｉを移動することにより行うことができる。
【０１９２】
変更要求部７２は、上述のように、多視点撮影装置１１で撮影された複数の視点の視点画像に映る被写体の被写体距離のうちの最小被写体距離に応じて、変更要求処理を行うので、変更要求部７２は、被写体距離に応じて、変更処理を行う、ということができる。
【０１９３】
なお、図１２の撮影システムは、画像処理部２６を設けずに構成することができる。また、画像処理部２６は、撮影システムに設けるのではなく、クラウド上に設けることができる。
【０１９４】
また、上述の場合には、最小被写体距離に対応するディスパリティが、ディスパリティ閾値よりも大であるときに、変更要求処理を行うこととしたが、変更要求処理は、最小被写体距離に対応するディスパリティが、ディスパリティ閾値よりも大であるときの他、最大の被写体距離に対応するディスパリティが、あらかじめ決められた他のディスパリティ閾値（ディスパリティ閾値未満の値）未満であるときに行うことができる。
【０１９５】
この場合、画像処理部２６では、最小ディスパリティを他のディスパリティ閾値とするとともに、最大ディスパリティをディスパリティ閾値として規定される、最小ディスパリティから最大ディスパリティまでの範囲を、ディスパリティの探索範囲として、ディスパリティを求める画像処理が行われることにより、ディスパリティを求める画像処理における演算量の低減化を図ることができる。
【０１９６】
＜撮影処理＞
【０１９７】
図１３は、図１２の撮影システムが行う撮影処理の例を説明するフローチャートである。
【０１９８】
図１２の撮影システムでは、被写体（視点画像）の撮影後に行われる画像処理部２６の画像処理で求め得るディスパリティの範囲（を規定するディスパリティ限界値）に基づいて、被写体の撮影時に距離検出部２１で検出された被写体距離を、被写体の撮影に、いわばフィードバックすることで、画像処理に用いられるメモリの記憶容量や、画像処理における演算量を低減化やエラーの抑制が図られる。
【０１９９】
撮影処理では、ステップＳ８１において、設定部７１は、ディスパリティ限界値に応じて、ディスパリティ閾値を設定し、変更要求部７２に供給して、処理は、ステップＳ８２に進む。
【０２００】
ステップＳ８２では、多視点撮影装置１１は、複数の視点からの被写体（複数の視点の視点画像）の撮影を開始し、その撮影により得られる複数の視点の視点画像を、記憶部２３に供給して、処理は、ステップＳ８３に進む。
【０２０１】
ステップＳ８３では、多視点撮影装置１１は、カメラ５１ｉが有する図示せぬイメージセンサとしての像面位相差センサの受光面について、被写体距離を検出する複数の検出エリアを設定し、処理は、ステップＳ８４に進む。
【０２０２】
ここで、多視点撮影装置１１は、像面位相差センサの受光面について、被写体距離を検出する複数の検出エリアを設定すると、その複数の検出エリアそれぞれで得られる位相差情報を出力する。多視点撮影装置１１が出力する複数の検出エリアそれぞれの位相差情報は、距離検出部２１に供給される。
【０２０３】
ステップＳ８４では、距離検出部２１は、複数の検出エリアそれぞれに対して、多視点撮影装置１１からの位相差情報から、検出エリアに映る被写体の被写体距離を検出し、最小距離検出部２２に供給して、処理は、ステップＳ８５に進む。
【０２０４】
ステップＳ８５では、最小距離検出部２２は、距離検出部２１から供給される、複数の検出エリアそれぞれに対して検出された被写体距離のうちの最小被写体距離を検出し、変更要求部７２に供給して、処理は、ステップＳ８６に進む。
【０２０５】
ステップＳ８６では、変更要求部７２は、最小距離検出部２２からの最小被写体距離に対応するディスパリティが、設定部７１からのディスパリティ閾値以下であるかどうかを判定する。
【０２０６】
ステップＳ８６において、最小被写体距離に対応するディスパリティが、ディスパリティ閾値以下でないと判定された場合、処理は、ステップＳ８７に進み、変更要求部７２は、変更要求処理を行い、ユーザに、撮影状態の変更を促す。そして、処理は、ステップＳ８７からステップＳ８４に戻り、以下、同様の処理が繰り返される。
【０２０７】
変更要求処理により、操作部３１のシャッタボタンの全押しが制限され、又は、警告用のLEDが点灯される。
【０２０８】
また、ステップＳ８６において、最小被写体距離に対応するディスパリティが、ディスパリティ閾値以下であると判定された場合、変更要求部７２は、変更要求処理を行っている場合には、その変更要求処理を終了し、処理は、ステップＳ８８に進む。
【０２０９】
変更要求処理が終了されることにより、操作部３１のシャッタボタンの全押しの制限が解除され、又は、警告用のLEDが消灯される。
【０２１０】
ステップＳ８８では、変更要求部７２は、操作部３１のシャッタボタンが全押しされるのを待って、多視点撮影装置１１から記憶部２３に供給される複数の視点の視点画像（の画像ファイル）を、記憶部２３に記憶させる。
【０２１１】
記憶部２３に記憶された複数の視点の視点画像は、適宜、画像処理部２６でのディスパリティを求める画像処理に用いられる。
【０２１２】
ここで、図１３の撮影処理において、ステップＳ８４ないしＳ８７の処理は、操作部３１のシャッタボタンが全押しされるまで、必要に応じて繰り返し行われる。例えば、ステップＳ８４ないしＳ８７の処理は、多視点撮影装置１１の撮影開始後、操作部３１のシャッタボタンが全押しされるまで、繰り返し行うことや、操作部３１のシャッタボタンが半押しされている間だけ、繰り返し行うことができる。
【０２１３】
なお、図１の撮影システムには、図１２の撮影システムの機能を含ませることができる。図１の撮影システムに、図１２の撮影システムの機能を含ませる場合、ディスパリティ閾値が、最大ディスパリティとなるので、最大ディスパリティは、既知になる。そこで、設定部２５では、被写体距離のうちの最大被写体距離に応じて、その最大被写体距離に対応するディスパリティを最小ディスパリティに設定し、画像処理部２６では、その最小ディスパリティから既知の最大ディスパリティまでの範囲を、ディスパリティの探察範囲として、ディスパリティを求めることができる。
【０２１４】
＜撮影システムの利用例＞
【０２１５】
図１４は、図１や図１２の撮影システムを利用したカメラシステムの構成例を示す斜視図である。
【０２１６】
カメラシステムは、カメラ本体１１０と多眼交換レンズ１２０とで構成される。
【０２１７】
カメラ本体１１０は、多眼交換レンズ１２０が着脱可能なようになっている。すなわち、カメラ本体１１０は、カメラマウント１１１を有し、そのカメラマウント１１１に対して、多眼交換レンズ１２０（のレンズマウント１２２）が取り付けられることで、カメラ本体１１０に、多眼交換レンズ１２０が装着される。なお、カメラ本体１１０に対しては、多眼交換レンズ１２０以外の一般的な交換レンズも着脱することができる。
【０２１８】
カメラ本体１１０は、イメージセンサ１５１を内蔵する。イメージセンサ１５１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体１１０（のカメラマウント１１１）に装着された多眼交換レンズ１２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮影する。
【０２１９】
多眼交換レンズ１２０は、鏡筒１２１及びレンズマウント１２２を有する。
【０２２０】
鏡筒１２１には、光軸方向に（見て）重ならないように、複数のレンズである4個の個眼レンズ１３１1，１３１2，１３１3、及び、１３１4が配置されている。図１４では、鏡筒１２１において、4個の個眼レンズ１３１1ないし１３１4が、光軸に直交する（イメージセンサ１５１の受光面（撮像面）に平行な）２次元平面上の菱形の頂点となる位置に配置されている。
【０２２１】
個眼レンズ１３１1ないし１３１4は、多眼交換レンズ１２０がカメラ本体１１０に装着されたときに、被写体からの光線をカメラ本体１１０のイメージセンサ１５１に集光させる。
【０２２２】
なお、ここでは、カメラ本体１１０は、1個のイメージセンサ１５１を有する、いわゆる単板式のカメラであるが、カメラ本体１１０としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の３つのイメージセンサを有する、いわゆる３板式のカメラを採用することができる。３板式のカメラでは、個眼レンズ１３１1ないし１３１4は、３つのイメージセンサのそれぞれに、光線を集光させる。
【０２２３】
レンズマウント１２２は、多眼交換レンズ１２０がカメラ本体１１０に装着されるときに、カメラ本体１１０のカメラマウント１１１に取り付けられる。
【０２２４】
なお、図１４では、多眼交換レンズ１２０に、4個の個眼レンズ１３１1ないし１３１4が設けられているが、多眼交換レンズ１２０に設ける個眼レンズの数は、4個に限定されるものではなく、2個や3個、5個以上の任意の複数の数を採用することができる。
【０２２５】
さらに、多眼交換レンズ１２０に設ける複数の個眼レンズは、菱形の頂点となる位置に配置する他、２次元平面上の任意の位置に配置することができる。
【０２２６】
また、多眼交換レンズ１２０に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が同一の複数のレンズを採用することもできるし、仕様が異なる複数のレンズを採用することもできる。
【０２２７】
多眼交換レンズ１２０において、複数としての4個の個眼レンズ１３１1ないし１３１4それぞれは、多眼交換レンズ１２０がカメラ本体１１０に装着されたときに、光軸がイメージセンサ１５１の受光面と直交するように配置されている。
【０２２８】
かかる多眼交換レンズ１２０がカメラ本体１１０に装着されたカメラシステムでは、イメージセンサ１５１において、4個の個眼レンズ１３１1ないし１３１4それぞれにより集光される光線によりイメージセンサ１５１の受光面上に形成される像に対応する画像が撮影される。
【０２２９】
いま、1個の個眼レンズ１３１i（ここでは、i=1,2,3,4）により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、1個のイメージセンサ１５１で撮影される画像には、4個の個眼レンズ１３１1ないし１３１4それぞれに対する4個の個眼画像（個眼レンズ１３１1ないし１３１4それぞれにより集光される光線により形成される像に対応する画像）が含まれる。
【０２３０】
個眼レンズ１３１iに対する個眼画像は、個眼レンズ１３１iの位置を視点とする画像であり、したがって、個眼レンズ１３１1ないし１３１4それぞれに対する4個の個眼画像は、異なる視点の視点画像である。
【０２３１】
図１の画像処理装置１２や、図１２の画像処理装置５０では、以上のような異なる視点の視点画像である個眼レンズ１３１1ないし１３１4それぞれに対する4個の個眼画像を対象として処理を行うことができる。
【０２３２】
＜本技術を適用したコンピュータの説明＞
【０２３３】
次に、上述した画像処理装置１２や５０の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３４】
図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０２３５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０２３６】
あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２３７】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２３８】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
【０２３９】
CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
【０２４０】
これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０２４１】
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２４２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２４３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４４】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２４５】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２４７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４９】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２５０】
なお、本技術は、以下のような構成をとることができる。
【０２５１】
＜１＞
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める画像処理部を備える
画像処理装置。
＜２＞
前記画像処理部は、前記被写体距離のうちの最小の最小被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める
＜１＞に記載の画像処理装置。
＜３＞
前記最小被写体距離に応じて、前記画像処理により求められる視差情報の最大値又は最小値を設定する設定部をさらに備え、
前記画像処理部は、前記視差情報の最大値又は最小値に応じて、前記視点画像を用いた画像処理を行うことにより、前記最大値以下の視差情報又は前記最小値以上の視差情報を求める
＜２＞に記載の画像処理装置。
＜４＞
前記最小被写体距離に応じて、前記画像処理に用いる視点画像を設定する設定部をさらに備え、
前記画像処理部は、前記最小被写体距離に応じて設定された前記視点画像を用いた前記画像処理を行うことにより、前記視点画像に対する視差情報を求める
＜２＞に記載の画像処理装置。
＜５＞
前記最小被写体距離に応じて、前記画像処理に用いる視点画像の解像度を設定する設定部をさらに備え、
前記画像処理部は、前記最小被写体距離に応じて設定された前記解像度の視点画像を用いた前記画像処理を行うことにより、前記視点画像に対する視差情報を求める
＜２＞に記載の画像処理装置。
＜６＞
前記最小被写体距離に応じて、前記画像処理により求められる視差情報の精度を設定する設定部をさらに備え、
前記画像処理部は、前記最小被写体距離に応じて設定された精度で、前記視点画像に対する視差情報を求める
＜２＞に記載の画像処理装置。
＜７＞
前記被写体距離を検出する距離検出部をさらに備える
＜１＞ないし＜６＞のいずれかに記載の画像処理装置。
＜８＞
前記距離検出部は、像面位相差方式により前記被写体距離を検出する
＜７＞に記載の画像処理装置。
＜９＞
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求めることを含む
画像処理方法。
＜１０＞
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める画像処理部
として、コンピュータを機能させるためのプログラム。
＜１１＞
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更を要求する変更要求部を備える
画像処理装置。
＜１２＞
前記視点画像を用いた画像処理を行うことにより、前記視点画像に対する視差情報を求める画像処理部をさらに備え、
前記変更要求部は、前記画像処理で求められる前記視差情報と、前記被写体距離のうちの最小の最小被写体距離とに応じて、前記被写体の撮影状態の変更を要求する
＜１１＞に記載の画像処理装置。
＜１３＞
前記画像処理で求められる前記視差情報に応じて、前記視差情報の閾値である視差閾値を設定する設定部をさらに備え、
前記変更要求部は、前記視差閾値と、前記最小被写体距離とに応じて、前記撮影状態の変更を要求する
＜１２＞に記載の画像処理装置。
＜１４＞
前記変更要求部は、ユーザにより操作される操作部の操作を制限することにより、前記ユーザに、前記撮影状態の変更を要求する
＜１１＞ないし＜１３＞のいずれかに記載の画像処理装置。
＜１５＞
前記変更要求部は、所定の表示を行うことにより、ユーザに、前記撮影状態の変更を要求する
＜１１＞ないし＜１３＞のいずれかに記載の画像処理装置。
＜１６＞
前記被写体距離を検出する距離検出部をさらに備える
＜１１＞ないし＜１５＞のいずれかに記載の画像処理装置。
＜１７＞
前記距離検出部は、像面位相差方式により前記被写体距離を検出する
＜１６＞に記載の画像処理装置。
＜１８＞
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更を要求することを含む
画像処理方法。
＜１９＞
被写体の撮影時に検出された、複数の視点から撮影された視点画像に映る被写体までの被写体距離に応じて、前記被写体の撮影状態の変更を要求する変更要求部
として、コンピュータを機能させるためのプログラム。
【符号の説明】
【０２５２】
１１  多視点撮影装置，  １２  画像処理装置，  １３  UI装置，  ２１  距離検出部，  ２２  最小距離検出部，  ２３  記憶部，  ２４  読み出し部，  ２５  設定部，  ２６  画像処理部，  ３１  操作部，  ３２  表示部，  ５１ｉ  カメラ（ユニット），  ６１Ａ，６１Ｂ  PD，  ６２  CF，  ６３  マイクロレンズ，  ７１  設定部，  ７２  変更要求部，  １１０  カメラ本体，  １１１  カメラマウント，  １２０  多眼交換レンズ，  １２１  鏡筒，  １２２  レンズマウント，  １２３  レンズフード，  １３１ｉ  個眼レンズ，  １５１  イメージセンサ，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2019135365.tif 000003
【図２】
2019135365.tif 000004
【図３】
2019135365.tif 000005
【図４】
2019135365.tif 000006
【図５】
2019135365.tif 000007
【図６】
2019135365.tif 000008
【図７】
2019135365.tif 000009
【図８】
2019135365.tif 000010
【図９】
2019135365.tif 000011
【図１０】
2019135365.tif 000012
【図１１】
2019135365.tif 000013
【図１２】
2019135365.tif 000014
【図１３】
2019135365.tif 000015
【図１４】
2019135365.tif 000016
【図１５】
2019135365.tif 000017
【国際調査報告】
2019135365.tif 000018
2019135365.tif 000019
2019135365.tif 000020
2019135365.tif 000021