(57)【要約】  本開示の画像処理装置は、光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部を備える。
2017154367.tif 000002
【特許請求の範囲】
【請求項１】
光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、前記複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部
を備えた画像処理装置。
【請求項２】
前記光学ローパスフィルタは、入射光に対する光の分離度を変更可能な可変式光学ローパスフィルタである
請求項１に記載の画像処理装置。
【請求項３】
前記可変式光学ローパスフィルタは、液晶光学ローパスフィルタである
請求項２に記載の画像処理装置。
【請求項４】
前記複数の原画像データは、前記分離度をゼロにして撮影された原画像データを含む
請求項２に記載の画像処理装置。
【請求項５】
前記複数の原画像データはそれぞれ、各色ごとに画素位置が異なる複数色の画素のデータを含み、
前記画像処理部は、前記複数色のうち少なくとも１つの所定の色について、前記所定の色の画素位置とは異なる位置における画素値を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記複数の原画像データは、２つの原画像データからなる
請求項１に記載の画像処理装置。
【請求項７】
前記２つの原画像データはそれぞれ、３つの色の画素のデータを含み、
前記画像処理部は、前記３つの色のうち、１つの所定の色について、前記所定の色の画素位置とは異なる位置における画素値を算出する
請求項６に記載の画像処理装置。
【請求項８】
前記３つの色は、赤色、緑色、および青色であり、前記所定の色は緑色である
請求項７に記載の画像処理装置。
【請求項９】
前記複数の原画像データは、４つの原画像データからなり、
前記４つの原画像データはそれぞれ、第１の色、第２の色、および第３の色の画素のデータを含み、
前記画像処理部は、前記第１の色の画素位置とは異なる位置における前記第１の色の画素値と、前記第２の色の画素位置とは異なる位置における前記第２の色の画素値と、前記第３の色の画素位置とは異なる位置における前記第３の色の画素値とを算出する
請求項１に記載の画像処理装置。
【請求項１０】
光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、前記複数の原画像データのそれぞれよりも解像度の高い画像データを生成する
画像処理方法。
【請求項１１】
イメージセンサと、
前記イメージセンサに対して光の入射側に配置された光学ローパスフィルタと、
前記光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、前記複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部と
を備えた撮像装置。
【請求項１２】
コンピュータを、
光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、前記複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、光学ローパスフィルタを用いて撮影された画像データの処理に関する画像処理装置、および画像処理方法、撮像装置ならびにプログラムに関する。
【背景技術】
【０００２】
通常よく知られる単板式のデジタルカメラでは、光を電気信号に変換する際にベイヤー（Ｂａｙｅｒ）コーディングを通して撮影し、それによって得られたＲＡＷデータに対して、デモザイク処理を行って、失われた画素値の情報の復元を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７１０６０号公報
【発明の概要】
【０００４】
しかし、通常のデモザイク処理では、画素値の真値を得ることはできないため、解像度の劣化やアーティファクトの発生を避けることが困難である。これを回避できるカメラとして、３板式のカメラがあるが、３板式のカメラは撮像系のサイズが大きくなってしまい、可搬性に乏しい。また、手振れ補正機構を使って複数枚の画像を撮影し、複数枚の画像を合成をすることで解像度を向上させることも考えられるが、その場合、メカ的な機構が必要となり、高いメカ精度が必要とされ得る。
【０００５】
また、スリットを介して入力した光をローパスフィルタを用いて分離し、後で画素の情報を復元する方法が提案されているが、これはラインセンサ用の手法であり、２次元のイメージャに適用することは困難である。
【０００６】
解像度の高い画像を得ることができるようにした画像処理装置、および画像処理方法、撮像装置ならびにプログラムを提供することが望ましい。
【０００７】
本開示の一実施の形態に係る画像処理装置は、光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部を備えたものである。
【０００８】
本開示の一実施の形態に係る画像処理方法は、光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、複数の原画像データのそれぞれよりも解像度の高い画像データを生成するようにしたものである。
【０００９】
本開示の一実施の形態に係る撮像装置は、イメージセンサと、イメージセンサに対して光の入射側に配置された光学ローパスフィルタと、光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部とを備えたものである。
【００１０】
本開示の一実施の形態に係るプログラムは、コンピュータを、光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部として機能させるようにしたものである。
【００１１】
本開示の一実施の形態に係る画像処理装置、画像処理方法、撮像装置またはプログラムでは、光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、複数の原画像データのそれぞれよりも解像度の高い画像データが生成される。
【００１２】
本開示の一実施の形態に係る画像処理装置、画像処理方法、撮像装置またはプログラムによれば、光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、複数の原画像データのそれぞれよりも解像度の高い画像データを生成するようにしたので、解像度の高い画像を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１の実施の形態に係る撮像装置の基本構成例を示す構成図である。
【図２】ベイヤーパターンの一例を示す説明図である。
【図３】可変光学ローパスフィルタの一構成例を示す断面図である。
【図４】図３に示した可変光学ローパスフィルタにおけるローパス効果が０％（フィルタオフ）の状態の一例を示す説明図である。
【図５】図３に示した可変光学ローパスフィルタにおけるローパス効果が１００％（フィルタオン）の状態の一例を示す説明図である。
【図６】第１の実施の形態に係る撮像装置の動作の概要を示す流れ図である。
【図７】一般的な画像処理部の動作の概要を示す流れ図である。
【図８】第１の実施の形態に係る撮像装置による画像処理の概要を示す説明図である。
【図９】ローパスフィルタをオンにして撮影した場合の各画素への光の入射状態の一例を示す説明図である。
【図１０】ローパスフィルタをオンにして撮影した場合における、１つの画素について着目した光の入射状態の一例を示す説明図である。
【図１１】ローパスフィルタの分離度によって決まる係数の一例を示す説明図である。
【図１２】第２の実施の形態に係る撮像装置の動作の概要を示す流れ図である。
【図１３】第２の実施の形態に係る撮像装置による画像処理の概要を示す説明図である。
【図１４】赤外画素を含む画素構造の一例を示す構成図である。
【図１５】位相差検出機能付きの画素を含む画素構造の一例を示す構成図である。
【図１６】位相差画素を含む画素構造の一例を示す構成図である。
【発明を実施するための形態】
【００１４】
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２つの原画像データを用いる画像処理）
１．１  撮像装置の概要（図１、図２）
１．２  可変光学ローパスフィルタの構成および原理（図３〜図５）
１．３  撮像装置の動作、および画像処理の具体例（図６〜図１１）
１．４  効果
２．第２の実施の形態（４つの原画像データを用いる画像処理）（図１２〜図１３）
３．その他の実施の形態（図１４〜図１６）
【００１５】
＜１．第１の実施の形態＞
［１．１  撮像装置の概要］
図１は、本開示の第１の実施の形態に係る撮像装置の基本構成例を示している。
【００１６】
本実施の形態に係る撮像装置は、レンズ部１と、ローパスフィルタ（ＬＰＦ）２と、イメージャ（イメージセンサ）３と、画像処理部４と、メモリ５と、ディスプレイ６と、外部メモリ７と、操作部８と、メイン制御部４０と、ローパスフィルタ制御部４１と、レンズ制御部４２とを備えている。
【００１７】
ローパスフィルタ２としては、後述する図３〜図５に示すように、入射光Ｌ１に対する光の分離度を制御することによって、ローパス特性が変化する可変式光学ローパスフィルタ３０を用いることができる。
【００１８】
この撮像装置では、レンズ部１から光を取り込み、ローパスフィルタ２で光を分離した像を、イメージャ３に結像する。イメージャ３では、光学像の光電変換およびＡ／Ｄ（アナログ／デジタル）変換を行い、原画像データ（ＲＡＷデータ）を画像処理部４に転送する。
【００１９】
画像処理部４では、メモリ５を使いながら、現像処理を行い、ディスプレイ６に撮影結果を表示する。また、画像処理部４は、外部メモリ７に撮影結果を保存する。画像処理部４およびメイン制御部４０には、コンピュータを構成するＣＰＵ（Central Processing Unit）が搭載されている。
【００２０】
メイン制御部４０は、操作部８の指示を受け、レンズ制御部４２を介してレンズ部１の制御を行う。また、メイン制御部４０は、ローパスフィルタ制御部４１を介してローパスフィルタ２の分離度の制御を行う。
【００２１】
イメージャ３の画素１０は、典型的には図２のようなベイヤーパターンと呼ばれるコーディングパターンを有している。イメージャ３の画素１０は、図２のように、２次元的に配列された、各色で互いに画素位置が異なるＲ（赤），Ｇ（緑），Ｂ（青）の３つの色の画素からなる。イメージャ３の各画素１０はＲ，Ｇ，Ｂのいずれかの要素の値のみを取得することができる。そのため、画像処理部４で現像処理を行う際に、デモザイクと呼ばれる処理を行い、周辺の画素値から、取得できていない情報を推測し、プレーン化を行う。しかし、通常のデモザイク処理はあくまで推定処理であり、真値を知ることは原理的に不可能である。そのため、解像度の劣化やモアレ、色偽といったアーティファクトが最終画像に現れてしまう。例えば、図２のようなベイヤーパターンの場合、全体の画素数をＸとすると、Ｇの画素数はＸ／２である。また、Ｇ以外の画素数はＸ／２（Ｒの画素数はＸ／４、Ｂの画素数はＸ／４）である。また、ローパスフィルタ２をオフにして撮影すると、画素数Ｘ／２のＧの画素位置では正しいＧの画素値を直接的に得られる。一方、他の画素数Ｘ／２のＧ以外の画素位置では、正しいＧの画素値を直接的に得ることはできないため、上述したようにデモザイク処理が必要となる。本実施の形態では、ある画素位置における正しい画素値を「真値」という。例えば上述したように、ローパスフィルタ２をオフにして撮影した場合に得られる画素数Ｘ／２のＧの画素位置でのＧの画素値は、Ｇの真値である。
【００２２】
そこで、本開示の技術では、ローパスフィルタ２によるローパス特性を互いに変えて撮影された、複数の原画像データを合成することで、各原画像データよりも解像度の高い画像データを生成する。画像処理部４は、複数色のうち少なくとも１つの所定の色について、所定の色の画素位置とは異なる位置における画素値を算出する。ここでいう所定の色の画素位置とは異なる位置における画素値とは、例えばイメージャ３における所定の色（例えばＧ）の画素がある位置とは異なる位置における所定の色の画素値のことをいう。または、ローパスフィルタ２をオフにして撮影した場合における原画像において、所定の色（例えばＧ）の画素がある位置とは異なる位置における所定の色の画素値のことをいう。
【００２３】
ここで、本実施の形態において「解像度の高い画像データ」とは、原画像データよりも多くの真値または真値に近い値を有する画像データのことをいう。例えば、上述したように図２のようなベイヤーパターンの場合、ローパスフィルタ２をオフにして撮影することにより得られた原画像データでは、画素数Ｘ／２の画素でＧの真値が得られる。これに対して、画素数Ｘ／２の当該画素以外の画素におけるＧの真値を算出することで、Ｇに関して原画像データよりも解像度の高い画像データを得ることができる。この場合、当該画像データは、他の色（Ｒ，Ｂ）に関して原画像データよりも解像度が向上していなくとも、Ｒ，Ｇ，Ｂ全体としての「平均解像度」または「解像効率」は原画像データよりも向上する。ここでいう「原画像データ」とは、解像度の高い画像データを生成する前の（合成前の）画像データのことであり、必ずしもイメージャ３から出力されたＲＡＷデータそのものである場合には限らない。
【００２４】
本実施の形態では、合成する複数の原画像データは２つの原画像データからなる。画像処理部４は、Ｒ，Ｇ，Ｂの３つの色のうち、１つの所定の色について、所定の色の画素位置とは異なる位置における画素の真値を算出する。これにより、例えば他の色の画素位置における所定の色の真値を算出することを可能にする。より具体的には、２つの原画像データとして、ローパスフィルタ２をオフにして撮影した画像とローパスフィルタ２をオンにして撮影した画像との２種類の原画像データを取得し、そこから得る情報を用いることで、より高い解像度、アーティファクトのない画像を得る。
【００２５】
［１．２  可変光学ローパスフィルタの構成および原理］
ローパスフィルタ２としては、例えば図３〜図５に示した液晶光学ローパスフィルタ（可変光学ローパスフィルタ３０）を用いることができる。
【００２６】
（可変光学ローパスフィルタ３０の構成例）
図３は、可変光学ローパスフィルタ３０の一構成例を示している。可変光学ローパスフィルタ３０は、第１の複屈折板３１および第２の複屈折板３２と、液晶層３３と、第１の電極３４および第２の電極３５とを有している。液晶層３３が、第１の電極３４および第２の電極３５によって挟まれ、その外側をさらに第１の複屈折板３１および第２の複屈折板３２で挟んだ構成となっている。第１の電極３４および第２の電極３５は、液晶層３３に電界を印加するためのものである。なお、可変光学ローパスフィルタ３０はさらに、例えば、液晶層３３の配向を規制する配向膜をさらに備えていてもよい。第１の電極３４および第２の電極３５はそれぞれ、１枚の透明なシート状電極からなる。なお、第１の電極３４および第２の電極３５の少なくとも一方が、複数の部分電極で構成されていてもよい。
【００２７】
第１の複屈折板３１は、可変光学ローパスフィルタ３０の光入射側に配置されており、例えば、第１の複屈折板３１の外側の表面が光入射面となっている。入射光Ｌ１は、被写体側から光入射面に入射する光である。第２の複屈折板３２は、可変光学ローパスフィルタ３０の光出射側に配置されており、例えば、第２の複屈折板３２の外側の表面が光出射面となっている。可変光学ローパスフィルタ３０の透過光Ｌ２は、光出射面から外部に出射された光である。
【００２８】
第１の複屈折板３１および第２の複屈折板３２はそれぞれ、複屈折性を有しており、１軸性結晶の構造を有している。第１の複屈折板３１および第２の複屈折板３２はそれぞれ、複屈折性を利用して円偏光の光をｐｓ分離する機能を有している。第１の複屈折板３１および第２の複屈折板３２はそれぞれ、例えば、水晶、方解石またはニオブ酸リチウムによって構成されている。
【００２９】
液晶層３３は例えば、ＴＮ(Twisted Nematic)液晶で構成されている。ＴＮ液晶は、通過する光の偏光方向をネマティック液晶の回転に沿って回転させる旋光性を有している。
【００３０】
図３の基本構成で、特定の一次元方向のローパス特性をコントロールできる。可変光学ローパスフィルタ３０を複数、用いることで、入射光Ｌ１を複数の方向に分離することができる。例えば、可変光学ローパスフィルタ３０を２組用いることで、水平方向と垂直方向とに入射光Ｌ１を分離し、２次元的にローパス特性を制御することができる。
【００３１】
（可変光学ローパスフィルタ３０の原理）
図４、図５を参照して、可変光学ローパスフィルタ３０の原理を説明する。図４は、図３に示した可変光学ローパスフィルタにおけるローパス効果が０％（フィルタオフ、分離度がゼロ）の状態の一例を示している。図５はローパス効果が１００％（フィルタオン）の状態の一例を示している。なお、図４、図５では、第１の複屈折板３１の光学軸と第２の複屈折板３２の光学軸とが互いに平行である場合を例にしている。
【００３２】
可変光学ローパスフィルタ３０では、光の偏光状態をコントロールし、連続的にローパス特性を変化させることが可能となっている。可変光学ローパスフィルタ３０では、液晶層３３に印加する電界（第１の電極３４および第２の電極３５間への印加電圧）を変えることでローパス特性を制御できる。例えば図４に示したように、印加電圧がＶａ（例えば０Ｖ）の状態でローパス効果がゼロ（素通しと同じ）となる。また、図５に示したように、Ｖａとは異なる印加電圧Ｖｂを印加した状態でローパス効果が最大（１００％）となる。
【００３３】
可変光学ローパスフィルタ３０では、印加電圧ＶｂをＶａとＶｂとの間で変えることで、ローパス効果を中間状態にすることができる。ローパス効果が最大となるときの特性は、第１の複屈折板３１および第２の複屈折板３２の特性によって決まる。
【００３４】
図４、図５の各状態において、第１の複屈折板３１で入射光Ｌ１がｓ偏光成分とｐ偏光成分とに分離する。
【００３５】
図４に示した状態では、液晶層３３での旋光が９０°となることにより、液晶層３３においてｓ偏光成分がｐ偏光成分に変換され、ｐ偏光成分がｓ偏光成分に変換される。その後、第２の複屈折板３２でｐ偏光成分とｓ偏光成分とが合成され、透過光Ｌ２となる。図４に示した状態では、最終的なｓ偏光成分とｐ偏光成分との分離幅ｄはゼロであり、ローパス効果はゼロとなる。
【００３６】
図５に示した状態では、液晶層３３での旋光が０°となることにより、液晶層３３をｓ偏光成分がｓ偏光成分のまま透過し、ｐ偏光成分がｐ偏光成分のまま透過する。その後、第２の複屈折板３２でｐ偏光成分とｓ偏光成分との分離幅がさらに拡大される。図５に示した状態では、最終的な透過光Ｌ２において、ｓ偏光成分とｐ偏光成分との分離幅ｄが最大の値ｄｍａｘとなり、ローパス効果は最大（１００％）となる。
【００３７】
可変光学ローパスフィルタ３０では、印加電圧Ｖｂを変えて分離幅ｄを制御することによって、ローパス特性を制御することができる。分離幅ｄの大きさが、可変光学ローパスフィルタ３０による光の分離度に相当する。本実施の形態において、「ローパス特性」とは分離幅ｄまたは光の分離度のことをいう。上述したように、可変光学ローパスフィルタ３０では、印加電圧ＶｂをＶａとＶｂとの間で変えることで、ローパス効果を０％と１００％との間の中間状態にすることができる。この場合、中間状態では液晶層３３での旋光は０°と９０°との間の角度となり得る。また、中間状態での分離幅ｄはローパス効果が１００％での分離幅ｄの値ｄｍａｘよりも小さくなり得る。印加電圧Ｖｂを変えることで、中間状態での分離幅ｄの値は、０とｄｍａｘとの間の任意の値を取り得る。ここで、分離幅ｄの値は、イメージャ３の画素ピッチに応じた最適な値に設定してもよい。分離幅ｄの最適な値とは、例えば、ローパス効果が０％のときに特定の画素に入射していた光線が、特定の画素に隣接する上下方向、左右方向、左斜め方向、または右斜め方向の他の画素に入射するように分離される値であってもよい。
【００３８】
［１．３  撮像装置の動作、および画像処理の具体例］
図６は、本実施の形態に係る撮像装置の動作の概要を示している。
撮像装置では、まず、ローパスフィルタ２をオフの状態（ステップＳ１０１）にし、撮影を行う（ステップＳ１０２）。撮像装置は、続いて、ローパスフィルタ２をオンの状態（ステップＳ１０３）にして、再度、撮影を行う（ステップＳ１０４）。撮像装置は、その後、ローパスフィルタ２をオフにして撮影した画像とローパスフィルタ２をオンにして撮影した画像との２種類の原画像データに対して、画像処理部４で合成処理を行う（ステップＳ１０５）。その後、合成処理した画像の現像（ステップＳ１０６）を行い、外部メモリ７への保存を行う（ステップＳ１０７）。
【００３９】
画像処理部４では、例えば、イメージャ３から出力された原画像データ（ＲＡＷデータ）をＪＰＥＧ（Joint Photographic Experts Group）データに変換する。
【００４０】
図７は、一般的な画像処理部４の動作の概要を示している。
画像処理部４は、まず、ＲＡＷデータに対してデモザイク処理を行う（ステップＳ２０１）。デモザイク処理では、ベイヤーコーディングされたＲＡＷデータに対して補間処理を行い、ＲＧＢが同時化されたプレーンを生成する。
【００４１】
次に、画像処理部４は、ＲＧＢプレーンのデータに対してγ処理（ステップＳ２０２）、および色再現処理（ステップＳ２０３）を行う。γ処理および色再現処理では、ＲＧＢプレーンのデータに対して、イメージャ３の分光特性に応じたγカーブと色再現用のマトリクスとがかけられ、例えばＲｅｃ．７０９などの標準的な色空間にＲＧＢ値が変換される。
【００４２】
次に、画像処理部４は、ＲＧＢプレーンのデータに対してＪＰＥＧ化処理を行う（ステップＳ２０４）。ＪＰＥＧ化処理では、ＲＧＢプレーンを伝送用のＹＣｂＣｒ色空間に変換し、Ｃｂ／Ｃｒ成分を横方向半分に間引いたうえで、ＪＰＥＧ圧縮を行う。
【００４３】
次に、画像処理部４は、保存処理を行う（ステップＳ２０５）。保存処理では、ＪＰＥＧデータに適切なＪＰＥＧヘッダを付与し、外部メモリ７などにファイルとして保存処理を行う。
【００４４】
本開示による技術は、図７に示した一般的な処理のうち、基本的に、ステップＳ２０１のデモザイク処理の部分を新規な画像処理に置き換えるものである。この通常のデモザイク処理に代わる新規な画像処理の概念を図８に模式的に示す。図８には、図６のステップＳ１０１〜Ｓ１０５の処理に対応付けた画像処理の概念を模式的に示す。一般的なデモザイク処理では、ベイヤーコーディングされた１枚のＲＡＷデータが、原画像データとして入力される。本実施の形態では、図８のステップＳ１０１，Ｓ１０２およびステップＳ１０３，Ｓ１０４に示したように、ベイヤーコーディングされた２枚のＲＡＷデータが、原画像データとして入力される。後述する第２の実施の形態では、ベイヤーコーディングされた４枚のＲＡＷデータが、原画像データとして入力される。
【００４５】
なお、本開示による技術を用いた場合も、図８のステップＳ１０５（Ａ），Ｓ１０５（Ｂ）に示したように、通常のデモザイク処理と同様に、Ｒ，Ｇ，Ｂのそれぞれのプレーンデータが生成され、最終的には図８のステップＳ３０１に示したように、ＲＧＢが同時化されたプレーンデータが出力される。この際、Ｇのプレーンデータの生成の際には、２枚のＲＡＷデータに基づいて（合成して）、Ｒ，Ｂの画素位置におけるＧの真値Ｇ’が算出される。これにより、Ｇのプレーンデータについては、全画素位置が真値となり、Ｇの解像度が向上する。これにより、従来のデモザイク処理よりも解像度が高く、アーティファクトの少ない画像を出力することができる。
【００４６】
本実施の形態では、新規な画像処理として、Ｒ，Ｇ，Ｂの３つの色のうち、所定の色としてＧの色について、全ての画素位置における画素の真値を算出する処理を説明する。以下では、原画像データの画素配列が図２のようなベイヤーパターンである場合を例に説明する。以下の説明において「Ｇの画素」とは、原画像データにおけるＧの画素のことをいう。同様に、「Ｒの画素」および「Ｂの画素」とは、原画像データにおけるＲの画素およびＢの画素のことをいう。また「Ｇの画素数」とは、原画像データにおけるＧの画素数のことをいう。同様に、「Ｒの画素数」および「Ｂの画素数」とは、原画像データにおけるＲの画素数およびＢの画素数のことをいう。
【００４７】
上述したように、図２のようなベイヤーパターンの場合、全体の画素数をＸとすると、Ｇの画素数はＸ／２である。このため、ローパスフィルタ２をオフにして撮影すると、図８のステップＳ１０１，Ｓ１０２に示したように、画素数Ｘ／２のＧの画素位置ではＧの画素値の真値Ｇ’が得られる。また、Ｇ以外の画素数はＸ／２である。Ｇ以外の画素数Ｘ／２のうち、画素数Ｘ／４の画素位置ではＲの画素値の真値Ｒ’が得られる。他の画素数Ｘ／４の画素位置ではＢの画素値の真値Ｂ’が得られる。このため、ローパスフィルタ２をオフにして撮影すると、Ｇの真値Ｇ’を得られない画素数はＸ／２となる。ある画素位置ｘｙにおけるＧの画素の真値をＧ’xy、ローパスフィルタ２をオフにして撮影した際のある画素位置ｘｙにおけるＧの画素の値をＧxyとすると、Ｇ’xyは次の（式１）で表すことができる。
Ｇ’xy＝Ｇxy  ……（式１）
【００４８】
図９は、ローパスフィルタ２をオンにして撮影した場合の各画素への光の入射状態の一例を示している。図１０は、ローパスフィルタ２をオンにして撮影した場合における、１つの画素について着目した光の入射状態の一例を示している。
【００４９】
Ｇの画素位置以外について考えると、ローパスフィルタ２をオンにして撮影すると、図９のように丸で囲んだＢの画素位置に入射していたＧの光はローパスフィルタ２で分離され、周囲のＧの画素位置に流れ込むことになる。つまり、あるＧの画素について着目すると、ローパスフィルタ２をオンにして撮影した場合、図１０のように、ローパスフィルタオフ時には周辺の画素位置に入射していたＧの光が流れ込んでくる。
【００５０】
このとき、ローパスフィルタ２をオンにして撮影した際の値をＧＬxyとすると、Ｇの画素位置について、ＧＬxyは次の（式２）で表すことができる。
ＧＬxy＝αＧ’xy＋βＧ’x-1y＋βＧ’x+1y＋βＧ’xy-1＋βＧ’xy+1＋γＧ’x-1y-1＋γＧ’x-1y+1＋γＧ’x+1y-1＋γＧ’x+1y+1  ……（式２）
【００５１】
ここで、各Ｇ’x-1y、Ｇ’x+1y、Ｇ’xy-1、Ｇ’xy+1は、Ｇの画素位置のＧＬxyの上下左右にあるＲの画素位置またはＢの画素位置のＧの真値を意味しており、現時点では未知量である。
【００５２】
αとβとγは、ローパスフィルタ２の分離度により決まってくる係数で、画像処理部４によりコントロールされ、ローパスフィルタ２の特性によって決定される既知の値である。図１１に、係数α，β，γの一例を示す。例えば、−α＝０．２５、β＝０．１２５、γ＝０．０６２５となる。
【００５３】
Ｇ’xyについては、（式１）よりローパスフィルタ２をオフにして撮影した際の値Ｇxyとなる。また、Ｇ’x-1y-1、Ｇ’x-1y+1、Ｇ’x+1y-1、Ｇ’x+1y+1についても、Ｇの画素位置のＧの真値のため、それぞれローパスフィルタ２をオフにして撮影した際の値で置き換えることができる。
【００５４】
これより、Ｇの画素位置について、（式２）は下記の（式３）のように表すことができる。
ＧＬxy＝αＧxy＋βＧ’x-1y＋βＧ’x+1y＋βＧ’xy-1＋βＧ’xy+1＋γＧx-1y-1＋γＧx-1y+1＋γＧx+1y-1＋γＧx+1y+1  ……（式３）
【００５５】
画像全体を眺めると、Ｇの画素の数だけ各位置で（式３）を立てることができ、未知量の数はＲの画素位置およびＢの画素位置の数となり、式の数と未知量の数が釣り合うこととなる。そのため、画像全体から得られる一連の連立方程式を解くことにより、未知量を全て求めることができる。ここで、未知量とはＲの画素位置またはＢの画素位置のＧの真値である。このため、ローパスフィルタ２をオンにして撮影した画像とオフにして撮影した画像との２枚の画像のデータを原画像データとして用いることで、全ての画素位置におけるＧの真値を知ることができる。
【００５６】
上記したように、本実施の形態では、画像処理部４において、Ｒ，Ｇ，Ｂの３つの色のうち、１つの色（Ｇ）について、全ての画素位置における画素の真値を算出することができる。しかしながら、他の２つの色（Ｒ，Ｂ）については、全ての画素位置における真値を算出することはできない。
【００５７】
上記したように、図２のようなベイヤーパターンの場合、全体の画素数をＸとすると、Ｇの画素数はＸ／２であり、Ｇの画素についての未知の画素数はＸ／２となる。これに対し、Ｒの画素数はＸ／４であり、Ｒの画素についての未知の画素数は３Ｘ／４となる。同様に、Ｂの画素数はＸ／４であり、Ｂの画素についての未知の画素数は３Ｘ／４となる。このように、ベイヤーパターンの場合、Ｇの画素数に対して、Ｒ，Ｂの画素数が少ないため、２枚撮影の場合はＲとＢについては全ての画素位置における真値を知るために十分な数の式を立てることはできない。しかし、画像の解像度において重要である輝度信号はその成分の多くがＧの値によるものであるため、全ての画素位置におけるＧの真値を算出するだけでも、従来に比べて、十分に高精細な画像を得ることができる。
【００５８】
なお、本実施の形態の手法では、ＲとＢのプレーンデータの生成の際には、全ての画素位置における真値を算出することはできないものの、補間により全ての画素位置における値を推定することは可能である。例えば図８のＳ１０５（Ｂ）に示したように、ローパスフィルタ２をオフにして撮影された１枚のＲＡＷデータと、上述のように求められたＧのプレーンデータとに基づいて、Ｒ（またはＢ）以外の画素位置のＲ（またはＢ）の値を補間演算で求めることが可能である。この場合、ＲとＢのプレーンデータはそれぞれ、一部の画素位置のみが真値Ｒ’，Ｂ’となる。例えば、Ｒの値については、Ｇのプレーンデータの生成の際に求めた真値Ｇ’を用いて、Ｒ−Ｇ’を求め、これを線形補間した後に、Ｇ’を足し戻すことで、Ｇの周波数特性を反映し、従来手法よりも解像度の高いＲの値を算出することができる。Ｂの値についても同様である。
【００５９】
［１．４  効果］
以上のように、本実施の形態によれば、ローパスフィルタ２のローパス特性を互いに変えて撮影された２つの原画像データに基づいて、複数の原画像データのそれぞれよりも解像度の高い画像データを生成するようにしたので、解像度の高い、高精細な画像を得ることができる。
【００６０】
本実施の形態によれば、従来の単板式のデジタルカメラに対して、解像度が高く、アーティファクトの少ない撮影画像を得ることが可能となる。また、本実施の形態によれば、３板式のカメラに比べて、撮像系を小さく構成することができる。また、本実施の形態によれば、手振れ補正機構を使う方式に比べて、メカ的な機構が不要で、制御精度の面で担保をしやすい。
【００６１】
なお、以上の説明では、２つの原画像データに基づいて、未知の画素数Ｘ／２のＧの真値を求め、ベイヤ―パターンで本来求められない位置におけるＧの画素値を正しく復元できた。一方、ローパスフィルタ２のローパス特性を変えて撮影された、３つの原画像データを用いることで、Ｘ／２以上の未知の画素数のＧの真値を得ることができる。具体的にはベイヤ―パターンにおける実際の画素位置の中間に存在する仮想的な画素位置のＧの真値を得ることができる。このようにすることで、さらに解像度を上げることができる。
【００６２】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
【００６３】
＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態について説明する。以下では、上記第１の実施の形態と略同様の構成および作用を有する部分については、適宜説明を省略する。
【００６４】
上記第１の実施の形態では、ローパスフィルタ２をオフにして撮影した１枚の画像と、ローパスフィルタ２をオンにして撮影した１枚の画像との、計２枚の画像のデータを原画像データとして用いた処理を説明したが、用いる画像の数は２枚に限らない。画像の数を増やすことで、より解像度の高い画像を得ることができる。
【００６５】
例えば、ローパスフィルタ２をオフにして撮影した１枚の画像と、ローパスフィルタ２をオンにして撮影した分離度の異なる３枚の画像との、計４枚の画像を撮影すると、Ｒ，Ｂについても未知量に対して十分な量の式を立てることが可能となる
【００６６】
図１２は、本実施の形態に係る撮像装置の動作の概要を示している。
撮像装置では、まず、ローパスフィルタ２をオフの状態（ステップＳ１０１）にし、撮影を行う（ステップＳ１０２）。撮像装置は、続いて、ローパスフィルタ２を分離度１のオンの状態（ステップＳ１０３−１）にして、撮影を行う（ステップＳ１０４−１）。次に、撮像装置は、ローパスフィルタ２を分離度２のオンの状態（ステップＳ１０３−２）にして、撮影を行う（ステップＳ１０４−２）。次に、撮像装置は、ローパスフィルタ２を分離度３のオンの状態（ステップＳ１０３−３）にして、撮影を行う（ステップＳ１０４−３）。ここで、分離度１、分離度２、および分離度３はそれぞれ異なる値である。撮像装置は、その後、ローパスフィルタ２をオフにして撮影した画像とローパスフィルタ２をオンにして撮影した分離度の異なる３枚の画像との計４種類の原画像データに対して、画像処理部４で合成処理を行う（ステップＳ１０５）。その後、合成処理した画像の現像（ステップＳ１０６）を行い、外部メモリ７への保存を行う（ステップＳ１０７）。
【００６７】
本実施の形態の技術は、図７に示した一般的な処理のうち、基本的に、ステップＳ２０１のデモザイク処理の部分を新規な画像処理に置き換えるものである。この通常のデモザイク処理に代わる、本実施の形態における新規な画像処理の概念を図１３に模式的に示す。図１３には、図１２のステップＳ１０１〜Ｓ１０５の処理に対応付けた画像処理の概念を模式的に示す。一般的なデモザイク処理では、ベイヤーコーディングされた１枚のＲＡＷデータが、原画像データとして入力される。本実施の形態では、図１３のステップＳ１０１，Ｓ１０２およびステップＳ１０３−１〜３，Ｓ１０４−１〜３に示したように、ベイヤーコーディングされた４枚のＲＡＷデータが、原画像データとして入力される。
【００６８】
本実施の形態の技術を用いた場合も、図１３のステップＳ１０５に示したように、通常のデモザイク処理と同様に、Ｒ，Ｇ，Ｂのそれぞれのプレーンデータが生成され、最終的には図１３のステップＳ３０１に示したように、ＲＧＢが同時化されたプレーンデータが出力される。この際、Ｇのプレーンデータの生成の際には、少なくとも２枚のＲＡＷデータに基づいて（合成して）、Ｒ，Ｂの画素位置におけるＧの真値Ｇ’が算出される。これにより、Ｇのプレーンデータについては、全画素位置が真値となり、Ｇの解像度が向上する。また、Ｒ（またはＢ）のプレーンデータの生成の際には、４枚のＲＡＷデータに基づいて（合成して）、Ｒ（またはＢ）以外の画素位置におけるＲ（またはＢ）の真値Ｒ’（またはＢ’）が算出される。これにより、Ｒ，Ｂのプレーンデータについても、全画素位置が真値となり、Ｒ，Ｂの解像度も向上する。
【００６９】
このように、本実施の形態では、合成する複数の原画像データは４つの原画像データからなる。ローパスフィルタ２によるローパス特性を互いに変えて撮影された、４つの原画像データを用いることで、画像処理部４は、Ｒの画素位置とは異なる位置におけるＲの真値Ｒ’と、Ｇの画素位置とは異なる位置におけるＧの真値Ｇ’と、Ｂの画素位置とは異なる位置におけるＢの真値Ｂ’を算出することができる。これにより、画像処理部４は、Ｒ，Ｇ，Ｂの３つの色のそれぞれについて、全ての画素位置における画素の真値を算出することができる。
【００７０】
上記第１の実施の形態におけるＧの値を算出した場合と同様にして、Ｒの画素位置について、次の（式４），（式５），（式６）が成り立つ。
【００７１】
ＲＬ１xy＝α１Ｒxy＋β１Ｒ’x-1y＋β１Ｒ’x+1y＋β１Ｒ’xy-1＋β１Ｒ’xy+1＋γ１Ｒ’x-1y-1＋γ１Ｒ’x-1y+1＋γ１Ｒ’x+1y-1＋γ１Ｒ’x+1y-1  ……（式４）
【００７２】
ＲＬ２xy＝α２Ｒxy＋β２Ｒ’x-1y＋β２Ｒ’x+1y＋β２Ｒ’xy-1＋β２Ｒ’xy+1＋γ２Ｒ’x-1y-1＋γ２Ｒ’x-1y+1＋γ２Ｒ’x+1y-1＋γ２Ｒ’x+1y-1  ……（式５）
【００７３】
ＲＬ３xy＝α３Ｒxy＋β３Ｒ’x-1y＋β３Ｒ’x+1y＋β３Ｒ’xy-1＋β３Ｒ’xy+1＋γ３Ｒ’x-1y-1＋γ３Ｒ’x-1y+1＋γ３Ｒ’x+1y-1＋γ３Ｒ’x+1y-1  ……（式６）
【００７４】
（式４），（式５），（式６）はそれぞれ、ある分離度にローパスフィルタ２をコントロールした際のＲの画素位置のＲについての式である。式中、添え字の１，２，３はそれぞれの撮影時における、画素値や係数を示している。全画素数をＸとすると、Ｒの画素の数はＸ／４、未知量は３Ｘ／４のため、上記のように撮影枚数を増やして式の数を増やすことにより、未知量と式の数とがバランスし、連立方程式として解くことが可能となる。
【００７５】
以上ではＲの画素を例にしたが、Ｂの画素についても同様である。
【００７６】
その他の構成および動作、ならびに効果は、上記第１の実施の形態と略同様であってもよい。
【００７７】
＜３．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
【００７８】
例えば、上記各実施の形態では、画素構造としてベイヤーパターンの例を示したが、画素構造は、ベイヤーパターン以外でもよい。例えばＲ，Ｇ，Ｂいずれかの画素が２つ以上連続的に配列されることにより、同一の色の画素が隣り合う部分を含むようなパターンでもよい。また、Ｒ，Ｇ，Ｂ以外の画素を備えた構成であってもよい。例えば、図１４に示したように、赤外（ＩＲ）画素を備えた構成であってもよい。また、Ｗ（白色）画素を備えた構成であってもよい。
【００７９】
また、位相差検出方式のＡＦ（オートフォーカス）用の位相差画素を備えた構成であってもよい。この場合、図１５に示したように、一部の画素に遮光膜２１を設け、位相差検出機能付きの画素として用いるようにしてもよい。例えばＧの画素に部分的に遮光膜２１を設けてもよい。また、図１６に示したように、位相差検出用の専用の位相差画素２０を備えた構成であってもよい。
【００８０】
上記した位相差画素の位置や、イメージャ３の製造上の欠陥画素を未知量として、同じように真値を推定することも可能である。ただしその場合、未知量が増えるので式の量を増やす必要がある。このため、撮影枚数を増やす必要がある。例えばＲ，Ｇ，ＢのうちＧの画素の一部が位相差画素に置き換わっている場合、Ｇの未知の画素数はＸ／２よりも増えるが、Ｒ，Ｂの画素の未知の画素数は変わらず３Ｘ／４なので、４枚の撮影で全ての画素位置におけるＲ，Ｇ，Ｂの真値を得ることができる。つまり位相差画素の置き換えがＧの画素の半分までであれば、撮影枚数を４枚より増やす必要はない。一方、Ｇの画素を半分以上置き換えたり、Ｒ，Ｂの画素が欠落してしまう場合には、４枚以上の撮影が必要になる。位相差画素やＩＲ画素など、Ｒ，Ｇ，Ｂ以外の画素位置におけるＲ，Ｇ，Ｂの真値を求める構成にした場合、欠落しているＲ，Ｇ，Ｂの画素位置の真値を復元できる。これにより、Ｒ，Ｇ，Ｂ以外の機能を持った画素をより高密度に配置できる。位相差画素やＩＲ画素の位置におけるＲ，Ｇ，Ｂの真値は、求めるべき位置が予め分かっているという点で、欠陥画素の再現とは異なる。
【００８１】
また、上記各実施の形態では、画素値として色の情報を含むものとしたが、輝度の情報だけを含むものであってもよい。
【００８２】
また、上記各実施の形態では、必ずローパスフィルタ２をオフにして撮影した画像を用いるようにしたが、分離度を変えたローパスフィルタオンの画像のみを用いるようにしてもよい。例えば上記第１の実施の形態では、ローパスフィルタ２をオフにして撮影した１枚の画像と、ローパスフィルタ２をオンにして撮影した１枚の画像とを用いるようにしたが、未知量と式の数さえバランスすれば良いので、分離度を変えたローパスフィルタオンの画像が２枚あれば、上記第１の実施の形態と同様に、全てのＧに対して真値を知ることができる。
【００８３】
また、上記各実施の形態では、ローパスフィルタ２として可変式光学ローパスフィルタ３０の例を説明したが、機械的にローパスフィルタを出し入れすることで、ローパスフィルタオフとオンとを切り替えるような構成であってもよい。
【００８４】
また、上記各実施の形態では、複数枚の画像の合成処理（図６のステップＳ１０５）を行うようにしたが、この合成処理を必要に応じて行わないようにすることも可能である。例えば、被写体が動いている場合には、連続撮影したとしても複数枚の画像に基づいて正しい真値を算出できる可能性が低い。このため、２枚撮影した画像の動き量をＳＡＤ（Sum of Absolute Difference）などから算出し、一定以上の場合は合成処理を行わないようにしてもよい。あるいは、ある領域についての動き量が一定以上の場合は、その領域のみ合成処理を行わないようにしてもよい。これにより、被写体の動きに対する対策をすることも可能である。
【００８５】
また、図１に示した撮像装置が適用されるカメラとしてのバリエーションは様々な形態を考えることができる。レンズ部１は、固定式でも交換式でもよい。ディスプレイ６は構成から省略することも可能である。レンズ部１が交換式である場合、ローパスフィルタ２はカメラ本体側に設けられていてもよいし、交換式のレンズ部１側に設けられていてもよい。ローパスフィルタ２がレンズ部１側に設けられている場合、ローパスフィルタ制御部４１はカメラ本体側に設けられていてもよいし、レンズ部１側に設けられていてもよい。
【００８６】
また、本開示による技術は、車載カメラや監視カメラ等にも適用可能である。
【００８７】
また、図１に示した撮像装置では、外部メモリ７に撮影結果を保存したり、ディスプレイ６に撮影結果を表示するようにしたが、これら保存や表示の代わりに、画像データをネットワークで他の装置に伝送しても構わない。また、画像処理部４が、撮像装置本体とは別であっても構わない。例えば、画像処理部４が、撮像装置に接続されたネットワークの先にあっても構わない。また、撮像装置本体では画像処理を行わずに、外部メモリ７に画像データを保存してＰＣ（パーソナルコンピュータ）等の別の装置で画像処理を行っても構わない。
【００８８】
なお、画像処理部４の処理は、コンピュータによるプログラムとして実行することが可能である。本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００８９】
また、本技術による一連の画像処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体にあらかじめ記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９０】
また、例えば、本技術は以下のような構成を取ることができる。
（１）
光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、前記複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部
を備えた画像処理装置。
（２）
前記光学ローパスフィルタは、入射光に対する光の分離度を変更可能な可変式光学ローパスフィルタである
上記（１）に記載の画像処理装置。
（３）
前記可変式光学ローパスフィルタは、液晶光学ローパスフィルタである
上記（２）に記載の画像処理装置。
（４）
前記複数の原画像データは、前記分離度をゼロにして撮影された原画像データを含む
上記（２）または（３）に記載の画像処理装置。
（５）
前記複数の原画像データはそれぞれ、各色ごとに画素位置が異なる複数色の画素のデータを含み、
前記画像処理部は、前記複数色のうち少なくとも１つの所定の色について、前記所定の色の画素位置とは異なる位置における画素値を算出する
上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
（６）
前記複数の原画像データは、２つの原画像データからなる
上記（１）ないし（５）のいずれか１つに記載の画像処理装置。
（７）
前記２つの原画像データはそれぞれ、３つの色の画素のデータを含み、
前記画像処理部は、前記３つの色のうち、１つの所定の色について、前記所定の色の画素位置とは異なる位置における画素値を算出する
上記（６）に記載の画像処理装置。
（８）
前記３つの色は、赤色、緑色、および青色であり、前記所定の色は緑色である
上記（７）に記載の画像処理装置。
（９）
前記複数の原画像データは、４つの原画像データからなり、
前記４つの原画像データはそれぞれ、第１の色、第２の色、および第３の色の画素のデータを含み、
前記画像処理部は、前記第１の色の画素位置とは異なる位置における前記第１の色の画素値と、前記第２の色の画素位置とは異なる位置における前記第２の色の画素値と、前記第３の色の画素位置とは異なる位置における前記第３の色の画素値とを算出する
上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
（１０）
光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、前記複数の原画像データのそれぞれよりも解像度の高い画像データを生成する
画像処理方法。
（１１）
イメージセンサと、
前記イメージセンサに対して光の入射側に配置された光学ローパスフィルタと、
前記光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、前記複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部と
を備えた撮像装置。
（１２）
コンピュータを、
光学ローパスフィルタのローパス特性を互いに変えて撮影された複数の原画像データに基づいて、前記複数の原画像データのそれぞれよりも解像度の高い画像データを生成する画像処理部
として機能させるためのプログラム。
【００９１】
本出願は、日本国特許庁において２０１６年３月９日に出願された日本特許出願番号第２０１６−０４５５０４号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
【００９２】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
【図１】
2017154367.tif 000003
【図２】
2017154367.tif 000004
【図３】
2017154367.tif 000005
【図４】
2017154367.tif 000006
【図５】
2017154367.tif 000007
【図６】
2017154367.tif 000008
【図７】
2017154367.tif 000009
【図８】
2017154367.tif 000010
【図９】
2017154367.tif 000011
【図１０】
2017154367.tif 000012
【図１１】
2017154367.tif 000013
【図１２】
2017154367.tif 000014
【図１３】
2017154367.tif 000015
【図１４】
2017154367.tif 000016
【図１５】
2017154367.tif 000017
【図１６】
2017154367.tif 000018
【国際調査報告】
2017154367.tif 000019
2017154367.tif 000020