(57)【要約】  赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号と、可視波長域の輝度信号である可視輝度信号とを生成し、輝度信号と色差信号の低周波成分と可視輝度信号の低周波成分とに基づいてカラー画像を生成することを特徴とする撮像装置。
2011155135.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を結像させる撮像光学系と、
赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
可視波長成分から可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、
前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、
前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、
前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、
前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【請求項２】
前記補正色差信号は、以下の演算式を用いて生成されることを特徴とする請求項１に記載の撮像装置。
ここに、前記補正色差信号をＣｂｍ、Ｃｒｍ、前記色差低周波信号をＣｂｓ、Ｃｒｓ、前記輝度信号をＹａｄｄ、前記可視輝度信号をＹ、前記可視輝度低周波信号をＹｓとすると、演算式は、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）・・・（１０−１式）
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）・・・（１０−２式）
あるいは、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙｓ）  ・・・（１０−１’式）
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙｓ）  ・・・（１０−２’式）
である。
【請求項３】
前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の青色領域と緑色領域とを除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
全可視波長域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像素子は、
可視波長の青色領域を除く波長域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域を除く波長域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の赤色領域を除く波長域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像素子は、
可視波長の赤色領域と赤外波長域とを有感度波長域とする第１の画素と、
可視波長の緑色領域と赤外波長域とを有感度波長域とする第２の画素と、
可視波長の青色領域と赤外波長域とを有感度波長域とする第３の画素と、
赤外波長域を有感度波長域とする第４の画素とが２次元マトリクス状に規則的に配列されていることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記撮像素子は、入射光量に応じて、少なくとも線形特性と対数特性との２つの光電変換特性を有することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記撮像素子は、線形の光電変換特性を有し、
前記画像処理部は、露出時間の異なる少なくとも２枚の画像データに基づいて、１枚の原画像データを生成し、前記原画像データを用いてカラー画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記撮像素子は、傾きの異なる折れ線形の線形の光電変換特性を有することを特徴とする請求項１に記載の撮像装置。
【請求項９】
被写体像を結像させる撮像光学系と、
可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、
前記原画像データから、輝度信号を生成する輝度信号生成部と、
前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、
可視波長成分から可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、
前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、
前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、
前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、
前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えたことを特徴とする撮像装置。
【請求項１０】
前記補正色差信号は、以下の演算式を用いて生成されることを特徴とする請求項９に記載の撮像装置。
ここに、前記補正色差信号をＣｂｍ、Ｃｒｍ、前記色差低周波信号をＣｂｓ、Ｃｒｓ、前記輝度信号をＹａｄｄ、前記可視輝度信号をＹ、前記可視輝度低周波信号をＹｓとすると、演算式は、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）・・・（１０−１式）
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）・・・（１０−２式）
あるいは、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙｓ）  ・・・（１０−１’式）
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙｓ）  ・・・（１０−２’式）
である。
【請求項１１】
前記撮像素子は、入射光量に応じて、少なくとも線形特性と対数特性との２つの光電変換特性を有することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記撮像素子は、線形の光電変換特性を有し、
前記画像処理部は、露出時間の異なる少なくとも２枚の画像データに基づいて、１枚の原画像データを生成し、前記原画像データを用いてカラー画像を生成することを特徴とする請求項９に記載の撮像装置。
【請求項１３】
前記撮像素子は、傾きの異なる折れ線形の線形の光電変換特性を有することを特徴とする請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に広ダイナミックレンジな原画像データを画像処理してカラー画像を生成する撮像装置に関する。
【背景技術】
【０００２】
一般的な線形の光電変換特性を有する撮像素子は、そのダイナミックレンジが狭いために、通常の被写体であっても、暗部あるいは明部の輝度分布が正確に撮像されない。また、対数変換型の光電変換特性を有する撮像素子は、通常の被写体に対しては十分広いダイナミックレンジを有するが、低輝度側の感度に難点がある。【０００３】
そこで、例えば特許文献１に示すように、入射光量に応じて線形特性と対数特性との２つの光電変換特性（以下、リニアログ特性と言う）を有する、線形対数変換型撮像素子（以下、リニアログセンサと言う）が知られている。リニアログセンサによれば、低輝度側を感度の高い線形特性で撮像し、高輝度側をダイナミックレンジの広い対数特性で撮像することで、感度と広ダイナミックレンジとを両立させることができる。【０００４】
あるいは、例えば特許文献２に示すように、線形の光電変換特性を有する撮像素子を用いて、露出時間を変えて撮像された画像を合成することで、ダイナミックレンジの広い画像を得る方法が知られている。その他に、ニー特性と呼ばれる入射光量によって傾きの異なる折れ線形の線形の光電変換特性を有するセンサも提案されている。【０００５】
一方、例えば非特許文献１に示したように、自動車に近赤外カメラを搭載し、夜間の歩行者や前方車両等をモニタに映し出す所謂ナイトビュー機能が開発されている。しかし、近赤外カメラの画像はモノクロであり、肉眼で見たものとはイメージが異なり、違和感がある。【０００６】
また、夜間のシーンをカラーで撮像する撮像装置が知られている。例えば特許文献３には、Ｒ、Ｇ、Ｂの３色のカラーフィルタと赤外光を透過するＩｒフィルタとを備えた撮像素子で撮像した画像データを用いて、Ｒ、Ｇ、Ｂの色成分からなる可視画像データと赤外画像データとを抽出し、可視画像データから得られる輝度情報と赤外画像データから得られる輝度情報とに重み付けを施して輝度情報を生成することで、疑似カラー画像を生成する撮像装置が開示されている。【０００７】
しかしながら、夜間はフォトンの量が少ないため、撮像された画像のＳ／Ｎ比が小さくなると言う問題があるが、特許文献３ではこのようなことが考慮されていない。【０００８】
また、非特許文献１では、対向車のヘッドライト等の強い光によって幻惑されて、画像が見にくくなるという問題もある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００２−７７７３３号公報
【特許文献２】特開平６−１４１２２９号公報
【特許文献３】特開２００７−１８４８０５号公報
【非特許文献】
【００１０】
【非特許文献１】トヨタ自動車株式会社→テクノロジー→ＩＴＳ→ＩＴＳによるアプローチ（詳しくはこちら）→安全→予防安全（詳しくはこちら）→視界支援→ナイトビュー（http://www.toyota.co.jp/jpn/tech/safety/technology/techonolgy_file/active/night_view.html）２０１１年５月６日検索
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、上記事情に鑑みてなされたもので、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決するために、本発明の一局面による撮像装置は、被写体像を結像させる撮像光学系と、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、前記原画像データから、赤外波長成分を含む輝度信号を生成する輝度信号生成部と、前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、可視波長成分から可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えている。【００１３】
本発明の別の一局面による撮像装置は、被写体像を結像させる撮像光学系と、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列され、前記被写体像を撮像して、前記画素の各々から出力される少なくとも３種類の原画像成分を含んだ原画像データを生成する撮像素子と、前記原画像データから、輝度信号を生成する輝度信号生成部と、前記原画像データから、可視波長成分の色差信号を生成する色差信号生成部と、可視波長成分から可視波長域の輝度信号である可視輝度信号を生成する可視輝度信号生成部と、前記色差信号の低周波成分である色差低周波信号を生成する色差低周波信号生成部と、前記可視輝度信号の低周波成分である可視輝度低周波信号を生成する可視輝度低周波信号生成部と、前記輝度信号と、前記色差低周波信号と、前記可視輝度低周波信号とに基づいて、前記輝度信号に対応する補正色差信号を生成する補正色差信号生成部と、前記輝度信号と、前記補正色差信号とに基づいて、カラー画像を生成するカラー画像生成部とを有する画像処理部とを備えている。
【発明の効果】
【００１４】
上述した本発明の一局面による撮像装置によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて少なくとも３種対の原画像成分を含んだ原画像データが撮像される。そして、撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号と、可視波長域の輝度信号である可視輝度信号とを生成し、輝度信号と色差信号の低周波成分と可視輝度信号の低周波成分とに基づいてカラー画像が生成される。これにより、輝度差の大きいエッジ領域等での偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることができる。【００１５】
また、上述した本発明の別の一局面による撮像装置によれば、撮像素子が赤外光領域に感度を持たない場合において、上記の一局面の撮像装置と同様の効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明における撮像装置の第１の実施の形態を示すブロック図である。
【図２】撮像素子の構成および特性を示す模式図である。
【図３】撮像素子の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図４】画像処理部の構成を示すブロック図である。
【図５】画像処理部の画素補正部の動作を示すフローチャートである。
【図６】画像処理部の輝度信号生成部の動作と構成とを示す模式図である。
【図７】画像処理部の色処理部の動作を示すフローチャートである。
【図８】色処理部の偽色抑制部の構成と動作とを示す模式図である。
【図９】画像処理部のカラー画像生成部の動作を示すフローチャートである。
【図１０】撮像素子の構成の第２の例を示す模式図である。
【図１１】撮像素子の構成の第２の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図１２】撮像素子の構成の第３の例を示す模式図である。
【図１３】撮像素子の構成の第３の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【図１４】撮像装置の第２の実施の形態に用いられる撮像素子の特性および構成を示す模式図である。
【図１５】撮像素子の各フィルタの分光特性の例と、フォトダイオードの分光感度特性の例とを示す模式図である。
【図１６】第２の実施の形態における画像処理部の構成を示すブロック図である。
【図１７】撮像装置の第３の実施の形態に用いられる撮像素子の光電変換特性を示す模式図である。
【発明を実施するための形態】
【００１７】
以下、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限定されない。なお、図中、同一あるいは同等の部分には同一の番号を付与し、重複する説明は省略することがある。
【００１８】
最初に、本発明における撮像装置の第１の実施の形態について、図１を用いて説明する。図１は、本発明における撮像装置の第１の実施の形態を示すブロック図である。
【００１９】
図１において、撮像装置１は、撮像光学系２、撮像素子３、画像処理部４、制御部５、記憶部６、表示部７およびインターフェース部（以下、Ｉ／Ｆ部と言う）８等で構成される。
【００２０】
撮像光学系２は、レンズ等で構成され、光軸２１上に被写体の像を結像させる。
【００２１】
撮像素子３は、撮像光学系２によって光軸２１上に結像された被写体の像を光電変換し、アナログ／デジタル変換（以下、Ａ／Ｄ変換と言う）して、デジタルの原画像データとして出力する。撮像素子３については、図２および図３で詳述する。被写体は、少なくとも赤外光によって照明されている、あるいは赤外光を発光していることが望ましい。
【００２２】
画像処理部４は、後述する制御部５の制御下で、撮像素子３から出力された原画像データに画像処理を施して、カラー画像を出力する。画像処理部４の構成および動作については、図４から図８で詳述する。
【００２３】
制御部５は、例えばＣＰＵ等で構成され、後述する記憶部６に格納されたプログラムに従って撮像装置１の動作を制御するとともに、Ｉ／Ｆ部８を介して、撮像装置１が接続される外部システムと交信を行う。
【００２４】
記憶部６は、ＲＯＭ、ＲＡＭ等で構成され、制御部５を構成するＣＰＵの動作を規定するプログラムを格納するとともに、制御部５の制御下で、画像処理部４から出力されたカラー画像を記憶及び出力し、撮像装置１の各部に関する調整データ等を記憶及び出力する。
【００２５】
表示部７は、制御部５の制御下で、記憶部６に記憶されたカラー画像を表示する。
【００２６】
Ｉ／Ｆ部８は、制御部５の制御下で、撮像装置１と外部システムとの交信を行う。
【００２７】
次に、撮像素子３の構成および特性について、図２を用いて説明する。図２は、撮像素子３の構成および特性を示す模式図で、図２（ａ）は撮像素子３の光学フィルタ構成を示す模式図であり、図２（ｂ）は撮像素子３の光電変換特性を示す模式図である。
【００２８】
図２（ａ）において、撮像素子３は、リニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、イェロー（Ｙｅ）フィルタ、レッド（Ｒｅ）フィルタ、赤外透過（ＩＲ）フィルタの３種類のフィルタの何れかが設けられた画素３１と、フィルタが設けられていない（便宜的にＷフィルタが設けられていると言う）画素３１との４種類の画素３１が規則的に配置されている。
【００２９】
図示の例では、ある行に、Ｒｅフィルタが設けられた画素３１とＷフィルタが設けられた画素３１とが交互に配列され、次の行にはＩＲフィルタが設けられた画素３１とＹｅフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【００３０】
図３に、撮像素子３の分光特性の例を示す。図３は、撮像素子３の各フィルタの分光特性の例と、フォトダイオードＰＤの分光感度特性の例とを示す模式図である。
【００３１】
図３において、Ｙｅフィルタは、可視波長の青色領域を除く波長域と赤外波長域とを透過させる。Ｒｅフィルタは、可視波長の青色領域と緑色領域とを除く波長域と、赤外波長域とを透過させる。ＩＲフィルタは、赤外波長域を透過させる。Ｗフィルタは可視波長域と赤外波長域とを透過させる。便宜上、ＩＲおよびＷについても、色と呼ぶ。
【００３２】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【００３３】
従って、撮像素子３のＹｅフィルタが設けられた画素３１（以下、Ｙｅ画素と言う。各色とも同じである。）は、可視波長域の緑色から赤外波長域の１１００ｎｍまでを有感度波長域とし、Ｒｅ画素は可視波長域の赤色から赤外波長域の１１００ｎｍまでを有感度波長域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度波長域とし、Ｗ画素は３００ｎｍから１１００ｎｍまでを有感度波長域とする。
【００３４】
このように、フォトンをなるべく受けられる分光感度を持つフィルタを用いることで、フォトダイオードで発生するショットノイズを低減することができる。
【００３５】
図２（ｂ）において、グラフの横軸は撮像素子３の画素３１に入射する光の入射光量ＩＬを対数軸で示してあり、縦軸は画素３１の出力のＡ／Ｄ変換後の出力ＶＬを示してある。撮像素子３の各画素３１の光電変換特性は、変曲点Ｐｔよりも入射光量ＩＬが少ない低輝度領域Ａ１では線形特性を示し、変曲点Ｐｔよりも入射光量ＩＬが多い高輝度領域Ａ２では対数特性を示すリニアログ特性であり、広いダイナミックレンジ（以下、Ｄレンジと言う）を有している。
【００３６】
ただし、実際には、線形特性と対数特性とは、変曲点Ｐｔを境に完全に切り替わるのではなく、変曲点近傍では、線形でも対数でもない過渡的な特性の領域が存在する。この特性を線形対数特性と呼び、過渡的な領域を線形対数領域と呼ぶ。線形対数領域については、例えば特開２００７−２５１８９８号公報等に記載されている。また、撮像素子３の画素３１の構成や駆動方法、リニアログ特性の変曲点Ｐｔの調整方法等は、上述した特許文献１を始め、多くの文献に詳述されている。
【００３７】
また、撮像素子３にはＡ／Ｄ変換器が内蔵されており、撮像素子３からは、例えば各々１４ｂｉｔのリニアログ特性のＹｅ画像成分、Ｒｅ画像成分、ＩＲ画像成分およびＷ画像成分の各色の画像成分で構成される原画像データＤ３が出力される。なお、Ａ／Ｄ変換器は、撮像素子３の外部に設けられてもよいし、制御部５に内蔵されてもよい。
【００３８】
次に、画像処理部４の構成について、図４を用いて説明する。図４は、画像処理部４の構成を示すブロック図である。
【００３９】
図４において、画像処理部４は、画素補正部４１、輝度信号生成部４３、色処理部４５およびカラー画像生成部４７等で構成される。各部は、ハードウェアで構成されてもよいし、ＣＰＵとソフトウェアとで構成されてもよいし、ハードウェアとＣＰＵおよびソフトウェアとの混成で構成されてもよい。
【００４０】
画素補正部４１は、撮像素子３から出力された原画像データＤ３に、黒オフセット補正、変曲点補正、リニアログ特性の対数特性への変換、欠陥画素補正、露出補正等の処理を施して、画素補正画像データＤ４１を出力する。画素補正画像データＤ４１は、各々１６ｂｉｔの対数特性のＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分で構成される。画素補正部４１の動作の詳細は図５で説明する。
【００４１】
輝度信号生成部４３は、画素補正部４１から出力された画素補正画像データＤ４１に、Ｄレンジ圧縮、対数特性の線形特性への変換、色画素補間等の処理を施して、各々１２ｂｉｔの線形特性のＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分で構成される第２補正画像データＤ４３を得、第２補正画像データＤ４３から輝度信号Ｙａｄｄを生成する。輝度信号Ｙａｄｄは、１２ｂｉｔの線形データである。輝度信号生成部４３の動作の詳細は図６で説明する。
【００４２】
色処理部４５は、輝度信号生成部４３から出力された輝度信号Ｙａｄｄと、画素補正部４１から出力された画素補正画像データＤ４１とを用いて、特許文献３の方法を改良した各処理を行い、色信号Ｄ４５を出力する。色信号Ｄ４５は、各々８ｂｉｔの線形の赤（Ｒ）画像成分、緑（Ｇ）画像成分、青（Ｂ）画像成分の各画像成分で構成される。色処理部４５の動作の詳細は図７および図８で説明する。
【００４３】
カラー画像生成部４７は、色処理部４５から出力された色信号Ｄ４５に対して、ホワイトバランス補正、色補正、ガンマ補正、色空間変換、エッジ強調等の処理を施し、カラー画像Ｄ４を出力する。カラー画像Ｄ４は、各々８ｂｉｔの線形の輝度信号Ｙ４と色差信号Ｃｂ４、Ｃｒ４とで構成される。カラー画像生成部４７の動作の詳細は図９で説明する。
【００４４】
図５は、画像処理部４の画素補正部４１の動作を示すフローチャートである。
【００４５】
図５において、ステップＳ４１１で、撮像素子３から出力された原画像データＤ３に、画素単位での黒レベルのオフセット補正が施されて、黒補正原画像データＤ４１１（Ｙｅ１、Ｒｅ１、ＩＲ１、Ｗ１）が生成される。各画素のオフセット値は、予め測定されて、記憶部６に記憶されている。黒オフセット補正については、例えば特開２００５−０７９７６６号公報等に詳述されている。
【００４６】
ステップＳ４１３で、ステップＳ４１１で黒オフセット補正が施された黒補正原画像データＤ４１１の光電変換特性が、リニアログ特性から基準の対数特性に特性変換され、対数原画像データＤ４１３（Ｙｅ２、Ｒｅ２、ＩＲ２、Ｗ２）が生成される。対数原画像データＤ４１３は、１６ｂｉｔの対数特性データである。
【００４７】
特性変換は、リニアログ特性を、線形特性、変曲点近傍の過渡的な特性である線形対数特性および対数特性の３つのブロックに分けて、各ブロック毎に行われる。特性変換によって、画素毎の変曲点バラツキも補正される。特性変換については、例えば特開２００７−０７４４８８号公報や特開２００７−２５１８９８号公報等に詳述されている。
【００４８】
また、さらに必要に応じて、対数特性を、傾きの異なる第１対数特性と第２対数特性との２つのブロックに分け、合計４つの領域に分けて特性変換してもよい。
【００４９】
ステップＳ４１５で、対数原画像データＤ４１３の画素欠陥のある位置に、画素欠陥補正が施され、欠陥補正原画像データＤ４１５（Ｙｅ３、Ｒｅ３、ＩＲ３、Ｗ３）が生成される。画素欠陥補正は、隣接の同色の画素のデータを用いて線形補間する等のデジタルカメラ等で周知の方法で行われればよい。
【００５０】
ステップＳ４１７で、欠陥補正原画像データＤ４１５の各データの平均値が所定値になるようなゲインが演算され、欠陥補正原画像データＤ４１５に乗算されて、画素補正画像データＤ４１（Ｙｅ４、Ｒｅ４、ＩＲ４、Ｗ４）が生成される。これによって、画像の暗部が黒ツブレすることなく再現される。
【００５１】
図６は、画像処理部４の輝度信号生成部４３の動作と構成とを示す模式図で、図６（ａ）は輝度信号生成部４３の動作を示すフローチャートであり、図６（ｂ）は輝度信号生成部４３の中の照明成分抽出部および照明成分圧縮部の構成を示すブロック図である。
【００５２】
図６（ａ）において、ステップＳ４３１で、画素補正画像データＤ４１の照明成分Ｌが抽出され、画素補正画像データＤ４１から照明成分Ｌが減算されることで反射率成分Ｒが求められる。
【００５３】
ステップＳ４３３で、照明成分Ｌが圧縮されて圧縮照明成分Ｌ’が生成され、圧縮照明成分Ｌ’と反射率成分Ｒとが加算されることで、照明成分が圧縮された、つまりＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３（Ｙｅ５、Ｒｅ５、ＩＲ５、Ｗ５）が生成される。
【００５４】
ステップＳ４３１およびＳ４３３の動作は、図６（ｂ）に示す構成によって実現される。図６（ｂ）において、照明成分抽出部４３１は、例えば階層化ローパスフィルタ等で構成され、入力された画素補正画像データＤ４１の低周波成分が照明成分Ｌとして抽出される。照明成分圧縮部４３３は、例えば乗算器等で構成され、所定値Ｇｄｒｃと照明成分Ｌとを乗算することで、圧縮照明成分Ｌ’を得る。ここに、圧縮照明成分Ｌ’は（１式）で表される。
【００５５】
Ｌ’＝Ｌ×Ｇｄｒｃ  ・・・（１式）
【００５６】
一方、減算器４３２によって、画素補正画像データＤ４１から照明成分Ｌが減算されることで反射率成分Ｒが求められる。圧縮照明成分Ｌ’と反射率成分Ｒとが加算器４３４によって加算されることで、照明成分が圧縮された、つまりＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が生成される。照明成分を圧縮することで、局所的なコントラストを保存したまま全体のＤレンジを圧縮することができる。なお、Ｄレンジ圧縮処理については、例えば特開２００１−２７５０１５号公報や特開２００９−０８１５２６号公報等に詳述されている。
【００５７】
図６（ａ）に戻って、ステップＳ４３５で、対数特性のＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が、線形特性の線形Ｄレンジ圧縮画像データＤ４３５（Ｙｅ６、Ｒｅ６、ＩＲ６、Ｗ６）に変換される。変換は所定の変換テーブルによって行われ、１６ｂｉｔの対数特性のＤレンジが圧縮されたＤレンジ圧縮画像データＤ４３３が１２ｂｉｔの線形特性の線形Ｄレンジ圧縮画像データＤ４３５に変換される。
【００５８】
ステップＳ４３７で、線形Ｄレンジ圧縮画像データＤ４３５の各画素位置に対するＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分の欠損部分が補間処理され、色画素補間画像データＤ４３７（Ｙｅ７、Ｒｅ７、ＩＲ７、Ｗ７）が生成される。補間処理は、例えば隣接する同色の画素データを線形補完する方法等、通常のデジタルカメラ等で行われている周知の方法で行われればよい。
【００５９】
ステップＳ４３９で、色画素補間画像データＤ４３７の各画素での各画像成分を加算平均することで、画像処理の対象となっている原画像データＤ３の色空間の輝度信号Ｙａｄｄが生成される。ここに、輝度信号Ｙａｄｄは（２式）で表される。
【００６０】
Ｙａｄｄ＝（Ｙｅ７＋Ｒｅ７＋ＩＲ７＋Ｗ７）／４  ・・・（２式）
【００６１】
輝度信号Ｙａｄｄは、赤外光を含む原画像データＤ３に基づいて、Ｄレンジ圧縮処理を施した信号を加算して得られた輝度信号である。このように、画像表示時に視覚的に目立つ輝度成分を加算のみで生成するために、ノイズを低減することができる。また、可視光に対して赤外光が強い場合には、輝度信号Ｙａｄｄを用いることで解像度の高い画像を得ることができる。なお、輝度信号生成部４３は、ステップＳ４３９の動作を実行することで、本発明における輝度信号生成部として機能する。
【００６２】
なお、輝度信号Ｙａｄｄは、色画素補間画像データＤ４３７の各画素での各画像成分に重み付けをして加算することで求められてもよい。ここに、輝度信号Ｙａｄｄは、（２’式）で表される。
【００６３】
Ｙａｄｄ＝（ａ１×Ｙｅ７＋ａ２×Ｒｅ７＋ａ３×ＩＲ７＋ａ４×Ｗ７）／４    ・
・・（２’式）
ただし、ａ１、ａ２、ａ３、ａ４は重み付け係数で、ａ１＋ａ２＋ａ３＋ａ４＝１である。重み付け係数は、例えば予め決められた値を用いればよい。
【００６４】
図７は、画像処理部４の色処理部４５の動作を示すフローチャートである。ここに、色処理部４５は、色差信号生成部、可視輝度信号生成部、色差低周波信号生成部、可視輝度低周波信号生成部、及び補正色差信号生成部として機能する。
【００６５】
図７において、ステップＳ４５１で、画素補正部４１で生成された１６ｂｉｔの対数特性の画素補正画像データＤ４１に所定の変換テーブルを適用することで、３２ｂｉｔの線形特性に特性変換が行われ、線形画像データＤ４５１（Ｙｅ８、Ｒｅ８、ＩＲ８、Ｗ８）が得られる。
【００６６】
ステップＳ４５２で、線形画像データＤ４５１の各画素位置に対するＹｅ、Ｒｅ、ＩＲおよびＷの各画像成分の欠損部分が補間処理され、補間画像データＤ４５２（Ｙｅ９、Ｒｅ９、ＩＲ９、Ｗ９）が生成される。補間処理は、例えば隣接する同色の画素データを線形補完する方法等、通常のデジタルカメラ等で行われている周知の方法で行われればよい。
【００６７】
ステップＳ４５３で、補間画像データＤ４５２から、可視光の色信号である、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号が演算され、色信号データＤ４５３（Ｒ、Ｇ、Ｂ）が得られる。各色信号の演算式は、（３−１式）〜（３−３式）で得られる。
【００６８】
Ｒ＝Ｒｅ９−ＩＲ９  ・・・（３−１式）
Ｇ＝Ｙｅ９−Ｒｅ９  ・・・（３−２式）
Ｂ＝Ｗ９−Ｙｅ９    ・・・（３−３式）
ただし、演算結果が負になった場合には、０（ゼロ）に置き換える。
【００６９】
色信号データＤ４５３は、赤外光を含む原画像データＤ３から色画素補間された補間画像データＤ４５２の可視光成分のみが抽出された信号であり、補間画像データＤ４５２には、Ｄレンジ圧縮は施されていない。
【００７０】
これは、ステップＳ４３７で生成された色画素補間画像データＤ４３７のような赤外光を含んだ原画像データにＤレンジ圧縮を施した信号を用いて色信号を生成すると、原画像データ中の可視光成分のＤレンジに関係なくＤレンジ圧縮された信号に基づいて色信号が生成されるために、色信号の彩度が低下するので、それを防止するためである。
【００７１】
ステップＳ４５４で、上述した各処理で歪んだ色信号データＤ４５３のホワイトバランス（以下、ＷＢと言う）をとるために、色信号データＤ４５３（Ｒ、Ｇ、Ｂ）に所定の第１のＷＢゲイン（ｇｒ、ｇｇ、ｇｂ）が乗算されて、第１ＷＢ補正色信号Ｄ４５４（Ｒ１、Ｇ１、Ｂ１）が生成される。ここに、第１ＷＢ補正色信号Ｄ４５４（Ｒ１、Ｇ１、Ｂ１）は、（４−１式）〜（４−３式）で表される。
【００７２】
Ｒ１＝Ｒ×ｇｒ  ・・・（４−１式）
Ｇ１＝Ｇ×ｇｇ  ・・・（４−２式）
Ｂ１＝Ｂ×ｇｂ  ・・・（４−３式）
なお、第１のＷＢゲイン（ｇｒ、ｇｇ、ｇｂ）は、予め求められて記憶部６に記憶されていればよい。
【００７３】
ステップＳ４５５で、第１ＷＢ補正色信号Ｄ４５４から、可視輝度信号Ｙと色差信号Ｃｂ、Ｃｒとが演算されて、輝度色差信号Ｄ４５５（Ｙ、Ｃｂ、Ｃｒ）が生成される。輝度色差信号Ｄ４５５（Ｙ、Ｃｂ、Ｃｒ）の演算式は、（５−１式）〜（５−３式）で表される。
【００７４】
Ｙ＝０．２９９×Ｒ１＋０．５８７×Ｇ１＋０．１１４×Ｂ１    ・・・（５−１式）
Ｃｂ＝−０．１６９×Ｒ１−０．３３１×Ｇ１＋０．５００×Ｂ１・・・（５−２式）
Ｃｒ＝０．５００×Ｒ１−０．４１９×Ｇ１−０．０８１×Ｇ１  ・・・（５−３式）
【００７５】
ここで、ステップＳ４５３で得られた色信号データＤ４５３は、可視光成分のみのデータであるので、ステップＳ４５３の後にステップＳ４９１を設け、色信号データＤ４５３に上述したステップＳ４３１およびＳ４３３と同様のＤレンジ圧縮を施して、Ｄレンジ圧縮色信号を生成してもよい。
【００７６】
あるいは、ステップＳ４５５で得られた輝度色差信号Ｄ４５５も可視光成分のみのデータであるので、ステップＳ４５５の後にステップＳ４９２を設け、輝度色差信号Ｄ４５５に上述したステップＳ４３１およびＳ４３３と同様のＤレンジ圧縮を施して、Ｄレンジ圧縮色差信号を生成してもよい。
【００７７】
いずれにしても、Ｄレンジ圧縮を施すことで、照明成分を圧縮して、局所的なコントラストを保存したま全体のＤレンジを圧縮することができ、データサイズを小さくして、以後の演算を容易にすることができる。
【００７８】
ステップＳ４５６で、輝度色差信号Ｄ４５５の色差信号Ｃｂ、Ｃｒと、図６のステップＳ４３９で求められた輝度信号Ｙａｄｄとから、原画像のエッジ部に発生する偽色を抑制した色差信号Ｃｂ’、Ｃｒ’が生成される。詳細は、図８で説明する。
【００７９】
図８は、図７のステップＳ４５６に相当する色処理部４５の偽色抑制部４５６の構成と動作とを示す模式図で、図８（ａ）は偽色抑制部４５６の構成を示すブロック図であり、図８（ｂ）は偽色抑制部４５６で使用されるフィルタの構成図であり、図８（ｃ）は偽色抑制部４５６で使用される係数を示すグラフである。
【００８０】
図８（ａ）において、偽色抑制部４５６は、輝度高周波検出部４５６ａと色差信号変調部４５６ｂとの２つのブロックで構成されている。
【００８１】
輝度高周波検出部４５６ａは、原画像のエッジ検出を行うために、図６のステップＳ４３９で生成された輝度信号Ｙａｄｄに、図８（ｂ）で示すＰｒｅｗｉｔｔフィルタ（水平方向がｇＨＳ、垂直方向がｇＶＳ）を適用して、エッジ量Ｙｅｄｇｅを算出する。ここに、エッジ量Ｙｅｄｇｅは（６式）で表される。
【００８２】
Ｙｅｄｇｅ＝｜ｇＨＳ×Ｙａｄｄ｜＋｜ｇＶＳ×Ｙａｄｄ｜  ・・・（６式）
【００８３】
次に、エッジ量Ｙｅｄｇｅから、輝度高周波信号Ｙ’ｅｄｇｅが算出され、色差信号変調部４５６ｂに出力される。ここに、輝度高周波信号Ｙ’ｅｄｇｅは（７式）で表される。
【００８４】
Ｙ’ｅｄｇｅ＝Ｙｅｄｇｅ／（Ｙａｄｄ×９）  ・・・（７式）
輝度高周波信号Ｙ’ｅｄｇｅは、１以上となる場合もある。
【００８５】
一方、色差信号変調部４５６ｂは、輝度高周波検出部４５６ａで生成された輝度高周波信号Ｙ’ｅｄｇｅに基づいて、図８（ｃ）に示す偽色抑制係数ｋを決定する。ここに、偽色抑制係数ｋは、下記で表される。
【００８６】
Ｙ’ｅｄｇｅ＜閾値αの時、
ｋ＝１
閾値α≦Ｙ’ｅｄｇｅ≦閾値βの時、
ｋ＝−Ｙ’ｅｄｇｅ／（β−α）−β／（β−α）
閾値β＜Ｙ’ｅｄｇｅの時、
ｋ＝０
閾値αおよびβは、画像の種類や用途等によって予め決定され、記憶部６に記憶されればよい。
【００８７】
この偽色抑制係数ｋを用いて、図７のステップＳ４５５で生成された輝度色差信号Ｄ４５５の色差信号Ｃｂ、Ｃｒを変調することで、エッジ部の色信号が抑制された変調色差信号Ｄ４５６（Ｃｂ１、Ｃｒ１）が得られる。ここに、変調色差信号Ｄ４５６（Ｃｂ１、Ｃｒ１）は、（８−１式）、（８−２式）で表される。
【００８８】
Ｃｂ１＝ｋ×Ｃｂ  ・・・（８−１式）
Ｃｒ１＝ｋ×Ｃｒ  ・・・（８−２式）
【００８９】
これによって、撮像素子３の光学フィルタ配列に起因して原画像のエッジ部に発生する偽色を抑制することができる。また、後述するステップＳ４５８でのスムージング処理の前にステップＳ４５６で偽色抑制を行っておくことで、エッジ部に発生する偽色を、より効果的に抑制することができる。
【００９０】
図７に戻って、ステップＳ４５７で、赤外光成分に比べて可視光成分が少ない場合に画像の彩度が高くなりすぎるのを防止するために、変調色差信号Ｄ４５６に、赤外光に対する可視光の量に応じた所定の係数ｖｂ、ｖｒを乗算することで、変調色差信号Ｄ４５６の彩度を赤外光に対する可視光の量に応じて抑圧した彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）が生成される。ここに、彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）は、（９−１式）、（９−２式）で表される。
【００９１】
Ｃｂ２＝Ｃｂ１×ｖｂ  ・・・（９−１式）
Ｃｒ２＝Ｃｒ１×ｖｒ  ・・・（９−２式）
【００９２】
可視光の成分の量は、ステップＳ４５２で得られた補間画像データＤ４５２のＷ画像成分とＩＲ画像成分との差（Ｗ−ＩＲ）や、Ｗ画像成分とＩＲ画像成分との比（Ｗ／ＩＲ）等で算出できる。また、所定の係数（ｖｂ、ｖｒ）は、例えば、Ｗ画像成分とＩＲ画像成分との差や比等に応じて、予めルックアップテーブル（以下、ＬＵＴと言う）の形で用意され、記憶部６に記憶されればよい。
【００９３】
ステップＳ４５８で、画素単位でのノイズ低減のために、ステップＳ４５７で得られた彩度抑圧色差信号Ｄ４５７（Ｃｂ２、Ｃｒ２）に３×３、あるいは５×５程度の比較的小さいサイズのローパスフィルタを適用することでスムージング処理が行われ、ノイズ成分がぼかされてＳ／Ｎ比が向上された色差低周波信号Ｃｂｓ、Ｃｒｓが得られる。
【００９４】
ステップＳ４５３での色信号の演算では減算が用いられているのでノイズが増えるが、ステップＳ４５８でのスムージング処理によってノイズが減り、かつ人間の目の視覚特性のために、スムージング処理してもぼけて見えることはない。
【００９５】
同様に、ステップＳ４５５で得られた可視光の輝度色差信号Ｄ４５５の可視輝度信号Ｙに、３×３、あるいは５×５程度の比較的小さいサイズのローパスフィルタを適用することでスムージング処理が行われ、可視輝度信号Ｙの低周波成分が抽出された可視輝度低周波信号Ｙｓが抽出される。
【００９６】
ステップＳ４５９で、図６のステップＳ４３９で生成された色差低周波信号Ｃｂｓ、Ｃｒｓが、赤外光領域を含む輝度信号Ｙａｄｄと可視輝度信号Ｙとに基づいて補正されて、補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）が生成される。補正に際して、輝度と色との空間周波数帯域を揃えることによって、輝度差の大きいエッジ領域に偽色が発生することを防止する。
【００９７】
そこで、単に、
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）
として補正するだけでなく、例えば、可視光の輝度の高周波成分と低周波成分とを含む可視輝度信号Ｙと、低周波成分のみを含む可視輝度低周波信号Ｙｓとの比（Ｙ／Ｙｓ）をとることで抽出した高輝度成分を、上述した補正項に重畳することで、輝度と色との空間周波数帯域を揃える。ここに、補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）は、（１０−１式）、（１０−２式）で表される。
【００９８】
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）  ・・・（１０−１式）
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙ）×（Ｙ／Ｙｓ）  ・・・（１０−２式）
色差低周波信号Ｃｂｓ、Ｃｒｓは１２ビットの線形特性の信号である。
【００９９】
あるいは、（１０−１式）および（１０−２式）から可視輝度信号Ｙを約分して消去した、（１０−１’式）、（１０−２’式）を用いても良い。
【０１００】
Ｃｂｍ＝Ｃｂｓ×（Ｙａｄｄ／Ｙｓ）  ・・・（１０−１’式）
Ｃｒｍ＝Ｃｒｓ×（Ｙａｄｄ／Ｙｓ）  ・・・（１０−２’式）
【０１０１】
このように、赤外光領域を含む輝度信号Ｙａｄｄと可視輝度信号Ｙ、あるいは輝度低周波信号Ｙａｄｄｓと可視輝度低周波信号Ｙｓとに基づいて補正色差信号Ｄ４５９を求めることで、変換対象となる色空間における色差信号と輝度信号とをバランスよく算出することができる。
【０１０２】
さらに、補正色差信号Ｄ４５９を求めるのに、輝度成分から抽出した高周波成分を重畳することで、輝度信号と色信号との空間周波数帯域がそろうために、輝度差の大きいエッジ領域等に偽色が発生することが緩和される。
【０１０３】
ステップＳ４６０で、ステップＳ４５９で得られた補正色差信号Ｄ４５９（Ｃｂｍ、Ｃｒｍ）と、図６のステップＳ４３９で生成された輝度信号Ｙａｄｄとから、色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）が演算される。演算式は、（１１−１式）〜（１１−３式）で表さされる。
【０１０４】
Ｒ２＝Ｙａｄｄ＋１．４０２×Ｃｒｍ                    ・・・（１１−１式）
Ｇ２＝Ｙａｄｄ−０．３４４×Ｃｂｍ−０．７１４×Ｃｒｍ・・・（１１−２式）
Ｂ２＝Ｙａｄｄ＋１．７７２×Ｃｂｍ                    ・・・（１１−３式）
色信号Ｄ４５は、各々８ｂｉｔの線形特性のデータである。
【０１０５】
色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）は、上述の処理を経て演算されたものであるため、ステップＳ４５３で補間画像データＤ４５２から減算処理によって演算された色信号データＤ４５３（Ｒ、Ｇ、Ｂ）に比べてはるかに精度の高い色信号となっている。
【０１０６】
なお、上述した（１０−１式）および（１０−２式）、あるいは（１０−１’式）および（１０−２’式）の処理は、赤外光領域を含まない構成であっても成り立つ。赤外光領域を含まない構成とは、通常の原色系あるいは補色系のフィルタと、赤外カットフィルタとの組み合わせであって、例えば、撮像素子のある行にイェロー（Ｙｅ）フィルタを設けた画素（Ｙｅ画素と言う）とフィルタを設けない画素（Ｗ画素と言う）とが交互に配列され、隣接する行にレッド（Ｒｅ）フィルタを設けた画素（Ｒｅ画素）とＷ画素とが交互に配列され、これが行毎に交互に繰り返されている組み合わせの全体に赤外カットフィルタを設けた構成が考えられる。
【０１０７】
その他に考えられる画素配列としては、下記のものが挙げられる。
１）撮像素子のある行にＹｅ画素とＷ画素とが交互に配列され、隣接する行にグリーンフィルタを設けた画素（Ｇ画素）とＷ画素とが交互に配列されたもの。
２）撮像素子のある行にシアンフィルタを設けた画素（Ｃ画素）とマゼンタフィルタを設けた画素（Ｍ画素）とが交互に配列され、隣接する行にＹｅ画素とＧ画素とが交互に配列されたもの。
３）撮像素子のある行にＲｅ画素とＧ画素とが交互に配列され、隣接する行にＧ画素とブルー（Ｂ）フィルタを設けた画素（Ｂ画素）とが交互に配列されたもの。
【０１０８】
ただし、画素配列は、これに限定されるものではない。
【０１０９】
従来の可視補色フィルタを用いた場合、ＣＭＹ画像からＲＧＢ画像を得て、ＲＧＢ画像から求めた輝度を加算輝度に置き換えることで輝度のＳ／Ｎを向上させることができるが、以降の処理で再度ＲＧＢに置換した場合に、輝度と加算輝度との違いが色の違いとして現れるという問題がある。
【０１１０】
しかし、上述した（１０−１式）および（１０−２式）、あるいは（１０−１’式）および（１０−２’式）の処理を施すことで、ＲＧＢの色の比が保存されるので、色再現性が向上する効果がある。
【０１１１】
図９は、画像処理部４のカラー画像生成部４７の動作を示すフローチャートである。
【０１１２】
図９において、ステップＳ４７１で、ステップＳ４５４以降の各処理で歪んだＷＢを補正するために、ステップＳ４６０で得られた色信号Ｄ４５（Ｒ２、Ｇ２、Ｂ２）に所定の第２のＷＢゲイン（ｇｒ２、ｇｇ２、ｇｂ２）が乗算されて、第２ＷＢ補正色信号Ｄ４７１（Ｒ３、Ｇ３、Ｂ３）が得られる。ここに、第２ＷＢ補正色信号Ｄ４７１（Ｒ３、Ｇ３、Ｂ３）は、（１２−１式）〜（１２−３式）で表される。
【０１１３】
Ｒ３＝Ｒ２×ｇｒ２  ・・・（１２−１式）
Ｇ３＝Ｇ２×ｇｇ２  ・・・（１２−２式）
Ｂ３＝Ｂ２×ｇｂ２  ・・・（１２−３式）
【０１１４】
ステップＳ４７３で、第２ＷＢ補正色信号Ｄ４７１に所定の行列を用いて色補正が施され、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）が生成される。ここに、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）は下記で表される。
【０１１５】
2011155135.tif 000003
所定の行列は、予め決定されて、記憶部６に記憶されればよい。
【０１１６】
ステップＳ４７５で、例えば表示部７や外部のディスプレイ等のような出力機器のガンマ特性に合わせて、色補正色信号Ｄ４７３にガンマ補正を施し、ガンマ補正色信号Ｄ４７４（Ｒ５、Ｇ５、Ｂ５）が生成される。
【０１１７】
ガンマ補正は、例えば表示部７のような出力機器のガンマ特性に合わせて予め用意されたガンマ補正ＬＵＴを用いて、色補正色信号Ｄ４７３（Ｒ４、Ｇ４、Ｂ４）を変換すればよい。あるいは、例えばＩＥＣ  ６１９６６−２−１  ｓＲＧＢ規格のような標準的なディスプレイの規格に合わせてガンマ補正してもよい。
【０１１８】
ステップＳ４７７で、ガンマ補正色信号Ｄ４７４（Ｒ５、Ｇ５、Ｂ５）から輝度信号Ｙ３と色差信号Ｃｂ３、Ｃｒ３とが演算されて、第２輝度色差信号Ｄ４７７（Ｙ３、Ｃｂ３、Ｃｒ３）が生成される。演算式はステップＳ４５５と同様で、下記で表される。
【０１１９】
Ｙ３＝０．２９９×Ｒ５＋０．５８７×Ｇ５＋０．１１４×Ｂ５    ・・・（１４−１式）
Ｃｂ３＝−０．１６９×Ｒ５−０．３３１×Ｇ５＋０．５００×Ｂ５・・・（１４−２式）
Ｃｒ３＝０．５００×Ｒ５−０．４１９×Ｇ５−０．０８１×Ｇ５  ・・・（１４−３式）
【０１２０】
ステップＳ４７９で、第２輝度色差信号Ｄ４７７にエッジ強調処理が施されて、カラー画像Ｄ４（Ｙ４、Ｃｂ４、Ｃｒ４）が生成され、画像処理部４から出力される。カラー画像Ｄ４は、各々８ｂｉｔの線形の信号である。
【０１２１】
上述した第１の実施の形態は、図２に示した例とは異なる構成の撮像素子にも適用できる。そこで、撮像素子の構成の第２の例について、図１０および図１１を用いて説明する。図１０は、撮像素子の構成の第２の例を示す模式図である。
【０１２２】
図１０において、撮像素子３は、図２に示したと同じリニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、青（Ｂ）フィルタ、緑（Ｇ）フィルタ、赤（Ｒ）フィルタおよび赤外透過（ＩＲ）フィルタの４種類のフィルタの何れかが設けられた画素３１が規則的に配置されている。
【０１２３】
図示の例では、ある行に、Ｂフィルタが設けられた画素３１とＲフィルタが設けられた画素３１とが交互に配列され、次の行にはＧフィルタが設けられた画素３１とＩＲフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１２４】
図１１に、撮像素子３の分光特性の一例を示す。図１１は、撮像素子３の構成の第２の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【０１２５】
図１１において、Ｂフィルタは可視波長の青色領域を透過させる。Ｇフィルタは可視波長の緑色領域を透過させる。Ｒフィルタは可視波長の赤色領域を透過させる。ＩＲフィルタは、赤外波長域を透過させる。便宜上、ＩＲについても色と呼ぶ。
【０１２６】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１２７】
従って、撮像素子３のＢフィルタが設けられた画素３１（以下、Ｂ画素と言う。各色とも同じである。）は、可視波長域の青色を有感度波長域とし、Ｇ画素は可視波長域の緑色を有感度波長域とし、Ｒ画素は可視波長域の赤色を有感度波長域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度波長域とする。
【０１２８】
撮像素子３の構成の第２の例を用いる場合には、色フィルタの構成が図２の例とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。
ここに、これらの式は下記のように修正される。
【０１２９】
Ｙａｄｄ＝（Ｂ７＋Ｇ７＋Ｒ７＋ＩＲ７）／４  ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｂ７＋ａ２×Ｇ７＋ａ３×Ｒ７＋ａ４×ＩＲ７）／４    ・・・
（２’式）
Ｒ＝Ｒ９  ・・・（３−１式）
Ｇ＝Ｇ９  ・・・（３−２式）
Ｂ＝Ｂ９  ・・・（３−３式）
【０１３０】
さらに、撮像素子の構成の第３の例について、図１２および図１３を用いて説明する。図１２は、撮像素子の構成の第３の例を示す模式図である。
【０１３１】
図１２において、撮像素子３は、図２に示したと同じリニアログセンサであり、２次元マトリクス状に配置された複数の画素３１を有し、青（Ｂｌ）フィルタ、緑（Ｇｒ）フィルタ、赤（Ｒｅ）フィルタおよび赤外透過（ＩＲ）フィルタの４種類のフィルタの何れかが設けられた画素３１が規則的に配置されている。図１０の第２の例と記号が異なるのは、図１３に示す各フィルタの分光感度が異なるからである。
【０１３２】
図示の例では、ある行に、Ｂｌフィルタが設けられた画素３１とＲｅフィルタが設けられた画素３１とが交互に配列され、次の行にはＧｒフィルタが設けられた画素３１とＩＲフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１３３】
図１３に、撮像素子３の分光特性の一例を示す。図１３は、撮像素子の構成の第３の例の各フィルタの分光特性と、フォトダイオードの分光感度特性とを示す模式図である。
【０１３４】
図１３において、Ｂｌフィルタは可視波長の青色領域と赤外波長域とを透過させる。Ｇｒフィルタは可視波長の緑色領域と赤外波長域とを透過させる。Ｒｅフィルタは可視波長の赤色領域と赤外波長域とを透過させる。ＩＲフィルタは、赤外波長域を透過させる。便宜上、ＩＲについても色と呼ぶ。
【０１３５】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１３６】
従って、撮像素子３のＢｌ画素は、可視波長域の青色と赤外波長域の７００ｎｍから１１００ｎｍまでとを有感度波長域とし、Ｇｒ画素は可視波長域の緑色と赤外波長域の７００ｎｍから１１００ｎｍまでとを有感度波長域とし、Ｒｅ画素は可視波長域の赤色から赤外波長域の１１００ｎｍまでとを有感度波長域とし、ＩＲ画素は赤外波長域の７００ｎｍから１１００ｎｍまでを有感度波長域とする。
【０１３７】
撮像素子３の構成の第３の例を用いる場合には、色フィルタの構成が図２および図１０の例とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。ここに、これらの式は下記のように修正される。
【０１３８】
Ｙａｄｄ＝（Ｂｌ７＋Ｇｒ７＋Ｒｅ７＋ＩＲ７）／４  ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｂｌ７＋ａ２×Ｇｒ７＋ａ３×Ｒｅ７＋ａ４×ＩＲ７）／４    ・・・（２’式）
Ｒ＝Ｒｅ９−ＩＲ９  ・・・（３−１式）
Ｇ＝Ｇｒ９−ＩＲ９  ・・・（３−２式）
Ｂ＝Ｂｌ９−ＩＲ９  ・・・（３−３式）
【０１３９】
上述したように、第１の実施の形態によれば、撮像光学系と、リニアログ特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて原画像データを撮像する。そして、撮像された原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行う。これにより、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１４０】
次に、本発明における撮像装置の第２の実施の形態について、図１４から図１６を用いて説明する。撮像装置の第２の実施の形態の構成は、図１に示したと同じであるので、説明は省略する。図１４は、撮像装置の第２の実施の形態に用いられる撮像素子の特性および構成を示す模式図で、図１４（ａ）は撮像素子の光電変換特性を示す模式図であり、図１４（ｂ）は撮像素子のフィルタ構成を示す模式図である。
【０１４１】
図１４（ａ）において、撮像素子３は、通常の線形特性の光電変換特性を有している。通常の線形特性の光電変換特性を有する撮像素子３を用いて、低輝度領域Ａ１を第１の露出時間Ｔ１で撮像することで、第１の光電変換特性Ｓ１が得られる。同様に、低輝度領域Ａ１よりも明るく、低輝度領域Ａ１と重なる輝度領域Ａ３を有する高輝度領域Ａ２を、第１の露出時間Ｔ１よりも短い第２の露出時間Ｔ２で撮像することで、第２の光電変換特性Ｓ２が得られる。
【０１４２】
画像処理部４によって、第１の光電変換特性Ｓ１と第２の光電変換特性Ｓ２とを、重なる輝度領域Ａ３の部分で連結することで、低輝度領域Ａ１＋高輝度領域Ａ２をカバーする広いＤレンジを有する光電変換特性Ｓ３を合成することができる。理論的には重なる輝度領域Ａ３を有する必要はないので、この方法で通常の線形特性の光電変換特性の最大２倍のＤレンジを得ることができる。
【０１４３】
従って、第１の光電変換特性Ｓ１および第２の光電変換特性Ｓ２が例えば１４ビットのデータの場合、光電変換特性Ｓ３は最大２８ビットのデータとなる。同様にして３つ以上の輝度範囲を連結することも可能である。
【０１４４】
図１４（ｂ）において、撮像素子３は、２次元マトリクス状に配置された複数の画素３１を有し、イェロー（Ｙｅ）フィルタ、マゼンタ（Ｍ）フィルタ、シアン（Ｃ）フィルタの３種類の補色フィルタの何れかが設けられた画素３１と、フィルタが設けられていない（便宜的にＷフィルタが設けられていると言う）画素３１とが規則的に配置されている。
【０１４５】
図示の例では、ある行に、Ｍフィルタが設けられた画素３１とＷフィルタが設けられた画素３１とが交互に配列され、次の行にはＣフィルタが設けられた画素３１とＹｅフィルタが設けられた画素３１とが交互に配列されて、これが行毎に交互に繰り返されている。ただし、フィルタの配列は、これに限定されるものではない。
【０１４６】
図１５に、撮像素子３の分光特性の例を示す。図１５は、撮像素子３の各フィルタの分光特性の例と、フォトダイオードＰＤの分光感度特性の例とを示す模式図である。
【０１４７】
図１５において、Ｙｅフィルタは、可視波長の青色領域を除く波長域と赤外波長域とを透過させる。Ｍフィルタは、可視波長の緑色領域を除く波長域と赤外波長域とを透過させる。Ｃフィルタは、可視波長の赤色領域を除く波長域と赤外波長域とを透過させる。Ｗフィルタは可視波長域と赤外波長域とを透過させる。便宜上、Ｗについても、色と呼ぶ。
【０１４８】
一方、撮像素子３のフォトダイオードＰＤは、概略３００ｎｍから１１００ｎｍの範囲に感度を有し、６５０ｎｍから７００ｎｍあたりに感度ピークを有する。感度範囲および感度ピークは、フォトダイオードＰＤの構造や不純物濃度等によって変化する。
【０１４９】
従って、撮像素子３のＹｅフィルタが設けられた画素３１（以下、Ｙｅ画素と言う。各色とも同じである。）は、可視波長域の緑色から赤外波長域の１１００ｎｍまでを有感度波長域とし、Ｍ画素は可視波長域の青色と赤色と赤外波長域の１１００ｎｍまでを有感度波長域とし、Ｃ画素は可視波長域の青色と緑色と赤外波長域の７００ｎｍから１１００ｎｍまでを有感度波長域とし、Ｗ画素は３００ｎｍから１１００ｎｍまでを有感度波長域とする。
【０１５０】
図１６は、第２の実施の形態における画像処理部４の構成を示すブロック図である。
【０１５１】
図１６において、画像処理部４は、図４に示した第１の実施の形態の画素補正部４１の前に、Ｄレンジ拡大部４９を有している。
【０１５２】
Ｄレンジ拡大部４９は、撮像素子３で第１の露出時間Ｔ１で撮像された画像データＤ３１（Ｙｅ、Ｍ、Ｃ、Ｗ）と、画像データＤ３１に連続して第１の露出時間Ｔ１とは異なる第２の露出時間Ｔ２で撮像された画像データＤ３２（Ｙｅ、Ｍ、Ｃ、Ｗ）とに基づいて、図１４（ａ）で説明した方法により、Ｄレンジが拡大された原画像データＤ３（Ｙｅ、Ｍ、Ｃ、Ｗ）を合成する。これ以降は、原画像データＤ３を用いて画像処理を行う。画素補正部４１以降の構成については、図４と同じであるので、説明は省略する。なお、画像データＤ３１と画像データＤ３２とは、連続して撮像されたものに限るものではない。また、異なる露出時間で撮像された３枚以上の画像データを用いて原画像データを合成してもよい。
【０１５３】
原画像データＤ３は線形特性のデータであるので、図５から図９に示した画像処理部４の各部の動作の中で、ステップＳ４１３（線形対数変換）、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）は不要であり、画像処理部４の各部の動作は全て線形特性で取り扱うことができる。
【０１５４】
ただし、上述したように、原画像データＤ３はビット数の大きいデータであるので、ステップＳ４１３（線形対数変換）で対数圧縮することで、ビット数の小さいデータに変換してから、それ以降の演算を行うことでもよい。その場合には、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）での線形伸張が必要となる。
【０１５５】
また、第２の実施の形態の撮像素子３は、色フィルタの構成が第１の実施の形態とは異なるので、色処理に関するステップＳ４３９の（２式）と（２’式）、およびステップＳ４５３の（３−１式）、（３−２式）、（３−３式）を以下のように修正する必要がある。ここに、これらの式は下記のように修正される。
【０１５６】
Ｙａｄｄ＝（Ｙｅ７＋Ｍ７＋Ｃ７＋Ｗ７）／４  ・・・（２式）
Ｙａｄｄ＝（ａ１×Ｙｅ７＋ａ２×Ｍ７＋ａ３×Ｃ７＋ａ４×Ｗ７）／４    ・・・（２’式）
Ｒ＝Ｗ９−Ｃ９  ・・・（３−１式）
Ｇ＝Ｗ９−Ｍ９  ・・・（３−２式）
Ｂ＝Ｗ９−Ｙｅ９    ・・・（３−３式）
【０１５７】
第２の実施の形態の画像処理部４の各部のその他の動作は、図５から図９に示したものと同じであるので、説明は省略する。
【０１５８】
上述したように、第２の実施の形態によれば、撮像光学系と、線形特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて異なる露出時間で少なくとも２枚の画像データを撮像する。そして、撮像された少なくとも２枚の画像を合成した原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行う。これにより、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１５９】
次に、本発明における撮像装置の第３の実施の形態について、図１７を用いて説明する。撮像装置の第３の実施の形態の構成は、図１に示したと同じであるので、説明は省略する。図１７は、撮像装置の第３の実施の形態に用いられる撮像素子の光電変換特性を示す模式図である。
【０１６０】
図１７において、撮像素子３は、ニー特性と呼ばれる折れ線形の線形の光電変換特性を有している。ニー特性は、入射光量ＩＬが少ない低輝度領域Ａ１では傾きの大きい線形の第１の光電変換特性Ｓ１を有し、入射光量ＩＬが多い高輝度領域Ａ２では傾きの小さい線形の第２の光電変換特性Ｓ２を有している。
【０１６１】
第２の実施の形態と同様に、図１６に示した画像処理部４のＤレンジ拡大部４９によって、第２の光電変換特性Ｓ２を、第１の光電変換特性Ｓ１の延長線上に伸張することで、低輝度領域Ａ１＋高輝度領域Ａ２をカバーする広いＤレンジを有する線形の光電変換特性Ｓ３を得ることができる。あるいは、第１の光電変換特性Ｓ１の傾きを第２の光電変換特性の傾きに合わせて寝かせ、第２の光電変換特性Ｓ２と連結することで、低輝度領域Ａ１＋高輝度領域Ａ２をカバーするビット数の小さい線形の光電変換特性Ｓ４を得ることもできる。
【０１６２】
画素補正部４１以降の構成については、図４と同じであるので、説明は省略する。また、得られる原画像データは線形特性であるので、第２の実施の形態と同様に、ステップＳ４１３（線形対数変換）、ステップＳ４３５（対数線形変換）およびステップＳ４５１（対数線形変換）は不要である。さらに、色処理に関しては、用いるフィルタに合わせて、第１の実施の形態の式か第２の実施の形態の式かを使い分ければよい。
【０１６３】
上述したように、第３の実施の形態によれば、撮像光学系と、ニー特性の撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる４種類の画素が配列された撮像素子を用いて原画像データを撮像する。そして、撮像された原画像データから、赤外波長成分を含む輝度信号と、色差信号とを抽出し、赤外波長成分を含む輝度信号の高周波成分に基づいて色差信号の変調を行う。これにより、撮像素子の色フィルタ配列に起因するエッジ部の偽色の発生を防止し、夜間のＳ／Ｎ比が高く、Ｄレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１６４】
なお、上述した第１から第３の実施の形態では、撮像素子３は４種類の異なるフィルタを備えているとしたが、これに限定されるものではなく、少なくとも３種類のフィルタを備えていればよい。この場合、フィルタの種類として、各フィルタの分光透過特性から赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を生成することができる種類のものを採用すればよい。
【０１６５】
以上に述べたように、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、赤外波長域を含み、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて少なくとも３種類の原画像成分を含んだ原画像データが撮像される。そして、撮像された少なくとも３種類の原画像成分を含んだ原画像データから、赤外波長成分を含む輝度信号と、可視波長成分の色差信号と、可視波長域の輝度信号である可視輝度信号とを生成し、輝度信号と色差信号の低周波成分と可視輝度信号の低周波成分とに基づいてカラー画像を生成する。これにより、輝度差の大きいエッジ領域等での偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１６６】
また、本発明によれば、撮像光学系と、撮像素子と、画像処理部とを備えた撮像装置において、可視波長域を選択的に含んだ感度域を有し、分光感度の異なる少なくとも３種類の画素が配列された撮像素子を用いて少なくとも３種類の原画像成分を含んだ原画像データが撮像される。そして、撮像された少なくとも３種類の原画像成分を含んだ原画像データから、輝度信号と、可視波長成分の色差信号と、可視波長域の輝度信号である可視輝度信号とを生成し、輝度信号と色差信号の低周波成分と可視輝度信号の低周波成分とに基づいてカラー画像を生成する。これにより、輝度差の大きいエッジ領域等での偽色の発生を防止することができ、夜間のＳ／Ｎ比が高く、ダイナミックレンジの広い、きれいなカラー画像を得ることのできる撮像装置を提供することができる。
【０１６７】
なお、本発明に係る撮像装置を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【０１６８】
１  撮像装置
２  撮像光学系
２１  光軸
３  撮像素子
３１  画素
４  画像処理部
４１  画素補正部
４３  輝度信号生成部
４３１  照明成分抽出部
４３３  照明成分圧縮部
４５  色処理部
４５６  偽色抑制部
４５６ａ  輝度高周波検出部
４５６ｂ  色差信号変調部
４７  カラー画像生成部
４９  Ｄレンジ拡大部
５  制御部
６  記憶部
７  表示部
８  インターフェース（Ｉ／Ｆ）部
Ｌ  照明成分
Ｌ’  圧縮照明成分
ＩＬ  入射光量
ＶＬ  出力
Ｐｔ  変曲点
Ｙａｄｄ  輝度信号
Ｙ  可視輝度信号
Ｃｂ、Ｃｒ  色差信号
Ｄ４  カラー画像
【図１】
2011155135.tif 000004
【図２】
2011155135.tif 000005
【図３】
2011155135.tif 000006
【図４】
2011155135.tif 000007
【図５】
2011155135.tif 000008
【図６】
2011155135.tif 000009
【図７】
2011155135.tif 000010
【図８】
2011155135.tif 000011
【図９】
2011155135.tif 000012
【図１０】
2011155135.tif 000013
【図１１】
2011155135.tif 000014
【図１２】
2011155135.tif 000015
【図１３】
2011155135.tif 000016
【図１４】
2011155135.tif 000017
【図１５】
2011155135.tif 000018
【図１６】
2011155135.tif 000019
【図１７】
2011155135.tif 000020
【国際調査報告】
2011155135.tif 000021
2011155135.tif 000022
2011155135.tif 000023
2011155135.tif 000024
2011155135.tif 000025
2011155135.tif 000026
2011155135.tif 000027