(57)【要約】【課題】撮像素子の受光面の傾斜状態にかかわらず、同色の画素間の感度差に起因する画質やデータ圧縮率の低下を抑制する。【解決手段】撮像素子２００の受光面４０１の傾斜角度は可変である。制御部３１０は、レンズ主面４０２に対して成す受光面４０１の傾斜角度θに基づいて置換範囲を決定し、撮像素子２００からの画素信号が画像信号に変換されるにあたって、置換範囲の少なくとも一部の画素の出力信号を、その画素の周囲に隣接する少なくとも１つの同色画素の出力信号に基づく値で置換する。【選択図】図５
2019186763.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系と、
受光面を有し、画素が周期的に配列された撮像素子であって、前記撮像光学系の光軸と直交する平面に対する前記受光面の傾斜角度が可変である撮像素子と、
前記撮像素子の前記受光面の傾斜角度に基づいて、前記撮像素子における置換対象の範囲を決定する決定手段と、
前記撮像素子の各画素の出力信号を画像信号に変換する変換手段と、
前記変換手段により画像信号に変換されるにあたって、前記決定手段により決定された置換対象の範囲の少なくとも一部の画素の出力信号を、その画素の周囲に隣接する少なくとも１つの同色画素の出力信号に基づく値で置換する置換手段と、を有することを特徴とする撮像装置。
【請求項２】
撮像対象が存在する平面と前記光軸と直交する平面とが交差することによって形成される直線を、前記受光面が存在する平面が含むように、前記受光面の傾斜角度が設定されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子からの第１の距離から、前記第１の距離より長い第２の距離までの範囲が撮像範囲として設定された場合、前記傾斜角度は、前記撮像対象が存在する平面と前記撮像素子との最短距離、前記第１の距離及び前記第２の距離に基づいて設定され、
前記決定手段は、前記第１の距離と前記第２の距離との間の第３の距離を決定すると共に、前記第３の距離から前記第１の距離までの範囲に対応する前記撮像素子の画素範囲を、前記置換対象の範囲として決定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、前記第２の距離の１／√２倍の距離を前記第３の距離として決定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記決定手段は、前記第２の距離における必要解像度を設定し、前記必要解像度に基づいて前記第３の距離を決定することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記置換手段は、前記置換対象の範囲の画素の出力信号を置換した場合の値と置換しなかった場合の値とを比較し、その比較結果に基づいて、前記変換手段により画像信号に変換されるにあたって置換を実行するかどうかを決定することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記置換手段は、前記置換対象の範囲の画素の出力信号を置換した場合の値と置換しなかった場合の値との差分または比が閾値より大きくない場合に、前記変換手段により画像信号に変換されるにあたって置換を実行し、前記差分または比が前記閾値より大きい場合は、前記変換手段により画像信号に変換されるにあたって置換を実行しないことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記置換手段は、前記置換対象の範囲における互いに隣接する一方の画素の出力信号を他方の画素の出力信号で置換することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記置換手段は、置換する画素に対して隣接する複数の画素の出力信号の加算平均で前記置換する画素の出力信号を置換することを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像素子の各画素の出力信号を取得すると共に前記変換手段を含む信号処理部を有し、
前記置換手段は前記信号処理部に含まれることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
前記置換手段は、前記撮像素子に含まれることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１２】
前記撮像素子の各画素の出力信号を取得する信号処理部を有し、
前記置換手段の機能は、前記信号処理部におけるソフトウェア処理により実現されることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１３】
撮像光学系と、受光面を有し、周期的に画素が配列された撮像素子であって、前記撮像光学系の光軸と直交する平面に対する前記受光面の傾斜角度が可変である撮像素子と、を有する撮像装置の制御方法であって、
前記撮像素子の前記受光面の傾斜角度に基づいて、前記撮像素子における置換対象の範囲を決定し、
前記撮像素子の各画素の出力信号を画像信号に変換するにあたって、前記決定した置換対象の範囲の画素の少なくとも一部の出力信号を、その画素の周囲に隣接する少なくとも１つの同色画素の出力信号に基づく値で置換することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像光学系の主面に対して撮像素子の受光面を傾けて撮影可能な撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、一般のカメラにおいて複数の被写体を同時に撮影する際、それぞれの被写体までの距離が異なる場合には合焦位置がそれぞれ異なる。その場合、被写界深度を深くするために絞りを絞った広角撮影等により複数の被写体が被写界深度内に収まるようにすることができる。一方、シャインプルーフの原理を用いて、通常は平行である撮像素子の受光面と、撮像光学系の主面（レンズ主面）と、複数の被写体が存在する平面との３つが交わるように撮像素子を傾けることで、それぞれの被写体の焦点位置を合わせることが知られている。
【０００３】
例えば、特許文献１には、上記原理を用いて、複数の被写体までのそれぞれの距離が異なる場合でも、それぞれの被写体に容易に焦点を合わせることが可能な撮像装置が開示されている。この原理を用いることで、監視カメラのような決まった画角を撮影するような場合に、画角内の広い範囲に対して焦点を合わせた被写体の画像を得ることができる。
【０００４】
一方で、撮像素子においては、隣接する画素同士で共有する電極に対する配置位置の違い等、ある程度の構造差を持つことが普通である。この構造差によって、特に斜め方向からの入射光に対して画素間の感度差が発生する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−２１９７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像素子における周期的な画素配列、特にベイヤ配列を考えると、Ｒ画素と同じ行にあるＧ画素と、Ｂ画素と同じ行にあるＧ画素との感度差が原因となり、高周波パターンノイズが発生する場合がある。高周波パターンノイズが発生すると、画質の低下やデータ圧縮率の低下が発生するおそれがある。特に監視カメラにおいては、距離の異なる複数の被写体を撮影するに際し、撮像素子の受光面の傾斜角度によって被写体の検知精度が低下したり通信・保存データ量が増加したりすることは極力回避したい。
【０００７】
画素間の感度差を補正するために、補正テーブルを基にしたゲインを一部の画素に掛けることが考えられる。しかし、発生する感度差は撮像素子に対する光の入射角度によって変化するため、撮像素子の受光面と撮像光学系の主面とのなす角度が可変となる撮像装置では、適切な補正を行うために補正テーブルを角度ごとに複数持つ必要があった。
【０００８】
本発明は、撮像素子の受光面の傾斜状態にかかわらず、同色の画素間の感度差に起因する画質やデータ圧縮率の低下を抑制することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明は、撮像光学系と、受光面を有し、画素が周期的に配列された撮像素子であって、前記撮像光学系の光軸と直交する平面に対する前記受光面の傾斜角度が可変である撮像素子と、前記撮像素子の前記受光面の傾斜角度に基づいて、前記撮像素子における置換対象の範囲を決定する決定手段と、前記撮像素子の各画素の出力信号を画像信号に変換する変換手段と、前記変換手段により画像信号に変換されるにあたって、前記決定手段により決定された置換対象の範囲の少なくとも一部の画素の出力信号を、その画素の周囲に隣接する少なくとも１つの同色画素の出力信号に基づく値で置換する置換手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像素子の受光面の傾斜状態にかかわらず、同色の画素間の感度差に起因する画質やデータ圧縮率の低下を抑制することができる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の模式的な構成図である。
【図２】信号処理部のブロック図である。
【図３】画素間に感度差が発生する状況を説明する図である。
【図４】距離の異なる２つの被写体を同時に撮影する様子を示す図である。
【図５】画像信号生成処理のフローチャートである。
【図６】画素置換の態様例を示す図である。
【図７】画像信号生成処理のフローチャートである。
【図８】撮像装置の模式的な構成図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を説明する。
【００１３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の模式的な構成図である。この撮像装置は、例えば、デジタルカメラとして構成される。撮像光学系としてのレンズユニット１００を通して集光された被写体像は、撮像素子２００によって電気信号に変換された後、信号処理部３００によって画像データ（映像信号）に変換されて出力される。レンズユニット１００はフォーカスレンズを備え、また、ズームレンズや絞りユニットなどの構成を備えていても良い。レンズユニット１００の構成は、図１に例示する形状や構成に限定されない。
【００１４】
撮像素子２００は、ＣＣＤセンサやＣＭＯＳセンサなどの半導体撮像素子及びその周辺回路を含む。撮像素子２００を構成する画素は、可視光に高い感度を有している。撮像素子２００は、可視光の範囲のうち赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかに高い感度を有した画素が規則的に並ぶ（周期的に配列される）構成をとっており、被写体からの光をカラー画像として取得できる。撮像素子２００には、例えば一般的なカメラなどで用いられているベイヤ配列が採用される（図３、図６（ａ）、（ｂ）参照）。このベイヤ配列では、Ｇ画素を２つ、Ｒ画素、Ｂ画素をそれぞれ１つずつとする４画素を一単位とした正方形パターン構成が規則的に並ぶ。最も感度の高いＧ画素が対角線上に配置されることで、被写体像を鮮明に撮影可能となる。
【００１５】
撮像素子２００の受光面４０１の傾斜角度は可変に構成される。モータ２０１は、信号処理部３００からの駆動信号により、撮像素子２００の受光面４０１とレンズユニット１００の光軸と直交する面（レンズ主面４０２）とが成す鋭角である傾斜角度θ（図４（ｂ））を変更することができる。図１中には１つのモータしか図示していないが、複数のモータを用いて傾斜角度θを２次元的に変更できる構成としてもよい。
【００１６】
図２は、信号処理部３００のブロック図である。撮像素子２００からの画素信号（出力信号）は信号処理部３００に入力され、まずデータ変換部３０１によって画像処理に適した信号に変換される。その信号に対して、変換手段としての画像処理部３０２が補正処理や現像処理等による変換を行い、画像信号を得る。現像後の画像信号は通信制御部３０３によって外部へ画像データ（映像信号）として出力される。制御部３１０は、データ変換部３０１及び画像処理部３０２を制御するとともに、画素信号、画像信号を用いて被写体に応じた設定で撮影が行えるように、レンズユニット１００、撮像素子２００等を制御する。また、決められた設定や動作プログラムなどは不揮発性の記憶部３０４に記憶されており、制御部３１０はこれらを必要な場合に読み出す。画像処理部３０２はまた、得られた画像信号から被写体の存在する範囲を検出する被写体検出部を備えていても良い。制御部３１０は、レンズユニット１００を制御するレンズ制御部３１１、撮像素子２００を制御する撮像素子制御部３１２を含む。
【００１７】
図３で、ベイヤ配列の各画素間に感度差が発生する状況を説明する。図３（ａ）は、撮像素子２００の一部を受光面４０１の正面からみた模式図である。図３（ｂ）、（ｃ）は、撮像素子２００の一部の側面図である。電極配線２０２は、ベイヤ配列における４画素の一単位に関して対称となるように、Ｒ画素がある行とＢ画素がある行との境界に配置される。Ｇ１画素とＧ２画素は隣接して対角上に配置される。従って、一単位において、Ｇ画素が電極配線２０２を挟んで両側に配置される。
【００１８】
斜めからの光が各画素に入射する場合を考える。図３（ｂ）に示すように、図３（ｂ）の上方向から入射する光の一部は電極配線２０２によって遮られるため、結果としてＧ１画素よりもＧ２画素への入射光量が少なくなる。一方、図３（ｃ）に示すように、図３（ｃ）の下方向から入射する光の一部は電極配線２０２によって遮られるため、結果としてＧ１画素の入射光量が少なくなる。このように、一方のＧ画素が他方のＧ画素に対して暗くなる。
【００１９】
このようにベイヤ配列中に構造差がある場合には、斜め方向からの光に対して感度差が発生することがある。図３の構成では横方向の電極配線２０２によって、電極配線２０２を挟む両側の画素に感度差が発生する場合を例示した。なお、縦方向の電極配線２０２がある場合は、斜め横方向からの光に対して同様にＧ画素同士の感度差が発生し得る。なお、レンズからの光が斜めに入射する状況としては、Ｆ値の大きなレンズを使用した場合や、撮像素子が傾けられた場合などが考えられる。
【００２０】
隣接画素同士、特にＧ画素同士に感度差があると、デモザイキング後の各画素の輝度値に、１画素間隔程度の高周波パターンが発生し得る。ＪＰＧやＨ．２６４などの圧縮技術では隣接画素との相関が高いほど圧縮率が高くなるため、このような高周波パターンを持った画像は圧縮率が低くなり、結果として通信・保存データ量が増加してしまう。
【００２１】
次に、シャインプルーフの原理を用いて、画角内の広い範囲に対して焦点を合わせて撮影する状況を考える。図４（ａ）は、距離の異なる２つの被写体（ここでは人物の顔を想定）を同時に撮影する様子を示す図である。図４（ｂ）は、撮像装置が被写体を撮影する様子を示す側面図である。図４（ｃ）は、撮影画像の一例を示す図である。ここでは、一例として、撮像対象が存在する平面である被写体面４０３が、地面または床面であるとする。なお、被写体面４０３が地面と平行な面であることは必須でない。レンズ主面４０２は、レンズユニット１００の光軸に垂直な面である。
【００２２】
被写体Ａ、Ｂを同時に撮影するためには、被写体Ａ、Ｂをレンズユニット１００の画角内（点線で示した範囲）に収める必要がある。ここで、レンズ主面４０２を含む平面と被写体面４０３を含む平面とは１つの直線ＣＬで交わるとする。すなわち、直線ＣＬは、レンズ主面４０２を含む平面と被写体面４０３を含む平面とが交差することによって形成される仮想直線である。画角内の被写体面４０３の全てにおいて焦点の合った像を得るために、撮像素子２００の受光面４０１を含む平面が直線ＣＬを含むように、受光面４０１の傾斜角度θが設定される。
【００２３】
図４（ｂ）の点線は、被写体Ａ、Ｂの被写体像が撮像素子２００に結像する位置を示している。図４（ｃ）に示すように、被写体までの距離によって受光面４０１での結像位置が決まる。ここで、撮像素子２００から被写体Ａ、Ｂまでの距離をそれぞれ第１の距離Ｌ１、第２の距離Ｌ２とする。撮像素子２００の設置高さ（被写体面４０３と撮像素子２００との最短距離）を高さＨとする。なお、撮像素子２００の位置については、その重心位置または受光面４０１の中心位置で定義されるとする。第１の距離Ｌ１、第２の距離Ｌ２はそれぞれ、撮像範囲における撮像素子２００から最近端までの距離、最遠端までの距離である。仮に、レンズユニット１００の焦点距離が１００ｍｍ、撮像素子２００のサイズが２４×３６ｍｍ、高さＨが２．５ｍであるとする。撮像素子２００の傾斜角度θを約２．３°に設定すると、第１の距離Ｌ１が１０ｍ、第２の距離Ｌ２が６６ｍとなる。すなわち、撮像素子２００からおよそ１０〜６６ｍの範囲に対して焦点の合った像を受光面上に得ることができる。
【００２４】
一般に、受光面とレンズ主面、さらに被写体面がそれぞれ傾いていると、受光面に入射する光は、受光面内の位置に応じて異なる傾きで入射することになる。特に図４（ｂ）のように、撮像素子２００の近傍にある被写体Ａからの入射光は、遠方にある被写体Ｂからの入射光よりも傾いた入射光となる。そのため、近傍の被写体のほうがＧ画素同士の感度差の影響が強く出て、高周波パターンノイズの影響が大きくなる。そこで、本実施の形態では、信号処理部３００は、第１の距離Ｌ１と第２の距離Ｌ２との間の第３の距離Ｌｘを決定すると共に、第３の距離Ｌｘから第１の距離Ｌ１までの範囲に対応する撮像素子２００の画素範囲を、「置換範囲」として決定する。つまり信号処理部３００は、第３の距離Ｌｘよりも近側の被写体光が入射する撮像素子２００の画素範囲を、画素信号を置換する対象とする置換対象の画素範囲として決定する。データ変換部３０１による画素置換の態様については後述する。
【００２５】
ここで、被写体のサイズを考慮すると、近傍の被写体は画面上での大きさが遠方の被写体よりも大きく映るので、解像度を下げても被写体の認識精度には影響が少ない。そこで、例えば、近傍の被写体に対応する画素範囲に対してのみ、ベイヤ配列における一単位中の一方のＧ画素の値を他方のＧ画素の値を用いて置換すれば、隣接するＧ画素間の感度差は無くなる。従って、Ｇ画素同士の感度差に起因する高周波パターンを抑制可能となる。
【００２６】
隣接画素による置換処理を行う置換範囲に関しては、被写体の認識に必要な解像度（必要解像度）とサイズによって決定されることが望ましいが、これらに基づくことは必須でない。置換処理を行うことで解像度は約１／√２となるが、被写体サイズが√２倍になれば被写体の認識に対する影響がほぼ無くなる。被写体までの距離が近づけばその分、画面上の被写体サイズは大きくなるからである。例えば、画素置換を実行することで、約４７ｍ先（第３の距離Ｌｘ）の被写体サイズが、６６ｍ先（第２の距離Ｌ２）の被写体の約√２倍のサイズになるので、約４７ｍよりも近い被写体が結像する範囲に対して置換処理を行うことが望ましい。具体的にはレンズの種類によって若干異なってくるものの、画素全体のうち、近傍側から９割程度の範囲の画素に対して置換処理を施したとしても、最遠方の被写体と同等以上の解像度を得ることが可能である。
【００２７】
図５は、画像信号生成処理のフローチャートである。この処理は、記憶部３０４に記憶されている制御プログラムを、制御部３１０に備わるＣＰＵが、制御部３１０に備わるＲＡＭに読み出して実行することにより実現される。
【００２８】
監視カメラのように撮像装置を固定して撮影する場合を考えると、撮影範囲、及び被写体までの距離は、撮像装置を固定した時点で決まる。そこで、ユーザ（設置者）は、予め撮像装置の記憶部３０４にレンズユニット１００の焦点距離と撮像素子２００のサイズを記憶させる。図５の処理は、撮像装置を設置固定する際の撮像装置の動作シーケンスに該当する。
【００２９】
ステップＳ５０１では、制御部３１０は、撮像装置を固定した際にユーザにより入力された条件を記憶部３０４に記憶させる。この条件には、撮像装置の固定状態情報（被写体面からの高さＨ、撮影範囲における距離Ｌ１、Ｌ２）と被写体情報（サイズ、必要解像度）とが含まれる。置換範囲を決定する上で、この被写体情報は必須でない。
【００３０】
ステップＳ５０２では、制御部３１０は、記憶部３０４に記憶された条件に基づいて、撮像素子２００をレンズ主面４０２に対して傾ける角度を求め、それを傾斜角度θとして設定する。図４（ｂ）で説明したように、制御部３１０は、高さＨ、距離Ｌ１、Ｌ２に基づいて、撮像素子２００の受光面４０１を含む平面が直線ＣＬを含むように、傾斜角度θを算出・設定する。なお、高さＨを一定として受光面４０１を含む平面が直線ＣＬを含むようにする場合、傾斜角度θが決まれば距離Ｌ１、Ｌ２が決まり、距離Ｌ１、Ｌ２が決まれば傾斜角度θが決まるという関係にある。
【００３１】
ステップＳ５０３では、制御部３１０は、モータ制御部３１３を用いてモータ２０１を制御し、設定された傾斜角度θとなるまで撮像素子２００を傾ける。ステップＳ５０４では、決定手段としての制御部３１０は、上記条件に基づいて、第３の距離Ｌｘを求めると共に、第３の距離Ｌｘから第１の距離Ｌ１までの範囲に対応する撮像素子２００の画素範囲を、置換範囲として決定する。第３の距離Ｌｘの決定手法の一例として、Ｌ２＝１０ｍ、Ｌ３＝６６ｍであるとすると、制御部３１０は、第２の距離Ｌ２の１／√２倍の距離を第３の距離Ｌｘとして算出する。すなわち、Ｌｘ＝Ｌ２×（１／√２）により、第３の距離Ｌｘは約４７ｍと算出される。この場合、１０ｍ〜４７ｍの範囲に対応する撮像素子２００の画素範囲が置換範囲として決定される。また、Ｌ２＝１０ｍ、Ｌ３＝３８ｍであるとすると、Ｌｘ＝Ｌ２×（１／√２）により、第３の距離Ｌｘは約２７ｍと算出される。この場合、１０ｍ〜２７ｍの範囲に対応する撮像素子２００の画素範囲が置換範囲として決定される。なお、第３の距離Ｌｘを求めるのに演算式を用いることは必須でなく、例えば、テーブル等を用いてもよい。
【００３２】
ここで、最遠端における、設計上可能な最大の解像度を「最大可能解像度」と呼ぶ。必要解像度は最遠端における解像度で定義されるとする。必要解像度はユーザからの指定に基づき設定される。制御部３１０は、ユーザが指定しようとする必要解像度が最大可能解像度を超える場合は、最大可能解像度を必要解像度として設定する。第３の距離Ｌｘの算出に際し、制御部３１０は、必要解像度が設定されていない場合や、必要解像度が最大可能解像度に設定されている場合は、上記した例のように、Ｌｘ＝Ｌ２×（１／√２）により、第３の距離Ｌｘを算出する。一方、必要解像度が最大可能解像度より低い値に設定されている場合は、制御部３１０は、必要解像度に基づき（必要解像度を満たす範囲となるように）第３の距離Ｌｘを算出する。例えば、必要解像度が最大可能解像度の９０％に設定されたとする。この場合、Ｌ２＝１０ｍ、Ｌ３＝６６ｍであるとすると、Ｌｘ＝Ｌ２×（１／√２）×０．９により、第３の距離Ｌｘは約５２ｍと算出される。すなわち、制御部３１０は、第２の距離Ｌ２の１／√２倍の距離に、最大可能解像度に対する必要解像度の割合を乗算することで、第３の距離Ｌｘとして算出する。この場合、１０ｍ〜５２ｍの範囲に対応する撮像素子２００の画素範囲が置換範囲として決定される。必要解像度に基づき置換範囲を決定することで、どの位置の被写体であっても、所望する最低限の解像度が確保される。
【００３３】
次に、ステップＳ５０５では、制御部３１０は、ステップＳ５０２で設定された傾斜角度θ及びステップＳ５０４で算出された置換範囲を示す情報を記憶部３０４に記憶する。ステップＳ５０６以降は撮影時の動作シーケンスである。なお、ステップＳ５０５の後、一旦処理を終了し、その後、撮影開始のタイミングが来たら、ステップＳ５０６からの処理を開始してもよい。ステップＳ５０５で記憶された情報は、後で撮影を開始する際に利用可能である。なお、撮像素子２００の傾斜を一旦初期位置に戻してもよく、その場合の撮影開始時には、記憶部３０４に記憶された傾斜角度θに基づき、撮像素子２００の傾け動作を行っても良い。
【００３４】
ステップＳ５０６では、制御部３１０は、ステップＳ５０５で記憶された情報を読み出し、データ変換部３０１を用いて置換範囲における画素に対して置換処理を実行する（図６（ａ）、（ｂ）で後述）。ステップＳ５０７では、制御部３１０は、撮像素子２００から得られた画素信号（置換された画素の信号は置換後の信号）に対し、画像処理部３０２によって画像処理を実施し、画像信号に変換する。その後、制御部３１０は、図５の処理を終了する。
【００３５】
図６（ａ）、（ｂ）は、画素置換の態様例を示す図である。まず、第１の例として、制御部３１０は、置換範囲の少なくとも一部の画素の出力信号を、その画素の周囲に隣接する少なくとも１つの同色画素の出力信号に基づく値で置換する。例えば、図６（ａ）に示すように、制御部３１０は、Ｇ２画素６０１の画素信号を、その左上に隣接するＧ１画素６０２の画素信号で置換し、Ｇ１画素６０２の画素信号は置換せずそのまま用いる。制御部３１０は、置換範囲における全てのＧ２画素６０１に対して同様の置換処理を施す。あるいは、制御部３１０は、置換する画素に対して隣接する複数の画素の出力信号の加算平均で、置換する画素の出力信号を置換する。例えば、図６（ｂ）に示すように、Ｇ２画素６０１の画素信号を、それの斜め上下に隣接するＧ１画素６０２の画素信号を加算平均した値で置換する。なお、置換の態様はこれら例示に限定されない。
【００３６】
なお、データ変換部３０１の構成としては、Ｆｌｅｘｉｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇｒｉｄ  Ａｒｒａｙ （ＦＰＧＡ）などが採用され、指定された範囲に相当する信号のみが置換される。
【００３７】
本実施の形態によれば、受光面の傾斜角度が可変である撮像素子２００を備える撮像装置において、制御部３１０は、撮像素子２００からの画素信号が画像信号に変換されるにあたって、置換対象の範囲の少なくとも一部の画素の出力信号を置換する。すなわち、制御部３１０は、レンズ主面４０２に対して成す受光面４０１の傾斜角度θに基づいて置換範囲を決定し、置換範囲の少なくとも一部の画素の出力信号を、その画素の周囲に隣接する少なくとも１つの同色画素の出力信号に基づく値で置換する。これにより、撮像素子の受光面の傾斜状態にかかわらず、同色の画素間の感度差に起因する画質やデータ圧縮率の低下を抑制することができる。従って、被写体の検知精度の低下や通信・保存データ量の増加を招くことなく、複数の距離の異なる被写体を適切な焦点で撮影可能にすることができる。また、補正テーブルを傾斜角度ごとに複数持つ必要がないので、構成の複雑化を回避できる。
【００３８】
（第２の実施の形態）
被写体がそもそも高周波パターンを持っている場合、置換処理によって解像度が損なわれる場合も考えられる。そこで、本発明の第２の実施の形態では、置換前後の画素信号の値を比較し、比較結果がある閾値を超える場合は被写体の高周波パターンが存在すると判断して置換処理を反映させないようにする。
【００３９】
図７は、第２の実施の形態における画像信号生成処理のフローチャートである。この処理は、記憶部３０４に記憶されている制御プログラムを、制御部３１０に備わるＣＰＵが、制御部３１０に備わるＲＡＭに読み出して実行することにより実現される。画像信号生成処理以外の構成は第１の実施の形態と同様である。記憶部３０４には、予め閾値が記憶されている。
【００４０】
ステップＳ５０１〜Ｓ５０５の処理は図５で説明したのと同じである。ステップＳ５０５の後、制御部３１０は、ステップＳ７０２で、記憶部３０４から、置換範囲を示す情報と閾値とを読み出すと共に、その情報に基づき置換範囲を決定する。そしてステップＳ７０２では、制御部３１０は、データ変換部３０１を用いて、置換範囲における置換対象の画素のそれぞれについて、出力信号を置換した場合の値と置換しなかった場合の値とを比較し、比較結果として両者の差分または比を求める。この場合の置換は仮の置換処理である。さらに、制御部３１０は、求めた差分（または比）が閾値より大きいか否かを判別する。そして、差分（または比）が閾値より大きい場合は、制御部３１０は、被写体の高周波パターンが存在すると判断し、ステップＳ７０３で、置換処理を実行せずに、処理をステップＳ５０７に進める。この場合、画素信号が画像信号に変換されるにあたって置換処理が実行されない。一方、差分（または比）が閾値より大きくない場合は、制御部３１０は、処理をステップＳ５０６に進める。この場合、第１の実施の形態と同様に、画素信号が画像信号に変換されるにあたって置換処理が実行される。ステップＳ５０７の処理は図５で説明したのと同じである。
【００４１】
本実施の形態によれば、撮像素子の受光面の傾斜状態にかかわらず、同色の画素間の感度差に起因する画質やデータ圧縮率の低下を抑制することに関し、第１の実施の形態と同様の効果を奏する。それだけでなく、被写体が高周波パターンを持つ場合にはそれを損なわずに撮影することが可能となる。
【００４２】
（第３の実施の形態）
図８は、本発明の第３の実施の形態に係る撮像装置の模式的な構成図である。第１、第２の実施の形態では、置換手段としてのデータ変換部３０１は信号処理部３００に含まれた。これに対し、本実施の形態では、データ変換部３０１は、信号処理部３００に含まれず撮像素子２００の内部に含まれる。その他の構成は第１の実施の形態または第２の実施の形態と同様である。従って、画像信号生成処理（図５、図７）は、撮像素子２００内のデータ変換部３０１と信号処理部３００との協働により実現される。撮像素子２００から得られた置換対象の範囲における画素信号は、信号処理部３００へと転送される前に置換処理される。
【００４３】
本実施の形態によれば、第１または第２の実施の形態と同様効果を奏することができる。
【００４４】
なお、上記各実施の形態においては、画素置換の機能をデータ変換部３０１が有していたが、信号処理部３００の画像処理部３０２がソフトウェア処理により画素置換処理を実行するように構成してもよい。そのように構成する場合、信号処理部３００内のデータ変換部３０１を廃止してもよい。
【００４５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００４６】
１００  レンズユニット
２００  撮像素子
３０１  データ変換部
３０２  画像処理部
３１０  制御部
４０１  受光面
４０２  レンズ主面
【図１】
2019186763.tif 000003
【図２】
2019186763.tif 000004
【図３】
2019186763.tif 000005
【図４】
2019186763.tif 000006
【図５】
2019186763.tif 000007
【図６】
2019186763.tif 000008
【図７】
2019186763.tif 000009
【図８】
2019186763.tif 000010