(57)【要約】【課題】撮像画像の幾何学変換により画像解像度が劣化した場合に於ける、撮像画像の見た目の解像感やシャープネスを改善することができる撮像装置を提供することである。【解決手段】撮像装置１０は、光学系１１、撮像素子１２、ホワイトバランス補正部１３と、原画像処理部１４と、原画像信号を所望する幾何学変換に設定する幾何学設定部１６と、前記設定された幾何学設定に基づいて幾何学変換画像信号を生成する幾何学変換器１７と、輪郭成分抽出器１８と、輪郭信号生成器１９と、前記幾何学変換画像信号と輪郭信号とを合成して画像信号を生成する画像合成器２０とを具備する。輪郭信号生成器１９は、前記幾何学設定に基づいて前記輪郭成分の幾何学変換が可能であると供に、前記輪郭成分の輪郭の強調量を調整するための輪郭強調係数と、前記幾何学設定から算出される画像拡大倍率とから演算される幾何学パラメータに基づいてパラメータ調整する。【選択図】      図１
2008283442.tif 000002
【特許請求の範囲】
【請求項１】
被写体から光学像を生成する光学手段と、
前記光学像を光電変換して撮像信号を生成する撮像素子と、
前記撮像信号のホワイトバランスを補正して撮像白補正信号を生成するホワイトバランス補正手段と、
前記撮像白補正信号から原画像信号を生成する原画像処理部と、
前記原画像信号を所望する幾何学変換に設定するための幾何学設定手段と、
前記原画像信号を前記幾何学設定手段により設定された幾何学設定に基づいて幾何学変換画像信号を生成する幾何学変換器と、
前記撮像信号から輪郭成分を抽出する輪郭成分抽出器と、
前記輪郭成分から輪郭信号を生成する輪郭信号生成器と、
前記幾何学変換画像信号と前記輪郭信号とを合成して画像信号を生成する画像合成器と、
を具備し、
前記輪郭信号生成器は、前記幾何学設定に基づいて前記輪郭成分の幾何学変換が可能であると供に、前記輪郭成分の輪郭の強調量を調整するための輪郭強調係数と、前記幾何学設定から算出される画像拡大倍率と、から演算される幾何学パラメータに基づいてパラメータ調整されることを特徴とする撮像装置。
【請求項２】
前記幾何学パラメータは、バイキュービック型画素補間を演算するためのバイキュービック型画素補間式と、バイリニア型画素補間を演算するためのバイリニア型画素補間式と、の差分式に掛かるパラメータであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記幾何学パラメータは、前記画像拡大倍率が所定倍率の範囲内にある場合には、前記画像拡大倍率に基づいて前記幾何学パラメータが生成されて、前記画像拡大倍率が所定倍率の範囲外にある場合には、前記所定倍率に基づいて前記幾何学パラメータは生成されることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記輪郭強調係数は、少なくとも、前記画像信号の記録用係数と、前記画像信号の表示用係数と、を有する複数種の使途別係数を前記輪郭強調係数に設定入力可能であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記輪郭強調係数を操作するための輪郭強調係数操作部を更に具備し、
前記輪郭強調係数操作部は前記表示用係数に対して操作されて、前記記録用係数には固定値が設定入力されることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記輪郭成分抽出器は、前記撮像素子に於いて、隣接する２画素、又は、隣接する３画素から成る前記輪郭成分を抽出するためのカットオフ周波数を有する輪郭抽出フィルタを更に具備し、
前記撮像白補正信号に前記輪郭抽出フィルタを施して前記輪郭成分を抽出することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記撮像素子は、ＲＧＢカラーフィルタがベイヤ配列されており、
前記輪郭成分抽出器は、前記撮像素子に於いて、１画素間隔で設置されるＧ色２画素、又は、１画素間隔で設置されるＧ色３画素、から前記輪郭成分を抽出するためのカットオフ周波数を有する輪郭抽出フィルタを更に具備し、
前記撮像信号に前記輪郭抽出フィルタを施して前記輪郭成分を抽出することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記輪郭成分抽出器は、
前記輪郭成分の小振幅成分を切り捨てるコアリングリミットと、
前記輪郭成分の大振幅成分を振幅制限するレベルディペンドと、
を更に具備することを特徴とする請求項６若しくは請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から幾何学設定に基づいて輪郭信号を生成する撮像装置に関するものである。
【背景技術】
【０００２】
ビデオカメラに関する技術が、例えば、下記特許文献１に開示されている。この特許文献１には、電子ズーム機能を備えたビデオカメラにおいて、被写体が結像され映像信号を出力する撮像手段と、前記映像信号の高周波成分を抽出する高周波成分抽出手段と、該高周波成分抽出手段で抽出される前記映像信号の高周波成分にゲインを設定するゲイン設定手段と、該ゲイン設定手段でゲインが設定された前記高周波成分を、前記映像信号に加算する加算手段と、該加算手段から出力される信号処理された映像信号に基づいて、カメラ画像信号を出力するカメラ画像信号出力手段と、前記ビデオカメラの動作特性とズーム拡大率とに基づいて、前記ゲイン設定手段のゲインの制御設定を行なう制御手段とを有することを特徴とするビデオカメラに関して記載されている。
【０００３】
一方で、下記特許文献２には、画像を撮像し、撮像した画像データに輪郭補正を含む第１の画像処理を行い、前記第１の画像処理を行った画像データを出力する撮像手段と、前記撮像手段が出力する画像データに拡大処理を含む第２の画像処理を行い、前記第２の画像処理を行った画像データを表示装置に表示する拡大処理手段と、前記拡大処理手段に画像の拡大率を指定する拡大率設定手段とを備え、前記拡大処理手段は、前記拡大率設定手段から拡大率を指定されると、前記撮像手段の輪郭補正処理を停止させ、前記撮像手段が出力する画像データに拡大処理を行った後、輪郭補正処理を行うことを特徴とする画像処理装置に関する技術が開示されている。
【０００４】
又、下記特許文献３には、入力映像信号に画素を補間し画素数を変換する手段と、前記入力映像信号の高域信号から制御信号を生成する手段と、前記制御信号により補間画素の位相を制御する制御手段とを具備することを特徴とするデジタル信号処理回路に関する技術が開示されている。
【特許文献１】特開平１１−２３９２９４号公報
【特許文献２】特開２００３−８８８９号公報
【特許文献３】特開２０００−１０１８７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮像画像を記録、及び／又は、撮像画像を表示する撮像装置に於いて、光学像を光電変換して得られる電子式撮像信号を画像処理演算により幾何学変換する機能を備えたものがある。この幾何学変換には、電子ズーム（拡大）、電子式手ブレ補正（拡大、及び、回転）、光学歪み補正（ディストーション補正）、アスペクト比変換（水平拡大、又は、垂直拡大）など、目的に応じて様々な応用形態がある。
【０００６】
しかしながら、これらの幾何学変換（画素補間による画像拡大）により、撮像画像記録画素数、又は、撮像画像表示画素数に対して、撮像画素の実質的な輝度サンプリング数が不足する（ピクセル等倍未満になる）場合に於いては、当然ながら、画像解像度が劣化した撮像画像記録、及び／又は、撮像画像表示とならざるをえない。
【０００７】
その理由は、このサンプリング数不足による画像解像度の劣化は、サンプリング定理（標本化定理）によって決まる性質であるので、解像度情報をレタッチ処理等により別途添加しない限りは、一般的な画像処理にて画像解像度の復元を得ることはできない性質だからである。
【０００８】
前述した幾何学変換を実施した結果、実質的なサンプリング数不足による画像解像度の劣化があった場合、人間の視覚特性上の観点から見るならば、撮像画像の見た目の解像感やシャープネスが損なわれるという第１の問題点がある。
【０００９】
この第１の問題点についての一般的な改善手法について述べれば、撮像画像の見た目の解像感やシャープネスを改善させるために、撮像画像の輪郭成分に対して、単に輪郭成分の振幅レベルを増幅させて輪郭信号を生成する手法がある。
【００１０】
しかしながら、このような、単に輪郭成分の振幅レベルを増幅させる場合については、撮像画像の見た目の解像感やシャープネスの改善がなされたとしても、この輪郭成分が撮像画像の画像拡大に伴って太い線状の像になってしまうために、この太い線状の像が強調されて見た目に不自然になるという第２の問題点があるのである。
【００１１】
又、本発明の幾何学変換（画素補間による画像拡大）は、撮像装置に搭載することを前提にしており、撮像記録前、及び、撮像記録中に電子ビューファインダ（ＥＶＦ）、又は、撮像装置に具備してある小型モニタにて、リアルタイムに近い感覚で、視覚的に確認できるものでなくてはならないのである。
【００１２】
仮に、コンピュータグラフィック装置（ＣＧ装置）のような幾何学変換装置であるのならば、撮像記録後にて大規模回路、長時間演算による画像処理（レタッチ処理等を含んでも良い）をすれば良い。こういったＣＧ装置であるのならば、その幾何学変換後の画質については、前述した第１の問題点、及び、第２の問題点について、解決するに至るものである。
【００１３】
しかしながら、前述したＣＧ装置では、撮像装置に具備する幾何学変換装置であるためには、この幾何学変換装置は高速画像処理装置であるべきであるという第３の問題点について解決に至っていないのである。即ち、安価で小規模回路で、かつ、光学像の撮像と撮像画像の表示とのタイムラグが少ない画像処理手段であるという条件に対しては、このＣＧ装置では条件を満たしていないのである。
【００１４】
前述した問題点に対して、前記特許文献１に記載の、ビデオカメラは、映像信号のＳＮ比と、光学的なサンプリングによる折り返り成分の量と、電子ズーム拡大率と、に基づいて、映像信号の高周波成分にゲインの制御設定を行なう制御手段についての記載がなされている。
【００１５】
前記特許文献１に記載のビデオカメラは、撮像画像の見た目の解像感やシャープネスが損なわれるという第１の問題点について、及び、撮像装置に具備する幾何学変換装置であるためには、この幾何学変換装置は高速画像処理装置であるべきであるという第３の問題点について、は解決しているものの、撮像画像の輪郭成分が太い線状の像に強調されて見た目に不自然になるという第２の問題点については解決されるに至っていない。
【００１６】
なぜならば、特許文献１に記載のビデオカメラに於ける映像信号の高周波成分は、電子ズーム拡大率と反比例して低周波化されていくので、その低周波化された高周波成分にゲインを掛けることで見た目の不自然さが強調されてしまうからである。
【００１７】
次に、前記特許文献２に記載の画像処理装置では、拡大率設定手段から拡大率が指定されると、撮像装置では輪郭補正処理を行わず、画像拡大処理を行った後に輪郭補正処理を行うことにより、画像を拡大しても輪郭線の目立たない高品質な画像が得られるという記載がある。
【００１８】
しかしながら、前記特許文献２に記載の画像処理装置は、輪郭補正処理を画像拡大処理を行った後にすることで、輪郭補正処理により付加される輪郭強調部分の拡大については防げるものの、撮像画像に既に含まれている輪郭成分（輪郭エッジの過渡領域）については画像の一部には違いないので、画像拡大処理の拡大率に比例して輪郭成分幅も拡大してしまうものである。
【００１９】
前述した理由から、特許文献２に記載の画像処理装置は、輪郭成分から生成される輪郭信号の拡大を抑制する効果は輪郭強調部分についてのみに限定されるものであって、輪郭成分の拡大については抑制効果を有さないものであるので、撮像画像の輪郭成分が太い線状の像に強調されて見た目に不自然になるという第２の問題点については解決されるには至っていないのである。
【００２０】
一方で、前記特許文献３に記載のデジタル信号処理回路は、入力映像信号の高域信号から生成した制御信号により補間画素の位相を制御するという記載がある。
【００２１】
このデジタル信号処理回路は、入力映像信号の１次微分信号を抽出する手段と、２次微分信号を抽出する手段と、１次微分信号の画素数を変換する第１の変換手段と、２次微分信号の画素数を変換する第２の変換手段と、第１の変換手段出力の符号を、第２の変換手段出力の符号により反転する手段とから構成される制御信号生成手段により補間画素の位相を制御することで、入力映像信号に画素を補間し画素数を変換した場合でも、撮像画像の輪郭成分が太い線状の像にならないものである。
【００２２】
しかしながら、特許文献３に記載のデジタル信号処理回路は、撮像装置に具備する幾何学変換装置であるためには、この幾何学変換装置は高速画像処理装置であるべきであるという第３の問題点については解決されるに至っていない。
【００２３】
なぜならば、このデジタル信号処理回路による補間画素の位相制御は、画像の輪郭成分（輪郭エッジの過渡領域）について、局部的なニアレストネイバー法を応用したような画像処理をしており、又、その制御となる根拠には、入力映像信号の１次微分信号と、２次微分信号とを抽出した上での画像処理アルゴリズムを必要としているからである。
【００２４】
前述したように、特許文献３に記載のデジタル信号処理回路は、この補間画素の位相制御のために入力映像信号の画像解析演算回路を搭載しなくてはならないので、必然的に回路規模が大きくなってしまい、その結果として、高速画像処理装置にはならないのである。
【００２５】
特許文献３に記載のデジタル信号処理回路は、仮に、撮像画像を拡大するための機能を撮像装置に搭載することを前提とするならば、撮像記録前、及び、撮像記録中に電子ビューファインダ（ＥＶＦ）にて、リアルタイムに近い感覚で、視覚的に確認するための具体的な高速化制御手法が示されていないのである。
【００２６】
したがって、本発明は、前述した問題点に鑑みてなされたものであって、撮像画像の幾何学変換により画像解像度が劣化した場合に於ける、撮像画像の見た目の解像感やシャープネスを改善することができる撮像装置を提供することを目的とする。
【００２７】
又、本発明は、幾何学変換による撮像画像の拡大（撮像画像の一部分の拡大も含む）に伴って輪郭成分幅が拡大されてしまうことを軽減し、撮像画像の輪郭成分が太い線状の像に強調されて見た目に不自然にならないように抑制制御することができる撮像装置を提供することを目的とする。
【００２８】
更に、本発明は、撮像記録前、及び、撮像記録中に電子ビューファインダ（ＥＶＦ）、又は、撮像装置に具備してある小型モニタにて、リアルタイムに近い感覚で、視覚的な確認ができるように、安価で小規模回路で、かつ、光学像の撮像と撮像画像の表示とのタイムラグが少ない幾何学変換装置を搭載する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２９】
すなわち、請求項１に記載の発明は、被写体から光学像を生成する光学手段と、前記光学像を光電変換して撮像信号を生成する撮像素子と、前記撮像信号のホワイトバランスを補正して撮像白補正信号を生成するホワイトバランス補正手段と、前記撮像白補正信号から原画像信号を生成する原画像処理部と、前記原画像信号を所望する幾何学変換に設定するための幾何学設定手段と、前記原画像信号を前記幾何学設定手段により設定された幾何学設定に基づいて幾何学変換画像信号を生成する幾何学変換器と、前記撮像信号から輪郭成分を抽出する輪郭成分抽出器と、前記輪郭成分から輪郭信号を生成する輪郭信号生成器と、前記幾何学変換画像信号と前記輪郭信号とを合成して画像信号を生成する画像合成器と、を具備し、前記輪郭信号生成器は、前記幾何学設定に基づいて前記輪郭成分の幾何学変換が可能であると供に、前記輪郭成分の輪郭の強調量を調整するための輪郭強調係数と、前記幾何学設定から算出される画像拡大倍率と、から演算される幾何学パラメータに基づいてパラメータ調整されることを特徴とする。
【００３０】
請求項２に記載の発明は、請求項１に記載の発明に於いて、前記幾何学パラメータは、バイキュービック型画素補間を演算するためのバイキュービック型画素補間式と、バイリニア型画素補間を演算するためのバイリニア型画素補間式と、の差分式に掛かるパラメータであることを特徴とする。
【００３１】
請求項３に記載の発明は、請求項１に記載の発明に於いて、前記幾何学パラメータは、前記画像拡大倍率が所定倍率の範囲内にある場合には、前記画像拡大倍率に基づいて前記幾何学パラメータが生成されて、前記画像拡大倍率が所定倍率の範囲外にある場合には、前記所定倍率に基づいて前記幾何学パラメータは生成されることを特徴とする。
【００３２】
請求項４に記載の発明は、請求項１に記載の発明に於いて、前記輪郭強調係数は、少なくとも、前記画像信号の記録用係数と、前記画像信号の表示用係数と、を有する複数種の使途別係数を前記輪郭強調係数に設定入力可能であることを特徴とする。
【００３３】
請求項５に記載の発明は、請求項４に記載の発明に於いて、前記輪郭強調係数を操作するための輪郭強調係数操作部を更に具備し、前記輪郭強調係数操作部は前記表示用係数に対して操作されて、前記記録用係数には固定値が設定入力されることを特徴とする。
【００３４】
請求項６に記載の発明は、請求項１に記載の発明に於いて、前記輪郭成分抽出器は、前記撮像素子に於いて、隣接する２画素、又は、隣接する３画素から成る前記輪郭成分を抽出するためのカットオフ周波数を有する輪郭抽出フィルタを更に具備し、前記撮像白補正信号に前記輪郭抽出フィルタを施して前記輪郭成分を抽出することを特徴とする。
【００３５】
請求項７に記載の発明は、請求項１に記載の発明に於いて、前記撮像素子は、ＲＧＢカラーフィルタがベイヤ配列されており、前記輪郭成分抽出器は、前記撮像素子に於いて、１画素間隔で設置されるＧ色２画素、又は、１画素間隔で設置されるＧ色３画素、から前記輪郭成分を抽出するためのカットオフ周波数を有する輪郭抽出フィルタを更に具備し、前記撮像信号に前記輪郭抽出フィルタを施して前記輪郭成分を抽出することを特徴とする。
【００３６】
請求項８に記載の発明は、請求項６若しくは請求項７に記載の発明に於いて、前記輪郭成分抽出器は、前記輪郭成分の小振幅成分を切り捨てるコアリングリミットと、前記輪郭成分の大振幅成分を振幅制限するレベルディペンドと、を更に具備することを特徴とする。
【発明の効果】
【００３７】
本発明によれば、撮像画像の幾何学変換により画像解像度が劣化した場合に於ける、撮像画像の見た目の解像感やシャープネスを改善する効果がある。
【００３８】
又、本発明によれば、幾何学変換による撮像画像の拡大（撮像画像の一部分の拡大も含む）に伴って輪郭成分幅が拡大されてしまうことを軽減し、撮像画像の輪郭成分が太い線状の像に強調されて見た目に不自然にならないように抑制する効果がある。
【００３９】
本発明の別の効果には、撮像記録前、及び、撮像記録中に電子ビューファインダ（ＥＶＦ）、又は、撮像装置に具備してある小型モニタにて、リアルタイムに近い感覚で、視覚的な確認ができるように、安価で小規模回路で、かつ、光学像の撮像と撮像画像の表示とのタイムラグが少ない幾何学変換装置を撮像装置に搭載することが可能となる効果がある。
【００４０】
更に、本発明を単板式撮像装置に応用した場合には、３板式撮像装置（画素合わせ方式）と比較して、撮像画像の解像度劣化、及び、変調度劣化の遜色を少なくする効果がある。
【発明を実施するための最良の形態】
【００４１】
以下、図面を参照して本発明の実施形態について説明する。
【００４２】
（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置の構成を示すブロック図である。
【００４３】
図１に於いて、この撮像装置１０は、光学系１１と、撮像素子１２と、ホワイトバランス補正部１３と、原画像処理部１４と、幾何学設定部１６と、幾何学変換器１７と、輪郭成分抽出器１８と、輪郭信号生成器１９と、画像合成器２０と、より構成されている。
【００４４】
前記光学系１１は、被写体から光学像を生成するものである。前記撮像素子１２は、前記光学系１１で生成された光学像を光電変換して撮像信号を生成するものである。前記ホワイトバランス補正部１３は、撮像信号のホワイトバランスを補正して撮像白補正信号を生成するものである。前記原画像処理部１４は、撮像白補正信号から原画像信号を生成するものである。これらは、一般的な撮像装置の構成である。
【００４５】
前記幾何学設定部１６は、原画像信号を所望する幾何学変換に設定するものである。前記幾何学変換器１７は、原画像信号を幾何学設定部１６により設定された幾何学設定に基づいて幾何学変換画像信号を生成するものである。これらは、一般的な撮像装置に具備される幾何学変換の構成である。
【００４６】
前記輪郭成分抽出器１８は、撮像白補正信号、又は、撮像信号から得る単色撮像信号から輪郭成分を抽出するものである。前記輪郭信号生成器１９は、輪郭成分から輪郭信号を生成するものである。前記画像合成器２０は、幾何学変換画像信号と輪郭信号とを合成して画像信号を生成するものである。これらは、本実施形態の撮像装置に具備される輪郭信号生成部の構成である。
【００４７】
前記撮像素子１２は、例えば、ＣＣＤや、ＭＯＳ型イメージセンサのように、複数の光電変換素子から成るものであっても良い。この光電変換素子は、例えば、フォトダイオードなどのことである。又は、アモルファス型イメージセンサであっても良い。
【００４８】
前記撮像素子１２は、単板の撮像素子であっても良く、この撮像画素の開口毎に複数色のカラーフィルタを配置しても良い。このカラーフィルタの配列は、例えば、ベイヤ配列であったり、色差市松配列であっても良い。尚、カラーフィルタの配列は、各種様々な変形が考えられる。
【００４９】
又は、前記撮像素子１２は、前記光学系１１の構成の中に光学プリズムを具備して、光学像を複数の色（波長）毎に分光するようにした後、その複数の色毎に複数板から成る前記撮像素子を夫々配置しても良い。これら撮像素子１２は、夫々画素合わせの配置でも良く、画素ずらしの配置であっても良い。更に、フォビオン型ダイレクトセンサであっても良い。
【００５０】
ここで、本実施の形態に於ける輪郭成分抽出器の抽出手法について説明する。
【００５１】
前記輪郭成分抽出器１８は、前述した撮像素子１２の様々な形態により抽出手法が夫々異なるものであり、全色抽出法、単色抽出法、単色間引き抽出法、又は、それらの抽出法の応用手法が考えられる。
【００５２】
前記全色抽出法は、前述した撮像素子１２に於ける、単板撮像素子のカラーフィルタ方式、又は、光学プリズムを具備したものであるのならば、複数板撮像素子に於ける画素ずらし方式の場合に適した輪郭成分抽出法である。
【００５３】
この全色抽出法は、図１で示したホワイトバランス補正部１３により、前述した撮像素子１２から生成される撮像信号のホワイトバランスを補正して撮像白補正信号を得た後、各色毎の撮像白補正信号を輝度マトリックス演算しないままに、各色共に等価な輪郭成分として取り扱う抽出手法である。
【００５４】
これは、例えば、カラーフィルタの配列がＲＧＢベイヤ配列方式である単板撮像素子であった場合ならば、ＲＧＢ各色毎の撮像画像について夫々ゲインを掛けてホワイトバランスを補正した後、Ｒ画素信号もＧ画素信号もＢ画素信号も全て等価なＹＨ画素信号として定義し、このＹＨ画素信号に輪郭抽出フィルタを施すことにより、前記輪郭成分を抽出するものである。
【００５５】
前記輪郭成分抽出器１８は、例えば、隣接する２画素、又は、隣接する３画素から成る輪郭成分を抽出するためのカットオフ周波数を有するデジタルフィルタであっても良い。
【００５６】
このようにして得られた輪郭成分に対して、例えば、小振幅成分を切り捨てるコアリングリミットや、大振幅成分を振幅制限するレベルディペンドを施しても良い。
【００５７】
前述したように、全色抽出法は、撮像素子の実効画素数と、輪郭成分抽出のための候補となる画素数とが、一致するようにＹＨ画素として定義していることが特徴的である。こうすることで、単板式撮像装置であるにも関わらず、３板式撮像装置（画素合わせ方式）と比べて、撮像画像の解像度、及び、変調度の遜色を少なくする効果があるのである。
【００５８】
次に、前記単色抽出法について説明する。
【００５９】
この単色抽出法は、前述した撮像素子１２に於ける、単板撮像素子の白黒方式（赤外線撮像等を含む）、又は、光学プリズムを具備した複数板撮像素子に於ける画素合わせ方式、更に、フォビオン型ダイレクトセンサ方式の場合に適した輪郭成分抽出法である。
【００６０】
この単色抽出法の場合には、図１で示したホワイトバランス補正部１３は必ずしも必要な構成ではなく、省略した構成も考えられる。単色抽出法は、撮像信号から得る単色撮像信号から輪郭成分を抽出するものだからである。又は、図１で示した輪郭成分抽出器１８をこのホワイトバランス補正部１３より前に接続しても良い。
【００６１】
単色抽出法による輪郭成分抽出は、例えば、ＲＧＢ３板式撮像素子に於ける画素合わせ方式の場合ならば、Ｇ画素信号をＹＨ画素信号として定義し、このＹＨ画素信号に前述した輪郭抽出フィルタを施すことにより、輪郭成分を得る抽出手法である。
【００６２】
このようにして得られた輪郭成分に対して、例えば、小振幅成分を切り捨てるコアリングリミットや、大振幅成分を振幅制限するレベルディペンドを施しても良い。
【００６３】
前記単色間引き抽出法については、前述した撮像素子１２に於ける、単板撮像素子のカラーフィルタ方式、又は、光学プリズムを具備した複数板撮像素子の画素ずらし方式の場合に適した輪郭成分抽出法であり、前述した全色抽出法よりも、安価で小規模で、かつ、光学像の撮像と撮像画像の表示とのタイムラグを少なくする目的により適しているものである。この単色間引き抽出法は、高速電子ビューファインダ（ＥＶＦ）仕向けの輪郭抽出手法の具体的な一例でもある。単色間引き抽出法については、第２の実施形態にて後述する。
【００６４】
次に、全色抽出法、及び、単色抽出法にて抽出される輪郭成分の概念について説明する。
【００６５】
図２は、遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る部分的に示された撮像素子と、前記撮像素子の水平位相（μｍ）に対する前記パターンチャートの透過率（％）を示すグラフと、の関係を示す概念図である。
【００６６】
尚、図２は、本実施形態を説明するために用いる概念図であって、前記パターンチャートの光学像に光学系（光学ＬＰＦ等）によるＭＴＦ劣化分を考慮せずに描かれているが、このＭＴＦ劣化があったとしても、本実施形態の輪郭成分抽出器１８の抽出手法であれば同様の作用効果が得られるものである。
【００６７】
図２に於いて、前記パターンチャートの光学像の遮光部と開口部との境界線は、前記撮像素子の水平３（Ｈ）目のおおよそ中心に位置して示されている。ここで、図２の枠ａ内に示される水平方向に隣接する５画素に注目すれば、この５画素によって生成される撮像信号から抽出される輪郭成分については、図２で示すような透過率（％）を示すグラフに近くなればなる程、再現性の高い輪郭成分となるわけである。
【００６８】
図３は、図２で示した枠ａ内の水平方向の５画素（Ｈ）にて生成される撮像信号ｂのコントラスト（％）を示すグラフである。
【００６９】
図３に於いて、グラフ中に示した縦線（Ｈ）は、図２で示した撮像素子の水平位相（μｍ）（撮像する実画素の面心となる位相）を水平画素単位（Ｈ）と一対となるようにして示している。
【００７０】
図３で示したグラフのように、実際に撮像される像（撮像信号ｂのコントラスト）は、図２で示したパターンチャートの透過率（％）のグラフとは波形形状が異なる。なぜならば、前記パターンチャートの光学像の遮光部と開口部との境界線は、前記撮像素子の水平３（Ｈ）目に於いて、あたかもコントラストのおおよそ中間レベルにあるかのように撮像（サンプリング）されてしまうからである。
【００７１】
図３に於いて、この撮像素子の２（Ｈ）〜４（Ｈ）に示すような隣接画素間にある撮像信号のコントラストの差分信号と、それらの位相（Ｈ）が、本実施形態に於ける輪郭成分（輪郭エッジの過渡領域）である。このように、被写体（及び、光学像）が矩形波であったとしても、その輪郭成分については、通常は３画素で撮像されている場合が多いのである。
【００７２】
尚、このパターンチャートの光学像の境界線が、撮像素子上の画素の隣接間と略一致する場合に於いては、この輪郭成分は２画素で撮像されることもある。しかしながら、このパターンチャートの光学像の境界線と、この撮像画素の隣接間とが、略一致するかどうかについては偶然によるものである。この輪郭成分が２画素で撮像される場合については後述する（図１０、図１１、図１２参照）。
【００７３】
次に、本実施形態に於ける輪郭信号生成器１９について説明する。
【００７４】
図４は、図３で示した撮像信号ｂに一般的なバイキュービック型画素補間式による画素補間を施して、水平方向に２倍に拡大した輪郭信号ｃのコントラスト（％）を示すグラフである。
【００７５】
図４に於いて、グラフ中に示した実線（Ｈ）は、図３で示した撮像信号のコントラスト（％）の水平位相（Ｈ）を示しており、前記実線の間の破線（Ｈ）は、この撮像信号から補間して得られた補間画素信号の水平位相（Ｈ）を示しているものである。
【００７６】
前記輪郭信号生成器１９は、前述した輪郭成分から輪郭信号を生成するものである。この輪郭信号生成器１９を、例えば、一般的なバイキュービック型画素補間式による画素補間を施すことで輪郭信号を生成するとするならば、図４に示すように、前記輪郭成分（輪郭エッジの過渡領域）については、図３で示した隣接する３画素（補間画素なし）から、隣接する５画素（補間画素が２画素）に拡大されることになり、即ち、画素補間による撮像信号の拡大と供に、この輪郭成分にも補間画素が施されて拡大されてしまうことがわかる。
【００７７】
このように、輪郭成分に対して一般的なバイキュービック型画素補間式による画素補間が施されて生成された波形は、被写体の実像（例えば、図２で示したパターンチャートの透過率）による波形と大きく異なり、被写体の実像には存在しない太い線状の像が強調されたように見えるので、これが見た目に不自然になってしまうという問題があるのである。
【００７８】
したがって、本実施形態の輪郭信号生成器１９は、撮像画像の画像拡大倍率（撮像画像の一部分の拡大も含む）に伴って輪郭成分幅が拡大されてしまうことを軽減し、撮像画像の輪郭信号が見た目に不自然にならないように抑制しながら制御するようにするものである。
【００７９】
図５は、図３で示した撮像信号に一般的なバイキュービック型画素補間式による画素補間と、一般的なバイリニア型画素補間式による画素補間と、を並べて示した輪郭信号ｄ、ｆのコントラスト（％）を示すグラフである。
【００８０】
図５に於いて、このバイキュービック型画素補間式による画素補間と、バイリニア型画素補間式による画素補間との差分に着目すれば、バイキュービック型画素補間式による画素補間の方が図２で示したパターンチャートの透過率（％）のグラフに近いことがわかる。
【００８１】
図６は、本発明の第１の実施形態のパラメータ調整にて生成された画素補間の一例と、一般的なバイリニア型画素補間式による画素補間と、を並べて示した輪郭信号ｇ、ｆのコントラスト（％）を示すグラフである。
【００８２】
又、図６に示したグラフは、下記（１）式によるパラメータ演算の結果である。  
Ｉ（ｘ，ｙ）＝Ｐ（ｅ，ｚ）×｛Ｉｃ（ｘ，ｙ）−ＩＬ（ｘ，ｙ）｝  
＋ＩＬ（ｘ，ｙ）                                  …（１）  
ここで、ｘは、水平位相（Ｈ）を表す変数である。ｙは、垂直位相（Ｖ）を表す変数である。ｚは、本実施形態の幾何学設定に基づいた画像拡大倍率（×ｚ倍）を表す変数である。ｅは、本実施形態の輪郭強調係数である。Ｉ（ｘ，ｙ）は、本実施形態のパラメータ調整による画素補間値である。Ｐ（ｅ，ｚ）は、本実施形態の幾何学設定に基づいて調整される幾何学パラメータである。Ｉｃ（ｘ，ｙ）は、一般的なバイキュービック型画素補間式による画素補間値である。ＩＬ（ｘ，ｙ）は、一般的なバイリニア型画素補間式による画素補間値である。尚、図６で示したグラフの輪郭強調係数ｅは、ｅ＝ｅ０であるとする。
【００８３】
このように、本第１の実施形態のパラメータ調整による画素補間値Ｉ（ｘ，ｙ）は、バイキュービック型画素補間式による画素補間値Ｉｃ（ｘ，ｙ）と、バイリニア型画素補間式による画素補間値ＩＬ（ｘ，ｙ）と、幾何学設定に基づいて調整される幾何学パラメータＰ（ｅ，ｚ）と、を有するものである。尚、幾何学パラメータＰ（ｅ，ｚ）を決定する変数の１つである前記画像拡大倍率ｚ（×ｚ倍）についての具体的な制御手法については、後述する（図１３、図１４参照）
図７は、第１の実施形態の輪郭強調型パラメータ調整にて生成された画素補間の一例と、一般的なバイリニア型画素補間式による画素補間と、を並べて示した輪郭信号ｈ、ｆのコントラスト（％）を示すグラフである。
【００８４】
図７に於いて、この画素補間値Ｉ（ｘ，ｙ）は、前記（１）式で記した幾何学パラメータＰ（ｅ，ｚ）に、ｅ＝ｅ１を代入して得られるものである。この図７に示すグラフは、同一の幾何学設定に基づいた画像拡大倍率ｚ＝２（×２倍）でありながら、図６に示したグラフと比較すると、Ｐ（ｅ０，２）＜Ｐ（ｅ１，２）であることを示している。このように、この幾何学パラメータＰ（ｅ，ｚ）は、幾何学設定に基づいた画像拡大倍率ｚ（×ｚ倍）以外に、輪郭信号の強調量を調整する輪郭強調係数ｅを有するものである。
【００８５】
例えば、撮像画像を記録、及び、撮像画像を表示する撮像装置に於いて、記録用の輪郭強調係数ｅを前記ｅ０とすることで、記録画像は見た目に自然な画質にしつつ、表示用の輪郭強調係数ｅを前記ｅ１とすることで、表示画像は撮像画像の合焦調節、又は、撮像画像の合焦確認がしやすいように輪郭信号を予め強調した画質に設定しておいても良いのである。
【００８６】
図８は、図７で示した本実施形態の輪郭強調型パラメータによる輪郭強調の一例と、一般的な輪郭強調（太線）と、を並べて示した輪郭信号ｉ、ｊのコントラスト（％）を示すグラフである。
【００８７】
このように、一般的な輪郭強調による輪郭信号のコントラスト（％）と、図７で示した本実施形態の輪郭強調型による輪郭信号のコントラスト（％）とを比較してみれば、輪郭の強調量（コントラスト差分）は略一致であるものの、輪郭成分（輪郭エッジの過渡領域）の幅（Ｈ）については、本実施形態の輪郭信号の輪郭成分が２Ｈであるのに対して、一般的な輪郭信号の輪郭成分は４Ｈであることがわかる。
【００８８】
これは、本実施形態の輪郭信号の方が、一般的な輪郭信号よりも、図２で示したパターンチャートの透過率（％）のグラフに近いことを示すものであり、つまり、本実施形態の輪郭信号の方が被写体の実像に対する再現性が向上していることを示すものである。
【００８９】
図９は、図７で示した本実施形態の輪郭強調型パラメータによる輪郭強調の一例と、輪郭強調処理を画像拡大処理を行った後で実施した輪郭強調（太線）と、を並べて示した輪郭信号ｉ、ｋのコントラスト（％）を示すグラフである。
【００９０】
図９に於いて、この一般的な輪郭信号(太線)ｋは、図８で示した一般的な輪郭信号（太線）ｊと比較すれば、輪郭強調部の太さが異なるものである。図８で示した輪郭強調部は２Ｈで作られているのに対して、図９で示す輪郭強調部は１Ｈで作られているので、画像拡大処理に伴う輪郭強調部の拡大については改善しているのである。
【００９１】
しかしながら、撮像画像に既に含まれている輪郭成分（輪郭エッジの過渡領域）については画像の一部には違いないので、図９で示した輪郭強調を画像拡大処理を行った後にする一般的な輪郭信号に於いても、画像拡大倍率ｚ（×ｚ倍）に比例して輪郭成分幅は拡大されてしまうのである。
【００９２】
図９で示したように、本第１の実施形態の輪郭信号の輪郭成分が２Ｈであるのに対して、輪郭強調を画像拡大処理を行った後にするとしても、やはり、この輪郭信号の輪郭成分は４Ｈとなってしまうことがわかる。
【００９３】
このように、本発明の第１の実施形態による輪郭信号生成器１９は、幾何学変換による撮像画像の画像拡大倍率ｚ（×ｚ倍）に伴って輪郭成分幅（輪郭エッジの過渡領域）が拡大されてしまうことを軽減し、撮像画像の輪郭信号が見た目に不自然にならないように抑制する効果があるのである。
【００９４】
次に、本発明の第１の実施形態の輪郭信号生成器１９の輪郭成分が２画素で撮像される場合について説明する。
【００９５】
図１０は、遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る部分的に示された撮像素子と、前記撮像素子の水平位相（μｍ）に対する前記パターンチャートの透過率（％）を示すグラフと、の関係を示し、前記パターンチャートの遮光部と開口部との境界線が、前記撮像素子上の画素の隣接間と略一致する場合を示す概念図である。
【００９６】
図１０に示すように、このパターンチャートの遮光部と開口部との境界線については、図２で示したような画素の面心に位置されるとも限らないわけである。
【００９７】
図１１は、図１０の概念図で示した撮像条件に於いて、一般的なバイキュービック型画素補間式による水平画素補間値Ｉｃ（ｘ）と、一般的なバイリニア型画素補間式による水平画素補間値ＩＬ（ｘ）と、を並べて示した輪郭信号ｍ、ｎのコントラスト（％）を示すグラフである。
【００９８】
図１１に於いて、このバイキュービック型画素補間式による水平画素補間値Ｉｃ（ｘ）と、バイリニア型画素補間式による水平画素補間値ＩＬ（ｘ）と、の差分に着目すれば、水平画素補間値Ｉｃ（ｘ）の方が図１０で示したパターンチャートの透過率（％）のグラフに若干近いものの、輪郭成分が３画素（補間画素は２画素）で撮像される場合による図５で示したグラフほどの差分はないことがわかる。
【００９９】
これは、前記（１）式に於いて、  
Ｉc（ｘ，ｙ）−ＩＬ（ｘ，ｙ）≒０  
であることになり、故に、  
Ｉ（ｘ，ｙ）≒ＩＬ（ｘ，ｙ）  
であることを示すものである。
【０１００】
このように、パターンチャートの光学像の境界線が、撮像素子上の画素の隣接間と略一致する場合に於いては、この輪郭成分は２画素で撮像されるのである。又、パターンチャートの光学像の境界線が、撮像素子上の画素の隣接間と略一致するのか、或いは、画素上にあるのかは偶然によるものである。
【０１０１】
図１２は、図６で示した輪郭成分が３画素で撮像された場合に於ける本発明の水平画素補間値Ｉ（x）と、図１１で示した輪郭成分が２画素で撮像された場合に於ける本第１の実施形態の水平画素補間値Ｉ（x）と、を並べて示した輪郭信号ｐ、ｑのコントラスト（％）を示すグラフである。
【０１０２】
図１２に示すように、輪郭成分が３画素で撮像された場合であっても、２画素で撮像された場合であっても、本実施形態の輪郭信号生成器によれば、その輪郭成分の波形形状は略一致させることが可能であることがわかる。
【０１０３】
但し、図７で示したような、幾何学パラメータＰ（ｅ，ｚ）に、輪郭強調係数ｅ＝ｅ１を代入して得られる輪郭強調型のグラフの場合では、前記輪郭成分の波形形状は略一致とはならないことに注意すべきである。この輪郭強調係数ｅについては、例えば、電子ビューファインダ（ＥＶＦ）に用いる場合は、前記（１）式に於いて、ｅ＝ｅ１による輪郭強調型の補間を施し、撮像画像の記録用には、ｅ＝ｅ０による補間を施すなどの工夫が考えられる。
【０１０４】
次に、本発明の第１の実施形態の輪郭信号生成器１９の幾何学設定手段による具体的な制御手法について説明する。
【０１０５】
前述したように、幾何学変換には、電子ズーム（拡大）、電子式手ブレ補正（拡大、及び、回転）、光学歪み補正（ディストーション補正）、アスペクト比変換（水平拡大、又は、垂直拡大）など、目的に応じて様々な応用形態があり、又、本実施形態の輪郭信号生成器１９は、前記幾何学変換による撮像画像の画像拡大倍率ｚ（×ｚ倍）（撮像画像の一部分の拡大も含む）に伴って輪郭成分幅が拡大されてしまうことを軽減し、撮像画像の輪郭信号が見た目に不自然にならないようにするものである。
【０１０６】
ここで、図１を参照すると、幾何学設定部１６と輪郭信号生成器１９とは、接続されていることがわかる。これは、幾何学設定に基づいた画像拡大倍率ｚ（×ｚ倍）を、この輪郭信号生成器１９に入力して、幾何学パラメータＰ（ｅ，ｚ）を形成していることを示している。
【０１０７】
この幾何学パラメータＰ（ｅ，ｚ）は、輪郭強調係数ｅ＝ｅ０、ｅ＝ｅ１による画作り上の輪郭強調の度合いを調整可能であるパラメータであると供に、幾何学設定に基づいた画像拡大倍率ｚ（×ｚ倍）に応じて低周波化される輪郭成分から、輪郭信号を生成するための画素補間値Ｉ（ｘ，ｙ）をパラメータ調整することを特徴としているのである。
【０１０８】
図１３は、画像拡大倍率ｚによる撮像画素の相対位置（％）と、本第１の実施形態の輪郭信号のコントラスト（％）の一例と、の関係を示すグラフである。
【０１０９】
図１３に於いて、×２とは、幾何学設定に基づいた画像拡大倍率ｚ＝２（×２倍）を示しており、×３とは、画像拡大倍率ｚ＝３（×３倍）、×４とは、画像拡大倍率ｚ＝４（×４倍）、を夫々示している。この画像拡大倍率ｚ（×ｚ倍）については、撮像画像全体の拡大とは限らず、撮像画像の一部分の拡大も含むものである。
【０１１０】
図１３に示すように、幾何学設定に基づいた画像拡大倍率ｚ（×ｚ倍）が上がれば上がるほど、それに連動して幾何学パラメータＰ（ｅ，ｚ）を上げていくようにすると良い。なぜならば、この幾何学変換により、撮像画素の実質的な輝度サンプリング数が不足してくると、撮像画像の見た目の解像感やシャープネスが損なわれてくるので、これを見た目に補正して改善したいからである。
【０１１１】
図１４は、画像拡大倍率ｚによる撮像画素の相対位置（％）と、本発明の輪郭信号のコントラスト（％）の一例と、の関係を示し、幾何学パラメータＰ（ｅ，ｚ）については、画像拡大倍率ｚ≦３までを対応範囲とした場合の一例を示すグラフである。
【０１１２】
図１４に示すように、幾何学設定に基づいた画像拡大倍率ｚ（×ｚ倍）が上がれば、上がるほど、それに連動して幾何学パラメータＰ（ｅ，ｚ）を上げていくわけであるが、画像拡大倍率ｚ≦３（×３倍）までを対応範囲とし、それ以降の画像拡大倍率ｚ＞３については、幾何学パラメータＰ（ｅ，ｚ）に於けるｚを画像拡大倍率ｚ＝３（×３倍）のままに固定していることを示している。
【０１１３】
図１３で示したグラフは、画像拡大倍率ｚ＝４（×４倍）に於いても、前述したように、輪郭成分のコントラスト（％）は維持されている。しかしながら、その副作用として、輪郭成分に大きなオーバーシュート成分がついてしまうので、見た目の解像感やシャープネスは改善されるものの、このオーバーシュート成分は見た目に不自然なものである。
【０１１４】
そこで、図１４で示すグラフのように、幾何学パラメータＰ（ｅ，ｚ）の対応範囲を、例えば、画像拡大倍率ｚ≦３（×３倍）までとするように、幾何学パラメータＰ（ｅ，ｚ）にリミット制御を設ける。これにより、画像拡大倍率ｚ＞３（×３倍）以降の拡大については、見た目の解像感やシャープネスは損なわれていくものの、余分なオーバーシュート成分が付くのを防ぐ。
【０１１５】
尚、幾何学パラメータＰ（ｅ，ｚ）に於ける画像拡大倍率ｚについて、ｚ≦３（×３倍）にリミット制御するということは、撮像画像や輪郭成分に対しての画像拡大倍率をリミット制御するというものではなく、幾何学パラメータＰ（ｅ，ｚ）に対するリミット制御である。
【０１１６】
本実施形態の輪郭信号生成器１９は、画像解像度を向上されるものではなく、あくまでも見た目の解像感を改善させるものであるので、前述したように、幾何学パラメータＰ（ｅ，ｚ）の調整については、見た目の画質を重要視して画作りするべきものである。
【０１１７】
又、本発明の第１の実施形態の幾何学パラメータＰ（ｅ，ｚ）の対応範囲、及び、幾何学パラーメータＰ（ｅ，ｚ）の輪郭強調の度合い調整、については、イメージセンサと表示部（ＥＶＦなど）との兼ね合いや、撮像装置の商品性の観点からの画作りなどに応じて、各種様々な設定が可能となるものである。
【０１１８】
前述してきたように、第１の実施形態によれば、撮像画像の幾何学変換により画像解像度が劣化した場合に於ける、撮像画像の見た目の解像感やシャープネスを改善した撮像装置を提供することができる。
【０１１９】
又、第１の実施形態によれば、幾何学変換による撮像画像の画像拡大倍率ｚ（×ｚ倍）（撮像画像の一部分の拡大も含む）に伴って輪郭成分幅が拡大されてしまうことを軽減し、撮像画像の輪郭信号を見た目に不自然にならないように抑制制御する撮像装置を提供することができる。
【０１２０】
更に、第１の実施形態によれば、撮像記録前、及び、撮像記録中に電子ビューファインダ（ＥＶＦ）、又は、撮像装置に具備してある小型モニタにて、リアルタイムに近い感覚で、視覚的な確認ができるように、安価で小規模で、かつ、光学像の撮像と撮像画像の表示とのタイムラグの少ない幾何学変換機能が搭載された撮像装置を提供することができる。
【０１２１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【０１２２】
本発明の第２の実施形態は、前述した第１の実施形態で示した輪郭成分抽出器を単色間引き抽出法によるものとして、例えば、高速電子ビューファインダ（ＥＶＦ）仕様にした撮像装置である。
【０１２３】
図１５は、本発明の第２の実施形態による撮像装置の構成を示すブロック図である。
【０１２４】
尚、この第２の実施形態に於いて、撮像装置の基本的な構成については、図１に示される第１の実施形態と同じであり、基本的な動作についても同様である。したがって、これらの構成及び動作については、同一の部分には同一の参照番号を付して、その図示及び説明は省略するものとし、異なる部分の構成及び動作についてのみ説明する。
【０１２５】
図１５に於いて、この撮像装置３０は、光学系１１と、撮像素子１２と、原画像処理部１４と、幾何学設定操作部（幾何学設定手段）３１と、幾何学変換器１７と、Ｇｃｈ輪郭成分抽出器３２と、輪郭信号生成器１９と、輪郭強調係数操作部３３と、画像合成器２０と、画像表示ドライバ（ＥＶＦドライバ）３５と、電子ビューファインダ（ＥＶＦ）３６と、より構成されている。
【０１２６】
前記光学系１１と、前記撮像素子１２と、前記原画像処理部１４と、前記幾何学設定操作部３１と、前記幾何学変換器１７と、前記輪郭信号生成器１９と、前記画像合成器２０と、については、前述した第１の実施形態で記したものと等価であっても良いが、前記原画像処理部１４には、第１の実施形態で示したホワイトバランス補正部１３が含まれているのが一般的である。
【０１２７】
前記画像表示ドライバ３５は、幾何学変換画像信号と輪郭信号とを合成した画像信号から、電子ビューファインダ３６に表示するための一般的な画像表示信号を生成するものである。
【０１２８】
前記電子ビューファインダ３６は、撮像記録前、及び、撮像記録中に、リアルタイムに近い感覚で、視覚的な確認をするための小型モニタであり、一般的な撮像装置に具備してあるものである。
【０１２９】
前記Ｇｃｈ輪郭成分抽出器３２は、前述した第１の実施形態で示した輪郭成分抽出器１８を単色間引き抽出法の具体的な一例に置き換えたものであり、Ｇｃｈ画素の間引き抽出器のことである。このＧｃｈ輪郭成分抽出器３２は、単板撮像素子のＲＧＢベイヤ配列方式、又は、光学プリズムを具備した複数板撮像素子のＲＧＢ画素ずらし方式の場合に適しているものである。
【０１３０】
これは、例えば、カラーフィルタの配列がＲＧＢベイヤ配列方式である単板撮像素子であった場合ならば、Ｇ画素信号のみを抽出してＹＨ画素信号として定義し、このＹＨ画素信号に輪郭抽出フィルタを施すことにより、前記輪郭成分を抽出するものである。
【０１３１】
例えば、単板撮像素子のＲＧＢベイヤ配列方式であった場合ならば、この輪郭成分抽出器は、Ｇ画素のみ抽出してＹＨ画素信号として定義し、このＹＨ画素信号に輪郭抽出フィルタを施すことにより、前記輪郭成分を抽出するものである。尚、このＧＨ画素信号は、輪郭成分に用いる信号であって、Ｇ色の色情報としては機能させないものである。
【０１３２】
前記輪郭抽出フィルタは、例えば、１画素間隔で設置される２画素から成るＧ画素、又は、１画素間隔で設置される３画素から成るＧ画素、から輪郭成分を抽出するためのカットオフ周波数を有するデジタルフィルタであっても良い。
【０１３３】
又、図１５に示すように、原画像処理部１４と、輪郭信号生成器１９と、を並列回路型にすることで、原画像処理の後工程にこの輪郭信号生成器１９を置く直列回路型であるよりも、この撮像装置の画像を表示するまでの画像処理速度を速くするものである。
【０１３４】
ここで、近年に於ける一般的な撮像装置では、撮像素子の画素数よりも、電子ビューファインダの画素数の方が少ない傾向があるので、輪郭成分抽出の際に必ずしもＲＧＢ全画素を必要とせず、Ｇ画素だけでも充分足りることがある。この輪郭成分抽出をＧ画素のみの抽出とすることで、前記輪郭信号生成器の画像処理速度を速くすることが可能となり、又、この回路規模をより小さくすることが可能となるのである。
【０１３５】
前記輪郭強調係数操作部３３は、前述した第１の実施形態で記した表示用の輪郭強調係数ｅ１をユーザが調整するための操作部である。この輪郭強調係数操作部３３は、一般的な放送用撮像装置に於いては、ピーキングボリュームと称されて、電子ビューファインダ３６に具備されていることもある。
【０１３６】
又、この輪郭強調係数操作部３３は、例えば、前記輪郭強調係数の表示用係数（ＥＶＦ用係数）に対して操作されるものであって、撮像画像の記録用係数には必ずしも反映しなくとも良いものである。
【０１３７】
図１６は、遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る部分的に示された撮像素子と、撮像素子に配列されるＧ画素と、の関係を示す図である。
【０１３８】
尚、図１６は、本発明の第２の実施形態を説明するための概念図であって、前記パターンチャートの光学像に光学系（光学ＬＰＦ等）１１によるＭＴＦ劣化分を考慮せずに描かれている。
【０１３９】
図１６に於いて、このパターンチャートの光学像と、撮像素子のＧ画素による撮像信号と、の水平位相（Ｈ）の関係について、図１６で示す枠ｒ内の水平方向の５画素を用いて述べれば、図３で示したグラフの中央３画素から成る輪郭成分と等価となるはずである。
【０１４０】
故に、パターンチャートの光学像と、Ｇ画素と、の水平位相の関係が図１６で示すような条件である場合には、図６、又は、図７で示したグラフと同じ輪郭信号が得られることになるのである。但し、ＲＧＢベイヤ配列方式である場合に於いては、ＲＧＢ全画素の画素数に対して、Ｇ画素の画素数は半分となるため、得られる輪郭信号のサンプリング数も約半分となる。
【０１４１】
次に、パターンチャートの光学像と、Ｇ画素と、の水平位相の関係が、図１６のようにならない場合について説明する。
【０１４２】
図１７、図１８、図１９は、遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る一般的な撮像素子と、撮像素子に配列されるＧ画素と、の関係を示す図であり、前記パターンチャートの遮光部と開口部との境界線が枠ｒ内にあるＧ画素上にない場合を夫々示す図である。
【０１４３】
図１７、図１８、図１９に於いて、このパターンチャートの光学像と、その光学像をＧ画素にて撮像した後に得られる輪郭信号のコントラスト（％）と、の水平位相（Ｈ）の関係について、図１７、図１８、図１９に夫々示す枠ｒ内の水平５画素を用いて述べれば、図１０で示した概念図と、図１１で示したグラフと、と等価であることがわかる。但し、ＲＧＢベイヤ配列方式である場合に於いては、ＲＧＢ全画素の画素数に対して、Ｇ画素の画素数は半分となるため、得られる輪郭信号のサンプリング数も約半分となる。
【０１４４】
図２０は、本発明の第２の実施形態による撮像装置３０に、間引き制御部３８を更に具備した撮像装置４０の構成を示すブロック図である。
【０１４５】
前記間引き制御部３８は、前述した幾何学設定部１６から出力される幾何学設定に基づいて、撮像素子１２の画素間引き読み出し、及び／又は、ライン間引き読み出しを選択して制御するものである。
【０１４６】
前記間引き制御部３８は、撮像素子１２の有効画素から実効画素に間引いて読み出すことで、撮像のフレームレートを速くすることを可能とするものであり、例えば、可変フレームレート撮像を可能としたり、又は、人間の視覚特性に見合った高速なＥＶＦ出力を可能としたりする目的がある。
【０１４７】
この間引き制御部３８は、図２０に示すブロック図のように、幾何学設定部１６から出力される幾何学設定に基づいてなされており、かつ、前述した輪郭信号生成器１９についても、この幾何学設定に基づいてなされているので、間引き制御部３８と、輪郭信号生成器１９と、に於ける幾何学変換は整合が取れているものである。なぜならば、撮像素子１２の間引き状況に応じて、幾何学パラメータＰ（ｅ，ｚ）が作成されているからである。
【０１４８】
前述してきたことから、第２の実施形態による撮像装置３０に於いては、前述した第１の実施形態による撮像装置１０が有する機能を保持しながらも、第１の実施形態による撮像装置１０と比較して、輪郭成分抽出をＧ画素のみの抽出とし、及び、撮像素子１２の間引き読み出しをすることで、輪郭信号生成器１９の画像処理速度について、より高速化させることが可能となり、高速電子ビューファインダ（ＥＶＦ）仕様に特化した撮像装置といえるものである。
【０１４９】
したがって、前述してきたように、第２の実施形態によれば、撮像画像の幾何学変換により画像解像度が劣化した場合に於ける、撮像画像の見た目の解像感やシャープネスを改善した撮像装置を提供することができる。
【０１５０】
又、第２の実施形態によれば、幾何学変換による撮像画像の画像拡大倍率ｚ（×ｚ倍）（撮像画像の一部分の拡大も含む）に伴って輪郭成分幅が拡大されてしまうことを軽減し、撮像画像の輪郭信号を見た目に不自然にならないように抑制制御する撮像装置を提供することができる。
【０１５１】
更に、第２の実施形態によれば、撮像記録前、及び、撮像記録中に電子ビューファインダ（ＥＶＦ）等にて、リアルタイムに近い感覚で、視覚的な確認ができるように、安価で小規模で、かつ、光学像の撮像と撮像画像の表示とのタイムラグの少ない幾何学変換機能が搭載された撮像装置を提供することができる。
【０１５２】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【０１５３】
更に、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【０１５４】
【図１】本発明の第１の実施形態による撮像装置の構成を示すブロック図である。
【図２】遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る部分的に示された撮像素子と、前記撮像素子の水平位相（μｍ）に対する前記パターンチャートの透過率（％）を示すグラフと、の関係を示す概念図である。
【図３】図２で示した枠ａ内の水平方向の５画素（Ｈ）にて生成される撮像信号のコントラスト（％）を示すグラフである。
【図４】図３で示した撮像信号ｂに一般的なバイキュービック型画素補間式による画素補間を施して、水平方向に２倍に拡大した輪郭信号ｃのコントラスト（％）を示すグラフである。
【図５】図３で示した撮像信号に一般的なバイキュービック型画素補間式による画素補間と、一般的なバイリニア型画素補間式による画素補間と、を並べて示した輪郭信号ｄ、ｆのコントラスト（％）を示すグラフである。
【図６】本発明の第１の実施形態のパラメータ調整にて生成された画素補間の一例と、一般的なバイリニア型画素補間式による画素補間と、を並べて示した輪郭信号ｇ、ｆのコントラスト（％）を示すグラフである。
【図７】本発明の第１の実施形態の輪郭強調型パラメータ調整にて生成された画素補間の一例と、一般的なバイリニア型画素補間式による画素補間と、を並べて示した輪郭信号ｈ、ｆのコントラスト（％）を示すグラフである。
【図８】図７で示した本発明の第１の実施形態の輪郭強調型パラメータによる輪郭強調の一例と、一般的な輪郭強調（太線）と、を並べて示した輪郭信号ｉ、ｊのコントラスト（％）を示すグラフである。
【図９】図７で示した本発明の第１の実施形態の輪郭強調型パラメータによる輪郭強調の一例と、輪郭強調処理を画像拡大処理を行った後で実施した輪郭強調（太線）と、を並べて示した輪郭信号ｉ、ｋのコントラスト（％）を示すグラフである。
【図１０】遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る部分的に示された撮像素子と、前記撮像素子の水平位相（μｍ）に対する前記パターンチャートの透過率（％）を示すグラフと、の関係を示し、前記パターンチャートの遮光部と開口部との境界線が、前記撮像素子上の画素の隣接間と略一致する場合を示す概念図である。
【図１１】図１０の概念図で示した撮像条件に於いて、一般的なバイキュービック型画素補間式による水平画素補間値Ｉc（x）と、一般的なバイリニア型画素補間式による水平画素補間値ＩL（x）と、を並べて示した輪郭信号ｍ、ｎのコントラスト（％）を示すグラフである。
【図１２】図６で示した輪郭成分が３画素で撮像された場合に於ける本発明の第１の実施形態の水平画素補間値Ｉ（x）と、図１１で示した輪郭成分が２画素で撮像された場合に於ける本発明の水平画素補間値Ｉ（x）と、を並べて示した輪郭信号ｐ、ｑのコントラスト（％）を示すグラフである。
【図１３】画像拡大倍率ｚによる撮像画素の相対位置（％）と、本発明の第１の実施形態の輪郭信号のコントラスト（％）の一例と、の関係を示すグラフである。
【図１４】画像拡大倍率ｚによる撮像画素の相対位置（％）と、本発明の輪郭信号のコントラスト（％）の一例と、の関係を示し、幾何学パラメータＰ（ｅ，ｚ）については、画像拡大倍率ｚ≦３までを対応範囲とした場合の一例を示すグラフである。
【図１５】本発明の第２の実施形態による撮像装置の構成を示すブロック図である。
【図１６】遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る部分的に示された撮像素子と、撮像素子に配列されるＧ画素と、の関係を示す図である。
【図１７】遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る一般的な撮像素子と、撮像素子に配列されるＧ画素と、の関係を示す図であり、前記パターンチャートの遮光部と開口部との境界線が枠ｒ内にあるＧ画素上にない一例を示す図である。
【図１８】遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る一般的な撮像素子と、撮像素子に配列されるＧ画素と、の関係を示す図であり、前記パターンチャートの遮光部と開口部との境界線が枠ｒ内にあるＧ画素上にない一例を示す図である。
【図１９】遮光部と開口部とを有する一般的なパターンチャートの光学像と、５（Ｈ）×４（Ｖ）から成る一般的な撮像素子と、撮像素子に配列されるＧ画素と、の関係を示す図であり、前記パターンチャートの遮光部と開口部との境界線が枠ｒ内にあるＧ画素上にない一例を示す図である。
【図２０】本発明の第２の実施形態による撮像装置３０に、間引き制御部３８を更に具備した撮像装置４０の構成を示すブロック図である。
【符号の説明】
【０１５５】
１０，３０，４０…撮像装置、１１…光学系、１２…撮像素子、１３…ホワイトバランス補正部、１４…原画像処理部、１６…幾何学設定部、１７…幾何学変換器、１８…輪郭成分抽出器、１９…輪郭信号生成器、２０…画像合成器、３１…幾何学設定操作部、３２…Ｇｃｈ輪郭成分抽出器、３３…輪郭強調係数操作部、３５…画像表示ドライバ（ＥＶＦドライバ）、３６…電子ビューファインダ（ＥＶＦ）。
【図１】
2008283442.tif 000003
【図２】
2008283442.tif 000004
【図３】
2008283442.tif 000005
【図４】
2008283442.tif 000006
【図５】
2008283442.tif 000007
【図６】
2008283442.tif 000008
【図７】
2008283442.tif 000009
【図８】
2008283442.tif 000010
【図９】
2008283442.tif 000011
【図１０】
2008283442.tif 000012
【図１１】
2008283442.tif 000013
【図１２】
2008283442.tif 000014
【図１３】
2008283442.tif 000015
【図１４】
2008283442.tif 000016
【図１５】
2008283442.tif 000017
【図１６】
2008283442.tif 000018
【図１７】
2008283442.tif 000019
【図１８】
2008283442.tif 000020
【図１９】
2008283442.tif 000021
【図２０】
2008283442.tif 000022