(57)【要約】【課題】高解像度の画像信号を取得でき、小型で安価な撮像装置を提供する。【解決手段】画像を撮像する撮像装置であって、第１画像信号を取得する第１撮像部１と、第１画像信号よりも低解像度の第２画像信号を取得する第２撮像部２と、第１画像信号から輝度情報を抽出する輝度情報抽出部７と、第２画像信号から色情報を抽出する色情報抽出部８と、輝度情報および色情報を用いて第３画像信号を算出する算出部９とを備える。【選択図】図１
2012191539.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像装置であって、
第１画像信号を取得する第１撮像部と、
前記第１画像信号よりも低解像度の第２画像信号を取得する第２撮像部と、
前記第１画像信号から輝度情報を抽出する輝度情報抽出部と、
前記第２画像信号から色情報を抽出する色情報抽出部と、
前記輝度情報および前記色情報を用いて第３画像信号を算出する算出部とを備えることを特徴とする撮像装置。
【請求項２】
前記第１画像信号と前記第２画像信号との少なくともどちらか一方に画像処理補正を行う補正部を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２撮像部は、ピンホールを有することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１撮像部は、軸上色収差を有する光学系を備えることを特徴とする請求項１から３のいずれか一つに記載の撮像装置。
【請求項５】
前記輝度情報抽出部は、
前記第１画像信号を輝度信号に変換する輝度信号変換部と、
前記輝度信号から高周波成分を抽出する高周波成分抽出部とを備えることを特徴とする請求項１から４のいずれか一つに記載の撮像装置。
【請求項６】
前記色情報抽出部は、
前記第２画像信号を色差信号に変換する色差信号変換部と、
前記色差信号から低周波成分を抽出する低周波成分抽出部とを備えることを特徴とする請求項１から５のいずれか一つに記載の撮像装置。
【請求項７】
前記補正部は、前記第１画像信号と前記第２画像信号との少なくともどちらか一方に幾何補正を行う幾何補正部を備えることを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記補正部は、前記第１画像信号と前記第２画像信号との位置合わせを行う位置合わせ部を備えることを特徴とする請求項２または７に記載の撮像装置。
【請求項９】
前記位置合わせ部は、前記第１撮像部および前記第２撮像部の焦点距離に基づいて前記位置合わせに用いる移動ベクトルを参照し、前記移動ベクトルを用いて位置合わせを行うことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記輝度信号変換部は、前記第１画像信号をＬ*ａ*ｂ*空間におけるＬ*信号に変換することを特徴とする請求項５に記載の撮像装置。
【請求項１１】
前記色差信号変換部は、前記第２画像信号をＬ*ａ*ｂ*空間におけるａ*ｂ*信号に変換することを特徴とする請求項６に記載の撮像装置。
【請求項１２】
前記輝度信号変換部は、前記第１画像信号をＹＣｂＣｒ空間におけるＹ信号に変換することを特徴とする請求項５記載の撮像装置。
【請求項１３】
前記色差信号変換部は、前記第２画像信号をＹＣｂＣｒ空間におけるＣｂＣｒ信号に変換することを特徴とする請求項６に記載の撮像装置。
【請求項１４】
コンピュータで処理するための画像処理プログラムであって、前記コンピュータに、
第１画像信号を取得する第１撮像手順と、
前記第１画像信号よりも低解像の第２画像信号を取得する第２撮像手順と、
前記第１画像信号から輝度情報を抽出する輝度情報抽出手順と、
前記第２画像信号から色情報を抽出する色情報抽出手順と、
前記輝度情報および前記色情報を用いて第３画像信号を算出する算出手順とを実行させることを特徴とする画像処理プログラム。
【請求項１５】
画像を撮像する撮像方法であって、
第１画像信号を取得し、
前記第１画像信号よりも低解像度の第２画像信号を取得し、
前記第１画像信号から輝度情報を抽出し、
前記第２画像信号から色情報を抽出し、
前記輝度情報および前記色情報を用いて第３画像信号を算出することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、画像処理プログラムおよび撮像方法に関するものである。
【背景技術】
【０００２】
現在のデジタルスチルカメラやビデオカメラなどでは、ＣＣＤやＣＯＭＳ等の撮像素子を用いて受光した光をデジタルの撮像信号に変換している。近年、撮像素子の高画素化により、より解像力の高い光学系が求められている。また、単板式の撮像素子の場合、各画素のＲＧＢ値を同一画素位置において得ることができないため、三板式の撮像素子に比べて色ずれや偽色が生じることがある。
【０００３】
そこで従来、特許文献１では単板式の撮像素子から得られた画像信号から低周波の色差信号と高周波の輝度情報を生成し処理を行うことで、ノイズやアーティファクトのない色変換処理を行う手法が開示されている。
【０００４】
また、特許文献２においては同等の高い解像度を有する複数のセンサから成るセンサーアレイによって得られた輝度情報および色情報を用いて対象物の画像を生成する手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２３２６５５号公報
【特許文献２】特表２００８−５２４９２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１においては高解像度なカラーの画像信号を得るには色収差がなく、解像力（ＭＴＦ）の高い光学系が必要であり、小型化および低コストには適さない、と言った問題点がある。
【０００７】
また，特許文献２においては、同等の高い解像度を有する複数のセンサから成るセンサーアレイを用いるため、装置が大型化し、コストが増加してしまう、と言った問題点がある。
【０００８】
本発明は上記問題点に鑑み、高解像度な画像信号を取得することのできる小型で安価な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明のある態様に係る撮像装置は、画像を撮像する撮像装置であって、第１画像信号を取得する第１撮像部と、第１画像信号よりも低解像度の第２画像信号を取得する第２撮像部と、第１画像信号から輝度情報を抽出する輝度情報抽出部と、第２画像信号から色情報を抽出する色情報抽出部と、輝度情報および色情報を用いて第３画像信号を算出する算出部とを備える。
【００１０】
本発明の別の態様に係る画像処理プログラムは、コンピュータで処理するための画像処理プログラムであって、コンピュータに、第１画像信号を取得する第１撮像手順と、第１画像信号よりも低解像の第２画像信号を取得する第２撮像手順と、第１画像信号から輝度情報を抽出する輝度情報抽出手順と、第２画像信号から色情報を抽出する色情報抽出手順と、輝度情報および前記色情報を用いて第３画像信号を算出する算出手順とを実行させる。
【００１１】
本発明のさらに別の態様に係る撮像方法は、画像を撮像する撮像方法であって、第１撮像素子を用いて第１画像信号を取得し、第１撮像素子よりも解像度度が低い第２撮像素子を用いて第１画像信号よりも低解像の第２画像信号を取得し、第１画像信号から輝度情報を抽出し、第２画像信号から色情報を抽出し、輝度情報および前記色情報を用いて第３画像信号を算出する。
【発明の効果】
【００１２】
本発明によると、小型で安価な撮像装置によって高解像度の画像信号を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態の撮像装置を含むカメラを示す図である。
【図２】第１実施形態の撮像装置を示す概略ブロック図である。
【図３】第１実施形態の輝度情報抽出部の概略ブロック図である。
【図４】第１実施形態の色情報抽出部の概略ブロック図である。
【図５】第２実施形態の撮像装置の概略ブロック図である。
【図６】第２実施形態の輝度情報抽出部の概略ブロック図である。
【図７】第３実施形態の撮像装置の概略ブロック図である。
【図８】第３実施形態の補正部の概略ブロック図である。
【発明を実施するための形態】
【００１４】
本発明の第１実施形態の撮像装置について図１、２を用いて説明する。図１は本実施形態の撮像装置を含むカメラを示す図である。図２は第１実施形態の撮像装置を示す概略ブロック図である。
【００１５】
撮像装置は、第１撮像部１と、第２撮像部２と、Ａ／Ｄ部３と、第１バッファ４と、撮像制御部５と、信号処理部６と、輝度情報抽出部７と、色情報抽出部８と、算出部９と、出力部１０と、制御部１１と、外部Ｉ／Ｆ部１２とを備える。
【００１６】
第１撮像部１は、レンズ系１３と、絞り１４と、第１センサ１５とを備える。
【００１７】
第１センサ１５は、Ｇ（緑）信号に感度を持つ単板センサである。第１センサ１５は、レンズ系１３を通して受光面に入射される光に応じて第１画像信号を所定のタイミングで出力する。第１画像信号は、Ａ／Ｄ部３によってデジタル信号に変換されて第１バッファに格納される。
【００１８】
レンズ系１３は、１枚または複数のレンズによって構成されている。１枚または複数のレンズはＡＦモータ１６によって光軸方向に沿って前後進する。第１センサ１５は単色の信号のみを取得できればよいので、レンズ系１３は軸上色収差などの色毎に異なる結像特性を有する光学系でよい。
【００１９】
絞り１４は、単位時間当たりに通過する光の量を調整する。
【００２０】
第２撮像部２は、ピンホール１７と、第２センサ１８とを備える。
【００２１】
第２センサ１８は、ＲＧＢ原色系のセンサである。第２センサ１８は、第１センサ１５よりも解像度が低いセンサである。第２センサ１８は、ピンホール１７を通して受光面に入射される光に応じて第２画像信号を所定のタイミングで出力する。第２画像信号は、Ａ／Ｄ部３によってデジタル信号に変換されて第１バッファ４に格納される。第２画像信号は後述するように低周波の色差信号として用いられるので、第２センサ１８は低解像度のセンサであってもよい。
【００２２】
撮像制御部５は、第１バッファ４から送られた第１画像信号のＡＦエリア内のコントラスト情報を検出し、コントラストが最大となるようにＡＦモータ１６を制御し、合焦信号を取得する。撮像制御部５は、第１画像信号中の輝度レベルや図示しない輝度センサを用いて第１センサ１５への入射光量を調整するために絞り１４および第１センサ１５の電子シャッター速度などを制御する。
【００２３】
信号処理部６は、第１バッファ４から第１画像信号および第２画像信号が転送される。信号処理部６は、第２画像信号に対して、単板の状態の信号を三板の状態の信号へ変換するデモザイキング処理を行う。デモザイキング処理された第２画像信号は、色情報抽出部８に転送される。また、信号処理部６はホワイトバランス処理などを行う。第１バッファ４から転送された第１画像信号は、輝度情報抽出部７に転送される。
【００２４】
輝度情報抽出部７について図３を用いて説明する。図３は輝度情報抽出部７の概略ブロック図である。
【００２５】
輝度情報抽出部７は、第２バッファ１９と、高周波抽出部２０とを備える。
【００２６】
高周波抽出部２０は、信号処理部６および第２バッファ１９を介して転送された第１画像信号に対して高周波成分の抽出を行う。本実施形態において第１画像信号は輝度信号に相当するＧ信号である。そのため、第１画像信号を輝度信号として扱い、輝度信号から高周波成分の抽出を行う。高周波成分の抽出は、公知のＳｏｂｅｌフィルタ等の実空間における高周波成分抽出フィルタを用いて行われる。また、公知のフーリエ変換により第１画像信号を周波数空間に変換して、高周波成分の抽出を行ってもよい。高周波抽出部２０によって抽出された高周波成分は、算出部９へ転送される。
【００２７】
次に色情報抽出部８について図４を用いて説明する。図４は色情報抽出部８の概略ブロック図である。
【００２８】
色情報抽出部８は、第３バッファ２１と、第１変換部２２と、低周波抽出部２３とを備える。
【００２９】
第１変換部２２は、信号処理部６および第３バッファ２１を介して転送された第２画像信号を色差信号に変換する。第１変換部２２は、第２画像信号のＲ信号およびＢ信号を低周波抽出部２３に転送する。
【００３０】
低周波抽出部２３は、色差信号に対して低周波成分の抽出を行う。第２センサ１８が低解像度のセンサである場合に、高周波成分を含む被写体を撮像すると、高周波成分の折り返し、すなわちエイリアシングが生じる可能性がある。そのため、低周波抽出部２３は、色差信号に対して低周波成分の抽出を行う。低周波成分の抽出は、公知の平滑化フィルタなどの実空間における低周波成分抽出フィルタを用いて行われる。また、公知のフーリエ変換により色差信号を周波数空間に変換して、低周波成分の抽出を行ってもよい。低周波抽出部２３によって抽出された低周波成分は、算出部９へ転送される。
【００３１】
算出部９は、高周波抽出部２０から転送された輝度信号と、低周波抽出部２３から転送された色差信号とを用いて第３画像信号を作成する。作成された第３画像信号は、出力部１０へ転送される。
【００３２】
外部Ｉ／Ｆ部１２は、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェイスを備えており、これらの情報を制御部１１に伝達する。
【００３３】
制御部１１は、マイクロコンピュータなどによって構成され、撮像制御部５、信号処理部６、輝度情報抽出部７および色情報抽出部８と双方向に接続している。
【００３４】
本実施形態の撮像装置を用いて撮像する場合の手順について説明する。
【００３５】
外部Ｉ／Ｆ部１２を介してＩＳＯ感度、露出などの撮影条件が設定された後に、シャッターボタンが半押しされると、プリ撮像が行われる。
【００３６】
プリ撮像によって得られた第１画像信号は、撮像制御部５へ転送される。撮像制御部５は、第１画像信号に基づいてＡＦモータ１６を制御して合焦信号を取得する。また撮像制御部５は、絞り１４、第１センサ１５の電子シャッター速度などの露光条件を設定する。
【００３７】
外部Ｉ／Ｆ部１２を介して、シャッターボタンが全押しされると本撮像が行われる。本撮像は、撮像制御部５によって得られた合焦条件および露光条件に基づいて行われる。
【００３８】
そして、本撮像によって得られた第１画像信号および第２画像信号は信号処理部６を介して輝度情報抽出部７または色情報抽出部８に転送され、上記処理が行われる。
【００３９】
本発明の第１実施形態の効果について説明する。
【００４０】
第１センサ１５を用いて第１画像信号を取得し、第１センサ１５よりも解像度が低い第２センサ１８を用いて第２画像信号を取得する。そして、第１画像信号から得られた輝度信号と、第２画像信号から得られた色差信号とを組み合わせることで、高解像度の第３画像信号を作成することができる。また、解像度が低い第２センサ１８を用いて高解像度の第３画像信号を得ることができ、小型の撮像装置を得ることができ、コストを削減することができる。
【００４１】
レンズ系１３として軸上色収差を有する光学系を用いることができ、コストを削減することができる。
【００４２】
第２撮像部２でピンホール１７を用いることができ、撮像装置を小型にすることができる。
【００４３】
次に本発明の第２実施形態について図５を用いて説明する。
【００４４】
図５は第２実施形態の撮像装置の概略ブロック図である。第２実施形態は、第１センサ３０と、輝度情報抽出部３１と、色情報抽出部３２と、算出部３３とが第１実施形態と異なっている。第１実施形態と同じ部分には、第１実施形態と同じ符号を付し、ここでの説明は省略する。
【００４５】
第１センサ３０は、単板式のＢａｙｅｒ配列のセンサである。第１センサ３０は、三板式のセンサであってもよい。第１センサ３０から転送される第１画像信号は、ＲＧＢ信号である。
【００４６】
輝度情報抽出部３１について図６を用いて説明する。図６は輝度情報抽出部３１の概略ブロック図である。輝度情報抽出部３１は、第２バッファ１９と、第２変換部３４と、高周波抽出部２０とを備える。
【００４７】
第２変換部３４は、第２バッファ１９を介して転送された第１画像信号であるＲＧＢ信号を式（１）を用いてＹＣｂＣｒ信号に変換する。
【００４８】
【数１】
2012191539.tif 000003
【００４９】
第２変換部３４は式（１）のＹ信号を高周波抽出部２０へ転送する。
【００５０】
また、ＲＧＢ信号をＬ*ａ*ｂ*信号に変換する場合には、第２変換部３４は式（２）〜式（５）を用いて変換する。
【００５１】
【数２】
2012191539.tif 000004
【００５２】
【数３】
2012191539.tif 000005
【００５３】
【数４】
2012191539.tif 000006
【００５４】
【数５】
2012191539.tif 000007
【００５５】
この場合、第２変換部３４はＬ*を高周波抽出部２０へ転送する。なお、式（２）でＸＹＺ信号への変換は第１画像信号がｓＲＧＢの規格に準じた信号の場合を示している。式（３）〜式（５）において、Ｘn、Ｙn、Ｚnは標準の光の下における完全拡散反射面での３刺激値Ｘ、Ｙ、Ｚであり、関数ｆは、例えばｆ（Ｘ／Ｘn）でＸ／Ｘnが０．００８８５６よりも大きい場合には式（６）となり、０．００８８５６以下である場合には式（７）となる。
【００５６】
【数６】
2012191539.tif 000008
【００５７】
【数７】
2012191539.tif 000009
【００５８】
色情報抽出部３２は、第３バッファ２１を介して転送された第２画像信号であるＲＧＢ信号を輝度情報抽出部３１と同様にＹＣｂＣｒ信号に変換し、Ｃｂ信号およびＣｒ信号を低周波抽出部２３に転送する。なお、ＲＧＢ信号をＬ*ａ*ｂ*信号に変換する場合には、ａ*信号およびｂ*信号を低周波抽出部２３に転送する。
【００５９】
算出部３３は、高周波抽出部２０から転送された輝度信号と、低周波抽出部２３から転送された色差信号とから式（８）を用いてＲＧＢ信号へ逆変換を行う。
【００６０】
【数８】
2012191539.tif 000010
【００６１】
ＲＧＢ信号をＬａ*ｂ*信号に変換した場合には、算出部３３は、式（９）〜式（１１）を用いて関数ｆを算出し、算出した関数ｆを用いて例えば式（４）を用いてＸＹＺ信号の変換を行う。そして、算出部３３は、式（１２）を用いてＲＧＢ信号へ変換を行う。
【００６２】
【数９】
2012191539.tif 000011
【００６３】
【数１０】
2012191539.tif 000012
【００６４】
【数１１】
2012191539.tif 000013
【００６５】
【数１２】
2012191539.tif 000014
【００６６】
本発明の第２実施形態の効果について説明する。
【００６７】
第１センサ３０として例えば単板のＢａｙｅｒ配列のセンサを用いた場合でも、第１実施形態と同様の効果を得ることができる。
【００６８】
次に本発明の第３実施形態について図７を用いて説明する。
【００６９】
図７は第３実施形態の撮像装置の概略ブロック図である。第３実施形態の撮像装置は、信号処理部６と、輝度情報抽出部７と色情報抽出部８との間に補正部４０を備える。第１実施形態と同じ部分には、第１実施形態と同じ符号を付し、ここでの説明は省略する。
【００７０】
補正部４０について図８を用いて説明する。図８は補正部４０の概略ブロック図である。
【００７１】
補正部４０は、第４バッファ４１と、幾何補正部４２と、位置合わせ部４３とを備える。
【００７２】
幾何補正部４２は、第４バッファ４１から転送された第１画像信号および第２画像信号を用いて歪曲収差等の幾何的な収差を補正する。また幾何補正部４２は、図１に示すよう第１センサ３０と第２センサ１８とが異なる箇所にある場合には視差によるずれがあるために視差補正も行う。幾何的な補正が行われた第１画像信号と第２画像信号とは、位置合わせ部４３に転送される。
【００７３】
位置合わせ部４３は、転送された第１画像信号と第２画像信号との間で位置合わせを行い、第１画像と第２画像との位置ずれを補正する。位置合わせは、公知のパターンマッチングを用いて位置ずれに起因する移動ベクトルを画像全体あるいは画像の局所領域毎に算出し、画像全体もしくは画像の局所領域毎に行われる。
【００７４】
また、レンズ系１３の焦点距離によって第１画像信号と第２画像信号との位置ずれの大きさが変化するため、式（１３）に示すような焦点距離に応じた移動ベクトルｖが初期値として事前に設定されてもよい。位置合わせ部４３は、この初期値を基準として計算を行うことでパターンマッチングの計算時間を短くすることができる。
【００７５】
【数１３】
2012191539.tif 000015
【００７６】
ｘ（）、ｙ（）はそれぞれベクトルのｘ座標、ｙ座標を表し、ｆ’はレンズ系１３の焦点距離を表す。レンズ系１３が焦点距離を変更できるレンズ系１３であっても、焦点距離の変化に応じて移動ベクトルの初期値を求めることができるために、計算時間を短くすることができる。
【００７７】
本発明の第３実施形態の効果について説明する。
【００７８】
補正部４０によって第１画像信号および第２画像信号に画像処理を施すことで、高解像度の第３画像信号を得ることができる。
【００７９】
上記撮像装置は、デジタルカメラ、デジタルビデオカメラ、電子内視鏡など、正しく作動するために電流または電磁界に依存する機器である電子機器に搭載することが可能である。
【００８０】
また、上述した実施形態の説明では、撮像装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。
【００８１】
この場合、撮像装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記撮像装置と同様の処理を実現させる。
【００８２】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００８３】
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
【符号の説明】
【００８４】
１      第１撮像部
２      第２撮像部
７、３１      輝度情報抽出部
８      色情報抽出部
９、３３      算出部
１３    レンズ系（光学系）
１５    第１センサ（第１撮像素子）
１８    第２センサ（第２撮像素子）
２０    高周波抽出部
２２    第１変換部（色差信号変換部）
２３    低周波抽出部
３４    第２変換部（輝度信号変換部）
４０    補正部
４２    幾何補正部
４３    位置合わせ部
【図１】
2012191539.tif 000016
【図２】
2012191539.tif 000017
【図３】
2012191539.tif 000018
【図４】
2012191539.tif 000019
【図５】
2012191539.tif 000020
【図６】
2012191539.tif 000021
【図７】
2012191539.tif 000022
【図８】
2012191539.tif 000023