(57)【要約】【課題】電子ズームによるズーム倍率が高くなった場合でも見栄えのよい画像を撮像可能な撮像装置を提供する。【解決手段】撮像装置は、被写体像を形成する光学系と、被写体像を受けて被写体像の画像信号を出力する撮像素子と、画像信号および与えられたズーム倍率の情報に基づいて画像を拡大または縮小して、ズーム倍率が変更された新たな画像信号を生成する画像処理部とを備えている。画像処理部は、与えられたズーム倍率が所定の値になるまでは、画像に施す先鋭感の程度を増加させるよう画素を補間することによって画像を拡大し、画像の照度に応じた値が予め定められた値以上であり、かつ、与えられたズーム倍率が所定の値以上になったときは、画像に施す先鋭感の程度を一定にし、画像の照度に応じた値が予め定められた値未満であり、かつ、与えられたズーム倍率が所定の値以上になったときは、画像に施す先鋭感の程度を減少させる。【選択図】図６
2011188481.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を形成する光学系と、
前記被写体像を受けて前記被写体像の画像信号を出力する撮像素子と、
前記画像信号および与えられたズーム倍率の情報に基づいて画像を拡大または縮小して、前記ズーム倍率が変更された新たな画像信号を生成する画像処理部と
を備えた撮像装置であって、
前記画像処理部は、
与えられた前記ズーム倍率が所定の値になるまでは、前記画像に施す先鋭感の程度を増加させるよう画素を補間することによって前記画像を拡大し、
前記画像の照度に応じた値が予め定められた値以上であり、かつ、与えられた前記ズーム倍率が前記所定の値以上になったときは、前記画像に施す先鋭感の程度を一定にし、
前記画像の照度に応じた値が予め定められた値未満であり、かつ、与えられた前記ズーム倍率が前記所定の値以上になったときは、前記画像に施す先鋭感の程度を減少させる、撮像装置。
【請求項２】
前記画像処理部は、前記画像信号によって特定される複数の画素の間に画素を補間する処理を行って少なくとも１つの補間画素を生成し、前記画像に施す先鋭感の程度を増加させるために、前記画像の照度に応じた値および与えられた前記ズーム倍率に応じて前記少なくとも１つの補間画素の画素値の補正量を変化させる、請求項１に記載の撮像装置。
【請求項３】
ズーム処理時において、前記少なくとも１つの補間画素の画素値の補正量は、ズーム倍率に応じて定まる係数αを用いて定められ、
前記画像処理部は、前記画像の照度に応じた値が予め定められた値以上であり、かつ、与えられた前記ズーム倍率が前記所定の値以上になったときは、前記係数を一定値にすることにより、前記画像に施す先鋭感の程度を一定に保つ、請求項２に記載の撮像装置。
【請求項４】
ズーム処理時において、前記少なくとも１つの補間画素の画素値の補正量は、ズーム倍率に応じて定まる係数αを用いて定められ、
前記画像処理部は、前記画像の照度に応じた値が予め定められた値未満であり、かつ、与えられた前記ズーム倍率が前記所定の値以上になったときは、前記ズーム倍率に応じて前記係数αを減少させることにより、前記画像に施す先鋭感の程度を減少させる、請求項２に記載の撮像装置。
【請求項５】
前記画像処理部は、前記係数αと、前記少なくとも１つの補間画素の輝度値の変化の大きさに応じて定まる係数ｋと、各画素の高周波成分の成分量ｈとに基づいて前記補正量を算出する、請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に電子ズーム機能を有する撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、電子カメラを開示する。この電子カメラは、電子ズームアップを行うことができる。電子ズームアップとは、ＣＣＤを用いて得られた画像データのうちの一部を利用して画像を拡大する処理である。電子ズームアップ処理は、拡大率に応じて画像データの一部を利用する画像拡大処理であり、拡大率が大きくなるほど拡大された画像の画質は劣化する。
【０００３】
この電子カメラは、電子ズームアップ処理に利用される画像データで構成される画像の画素数が、メモリカードへ記録される画像の画素数以下になるか否かを判定する。画像の画素数が記録画素数以下になると判定すると、この電子カメラは、ファインダ内表示回路に指令を送りファインダ内表示素子に警告表示を行わせる。
【０００４】
これにより、ユーザは、電子ズームによって得られる見栄えの悪い画像がメモリカードに記録されることを事前に知ることができ、そのような記録を回避できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３０５６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上記特許文献１に開示されている電子カメラは、電子ズームによる弊害である、画質が劣化した画像の記録を回避できるものの、電子ズームによるズーム倍率が高くなった場合でも見栄えのよい画像を撮像するための技術については開示していない。
【０００７】
本発明は上記課題に鑑みてなされたものであり、その目的は、電子ズームによるズーム倍率が高くなった場合でも見栄えのよい画像を生成可能な撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明による撮像装置は、被写体像を形成する光学系と、前記被写体像を受けて前記被写体像の画像信号を出力する撮像素子と、前記画像信号および与えられたズーム倍率の情報に基づいて画像を拡大または縮小して、前記ズーム倍率が変更された新たな画像信号を生成する画像処理部とを備えた撮像装置であって、前記画像処理部は、与えられた前記ズーム倍率が所定の値になるまでは、前記画像に施す先鋭感の程度を増加させるよう画素を補間することによって前記画像を拡大し、前記画像の照度に応じた値が予め定められた値以上であり、かつ、与えられた前記ズーム倍率が前記所定の値以上になったときは、前記画像に施す先鋭感の程度を一定にし、前記画像の照度に応じた値が予め定められた値未満であり、かつ、与えられた前記ズーム倍率が前記所定の値以上になったときは、前記画像に施す先鋭感の程度を減少させる。
【０００９】
前記画像処理部は、前記画像信号によって特定される複数の画素の間に画素を補間する処理を行って少なくとも１つの補間画素を生成し、前記画像に施す先鋭感の程度を増加させるために、前記画像の照度に応じた値および与えられた前記ズーム倍率に応じて前記少なくとも１つの補間画素の画素値の補正量を変化させてもよい。
【００１０】
ズーム処理時において、前記少なくとも１つの補間画素の画素値の補正量は、ズーム倍率に応じて定まる係数αを用いて定められ、前記画像処理部は、前記画像の照度に応じた値が予め定められた値以上であり、かつ、与えられた前記ズーム倍率が前記所定の値以上になったときは、前記係数を一定値にすることにより、前記画像に施す先鋭感の程度を一定に保ってもよい。
【００１１】
ズーム処理時において、前記少なくとも１つの補間画素の画素値の補正量は、ズーム倍率に応じて定まる係数αを用いて定められ、前記画像処理部は、前記画像の照度に応じた値が予め定められた値未満であり、かつ、与えられた前記ズーム倍率が前記所定の値以上になったときは、前記ズーム倍率に応じて前記係数αを減少させることにより、前記画像に施す先鋭感の程度を減少させてもよい。
【００１２】
前記画像処理部は、前記係数αと、前記少なくとも１つの補間画素の輝度値の変化の大きさに応じて定まる係数ｋと、各画素の高周波成分の成分量ｈとに基づいて前記補正量を算出してもよい。
【発明の効果】
【００１３】
本発明によれば、ズーム倍率が所定の値以上になり、かつ、画像の照度に応じた値が予め定められた値未満のとき、よりわかりやすく言い換えると、ズーム倍率およびノイズレベルが比較的高くなってくる撮影条件下では、撮像装置は、画像に施す先鋭感の程度を一定にする。これにより、撮像装置は、電子ズームによるズーム倍率が高くなった場合でも見栄えのよい画像を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】デジタルビデオカメラ１００の構成を示すブロック図である。
【図２】（ａ）は電子ズーム処理が行われないときの画面表示例を示す図であり、（ｂ）および（ｃ）はズーム時に超解像処理を行わないときの画面表示例を示す図であり、（ｄ）は、ズーム時に超解像処理を行ったときの画面表示例を示す図である。
【図３】超解像処理による画素の補間方法を説明するための模式図である。
【図４】照度が確保されているときのズーム倍率ｍと係数αとの関係を表す。
【図５】照度が確保されていないときのズーム倍率ｍと係数αとの関係を表す。
【図６】デジタルビデオカメラ１００の処理の手順を示すフローチャートである。
【図７Ａ】第１の変形例によるズーム倍率ｍと係数αとの関係を表す図である。
【図７Ｂ】第２の変形例によるズーム倍率ｍと係数αとの関係を表す図である。
【図７Ｃ】第３の変形例によるズーム倍率ｍと係数αとの関係を表す図である。
【発明を実施するための形態】
【００１５】
以下、添付の図面を参照しながら、本発明の実施形態を説明する。
【００１６】
本発明は、撮像機能を有する電子機器として実施される。たとえば、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付きの携帯電話は、そのような電子機器に含まれる。また、当該電子機器を動作させるためのコンピュータプログラム、および、コンピュータプログラムを記録した記録媒体も本発明の範疇である。
【００１７】
以下、本発明の実施形態を説明する。以下の説明では、本発明がデジタルビデオカメラとして実施される例を説明する。
【００１８】
〔１．概要〕
本実施形態にかかるデジタルビデオカメラは、電子ズーム機能を有する。デジタルビデオカメラは、超解像処理による画素の補間を行うことにより電子ズームを行う。デジタルビデオカメラは、ズーム倍率、および、画像のノイズレベルが比較的高い撮影環境であるか否か、に応じて、後述するような処理に切り替える。これにより、電子ズームによるズーム倍率が比較的高くなった場合でも見栄えのよい画像を撮像することができる。
【００１９】
〔２．構成〕
次に、図１を参照しながら、本実施形態にかかるデジタルビデオカメラの電気的構成を説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、ズームレンズ１１０等からなる光学系により形成された被写体像をＣＣＤイメージセンサー１８０（「撮像素子」とも呼ぶ。）で撮像する。ＣＣＤイメージセンサー１８０で生成された映像データは、画像処理部１９０で各種処理が施され、メモリカード２４０に格納される。また、メモリカード２４０に格納された映像データは、液晶モニタ２７０で表示可能である。以下、デジタルビデオカメラ１００の構成を詳細に説明する。
【００２０】
デジタルビデオカメラ１００の光学系は、ズームレンズ１１０、光学式手振れ補正回路（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ；ＯＩＳ）１４０、フォーカスレンズ１７０を含む。ズームレンズ１１０は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。また、フォーカスレンズ１７０は、光学系の光軸に沿って移動することにより、被写体像の焦点距離を調整する。
【００２１】
ＯＩＳ１４０は、その内部に、光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１４０は、デジタルビデオカメラ１００の振れを相殺する方向に補正レンズを駆動することにより、被写体像の振れを低減する。
【００２２】
ズームモータ１３０は、ズームレンズ１１０を駆動する。ズームモータ１３０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１３０は、カム機構やボールネジなどの機構を介してズームレンズ１１０を駆動するようにしてもよい。検出器１２０は、ズームレンズ１１０が光軸上でどの位置に存在するのかを検出する。検出器１２０は、ズームレンズ１１０の光軸方向への移動に応じて、ブラシ等のスイッチによりズームレンズの位置に関する信号を出力する。
【００２３】
ＯＩＳアクチュエータ１５０は、ＯＩＳ１４０内の補正レンズを光軸と垂直な面内で駆動する。ＯＩＳアクチュエータ１５０は、平面コイルや超音波モータなどで実現できる。また、検出器１６０は、ＯＩＳ１４０内における補正レンズの移動量を検出する。
【００２４】
ＣＣＤイメージセンサー１８０は、ズームレンズ１１０等からなる光学系で形成された被写体像を撮像して、映像データを生成する。ＣＣＤイメージセンサー１８０は、露光、転送、電子シャッタなどの各種動作を行う。
【００２５】
画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して各種の処理を施す。より具体的に説明すると、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して処理を施し、液晶モニタ２７０に表示するための映像データを生成する。また、メモリカード２４０に再格納するための映像データを生成する。例えば、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により映像データを圧縮する。
【００２６】
また、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データの一部を切り出すことにより電子ズーム処理を行うことができる。また、画像処理部１９０は、電子ズーム処理を行う際に超解像処理を施すことができる。超解像処理については後述する。画像処理部１９０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。画像処理部１９０は、ＤＳＰやマイコンなどで実現可能である。たとえば画像処理部１９０は、後述する図６のフローチャートの処理が記述されたプログラムを実行するマイコンとして実現される。
【００２７】
コントローラー２１０は、全体を制御する制御である。コントローラー２１０は、半導体素子などで実現可能である。コントローラー２１０もまた、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラー２１０は、マイコンなどで実現できる。
【００２８】
メモリ２００は、画像処理部１９０及びコントローラー２１０のワークメモリとして機能する。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。
【００２９】
液晶モニタ２７０は、ＣＣＤイメージセンサー１８０で生成した映像データが示す画像や、メモリカード２４０から読み出した映像データが示す画像を表示可能である。
【００３０】
ジャイロセンサー２２０は、圧電素子等の振動材等で構成される。ジャイロセンサー２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサー２２０から角速度情報を得て、この揺れを相殺する方向にＯＩＳ内の補正レンズを駆動させることにより、デジタルビデオカメラ１００は、使用者による手振れを補正する。
【００３１】
カードスロット２３０は、メモリカード２４０を着脱可能である。カードスロット２３０は、機械的及び電気的にメモリカード２４０と接続可能である。メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
【００３２】
内部メモリ２８０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２８０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を格納する。
【００３３】
操作部２５０は、使用者から画像の撮像指示を受け付ける部材である。ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける部材である。ズームレバー２６０の操作により、ズーム倍率は最広角から最望遠まで連続的に移動する。最望遠時にさらに望遠側変化するようにズームレバーを操作した場合、画像処理部１９０は、画像データをデジタル的に拡大処理する。
【００３４】
本実施形態では、ズームレバー２６０はデジタルビデオカメラ１００の外装表面に物理的に設けられたハードウェアレバーであることを想定している。しかしながらこれは一例である。ズームレバー２６０は、液晶モニタ２７０上にソフトウェア的に表示された画像であってもよい。この場合には、たとえば液晶モニタ２７０にタッチスクリーン（図示せず）が設けられ、ユーザが液晶モニタ２７０に表示された当該画像部分に触れることにより、電子ズーム操作が可能になる。
【００３５】
〔３．超解像処理による補間方法〕
本実施形態にかかるデジタルビデオカメラ１００は、超解像処理による補間方法を用いた電子ズーム（デジタル拡大）処理を行う。以下、その処理の詳細を、図２および図３を参照しながら説明する。本明細書において「超解像処理」とは、ズーム処理によって失われた空間周波数を補う処理をいう。
【００３６】
以下で、電子ズーム処理と超解像処理との関係を説明する。以下では一例として、ＣＣＤイメージセンサー１８０の全画素数を７４０万画素とし、液晶モニタ２７０の画素数も７４０万画素として説明する。
【００３７】
図２（ａ）は、電子ズーム処理が行われないときの画面表示例を示す。また図２（ｂ）および（ｃ）は、ズーム時に超解像処理を行わないときの画面表示例を示し、図２（ｄ）は、ズーム時に超解像処理を行ったときの画面表示例を示す。  図２（ａ）の例におけるズーム倍率は１．０倍である。このときは、ＣＣＤイメージセンサー１８０の全画素（７４０万画素）を利用して画像データが生成される。液晶モニタ２７０には、７４０万画素の画像データが７４０万画素の画像データとして表示される。
【００３８】
図２（ｂ）は、ユーザによってズーム倍率が１．２倍に設定されたときの画像処理を示す。このときＣＣＤイメージセンサー１８０の全画素数（７４０万画素）のうち、内側の５００万画素（破線の矩形領域）の画像が切り出される。液晶モニタ２７０には、切り出された５００万画素の画像が全体的に７４０万画素に拡大されて、液晶モニタ２７０に表示される。この拡大処理は、５００万画素の画像を７４０万画素の液晶モニタ２７０に表示するために、不足している２４０万画素を補間によって増加させる処理である。より具体的には、この拡大処理は、たとえば５００万画素のうちのある１画素をＰとし、画素Ｐに隣接して補間される画素（補間画素）をＱとしたとき、補間画素Ｑに、画素Ｐの画素値と同じ画素値を与えることによって行われる。
【００３９】
液晶モニタ２７０に表示された図２（ａ）の画像と図２（ｂ）の画像とを比較すると、図２（ｂ）の画像の画角の方が図２（ａ）の画像の画角よりも狭い。これらの画像を同じサイズの液晶モニタ２７０に表示すると、図２（ｂ）の画像は、図２（ａ）の画像を拡大したものとして表示される。すなわち、これが画像を拡大する電子ズーム処理である。液晶モニタ２７０に表示された画像の品質は、図２（ｂ）の画像の方が図２（ａ）の画像よりも粗い。その理由は、液晶モニタ２７０に表示される画像は、図２（ａ）の例では７４０万画素の画像に基づいて生成されるのに対し、図２（ｂ）の例では５００万画素の画像に基づいて生成されているためである。また、後述の超解像処理が行われないためである。
【００４０】
図２（ｃ）は、ユーザによってズーム倍率が１．５倍に設定されたときの画像処理を示す。このときＣＣＤイメージセンサー１８０の全画素数（７４０万画素）のうち、内側の３００万画素（破線の矩形領域）の画像が切り出される。液晶モニタ２７０に表示される画像は、切り出された３００万画素の画像が７４０万画素になるよう全体的に拡大されて表示される。表示された画像は、図２（ｂ）の例で液晶モニタ２７０に表示された画像をさらに拡大したものとなる。そして液晶モニタ２７０に表示された画像の品質に関しては、上述の理由と同じ理由により、図２（ｂ）の画像よりも図２（ｃ）の画像の方がさらに粗くなる。
【００４１】
図２（ｄ）は、超解像処理を行ったときの例を示す。超解像処理とは、ＣＣＤイメージセンサー１８０の複数の画素によって得られた各画素値を利用して新たな画素値を創り出し、当該複数の画素の間に挿入する処理である。図２（ｂ）および（ｃ）に示されるように電子ズーム処理を行うと画像が粗くなる。言い換えると、電子ズーム処理によって画像の空間周波数が失われる。そこで、超解像処理を行って、存在しない画素値によってＣＣＤイメージセンサー１８０の画素を補間することにより、画像の空間周波数を補うことができる。
【００４２】
次に、図３を参照しながら、超解像処理の具体例を説明する。
【００４３】
図３は、超解像処理による画素の補間方法を説明するための模式図である。
【００４４】
本実施形態においては、超解像処理による補間方法を用いて画像データをデジタル処理によって縦横それぞれ２倍に拡大するとして説明する。ただし説明の簡潔化のため、図３では横方向の拡大のみを示している。
【００４５】
図３の横方向はある水平ライン上に存在する画素の配置を示し、縦方向は各画素の画素値、より具体的には輝度値の大きさを表している。なお、縦方向の画素配置も同様に処理すればよいし、さらに、任意のＮ画素を超解像処理によって補間する場合にも同様である。
【００４６】
図３に示す画素２０１ａ〜２０１ｅは、ＣＣＤイメージセンサー１８０で取得され、その後画像処理部１９０で処理されたデジタル拡大処理前の画素値である。画像処理部１９０は、この拡大処理前の各画素２０１ａ〜２０１ｅの画素値を用いて、隣接する２つの画素の間に等間隔で１つずつ補間画素を生成する。これにより、デジタル拡大処理後の画素数は２倍になる。
【００４７】
補間画素の生成方法は、以下のとおりである。まず画像処理部１９０は、ＣＣＤイメージセンサー１８０で取得された画素値から、輝度と色の各値を分離する。そして、輝度に関しては超解像処理を行い、色に関しては、たとえば直線補間処理やバイキュービック補間処理などを行う。
【００４８】
輝度値の超解像処理を詳しく説明する。本実施形態において、画像処理部１９０は、まずＣＣＤイメージセンサー１８０で取得された画素値から分離された輝度値を利用して直線補間処理を行い、補間画素の輝度値を生成する。
【００４９】
図３の画素２０２ａ〜２０２ｄは、直線補間で生成された直線補間画素である。図３に示されるように、直線補間処理とは、画像処理部１９０が、拡大処理前の各画素２０１ａ〜２０１ｅを直線でつないだ場合に、つながれた各画素間のちょうど中間の位置に補間画素を生成する処理である。
【００５０】
本実施形態にかかるデジタルビデオカメラ１００は、直線補間処理のような通常の補間処理によって補間画素を生成した後、さらに映像に先鋭感をもたせるための補正処理を行う。映像に先鋭感を持たせるための補正処理は、直線補間処理によって求められた補間画素に補正値を加算することにより行う。
【００５１】
まず、画像処理部１９０は、各画素２０１ａ〜２０１ｅから信号の変化量を抽出し、信号にほとんど変化のない平坦部と輪郭のような急な変化のあるエッジ部に分離する。そして、画像処理部１９０は、同時に各画素２０１ａ〜２０１ｅの画素値から高周波成分を抽出する。画素２０１ｃを例に挙げると、「高周波成分」とは、たとえば画素２０１ｂの輝度値と画素２０１ｃの輝度値との差分Ａと、画素２０１ｃの輝度値と画素２０１ｄの輝度値との差分Ｂとの和（Ａ＋Ｂ）である。なお、抽出された高周波成分の成分量を以下の説明でｈとする。なお、各画素の高周波成分ｈは、正負の符号を有する値である。
【００５２】
本実施形態においては、映像に先鋭感を持たせるための補正量δを導入する。画像処理部１９０は、高周波成分の成分量ｈに係数ｋを乗算することにより、補正量δを算出する。そして画像処理部１９０は、得られた補正量δ（＝ｋｈ）を直線補間画素２０２ａ〜２０２ｄの輝度値に加算する。補間位置の周辺が平坦部であれば、画像処理部１９０は、係数ｋを０又は小さい値とする。一方、補正位置の周辺がエッジ部であれば、画像処理部１９０は、係数ｋを平坦部よりも大きな値とする。なお、補正量δには、上限および下限を設けることが好ましい。絶対値が過度に大きい補正量δを利用すると、画像のエッジ部にオーバーシュートまたはアンダーシュートが発生し、見栄えが悪く不自然になるためである。上述した係数ｋの値に上限を設けることにより、補正量δの上限および下限を調整することができる。
【００５３】
図３において、超解像補間画素２０３ａ〜２０３ｄは、直線補間画素２０２ａ〜２０２ｄに補正量δを加算することで求めた超解像処理による補間画素である。
【００５４】
例えば、図３において、画素２０１ａの輝度値と画素２０１ｂの輝度値との間には変化がないため平坦部とみなされる。その結果、ｋ＝０、つまり補正量δ＝０となり、直線補間画素２０２ａと超解像補間画素２０３ａとは一致する。
【００５５】
一方、画素２０１ｂの輝度値と画素２０１ｄの輝度値との間には大きな変化がある。従って、画素２０１ｂと２０１ｄとの間には、エッジ部が存在するとみなされ、ｋは一定の値（ｋ＞０）となる。その結果、画像処理部１９０は、補間画素２０２ｂ、２０２ｃの輝度値に補正量δ（＝ｋｈ）を加算し、加算結果を輝度値として有する超解像補間画素２０３ｂ、２０３ｃを生成する。
【００５６】
また、画素２０１ｄの輝度値と画素２０１ｅの輝度値との間には変化がない。従って、補正量δは０となる。その結果、超解像補間画素２０３ｄと直線補間画素２０２ｄとは一致する。
【００５７】
なお、ここでは、拡大倍率が２倍である場合を説明したが、拡大倍率が３倍であっても４倍であっても、本実施形態にかかるデジタルビデオカメラ１００は、同様の考え方で電子ズーム処理を行う。例えば拡大倍率が３倍の場合は、画素の各画素の間に等間隔で２つずつの補間画素を生成することで３倍拡大を実現できる。
【００５８】
〔４．ズーム時の制御方法〕
次に、図４を参照しながら、本実施形態にかかるデジタルビデオカメラ１００におけるズーム時の制御方法を説明する。以下に説明する制御方法に基づいて、ズーム時に液晶モニタ２７０に表示する画像の処理方法を変更する。
【００５９】
補正量δは、前述のように画素の輝度値の変化に基づいて、画像処理部１９０によって算出される。本実施形態にかかるデジタルビデオカメラ１００はさらに、ズームレバー２６０の操作でズーム倍率を変更する際にも補正量δを制御する。すなわち、新たに係数αを導入して、ズーム時の補正量δ＝αｋｈを定義する。画像処理部１９０は、ズーム倍率に連動させてこの係数αを制御する。次にその制御方法を説明する。
【００６０】
本実施形態によるデジタルビデオカメラ１００は、ズーム倍率と係数αとの関係を、撮影環境の照度に応じて切り替える。以下では、まず、照度が一定値以上確保されている場合の処理を、図４を参照しながら説明する。その後、照度が一定値を下回る場合の処理を、図５を参照しながら説明する。
【００６１】
なお、ここでいう「照度」とは、照度計（光量センサ）などで計測される値に限られない。たとえば、照度の高低に応じてＣＣＤイメージセンサー１８０の出力値が上下することを利用してもよい。本実施形態においては、画像処理部１９０は、ＣＣＤイメージセンサー１８０を利用して取得された画像の平均輝度が予め定められた閾値以上かそれ未満かによって、照度が確保されているか否かを判断している。本明細書では、撮影環境の照度を示す値をどのような方法で取得したかにかかわらず、その値を「照度に応じた値」と呼ぶこともある。
【００６２】
〔４−１．照度が確保されているときのズーム時の制御方法〕
図４は、照度が確保されているときのズーム倍率ｍと係数αとの関係を表す。図４において、２５倍という倍率は光学最望遠倍率を表し、１００倍という倍率は光学ズームと電子ズームとを含めた最大の拡大倍率を表すとする。電子ズーム処理のズーム倍率は、最大４倍（＝１００／２５）である。
【００６３】
まず、ズーム倍率が１倍から２５倍までの場合を説明する。ズーム倍率が１倍から２５倍までは、光学的に拡大を行う光学ズーム領域であるため、基本的には超解像処理を行う必要はない。しかしながら、本実施形態においては、光学ズームが行われている間も超解像処理を行っている。その理由は、被写体からの光がズームレンズ１１０やＯＩＳ１４０内の補正レンズを通過することにより、光学素子の特性によって被写体像の先鋭感が低下し得るためである。これは、ズーム処理によって失われる空間周波数が、若干ではあるが存在することを意味する。本願発明者らは、光学的に落ちた先鋭感を補うためにも超解像処理は有効であると考えた。そこで、本実施形態においては、画像処理部１９０は、αとして一定の値α１をもたせている。
【００６４】
光学ズーム領域では、画像処理部１９０は、補間画素＝撮像素子の画素として高周波成分量ｈ及び係数ｋを上述した方法で求める。次に、画像処理部１９０は、係数α＝α１として、補正量δ（＝α１ｋｈ）を求める。そして、画像処理部１９０は、求めた補正量δを画素に対して加算することでレンズにより落ちた先鋭感を補う。
【００６５】
次に、２５倍から５０倍までの範囲内におけるズーム倍率ｍと係数αとの関係を説明する。ズーム倍率ｍが２５倍以上になると、画像処理部１９０は、αをα１から直線的に増加させて、デジタル拡大処理によって劣化した先鋭感を補う。このように制御する理由を次に説明する。
【００６６】
デジタル拡大処理はその倍率をｄｍ（ｄｍ＝ｍ／２５（ただし、ｍ＞２５））とし、デジタル拡大倍率ｄｍ＝１、つまり光学ズームを行っている時の映像データの限界解像度をｆｍａｘとする。限界解像度とは、ＣＣＤイメージセンサー１８０の画素数によって定まる解像度である。
【００６７】
この場合、デジタル拡大倍率ｄｍ（ｄｍ＞１）倍のときの限界解像度ｆｄは、ｆｄ＝ｆｍａｘ／ｄｍ（＜ｆｍａｘ）となる。つまり、デジタル拡大倍率が上がれば上がるほど、限界解像度は下がる。要するに、デジタル拡大倍率が上昇すれば上昇するほど、先鋭感は下がっていき、細かいディテールは失われていく。例えば、デジタル拡大倍率が２倍（ｄｍ＝２）の場合、ｆｄは、ｆｍａｘ／２となる。
【００６８】
デジタルビデオカメラ１００において、デジタル拡大倍率は、ズームレバーの操作によって連続的に変化する。従って、補正量δに乗ずる係数αも階段状に変化させるのではなく、図４のように直線で連続的に増加させる。これにより、超解像補間画素も補正量δに応じて連続的に生成され、被写体の輪郭のようなエッジ部の先鋭感は保たれる。
【００６９】
次に、５０倍以上の範囲におけるズーム倍率ｍと係数αとの関係を説明する。ズーム倍率ｍが５０倍を超えると、デジタル拡大倍率ｄｍは２倍以上となる。デジタル拡大倍率を上げていくと、前述のように拡大後の映像データの限界解像度はさらに下がっていく。つまり、細かいディテールはさらに失われていく。一方で、輪郭のようなエッジ部は超解像処理によってある程度先鋭感が保たれる。従って、デジタル拡大倍率を上げれば上げるほど、細かい模様は失われる一方、輪郭の先鋭感は残る。その結果、画像処理部１９０により生成される映像は、まるで絵画のように不自然な映像となる。
【００７０】
そこで、本実施形態においては、画像処理部１９０は、ズーム倍率ｍが５０倍以上（従って、デジタル拡大倍率ｄｍ＝２倍以上）になると、係数αをα＝α２に固定し、それ以上過度の先鋭感を強くする補正を行わないようにする。それによって、ズーム倍率２５倍以上では輪郭の先鋭感が徐々に下がっていくものの、映像全体としてディテールが徐々に失われていくため、映像の不自然さは抑えることができる。
【００７１】
上述の説明から明らかなとおり、照度が確保されているときのズーム時のαの制御方法は、以下の数１によって示される。
【数１】
2011188481.tif 000003
【００７２】
以上の処理によれば、デジタルビデオカメラ１００は、光学最望遠を超えてズームしていく場合でも、一定の倍率までは輪郭の先鋭感を保ったままデジタル的に拡大することができ、さらにそれ以上に拡大させたときでも映像が絵画のように不自然になってしまうことを抑えることができる。
【００７３】
〔４−２．照度が確保されていないときのズーム時の制御方法〕
図５は、照度が確保されていないときのズーム倍率ｍと係数αとの関係を表す。図５においても２５倍という倍率は光学最望遠倍率を表し、１００倍という倍率は光学とデジタルとを含めた最大の拡大倍率を表す。
【００７４】
本実施形態において、光学ズーム領域ではレンズ特性によって失われた先鋭感を補うために、係数αは一定の値α１を持たせている。また、ズーム倍率２５倍から５０倍までは係数αをα１からα２まで直線的に増加させている。つまり、ズーム倍率が１倍から５０倍までの制御方法は、上述した、照度が確保されているときのズーム時の制御方法と同一である。
【００７５】
次に、５０倍以上の範囲におけるズーム倍率ｍと係数αとの関係を説明する。照度が確保されているときのズーム時の制御方法では、ズーム倍率が５０倍を超えるとα＝α２で固定していた。しかしながら照度が確保されていない場合には、画像処理部１９０は、αをα２から直線的に下げる。そして、ズーム倍率が１００倍、すなわちデジタル拡大倍率が４倍となったときにα＝０となるようにする。
【００７６】
これはノイズが目立つ撮影条件を考慮した処理である。すなわち、本実施形態による超解像処理は、高周波成分を抽出し、その成分量ｈに係数を乗じて補間画素の輝度値に加えることで、エッジ部の先鋭感を保っている。しかし、ノイズが多いときには高周波成分に占めるノイズの割合が多くなる上に、デジタル拡大倍率が上がるとそのノイズ自体も拡大される。従って、結果的に輪郭の先鋭感を補う効果よりも、ノイズが目立つことによる弊害の方が顕著になってしまう。そこで、ノイズが目立つ撮影条件においても、一定のズーム倍率以下では実施形態１と同様にエッジ部の先鋭感を保つようにでき、かつ、ノイズの大きさが目立つようなズーム倍率以上の場合には、係数αを徐々に下げて補正量δに含まれるノイズの量を減らすことで、ノイズが目立たないようにすることができる。
【００７７】
上述の説明から明らかなとおり、照度が確保されているときのズーム時のαの制御方法は、以下の数２によって示される。
【数２】
2011188481.tif 000004
【００７８】
照度に応じた値によって、上述の数１または数２によって係数αを求め、その係数αを用いて超解像補間画素を求めるための補正量δを求めることができる。
【００７９】
次に、図６を参照しながら、本実施形態にかかるデジタルビデオカメラ１００の処理の流れを説明する。
【００８０】
図６は、デジタルビデオカメラ１００の処理の手順を示すフローチャートである。
【００８１】
まずステップＳ１において、画像処理部１９０は、ＣＣＤイメージセンサー１８０を利用して得られた各画素の画素値を取得する。次のステップＳ２において、画像処理部１９０は、各画素の高周波成分ｈ、および、照度に応じた値を取得する。上述のように、本実施形態においては、照度に応じた値は、各画素の画素値の平均輝度を採用している。
【００８２】
ステップＳ３において、画像処理部１９０は、照度に応じた値が閾値以上か否かを判定する。照度に応じた値が閾値以上であれば、処理はステップＳ４に進み、そうでない場合には処理はステップＳ５に進む。
【００８３】
ステップＳ４は、画像処理部１９０は、現在のズーム倍率ｍ、および、数１に基づいて係数αを決定する。ステップＳ５では、画像処理部１９０は、現在のズーム倍率ｍ、および、数２に基づいて係数αを決定する。その後、それぞれの処理はステップＳ６に進む。
【００８４】
ステップＳ６では、画像処理部１９０は、δ＝αｋｈの乗算を行うことによって補正量δを決定する。係数ｋは、補正位置の周辺がエッジ部か平坦部かに応じて定まる値である。
【００８５】
ステップＳ７では、画像処理部１９０は、各画素の画素値から得られた輝度値に直線補間処理を行い、直線補間画素を生成する。
【００８６】
ステップＳ８では、画像処理部１９０は、直線補間画素の輝度値に補正量δを加算し、得られた値を超解像補間画素の画素値とする。
【００８７】
ステップＳ９では、画像処理部１９０は、算出した全ての画素値をコントローラー２１０に送る。コントローラー２１０は液晶モニタ２７０上に、ＣＣＤイメージセンサー１８０によって得られた各画素を表示し、さらに、超解像補間画素を表示する。
【００８８】
なお、図６によれば、照度に応じた値によって、数１または数２のいずれかが選択されている。しかしながら、照度に応じた値にかかわらず、図４に示す数１のα算出方法、および、図５に示す数２のα算出方法の一方のみでαを算出してもよい。
【００８９】
以上、本発明の実施形態を説明した。上述の実施形態の説明は一例であり、本発明は、これらには限定されない。
【００９０】
本実施形態にかかるデジタルカメラ１００の光学系及び駆動系は、図１に示すものに限定されない。例えば、図１では３群構成の光学系を例示しているが、他の群構成のレンズ構成としてもよい。また、それぞれのレンズは、１つのレンズで構成してもよく、複数のレンズから構成されるレンズ群として構成してもよい。
【００９１】
また、上述の実施形態では、撮像する手段として、ＣＣＤイメージセンサー１８０を例示したが、本発明はこれに限定されない。例えば、ＣＭＯＳイメージセンサーで構成してもよく、ＮＭＯＳイメージセンサーで構成してもよい。
【００９２】
また、上述の実施形態では、画素補間方法として直線補間を用いたが、これに限るものではない。例えばバイキュービック補間やスプライン補間を用いてもよい。
【００９３】
また、上述の実施形態では、光学ズーム領域での係数αとして正の一定値α１をもたせていたが、レンズによる先鋭感劣化があまり問題とならないような場合、α１＝０として光学ズーム領域では超解像処理の効果を出さないようにしてもよい。これによって超解像処理によるノイズの強調は光学ズーム領域では発生しないことになる。
【００９４】
また、上述の実施形態ではズーム倍率が５０倍を超えたところで、係数αを増加から一定値化、または減少させたが、この倍率は５０倍に限るものではない。
【００９５】
また、照度が確保されていないときのズーム時の制御方法では、ズーム倍率が５０倍を超えるとすぐに係数αを減少させるように制御した。しかしながら、別のズーム倍率ｍ２（５０＜ｍ２＜１００）に到達するまで一定値に保ち、その後で１００倍になるまでは係数αを減少させるように制御してもよい。それによって、照度が確保されているときのズーム時の制御方法による、映像を不自然にさせない効果と、照度が確保されていないときのズーム時の制御方法による、ノイズを目立たせない効果の２つの効果を適切に両立させることが可能となる。図７Ａは、この変形例によるズーム倍率ｍと係数αとの関係を表す。
【００９６】
さらに他の例を、図７Ｂおよび図７Ｃに示す。図７Ｂは、ズーム倍率が５０倍以上になったときに減少する図５の係数αの傾きと比較して、ズーム倍率が５０倍に達する前からより緩やかに係数αを減少させる例を示す。また、図７Ｃは、係数αを減少させる際の傾きを、照度に応じた値の大小で変更する例である。照度に応じた値が大きいほど（すなわち明るいほど）減少する傾きが急であり、照度に応じた値が小さいほど（すなわち暗いほど）減少する傾きが緩やかである。
【００９７】
また、上述の実施形態では光学最望遠倍率を２５倍、デジタル拡大処理を含めた最大の拡大倍率を１００倍とした。しかしながら、これらの倍率は一例であり、これに限るものでない。
【産業上の利用可能性】
【００９８】
本発明は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に適用できる。
【符号の説明】
【００９９】
１００  デジタルカメラ
１１０  ズームレンズ
１２０  検出器
１３０  ズームモータ
１４０  ＯＩＳ
１５０  ＯＩＳアクチュエータ
１６０  検出器
１７０  フォーカスレンズ
１８０  ＣＣＤイメージセンサー
１９０  画像処理部
２００  メモリ
２１０  コントローラー
２２０  ジャイロセンサー
２３０  カードスロット
２４０  メモリカード
２５０  操作部
２６０  ズームレバー
２７０  液晶モニタ
２８０  内部メモリ
【図１】
2011188481.tif 000005
【図２】
2011188481.tif 000006
【図３】
2011188481.tif 000007
【図４】
2011188481.tif 000008
【図５】
2011188481.tif 000009
【図６】
2011188481.tif 000010
【図７Ａ】
2011188481.tif 000011
【図７Ｂ】
2011188481.tif 000012
【図７Ｃ】
2011188481.tif 000013