(57)【要約】【課題】背景に対して移動している被写体であっても、光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像を生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】被写体が撮像されるとき、被写体の画像が示された映像信号を生成する撮像素子１１と、映像信号を増幅する増幅回路１２と、被写体が撮像されるとき、レンズの光軸のズレ軌跡を検出するブレ軌跡検出回路１８と、レンズの光軸のズレ軌跡に基づいて補正信号を生成する補正信号生成回路１９と、補正信号の振幅を調整する振幅制御回路２０と、振幅が調整された補正信号を用いて増幅された映像信号の画像処理を実行する補正演算回路１４とを備える。【選択図】図１
2007295373.tif 000002
【特許請求の範囲】
【請求項１】
レンズを介して被写体が撮像されるとき、前記被写体の画像が示された映像信号を生成する映像信号生成手段と、
前記映像信号を増幅する増幅手段と、
前記被写体が撮像されるとき、前記レンズの光軸のズレ軌跡を検出するブレ軌跡検出手段と、
前記レンズの光軸のズレ軌跡に基づいて補正信号を生成する補正信号生成手段と、
前記補正信号の振幅を調整する振幅制御手段と、
前記振幅が調整された補正信号を用いて前記増幅された映像信号の画像処理を実行する補正演算手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記振幅制御手段は、前記映像信号が増幅される利得に基づいて前記補正信号の振幅を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記振幅制御手段は、前記映像信号が増幅される利得が大きくなるにつれて前記補正信号の振幅を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像の画素毎に明暗比率を検出する明暗比率検出手段を備え、
前記振幅制御手段は、前記明暗比率に基づいて前記補正信号の振幅を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記振幅制御手段は、前記明暗比率が小さくなるにつれて前記補正信号の振幅を小さくすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記振幅制御手段は、前記映像信号が増幅される利得が大きくかつ前記明暗比率が小さいとき、前記補正信号の振幅を小さくすることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記映像信号が増幅される利得と前記補正信号の振幅との関係が、関数で定義され、
前記振幅制御手段は、前記映像信号が増幅される利得と前記関数に基づいて前記補正信号の振幅を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記関数の傾きが負であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像の画素毎に明暗比率を検出する明暗比率検出手段を備え、
前記明暗比率と前記補正信号の振幅との関係が、関数で定義され、
前記振幅制御手段は、前記明暗比率と前記関数に基づいて前記補正信号の振幅を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記関数の傾きが正であることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像の画素毎に、隣接の画素を含めたウインドウが定義され、
前記明暗比率検出手段は、前記画像の画素毎に、前記ウインドウ内の輝度の最大値と最小値で明暗比率を算出することを特徴とする請求項９または請求項１０に記載の画像処理装置。
【請求項１２】
前記補正演算手段は、前記映像信号に前記補正信号を加算することを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
レンズを介して被写体が撮像されるとき、前記被写体の画像が示された映像信号を生成する映像信号生成ステップと、
前記映像信号を増幅する増幅ステップと、
前記被写体が撮像されるとき、前記レンズの光軸のズレ軌跡を検出するブレ軌跡検出ステップと、
前記レンズの光軸のズレ軌跡に基づいて補正信号を生成する補正信号生成ステップと、
前記補正信号の振幅を調整する振幅制御ステップと、
前記振幅が調整された補正信号を用いて前記増幅された映像信号の画像処理を実行する補正演算ステップとを備えることを特徴とする画像処理方法。
【請求項１４】
前記振幅制御手段は、前記映像信号が増幅される利得に基づいて前記補正信号の振幅を調整することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記振幅制御ステップでは、前記映像信号が増幅される利得が大きくなるにつれて前記補正信号の振幅を小さくすることを特徴とする請求項１３に記載の画像処理方法。
【請求項１６】
前記画像の画素毎に明暗比率を検出する明暗比率検出ステップを備え、
前記振幅制御ステップでは、前記明暗比率に基づいて前記補正信号の振幅を調整することを特徴とする請求項１３に記載の画像処理方法。
【請求項１７】
前記振幅制御ステップでは、前記明暗比率が小さくなるにつれて前記補正信号の振幅を小さくすることを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
前記振幅制御ステップでは、前記映像信号が増幅される利得が大きくかつ前記明暗比率が小さいとき、前記補正信号の振幅を小さくすることを特徴とする請求項１６に記載の画像処理方法。
【請求項１９】
前記映像信号が増幅される利得と前記補正信号の振幅との関係が、関数で定義され、
前記振幅制御ステップでは、前記映像信号が増幅される利得と前記関数に基づいて前記補正信号の振幅を調整することを特徴とする請求項１３に記載の画像処理方法。
【請求項２０】
前記関数の傾きが負であることを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記画像の画素毎に明暗比率を検出する明暗比率検出ステップを備え、
前記明暗比率と前記補正信号の振幅との関係が、関数で定義され、
前記振幅制御ステップでは、前記明暗比率と前記関数に基づいて前記補正信号の振幅を調整することを特徴とする請求項１３に記載の画像処理方法。
【請求項２２】
前記関数の傾きが正であることを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
前記画像の画素毎に、隣接の画素を含めたウインドウが定義され、
前記明暗比率検出ステップでは、前記画像の画素毎に、前記ウインドウ内の輝度の最大値と最小値で明暗比率を算出することを特徴とする請求項２１または請求項２２に記載の画像処理方法。
【請求項２４】
前記補正演算ステップでは、前記映像信号に前記補正信号を加算することを特徴とする請求項１３に記載の画像処理方法。
【請求項２５】
コンピュータに、ブレ軌跡に基づいて補正信号を生成する補正信号生成手段と、映像信号が増幅される利得に基づいて前記補正信号の振幅を調整する振幅制御手段と、前記振幅が調整された補正信号を用いて前記映像信号の画像処理を実行する補正演算手段とを機能させるための画像処理プログラム。
【請求項２６】
コンピュータに、映像信号を取得する映像信号取得ステップと、前記映像信号が増幅された利得を取得する利得取得ステップと、ブレ軌跡を取得するブレ軌跡取得ステップと、前記ブレ軌跡に基づいて補正信号を生成する補正信号生成ステップと、前記映像信号が増幅された利得に基づいて前記補正信号の振幅を調整する振幅制御ステップと、前記振幅が調整された補正信号を用いて前記映像信号の画像処理を実行する補正演算ステップとを実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光軸のブレに応じて画像を補正する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来の画像処理装置は、図１０に示すように、被写体の画像が示された映像信号を生成する撮像素子１と、映像信号を増幅し、増幅された映像信号を生成する増幅回路２と、増幅された映像信号からデジタル映像信号を生成するアナログデジタル変換回路（以下、単にＡ／Ｄ変換回路という）３と、デジタル映像信号にホワイトバランス処理や補間処理（撮像素子１が単板の場合には、画素毎にＲＧＢの各データを確保するための補間処理が必要）を実行する信号処理回路４と、複数フレームのデジタル画像データを格納する画像バッファメモリ５と、最初に撮像されたフレームのデジタル画像データとその後に撮像された複数フレームのデジタル画像データとを比較し、被写体の画像上の位置ズレを検出する位置ズレ検出回路６と、フレーム毎にデジタル画像データが格納されるメモリ領域を切り換えるスイッチ８と、被写体の画像上の位置ズレに基づいてデジタル画像データを補正するＣＰＵ７とを備えている（例えば、特許文献１参照）。
【０００３】
図１１の（ａ）乃至（ｇ）を参照し、従来の画像処理装置の動作について説明する。
【０００４】
図１１（ａ）に示すように、露光時間ｔで１フレームの画像を生成するとき、光軸がＬ１からＬ２に移動し、幅Ｗ１だけ被写体の画像上の位置ズレが発生したとする。一方、図１１（ｂ）に示すように、露光時間ｔ／４で４フレームの画像を生成するとき、光軸がＬ３からＬ７に移動し、１フレーム毎に幅Ｗ２だけ被写体の画像上の位置ズレが発生したとする。
【０００５】
図１１（ａ）（ｂ）において比較したように露光時間を短くすると被写体の画像上の位置ズレを１／４に抑えることができるが、露光時間を短くすると、信号レベルが１／４に低下するので、４倍に増幅され、４フレームのデジタル画像データが画像バッファメモリ５に格納される。一方、画像バッファメモリ５から読み出された４フレームのデジタル画像データから被写体の画像上の位置ズレが検出され、被写体の画像上の位置ズレが補正された１フレームのデジタル画像データが生成される。
【特許文献１】特開２００４−２６６６４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の画像処理装置においては、背景に対する被写体の位置関係が異なる４フレームのデジタル画像データから１フレームのデジタル画像データを生成すると、画像が４重にぶれてしまうという問題があった。
【０００７】
本発明は、従来の問題を解決するためになされたもので、背景に対して移動している被写体であっても、比較的良好な画像を生成することができる画像処理装置、画像処理方法および画像処理プログラムを提供するものである。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、レンズを介して被写体が撮像されるとき、前記被写体の画像が示された映像信号を生成する映像信号生成手段と、前記映像信号を増幅する増幅手段と、前記被写体が撮像されるとき、前記レンズの光軸のズレ軌跡を検出するブレ軌跡検出手段と、前記レンズの光軸のズレ軌跡に基づいて補正信号を生成する補正信号生成手段と、前記補正信号の振幅を調整する振幅制御手段と、前記振幅が調整された補正信号を用いて前記増幅された映像信号の画像処理を実行する補正演算手段とを備える構成を有している。
【０００９】
この構成により、光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像を生成することができる。
【００１０】
また、本発明の画像処理装置は、前記振幅制御手段が、前記映像信号が増幅される利得に基づいて前記補正信号の振幅を調整する構成を有している。
【００１１】
この構成により、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００１２】
また、本発明の画像処理装置は、前記振幅制御手段が、前記映像信号が増幅される利得が大きくなるにつれて前記補正信号の振幅を小さくする構成を有している。
【００１３】
この構成により、暗い被写体の画像であっても、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００１４】
本発明の画像処理装置は、前記画像の画素毎に明暗比率を検出する明暗比率検出手段を備え、前記振幅制御手段は、前記明暗比率に基づいて前記補正信号の振幅を調整する構成を有している。
【００１５】
この構成により、明暗の変化の少ない箇所であっても、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００１６】
本発明の画像処理装置は、前記振幅制御手段が、前記明暗比率が小さくなるにつれて前記補正信号の振幅を小さくする構成を有している。
【００１７】
この構成により、明暗の変化の少ない箇所であっても、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００１８】
本発明の画像処理装置は、前記振幅制御手段が、前記映像信号が増幅される利得が大きくかつ前記明暗比率が小さいとき、前記補正信号の振幅を小さくする構成を有している。
【００１９】
この構成により、暗い被写体の画像で明暗の変化の少ない箇所であっても、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００２０】
本発明の画像処理装置は、前記映像信号が増幅される利得と前記補正信号の振幅との関係が、関数で定義され、前記振幅制御手段は、前記映像信号が増幅される利得と前記関数に基づいて前記補正信号の振幅を調整する構成を有している。
【００２１】
この構成により、映像信号が増幅される利得から補正信号の振幅を算出することができる。
【００２２】
本発明の画像処理装置は、前記関数の傾きが負である構成を有している。
【００２３】
この構成により、映像信号が増幅される利得が大きいときには小さい振幅の補正信号を、映像信号が増幅される利得が小さいときには大きい振幅の補正信号を生成することができる。
【００２４】
また、本発明の画像処理装置は、前記画像の画素毎に明暗比率を検出する明暗比率検出手段を備え、前記明暗比率と前記補正信号の振幅との関係が、関数で定義され、前記振幅制御手段は、前記明暗比率と前記関数に基づいて前記補正信号の振幅を調整する構成を有している。
【００２５】
この構成により、明暗比率から補正信号の振幅を算出することができる。
【００２６】
また、本発明の画像処理装置は、前記関数の傾きが正である構成を有している。
【００２７】
この構成により、明暗の変化が大きい箇所には小さい振幅の補正信号を、明暗の変化が小さい箇所には大きい振幅の補正信号を生成することができる。
【００２８】
本発明の画像処理装置は、前記画像の画素毎に、隣接の画素を含めたウインドウが定義され、前記明暗比率検出手段は、前記画像の画素毎に、前記ウインドウ内の輝度の最大値と最小値で明暗比率を算出する構成を有している。
【００２９】
この構成により、画素毎に算出される明暗比率で画素毎に補正信号の振幅を調整することができる。
【００３０】
また、本発明の画像処理装置は、前記補正演算手段が、前記映像信号に前記補正信号を加算する構成を有している。
【００３１】
この構成により、明暗の変化の大きい箇所を強調することができる。
【００３２】
本発明の画像処理方法は、レンズを介して被写体が撮像されるとき、前記被写体の画像が示された映像信号を生成する映像信号生成ステップと、前記映像信号を増幅する増幅ステップと、前記被写体が撮像されるとき、前記レンズの光軸のズレ軌跡を検出するブレ軌跡検出ステップと、前記レンズの光軸のズレ軌跡に基づいて補正信号を生成する補正信号生成ステップと、前記補正信号の振幅を調整する振幅制御ステップと、前記振幅が調整された補正信号を用いて前記増幅された映像信号の画像処理を実行する補正演算ステップとを備える構成を有している。
【００３３】
この構成により、光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像を生成することができる。
【００３４】
本発明の画像処理方法は、前記振幅制御ステップが、前記映像信号が増幅される利得に基づいて前記補正信号の振幅を調整する構成を有している。
【００３５】
この構成により、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００３６】
本発明の画像処理方法は、前記振幅制御ステップでは、前記映像信号が増幅される利得が大きくなるにつれて前記補正信号の振幅を小さくする構成を有している。
【００３７】
この構成により、暗い画像であっても、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００３８】
本発明の画像処理方法は、前記画像の画素毎に明暗比率を検出する明暗比率検出ステップを備え、前記振幅制御ステップでは、前記明暗比率に基づいて前記補正信号の振幅を調整する構成を有している。
【００３９】
この構成により、明暗の変化の少ない箇所であっても、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００４０】
また、本発明の画像処理方法は、前記振幅制御ステップでは、前記明暗比率が小さくなるにつれて前記補正信号の振幅を小さくする構成を有している。
【００４１】
この構成により、明暗の変化の少ない箇所であっても、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００４２】
また、本発明の画像処理方法は、前記振幅制御ステップでは、前記映像信号が増幅される利得が大きくかつ前記明暗比率が小さいとき、前記補正信号の振幅を小さくする構成を有している。
【００４３】
この構成により、明暗の変化の少ない箇所であっても、ノイズを視覚的に目立たせないで比較的良好な画像を生成することができる。
【００４４】
また、本発明の画像処理方法は、前記映像信号が増幅される利得と前記補正信号の振幅との関係が、関数で定義され、前記振幅制御ステップでは、前記映像信号が増幅される利得と前記関数に基づいて前記補正信号の振幅を調整する構成を有している。
【００４５】
この構成により、映像信号が増幅される利得から補正信号の振幅を算出することができる。
【００４６】
また、本発明の画像処理方法は、前記関数の傾きが負である構成を有している。
【００４７】
この構成により、映像信号が増幅される利得が大きいときには小さい振幅の補正信号を、映像信号が増幅される利得が小さいときには大きい振幅の補正信号を生成することができる。
【００４８】
また、本発明の画像処理方法は、前記画像の画素毎に明暗比率を検出する明暗比率検出ステップを備え、前記明暗比率と前記補正信号の振幅との関係が、関数で定義され、前記振幅制御ステップでは、前記明暗比率と前記関数に基づいて前記補正信号の振幅を調整する構成を有している。
【００４９】
この構成により、明暗比率から補正信号の振幅を算出することができる。
【００５０】
また、本発明の画像処理方法は、前記関数の傾きが正である構成を有している。
【００５１】
この構成により、明暗の変化が大きい箇所には小さい振幅の補正信号を、明暗の変化が小さい箇所には大きい振幅の補正信号を生成することができる。
【００５２】
また、本発明の画像処理方法は、前記画像の画素毎に、隣接の画素を含めたウインドウが定義され、前記明暗比率検出ステップでは、前記画像の画素毎に、前記ウインドウ内の輝度の最大値と最小値で明暗比率を算出する構成を有している。
【００５３】
この構成により、画素毎に算出される明暗比率で画素毎に補正信号の振幅を調整することができる。
【００５４】
また、本発明の画像処理方法は、前記補正演算ステップでは、前記映像信号に前記補正信号を加算する構成を有している。
【００５５】
この構成により、明暗の変化の大きい箇所を強調することができる。
【００５６】
また、本発明の画像処理プログラムは、コンピュータに、ブレ軌跡に基づいて補正信号を生成する補正信号生成手段と、映像信号が増幅される利得に基づいて前記補正信号の振幅を調整する振幅制御手段と、前記振幅が調整された補正信号を用いて前記映像信号の画像処理を実行する補正演算手段とを機能させる構成を有している。
【００５７】
この構成により、コンピュータに光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像を生成することができる。
【００５８】
また、本発明の画像処理プログラムは、コンピュータに、映像信号を取得する映像信号取得ステップと、前記映像信号が増幅された利得を取得する利得取得ステップと、ブレ軌跡を取得するブレ軌跡取得ステップと、前記ブレ軌跡に基づいて補正信号を生成する補正信号生成ステップと、前記映像信号が増幅された利得に基づいて前記補正信号の振幅を調整する振幅制御ステップと、前記振幅が調整された補正信号を用いて前記映像信号の画像処理を実行する補正演算ステップとを実行させる構成を有している。
【００５９】
この構成により、コンピュータに光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像を生成することができる。
【発明の効果】
【００６０】
本発明は、レンズを介して被写体が撮像されるとき、被写体の画像が示された映像信号を生成する映像信号生成手段と、映像信号を増幅する増幅手段と、被写体が撮像されるとき、レンズの光軸のズレ軌跡を検出するブレ軌跡検出手段と、レンズの光軸のズレ軌跡に基づいて補正信号を生成する補正信号生成手段と、補正信号の振幅を調整する振幅制御手段と、振幅が調整された補正信号を用いて増幅された映像信号の画像処理を実行する補正演算手段とを備えることにより、光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像を生成することができるという効果を有する画像処理装置を提供することができるものである。
【発明を実施するための最良の形態】
【００６１】
以下、図面を参照し、本発明の実施の形態の画像処理装置について説明する。
【００６２】
（第１の実施の形態）
図１は、本発明の第１の実施の形態の画像処理装置の構成が示されたブロック図である。
【００６３】
画像処理装置は、図１に示すように、レンズを介して被写体が撮像されるとき、被写体の画像が示された映像信号を生成する撮像素子１１と、映像信号を増幅する増幅回路１２と、映像信号が増幅される利得を制御する利得制御回路１７と、増幅された映像信号をアナログからデジタルに変換し、デジタル映像信号を生成するＡ／Ｄ変換回路１３と、被写体が撮像されるとき、レンズの光軸のズレ軌跡を検出するブレ軌跡検出回路１８と、レンズの光軸のズレ軌跡に基づいて補正信号を生成する補正信号生成回路１９と、補正信号の振幅を調整する振幅制御回路２０と、振幅が調整された補正信号を用いてデジタル映像信号の画像処理を実行する補正演算回路１４と、映像信号にガンマ補正やエッジ強調などの信号処理（撮像素子１１が単板の場合には、画素毎にＲＧＢの各データを確保するための補間処理が必要）を実行する信号処理回路１５と、信号処理されたデジタル映像信号が表わす画像を画面に表示する画像表示部１６とを備えている。
【００６４】
振幅制御回路２０は、映像信号が増幅される利得を利得制御回路１７から取得し、映像信号が増幅される利得に基づいて補正信号の振幅を調整するようになっている。
【００６５】
また、映像信号が増幅される利得と補正信号の振幅との関係は、図２に示すように、例えば一次関数で定義され、振幅制御回路２０が、映像信号が増幅される利得と関数に基づいて補正信号の振幅を調整するようになっている。この関数の傾きを負とし、映像信号が増幅される利得が大きくなるにつれて補正信号の振幅を小さくするようにしている。
【００６６】
本実施例では、映像信号が増幅される利得と補正信号の振幅との関係を関数で定義しているが、映像信号が増幅される利得が大きくなるにつれて補正信号の振幅を小さくし、ノイズが目立たないように関数を定義すればよい。
【００６７】
補正演算回路１４は、デジタル映像信号に補正信号を加算するようになっている。
【００６８】
次に、図３（ａ）乃至（ｆ）を参照し、本発明の第１の実施の形態の画像処理装置の動作について説明する。
【００６９】
光軸がぶれているときには、点像分布関数の高周波成分が減衰することが一般に知られており、点像分布関数の逆特性のフィルタ処理を実行し、減衰した点像分布関数の高周波成分を補正する装置が特開昭５９−７５０４０号公報に開示されている。また、高周波成分を回復させるフィルタ特性が特開昭５９−７５０４０号公報に開示されている。
【００７０】
光軸がぶれているときには、光軸がぶれていないときの映像信号（図３（ａ）参照）の勾配よりも緩やかな勾配の映像信号（図３（ｂ）参照）が撮像素子１１から出力される。次いで、増幅回路１２で増幅された映像信号からデジタル画像データがＡ／Ｄ変換回路１３によって生成される。
【００７１】
特に、被写体が暗い場所で撮像されたときの映像信号は振幅が小さく、大きい利得で増幅され、ノイズも増幅されているので、映像信号から生成される補正信号（図３（ｃ）参照）のノイズも目立っている。
【００７２】
高周波成分を多く含んでいる補正信号（図３（ｃ）参照）を映像信号（図３（ｂ）参照）に加算すると、映像信号（図３（ｄ）参照）のようにノイズが目立ち、画質が悪化されるという問題が発生するので、映像信号が増幅された利得を用いて補正信号の振幅が調整される。
【００７３】
特に、被写体が暗い場所で撮像されたときの映像信号は振幅が小さいので、大きい利得で増幅されるが、ノイズも増幅されて画質の悪化が顕著となる。そこで、図２に示すように、増幅回路１２の利得がＧ１からＧ２に大きくなるときには、補正回路の振幅をｇ１からｇ２に下げるように振幅制御回路２０で制御し、ノイズを目立たせないで比較的良好な画像を生成することができる。
【００７４】
以上説明したように、本発明の第１の実施の形態の画像処理装置は、レンズを介して被写体が撮像されるとき、被写体の画像が示された映像信号を生成する撮像素子と、映像信号を増幅する増幅回路と、被写体が撮像されるとき、レンズの光軸のズレ軌跡を検出するブレ軌跡検出回路と、レンズの光軸のズレ軌跡に基づいて補正信号を生成する補正信号生成回路と、補正信号の振幅を調整する振幅制御回路と、振幅が調整された補正信号を用いて増幅回路からの映像信号の画像処理を実行する補正演算回路とを備えているので、光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像を生成することができる。
【００７５】
また、振幅制御回路が、映像信号が増幅される利得ｇが増加するとき、補正信号の振幅Ｇを減少させ、映像信号が増幅される利得ｇが減少するとき、補正信号の振幅Ｇを増加させるので、ノイズを目立たせないで比較的良好な画像を得ることができる。
【００７６】
また、本実施の形態の画像処理装置は、映像信号が増幅される利得と補正信号の振幅との関係が、関数で定義され、振幅制御回路は、映像信号が増幅される利得と関数に基づいて補正信号の振幅を調整するので、映像信号が増幅される利得から補正信号の振幅を簡単に調整することができる。
【００７７】
また、本実施の形態の画像処理装置は、関数の傾きが負なので、映像信号が増幅される利得が大きいときには小さい振幅の補正信号を、映像信号が増幅される利得が小さいときには大きい振幅の補正信号を生成することができる。
【００７８】
また、本実施の形態の画像処理装置は、補正演算回路が、映像信号に補正信号を加算するので、被写体の輪郭などのように明暗の変化のあるところでありながら光軸のズレで高周波成分が低下している箇所を強調することができる。
【００７９】
本実施の形態の画像処理装置の構成要素をＣＰＵ（コンピュータ）に置き換えてもよい。
【００８０】
画像処理プログラムは、コンピュータに、ブレ軌跡に基づいて補正信号を生成する補正信号生成手段と、映像信号が増幅される利得に基づいて補正信号の振幅を調整する振幅制御手段と、振幅が調整された補正信号を用いて増幅された映像信号の画像処理を実行する補正演算手段とを機能させる。
【００８１】
また、画像処理プログラムを以下のように定義してもよい。
【００８２】
画像処理プログラムは、コンピュータに、増幅回路１２とＡ／Ｄ変換回路１３を経由して撮像素子１１から映像信号を取得する映像信号取得ステップと、増幅回路１２から映像信号が増幅された利得を取得する利得取得ステップと、ブレ軌跡検出回路１８からブレ軌跡を取得するブレ軌跡取得ステップと、ブレ軌跡に基づいて補正信号を生成する補正信号生成ステップと、映像信号が増幅される利得に基づいて補正信号の振幅を調整する振幅制御ステップと、振幅が調整された補正信号を用いて映像信号の画像処理を実行する補正演算ステップとを実行させる。
【００８３】
次に、図４を参照し、ＣＰＵに置き換えられた場合の画像処理装置の動作について説明する。
【００８４】
増幅回路１２から映像信号が増幅された利得が取得される（ステップＳ４１）。次いで、ブレ軌跡検出回路１８からブレ軌跡が取得される（ステップＳ４２）。次いで、ブレ軌跡からブレ補正関数が生成される（ステップＳ４３）。次いで、ブレ補正関数と映像信号から補正信号が生成される（ステップＳ４４）。次いで、補正信号の振幅が算出される（ステップＳ４５）。次いで、補正信号の振幅が調整される（ステップＳ４６）。最後に、補正信号が映像信号に加算される（ステップＳ４７）。
【００８５】
以上説明したように、本実施の形態の画像処理プログラムは、コンピュータに、増幅回路１２とＡ／Ｄ変換回路１３とを経由して撮像素子１１から映像信号を取得する映像信号取得ステップと、増幅回路１２から映像信号が増幅された利得を取得する利得取得ステップと、ブレ軌跡検出回路１８からブレ軌跡を取得するブレ軌跡取得ステップと、ブレ軌跡に基づいて補正信号を生成する補正信号生成ステップと、映像信号が増幅される利得に基づいて補正信号の振幅を調整する振幅制御ステップと、振幅が調整された補正信号を用いて映像信号の画像処理を実行する補正演算ステップとを実行させるので、光軸のズレ軌跡に基づいて生成された補正信号でブレ画像を比較的良好な画像に補正することができる。
【００８６】
（第２の実施の形態）
図５を参照し、本発明の第２の実施の形態に係る画像処理装置の構成について説明する。
【００８７】
第２の実施の形態に係る画像処理装置の構成要素は、明暗比率検出回路２７を除いて第１の実施の形態に係る画像処理装置の構成要素と同じであり、第１の実施の形態に係る画像処理装置の構成要素と同じものには同じ符号を付して説明を省略する。
【００８８】
画像処理装置は、図５に示すように、撮像素子１１と、増幅回路１２と、Ａ／Ｄ変換回路１３と、補正演算回路１４と、信号処理回路１５と、画像表示部１６と、ブレ軌跡検出回路１８と、補正信号生成回路１９と、明暗比率検出回路２７と、振幅制御回路２８とを備えている。
【００８９】
明暗比率検出回路２７は、Ａ／Ｄ変換回路１３からデジタル映像信号を取得し、画素毎に明暗比率Ｒを算出し、算出した明暗比率Ｒを振幅制御回路２８に出力するようになっている。
【００９０】
本実施例では、図８に示すように、当該画素を中心にして水平３画素×垂直３ラインのウインドウを定義し、当該画素の明暗比率Ｒを式（１）で算出している。
【００９１】
明暗比率Ｒ＝（画素ａ乃至ｉの内の輝度の最大値）
／（画素ａ乃至ｉの内の輝度の最小値）    ・・・（１）
一方、補正信号生成回路１９は、Ａ／Ｄ変換回路１３からデジタル映像信号を取得し、光軸のズレ軌跡とデジタル映像信号から補正信号を生成し、生成した補正信号を振幅制御回路２８に出力するようになっている。
【００９２】
振幅制御回路２８は、明暗比率Ｒと利得Ｇとの関係（図６参照）が示されたデータを有し、明暗比率検出回路２７から取得する明暗比率Ｒに対応する利得Ｇで補正信号の振幅を補正し、振幅を補正した補正信号を補正演算回路１４に出力するようになっている。
【００９３】
補正演算回路１４は、Ａ／Ｄ変換回路１３からデジタル映像信号を取得し、デジタル映像信号に補正信号を加算するようになっている。
【００９４】
次いで、図７を参照し、本発明の第２の実施の形態に係る画像処理装置の利得制御動作について説明する。
【００９５】
光軸がぶれているときには、光軸がぶれていないときの映像信号（図７（ａ）参照）の勾配よりも緩やかな勾配の映像信号（図７（ｂ）参照）が撮像素子１１から出力される。次いで、増幅回路１２で増幅された映像信号からデジタル画像データがＡ／Ｄ変換回路１３によって生成される。図７（ａ）及び（ｂ）に示された映像信号の水平方向は空間の方向を、垂直方向は映像信号のレベルを表わすものとする。
【００９６】
一方、光軸のブレ軌跡がブレ軌跡検出回路１８によって検出される。次いで、光軸のブレ軌跡からブレ補正関数が生成され、ブレ補正関数から補正信号（図７（ｃ）参照）が補正信号生成回路１９によって生成される。次いで、明暗比率に応じて補正信号の振幅が調整され、振幅が調整された補正信号（図７（ｅ）参照）が補正演算回路１４に出力される。次いで、補正演算回路１４では、映像信号に補正信号が加算され、補正信号が加算されたノイズ低減された映像信号（図７（ｆ）参照）が出力される。
【００９７】
高周波成分を多く含んでいる補正信号（図７（ｃ）参照）を映像信号（図７（ｂ）参照）に加算すると、映像信号（図７（ｄ）参照）のようにノイズが目立ち、画質が悪化されるという問題が発生するので、明暗比率に応じて補正信号の振幅が画素毎に調整される。
【００９８】
特に、被写体が暗い場所で撮像されたときの映像信号は振幅が小さく、大きい利得で増幅され、ノイズも増幅されているので、映像信号から生成される補正信号（図７（ｃ）参照）のノイズも目立っている。
【００９９】
高周波成分を多く含んでいる補正信号（図３（ｃ）参照）を映像信号（図３（ｂ）参照）に加算すると、映像信号（図３（ｄ）参照）のようにノイズが目立ち、画質が悪化されるという問題が発生するので、明暗比率に応じて補正信号の振幅が画素毎に調整される。
【０１００】
特に、被写体が暗い場所で撮像されたときの映像信号は振幅が小さいので、大きい利得で増幅されるが、ノイズも増幅されて画質の悪化が顕著となる。そこで、図６に示すように、明暗比率がＲ１からＲ２に大きくなるときには、補正回路の振幅をＧ２からＧ１に上げるように振幅制御回路２０で制御し、ノイズを目立たせないで比較的良好な画像を生成することができる。
【０１０１】
以上説明したように、本実施の形態の画像処理装置は、補正信号生成回路が、光軸のズレ軌跡とデジタル映像信号から補正信号を生成し、振幅制御回路が、明暗比率Ｒに対応する利得Ｇで補正信号の振幅を補正するので、この補正信号で比較的良好な画像を生成することができる。
【０１０２】
本実施の形態の画像処理装置の構成要素はＣＰＵ（コンピュータ）に置き換えてもよい。
【０１０３】
画像処理プログラムは、コンピュータに、ブレ軌跡に基づいて補正信号を生成する補正信号生成手段と、画素毎に明暗比率を検出する明暗比率検出手段と、明暗比率に基づいて補正信号の振幅を調整する振幅制御手段と、振幅が調整された補正信号を用いて増幅された映像信号の画像処理を実行する補正演算手段とを機能させる。
【０１０４】
また、画像処理プログラムを以下のように定義してもよい。
【０１０５】
画像処理プログラムは、コンピュータに、増幅回路とＡ／Ｄ変換回路を経由して撮像素子から映像信号を取得する映像信号取得ステップと、画素毎に明暗比率を検出する明暗比率検出ステップと、ブレ軌跡検出回路からブレ軌跡を取得するブレ軌跡取得ステップと、ブレ軌跡に基づいて補正信号を生成する補正信号生成ステップと、明暗比率に基づいて補正信号の振幅を調整する振幅制御ステップと、振幅が調整された補正信号を用いて映像信号の画像処理を実行する補正演算ステップとを実行させる。
【０１０６】
次に、図９を参照し、ＣＰＵに置き換えられた場合の画像処理装置の動作について説明する。
【０１０７】
ブレ軌跡検出回路１８からブレ軌跡が取得される（ステップＳ９１）。次いで、各画素毎に水平３画素×垂直３ラインのウインドウで明暗比率が算出される（ステップＳ９２）。次いで、ブレ軌跡からブレ補正関数が生成される（ステップＳ９３）。次いで、ブレ補正関数と映像信号から補正信号が生成される（ステップＳ９４）。次いで、明暗比率に応じて補正信号の振幅が画素毎に調整される（ステップＳ９５）。最後に、補正信号が映像信号に加算される（ステップＳ９６）。
【０１０８】
以上説明したように、本実施の形態の画像処理プログラムは、コンピュータに、増幅回路とＡ／Ｄ変換回路を経由して撮像素子から映像信号を取得する映像信号取得ステップと、画素毎に明暗比率を検出する明暗比率検出ステップと、ブレ軌跡検出回路からブレ軌跡を取得するブレ軌跡取得ステップと、ブレ軌跡に基づいて補正信号を生成する補正信号生成ステップと、明暗比率に基づいて補正信号の振幅を調整する振幅制御ステップと、振幅が調整された補正信号を用いて映像信号の画像処理を実行する補正演算ステップとを実行させるので、光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像を生成することができる。
【０１０９】
本実施例では、式（１）で明暗比率を求めたが、明暗比率の算出方法に式（１）に限定するものではない。明暗比率が算出される３画素×３ラインのウインドウは一例である。
【０１１０】
また、本実施例では、補正信号を映像信号に加算したが、補正信号を映像信号に加算することに限定するものではない。
【０１１１】
ブレ軌跡検出回路は、角速度センサ等によって構成されてもよい。
【産業上の利用可能性】
【０１１２】
本発明にかかる画像処理装置、撮像方法および画像処理プログラムは、被写体が移動物体であっても、光軸のズレ軌跡に基づいて生成された補正信号で比較的良好な画像に補正することができるという効果を有し、カメラ機能を備えた携帯電話やデジタルカメラ等に有用である。
【図面の簡単な説明】
【０１１３】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成が示されたブロック図
【図２】本発明の第１の実施の形態に係る画像処理装置において、映像信号が増幅される利得と補正信号の振幅との関係の一例が示された図
【図３】本発明の第１の実施の形態に係る画像処理装置の画像処理で被写体の輪郭などの明暗の変化が顕著な部分を補正することが示された図
【図４】本発明の第１の実施の形態に係る画像処理装置がＣＰＵで構成された場合のフローチャート
【図５】本発明の第２の実施の形態に係る画像処理装置の構成が示されたブロック図
【図６】本発明の第２の実施の形態に係る画像処理装置において、明暗比率と補正信号の振幅との関係の一例が示された図
【図７】本発明の第２の実施の形態に係る画像処理装置の画像処理で被写体の輪郭などの明暗の変化が顕著な部分を補正することが示された図
【図８】本発明の第２の実施の形態に係る画像処理装置で、画素毎に明暗比率が算出されるウインドウの一例が示された図
【図９】本発明の第２の実施の形態に係る画像処理装置がＣＰＵで構成された場合のフローチャート
【図１０】従来の画像補正装置の概略構成が示されたブロック図
【図１１】従来の画像補正装置の動作が模式的に示された図
【符号の説明】
【０１１４】
１  撮像素子
２  増幅回路
３  Ａ／Ｄ変換回路
４  信号処理回路
５  画像バッファメモリ
６  位置ズレ検出回路
７  ＣＰＵ
８  スイッチ
１１  撮像素子（映像信号生成手段）
１２  増幅回路（増幅手段）
１３  Ａ／Ｄ変換回路
１４  補正演算回路（補正演算手段）
１５  信号処理回路
１６  画像表示部
１７  利得制御回路
１８  ブレ軌跡検出回路（ブレ軌跡検出手段）
１９  補正信号生成回路（補正信号生成手段）
２０、２８  振幅制御回路（振幅制御手段）
２７  明暗比率検出回路（明暗比率検出手段）
【図１】
2007295373.tif 000003
【図２】
2007295373.tif 000004
【図３】
2007295373.tif 000005
【図４】
2007295373.tif 000006
【図５】
2007295373.tif 000007
【図６】
2007295373.tif 000008
【図７】
2007295373.tif 000009
【図８】
2007295373.tif 000010
【図９】
2007295373.tif 000011
【図１０】
2007295373.tif 000012
【図１１】
2007295373.tif 000013