(57)【要約】【課題】  手振れ等の振動により画像に生じた影響を打ち消すための補正を行う際、その補正限界を超えた画像については過度な補正とならないよう補正量を調整する。【解決手段】  手振れ検出部１１０は画像処理装置１００に加えられた振動を検出して振動量を出力する。手振れ補正量算出部１２０は振動の影響を打ち消すための補正量を算出する。補正変化量算出部１３０は所定のライン間における補正量の変化量を算出する。補正限界判別部１４０は画像データ領域における補正限界を超えたか否かを補正変化量に基づいて判別する。手振れ補正量調整部１５０は補正限界の判別結果に応じて補正量を調整して最終補正量として出力する。画像補正部１９０は供給された画像データに対して最終補正量に基づいて手振れ補正を行う。【選択図】      図１
2005175581.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により画像を撮像する撮像手段と、
撮像された前記画像を保持する画像保持手段と、
前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、
前記振動による前記撮像手段への影響を打ち消すための補正量を前記振動量に基づいて算出する補正量算出手段と、
所定の位置間における前記補正量の変化量を算出する変化量算出手段と、
前記画像保持手段における前記画像の補正限界を超えたか否かを前記変化量に基づいて判別する補正限界判別手段と、
前記補正限界の判別結果に応じて前記補正量を調整して出力する補正量調整手段と、
前記画像保持手段に保持された前記画像を前記補正量調整手段により出力された補正量に基づいて補正する画像補正手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記撮像素子は、二次元アドレスによりアクセスされることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像素子は、ＣＭＯＳイメージセンサであることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記位置は、前記画像保持手段におけるライン位置を示すことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記補正限界判別手段は、
前記所定の位置間において許容される変化量を均一に定めた限界値を保持する限界値保持手段と、
前記変化量算出手段による前記変化量が前記限界値を超えた場合に補正限界を超えたと判別する判別手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記限界値は、先頭位置における補正量と最終位置における補正量との差異を各位置に対して均等に分配した値である
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記補正限界判別手段は、
所定位置における前記画像保持手段の範囲を保持する範囲保持手段と、
前記変化量算出手段により算出された前記変化量に基づいて前記所定位置における外挿値を算出する外挿手段と、
前記外挿値が前記範囲保持手段に保持された前記範囲を超えた場合に補正限界を超えたと判別する判別手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記補正量調整手段は、
前記補正量に対して所定の演算を施した調整量を算出する調整量算出手段と、
前記補正限界判別手段が補正限界を超えたと判別した場合には前記調整量を前記補正量として出力し、前記補正限界判別手段が補正限界を超えないと判別した場合には前記補正量をそのまま前記補正量として出力する最終補正量選択手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項９】
撮像素子により画像を撮像する撮像手段と、撮像された前記画像を保持する画像保持手段と、前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、前記振動量に基づいて最終的に得られた補正量に基づいて前記画像保持手段に保持された前記画像を補正する画像補正手段とを備える画像処理装置における補正量算出方法であって、
前記振動による前記撮像手段への影響を打ち消すための前記補正量を前記振動量に基づいて算出する手順と、
所定の位置間における前記補正量の変化量を算出する手順と、
前記画像保持手段における前記画像の補正限界を超えたか否かを前記変化量に基づいて判別する手順と、
前記判別の結果、補正限界を超えたと判別した場合には前記補正量に対して所定の演算を施した調整量を前記補正量として出力し、前記補正限界判別手段が補正限界を超えないと判別した場合には前記補正量をそのまま前記補正量として出力する手順と
を具備することを特徴とする補正量算出方法。
【請求項１０】
撮像素子により画像を撮像する撮像手段と、撮像された前記画像を保持する画像保持手段と、前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、前記振動量に基づいて最終的に得られた補正量に基づいて前記画像保持手段に保持された前記画像を補正する画像補正手段とを備える画像処理装置において、
前記振動による前記撮像手段への影響を打ち消すための前記補正量を前記振動量に基づいて算出する手順と、
所定の位置間における前記補正量の変化量を算出する手順と、
前記画像保持手段における前記画像の補正限界を超えたか否かを前記変化量に基づいて判別する手順と、
前記判別の結果、補正限界を超えたと判別した場合には前記補正量に対して所定の演算を施した調整量を前記補正量として出力し、前記補正限界判別手段が補正限界を超えないと判別した場合には前記補正量をそのまま前記補正量として出力する手順と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に振動により生じた影響を打ち消すための補正量を算出する画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
携帯可能なビデオカメラが、一般的に使用されるようになってきている。このようなビデオカメラに用いられる固体撮像素子としては、例えば、ＣＣＤ（Charge Coupled Device）センサに代表される電荷転送型の固体撮像素子や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサに代表されるＸ−Ｙアドレス型の固体撮像素子がある。
【０００３】
ＣＭＯＳセンサは、ＣＣＤセンサに比べて消費電力が小さく、単一の低電圧で駆動され、周辺回路との一体化も容易であることから、ビデオカメラなどの画像処理装置に用いられることが検討されている。
【０００４】
しかしながら、ビデオカメラなどの画像処理装置の撮像素子としてＣＭＯＳセンサを用いて高画質な動画像や静止画像を記録することは困難であった。その理由の１つとして、手振れにより撮像される画像に歪みが発生してしまうことが挙げられる。画像処理装置の撮像素子として既に用いられているＣＣＤセンサの場合、手振れによる影響を低減させるための処理を実行する上で必要とされる手振れ補正量は、１フィールドまたは１フレーム内で得られた手振れ情報に基づいて算出された単一の値が用いられる。これは、全ての画素の露光期間が等しく、画像の歪みが生じないために、単一の値で手振れの補正ができるからである。
【０００５】
ＣＣＤセンサに対して、ＣＭＯＳセンサは以下のような仕組みにより被写体の画像を撮像し、処理するため、その画像には手振れによる歪みが生じる。その歪みは、以下のようにして生じると考えられる。
【０００６】
ＣＣＤセンサのような電荷転送型の固体撮像素子は、全画素を同時期に露光して、画素データを読み出すことが可能であるが、ＣＭＯＳセンサのようなＸ−Ｙアドレス型の固体撮像素子は、１画素単位あるいは１ライン単位で順番に読み出される。１画素単位で順次読み出すタイプの固体撮像素子であっても、ライン間の読み出し時間差に比べ、１ライン中の画素間の読み出し時間差は無視できるほど小さい。そこで、以下の議論では、図１２に示すように、ライン間の時間差のみを考える。
【０００７】
例えば、図１２（ａ）に示すように、全画素の読出し周期が１／Ｔ秒で、１画像がライン＃１乃至＃Ｎから構成されるようなＣＭＯＳセンサの場合を例に挙げて説明する。図１２（ｂ）を参照すると、ライン＃１の露光期間は、開始時刻が時刻ｔ１であり、終了時刻が時刻ｔ２である。ライン＃２の露光期間の終了時間は、時刻ｔ３であり、ライン＃３の露光期間の終了時間は、時刻ｔ４である。
【０００８】
時刻ｔ２と時刻ｔ３との時間差は、時間差Δｔであり、時刻ｔ３と時刻ｔ４の時間差は、時間差Δｔである。すなわち、露光期間は、１ライン毎に時間差が時間差Δｔだけ生じることになる。従って、画面の一番上のライン１と一番下のラインＮとでは、この場合、露光期間に１／Ｔ秒に近い時間差が発生することになる。このように、１画像を読み出す際、一番上のライン＃１と一番下のライン＃Ｎとで、露光期間にずれが生じる状況下で、手振れが生じた場合、このライン毎による露光期間の時間差により、被写体である物体の画像が変形してしまうという問題があった。
【０００９】
図１３を参照して、撮像された被写体の画像が変形するという問題について説明する。図１３は、画像１０の中央に被写体として静止した四角形２０が撮像される場合を例に挙げている。図１３の中央の図は、画像処理装置で被写体が撮像された際に手振れがなく、その結果、歪みがない正常な画像が撮像された状態を示しており、撮像された被写体は四角形２０として撮像されていることを示している。
【００１０】
図１３の右側の図は、被写体が撮像されたとき、画像処理装置に右側方向の手振れがあったために、歪みが生じた被写体の画像が撮像されてしまうことを示している。同様に、図１３の左側の図は、被写体が撮像されたとき、画像処理装置に左側方向の手振れがあったために、歪みが生じた被写体の画像が撮像されてしまうことを示している。図１３の上側の図は、被写体が撮像されたとき、画像処理装置に上側方向の手振れがあったために、上下方向に伸長された被写体の画像が撮像されてしまうことを示している。図１３の下側の図は、被写体が撮像されたとき、画像処理装置に下側方向の手振れがあったために、上下方向に収縮された被写体の画像が撮像されてしまうことを示している。
【００１１】
このように、ＣＭＯＳセンサでは、各ライン毎に露光期間のずれ（撮像のタイミングのずれ）が生じるため、１フィールドまたは１フレーム内で得られた手振れ情報に基づいて算出された単一の値で、手振れの補正を行うと、手振れの影響を完全に取ることはできず、結果として、ユーザに提供されうる画像が歪んだ画像となってしまうことが考えられる。
【００１２】
このような手振れによる画像の歪みを補正するために、水平方向の手振れに対してライン毎に読出し位置を変更し、垂直方向の手振れに対して読み出すラインの位置を垂直方向に変更するという画像処理装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００１−３５８９９９号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述の従来技術では、以下のような手振れ補正の補正限界について考慮されておらず、不自然な画像となるおそれがある。
【００１４】
図１４を参照して、手振れ補正の補正限界における問題について説明する。図１４は、水平方向と垂直方向に補正限界を迎えた場合の一例である。各ラインの手振れ補正量を考慮して手振れ補正を行う際の、メモリに保持しておいた画像データ領域と、補正後の画像データ領域の相対的な位置関係を示している。
【００１５】
図１４（ａ）では、メモリ上に確保された画像データ領域１１において、本来の画像２１を被写体としたところ、手振れが生じたことにより画像３１が保持された状態を示す。ここでは、水平方向の手振れ量が大きいために画像３１の片隅４１が画像データ領域１１から溢れ、補正をする際に画像データ領域１１におけるライン＃ｊ以降の画像データが足りなくなることを意味する。
【００１６】
同様に、図１４（ｂ）では、メモリ上に確保された画像データ領域１２において、本来の画像２２を被写体としたところ、手振れが生じたことにより画像３２が保持された状態を示す。ここでは、垂直方向の手振れ量が大きいために画像３２の片隅４２が画像データ領域１２から溢れ、補正をする際に画像データ領域１２におけるライン＃ｋ以降の画像データが足りなくなることを意味する。
【００１７】
このように、ＣＭＯＳセンサでは、補正限界を考慮せずに手振れ補正を行うと、補正後の画像データが不足し、最終的に形成される画像が正しく形成されず、視覚的に著しく違和感を与える画像となってしまうという問題がある。
【００１８】
そこで、本発明は、手振れ等の振動により画像に生じた影響を打ち消すための補正を行う際、その補正限界を超えた画像については過度な補正とならないよう補正量を調整することを目的とする。
【課題を解決するための手段】
【００１９】
上記課題を解決するために本発明の請求項１記載の画像処理装置は、撮像素子により画像を撮像する撮像手段と、撮像された上記画像を保持する画像保持手段と、上記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、上記振動による上記撮像手段への影響を打ち消すための補正量を上記振動量に基づいて算出する補正量算出手段と、所定の位置間における上記補正量の変化量を算出する変化量算出手段と、上記画像保持手段における上記画像の補正限界を超えたか否かを上記変化量に基づいて判別する補正限界判別手段と、上記補正限界の判別結果に応じて上記補正量を調整して出力する補正量調整手段と、上記画像保持手段に保持された上記画像を上記補正量調整手段により出力された補正量に基づいて補正する画像補正手段とを具備する。これにより、振動による影響を打ち消すための補正量が補正限界を超えたか否かに応じて、その補正量を調整するという作用をもたらす。
【００２０】
また、本発明の請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、上記撮像素子が二次元アドレスによりアクセスされるものである。すなわち、二次元アドレスによりアクセスされることによって、各ラインにおける露光時間に時間差を生じる場合に、本発明の作用はより一層顕著になる。
【００２１】
また、本発明の請求項３記載の画像処理装置は、請求項１記載の画像処理装置において、上記撮像素子がＣＭＯＳイメージセンサである。すなわち、ＣＭＯＳイメージセンサにおける各ラインで露光時間に時間差を生じる場合に、本発明の作用はより一層顕著になる。
【００２２】
また、本発明の請求項４記載の画像処理装置は、請求項１記載の画像処理装置において、上記位置として上記画像保持手段におけるライン位置を示すものである。すなわち、ライン間の補正量の変化量に基づいて補正限界を超えたか否かが判断され、各ラインの補正量が調整されるという作用をもたらす。
【００２３】
また、本発明の請求項５記載の画像処理装置は、請求項１記載の画像処理装置において、上記補正限界判別手段が、上記所定の位置間において許容される変化量を均一に定めた限界値を保持する限界値保持手段と、上記変化量算出手段による上記変化量が上記限界値を超えた場合に補正限界を超えたと判別する判別手段とを備える。これにより、予め均一に定められた限界値に基づいて補正限界を超えたか否かが判断されるという作用をもたらす。
【００２４】
また、本発明の請求項６記載の画像処理装置は、請求項５記載の画像処理装置において、上記限界値が先頭位置における補正量と最終位置における補正量との差異を各位置に対して均等に分配した値として与えられるものである。これにより、各位置間において均等に分配された限界値に基づいて補正限界を超えたか否かが判断されるという作用をもたらす。
【００２５】
また、本発明の請求項７記載の画像処理装置は、請求項１記載の画像処理装置において、上記補正限界判別手段が、所定位置における上記画像保持手段の範囲を保持する範囲保持手段と、上記変化量算出手段により算出された上記変化量に基づいて上記所定位置における外挿値を算出する外挿手段と、上記外挿値が上記範囲保持手段に保持された上記範囲を超えた場合に補正限界を超えたと判別する判別手段とを備える。これにより所定位置毎の変化量に基づいた外挿値により補正限界を超えたか否かが判断されるという作用をもたらす。
【００２６】
また、本発明の請求項８記載の画像処理装置は、請求項１記載の画像処理装置において、上記補正量調整手段が、上記補正量に対して所定の演算を施した調整量を算出する調整量算出手段と、上記補正限界判別手段が補正限界を超えたと判別した場合には上記調整量を上記補正量として出力し、上記補正限界判別手段が補正限界を超えないと判別した場合には上記補正量をそのまま上記補正量として出力する最終補正量選択手段とを備える。これにより、補正限界を超えた場合には補正量に対して所定の演算を施した調整量を補正量として出力するという作用をもたらす。
【００２７】
また、本発明の請求項９記載の補正量算出方法は、撮像素子により画像を撮像する撮像手段と、撮像された上記画像を保持する画像保持手段と、上記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、上記振動量に基づいて最終的に得られた補正量に基づいて上記画像保持手段に保持された上記画像を補正する画像補正手段とを備える画像処理装置における補正量算出方法であって、上記振動による上記撮像手段への影響を打ち消すための上記補正量を上記振動量に基づいて算出する手順と、所定の位置間における上記補正量の変化量を算出する手順と、上記画像保持手段における上記画像の補正限界を超えたか否かを上記変化量に基づいて判別する手順と、上記判別の結果、補正限界を超えたと判別した場合には上記補正量に対して所定の演算を施した調整量を上記補正量として出力し、上記補正限界判別手段が補正限界を超えないと判別した場合には上記補正量をそのまま上記補正量として出力する手順とを具備する。これにより、振動による影響を打ち消すための補正量が補正限界を超えたか否かに応じて、その補正量を調整するという作用をもたらす。
【００２８】
また、本発明の請求項１０記載のプログラムは、撮像素子により画像を撮像する撮像手段と、撮像された上記画像を保持する画像保持手段と、上記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、上記振動量に基づいて最終的に得られた補正量に基づいて上記画像保持手段に保持された上記画像を補正する画像補正手段とを備える画像処理装置において、上記振動による上記撮像手段への影響を打ち消すための上記補正量を上記振動量に基づいて算出する手順と、所定の位置間における上記補正量の変化量を算出する手順と、上記画像保持手段における上記画像の補正限界を超えたか否かを上記変化量に基づいて判別する手順と、上記判別の結果、補正限界を超えたと判別した場合には上記補正量に対して所定の演算を施した調整量を上記補正量として出力し、上記補正限界判別手段が補正限界を超えないと判別した場合には上記補正量をそのまま上記補正量として出力する手順とをコンピュータに実行させるものである。これにより、振動による影響を打ち消すための補正量が補正限界を超えたか否かに応じて、その補正量を調整するという作用をもたらす。
【発明の効果】
【００２９】
本発明によれば、手振れ等の振動により画像に生じた影響を打ち消すための補正を行う際、その補正限界を超えた画像については過度な補正とならないよう補正量を調整することにより、補正後の画像が不自然にならないという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００３０】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００３１】
図１は、本発明の実施の形態における画像処理装置１００の構成例を示す図である。この画像処理装置１００は、手振れ等の振動により画像に生じた影響を打ち消すための補正量を算出するために、手振れ検出部１１０と、手振れ補正量算出部１２０と、補正変化量算出部１３０と、補正限界判別部１４０と、手振れ補正量調整部１５０とを備えている。また、この画像処理装置１００は、画像を撮像するために、タイミング生成部１６１と、撮像素子１６２と、前処理部１６３と、信号処理部１６４とを備えている。さらに、この画像処理装置１００は、撮像された画像に対して補正を施すために、メモリ１７０と、メモリ制御部１８０と、画像補正部１９０とを備えている。
【００３２】
手振れ検出部１１０は、画像処理装置１００に加えられた振動を検出して振動量を出力する。手振れ検出部１１０は、角速度センサなどのセンサにより実現してもよく、また、画像処理等により実現してもよい。例えば、手振れ検出部１１０が角速度センサにより構成される場合、その角速度センサは、ピッチング方向、ヨーイング方向、それぞれの方向に加えられた角速度のデータに基づく振動量を手振れ補正量算出部１２０に供給する。
【００３３】
手振れ補正量算出部１２０は、振動による画像処理装置１００への影響を打ち消すための補正量を、手振れ検出部１１０から供給された振動量に基づいて算出する。すなわち、手振れ補正量算出部１２０は、手振れ検出部１１０から供給されたデータを用いて、加えられた手振れによる影響を低減するための補正量を１ライン毎もしくは数ラインおきに算出する。手振れ補正量算出部１２０は、算出した補正量を信号線１２９により補正変化量算出部１３０および手振れ補正量調整部１５０に供給する。
【００３４】
補正変化量算出部１３０は、所定のライン間における補正量の変化量を算出する。この変化量を算出するに際し、補正変化量算出部１３０は、手振れ補正量算出部１２０から供給された補正量または手振れ補正量調整部１５０から出力された最終補正量を用いることができる。補正変化量算出部１３０は、算出した変化量を信号線１３９により補正限界判別部１４０に供給する。
【００３５】
補正限界判別部１４０は、メモリ１７０内の画像データ領域において画像の補正限界を超えたか否かを、補正変化量算出部１３０から供給された変化量に基づいて判別する。そして、その判別結果を信号線１４９により手振れ補正量調整部１５０に供給する。
【００３６】
手振れ補正量調整部１５０は、補正限界判別部１４０から供給された補正限界の判別結果に応じて、手振れ補正量算出部１２０から供給された補正量を調整して１ライン毎に最終補正量として出力する。なお、ここで、１ライン毎に最終補正量を算出するのは、上述のように、ＣＭＯＳなどの固体撮像素子においては１ライン単位で画像データが順次読み出されるからである。手振れ補正量調整部１５０は、この最終補正量を、信号線１５９を介して、補正変化量算出部１３０、タイミング生成部１６１、メモリ制御部１８０および画像補正部１９０に供給する。
【００３７】
撮像素子１６２は、画像を撮像するための素子であり、例えば、Ｘ−Ｙアドレス（二次元アドレス）型の固体撮像素子（ＣＭＯＳイメージセンサなど）により構成される。タイミング生成部１６１は、撮像素子１６２における読出しタイミングを生成する。撮像素子１６２は、この撮像素子１６２によるタイミングに従って、撮像された画像データを前処理部１６３に供給する。
【００３８】
前処理部１６３は、撮像素子１６２から供給された画像データをデジタル信号の画像データに変換し、信号処理部１６４に供給する。信号処理部１６４は、前処理部１６３から供給された画像データから、例えば輝度信号と色差信号を算出してＹＵＶ信号を生成し、それぞれの信号を、画像補正部１９０に供給する。なお、ここで生成される信号はＹＵＶ信号に限られず、例えばＲＧＢ信号などであってもよい。
【００３９】
メモリ１７０は、補正対象となる画像を一時的に保持しておくための画像データ領域を有する。メモリ制御部１８０は、このメモリ１７０に対するアクセス制御を行う。画像補正部１９０に供給された画像データは、メモリ制御部１８０の制御によってメモリ１７０に一旦保持される。このメモリ１７０に記憶された画像データは、メモリ制御部１８０の制御により読み出され、画像補正部１９０に供給される。画像補正部１９０は、供給された画像データに対して手振れ補正を行って信号線１９９を介して出力する。この出力された画像データは、（図示しない）記録媒体に記録され、または、（図示しない）ディスプレイ上に表示される。
【００４０】
手振れ補正量調整部１５０から供給された最終補正量は、画像補正部１９０に供給されて画像の補正処理に利用される。この最終補正量はタイミング生成部１６１にも供給され、このタイミング生成部１６１による撮像素子１６２の読出しタイミングの調整によって画像の補正処理が行われるようにすることも可能である。
【００４１】
ところで、上述のように、最終補正量は１ライン毎に算出する必要があるが、手振れによる振動量が取得されるタイミングは、手振れ検出部１１０のサンプリング周波数に依存し、必ずしも１ライン毎に最終補正量を算出するだけの振動量が供給されるとは限らない。そこで、手振れ検出部１１０のサンプリング周波数が撮像素子１６２からの読出しの周波数と異なる場合、手振れ検出部１１０または手振れ補正量算出部１２０において補間を行い、１ライン毎の手振れ補正量を求める。同様に、手振れ検出部１１０のサンプリング周波数が、撮像素子１６２からの読出しの周波数と同じであって位相だけが異なる場合にも、手振れ検出部１１０または手振れ補正量算出部１２０において補間を行う必要がある。この補間処理について以下に説明する。
【００４２】
図２は、手振れによる振動量およびその手振れの影響を受けた画像の具体例を示す図である。図２（ａ）では、１００本のラインに対して３点の振動量が取得されている場合を例に挙げて説明する。すなわち、ライン＃１'、ライン＃５０'、およびライン＃１００'のときに、手振れ検出部１１０からの振動量が取得できたものとして説明する。このライン＃１'は、説明上の基準となるラインであり、撮像された画像を構成するラインの内の１本である。
【００４３】
図２（ａ）において、ライン＃１'を読み出す際の振動量はＰ１ピクセルであり、ライン＃５０'を読み出す際の振動量はＰ２ピクセルであり、ライン＃１００'を読み出す際の振動量はＰ３ピクセルであることを示している。この振動量は、小数点以下を含むピクセル単位であり、その後の処理において１ピクセル以下の量による補正が可能となっている。
【００４４】
振動量Ｐ１乃至Ｐ３は、画像の撮像が開始された直後のタイミングに取得された振動量を基準としたときの差分を表す。図２（ａ）に示した状態では、基準から、ライン＃１'のときに右側の手振れが発生し、その後ライン＃５０'まで右側の手振れが発生し、そして、ライン＃１００'までは、左側の手振れが発生した状況である。
【００４５】
例えば、被写体として静止している四角形を撮像したときに、図２（ａ）に示したような手振れが画像処理装置１００に加えられると、そのまま補正をしなければ、図２（ｂ）に示したような歪んだ画像がユーザに提示されることになる。このような歪んだ画像を補正し、本来の画像に極力忠実な画像をユーザに最終的に提示するように、手振れに関する補正が行われる。
【００４６】
ライン毎の手振れを補正するためには、ライン毎の振動量を取得する必要がある。しかしながら、図２に示した例では、ライン＃１'、ライン＃５０'、および、ライン＃１００'に関する手振れ量しか取得されない。このような離散的なデータしか取得できないのは、手振れ検出部１１０が手振れを検出するサンプリング周波数に依存しているからである。このような場合には、ライン＃２'乃至＃４９'と、ライン＃５１'乃至＃９９'に関する手振れ量は取得されないため、それらのライン毎の手振れ量を補間して処理を実行する必要がある。
【００４７】
図３は、本発明の実施の形態における振動量の補間処理の例を示す図である。手振れ補正量算出部１２０は、上述したように、ライン＃１'乃至＃１００'の間に、３つの振動量を取得する。この３つの振動量から、ライン＃５０'を除くライン＃２'乃至＃９９'に関する振動量を補間により算出する。例えば、図３（ａ）のように、ライン＃１'に関する振動量をライン＃２'乃至＃４０'にも用い、ライン＃５０'に関する振動量をライン＃４１'乃至＃６０'にも用い、ライン＃１００'に関する振動量をライン＃６１'乃至＃９９'にも用いるというように、１つのラインに関する振動量を、前後のラインに適用するといった方法で補間を行うことができる。
【００４８】
また、図３（ｂ）のように、１次関数を用いて算出するようにしても良い。この例では、ライン＃１'とライン＃５０'に関するそれぞれの振動量を２点とする１次関数からライン＃２'乃至＃４９'に関する振動量がそれぞれ算出され、ライン＃５０'とライン＃１００'に関するそれぞれの振動量を２点とする１次関数からライン＃５１'乃至＃９９'に関する振動量がそれぞれ算出される。
【００４９】
さらに、図３（ｃ）のように、１次関数ではない他の関数を用いて算出されるようにしても良い。図３（ｃ）に示した例は、基本的に図３（ｂ）に示した例と同様であるが、１次関数ではない他の関数を用いる点が異なる。手振れは、必ずしも同一方向に同一の速度で同一の大きさで変化するものではないと考えられる。従って、直線的に変化する１次関数を用いて補間するよりも、図３（ｃ）のような曲線的に変化する関数を用いた方がより適切な場合がある。
【００５０】
図３（ａ）乃至（ｃ）の何れの方法を用いて補正量を算出するかは画像処理装置１００の処理能力に依存する。画像処理装置１００がマイクロコンピュータなどで構成される場合、そのマイクロコンピュータの処理能力に合わせて、何れの方法により補正量を補間することができる。具体的には、マイクロコンピュータの処理能力が低い場合、演算量が少ない図３（ａ）に示した方法で、補正量の補間が行なわれるようにし、マイクロコンピュータの処理能力が比較的高い場合、演算量が比較的多い図３（ｃ）に示した方法で、補正量の補間が行なわれるようにすればよい。
【００５１】
このようにして離散的な振動量からライン毎の振動量が求められると、手振れ補正量算出部１２０はその振動量に基づいてその振動による画像処理装置１００への影響を打ち消すための補正量を算出する。例えば、ライン＃１'に関する振動量が、Ｐ１ピクセルであった場合、その振動量がＰ１ピクセルである状態から手振れのない状態にするためには、絶対値が異なり符号の異なる量、すなわち「−Ｐ１」ピクセルが補正量として算出されるようにすれば良い。
【００５２】
図４は、本発明の実施の形態における補正量の算出例を示す図である。図４（ａ）は、手振れ補正量算出部１２０が、図３（ａ）を参照して説明した方式により振動量を補間したときに算出される手振れ補正量を示している。図４（ｂ）は、手振れ補正量算出部１２０が、図３（ｂ）を参照して説明した方式により振動量を補間したときに算出される手振れ補正量を示している。同様に、図４（ｃ）は、手振れ補正量算出部１２０が、図３（ｃ）を参照して説明した方式により振動量を補間したときに算出される手振れ補正量を示している。
【００５３】
次に本発明の実施の形態における補正変化量算出部１３０、補正限界判別部１４０および手振れ補正量調整部１５０による処理内容について説明する。
【００５４】
図５は、手振れにより生じた振動の補正限界と許容補正量との関係を示す図である。この図５では、メモリ１７０上に確保された画像データ領域１３において、本来の画像２３を被写体としたところ、手振れが生じたことにより画像３３が保持された状態を示す。この画像３３では、画像データ領域１３から片隅４３がはみだしており、補正限界を超えている。この場合、画像データ領域１３に有効に保持されているのは、画像３３から片隅４３を除いた領域になる。
【００５５】
ここで、補正限界の判別の基準として均一な変化量を用いる第１の方法について説明する。図５では、ライン＃１における振動量をＧ１としている。また、画像データ領域１３内で最終ライン＃２０において許容される最大の補正量をＺ２０としている。このとき、補正量Ｇ１とＺ２０とから線形近似によって得られる補正量の変化量Δ（Ｚ２０−Ｇ１）は、ライン＃１とライン＃２０との間において許容される補正量の変化量を各ラインに対して均等に分配した平均値となる。但し、変化量Δ（Ｇｘ−Ｇｙ）は、ＧｘおよびＧｙを両端とする傾きであり
Δ（Ｇｘ−Ｇｙ）＝（Ｇｘ−Ｇｙ）／（ｘ−ｙ）
を意味する。
【００５６】
すなわち、補正量の各ライン間における変化量がこのΔ（Ｚ２０−Ｇ１）を超えなければ全体として補正限界を超えないことになる。換言すれば、この変化量Δ（Ｚ２０−Ｇ１）は、ライン間において許容される変化量を均一に定めた限界値を示す。この限界値は、図５において限界値３４として示される。
【００５７】
なお、この限界値の算出の対象とするラインを、本例では１ライン目と最終ラインにしているが、これに限られず任意のライン間を選択してもよい。また、垂直方向の手振れについても同様の方法を適用でき、さらに水平および垂直方向の手振れに対する処理を同時に実施するようにしてもよい。
【００５８】
図６は、本発明の実施の形態における画像処理装置１００の第１の方法による機能構成例を示す図である。この機能構成例では、補正限界判別部１４０が限界値保持部１４１および比較器１４２を備え、手振れ補正量調整部１５０が調整量算出部１５１および最終補正量選択部１５２を備えている。
【００５９】
限界値保持部１４１は、補正変化量の限界値を保持する。例えば、上述の図５の例では変化量Δ（Ｚ２０−Ｇ１）が限界値保持部１４１に保持される。比較器１４２は、補正変化量算出部１３０から供給された補正変化量と限界値保持部１４１に保持された限界値とを比較し、補正変化量が限界値を超えているか否かを判断する。
【００６０】
調整量算出部１５１は、手振れ補正量算出部１２０から供給された手振れ補正量に基づいて調整量を算出する。この調整量は、手振れ補正量による補正の程度を軽減したものであり、例えば、任意のゲインコントロールにより補正の割合を下げたり、任意の値を減じることにより補正の度合いを下げることにより算出される。補正限界判別部１４０の比較器１４２における判別結果に応じて調整量を変化させるようにしてもよい。
【００６１】
最終補正量選択部１５２は、補正限界判別部１４０の比較器１４２における判別結果に応じて、手振れ補正量算出部１２０からの手振れ補正量または調整量算出部１５１からの調整量の何れか一方を選択する。すなわち、補正変化量が限界値を超えていなければ手振れ補正量算出部１２０から供給された手振れ補正量を選択し、補正変化量が限界値を超えていれば調整量算出部１５１から供給された調整量を選択する。この最終補正量選択部１５２は、選択した値を所定期間保持して、その保持した値を最終補正量として供給する。
【００６２】
補正変化量算出部１３０は、手振れ補正量算出部１２０から供給された手振れ補正量と最終補正量選択部１５２から供給された最終補正量とから補正変化量を算出する。すなわち、直前のライン間において算出された最終補正量をＧｙとし、次に算出すべきラインの補正量をＧｘとして、変化量Δ（Ｇｘ−Ｇｙ）を算出する。
【００６３】
図７は、本発明の実施の形態における画像処理装置１００の第１の方法による最終補正量の算出例を示す図である。この図において、「ライン」は画像データ領域１３（図５）におけるライン番号を示す。「原補正量」は手振れ補正量算出部１２０において算出された手振れ補正量を示す。「補正変化量」は補正変化量算出部１３０において算出された補正変化量を示す。「調整量」は手振れ補正量調整部１５０の調整量算出部１５１において算出された調整量を示す。また、「最終補正量」は手振れ補正量調整部１５０の最終補正量選択部１５２から最終的に供給された最終補正量を示す。
【００６４】
まず、補正変化量算出部１３０がライン＃１とライン＃４との間の補正変化量Δ（Ａ４−Ａ１）を算出し、補正限界判別部１４０によって補正限界の範囲内であると判断されたとすると、補正量調整部１５０から最終補正量としてＡ１乃至Ａ４が供給される。なお、図７では最終補正量としてＢ４が示されているが、そのＢ４は最終的な値であり、この時点での最終補正量はＡ４である。
【００６５】
続いて、補正変化量算出部１３０がライン＃４とライン＃７との間の補正変化量Δ（Ａ７−Ａ４）を算出し、補正限界判別部１４０によって補正限界の範囲外であると判断されたとすると、補正量調整部１５０から最終補正量として調整量であるＢ４乃至Ｂ７が供給される。これにより、先程の最終補正量Ａ４は変更され、最終補正量Ｂ４として確定する。
【００６６】
続いて、補正変化量算出部１３０がライン＃７とライン＃１０との間の補正変化量Δ（Ａ１０−Ｂ７）を算出する。このときのライン＃７の補正量は最終補正量Ｂ４が使用される。これにより、調整前の補正量ではなく調整後の最終補正量がフィードバックされて、より精密な補正変化量の算出が可能となる。この補正変化量Δ（Ａ１０−Ｂ７）について、補正限界判別部１４０によって補正限界の範囲外であると判断されたとすると、補正量調整部１５０から最終補正量として調整量であるＣ７乃至Ｃ１０が供給される。
【００６７】
続いて、補正変化量算出部１３０がライン＃１０とライン＃１３との間の補正変化量Δ（Ａ１３−Ｃ１０）を算出する。このときのライン＃１０の補正量は最終補正量Ｃ１０が使用される。この補正変化量Δ（Ａ１３−Ｃ１０）について、補正限界判別部１４０によって補正限界の範囲内であると判断されたとすると、補正量調整部１５０から最終補正量としてＡ１０乃至Ａ１３が供給される。このとき、境界値であるライン＃１０については、直前の調整量であるＣ１０を最終補正量として供給するようにしてもよい。
【００６８】
その後、同様にして処理を繰り返し、最後のライン＃１９および＃２０については２ライン間で補正変化量Δ（Ａ２０−Ａ１９）が算出された後に、最終補正量としてＡ１９乃びＡ２０が供給される。
【００６９】
なお、この図７の例ではライン間を２つ置きに選択して補正変化量を算出するようにしているが、これは一例に過ぎず、必要に応じて任意のライン間で算出するようにしてもよい。
【００７０】
図８は、本発明の実施の形態における各ライン間の補正量の遷移例を示す図である。図８（ａ）は、上述の第１の方法による限界値３４を示している。ここで、限界値３４上の各点は、本来の画像２３からの振動量の限界値を表す。すなわち、ライン＃１における振動量Ｇ１を基点として、ライン＃２０における画像データ領域１３の端に至る最大の補正量Ｚ２０に対して、直線的に限界値３４が定義されている。これは、各ライン間において許容される変化量を均一に定めたものである。この第１の方法によれば、限界値３４の変化量を一つだけ計算しておけばよく、演算量を少なくすることができる。
【００７１】
一方、このように変化量を均一に定めた場合、各ライン間で変化量が大きく変動するような状況下では必要以上に補正量を制限してしまうおそれがある。例えば、図８（ｂ）のように、ライン番号の低い範囲では変化量が小さく、ライン番号の高い範囲では変化量が大きくなるような場合には、最終的に補正限界に至らないにもかかわらず、一部のライン間で補正限界の範囲外にあるとの判断がされることになる。
【００７２】
そこで、補正限界の判別の基準として補正変化量の外挿を用いる第２の方法について説明する。この第２の方法では、ライン間の補正変化量を所定のラインまで延長した点、すなわち外挿点を求めて、その外挿点が画像データ領域の範囲内に存在するか否かを判断する。図８（ｂ）の例では、ライン＃１における振動量Ｇ１とライン＃４における振動量Ｇ４との間の補正変化量をライン＃２０まで延ばして、ライン＃２０との交点（Δ（Ｇ４−Ｇ１）の外挿点）が画像データ領域１３の中に存在するため、補正限界の範囲内にあると判断される。
【００７３】
この図８（ｂ）の例では、何れのライン間においても補正変化量の外挿点が画像データ領域１３の中に存在するため、第２の方法によれば全ての補正量が補正限界の範囲内にあると判断される。この結論が正しいことは図からも明らかである。これに対し、この図８（ｂ）の例において第１の方法を適用した場合には、ライン＃１３以降の補正変化量の傾きは限界値３４の傾きを超えているため、補正限界の範囲外にあると誤った判断がされてしまう。第２の方法は、補正変化量の傾きについて各ライン間毎に異なる基準を用いるため、第１の方法よりも柔軟な対応が可能となる。
【００７４】
なお、この図８の例では最終ラインを補正限界判別の対象ラインとして用いているが、これに限られるものではない。また、各ライン間毎に異なるラインを補正限界判別の対象ラインとしてもよい。
【００７５】
図９は、本発明の実施の形態における画像処理装置１００の第２の方法による機能構成例を示す図である。この機能構成例では、補正限界判別部１４０が領域範囲保持部１４３、補正変化量外挿部１４４および比較器１４５を備えている。なお、手振れ補正量調整部１５０が調整量算出部１５１および最終補正量選択部１５２を備える点は図６の第１の方法の機能構成例と同様である。
【００７６】
領域範囲保持部１４３は、所定ラインにおける画像データ領域の範囲を保持する。例えば、図８（ｂ）の例において、領域範囲保持部１４３は、ライン＃２０における画像データ領域１３の端までの範囲をピクセル単位で保持する。
【００７７】
補正変化量外挿部１４４は、補正変化量算出部１３０から供給された補正変化量に基づいて所定ラインにおける外挿値を算出する。例えば、図８（ｂ）の例において、補正変化量外挿部１４４は、ライン＃１とライン＃４との間の補正変化量Δ（Ｇ４−Ｇ１）からライン＃２０における外挿点の値を算出する。
【００７８】
比較器１４５は、領域範囲保持部１４３から供給された画像データ領域の範囲と補正変化量外挿部１４４から供給された外挿点の値とを比較し、外挿点が画像データ領域の範囲に存在するか否かを判断する。
【００７９】
調整量算出部１５１は、図６の場合と同様に、手振れ補正量算出部１２０から供給された手振れ補正量に基づいて調整量を算出する。また、補正限界判別部１４０の比較器１４５における判別結果に応じて調整量を変化させるようにしてもよい。
【００８０】
最終補正量選択部１５２は、補正限界判別部１４０の比較器１４５における判別結果に応じて、手振れ補正量算出部１２０からの手振れ補正量または調整量算出部１５１からの調整量の何れか一方を選択する。すなわち、外挿点が画像データ領域の範囲に存在すれば手振れ補正量算出部１２０から供給された手振れ補正量を選択し、外挿点が画像データ領域の範囲に存在しなければ調整量算出部１５１から供給された調整量を選択する。この最終補正量選択部１５２は、選択した値を所定期間保持して、その保持した値を最終補正量として供給する。
【００８１】
また、補正変化量算出部１３０が、手振れ補正量算出部１２０から供給された手振れ補正量と最終補正量選択部１５２から供給された最終補正量とから補正変化量を算出する点も、図６の場合と同様である。
【００８２】
ここで説明した第１の方法および第２の方法は、それぞれ特色を有するため、適宜使い分けることが望ましい。例えば、画像処理装置の撮像モードが動画モードの場合には振動量の変動に柔軟に対応できる「第２の方法」が適している。一方、撮像モードが静止画の場合には、画面に表示されている動画はあくまでもモニタリングのためであって保存対象ではないので、より演算負荷の少ない「第１の方法」が適している。これらは撮像モードに応じて自動的に切替えるようにしてもよく、また、ユーザにより手動で設定されるようにしてもよい。
【００８３】
次に本発明の実施の形態における画像処理装置１００の動作について図面を参照して説明する。
【００８４】
図１０は、本発明の実施の形態における画像処理装置１００の補正量算出処理の手順を示す図である。まず、検出された手振れによる振動量がライン毎に補間され、これに基づいて補正量が算出される（ステップＳ９２１）。ここで、算出された補正量を原補正量と呼ぶ。
【００８５】
そして、この原補正量または最終補正量に基づいて補正変化量が算出される（ステップＳ９２２）。この補正変化量の算出の際には、各ライン間において基点となるライン（例えば図７の例において、ライン＃７とライン＃１０であれば、ライン＃７の方を意味する。）については最終補正量が用いられ、他方のラインについては原補正量が用いられることになる。
【００８６】
このようにして算出された補正変化量について、補正限界を超えているか否かが判断される（ステップＳ９２３）。補正限界の範囲内であれば（ステップＳ９２４）、原補正量が最終補正量としてそのまま供給される（ステップＳ９２５）。一方、補正限界の範囲外であれば（ステップＳ９２４）、原補正量に対する調整量が算出され（ステップＳ９２６）、その調整量が最終補正量として供給される（ステップＳ９２７）。
【００８７】
ステップＳ９２２以降の処理が繰り返された後、全てのラインに関する処理が終了するとこの補正量算出処理は終了する（ステップＳ９２８）。
【００８８】
上述の補正量算出処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８９】
記録媒体について説明するために、簡単に、記録媒体を扱うパーソナルコンピュータについて説明する。図１１は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（Central Processing Unit）２０１は、ＲＯＭ（Read Only Memory）２０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）２０３には、ＣＰＵ２０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インターフェース２０５は、キーボードやマウスから構成される入力部２０６が接続され、入力部２０６に入力された信号をＣＰＵ２０１に出力する。また、入出力インターフェース２０５には、ディスプレイやスピーカなどから構成される出力部２０７も接続されている。
【００９０】
さらに、入出力インターフェース２０５には、ハードディスクなどから構成される記憶部２０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部２０９も接続されている。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスクなどの各種ディスク２２１や、半導体メモリ２２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【００９１】
記録媒体は、図１１に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）やＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク（ＭＤ（Mini-Disc）（登録商標）を含む）、若しくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２０２や記憶部２０８が含まれるハードディスクなどで構成される。
【００９２】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９３】
このように、本発明の実施の形態によれば、補正限界判別部１４０によって画像データ領域における補正限界を超えているか否かを判断し、その判断結果に応じて手振れ補正量調整部１５０において手振れ補正量を調整することにより、補正限界を超えた画像について正後の画像が不自然にならないようにすることができる。
【００９４】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００９５】
すなわち、請求項１において、撮像手段は例えば撮像素子１６２に対応する。また、画像保持手段は例えばメモリ１７０に対応する。また、振動検出手段は例えば振動検出部１１０に対応する。また、補正量算出手段は例えば手振れ補正量算出部１２０に対応する。また、変化量算出手段は例えば補正変化量算出部１３０に対応する。また、補正限界判別手段は例えば補正限界判別部１４０に対応する。また、補正量調整手段は例えば手振れ補正量調整部１５０に対応する。また、画像補正手段は例えば画像補正部１９０に対応する。
【００９６】
また、請求項５において、限界値保持手段は例えば限界値保持部１４１に対応する。また、判別手段は例えば比較器１４２に対応する。
【００９７】
また、請求項７において、範囲保持手段は例えば領域範囲保持部１４３に対応する。また、外挿手段は例えば補正変化量外挿部１４４に対応する。また、判別手段は例えば比較器１４５に対応する。
【００９８】
また、請求項８において、調整量算出手段は例えば調整量算出部１５１に対応する。また、最終補正量選択手段は例えば最終補正量選択部１５２に対応する。
【００９９】
また、請求項９および１０において、振動による前記撮像手段への影響を打ち消すための補正量を振動量に基づいて算出する手順は例えばステップＳ９２１に対応する。所定の位置間における補正量の変化量を算出する手順は例えばステップＳ９２２に対応する。画像の補正限界を超えたか否かを変化量に基づいて判別する手順は例えばステップＳ９２３に対応する。判別の結果、補正限界を超えたと判別した場合には補正量に対して所定の演算を施した調整量を補正量として出力し、補正限界を超えないと判別した場合には補正量をそのまま補正量として出力する手順は例えばステップＳ９２４乃至Ｓ９２７に対応する。
【０１００】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【産業上の利用可能性】
【０１０１】
本発明の活用例として、例えば画像処理装置において手振れにより生じた振動の影響を解消するための補正を行う際に本発明を適用することができる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施の形態における画像処理装置１００の構成例を示す図である。
【図２】手振れによる振動量およびその手振れの影響を受けた画像の具体例を示す図である。
【図３】本発明の実施の形態における振動量の補間処理の例を示す図である。
【図４】本発明の実施の形態における補正量の算出例を示す図である。
【図５】手振れにより生じた振動の補正限界と許容補正量との関係を示す図である。
【図６】本発明の実施の形態における画像処理装置１００の第１の方法による機能構成例を示す図である。
【図７】本発明の実施の形態における画像処理装置１００の第１の方法による最終補正量の算出例を示す図である。
【図８】本発明の実施の形態における各ライン間の補正量の遷移例を示す図である。
【図９】本発明の実施の形態における画像処理装置１００の第２の方法による機能構成例を示す図である。
【図１０】本発明の実施の形態における画像処理装置１００の補正量算出処理の手順を示す図である。
【図１１】本発明の実施の形態における画像処理装置１００の機能を実現するコンピュータの構成例を示す図である。
【図１２】ＣＣＤセンサおよびＣＭＯＳセンサにおける露光時間の相違を示す図である。
【図１３】ＣＭＯＳセンサにおける手振れが被写体に及ぼす影響を示す図である。
【図１４】画像データ領域における補正限界を示す図である。
【符号の説明】
【０１０３】
１００  画像処理装置
１１０  検出部
１２０  補正量算出部
１２９、１３９、１４９、１５９、１９９  信号線
１３０  補正変化量算出部
１４０  補正限界判別部
１４１  限界値保持部
１４２  比較器
１４３  領域範囲保持部
１４４  補正変化量外挿部
１４５  比較器
１５０  補正量調整部
１５１  調整量算出部
１５２  最終補正量選択部
１６１  タイミング生成部
１６２  撮像素子
１６３  前処理部
１６４  信号処理部
１７０  メモリ
１８０  メモリ制御部
１９０  画像補正部
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０５  入出力インタフェース
２０６  入力部
２０７  出力部
２０８  記憶部
２０９  通信部
２１０  ドライブ
２２１  ディスク
２２４  半導体メモリ
【図１】
2005175581.tif 000003
【図２】
2005175581.tif 000004
【図３】
2005175581.tif 000005
【図４】
2005175581.tif 000006
【図５】
2005175581.tif 000007
【図６】
2005175581.tif 000008
【図７】
2005175581.tif 000009
【図８】
2005175581.tif 000010
【図９】
2005175581.tif 000011
【図１０】
2005175581.tif 000012
【図１１】
2005175581.tif 000013
【図１２】
2005175581.tif 000014
【図１３】
2005175581.tif 000015
【図１４】
2005175581.tif 000016
【手続補正書】
【提出日】平成16年9月27日(2004.9.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像素子により画像を撮像する撮像手段と、
撮像された前記画像を保持する画像保持手段と、
前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、
前記振動による前記撮像手段への影響を打ち消すための補正量を前記振動量に基づいて算出する補正量算出手段と、
所定の位置間における前記補正量の変化量を算出する変化量算出手段と、
前記画像保持手段における前記画像の補正限界を超えたか否かを前記変化量に基づいて判別する補正限界判別手段と、
前記補正限界の判別結果に応じて前記補正量を調整して出力する補正量調整手段と、
前記画像保持手段に保持された前記画像を前記補正量調整手段により出力された補正量に基づいて補正する画像補正手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記撮像素子は、二次元アドレスによりアクセスされることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像素子は、ＣＭＯＳイメージセンサであることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記位置は、前記画像保持手段におけるライン位置を示すことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記補正限界判別手段は、
前記所定の位置間において許容される変化量を均一に定めた限界値を保持する限界値保持手段と、
前記変化量算出手段による前記変化量が前記限界値を超えた場合に補正限界を超えたと判別する判別手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記限界値は、先頭位置における補正量と最終位置における補正量との差異を各位置に対して均等に分配した値である
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記補正限界判別手段は、
所定位置における前記画像保持手段の範囲を保持する範囲保持手段と、
前記変化量算出手段により算出された前記変化量に基づいて前記所定位置における外挿値を算出する外挿手段と、
前記外挿値が前記範囲保持手段に保持された前記範囲を超えた場合に補正限界を超えたと判別する判別手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記補正量調整手段は、
前記補正量に対して所定の演算を施した調整量を算出する調整量算出手段と、
前記補正限界判別手段が補正限界を超えたと判別した場合には前記調整量を前記補正量として出力し、前記補正限界判別手段が補正限界を超えないと判別した場合には前記補正量をそのまま前記補正量として出力する最終補正量選択手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項９】
撮像素子により画像を撮像する撮像手段と、撮像された前記画像を保持する画像保持手段と、前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、前記振動量に基づいて最終的に得られた補正量に基づいて前記画像保持手段に保持された前記画像を補正する画像補正手段とを備える画像処理装置における補正量算出方法であって、
前記振動による前記撮像手段への影響を打ち消すための前記補正量を前記振動量に基づいて算出する手順と、
所定の位置間における前記補正量の変化量を算出する手順と、
前記画像保持手段における前記画像の補正限界を超えたか否かを前記変化量に基づいて判別する手順と、
前記判別の結果、補正限界を超えたと判別した場合には前記補正量に対して所定の演算を施した調整量を前記補正量として出力し、前記補正限界判別手段が補正限界を超えないと判別した場合には前記補正量をそのまま前記補正量として出力する手順と
を具備することを特徴とする補正量算出方法。
【請求項１０】
撮像素子により画像を撮像する撮像手段と、撮像された前記画像を保持する画像保持手段と、前記撮像手段に加えられた振動を検出して振動量を出力する振動検出手段と、前記振動量に基づいて最終的に得られた補正量に基づいて前記画像保持手段に保持された前記画像を補正する画像補正手段とを備える画像処理装置において、
前記振動による前記撮像手段への影響を打ち消すための前記補正量を前記振動量に基づいて算出する手順と、
所定の位置間における前記補正量の変化量を算出する手順と、
前記画像保持手段における前記画像の補正限界を超えたか否かを前記変化量に基づいて判別する手順と、
前記判別の結果、補正限界を超えたと判別した場合には前記補正量に対して所定の演算を施した調整量を前記補正量として出力し、前記補正限界判別手段が補正限界を超えないと判別した場合には前記補正量をそのまま前記補正量として出力する手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
前記振動検出手段は、前記撮像手段の第１の位置における振動量を、前記撮像手段の前記第１の位置の近傍である第２の位置における振動量とする補間処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項１２】
前記振動検出手段は、前記撮像手段の第１の位置における振動量と第２の位置における振動量に対して所定の一次関数を適用することにより、前記撮像手段の前記第１の位置および前記第２の位置の間にある第３の位置における振動量を算出する補間処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項１３】
前記補正量算出手段は、前記撮像手段の第１の位置における振動量と第２の位置における振動量に対して所定の関数として曲線的に変化する関数を適用することにより、前記撮像手段の前記第１の位置および前記第２の位置の間にある第３の位置における振動量を算出する補間処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項１４】
前記補正限界判別手段は、
前記所定の位置間において許容される変化量を均一に定めた限界値を保持する限界値保
持手段と、
前記変化量算出手段による前記変化量が前記限界値を超えた場合に補正限界を超えたと
判別する第１の判別手段と、
所定位置における前記画像保持手段の範囲を保持する範囲保持手段と、
前記変化量算出手段により算出された前記変化量に基づいて前記所定位置における外挿
値を算出する外挿手段と、
前記外挿値が前記範囲保持手段に保持された前記範囲を超えた場合に補正限界を超えたと判別する第２の判別手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項１５】
撮像モードに応じて、前記第１の判別手段または前記第２の判別手段のいずれか一方を用いることを特徴とする請求項１４記載の画像処理装置。