(57)【要約】【課題】被評価画像の大きさによらず、一定の基準で、振れの無い画像であるか、振れの有る画像かを評価する。【解決手段】撮像装置により撮影された被評価画像の振れを評価する画像振れ評価方法であって、被評価画像を取り込む取込工程１０２と、取込工程において取り込んだ画像に対して、被評価画像の注目領域に対して評価枠を設定する枠設定工程１０３と、評価枠内において、評価画像位置を設定する位置設定工程１０４と、位置設定工程において設定された評価画像位置の部分画像に対して評価画像演算を行う演算工程１０５と、演算工程において算出された振れ評価値に基づいて振れ画像の判定を行う判定工程１０６と、判定工程の判定結果を出力する結果出力工程とを有する。【選択図】図１
2011059147.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮影された被評価画像の振れを評価する画像振れ評価方法であって、
前記被評価画像を取り込む取込工程と、
前記取込工程において取り込んだ画像に対して、前記被評価画像の注目領域に対して評価枠を設定する枠設定工程と、
前記評価枠内において、評価画像位置を設定する位置設定工程と、
前記位置設定工程において設定された前記評価画像位置の部分画像に対して評価画像演算を行う演算工程と、
前記演算工程において算出された振れ評価値に基づいて振れ画像の判定を行う判定工程と、
前記判定工程の判定結果を出力する結果出力工程とを有することを特徴とする画像振れ評価方法。
【請求項２】
前記枠設定工程において、被評価画像の水平方向および垂直方向の輝度値が変化する位置によって前記評価枠を設定することを特徴とする請求項１に記載の画像振れ評価方法。
【請求項３】
前記演算工程において、前記評価枠内および前記評価枠外の輝度値を使用して前記評価画像位置の輝度値の正規化を行い、前記正規化された輝度値の分布を複数のレベルによって複数の輝度領域に分割し、前記分割された輝度領域に基づいて前記振れ評価値を算出することを特徴とする請求項１または２に記載の画像振れ評価方法。
【請求項４】
前記演算工程において、前記複数に分割された輝度領域に対してそれぞれ重み付けを行って前記振れ評価値を算出することを特徴とする請求項４に記載の画像振れ評価方法。
【請求項５】
撮像装置により撮影された被評価画像の振れを評価する画像振れ評価装置であって、
前記被評価画像を取り込む取込手段と、
前記取込手段において取り込んだ画像に対して、前記被評価画像の注目領域に対して評価枠を設定する枠設定手段と、
前記評価枠内において、評価画像位置を設定する位置設定手段と、
前記位置設定手段により設定された前記評価画像位置の部分画像に対して評価画像演算を行う演算手段と、
前記演算手段により算出された振れ評価値に基づいて振れ画像の判定を行う判定手段と、
前記判定手段の判定結果を出力する結果出力手段とを有することを特徴とする画像振れ評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像の振れ評価を行う画像振れ評価方法および画像振れ評価装置に関するものである。
【背景技術】
【０００２】
撮像装置では、手振れや振動により被写体の画像が振れてしまい、見づらい画像となってしまうことがよくある。最近では高倍率のレンズが採用されており、特にテレ側の時は画像振れが大きく目立つ。このような手振れ等に対して画像振れ補正を行う装置を有する撮像装置が数多く提案されている。この種の撮像装置において、画像振れ補正の効果を示す指標としてシャッタスピードの段数が一般的に用いられており、画像振れ補正の効果を示すシャッタスピード段数を算出するためには、画像振れを評価することが求められている。
【０００３】
また、例えば紙などの画質形成媒体上に形成された画像の画質を評価する方法および装置が数多く提案されている。画質の評価方法には、画質心理評価と、物理評価とがある。画質心理評価は、人間が画像を目視して、心理的に感じる“美しさ”や“好ましさ”の程度を数値化するいわゆる官能評価である。また、物理評価は、画質を左右する複数の画質要因（画質評価項目）、例えば階調性、色再現域等のそれぞれに着目して、画像構造の性質を客観的に測定した値で評価するものである。
【０００４】
上記画質心理評価と物理評価とを結び付けた画質評価を行う場合において、両評価結果の相関関係を良好なものとした画質評価方法および装置が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−６３８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１では、画質心理評価と画質物理評価を結び付けた画質評価を行うものであり、画像の振れを評価することが出来ない。
【０００７】
（発明の目的）
本発明の目的は、被評価画像の大きさによらず、一定の基準で、振れの無い画像であるか、振れの有る画像かを評価することのできる画像振れ評価方法および画像振れ評価装置を提供しようとするものである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像振れ評価方法は、撮像装置により撮影された被評価画像の振れを評価する画像振れ評価方法であって、前記被評価画像を取り込む取込工程と、前記取込工程において取り込んだ画像に対して、前記被評価画像の注目領域に対して評価枠を設定する枠設定工程と、前記評価枠内において、評価画像位置を設定する位置設定工程と、前記位置設定工程において設定された前記評価画像位置の部分画像に対して評価画像演算を行う演算工程と、前記演算工程において算出された振れ評価値に基づいて振れ画像の判定を行う判定工程と、前記判定工程の判定結果を出力する結果出力工程とを有することを特徴とするものである。
【発明の効果】
【０００９】
以上説明したように、本発明によれば、被評価画像の大きさによらず、一定の基準で、振れの無い画像であるか、振れの有る画像かを評価することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る画像振れ評価装置を示すブロック図である。
【図２】実施例１に係る被評価画像の好ましい一部の例を示す図である。
【図３】実施例１における評価枠設定部の動作を示すフローチャートである。
【図４】実施例１における評価枠設定の例を示す図である。
【図５】実施例１における評価画像位置設定の例を示す図である。
【図６】実施例１における評価画像演算部の動作を示すフローチャートである。
【図７】実施例１おける黒色と白色の輝度値を正規化する例を示す図である。
【図８】実施例１における評価画像位置での輝度値分布を示す図である。
【図９】実施例２における評価画像演算部の動作を示すフローチャートである。
【図１０】実施例２における評価画像位置での輝度値分布を示す図である。
【発明を実施するための形態】
【００１１】
本発明を実施するための形態は、以下の実施例１ないし２に示す通りである。
【実施例１】
【００１２】
図１は本発明の実施例１に係る画像振れ評価装置の全体構成を示すブロック図である。画像振れ評価装置は、当該画像振れ評価装置の各部を制御する中心のコンピュータであるホストコンピュータ１０１、評価画像取り込み部１０２、評価枠設定部１０３、評価画像位置設定部１０４を備える。さらに、評価画像演算部１０５、評価判定部１０６、評価結果出力部１０７を備える。
【００１３】
上記の評価画像取り込み部１０２は、撮像装置により撮影された被評価画像を画像振れ評価装置に取り込むものである。被評価画像は画像振れの方向を判定することが容易であるため、縦と横の線を持つ画像を想定している。例えば図２（ａ）〜（ｃ）に示すチャートを撮影した画像を被評価画像とする。なお、画像振れ評価では、輝度値変化の大きい画像（図２のようなチャート）を撮影することを想定しているため、一般的な画像は評価対象としない。
【００１４】
評価枠設定部１０３は、評価画像取り込み部１０２によって取り込まれた被評価画像のうち、注目する被評価画像の一部の領域（注目領域）を検出し、検出した領域に対して評価枠を設定するものである。以下、図３のフローチャートを用いて、評価枠設定部１０３における評価枠の設定の動作について説明する。
【００１５】
まず、ステップＳ３０１にて、被評価画像の水平ラインの走査を開始し、次のステップＳ３０３にて、輝度値変化の有無を判定する。水平ラインに輝度値変化が無い場合にはステップＳ３０２から直ちにステップＳ３０４へ進む。水平ラインに輝度値変化が有る場合には、ステップＳ３０２からステップＳ３０３へ進み、輝度値変化の発生した水平方向の位置座標を記録する。そして、次のステップＳ３０４にて、被評価画像の全水平ラインに対して走査が終了したか否かを調べ、終了していなければステップＳ３０１へ戻り、同様の動作を繰り返す。
【００１６】
その後、被評価画像の全水平ラインに対して走査が終了するとステップＳ３０４からステップＳ３０５へ進み、今度は被評価画像の垂直ラインの走査を開始し、次のステップＳ３０６にて、輝度値変化の有無を判定する。垂直ラインに輝度値変化が無い場合にはステップＳ３０６からステップＳ３０４へ進む。垂直ラインの輝度値変化が有る場合には、ステップＳ３０６から直ちにステップＳ３０７へ進み、輝度値変化の発生した垂直方向の位置座標を記録する。そして、次のステップＳ３０８にて、被評価画像の全垂直ラインに対して走査が終了したか否かを調べ、終了していなければステップＳ３０５へ戻り、同様の動作を繰り返す。
【００１７】
被評価画像の全垂直ラインに対して走査が終了するとステップＳ３０８からステップＳ３０９へ進み、被評価画像の全水平ラインおよび全垂直ラインの輝度値変化の位置座標をもとに評価枠を設定する。
【００１８】
上記のような処理を経ることで評価枠を設定することで、評価枠が画像の光軸中心とずれている図４（ａ）や図４（ｂ）のような被評価画像に対しても適切な評価枠１０８を設定することが出来る。なお、水平方向および垂直方向の走査は画像の左上の位置から開始する。
【００１９】
図１に戻り、評価画像位置設定部１０４は、評価枠設定部１０３により設定された評価枠内において、注目する評価画像位置を設定するものである。図５に示すように、縦と横の線に対してそれぞれ垂直な数箇所に注目し、評価画像位置を設定している。図５では、例えば縦線に１０箇所、横線に１０箇所の評価画像位置を設定しているが、評価画像位置はこの位置に限定されるものではなく、必要に応じて変更することができる。
【００２０】
評価画像演算部１０５は、評価画像位置設定部１０４において設定された評価画像位置に対して評価画像演算を行うものである。以下、図６のフローチャートを用いて、評価画像演算部１０５における評価画像演算について説明する。
【００２１】
まず、ステップＳ６０１では、被評価画像に対して白色、黒色の輝度値の正規化を行う。このステップＳ６０１における黒色と白色の輝度値を正規化する位置を、図７に示す。
【００２２】
図７に示すように、評価枠１０８内の点２０１を白色の基準とし、評価枠外の点２０２を黒色の基準としている。図７では例えば評価枠内の４点、評価枠外の４点を基準としているが、正規化のサンプル点数はこの数に限定されるものではなく、必要に応じて変更することができる。このように黒色と白色の輝度値を正規化し、被評価画像における黒色と白色の基準となる輝度値を設定することで、被評価画像の色による評価誤差を抑えることができる。なお、正規化する際には評価枠内の４点の輝度平均値を白色の基準とし、評価枠外の４点の輝度平均値を黒色の基準としてもよい。
【００２３】
また、評価画像位置での輝度値分布は、図８のようになる。
【００２４】
図６に戻り、ステップＳ６０２では、図８のような輝度値分布に対して、所定レベル以上を白色領域、所定レベル以下を黒色領域、その他の部分を灰色領域に分割する。そして、次のステップＳ６０３にて、上記のように分割された輝度領域に対して下記の式
振れ評価値＝灰色領域／（灰色領域＋黒色領域）
を適用し、画像の振れ評価値を算出する。この振れ評価値は灰色領域が小さいほど小さくなる。つまり、振れ評価値が小さいほど灰色領域が小さく、白色領域と黒色領域の境界が強調されており、振れの少ない画像ということができる。
【００２５】
次のステップＳ６０４では、評価画像位置設定部１０４により設定された全評価画像位置に対して振れ評価値を算出したかどうか判定する。そして、全評価画像位置に対して振れ評価値が算出されていない場合にはステップＳ６０５へ進み、次の評価画像位置に移動し、振れ評価値の算出を行い、ステップＳ６０２へ戻り、同様の動作を繰り返す。このように、振れ評価値は設定された評価画像位置ごとに算出される。
【００２６】
上記ステップＳ６０４にて全評価画像位置に対して振れ評価値が算出されたことを判定するとステップＳ６０６へ進み、算出された全評価画像位置の振れ評価値の合計または平均化を行い、被評価画像全体としての振れ評価値演算を行う。この被評価画像全体としての振れ評価値算出の際には、算出した振れ評価値のばらつきを考え、最大値または最大値に近い数点、および最小値または最小値に近い数点を省いた中間の数点を使用して、被評価画像全体としての振れ評価値を算出してもよい。
【００２７】
図１に戻り、評価判定部１０６は、評価画像演算部１０５において算出された振れ評価値に基づいて画像の振れが有るか無いかの判定を行うものである。つまり、画像の振れ評価値が所定の値より小さい画像は振れの無い画像であり、画像の振れ評価値が所定の値より大きい画像は振れの有る画像と判定する。また、評価結果出力部１０７は、評価判定部１０６での判定結果を出力するものである。なお、評価判定部１０６の出力は、例えばディスプレイやプリンタにより出力される。
【００２８】
ホストコンピュータ１０１は、各部の動作を制御するとともに各部での画像データおよび画像処理演算データを記憶するものである。
【００２９】
以上の実施例１によれば、被評価画像の評価枠内の評価画像位置の輝度値を算出し、白領域、黒領域、灰色領域に分割し、黒領域と灰色領域の割合を計算して画像の振れ評価値とするようにしている。よって、被評価画像の大きさによらず、常に一定の基準で信頼性の高い画像振れ判定、つまり振れの無い画像であるか、振れの有る画像かを評価することができる。
【実施例２】
【００３０】
次に、本発明の実施例２に係る画像振れ評価装置について説明する。なお、画像振れ評価装置の回路構成要素は図１に示したものと同一であり、その説明は省略する。
【００３１】
図９のフローチャートを用いて、本発明の実施例２に係わる評価画像演算部１０５での評価画像演算について説明する。
【００３２】
まず、ステップＳ９０１では、被評価画像に対して白色、黒色の輝度値の正規化を行う。このように黒色と白色の輝度値を正規化し、被評価画像における黒色と白色の基準となる輝度値を設定することで、被評価画像の色による評価誤差を抑えることができる。次のステップＳ９０２では、評価画像位置での輝度値分布に対して、所定レベル以上を白色領域、所定レベル以下を黒色領域、その他の部分を灰色領域に分割する。続くステップＳ６０３では、灰色領域において、輝度値に応じてさらに数種類の灰色領域に分割する。評価画像位置での輝度値分布は、図１０のようになる。図１０では、例えば灰色領域を３領域に分割しているが、分割数は選択することができる。
【００３３】
次のステップＳ９０４では、上記のように分割された輝度領域に対して下記の式を適用し、振れ評価値を算出する。これは、灰色領域を輝度値に応じて複数の領域に分割し、それぞれの領域に重み付けを行ったものを
2011059147.tif 000003
なる式により振れ評価値として算出している。なお、灰色領域をｎ個に分割し、各灰色領域に対する重み付け量をＫｘとする。この振れ評価値は灰色領域が小さいほど小さくなる。つまり、振れ評価値が小さいほど灰色領域が小さく、白色領域と黒色領域の境界が強調されており、振れの少ない画像ということができる。
【００３４】
次のステップＳ９０５では、評価画像位置設定部１０４により設定された全評価画像位置に対して振れ評価値を算出したかどうか判定する。そして、全評価画像位置に対して振れ評価値が算出されていない場合にはステップＳ９０６へ進み、次の評価画像位置に移動し、振れ評価値の算出を行い、ステップＳ９０２へ戻り、同様の動作を繰り返す。このように、振れ評価値は設定された評価画像位置ごとに算出される。
【００３５】
上記ステップＳ９０５にて全評価画像位置に対して振れ評価値が算出されたと判定した場合にはステップＳ９０７へ進み、算出された全評価画像位置の振れ評価値の合計または平均化を行い、被評価画像全体としての振れ評価値演算を行う。この被評価画像全体としての振れ評価値算出の際には、算出した振れ評価値のばらつきを考え、最大値または最大値に近い数点、および最小値または最小値に近い数点を省いた中間の数点を使用して被評価画像全体の振れ評価値を算出してもよい。
【００３６】
以上の実施例２によれば、被評価画像の所定位置の輝度値を算出し、白領域、黒領域、灰色領域に分割する。さらに、輝度値に応じて灰色領域を複数領域に分割し、黒領域と分割された灰色領域に重み付けを行った値に対して、黒領域と灰色領域の割合を画像の振れ評価値として算出する。
【００３７】
上記のように灰色領域に対する重み付けを行い、目視の際に振れと感じる部分を強調するように設定することで、人間の目視の感覚に近い振れ評価を行うことができる。
【００３８】
上記の各実施例によれば、撮像装置により撮影された被評価画像の画像振れを評価する画像振れ評価装置もしくは画像振れ評価方法に関し、以下の手段を用いて（もしくは工程によって）画像の画像振れ評価を行うものである。詳しくは、被評価画像を取り込む取込手段（工程）と、取込手段（工程）において取り込んだ画像に対して、被評価画像の注目領域に対して評価枠を設定する枠設定手段（工程）を有する。さらに、評価枠内において、評価画像位置を設定する位置設定手段（工程）と、位置設定手段（工程）において設定された評価画像位置の部分画像に対して評価画像演算を行う演算手段（工程）を有する。さらに、演算手段（工程）において算出された振れ評価値に基づいて振れ画像の判定を行う判定手段（工程）と、判定手段（工程）の判定結果を出力する結果出力手段（工程）とを有する。
【００３９】
上記枠設定手段（工程）では、被評価画像の水平方向および垂直方向の輝度値が変化する位置によって評価枠を設定する。また、演算手段（工程）では、評価枠内および評価枠外の輝度値を使用して、評価画像位置の輝度値の正規化を行う。また、演算手段（工程）では、輝度値に応じて複数の領域に分割する。また、演算手段（工程）では、複数に分割されたそれぞれの領域に対して重み付けを行った振れ評価値を算出する。
【００４０】
以上のように、被評価画像の評価枠内の評価画像位置の輝度値を算出し、白領域、黒領域、灰色領域に分割し、黒領域と灰色領域の割合を計算して振れ評価値とすることで、被評価画像の大きさによらず、常に一定の基準で信頼性の高い振れ判定を行うことができる。詳しくは、画素数で振れ評価を行うとチャート撮影時に発生する画角の変化（チャートの線の太さ）のために適切に振れ判定ができない（ここでは一定距離のチャート間距離で撮影することを想定しているが、意図せず微妙に撮影撮影立ち位置が前後した場合など）。それに対し本実施例では、黒領域と灰色領域の割合で画像の振れを評価するため、微妙な画角の変化があっても振れ判定に影響ない。
【符号の説明】
【００４１】
１０１  ホストコンピュータ
１０２  評価画像取り込み部
１０３  評価枠設定部
１０４  評価画像位置設定部
１０５  評価画像演算部
１０６  評価判定部
１０７  評価結果出力部
【図１】
2011059147.tif 000004
【図２】
2011059147.tif 000005
【図３】
2011059147.tif 000006
【図４】
2011059147.tif 000007
【図５】
2011059147.tif 000008
【図６】
2011059147.tif 000009
【図７】
2011059147.tif 000010
【図８】
2011059147.tif 000011
【図９】
2011059147.tif 000012
【図１０】
2011059147.tif 000013