(57)【要約】【課題】  動きを伴う被写体の撮影画像に対するフリッカ抑制を充分に行う。【解決手段】  ローリングシャッター式の撮像デバイス（１２）を具備する撮像装置（９）は、前記撮像デバイスのフレームレートを高フレームレートと低フレームレートのいずれか一方に設定するフレームレート設定手段（１３）、前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが高フレームレートに設定されているときに、その撮像デバイスから周期的に出力される複数枚の高フレームレート画像に基づいて、フリッカ補正値を演算するフリッカ補正値演算手段（１５）、前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが低フレームレートに設定されているときに、その撮像デバイスから出力される低フレームレート画像を、前記フリッカ補正値を用いて補正するフリッカ補正手段（２５）を備える。【選択図】  図１
2008067132.tif 000002
【特許請求の範囲】
【請求項１】
ローリングシャッター式の撮像デバイスを具備する撮像装置において、
前記撮像デバイスのフレームレートを高フレームレートと低フレームレートのいずれか一方に設定するフレームレート設定手段と、
前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが高フレームレートに設定されているときに、その撮像デバイスから周期的に出力される複数枚の高フレームレート画像に基づいて、フリッカ補正値を演算するフリッカ補正値演算手段と、
前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが低フレームレートに設定されているときに、その撮像デバイスから出力される低フレームレート画像を、前記フリッカ補正値を用いて補正するフリッカ補正手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記フリッカ補正値演算手段は、前記撮像デバイスから周期的に出力される複数枚の高フレームレート画像のフレーム内積算値を各画像毎に求め、各画像のフレーム内積算値の平均値をフリッカ補正値とすることを特徴とする請求項１記載の撮像装置。
【請求項３】
さらに、前記撮像デバイスから出力される低フレームレート画像を縦方向に複数のブロックに等分割する画像分割手段を備え、
前記フリッカ補正手段は、このブロック単位にフリッカ補正をするものであって、
前記フリッカ補正値演算手段は、前記撮像デバイスから周期的に出力される複数枚の高フレームレート画像のフレーム内積算値を各画像毎に求め、且つ、前記複数のブロックの各々に対応したフレーム内積算値の平均値を、前記フリッカ補正値とすることを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、詳しくは、明るさが周期的に変動する光源下で撮影する際のフリッカを抑制するようにした撮像装置に関する。
【背景技術】
【０００２】
人工光源を主光源または補助光源として、デジタルカメラやビデオカメラ等の撮像装置で被写体を撮影する場合、その人工光源と撮像デバイスの組み合わせによっては、撮影された画像中に横帯状の輝度変化縞（フリッカ）を生じることがある。
【０００３】
フリッカを生じる典型的な人工光源と撮像デバイスの組み合わせは、非インバータ型の蛍光灯と、ＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイスの組み合わせである。ＸＹアドレス式の撮像デバイスは、Ｘアドレス（列アドレス）とＹアドレス（行アドレス）の指定により、その交点に位置する画素の情報を自由に読み出すことができる撮像デバイスである。ＣＭＯＳセンサはその代表例である。
【０００４】
図７（ａ）は、フリッカを生じる可能性がある撮影状態を示す図である。この図において、室内１の天井には非インバータ型の蛍光灯２が取り付けられており、その室内１で、撮影者３により、ＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイスが組み込まれた撮像装置４（デジタルカメラまたはデジタルビデオカメラ）を使用した、蛍光灯２を主光源とする被写体５の撮影が行われているものとする。
【０００５】
非インバータ型の蛍光灯２は、商用電源周波数の半サイクル毎に蛍光放電を繰り返すものであるから、たとえば、５０Ｈｚの商用電源とすれば、その半サイクルの周期（１／１００秒＝１０ミリ秒、つまり、商用電源周波数の倍の周期）で明るさが変動する。なお、図ではミリ秒をｍｓと表記している。
【０００６】
図７（ｂ）は、蛍光灯の光量変動とＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイスの読み取り動作との対応関係図である。この図において、蛍光灯２の明るさ（光量）は、上記のとおり、商用電源周波数の倍の周期（１０ミリ秒）で変動しているが、このような蛍光灯２の元で、ＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイスが組み込まれた撮像装置４を用いて被写体５の撮影を行った場合、その撮影画像中に横帯状の輝度変化縞（フリッカ）を生じる。
【０００７】
その理由を説明すると、ＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイスにおける通常の画素情報の読み出しは、ＣＣＤセンサのような全画素同時読み出しではなく、ローリングシャッターなどとも呼ばれる、ライン毎の線順次読み出しだからである。すなわち、図７（ｂ）に示すように、撮像デバイスの第１ライン（Ｌ１）、第２ライン（Ｌ２）、第３ライン（Ｌ３）・・・・第ｎライン（Ｌｎ）の順番で少しずつ時間軸方向にズレながら画素情報が読み出されるからである。
【０００８】
図７（ｂ）において、ハッチングを付したＬ１〜Ｌｎは、一つの画像（以下、フレームともいう）を構成する各ラインを示しており、これらのラインは少しずつ（通常は１画素クロックずつ）時間軸方向にずれている。したがって、Ｌ１〜Ｌｎの明るさ（輝度値）は、それぞれ同時刻の蛍光灯２の明るさに対応するから、ライン毎の明るさが一様でなくなり、その結果、画像中に横帯状の輝度変化縞（フリッカ）を生じるのである。
【０００９】
フリッカの抑制技術としては、たとえば、下記の特許文献１に記載のものが知られている。この技術では、ＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイスによって撮影された画像信号を、その１水平期間以上の時間にわたって積分し、隣接するフィールドにおける積分値の差分値を連続する３フィールドにおける積分値の平均値で正規化し、その正規化後の積分値を離散フーリエ変換してスペクトルを抽出し、そのスペクトルからフリッカ係数を推定し、そのフリッカ係数を用いて画像信号中のフリッカ成分の抑制を行っている。
【００１０】
【特許文献１】特開２００４−２２２２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記の特許文献１に記載の技術は、以下の理由により、動きを伴う被写体の撮影画像に対するフリッカの抑制が不十分であるという問題がある。
【００１２】
すなわち、同文献においては、「隣接するフィールドにおける積分値の差分値を連続する３フィールドにおける積分値の平均値で正規化」するとしており、この“３フィールド”は、同文献の段落「０２３５」及び図２８、図２９の記載より、１フィールド周期が１／６０秒であるから、３×（１／６０秒）＝０．０５秒の時間にわたって連続的に取得される３つのフィールドであると認められる。
【００１３】
上記の時間（０．０５秒）は、通常のカメラのシャッター速度に換算して「１／２０（秒）」である。一般的にこの程度のシャッター速度は低速シャッターの範囲に入るので、とりわけ動きを伴う被写体を写し込む場合、３つのフィールドの各々における被写体の位置が微妙にずれてしまうことが避けられない。
【００１４】
図８は、動きを伴う被写体を１／６０秒周期で撮影した３つのフィールドを示す図である。この図において、第１〜第３のフィールドＦ１〜Ｆ３には、いずれも同一の被写体６（この図では右から左へと走行する自動車）が写っているが、各々のフィールドＦ１〜Ｆ３に写し込まれている被写体６の位置は異なっている。このため、これらの３つのフィールドＦ１〜Ｆ３を前記の特許文献１の技術に適用して、「隣接するフィールド“Ｆ１とＦ２、Ｆ２とＦ３”における積分値の差分値を連続する３フィールド“Ｆ１〜Ｆ３”における積分値の平均値で正規化」したとしても、これら３つのフィールドＦ１〜Ｆ３の被写体６の位置が異なっているのであるから、極端には、これら３つのフィールドＦ１〜Ｆ３は別々の画像であるともいえるから、とりわけ、動きを伴う被写体の撮影画像に対する特許文献１におけるフリッカ係数は不正確なものとならざるを得ず、結局、動きを伴う被写体の撮影画像に対するフリッカの抑制が不十分となってしまうという問題点が避けられない。
【００１５】
そこで、本発明は、動きを伴う被写体の撮影画像に対するフリッカ抑制を充分に行うことができるようにした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
請求項１記載の発明は、ローリングシャッター式の撮像デバイスを具備する撮像装置において、前記撮像デバイスのフレームレートを高フレームレートと低フレームレートのいずれか一方に設定するフレームレート設定手段と、前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが高フレームレートに設定されているときに、その撮像デバイスから周期的に出力される複数枚の高フレームレート画像に基づいて、フリッカ補正値を演算するフリッカ補正値演算手段と、前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが低フレームレートに設定されているときに、その撮像デバイスから出力される低フレームレート画像を、前記フリッカ補正値を用いて補正するフリッカ補正手段とを備えたことを特徴とする撮像装置である。
請求項２記載の発明は、前記フリッカ補正値演算手段は、前記撮像デバイスから周期的に出力される複数枚の高フレームレート画像のフレーム内積算値を各画像毎に求め、各画像のフレーム内積算値の平均値をフリッカ補正値とすることを特徴とする請求項１記載の撮像装置である。
請求項３記載の発明は、さらに、前記撮像デバイスから出力される低フレームレート画像を縦方向に複数のブロックに等分割する画像分割手段を備え、前記フリッカ補正手段は、このブロック単位にフリッカ補正をするものであって、前記フリッカ補正値演算手段は、前記撮像デバイスから周期的に出力される複数枚の高フレームレート画像のフレーム内積算値を各画像毎に求め、且つ、前記複数のブロックの各々に対応したフレーム内積算値の平均値を、前記フリッカ補正値とすることを特徴とする請求項１記載の撮像装置である。
【発明の効果】
【００１７】
本発明では、複数枚の高フレームレート画像によって、周期的な光量変動を正確に検出でき、かかる光量変動に起因して発生する、低フレームレート画像中の横帯状の輝度変化縞（フリッカ）を抑制することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。
【００１９】
図１は、撮像装置の構成図である。この図において、撮像装置９は、固定または可変の撮影画角αに存在する不図示の被写体の二次元画像を、すくなくとも高低二つのフレームレートのいずれかで出力することができる撮像部１０を備える。この撮像部１０は、撮影レンズや絞り機構、焦点合わせ機構（及び必要であればズーム機構）を含む光学系１１と、ＸＹアドレス式の撮像デバイス１２（典型的にはＣＭＯＳセンサ）とで構成される。撮像部１０の動作（絞りの大きさやズーム倍率、つまり撮影画角αの調整並びに焦点合わせ、及び、撮像デバイス１２の露光並びに読み出し動作やフレームレート）は、制御部１３からの制御信号によって適宜にコントロールされる。
【００２０】
上記のとおり、撮像部１０（正確には、撮像デバイス１２）のフレームレートは、制御部１３からの制御信号に従って、すくなくとも高低二つのフレームレートのいずれかに設定される。ここで、低フレームレートとは通常の撮影に用いられる撮像デバイス１２のフレームレートであり、高フレームレートとは、その低フレームレートのＮ倍のフレームレートのことをいう。たとえば、低フレームレートを３００ｆｐｓ（ｆｐｓ：フレーム／秒）とし、Ｎ＝４とすれば、高フレームレートは３００×４＝１２００ｆｐｓになる。かかる高フレームレートは、原理上は、撮像デバイス１２の動作周波数をＮ倍に高めることによって実現可能であるが、撮像デバイス１２の種類によっては動作上の制限により、動作周波数をＮ倍に高めることができないことがある。このような場合、ＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイス１２は、任意範囲の画素領域だけを部分読み出しできるため、動作周波数を高めずとも、上記のような高フレームレートを容易に達成することができる。たとえば、動作周波数をそのままにして、ＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイス１２の１／Ｎの画素領域を部分読み出しすれば、読み出しに要する時間が単純計算で１／Ｎになるので、フレームレートをＮ倍に高めることができる。
【００２１】
以下、説明の便宜上、低フレームレートを３００ｆｐｓ、高フレームレートをそのＮ＝４倍の１２００ｆｐｓとする。
【００２２】
詳細は後述するが、この撮像部１０は、フリッカ抑制を必要とする画像撮影において、高フレームレート（１２００ｆｐｓ）で動作する光量変動検出期間、低フレームレート（３００ｆｐｓ）で動作する実撮影期間、及び、その間の所定長の切替期間の３つの期間で動作する。つまり、「光量変動検出期間」から「切替期間」を経て「実撮影期間」に至る３つの期間遷移を伴いながら、フリッカ抑制を必要とする画像撮影を行う。ここで、「光量変動検出期間」は、非インバータ型蛍光灯（図７の蛍光灯２参照）の光量変動に伴うフリッカ成分を検出するための期間であり、「実撮影期間」は、その蛍光灯を主光源または補助光源として任意の被写体を実際に撮影し、その撮影画像を取得・記録するための期間であり、「切替期間」は、それらの両期間の遷移に必要な期間である。
【００２３】
このように、フリッカ抑制を必要とする画像撮影においては、撮像部１０は、まず、「光量変動検出期間」で高フレームレート（１／１２００秒周期＝０．８ミリ秒周期）の画像を所定枚数Ｍだけ出力する。この画像枚数Ｍは、少なくとも、蛍光灯の光量変動の１周期を上回る数であって、たとえば、５０Ｈｚ商用電源で動作する非インバータ型蛍光灯の光量変動１周期は１／１００秒＝１０ミリ秒であるから、「０．８ミリ秒×Ｍ＋１≧１０ミリ秒」の条件を満たすときのＭである。つまり、この場合、Ｍ＝１２とすれば、０．８×１２＋１＝１０．４ミリ秒となって、上記の条件を満たすので、以下、Ｍ＝１２として説明する。
【００２４】
このようにして撮像部１０から出力された所定枚数Ｍの高フレームレート画像は、制御部１３のコントロールにより、アナログデジタル変換器１４（ＡＤＣ）を経て、フリッカ補正値算出部１５に逐次に入力される。このフリッカ補正値算出部１５は、Ｒ積算部１６、Ｇ積算部１７、Ｂ積算部１８、Ｒ判定部１９、Ｇ判定部２０、Ｂ判定部２１、Ｒ補正値算出部２２、Ｇ補正値算出部２３、及び、Ｂ補正値算出部２４を備える。
【００２５】
なお、ここでは、ＲＧＢの各原色毎の積算部、判定部及び補正値算出部を備えているが、これは、撮像部１０がＲＧＢの各原色毎の画像信号を出力する「原色系」であるからである。撮像部１０がＹＣＭの各補色ごと画像信号を出力する「補色系」である場合には、ＹＣＭの各補色毎の積算部、判定部及び補正値算出部を備えることになる。すなわち、Ｒ積算部１６、Ｇ積算部１７、Ｂ積算部１８、Ｒ判定部１９、Ｇ判定部２０、Ｂ判定部２１、Ｒ補正値算出部２２、Ｇ補正値算出部２３及びＢ補正値算出部２４を、それぞれＹ積算部１６、Ｃ積算部１７、Ｍ積算部１８、Ｙ判定部１９、Ｃ判定部２０、Ｍ判定部２１、Ｙ補正値算出部２２、Ｃ補正値算出部２３及びＭ補正値算出部２４と読み替えればよい。以下、説明を簡単化するために、撮像部１０がＲＧＢの各原色毎の画像信号を出力する「原色系」であるものとする。
【００２６】
アナログデジタル変換器１４でデジタル信号に変換された所定枚数Ｍの高フレームレート画像は、その原色画像（Ｒ画像、Ｇ画像、Ｂ画像）毎に、Ｒ積算部１６、Ｇ積算部１７及びＢ積算部１８に振り分けて入力される。
【００２７】
これらのＲ積算部１６、Ｇ積算部１７及びＢ積算部１８は、入力された高フレームレート画像の各々のフレーム内積算値（画像内各画素値の積算値）を演算する。すなわち、Ｒ積算部１６は、第１〜第Ｍまでの高フレームレート画像の各Ｒ画像のフレーム内積算値を演算し、Ｇ積算部１７は、第１〜第Ｍまでの高フレームレート画像の各Ｇ画像のフレーム内積算値を演算し、Ｂ積算部１８は、第１〜第Ｍまでの高フレームレート画像の各Ｂ画像のフレーム内積算値を演算する。
【００２８】
以下、これらのフレーム内積算値を記号「Ｋ＿＃＿＆」で識別することにする。ここで、＃は高フレームレート画像の番号（１、２、３・・・・Ｍ）であり、＆はＲ画像、Ｇ画像、Ｂ画像の別（Ｒ、Ｇ、Ｂ）である。たとえば、Ｋ＿１＿Ｒは、１枚目の高フレームレート画像のＲ画像のフレーム内積算値であることを示す。
【００２９】
Ｒ判定部１９、Ｇ判定部２０及びＢ判定部２１は、Ｒ積算部１６、Ｇ積算部１７及びＢ積算部１８で演算されたＫ＿＃＿＆について、それぞれＲ画像、Ｇ画像、Ｂ画像の最大値（ＭＡＸ＿Ｋ＿＃＿＆）と最小値（ＭＩＮ＿Ｋ＿＃＿＆）を求め、さらに、それらの最大値と最小値との差が所定の閾値を超えているか否かを判定する。そして、それらの最大値と最小値との差が所定の閾値を超えている場合には、補正を必要とする程度のフリッカが発生しているものと判断し、そうでない場合には、フリッカの発生がない（または無視し得る程度の若干量のフリッカしか発生していない）ものと判断する。
【００３０】
Ｒ補正値算出部２２、Ｇ補正値算出部２３及びＢ補正値算出部２４は、上記のＲ判定部１９、Ｇ判定部２０またはＢ判定部２１において、補正を必要とする程度のフリッカが発生しているものと判断されたときに、該当する色画像のフリッカ補正値を算出する。たとえば、Ｒ判定部１９、Ｇ判定部２０またはＢ判定部２１の全てで、補正を必要とする程度のフリッカが発生しているものと判断されたときには、Ｒ補正値算出部２２、Ｇ補正値算出部２３及びＢ補正値算出部２４の各々で、各原色毎且つ後述の分割画像２８のブロックＢ１〜Ｂ４毎にＫ＿＃＿＆の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を演算し、それら各原色毎且つ後述の分割画像２８（図３参照）のブロックＢ１〜Ｂ４毎の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を後述の分割画像２８のブロックＢ１〜Ｂ４毎のＲ画像、Ｇ画像及びＢ画像に対するフリッカ補正値として補正部２５に出力する。
【００３１】
または、上記のＲ判定部１９、Ｇ判定部２０またはＢ判定部２１のいずれか一つ（たとえば、Ｒ判定部１９）において、補正を必要とする程度のフリッカが発生しているものと判断されたときには、Ｒ補正値算出部２２で、Ｒ画像のＫ＿＃＿＆の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を後述の分割画像２８のブロックＢ１〜Ｂ４毎に演算し、その平均値（ＡＶＥ＿Ｋ＿＃＿＆）を後述の分割画像２８のブロックＢ１〜Ｂ４毎のＲ画像に対するフリッカ補正値として補正部２５に出力する。
【００３２】
または、上記のＲ判定部１９、Ｇ判定部２０またはＢ判定部２１のいずれか二つ（たとえば、Ｒ判定部１９とＧ判定部２０）において、補正を必要とする程度のフリッカが発生しているものと判断されたときには、Ｒ補正値算出部２２とＧ補正値算出部２３で、Ｒ画像及びＧ画像のＫ＿＃＿＆の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を後述の分割画像２８のブロックＢ１〜Ｂ４毎に演算し、それらの平均値（ＡＶＥ＿Ｋ＿＃＿＆）を後述の分割画像２８のブロックＢ１〜Ｂ４毎のＲ画像とＧ画像に対するフリッカ補正値として補正部２５に出力する。
【００３３】
このように、本実施形態では、ＲＧＢの各原色毎（またはＹＣＭの各補色毎）にフレーム内積算値（Ｋ＿＃＿＆）の算出、フリッカ判定、及び、フリッカ補正値の算出を行っているが、これは、次の理由によるものである。
【００３４】
図２は、白色蛍光灯の光量変動図（ただし、ＲとＢで代表する）である。一般的に白色光はＲＧＢやＹＣＭなどの色を所定の割合で含む混色であり、人間の目には、こうした蛍光灯の色は白色に見えるものの、微細な時間の流れでみた場合、必ずしも各色の割合は時間軸上で均一でなく、図示のように色毎の光量に若干のバラツキがある。これは、蛍光灯の発光特性に色毎のバラツキがあるからである。このため、ＲＧＢ（またはＣＹＭ）を区別せずに、フレーム内積算値（Ｋ＿＃＿＆）の算出、フリッカ判定、及び、フリッカ補正値の算出を行った場合には、特定色のフリッカを抑制できなくなったり、または、特定色のフリッカを過剰に抑制してしまったりして、却って目立たせる結果になるからである。したがって、実用上は、図示のように、ＲＧＢの各原色毎（またはＹＣＭの各補色毎）にフレーム内積算値（Ｋ＿＃＿＆）の算出、フリッカ判定、及び、フリッカ補正値の算出を行うことが望ましい。
【００３５】
ただし、回路規模の削減を重視し、ある程度のフリッカ抑制効果で妥協しても構わない場合は、必ずしも、ＲＧＢの各原色毎（またはＹＣＭの各補色毎）にフレーム内積算値（Ｋ＿＃＿＆）の算出、フリッカ判定、及び、フリッカ補正値の算出を行う必要はない。ＲＧＢの各原色の一つ（またはＹＣＭの各補色の一つ）若しくは、画像の輝度情報について、代表的にフレーム内積算値（Ｋ＿＃＿＆）の算出、フリッカ判定、及び、フリッカ補正値の算出を行うようにしてもよい。
【００３６】
次に、撮像部１０は、上記の「光量変動検出期間」を完了すると、所定長の「切替期間」を経た後、「実撮影期間」に遷移する。この「実撮影期間」では、撮像部１０は、低フレームレートで１枚または複数枚の画像を出力する。
【００３７】
このようにして撮像部１０から出力された低フレームレート画像は、アナログデジタル変換器１４を経た後、制御部１３のコントロールにより、画像分割部２６に入力される。
【００３８】
この画像分割部２６は、「実撮影期間」において撮像部１０から出力された低フレームレート画像の１枚を縦方向にＮ個に等分割する。
【００３９】
図３は、画像分割の概念図である。この図において、画像２７は、「実撮影期間」において撮像部１０から低フレームレート（３００ｆｐｓ）で出力された１枚の画像であり、撮像デバイス１３の有効撮影画素数に相当する画像サイズを有している。たとえば、１０２４（列）×７６８（行）の大きさの画像である。一方、画像２８は、画像分割部２６によって画像分割されて画像であり、この画像２８は、画像２７を縦方向にＮ個に等分割したもの（以下、分割画像２８という）である。すなわち、分割画像２８は、Ｎ個のブロックＢ１〜Ｂ４からなり、各ブロックＢ１〜Ｂ４の横方向画素数は、画像２７の横方向画素数（１０２４）と同一で、且つ、各ブロックＢ１〜Ｂ４の縦方向画素数は、画像２７の縦方向画素数（７６８）を１／Ｎした値に一致する。
【００４０】
補正部２５は、分割画像２８の各ブロックＢ１〜Ｂ４毎のＲ画像、Ｇ画像及びＢ画像の各々について、フリッカ補正値算出部１５で算出されたフリッカ補正値を適用して補正する。すなわち、分割画像２８のブロックＢ１のＲ画像については、第１〜第４までの高フレームレート画像のフレーム内積算値（Ｋ＿１＿Ｒ〜Ｋ＿４＿Ｒ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正し、分割画像２８のブロックＢ２のＲ画像については、第５〜第８までの高フレームレート画像のフレーム内積算値（Ｋ＿５＿Ｒ〜Ｋ＿８＿Ｒ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正し、・・・・、分割画像２８のブロックＢ４のＲ画像については、第Ｍ−３〜第Ｍまでの高フレームレート画像のフレーム内積算値（Ｋ＿Ｍ−３＿Ｒ〜Ｋ＿Ｍ＿Ｒ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正する。
【００４１】
同様に、分割画像２８のブロックＢ１のＧ画像については、第１〜第４までの高フレームレート画像のフレーム内積算値（Ｋ＿１＿Ｒ〜Ｋ＿４＿Ｇ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正し、分割画像２８のブロックＢ２のＧ画像については、第５〜第８までの高フレームレート画像のフレーム内積算値（Ｋ＿５＿Ｒ〜Ｋ＿８＿Ｇ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正し、・・・・、分割画像２８のブロックＢ４のＧ画像については、第Ｍ−３〜第Ｍまでの高フレームレート画像のフレーム内積算値（Ｋ＿Ｍ−３＿Ｒ〜Ｋ＿Ｍ＿Ｇ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正する。
【００４２】
同様に、分割画像２８のブロックＢ１のＢ画像については、第１〜第４までの高フレームレート画像のフレーム内積算値（Ｋ＿１＿Ｒ〜Ｋ＿４＿Ｂ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正し、分割画像２８のブロックＢ２のＢ画像については、第５〜第８までの高フレームレート画像のフレーム内積算値（Ｋ＿５＿Ｒ〜Ｋ＿８＿Ｂ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正し、・・・・、分割画像２８のブロックＢ４のＢ画像については、第Ｍ−３〜第Ｍまでの高フレームレート画像のフレーム内積算値（Ｋ＿Ｍ−３＿Ｒ〜Ｋ＿Ｍ＿Ｂ）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を適用して補正する。
【００４３】
以下、第２ブロックＢ２〜第４ブロックＢ４についても、上記と同様にして、それぞれのＲ画像、Ｇ画像及びＢ画像の補正が行われる。
【００４４】
画像合成部２９は、補正後の各ブロックＢ１〜Ｂ４を合成して元の画像２７の形に戻し、その画像２７を、不図示の画像処理部（たとえば、デジタルカメラやデジタルビデオカメラの画像処理部等）に出力する。
【００４５】
図４は、光量変動検出期間及び切替期間並びに実撮影期間のタイミングチャートを示す図である。この図において、半波状の周期的な変化を示す波形３０は非インバータ型蛍光灯の光量を表しており、その光量変動の１周期長は、商用電源周波数（ここでは５０Ｈｚ）の１サイクルの半分の長さ（１０ミリ秒）である。この値（１０ミリ秒）は、商用電源周波数（５０Ｈｚ）の２倍の周波数（１００Ｈｚ）の１サイクル長に相当する。
【００４６】
さて、図中の時間軸上には、１〜Ｍ（Ｍ＝１２であるから、１〜１２）までの目盛りが刻まれている。この目盛りの間隔は、光量変動検出期間における高フレームレートの１周期長（１／１２００秒＝０．８ミリ秒）に相当し、したがって、この図は、光量変動の１周期長あたり、Ｍ＝１２個の高フレームレート画像を取得できることを表している。光量変動検出期間の１〜１２の目盛りの下側に描かれているＭ＝１２個の菱形図形は、当該期間で取得される１〜１２までの高フレームレート画像Ｈ１〜Ｈ１２を模式的に表したものである。
【００４７】
光量変動検出期間を完了すると、所定長の切替期間を経て、実撮影期間が開始される。切替期間の長さ（ＳＥＬ）は撮像デバイス１３のフレームレートを低（３００ｆｐｓ）から高（１２００ｆｐｓ）に安定して切り替えることができる過不足のない長さであり、たとえば、低フレームレートの１フレーム時間（３．３ミリ秒）に所定のマージン時間βを加えた程度の時間である。ここで、マージン時間βは、高フレームレートの２フレーム程度の時間（０．８ミリ秒×２）とすることができる。したがって、この場合、ＳＥＬは、３．３ミリ秒＋（０．８ミリ秒×２）＝４．９ミリ秒となる。
【００４８】
このように、切替期間の長さ（ＳＥＬ）を「４．９ミリ秒」とした場合、実撮影期間は、光量変動検出期間の完了後の目盛り７以降で開始されることになる。
【００４９】
実撮影期間の下側に描かれている帯状の横長図形は、それぞれローリングシャッターによるライン毎の画素情報読み出し期間を表している。なお、Ｌ１（１）〜Ｌｎ（１）は実撮影期間で撮像部１３から取り出された１枚目の低フレームレート画像の各ライン（Ｌ１〜Ｌｎ）を表し、Ｌ１（２）〜Ｌｎ（２）は実撮影期間で撮像部１３から取り出された２枚目の低フレームレート画像の各ライン（Ｌ１〜Ｌｎ）を表し、Ｌ１（３）〜Ｌｎ（３）は実撮影期間で撮像部１３から取り出された３枚目の低フレームレート画像の各ライン（Ｌ１〜Ｌｎ）を表している。
【００５０】
図５は、高フレームレート画像Ｈ１〜Ｈ１２と低フレームレート画像及び分割画像２８の対応関係図である。実撮影期間で取得される１枚目の低フレームレート画像の各ラインＬ１（１）〜Ｌｎ（１）と高フレームレート画像Ｈ１〜Ｈ１２の各々は、図に示すような対応関係にある。なお、ここでは、ｎ＝７６８として説明する。つまり、低フレームレート画像の各ラインのうちの最初の７６８／ＮラインであるＬ１（１）からＬ１９２（１）までが高フレームレート画像のＨ７、Ｈ８、Ｈ９、Ｈ１０、Ｈ１１に対応し、低フレームレート画像の各ラインのうちの最後の７６８／ＮラインであるＬｎ５７７（１）からＬ７６８（１）までが高フレームレート画像のＨ１０、Ｈ１１、Ｈ１２、Ｈ１、Ｈ２に対応する。
【００５１】
また、図示は略すが、各ラインのうちのＬ１９３（１）からＬ３８４（１）までが高フレームレート画像のＨ８、Ｈ９、Ｈ１０、Ｈ１１、Ｈ１２に対応し、低フレームレート画像の各ラインのうちのＬｎ３８５（１）からＬ５７６（１）までが高フレームレート画像のＨ９、Ｈ１０、Ｈ１１、Ｈ１２、Ｈ１に対応する。
【００５２】
図示のとおり、分割画像２８のブロック１（Ｂ１）は、低フレームレート画像のＬ１（１）からＬ１９２までで構成されており、分割画像２８のブロック２（Ｂ２）は、低フレームレート画像のＬ１９３（１）からＬ３８４までで構成されている。同様に、分割画像２８のブロック３（Ｂ３）は、低フレームレート画像のＬ３８５（１）からＬ５７６までで構成されており、分割画像２８のブロック４（Ｂ４）は、低フレームレート画像のＬ５７７（１）からＬ７６８までで構成されている。
【００５３】
したがって、高フレームレート画像Ｈ１〜Ｈ１２と分割画像２８の各ブロックＢ１〜Ｂ４は、以下の対応関係にある。ただし、Ｎ＝４、Ｍ＝１２の場合である。
Ｂ１：Ｈ７、Ｈ８、Ｈ９、Ｈ１０、Ｈ１１
Ｂ２：Ｈ８、Ｈ９、Ｈ１０、Ｈ１１、Ｈ１２
Ｂ３：Ｈ９、Ｈ１０、Ｈ１１、Ｈ１２、Ｈ１
Ｂ４：Ｈ１０、Ｈ１１、Ｈ１２、Ｈ１、Ｈ２
【００５４】
フリッカ補正値算出部１５におけるフリッカ補正値は、これらの対応関係を元にして算出される。つまり、Ｂ１に対するフリッカ補正値は、Ｈ７、Ｈ８、Ｈ９、Ｈ１０、Ｈ１１の平均値から算出され、Ｂ２に対するフリッカ補正値は、Ｈ８、Ｈ９、Ｈ１０、Ｈ１１、Ｈ１２の平均値から算出される。同様に、Ｂ３に対するフリッカ補正値は、Ｈ９、Ｈ１０、Ｈ１１、Ｈ１２、Ｈ１の平均値から算出され、Ｂ４に対するフリッカ補正値は、Ｈ１０、Ｈ１１、Ｈ１２、Ｈ１、Ｈ２の平均値から算出される。ただし、前記のとおり、これらのフリッカ補正値は、分割画像２８の各ブロックＢ１〜Ｂ４の各々のＲ画像、Ｇ画像及びＢ画像について個別に算出される。
【００５５】
図６は、撮像装置９におけるフリッカ抑制の動作フローを示す図である。この動作フローは、光量検出（ステップＳ１）とフリッカ抑制（ステップＳ２）の二つの処理に大別できる。まず、ステップＳ１の光量検出では、撮像デバイス１３のフレームレートを高フレームレート（１２００ｆｐｓ）に設定する（ステップＳ１ａ）。次いで、光量変動の１周期長（１０ミリ秒）にわたってＭ個の高フレームレート画像Ｈ１〜Ｈ１２を取得し（ステップＳ１ｂ）、Ｍ個の高フレームレート画像Ｈ１〜Ｈ１２のフレーム内積算値（Ｋ＿＃＿＆）を算出する（ステップＳ１ｃ）。そして、それらＭ個のフレーム内積算値（Ｋ＿＃＿＆）の最大値（ＭＡＸ＿Ｋ＿＃＿＆）と最小値（ＭＩＮ＿Ｋ＿＃＿＆）の差を求める（ステップＳ１ｄ）。
【００５６】
次に、ステップＳ２のフリッカ抑制では、所定長（ＳＥＬ）の切替期間を経て、撮像デバイス１３のフレームレートを低フレームレート（３００ｆｐｓ）に設定し（ステップＳ２ａ）、低フレームレート画像を取得する（ステップＳ２ｂ）。次いで、その低フレームレート画像をＮ個に等分割し、Ｎ個（４個）のブロックＢ１〜Ｂ４からなる分割画像２８を生成する（ステップＳ２ｃ）。
【００５７】
次に、先のステップＳ１ｄで求めておいた「差」、つまり、Ｍ個のフレーム内積算値（Ｋ＿＃＿＆）の最大値（ＭＡＸ＿Ｋ＿＃＿＆）と最小値（ＭＩＮ＿Ｋ＿＃＿＆）の差が所定の閾値を超えているか否かを判定し（ステップＳ２ｄ）、超えていれば、フリッカ抑制のための補正を必要としているものと判断して、以下の補正処理（ステップＳ２ｅ及びステップＳ２ｆ）と画像合成処理（ステップＳ２ｇ）とを実行してフローを終了する一方、超えていなければ、フリッカ抑制のための補正を必要としないものと判断して、以下の補正処理（ステップＳ２ｅ及びステップＳ２ｆ）をパスし、画像合成処理（ステップＳ２ｇ）実行してフローを終了する。
【００５８】
すなわち、フリッカ抑制のための補正を必要としている場合にだけ、フレーム内積算値（Ｋ＿＃＿＆）の平均値（ＡＶＥ＿Ｋ＿＃＿＆）を前記の「高フレームレート画像Ｈ１〜Ｈ１２と分割画像２８の各ブロックＢ１〜Ｂ４との対応関係」に基づいて算出し（ステップＳ２ｅ）、その平均値（ＡＶＥ＿Ｋ＿＃＿＆）を分割画像２８の各ブロックＢ１〜Ｂ４に適用してフリッカを抑制（ステップＳ２ｆ）した後、分割画像２８を元の画像２７の形に合成（ステップＳ２ｇ）してフローを終了する。
【００５９】
ここで、分割画像２８の各ブロックＢ１〜Ｂ４のＲ画像、Ｇ画像及びＢ画像に適用されるフリッカ補正値は、以下のとおりである。ただし、Ｎ＝４、Ｍ＝１２の場合である。
【００６０】
ブロックＢ１のＲ画像のフリッカ補正値：
Ｋ＿７＿Ｒ、
Ｋ＿８＿Ｒ、
Ｋ＿９＿Ｒ、
Ｋ＿１０＿Ｒ及び
Ｋ＿１１＿Ｒの平均値
ブロックＢ１のＧ画像のフリッカ補正値：
Ｋ＿７＿Ｇ、
Ｋ＿８＿Ｇ、
Ｋ＿９＿Ｇ、
Ｋ＿１０＿Ｇ及び
Ｋ＿１１＿Ｇの平均値
ブロックＢ１のＢ画像のフリッカ補正値：
Ｋ＿７＿Ｂ、
Ｋ＿８＿Ｂ、
Ｋ＿９＿Ｂ、
Ｋ＿１０＿Ｂ及び
Ｋ＿１１＿Ｂの平均値
ブロックＢ２のＲ画像のフリッカ補正値：
Ｋ＿８＿Ｒ、
Ｋ＿９＿Ｒ、
Ｋ＿１０＿Ｒ、
Ｋ＿１１＿Ｒ及び
Ｋ＿１２＿Ｒの平均値
ブロックＢ２のＧ画像のフリッカ補正値：
Ｋ＿８＿Ｇ、
Ｋ＿９＿Ｇ、
Ｋ＿１０＿Ｇ、
Ｋ＿１１＿Ｇ及び
Ｋ＿１２＿Ｇの平均値
ブロックＢ２のＢ画像のフリッカ補正値：
Ｋ＿８＿Ｂ、
Ｋ＿９＿Ｂ、
Ｋ＿１０＿Ｂ、
Ｋ＿１１＿Ｂ及び
Ｋ＿１２＿Ｂの平均値
ブロックＢ３のＲ画像のフリッカ補正値：
Ｋ＿９＿Ｒ、
Ｋ＿１０＿Ｒ、
Ｋ＿１１＿Ｒ、
Ｋ＿１２＿Ｒ及び
Ｋ＿１＿Ｒの平均値
ブロックＢ３のＧ画像のフリッカ補正値：
Ｋ＿９＿Ｇ、
Ｋ＿１０＿Ｇ、
Ｋ＿１１＿Ｇ、
Ｋ＿１２＿Ｇ及び
Ｋ＿１＿Ｇの平均値
ブロックＢ３のＢ画像のフリッカ補正値：
Ｋ＿９＿Ｂ、
Ｋ＿１０＿Ｂ、
Ｋ＿１１＿Ｂ、
Ｋ＿１２＿Ｂ及び
Ｋ＿１＿Ｂの平均値
ブロックＢ４のＲ画像のフリッカ補正値：
Ｋ＿１０＿Ｒ、
Ｋ＿１１＿Ｒ、
Ｋ＿１２＿Ｒ、
Ｋ＿１＿Ｒ及び
Ｋ＿２＿Ｒの平均値
ブロックＢ４のＧ画像のフリッカ補正値：
Ｋ＿１０＿Ｇ、
Ｋ＿１１＿Ｇ、
Ｋ＿１２＿Ｇ、
Ｋ＿１＿Ｇ及び
Ｋ＿２＿Ｇの平均値
ブロックＢ４のＢ画像のフリッカ補正値：
Ｋ＿１０＿Ｂ、
Ｋ＿１１＿Ｂ、
Ｋ＿１２＿Ｂ、
Ｋ＿１＿Ｂ及び
Ｋ＿２＿Ｂの平均値
【００６１】
以上説明したとおり、本実施形態においては、ＸＹアドレス式の撮像デバイス１２の部分読み出しを利用して、非インバータ型蛍光灯の光量変動の周期よりもＭ倍早い高フレームレート（１２００ｆｐｓ）でＭ枚の画像Ｈ１〜Ｈ１２を撮像デバイス１２から取り出し、それらＭ枚の高フレームレート画像Ｈ１〜Ｈ１２から、環境光（この場合は蛍光灯の光）の光量変動に伴うフリッカ補正値を算出すると共に、続けて、撮像デバイス１２のフレームレートを低フレームレート（３００ｆｐｓ）に切り替えて撮影した際の低フレームレート画像の各ブロックＢ１〜Ｂ４毎に、上記のフリッカ補正値を用いてフリッカを抑制するようにしたので、たとえば、動きを伴う被写体を撮影する場合であっても、フリッカの抑制を支障無く行うことができる。
【００６２】
高フレームレート（１２００ｆｐｓ）の１フレーム時間は、１／１２００秒＝０．８ミリ秒である。この時間は、通常のカメラの高速シャッターに相当する。加えて、この高フレームレート画像をＭ枚（Ｈ１〜Ｈ１２）続けて取得した場合は、その取得に要する時間が１２×（１／１２００）＝１／１００秒＝１０ミリ秒となり、結局、５０Ｈｚ商用電源の倍の周期で光量が変動する非インバータ型蛍光灯の光量変動の１周期長（１０ミリ秒）と一致する。それゆえ、Ｍ枚の高フレームレート画像Ｈ１〜Ｈ１２により、環境光（この場合は蛍光灯の光）の光量変動の１周期相当分を精度良く検出することができ、その検出結果を用いてフリッカ補正値を正確に算出することができるようになる。
【００６３】
このことは、前出の図４の記載から明らかである。この図において、Ｈ１〜Ｈ１２までのＭ枚の高フレームレート画像の取得に要する時間と、蛍光灯の光量変動の１周期長（１０ミリ秒）は一致している。このため、Ｍ枚の高フレームレート画像Ｈ１〜Ｈ１２の各々により、光量変動の１周期の各部分（目盛り１〜１２）の明るさを正確に検出することができるのである。
【００６４】
冒頭で説明した特許文献１に記載のものは、単に、１フィールド周期が１／６０秒の３フィールドにおける積分値の平均値で正規化するものに過ぎず、３フィールドの画像取得に要する時間は、シャッター速度に換算して「１／２０（秒）」にもなり、とりわけ動きを伴う被写体を写し込む場合、３つのフィールドの各々における被写体の位置が微妙にずれてしまうことが避けられないから、動きを伴う被写体の撮影画像に対するフリッカの抑制が不十分となってしまうという問題点を避けられなかった。
【００６５】
これに対して、本実施形態では、光量変動の１周期分をＭ個の高フレームレート画像Ｈ１〜Ｈ１２によって正確に検出できるので、かかる問題点を生じない。しかも、そのようにして、光量変動の１周期分を正確に検出した後は、それらのＭ個の高フレームレート画像Ｈ１〜Ｈ１２のフレーム内積算値（Ｋ＿＃＿＆）を用いて、Ｎ個のブロックＢ１〜Ｂ４ごとのフリッカ補正値（ＡＶＥ＿Ｋ＿＃＿＆）を算出すると共に、そのフリッカ補正値により、低フレームレート画像の分割画像２８の各ブロックＢ１〜Ｂ４毎にフリッカ抑制を行うので、高フレームレートから低フレームレートへのレート変更にもかかわらず、各ブロックＢ１〜Ｂ４毎のフリッカ補正を支障なく行うことができる。
【００６６】
したがって、本実施形態によれば、光量変動を伴う光源（たとえば、非インバータ型の蛍光灯）の元で静止画撮影または動画撮影する際に、高フレームレートの「光量変動検出期間」を実行し、その後、所定長の「切替期間」を経て静止画撮影または動画撮影の「実撮影期間」を実行するだけで、上記光源の光量変動に起因するフリッカの影響を排除した良好な画質の静止画または動画を撮影することができる。
【００６７】
ちなみに、本実施形態では、「実撮影期間」の前に、「光量変動検出期間」と「切替期間」の二つの期間を必要とするので、これら二つの期間の長さに相当する遅れ（シャッターチャンスの遅れ）を伴うが、前記の実施形態の例示に従えば、「光量変動検出期間」の時間的な長さは光量変動の１周期長（１０ミリ秒）で、且つ、「切替期間」の時間的な長さは光量変動の１周期長の約半分（ＳＥＬ＝４．９ミリ秒）であるから、これらを合わせても高々１４．９ミリ秒程度の遅れを生じるに過ぎず、この程度の時間（１４．９ミリ秒）は、通常の撮影シーンでは十二分に許容できる（大きな遅れとして体感しない）時間であるので、実用上差し支えない。
【００６８】
また、本実施形態におけるフリッカ補正値は、Ｍ個の高フレームレート画像Ｈ１〜Ｈ１２の各々におけるフレーム内積算値に基づいて行っているので、一つのフレーム内で明るさの偏りがあっても何ら影響を受けることがない。つまり、フレーム（画像）の一部に光源が偏って写り込んでいる場合であっても、フレーム内積算値により、その光源の明るさを正確に検出することができる。
【００６９】
また、本実施形態では、高フレームレートを１２００ｆｐｓとすると共に、低フレームレートを３００ｆｐｓとしているが、これは説明上の一例であり、これに限定されない。低フレームレートをＡｆｐｓとした場合、高フレームレートはそのＮ倍（Ｎ×Ａｆｐｓ）であればよい。また、Ｎ＝４に限らず、他の整数、たとえば、Ｎ＝０以上４以下であってもよく、または、Ｎ＝４以上であってもよい。Ｎを大きくするほどフリッカ抑制の精度が向上する反面、処理時間の増大を招くので、要求性能との兼ね合いからＮの適正値を設定すればよい。また、Ｍの値も同様である。Ｍの値は、「光量変動検出期間」で出力される光源変動１周期あたりの高フレームレート画像の枚数を規定するから、Ｍを大きくするほどフリッカ抑制の精度が向上する反面、処理時間の増大を招くので、Ｎと同様に、要求性能との兼ね合いから適正値を設定すればよい。
【００７０】
なお、以上の説明では、周期的に光量が変動する光源として、非インバータ型の蛍光灯を示しているが、これは、典型例を示しているに過ぎない。周期的に光量が変動する光源であればよく、たとえば、水銀灯やナトリウム灯などの放電灯であってもよい。あるいは、インバータ型の蛍光灯であっても、故障等によってインバータの動作が不完全となり、放電電圧が周期的に変動する（したがって、光量変動を伴う）ものは、上記の光源に該当する。
【図面の簡単な説明】
【００７１】
【図１】撮像装置の構成図である。
【図２】白色蛍光灯の光量変動図である。
【図３】画像分割の概念図である。
【図４】光量変動検出期間及び切替期間並びに実撮影期間のタイミングチャートを示す図である。
【図５】高フレームレート画像Ｈ１〜Ｈ１２と低フレームレート画像及び分割画像２８の対応関係図である。
【図６】撮像装置９におけるフリッカ抑制の動作フローを示す図である。
【図７】フリッカを生じる可能性がある撮影状態を示す図、及び、蛍光灯の光量変動とＣＭＯＳセンサ等のＸＹアドレス式の撮像デバイスの読み取り動作との対応関係図である。
【図８】動きを伴う被写体を１／６０秒周期で撮影した３つのフィールドを示す図である。
【符号の説明】
【００７２】
９  撮像装置
１２  撮像デバイス
１３  制御部（フレームレート設定手段）
１５  フリッカ補正値算出部（フリッカ補正値演算手段）
２５  補正部（フリッカ補正手段）
２６  画像分割部（画像分割手段）
【図１】
2008067132.tif 000003
【図２】
2008067132.tif 000004
【図３】
2008067132.tif 000005
【図４】
2008067132.tif 000006
【図５】
2008067132.tif 000007
【図６】
2008067132.tif 000008
【図７】
2008067132.tif 000009
【図８】
2008067132.tif 000010