(57)【要約】【課題】流し撮り撮影は素人には鮮明に撮影し難い。【解決手段】ステップ１０２で撮像素子に結像した被写体の画像を取り込み、ステップ１０３で当該画像の特徴量が存在するかを判断する。特徴量がある場合には、ステップ１０４でテンプレート中の主被写体の位置を識別し、ステップ１０５でマッチングが所定の閾値以上であることを判別する。ステップ１０６で主被写体の画像中の移動速度を演算し、ステップ１０７で撮像素子の角速度を測定する。ステップ１０８でシャッターを切り、ステップ１０９で主被写体の画像中の移動量を０にする光学補正を、ステップ１１０のシャッターオフまでの期間行う。【選択図】図１
2007096828.tif 000002
【特許請求の範囲】
【請求項１】
静止状態の静止被写体と、前記静止被写体中を移動する移動被写体とからなる被写体の光像を撮像素子に結像する対物レンズと、
前記移動被写体の移動方向への前記撮像素子の移動追従を検出する回転角速度検出手段と、当該移動追従によるランダム方向への前記撮像素子のランダム追従を検出するランダム角速度検出手段とからなる角速度検出手段と、
前記撮像素子に結像した前記光像からフレーム画像を生成する画像生成手段と、
前記画像生成手段が生成した複数のフレーム画像における前記移動被写体の前記静止被写体中の移動速度を検出するオプティカルフロー検出手段と、
前記ランダム角速度検出手段が検出した角速度と、前記オプティカルフロー検出手段が検出した前記移動被写体の移動速度との速度差を無くすように帰還制御をする光学補正手段とを備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はディジタルスチルカメラなどの撮像装置に関し、特に移動する被写体を撮影する流し撮り撮影時に、移動する被写体のブレを抑制する撮像装置に関する。
【背景技術】
【０００２】
近年、手ブレ補正機能を搭載したディジタルスチルカメラが各社から発売され、以前ならシャッタースピードが遅くなる薄暗い撮影環境や、高倍率ズームなど相対的に手ブレの影響が大きくなる撮影環境においても、手ブレ補正により素人にも比較的簡単にブレの無い綺麗な写真を撮影できるようになってきた。
【０００３】
一方、静止状態にある静止被写体（一般に背景と称される）の中を移動する移動被写体を撮影する際には、当該移動被写体の移動方向に対物レンズを移動しながらシャッターを動作することで、背景を流し移動被写体を静止状態に撮影するいわゆる流し撮りが適用され、躍動感のある静止画を得られるため好まれている。
【０００４】
この流し撮り撮影では遠い位置の被写体を撮影することが一般的であり、そのため高倍率の望遠レンズを適用する必要がある。高倍率の望遠レンズでの撮影では手ブレし易いため、手ブレ補正が必要となる。しかしながら、流し撮り撮影では移動被写体を制止させるため背景が当該移動被写体の逆向きに動くこととなり、手ブレ補正機能を有するスチルカメラで流し撮りを行うと、背景の動きを手ブレと判断し、背景も移動被写体も双方の動きを止めようとする結果、迫力ある流し撮りを撮影できないという課題がある。この課題に対し特許文献１には、レーシングカーなどの高速に移動する移動被写体を撮影する際に、シャッタースピードを落とし、ファインダーの端から中央まで移動被写体が移動する間に移動する被写体の移動速度に補正光学系をあわせ、当該移動速度で背景を流す定点撮影技術が開示されている。
【特許文献１】特許第２９２５１５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１に開示の技術では極めて狭いファインダー中に移動被写体が現れた瞬間にシャッターを切るため、失敗の確率が高いことが予想される。従って、流し撮り撮影を行う際には、従来から行われている移動被写体の移動速度に追従させ、移動被写体がファインダー等の表示手段中で静止したと做した瞬間にシャッターを切る方が撮影し易いが、前述のように手ブレの影響も無視できない。
【０００６】
そこで本発明は、流し撮り撮影の際の被写体ブレによる撮影画像の乱れを防ぐことができる撮影装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
係る目的を達成する本発明の撮影装置は、静止状態の静止被写体と、前記静止被写体中を移動する移動被写体とからなる被写体の光像を撮像素子に結像する対物レンズと、前記移動被写体の移動方向への前記撮像素子の移動追従を検出する回転角速度検出手段と、当該移動追従によるランダム方向への前記撮像素子のランダム追従を検出するランダム角速度検出手段とからなる角速度検出手段と、前記撮像素子に結像した前記光像からフレーム画像を生成する画像生成手段と、前記画像生成手段が生成した複数のフレーム画像における前記移動被写体の前記静止被写体中の移動速度を検出するオプティカルフロー検出手段と、前記ランダム角速度検出手段が検出した角速度と、前記オプティカルフロー検出手段が検出した前記移動被写体の移動速度との速度差を無くすように帰還制御をする光学補正手段とを備える。
【発明の効果】
【０００８】
本発明の撮像装置は、従来プロ級の撮影者でしか達成できなかった鮮明な流し撮りを、簡単かつ確実に撮影することができる。従って、撮影者の撮影対象及び撮影分野を拡大することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の撮影装置における一実施形態について図１を参照して説明する。同図は本発明の撮影装置における流し撮り撮影に係る流れ図である。
【００１０】
先ず、ステップ１０１で流し撮りモードスイッチをオンにすると、流し撮り補正処理が開始される。流し撮りモードスイッチオン状態で流し撮り状態になると、ステップ１０２で、映像信号処理回路等の画像取得手段にて、撮像素子からフレームメモリ等の記憶手段に画像の取り込みが開始される。画像の取り込みを終えたら、ステップ１０３で、移動被写体（以下、主被写体と称す）のテンプレートが既に作られているか、すなわちテンプレート有無判別をテンプレート有無判断手段で判別する。
【００１１】
既にテンプレートが作成されている場合は、主被写体位置取得手段で主被写体のテンプレートにおける位置を識別する（ステップ１０４）。次に、マッチング判別手段により、主被写体のマッチングの適合度が所定の閾値以上か否かを判断する（ステップ１０５）。ステップ１０５でマッチングの適合度が所定の閾値以上と判断した場合は、ステップ１０６で主被写体速度算出手段により、記憶手段に記憶した主被写体の画像上の位置と、過去に記憶手段に記憶した主被写体の画像上の位置とから主被写体の画像上の速度を求める。また、ステップ１０７で角速度測定手段により、２つの角速度センサ（例えば、ジャイロ等）により撮像素子の角速度の測定を実施する。
【００１２】
一方、ステップ１０３における主被写体のテンプレートが作成されていないとテンプレート有無判断手段が判断した場合には、ステップ１１１でオプティカルフロー算出手段により、主被写体のテンプレートとなり得る画像特徴量等を算出し、ステップ１１２で領域抽出手段により、例えば画像の中心領域等の記憶手段中の所定の領域付近において、主被写体の相対的な移動量（すなわちオプティカルフロー）が０近傍となる領域を抽出する。領域抽出手段により抽出した領域に基づき、ステップ１１３でテンプレート作成手段によりテンプレートを作成し、ステップ１０２に帰還する。また、ステップ１０５におけるマッチング判別手段により、テンプレート適合度が所定の閾値を満たしていない（すなわちテンプレートが作成されていない、またはテンプレートは無効と做す）と判断した場合にも、ステップ１１１、ステップ１１２及びステップ１１３のルートを経て、テンプレートを作成し、ステップ１０２に帰還する。
【００１３】
このようにして、主被写体のテンプレートの適合度が所定の閾値以上の条件を満足し、当該テンプレート中の主被写体の相対的移動速度を演算し、演算結果に基づき撮像素子の角速度の測定を終えると、ステップ１０８でシャッターオン検出手段によりシャッターオンが検出されると次のステップにすすむ。すなわち、光学補正手段により、主被写体のテンプレートにおける相対移動量（すなわち、被写体ブレ）が０に近づけるように、光学補正用アクチュエータ等により対物レンズを駆動させ、テンプレート中における主被写体のブレ補正を行う。換言すると、テンプレート中における主被写体の移動量を０とするために、当該テンプレート中の手ブレ成分（上下左右方向ランダムに移動する角速度）と、オプティカルフロー算出手段における主被写体の移動速度との差を無くす制御を行う（ステップ１０９）。このステップ１０９は、シャッターオン検出手段がシャッターを開放している間は光学補正は継続され、ステップ１１０でシャッター開放がオフされてことをシャッターオン検出手段で検出すると、流し撮りの作業を終了する。ステップ１０８でシャッターオン検出手段がシャッターオンが検出しない場合は、ステップ１０２の画像取得手段へと戻る。また、シャッターオン検出手段によるシャッターオン検出後も、ステップ１１０におけるシャッター開放終了を検出するまでは、ステップ１０２の画像取得手段へと戻り、処理を継続する。
【００１４】
ステップ１１１におけるオプティカルフロー算出手段は、テンプレート未作成あるいはテンプレート無効と判別された場合に実行される。オプティカルフロー算出手段では、例えば過去複数毎の画像から輝度の速度場であるオプティカルフローを算出する。
【００１５】
ステップ１１２における領域抽出手段では、次の処理を実行し、主被写体のテンプレートを作成する。このとき流し撮り実行状態であるため、撮像素子（一般的には、スチルカメラ本体である撮像装置）のスウィングにより追従している主被写体の部分ではオプティカルフローが０に近い値を示し、その他の背景部分では撮像装置のスウィングにより一様に一定方向へのフローが検出される。この性質を利用して、所定の閾値以下の部分を主被写体領域とみなす。
【００１６】
ステップ１０９におけるテンプレート作成手段では、前述したように主被写体領域における輝度や色相などの特徴量を抽出し、主被写体領域のテンプレートを作成する。主被写体のテンプレートを作成後はステップ１０２の画像取得手段へと帰還する。
【００１７】
ステップ１１０のシャッター開放終了検出手段により、シャッター開放の終了が検出されれば、本発明の一連の処理が終了となり、ステップ１０９における光学補正手段によって撮像素子上の主被写体の移動速度が抑制され、背景は一様に流れて主被写体がくっきりと浮かび上がった綺麗な流し撮り写真を得ることができる。
【００１８】
なお、ステップ１０９の光学補正手段の一例としては、次のようなアルゴリズムが挙げられる。撮像素子の２つの角速度センサ（例えばジャイロ等）で測定される角速度は、主に次の成分から構成される。１つは高速で移動する物体を捕らえるために撮影者が意図的に行っているスウィング成分、今１つは撮影者が意図しない手ブレである。撮影者が意図的に行ったスウィングは時間的な変動は少なく、撮影者が意図しない手ブレは時間的に変動する変動成分であり、ある周波数を閾値として低周波成分をスウィング成分、それより少し高い成分を手ブレ成分、さらに高周波の部分は不要なノイズなどの成分と做す。こうして、所定の閾値に基づき速度差を無くす制御が達成できる。
【００１９】
ステップ１０６における主被写体速度算出手段で検出される画像上の主被写体の移動速度は、主に次の成分から構成される。１つは撮影者が意図的に行ったスウィングと被写体の実際の移動との誤差から生じる成分、今１つは手ブレによる成分である。撮影者が意図的行ったスウィングと被写体の実際の移動との誤差から生じる部分には時間的な変動は少なく、撮影者が意図しない手ブレは時間的に変動する成分であり、ある周波数を閾値として、低周波成分をスウィングと被写体の実際の移動との誤差から生じる成分、それより少し高い成分を手ブレ成分、さらに高周波の部分は不要なノイズなどの成分と做すことができる。このとき主被写体がブレることなく、くっきりとした綺麗な写真を撮影するためには、シャッター開放中に撮像素子上に主被写体が同じ箇所に留まっていればよい。そのためには、撮影者が意図的に行ったスウィング及び被写体の実際の移動速度の誤差から生じる成分と手ブレによる成分とを０に近づけるように、光学補正手段をフィードバック制御すればよい。しかし、手ブレによる成分は画像上から算出するため、これだけでは手ブレ成分を十分に検出することは難しい。そこで角速度センサ（例えばジャイロ等）から検出した撮影者が意図的に行ったスウィング成分を除いた手ブレ成分も同時に抑えるように、補正量に重み付けをして追加し、光学補正手段を制御するような構成も好ましい。
【００２０】
なお、ステップ１０２において流し撮りモードスイッチをオン状態にした後、流し撮り状態に入ったか否かを判別する流し撮り状態判別手段をさらに備えることも好ましい。流し撮り状態判別手段としては、例えば２つの直交する角速度センサの出力から、撮像素子（一般的には、スチルカメラ等の撮像装置）の角速度を求め、そのＤＣ成分（低周波数成分）を流し撮りスウィング成分と做し、当該スウィング成分の角速度の絶対値が所定の閾値以上か否か等を判断することで実現することができる。この流し撮り状態判別手段を、ステップ１０１とステップ１０２との間のステップとすることにより、例えばステップ１０１で流し撮りモードスイッチがオンされていても撮影者が流し撮り状態を意図して撮影動作にあるかの判断を正確にできるため、ステップ１０２における画像取込手段へのループが明確になり、またステップ１１１、ステップ１１２及びステップ１１３を経た後を画像取込手段に帰還することによりより瞬時に取込処理が達成できる等で、好ましい。
【００２１】
次に本発明の撮像装置における別の実施形態の一例を、図２を参照して説明する。同図を参照して本実施形態の手順について詳述するが、本実施形態は主被写体のブレを補正できる構成である。先ず、ステップ２０１で、被写体ブレ補正のモードスイッチがオンにすると、ブレを補正する対象となる被写体（以下、主被写体と称す）を設定する。主被写体領域を設定した後、主被写体テンプレート作成手段で、主被写体領域の輝度や色相などの特徴量を抽出し、主被写体領域のテンプレートを作成する（ステップ２０２）。
【００２２】
主被写体テンプレート作成手段で主被写体領域のテンプレートを作成した後、画像取得手段で、撮像素子に対物レンズにより結像している被写体の光像から、フレームメモリ等の記憶手段に画像の取り込みを開始する（ステップ２０３）。
【００２３】
次に、ステップ２０４で主被写体位置識別手段により、直前に取り込んだ画像におけるテンプレートマッチング処理を実施し、画像上における主被写体の位置を識別する。次に、ステップ２０５でマッチング判別手段により、マッチングの適合度が所定の閾値以上か否かを判別する。このステップ２０４で、所定の閾値未満あるいはマッチングに失敗した場合は、ステップ２０３における画像取得手段へ帰還する。
【００２４】
マッチングの適合度が所定の閾値以上の場合には、ステップ２０６で主被写体移動速度算出手段により、記憶した主被写体の画像上の位置と過去に記憶している主被写体の画像上の位置とから、主被写体の画像上の移動速度を演算する。主被写体移動速度算出手段で演算した主被写体の移動速度に基づき、ステップ２０７で角速度測定手段により、２つの角速度センサ（例えばジャイロ等）により撮像素子の角速度の測定を実施する。
【００２５】
この後、ステップ２０８でシャッターオン検出手段により、シャッターオンを検出されると、ステップ２０９の光学補正手段により、主被写体の画像上の移動量（被写体ブレ）が０に近づくように、例えば光学補正用握手エータ等を駆動させ、主被写体のブレに対する光学補正を行う。ステップ２０９におけるシャッターオン検出手段は、ステップ２１０でシャッターオフ（すなわち、シャッター解放終了）を検出し、シャッター開放の修了が検出されるまで、ステップ２０９の光学補正手段により光学補正は継続される。
【００２６】
ステップ２０８におけるシャッターオン検出手段でシャッターオンが検出されない場合は、ステップ２０３における画像取得手段へと帰還する。また、シャッターオン検出後もステップ２１０でシャッター開放終了を検出するまでは、ステップ２０３における画像取得手段へと帰還し、処理を継続する。
【００２７】
ステップ２１０のシャッター解放終了を検出すると、一連の処理が終了となり、ステップ２０９における光学補正手段により、撮像素子上の主被写体の移動速度が抑制され、主被写体が急に移動しても、主被写体がくっきりと撮影でき、主被写体を重視した写真を撮影することができる。
【００２８】
なお、ステップ２０２における主被写体テンプレート作成手段による主被写体のテンプレート作成に先立ち、主被写体設定手段で撮影者がブレを防ぎたい主被写体の設定を行う構成を採用することが好ましい。主被写体設定手段による主被写体の設定は、例えば主被写体の中心１点あるいは複数点を選択し、その周囲を含めた所定の範囲を主被写体領域とする等の手法が適用できる。
【００２９】
ステップ２０９における光学補正手段は、次のアルゴリズムで実施される。撮像素子の２つの角速度センサ（例えばジャイロ等）で測定される角速度は、実施の形態１の場合と異なり、移動する主被写体を撮影するためのスウィング動作を伴わないため、高周波の不要なノイズなどを除外すれば、主に撮影者が意図しない手ブレによるものである。
【００３０】
ステップ２０６で主被写体速度算出手段により検出される画像上の主被写体の移動速度は、主に次の成分から構成される。１つは主被写体の移動により生ずる成分、今１つは手ブレによる成分である。主被写体の移動により生ずる成分は移動の仕方（モード）にもよるが、例えば主被写体自体が振動するなどしない限り、等速度及び／または等加速度などが一般的で、周波数的には手ブレによる成分より低いと考えられる。手ブレによる成分はそれより少し周波数が高い成分で、さらに高周波の部分は不要なノイズなどの成分と做すことができる。
【００３１】
このとき主被写体がブレることなく、鮮明で綺麗な写真を撮影するためには、シャッター開放中に撮像素子上に主被写体が同じ場所に留まっていればよい。そのためには、主被写体の移動により生ずる成分と手ブレによる成分とを０に近づけるように、光学補正手段をフィードバック制御すればよい。しかしながら、手ブレによる成分は画像上から算出するため、これだけでは手ブレ成分を十分に検出することは難しい。そこで、角速度センサ（例えばジャイロ等）から検出した手ブレ成分も同時に抑えるように、補正量に重み付けをして追加し、光学補正手段を制御することで確実性を向上することができる。
【００３２】
このように本発明の撮像装置は、流し撮り撮影以外の場面においても、背景の流れより所望の被写体のブレを防ぐことを重視した撮影を行う場合においても、被写体が撮影画像上で静止するように光学補正を行うことによって、例えば動物や子供など突然移動する可能性のある被写体であっても、主被写体のブレを抑制でき、躍動感のある静止画像を撮影することが可能とすることもできる。
【産業上の利用可能性】
【００３３】
本発明の撮像装置は、撮影者が撮影対象とする主被写体の流し撮りから、突然移動する可能性のある主被写体まで鮮明な静止画像を得ることができ、撮影対象及び撮影分野を拡大することができる。
【図面の簡単な説明】
【００３４】
【図１】流し撮り補正装置の一例を示すフローチャート
【図２】被写体ブレ防止装置の一例を示すフローチャート
【図１】
2007096828.tif 000003
【図２】
2007096828.tif 000004