(57)【要約】【課題】複雑な演算処理を実行するハードウェアや物理センサ等を用いることなく撮影画像のぶれを検出して、手ぶれとカメラワークとを切り分ける。【解決手段】携帯型ビデオカメラ１は、動画を構成するフレームを順次撮影する撮影部２０と、撮影されたフレーム毎にぼけ量とぼけ方向を取得するとともに、取得したぼけ量とぼけ方向に基づいて、フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別する制御部１０とを備える。【選択図】図１
2007221291.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成するフレームを順次取得するフレーム取得手段と、
前記フレーム毎にぼけ量とぼけ方向を取得するぼけ解析手段と、
前記ぼけ解析手段により取得されたぼけ量とぼけ方向に基づいて、前記フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別する判別手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記ぼけ解析手段は、前記フレーム中の複数の画素間における輝度の変化に基づいて、ぼけ量とぼけ方向を取得すること、を特徴とする請求項１記載の画像処理装置。
【請求項３】
前記判別手段は、前記ぼけ量が予め定められた閾値以下である場合に、前記フレームのぼけが手ぶれによるものと判別すること、を特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記判別手段は、前記ぼけ解析手段によって、予め定められた所定数以上の連続する前記フレームにおいて同一方向のぼけが検出された場合に、これらのぼけがカメラワークによるものと判別すること、を特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記判別手段により、前記フレームのぼけが手ぶれによるものと判別された場合に、前記フレームのぼけを補正する補正手段をさらに備えること、を特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
動画を構成するフレームを順次撮影する撮影手段と、
前記フレーム毎にぼけ量とぼけ方向を取得するぼけ解析手段と、
前記ぼけ解析手段により取得されたぼけ量とぼけ方向に基づいて、前記フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別する判別手段と、
前記判別手段により、前記フレームのぼけが手ぶれによるものと判別された場合に、前記フレームのぶれを補正する補正手段と、
を備えることを特徴とする撮影装置。
【請求項７】
動画を構成するフレームを順次取得し、
前記フレーム毎にぼけ量とぼけ方向を取得するとともに、取得したぼけ量とぼけ方向に基づいて、前記フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別すること、
を特徴とする画像処理方法。
【請求項８】
コンピュータを、
動画を構成するフレームを順次取得するフレーム取得手段と、
前記フレーム毎にぼけ量とぼけ方向を取得するぼけ解析手段と、
前記ぼけ解析手段により取得されたぼけ量とぼけ方向に基づいて、前記フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別する判別手段と、
して機能させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する画像処理装置、この画像処理装置の機能を具備した撮影装置、上記画像処理装置における画像処理方法、及び、制御プログラムに関する。
【背景技術】
【０００２】
従来、携帯型のデジタルビデオカメラや動画撮影機能が付加されたデジタルカメラ等の撮影装置においては、撮影時の手ぶれによって撮影動画に生じたぶれを補正する手ぶれ補正機能を備えたものが知られている。この手ぶれ補正機能によってぶれを補正する際にはぶれ量を検出する必要があるため、例えば、時間的に連続するフレーム間の動きベクトルを検出することでぶれ量を求める方法が採用されている（例えば、特許文献１参照）。
【特許文献１】特開平２−１１７２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の方法では、動きベクトルを求める演算処理が非常に複雑かつ高負荷であるため、この演算処理を実行するための専用のハードウェア装置等が必要になるという問題があった。また、動きベクトルを求めることなく撮影動作のぶれの方向及びぶれ量を求めるためには、撮影装置の揺れ量を物理的に検出する物理センサを設ければ、この物理センサの検出値に基づいてぶれの方向や量を検出できる。しかしながら、この方法では物理センサを用いる必要があった。
【０００４】
また、上記動画撮影時には、撮影者が撮影装置を左右に振るカメラワーク（いわゆるパニング）や撮影装置を上下にカメラワーク（いわゆるティルト）といった、撮影者が意図的に行うカメラワークが行われることがある。従って、ぶれを補正する場合に、そのぶれが手ぶれによるものか、カメラワークによるものかを切り分けることが望ましい。ところが、手ぶれとカメラワークとを切り分ける機能を実現するためには、上述した複雑な演算処理を行うハードウェア装置や、物理センサ等を用いることが必須であり、コストの低減や小型化が難しいという問題があった。
【０００５】
本発明は、複雑な演算処理を実行するハードウェアや物理センサ等を用いることなく、撮影画像のぶれを検出して、手ぶれとカメラワークとを切り分けることが可能な画像処理装置、撮影装置、画像処理方法、及び、制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、動画を構成するフレームを順次取得するフレーム取得手段と、前記フレーム毎にぼけ量とぼけ方向を取得するぼけ解析手段と、前記ぼけ解析手段により取得されたぼけ量とぼけ方向に基づいて、前記フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別する判別手段と、を備えることを特徴とする画像処理装置を提供する。
【０００７】
この構成によれば、フレーム毎にぼけ量とぼけ方向とを取得して、このぼけ量とぼけ方向とに基づいて、手ぶれによるぼけとカメラワークによるぼけとを判別するので、物理センサ等を用いることなく、手ぶれとカメラワークとを切り分けることができる。また、複数のフレーム間に跨る演算処理等の複雑で高負荷の処理を行わないため、複雑な演算処理を可能とするハードウェア装置を用いることなく実現可能である。
【０００８】
本発明において、前記ぼけ解析手段は、前記フレーム中の複数の画素間における輝度の変化に基づいて、ぼけ量とぼけ方向を取得するものとしてもよい。この場合、シンプルで負荷の低い処理によって、手ぶれとカメラワークとを切り分けることができる。
また、上記構成において、前記判別手段は、前記ぼけ量が予め定められた閾値以下である場合に、前記フレームのぼけが手ぶれによるものと判別するものとしてもよい。この場合、手ぶれとカメラワークとの切り分けを、閾値を基準とした低負荷の処理によって実現できる。
さらに、上記構成において、前記判別手段は、前記ぼけ解析手段によって、予め定められた所定数以上の連続する前記フレームにおいて同一方向のぼけが検出された場合に、これらのぼけがカメラワークによるものと判別するものとしてもよい。この場合、各フレームについて取得されたぼけ量とぼけ方向に基づき、連続するフレームにおいて同一方向のぼけが検出されたか否かにより、手ぶれとカメラワークとを切り分ける。このため、シンプルで負荷の低い処理によって、複数のフレームに跨る解析を行い、的確に手ぶれとカメラワークとを切り分けることができる。
さらにまた、前記判別手段により、前記フレームのぼけが手ぶれによるものと判別された場合に、前記フレームのぼけを補正する補正手段をさらに備える構成としてもよい。この場合、手ぶれによるぼけを補正して、見やすく自然な画像を出力できる。
【０００９】
また、上記目的を達成するために、本発明は、動画を構成するフレームを順次撮影する撮影手段と、前記フレーム毎にぼけ量とぼけ方向を取得するぼけ解析手段と、前記ぼけ解析手段により取得されたぼけ量とぼけ方向に基づいて、前記フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別する判別手段と、を備えることを特徴とする撮影装置を提供する。
【００１０】
また、上記目的を達成するために、本発明は、動画を構成するフレームを順次取得し、前記フレーム毎にぼけ量とぼけ方向を取得するとともに、取得したぼけ量とぼけ方向に基づいて、前記フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別すること、を特徴とする画像処理方法を提供する。
【００１１】
また、上記目的を達成するために、本発明は、コンピュータを、動画を構成するフレームを順次取得するフレーム取得手段と、前記フレーム毎にぼけ量とぼけ方向を取得するぼけ解析手段と、前記ぼけ解析手段により取得されたぼけ量とぼけ方向に基づいて、前記フレームのぼけが手ぶれによるものか撮影時のカメラワークによるものかを判別する判別手段と、して機能させることを特徴とする制御プログラムを提供する。
【００１２】
本発明は、上述した画像処理装置、撮影装置、画像処理方法、及び制御プログラムに適用する他、上記制御プログラムを、電気通信回線を介してダウンロード可能にし、あるいは、磁気的記録媒体、光学的記録媒体、半導体記憶素子を用いた記録媒体等のコンピュータにより読み取り可能な記録媒体に記録して配布する、といった態様でも実施され得る。
【００１３】
上記構成によれば、物理センサ等を用いることなく、また、複雑で高負荷の演算処理を行うことなく、手ぶれとカメラワークとを切り分けることができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、電子機器の一態様としての携帯型デジタルビデオカメラ（以下、単に「携帯型ビデオカメラ」と言う）に本発明を適用した場合について説明する。
図１は本実施の形態に係る携帯型ビデオカメラ１の構成を示すブロック図である。この携帯型ビデオカメラ１は、本発明の画像処理装置、及び撮影装置を適用したものであり、図１に示すように、制御部１０、撮影部２０、操作部４０、リムーバブルメディア５０、Ｉ／Ｆ部５１及び映像出力端子５２を備えている。
【００１５】
制御部１０は、携帯型ビデオカメラ１の各部を制御するフレーム取得手段、ぼけ解析手段、判別手段、及び補正手段として機能するものであり、各種プログラムの実行や演算処理をするＣＰＵ１１と、このＣＰＵ１１が実行する制御プログラム１００や各種データを格納する書き換え可能なフラッシュＲＯＭ１２と、上記ＣＰＵ１１の演算結果や各種データを一時的に格納するためのワークエリアとして機能するＲＡＭ１３と、時間をカウントするタイマ回路１４とを備えている。また、上記ＲＯＭ１２に格納された制御プログラム１００にはぶれ補正プログラム１００Ａが含まれており、制御部１０が撮影時に当該ぶれ補正プログラム１００Ａを実行することで、撮影時の手ぶれの影響を排して、ぶれのない動画表示を実現する。また、ぶれ補正プログラム１００Ａを含む制御プログラム１００を実行する制御部１０は、コンピュータとして機能する。
【００１６】
この制御プログラム１００は、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク、半導体記憶素子を用いた可搬型メモリ等のコンピュータ読み取り可能な記録媒体６０に記録して配布することが可能である。さらに、パーソナルコンピュータと携帯型ビデオカメラ１とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体６０の制御プログラム１００を携帯型ビデオカメラ１に出力することで、フラッシュＲＯＭ１２に制御プログラム１００を格納することも可能である。
【００１７】
撮影部２０は、被写体を動画として撮影する撮影手段として機能するものであり、カメラコントロール回路２１、撮影カメラ２２、撮影部ＲＡＭ２３及び表示パネル２４を備えている。カメラコントロール回路２１は、制御部１０の制御の下、撮影部２０の各部を制御する。また、撮影カメラ２２は、被写体が撮像されたフレームのデータ（以下、単に「フレーム」と言う）をカメラコントロール回路２１に所定のサンプリングレートで順次出力するものであり、ＣＣＤやＣＭＯＳ等の光電変換素子がマトリクス状あるいはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサによって取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するＡ／Ｄ変換回路等を備えて構成される。ここで、撮影カメラ２２が備える上記イメージセンサの受光素子数（いわゆる画素数）、及び有効画素数については任意である。撮影部２０により撮影される動画は、例えば１秒あたり３０フレーム（３０ｆｐｓ）の連続する複数の静止画像の集合として記録され、フレーム毎に画像処理を施すことが可能である。
【００１８】
撮影部ＲＡＭ２３はフレームを一時的に格納するバッファとして機能する。また、表示パネル２４は撮影された動画や設定画面等の各種情報を表示する機能を有し、例えば液晶ディスプレイパネルや有機ＥＬパネル等のフラットディスプレイパネルにより構成される。リムーバブルメディア５０は、撮影時の動画データを格納する記録メディアであり、例えばビデオテープ、記録可能な光学ディスク、リムーバブルハードディスクにより構成されている。
このような構成の下、撮影カメラ２２から出力されたフレームはカメラコントロール回路２１によって所定の画像処理がなされた後、撮影部ＲＡＭ２３に一時的に格納され、また、制御部１０を介してリムーバブルメディア５０に動画データとして順次格納される。撮像部ＲＡＭ２３に格納されたフレームは表示パネル２４に表示する際に用いられ、また、リムーバブルメディア５０に格納された動画データは撮影後に撮影動画を表示（再生）する際に用いられる。
【００１９】
操作部４０は、ユーザによって操作される複数の操作子を有し、例えば電源ボタンや撮影開始／終了等の各種指示を入力するための操作キーを有している。Ｉ／Ｆ部５１は携帯型ビデオカメラ１をパーソナルコンピュータとケーブル等で通信可能に接続するためのインターフェースであり、リムーバブルメディア５０に格納された動画データをパーソナルコンピュータに出力する際には当該動画データがＩ／Ｆ部５１を介してパーソナルコンピュータに出力される。映像出力端子５２は、テレビやプロジェクタなどの外部ディスプレイ装置に動画の映像信号を出力するための端子である。なお、携帯型ビデオカメラ１は、上述の構成要素の他にも、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えて構成されている。
【００２０】
そして、携帯型ビデオカメラ１は、フラッシュＲＯＭ１２に格納されたぶれ補正プログラム１００Ａを実行することにより、撮影部２０により撮影されたフレームからぶれのない出力用画像を作成するぶれ補正処理を実行する。
【００２１】
図２は、携帯型ビデオカメラ１によるぶれ補正の概要を示す図である。
図２（Ａ）に示すように、携帯型ビデオカメラ１の撮影時に手ぶれが発生すると、被写体と撮影対象範囲との相対位置が移動する。従って、撮影されたフレーム中で被写体が不自然に動くことになり、画像が見難くなる。
ここで、撮影部２０により撮影されたフレーム７０は、携帯型ビデオカメラ１から映像出力端子５２等を介して出力される画像よりも多くの画素からなる画像となっており、制御部１０は、撮影されたフレーム７０の一部をトリミングした画像を生成して、この画像を出力する。このトリミングする領域を、出力部７１とする。
フレーム７０のうち出力部７１としてトリミングする位置は移動可能であり、上記ぶれ補正処理において、制御部１０は、撮影時に手ぶれが発生した場合は、ぶれの方向及び量に合わせて、出力部７１の位置を変えることで、手ぶれの影響を軽減する処理を行う。
【００２２】
すなわち、携帯型ビデオカメラ１は、図２（Ｂ）に示すように、撮影部２０により撮影されたフレーム７０から、出力部７１をトリミングして出力画像とする。フレーム７０における出力部７１の位置は、初期状態ではフレーム７０の中央位置であるが、この初期状態から任意に変更できる。このため、撮影時に手ぶれが発生してフレーム７０に写る被写体が移動した場合には、図２（Ｃ）に示すように、手ぶれによる移動を補償するように、ぶれの方向と逆向きに出力部７１を移動させてトリミングする。この処理により、図２（Ｄ）に示すように、被写体の位置がぶれ発生の前と変わらない補正画像７２が得られる。
このように、ぶれ補正処理によれば、手ぶれによるフレーム７０の移動（フレーム７０中における被写体の見かけ上の移動）が、出力部７１の移動によって相殺され、手ぶれの影響を解消できる。
【００２３】
図３は、ぶれによるフレームの変化の一例を示す図であり、（Ａ）はぶれなく撮影されたフレームを、（Ｂ）は撮影時にぶれが生じたフレームを示す。
図３（Ａ）に示すように、ぶれがないフレームでは丸く写る被写体は、ぶれが生じたフレームでは、図３（Ｂ）に示すように拡がった形状に写る。この拡がりの方向及び形状はぶれの方向によって異なり、図３（Ｂ）の被写体は図中左側に尾を引くように写っているので、この逆側、すなわち右側に携帯型ビデオカメラ１が動いたことがわかる。
【００２４】
図４は、ぼけのないフレームの例であり、（Ａ）はフレームの一部を示し、（Ｂ）は図４（Ａ）中のＰ−Ｐ´間における輝度の変化を模式的に示す。また、図５は、ぼけが生じたフレームの例であり、（Ａ）はフレームの一部を示し、（Ｂ）は図５（Ａ）中のＱ−Ｑ´間における輝度の変化を模式的に示す。
【００２５】
図４（Ａ）に例示するフレームでは、高輝度部分７５と低輝度部分（背景）７６との境界が明瞭である。この高輝度部分７５と低輝度部分７６との境界では、図４（Ｂ）に示すように、隣接する画素の輝度が極端に変化する。
これに対し、ぼけが生じたフレームでは、図５（Ａ）に示すように高輝度部分７５と背景７６との境界が拡がってしまい、中程度の輝度の画素が複数発生する。これらの画素では、図５（Ｂ）に示すように、複数の画素に跨って輝度がゆるやかに変化している。この図５（Ｂ）中に符号Ｗで示す幅は、ぼけのないフレームでは画素間の境界としてしか存在しない部分であり、幅Ｗはぼけによって拡がった量を示す。以下、幅Ｗで示す拡がりの量を、ぼけ量と呼ぶ。
【００２６】
制御部１０は、撮影部２０によって動画を構成するフレームが順次撮影されると、これらフレーム毎に、幅Ｗで示すぼけ量を求める。このぼけ量は、例えば、予め定められたフレーム中の１または複数の箇所において、隣接する画素の輝度の差を比較して、像の縁（エッジ）がぼけによって拡がった箇所を特定し、この拡がりの幅を求めることで取得できる。さらに、制御部１０は、ぼけ量とともにぼけの方向を求める。ぼけの方向を求める処理は、例えば、上記のように像のエッジがぼけによって拡がった箇所を特定した後、その箇所における輝度の変化の方向、すなわち拡がりの方向を求めることで取得できる。ここで拡がりの方向を求めるにあたっては、例えば、輝度の変化のパターンを予め記憶しておき、このパターンと、フレーム中の１または複数の箇所における輝度の変化とを対照することで行ってもよい。なお、例えば処理対象のフレームについてシャープネス（先鋭度）を求め、この先鋭度に基づいてぼけ量を求めるようにしてもよい。
【００２７】
図６は、携帯型ビデオカメラの動きとぼけ量との相関を示す図表であり、（Ａ）は携帯型ビデオカメラの動作速度を示し、（Ｂ）はぼけ量を示す。
この図６（Ａ）において、縦軸は携帯型ビデオカメラの特定方向における速度であり、縦軸で０（零）は速度ゼロ、「＋」と「−」は速度の向きを示す。また、図６（Ｂ）の縦軸は撮影画像中の特定方向におけるぼけ量を示し、縦軸で０（零）はぼけ量ゼロ、「＋」と「−」は、ぼけの向きを示す。また、図６（Ａ）及び（Ｂ）の図表において横軸は時間の経過を示す。
【００２８】
撮影中の携帯型ビデオカメラ１の動きには、撮影者の手ぶれによる動きと、カメラワーク（パニング、ティルト等）による動きがある。このうち、手ぶれにより生じたぼけは補正する方が望ましいが、カメラワークにより生じたぼけは補正しないことが好ましい。
そこで、携帯型ビデオカメラ１は、フレームにおけるぼけ量とぼけの方向に基づいて、ぼけの原因を区別する。
例えば、図６（Ａ）中に符号Ｔ１で示す期間、携帯型ビデオカメラ１の動く方向（＋、−）は頻繁に変化している。これは、撮影時の手ぶれによる動きの特徴である。
これに対し、図６（Ａ）にＴ２で示す期間では、同一方向（＋）の動きが比較的長時間続いている。また、図６（Ａ）にＴ３で示す期間においても、同一方向（−）の動きが比較的長時間続いている。さらに、期間Ｔ２、Ｔ３のいずれにおいても、期間Ｔ１に比べて速度の大きさが極めて大きい。これは、カメラワークによる携帯型ビデオカメラ１の動きの特徴である。
これに対応して、図６（Ｂ）に示す期間Ｔ１のぼけ量は、ぼけの方向（＋、−）が頻繁に入れ替わっている。一方、期間Ｔ２におけるぼけ量は、同一方向（＋）のぼけが連続して発生し、期間Ｔ３においても、同一方向（−）のぼけが連続して発生している。さらに、期間Ｔ２、Ｔ３のいずれにおいても、期間Ｔ１に比べてぼけ量が明らかに大きい。図６（Ｂ）に示すように、ぼけ量の大きさについて閾値ＴＨ＋、ＴＨ−を設定すると、期間Ｔ１のぼけ量は閾値ＴＨ＋〜ＴＨ−の間に収まり、期間Ｔ２、Ｔ３のぼけは閾値ＴＨ＋又はＴＨ−を大きく超える。
【００２９】
まとめると、手ぶれによって生じるぼけは、カメラワークによるぼけよりもぼけ量が小さいので、例えば閾値を用いて、ぼけ量の大小を判別することで、手ぶれとカメラワークを切り分けることができる。
また、連続する複数のフレームで同一方向のぼけが発生していれば、カメラワークにより生じるぼけであるといえるので、例えば同一方向のぼけが発生したフレームの数を基準として、手ぶれとカメラワークを切り分けることができる。
つまり、手ぶれとカメラワークとを判別する基準としては、次の２つの情報を用いることができる。
I.ぼけ量の閾値
II.連続して同一方向のぼけが発生したフレームの数
【００３０】
図７は、携帯型ビデオカメラ１の動きとフレームとの関係を示す説明図である。図中、αは画角［ｒａｄ］を示し、Ｌは焦点距離を示し、βは携帯型ビデオカメラ１が動いた移動角度［ｒａｄ］を示し、ｘはぼけ量を示す。
この図７には、携帯型ビデオカメラ１の３次元的な動作のうち、特定方向に延びる軸を中心とした動きを抽出したものであり、携帯型ビデオカメラ１の動きを、上記軸を中心とした回動として表す。ここで、携帯型ビデオカメラ１が角度βだけ回動すると、この場合のぼけ量ｘは、下記式（１）のように表される。
ｘ＝Ｌ｛１＋ｔａｎ2（α／２）｝β    ・・・（１）
【００３１】
この式（１）に基づいて、携帯型ビデオカメラ１が−θ°〜＋θ°の範囲で回動した場合におけるぼけ量Ｘを求めると、その計算式は下記式（２）のようになる。
Ｘ＝Ｌ｛１＋ｔａｎ2（α／２）｝｛２θ×π／１８０｝    ・・・（２）
一般に、撮影時の手ぶれによって携帯型ビデオカメラ１が回動する角度は、±２°の範囲内であるとされている。従って、上記式（２）においてθ＝２とした場合のぼけ量Ｘを、手ぶれとカメラワークを切り分ける基準として用いることができる。
但し、携帯型ビデオカメラ１の動く速度によっては、ぼけ量Ｘが、複数のフレームに跨って現れることがある。この場合、１フレームあたりのぼけ量Ｅは、下記式（３）により求められる。
Ｅ＝Ｘ／（Ｎ×Ｔ）    ・・・（３）
Ｔは携帯型ビデオカメラ１が動いた時間［秒］。
Ｎは撮影時のフレームレート［ｆｐｓ（フレーム／秒）］。
このように、携帯型ビデオカメラ１が、例えば±２°の範囲で動いた場合の１フレームあたりのぼけ量Ｅを求めて、ぼけ量の閾値とすることができる。
【００３２】
また、連続して同一方向のぼけが発生したフレームの数は、次のように求める。
時間Ｔ［秒］あたりのフレーム数Ｄは、撮影時のフレームレートＮ［ｆｐｓ］に基づき、下記式（４）のように求められる。
Ｄ＝Ｎ×Ｔ    ・・・（４）
一般に、手ぶれによる携帯型ビデオカメラ１の同一方向の動きは０．３秒以内で収束するとされている。従って、携帯型ビデオカメラ１が動く方向が概ね０．３秒以内で変化した場合は、手ぶれによる動きであるといえる。逆に言えば、携帯型ビデオカメラ１の動く方向が、０．３秒を超えて変化しなければ、カメラワークによる携帯型ビデオカメラ１の動きであるといえる。
例えばフレームレートが１５［ｆｐｓ］の場合、０．３秒間に撮影されるフレーム数は、上記式（４）によりＤ＝１５×０．３＝４．５と求められる。従って、４．５を超える数のフレームにおいて、同一方向のぼけが発生した場合には、カメラワークによって生じたぼけであると判別できる。
このように、携帯型ビデオカメラ１が、例えば０．３秒間、同一方向に動いた場合に同一方向のぼけが発生するフレームの数Ｄを求めて、フレーム数の閾値とすることができる。ここで、フレーム数は常に整数であるから閾値となるフレーム数Ｄも整数であることが好ましい。このため、上記式（４）により求められたフレーム数Ｄが小数であった場合は切り上げを行い、例えば上記のようにＤ＝４．５の場合、閾値のフレーム数は５に設定するとよい。
以上のように求められる閾値としてのぼけ量Ｅ及びフレーム数Ｄは、上記ぶれ補正処理を実行するにあたって、予めフラッシュＲＯＭ１２に格納されている。
【００３３】
図８は、携帯型ビデオカメラ１において実行されるぶれ補正処理を示すフローチャートである。この図８に示すぶれ補正処理は、ＣＰＵ１１により、フラッシュＲＯＭ１２に格納されたぶれ補正プログラム１００Ａを読み出して実行することにより、実現される。
このぶれ補正処理は、携帯型ビデオカメラ１の撮影中に、撮影されたフレームにおけるぼけの発生を検出し、このぼけが手ぶれによるものか、カメラワークによるものかを判別し、手ぶれによるぼけである場合には補正を行って補正画像を出力し、カメラワークによるぼけである場合は補正を行わずに画像を出力する処理である。
【００３４】
ぶれ補正処理が開始されると（ステップＳ１１）、ＣＰＵ１１は、予めフラッシュＲＯＭ１２に格納された閾値としてのぶれ量Ｅ及びフレーム数Ｄを読み出して、本処理に係る閾値として設定し、ＲＡＭ１３に格納する（ステップＳ１２）。さらに、ＣＰＵ１１は、同一方向カウンタを設定し、このカウント値を１としてＲＡＭ１３に格納する（ステップＳ１３）。この同一方向カウンタは、連続する複数のフレームにおいて同一方向のぼけが生じた場合に、そのフレーム数をカウントするカウンタである。
【００３５】
続いて、ＣＰＵ１１は、撮影部２０により撮影されたフレームについて、ぼけ量とぼけ方向とを求め（ステップＳ１４）、求めたぼけ方向が、前回撮影部２０により撮影されたフレームにおけるぼけ方向と同一か否かを判別する（ステップＳ１５）。ここで、求めたぼけ方向が前のフレームにおけるぼけ方向と同じであった場合（ステップＳ１５；Ｙｅｓ）、ＣＰＵ１１は、ＲＡＭ１３に格納した同一方向カウンタのカウント値を＋１する（ステップＳ１６）。一方、ステップＳ１４でぼけ量とぼけ方向とを求めたフレームが最初のフレームである場合、及び、前のフレームとはぼけ方向が異なっている場合（ステップＳ１５；Ｎｏ）、ＣＰＵ１１はＲＡＭ１３に格納した同一方向カウンタのカウント値を１にセットする（ステップＳ１７）。
【００３６】
その後、ＣＰＵ１１は、ステップＳ１２で設定した閾値としてのフレーム数Ｄと、ＲＡＭ１３に格納した同一方向カウンタのカウント値とを比較する（ステップＳ１８）。ここで、カウント値がフレーム数Ｄより小さい場合（ステップＳ１８；Ｎｏ）、ＣＰＵ１１は、ステップＳ１４で算出したぼけ量が、ステップＳ１２で設定した閾値としてのぼけ量Ｅ以下であるか否かを判別する（ステップＳ１９）。そして、算出したぼけ量がぼけ量Ｅ以下であった場合には（ステップＳ１９；Ｙｅｓ）、手ぶれによるぼけが発生していることになるから、ＣＰＵ１１は、フレームのぶれを補正する処理を行う。すなわち、フレーム７０（図２）において出力部７１（図２）を移動させる量（補正量）を求め（ステップＳ２０）、この補正量に基づく位置で出力部７１をトリミングして補正画像を作成し、出力する（ステップＳ２１）。その後、ＣＰＵ１１はステップＳ２３に移行する。
【００３７】
また、ステップＳ１８でカウント値がフレーム数Ｄ以上である場合、すなわち、フレーム数Ｄ以上の連続するフレームにおいて、同一方向のぼけが発生している場合は、ＣＰＵ１１は、フレーム７０上の所定の位置にある出力部７１をトリミングして撮影画像として出力し（ステップＳ２２）、ステップＳ２３に移行する。
さらに、ステップＳ１９でぼけ量が閾値Ｅを超える場合、ＣＰＵ１１は、上述のステップＳ２２に移行する。
そして、ステップＳ２３において、ＣＰＵ１１は、撮影終了か否かを判別し、撮影が継続される場合はステップＳ１５に戻り、撮影が終了される場合は本処理を終了する。
【００３８】
このように、携帯型ビデオカメラ１は、動画撮影時に連続して撮影されるフレーム毎に、ぼけ量とぼけの方向とを求めるとともに、同一方向のぼけが発生したフレームが連続する数を求め、予めフラッシュＲＯＭ１２に格納されたぼけ量Ｅ及びフレーム数Ｄを閾値として、ぼけの原因が手ぶれか、或いはカメラワークかを判別する。
そして、求めたぼけ量が閾値Ｅを超える場合、及び、閾値Ｄ以上の連続したフレームにおいて同一方向のぼけが発生している場合に、これらのぼけがカメラワークによるものと判別して、補正を行うことなく撮影画像を出力する。一方、上記の場合に該当しないケース、すなわち、求めたぼけ量が閾値Ｅ以下であり、かつ、閾値Ｄ以上のフレームで同一方向のぼけが連続しない場合には、手ぶれによるぼけが発生したものと判別して、補正を行った画像を出力する。
これにより、加速度センサやジャイロセンサ等の物理センサを備えない携帯型ビデオカメラ１において、手ぶれとカメラワークとを的確に切り分けることが可能である。また、ぼけの種類を判別する処理は、閾値としてのぼけ量Ｅ及びフレーム数Ｄに基づく極めてシンプルな処理であり、例えば複数のフレームに跨る複雑な解析処理等の高負荷の演算処理を伴わない。このため、高性能のハードウェア資源を用いることなく実行可能である。そして、ぼけが手ぶれによるものであった場合にのみ補正を行うので、見やすく、かつ自然な動画像を得ることができる。
【００３９】
さらに、フレームにおけるぼけ量とぼけ方向とを、フレーム中の複数の画素間における輝度の変化に基づいて求めるので、シンプルで負荷の低い処理によって、手ぶれとカメラワークとを切り分けることができる。
また、手ぶれとカメラワークとを判別する処理においては、予めフラッシュＲＯＭ１２に格納した閾値としてのぼけ量Ｅ及びフレーム数Ｄを用いた大小比較を行うので、非常に負荷の軽い処理によって判別が可能である。さらにまた、連続するフレームにおいて同一方向のぼけが検出されたか否かにより、手ぶれとカメラワークとを切り分けるので、シンプルで負荷の低い処理によって複数のフレームに跨る解析を実現し、的確に手ぶれとカメラワークとを切り分けることができる。
そして、フレームのぼけが手ぶれによるものと判別された場合にぼけを補正して補正画像を出力するので、見やすく自然な画像を出力できる。
【００４０】
なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形及び応用が可能である。
例えば、上記実施の形態では、撮影部２０により撮影されたフレーム７０に対して、図８に示すぶれ補正処理を行う例について説明したが、例えば、リムーバブルメディア５０等に格納された複数フレームからなる動画像について、その表示（再生）時にぶれ補正処理を行うようにしてもよい。すなわち、撮影されたフレームのデータと、各フレーム撮影時のぶれ量を示すデータとがリムーバブルメディア５０等に格納されていれば、撮影機能を有しない他の機器においてぶれ補正処理を実行することが可能である。
さらに、上記実施の形態では、ぶれ補正処理を実行するに際して、閾値としてのぼけ量Ｅ及びフレーム数Ｄが予めフラッシュＲＯＭ１２に格納されているものとして説明したが、本発明はこれに限定されるものではなく、例えば、操作部４０の操作により入力された情報に基づいてぼけ量Ｅ及びフレーム数Ｄを求めるようにしてもよいし、或いは、過去に撮影したフレームにおけるぼけ量とぼけの方向とに基づいて、随時、ぼけ量Ｅ及びフレーム数Ｄを求めるようにしてもよい。
また、本発明は、上記実施の形態及び変形例で説明した携帯型ビデオカメラ１以外の動画撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画撮影機能付きデジタルスチルカメラ、及び、このようなデジタルスチルカメラを具備した携帯電話機、ＰＤＡ、ノート型パソコン等の各種電子機器においても適用可能である。
【図面の簡単な説明】
【００４１】
【図１】実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】ぶれ補正の様子を示す図である。
【図３】ぶれによるフレームの変化を示す図である。
【図４】ぶれのないフレームの例を示す図である。
【図５】ぶれにより生じるぼけの状態を例示する図である。
【図６】携帯型ビデオカメラの動きとぼけ量との相関を示す図である。
【図７】携帯型ビデオカメラの動きとフレームとの関係を示す説明図である。
【図８】ぶれ補正処理を示すフローチャートである。
【符号の説明】
【００４２】
１…携帯型デジタルビデオカメラ（撮影装置、画像処理装置）、１０…制御部（フレーム取得手段、ぼけ解析手段、判別手段、補正手段、コンピュータ）、２０…撮影部（撮影手段）、２４…表示パネル、５０…リムーバブルメディア、６０…記録媒体、７０…フレーム、７１…出力部、７２…補正画像、７５…高輝度部分、７６…低輝度部分、１００…制御プログラム、１００Ａ…ぶれ補正プログラム。
【図１】
2007221291.tif 000003
【図２】
2007221291.tif 000004
【図３】
2007221291.tif 000005
【図４】
2007221291.tif 000006
【図５】
2007221291.tif 000007
【図６】
2007221291.tif 000008
【図７】
2007221291.tif 000009
【図８】
2007221291.tif 000010