(57)【要約】  任意の撮影機に対し付加装置を必要とすることなく、撮影機のブレの時系列的な変化を検出することができ、更には、撮影機の３軸周りのブレを検出することができるブレ測定システムおよびブレ測定方法を提供する。  種類の異なる複数のテストパターンＰ１〜Ｐｎを順次に表示し、これらテストパターンＰ１〜Ｐｎの内の２以上のテストパターンを撮影機２で静止画像撮影してなる合成画像ｄ中から、前記各テストパターンに対応するテンプレートと一致する画像をパターン認識し、このパターン認識の際の各テンプレートの移動方向及び移動量を、前記撮影機２のブレ方向及びブレ量とした。
2008078537.tif 000002
【特許請求の範囲】
【請求項１】
区別可能な複数種類のテストパターンを順次に表示する表示手段と、
表示される前記複数種類のテストパターンをそれぞれテンプレートとして記憶する第一記憶手段と、
順次に表示される前記複数種類のテストパターンの内の２以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶する第二記憶手段と、
前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記各テンプレートに一致する画像を認識するパターン認識手段とを具備し、
前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記静止画像撮影の際の前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも２以上得るようにしたことを特徴とするブレ測定システム。
【請求項２】
上記複数種類のテストパターンの各々が、テストパターン間で実質的に互いに重なり合うことのない部分を有する図形であることを特徴とする請求項１記載のブレ測定システム。
【請求項３】
上記移動方向には、上記合成画像の平面上における垂直方向、水平方向、回転方向が含まれ、
上記移動量は、前記方向毎に検出されることを特徴とする請求項２記載のブレ測定システム。
【請求項４】
上記垂直方向の移動量、上記水平方向の移動量、上記回転方向の移動量を、それぞれ、上記撮影機におけるピッチ軸周りのブレ量、パン軸周りのブレ量、ロール軸周りのブレ量に換算するようにしたことを特徴とする請求項３記載のブレ測定システム。
【請求項５】
上記３つのブレ量を、上記テストパターンの表示順に配列して、ブレ軌跡を求めるようにしたことを特徴とする請求項４記載のブレ測定システム。
【請求項６】
上記各テストパターンが、平面的に表示される２以上の図形であることを特徴とする請求項５記載のブレ測定システム。
【請求項７】
上記移動方向及び上記移動量を、上記テストパターンの表示順に配列して、撮影機のブレ軌跡を求めるようにしたことを特徴とする請求項１記載のブレ測定システム。
【請求項８】
上記移動方向には、上記合成画像の平面上における垂直方向、水平方向、回転方向が含まれ、
上記移動量は、前記方向毎に検出されることを特徴とする請求項１記載のブレ測定システム。
【請求項９】
上記移動方向には、上記合成画像の平面上における垂直方向、水平方向、回転方向が含まれ、
上記移動量を前記方向毎に検出し、前記垂直方向の移動量、前記水平方向の移動量、前記回転方向の移動量を、それぞれ、上記撮影機におけるピッチ軸周りのブレ量、パン軸周りのブレ量、ロール軸周りのブレ量に換算するようにしたことを特徴とする請求項１記載のブレ測定システム。
【請求項１０】
上記各テストパターンが、平面的に表示される２以上の図形であることを特徴とする請求項１記載のブレ測定システム。
【請求項１１】
区別可能な複数種類のテストパターンをそれぞれテンプレートとして記憶する第一記憶手段と、
順次に表示される前記複数種類のテストパターンの内の２以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶する第二記憶手段と、
前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記各テンプレートに一致する画像を認識するパターン認識手段とを具備し、
前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも２以上得るようにしたことを特徴とするブレ測定システム。
【請求項１２】
表示手段が、区別可能な複数種類のテストパターンを順次に表示するステップと、
第一記憶手段が、表示される前記複数種類のテストパターンをそれぞれテンプレートとして記憶するステップと、
第二記憶手段が、前記テストパターンの内の２以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶するステップと、
パターン認識手段が、前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記テンプレートに一致する画像を認識するステップとを含み、
前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも２以上得るようにしたブレ測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮影機やその他の光学機器のブレを測定するブレ測定システムおよびブレ測定方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラに具備されている手ブレ補正装置は、ジャイロセンサにより検出される加速度を積分することでブレ量を求め、このブレ量を相殺するように、レンズや、頂角プリズム、撮像素子等を変位させるようにしている。
このような手ブレ補正装置の一例として、特許文献１に開示された発明では、手ブレを検出する頂角センサ（４３，４４（ジャイロセンサ等））、光軸を変化させるように変形可能な可変頂角プリズム（４１）、該可変頂角プリズム（４１）を変形させるアクチュエーター（４８，４９）、該アクチュエーターへ駆動電圧を印加する制御回路などを具備し、前記頂角センサ（４３，４４）によって検出される信号に応じて前記アクチュエーター（４８，４９）により可変頂角プリズム（４１）を変形させて光軸を変化させるようにしている。【０００３】
更に、同特許文献１には、光軸変化角度を検出するための受光手段（８（２次元ポジションセンサ））や、頂角センサ（４３，４４）の出力信号を検出する回路等を具備し、前記駆動電圧と光軸変化角度の関係、頂角検出センサ出力と光軸変化角度の関係等から、手ブレ補正装置の性能を評価するようにした発明が開示されている。
そこで、この発明を用いて、市販のデジタルカメラの手ブレを評価することが考えられるが、仮に、このようにした場合には、上記光軸変化角度を検出するための手段を、デジタルカメラ自体に付加するか、あるいはデジタルカメラに対し接続する必要があり、任意のデジタルカメラの手ブレ測定に適用するには困難であり、現実的でない。
その上、前記のような場合では、ジャイロセンサの取付け方向によって検出可能な手ブレの方向が制限されてしまう上、手ブレ方向および手ブレ量の時系列的な変化を観測するのは困難である。【０００４】
ところで、一般的に、スティルカメラで被写体を撮影した際に生じる手ブレには、パン（pan）軸（垂直軸）周りの回転運動となる手ブレ、ピッチ（pitch）軸（水平軸）周りの回転運動となる手ブレ、ロール（roll）軸（パン軸とピッチ軸の双方に直交する軸）周りの回転運動となる手ブレの３種類がある。なお、前記ピッチ（pitch）軸は、チルト（tilt）軸と呼称される場合もある。
これら３種類の手ブレは、シャッターボタンの位置や、カメラの形状、使用者の男女差、使用者がプロかアマか等、様々な条件によって異なるものと考えられる。
一般的な市販のデジタルカメラの手ブレ補正機能では、ピッチ軸とパン軸の２軸周りのブレ量のみを検出し補正しており、ロール軸（光軸）周りの手ブレについては、検出も補正もしていなかった（例えば、特許文献１の図９参照）。
なぜならば、ロール軸周りの手ブレを検出するためには、ジャイロセンサをデジタルカメラの厚み方向へ取付ける必要があり、このことがデジタルカメラの小型化および低コスト化を阻む一因になってしまうからである。
したがって、仮に、従来のデジタルカメラに対し、特許文献１における光軸変化角度を検出する手段を接続したとしても、ピッチ軸とパン軸の２軸周りの光軸変化角度が得られるのみであり、実際の手ブレ現象である３軸回転運動を検出するのは困難である。【０００５】
また、他の関連技術としては、例えば特許文献２に記載されたブレ補正測定装置がある。この従来技術では、光源（１０１）から投射されるレーザー光（Ｌ）を、ブレ補正機能を有する光学系（１０３）に通過させた後、スケール（１０６）に投影し、投影されたスケール上の像の移動量を測定することで、前記ブレ補正機能の性能を評価するようにしている。
この従来技術においても、得られるのは前記スケール（１０６）に投影される単一の点、もしくは二次元平面上の直線的な軌跡のみであり、実際の手ブレ現象に対応する３軸回転運動や、ブレ方向およびブレ量の時系列的な変化を検出することはできなかった。【０００６】
また、他の関連技術として、例えば特許文献３に記載されたカメラ揺れ補正方法および画像監視システムでは、監視カメラにより撮影された画像中の２フレームの一方を基準画像、他方を処理画像とし、前記基準画像から作成したテンプレートパターンを用いて前記処理画像のパターンマッチングを行い、カメラ揺れによる画像のずれの規則性を利用して特定のマッチング領域を選択し、その移動ベクトルからカメラ揺れ量を算出して画像ずれを補正するようにしている。
しかしながら、この従来技術では、監視カメラにより撮影された単一の任意の画像を基準画像とし、この基準画像から作成したテンプレートパターンを用いて前記処理画像のパターンマッチングを行おうとするものであり、このような構成により得られるカメラ揺れ量は、二次元平面上の直線的な軌跡のみであり、他の特許文献に記載された発明と同様に、スティルカメラの手ブレ現象に対応する３軸回転運動や、ブレ方向およびブレ量の時系列的な変化を検出することはできなかった。
【特許文献１】特許第３１４３５２７号公報
【特許文献２】特開２００２−１９５８１５号公報
【特許文献３】特開平１０−２３３２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記従来事情に鑑みてなされたものであり、その課題とする処は、任意の撮影機に対し付加装置を必要とすることなく、撮影機のブレの変化を検出することができ、更には、撮影機の３軸周りのブレを検出することができるブレ測定システムおよびブレ測定方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するための技術的手段は、区別可能な複数種類のテストパターンを順次に表示する表示手段と、表示される前記複数種類のテストパターンをそれぞれテンプレートとして記憶する第一記憶手段と、順次に表示される前記複数種類のテストパターンの内の２以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶する第二記憶手段と、前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記各テンプレートに一致する画像を認識するパターン認識手段とを具備し、前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記静止画像撮影の際の前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも２以上得るようにしたことを特徴とする。【０００９】
なお、上記「区別可能な複数種類のテストパターン」とは、複数のテストパターンの内、任意のテストパターンを他のテストパターンと区別することができる構成であればよい。
したがって、この「区別可能な複数種類のテストパターン」には、任意のテストパターンが他のテストパターンに対し、色や、形状、位置、角度、模様、これらの組合せ等が異なるようにした構成を含む。
すなわち、上記複数種類のテストパターンは、仮に図形輪郭自身が同型であっても、その色や、形状、位置、角度、模様、これらの組み合わせ等が違うものであれば、パターンの機能は同様に扱える（異なるパターンとして扱える）ものである。【００１０】
また、上記撮影機とは、静止画像を記録可能なものであればよく、この撮影機には、一般的なスティルカメラや、デジタルカメラ等を含む。
更に、この撮影機には、一般的なデジタルビデオカメラを含む。すなわち、デジタルビデオカメラにおいて、１フレームの画像は静止画像である。【００１１】
また、上記テンプレートとは、上記各テストパターンの画像データが上記第一記憶手段に記憶された状態を意味する。【００１２】
また、上記パターン認識手段には、例えばパターンマッチング処理やテンプレートマッチング処理等の周知の画像処理を行う構成を含む。【００１３】
上記技術的手段によれば、順次に表示されるテストパターンの内の２以上のテストパターンを撮影機で静止画像撮影してなる１つの撮影画像は、撮影機のブレが、複数種類のテストパターンの変化情報として写し込まれた合成画像となる。
この合成画像から、各テンプレートに一致する画像をパターン認識すれば、このパターン認識の際の各テンプレートの移動方向および移動量が検出される。つまり、順次に表示された各テストパターンが、合成画像上においてどの方向へどれだけ移動したかが検出される。
テンプレート毎に検出される移動方向および移動量は、上記静止画像撮影の際の撮影機のブレ方向およびブレ量に対応する。
前記移動方向および移動量が少なくとも２以上得られれば、撮影機のブレ方向およびブレ量がどのように変化したのかを知ることができる。【００１４】
また、更なる技術的手段では、上記複数種類のテストパターンの各々が、テストパターン間で実質的に互いに重なり合うことのない部分を有する図形であることを特徴とする。
ここで、上記「上記複数種類のテストパターンの各々が、テストパターン間で実質的に互いに重なり合うことのない部分を有する」という構成は、上記複数種類のテストパターン内の任意のテストパターンとその他のテストパターンとが一部分で重なり合い他の部分では重なり合わないようにした態様としてもよいが、より好ましくは、上記複数種類のテストパターンの内の任意のテストパターンとその他のテストパターンとが完全に重なり合わないようにした態様とする。
なお、「互いに重なり合うことのない」とは、換言すれば、「互いに直交する」、あるいは「互いに干渉し合わない」と表現することができる。
前記技術的手段によれば、合成画像から各テンプレートに一致する画像をパターン認識する処理を、より容易に行うことができる。
すなわち、複数種類のテストパターンの内、任意のテストパターンとその他のテストパターンとは、少なくとも重なり合わない一部分を有する。そのため、合成画像から、前記任意のテストパターンに対応するテンプレートに一致する画像がパターン認識される際に、前記その他のテストパターンが誤認識されてしまうのを防ぐことができる。【００１５】
また、更なる技術的手段では、上記移動方向には、上記合成画像の平面上における垂直方向、水平方向、回転方向が含まれ、上記移動量は、前記方向毎に検出されることを特徴とする。
この技術的手段によれば、垂直方向と水平方向と回転方向との夫々に対応して、上記移動量が検出される。【００１６】
また、更なる技術的手段では、上記垂直方向の移動量、上記水平方向の移動量、上記回転方向の移動量を、それぞれ、上記撮影機におけるピッチ軸周りのブレ量、パン軸周りのブレ量、ロール軸周りのブレ量に換算するようにしたことを特徴とする。
この技術的手段によれば、撮影機における３軸（ピッチ軸、パン軸、ロール軸）周りのブレ量がそれぞれ検出される。すなわち、撮影機が実際にどの回転方向へブレたのかを知ることができる。【００１７】
また、更なる技術的手段では、上記３つのブレ量を、上記テストパターンの表示順に配列して、ブレ軌跡を求めるようにしたことを特徴とする。
この技術的手段によれば、上記３つの回転角が時系列順に配列されて、ブレ軌跡が求められる。よって、撮影機のブレが、時系列的にどのような軌跡で変化したのかを知ることができる。【００１８】
また、更なる技術的手段では、上記各テストパターンが、平面的に表示される２以上の図形であることを特徴とする。
ここで、上記「２以上の図形」の好ましい具体例としては、２つの点状図形や、３つの点状図形、４つ以上の点状図形等、複数の点状図形とされる。
また、この構成の他例としては、線や、３角形、多角形等の図形を複数配設した構成とすることも可能である。
前記技術的手段によれば、合成画像から各テストパターンをパターン認識する処理を、より容易に行うことができる。特に、各テストパターンにおける回転方向の移動量の検出が容易である。【００１９】
また、他の技術的手段では、上記移動方向及び上記移動量を、上記テストパターンの表示順に配列して、ブレ軌跡を求めるようにしたことを特徴とする。
この技術的手段によれば、各テンプレートの移動方向及び移動量を、そのままテンプレート表示順に配列するという簡易な処理により、撮影機のブレに対応して時系列的に変化するブレ軌跡を表現することができる。【００２０】
また、他の技術的手段では、区別可能な複数種類のテストパターンをそれぞれテンプレートとして記憶する第一記憶手段と、順次に表示される前記複数種類のテストパターンの内の２以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶する第二記憶手段と、前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記各テンプレートに一致する画像を認識するパターン認識手段とを具備し、前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも２以上得るようにしたことを特徴とする。【００２１】
また、他の技術的手段であるブレ測定方法では、表示手段が、区別可能な複数種類のテストパターンを順次に表示するステップと、第一記憶手段が、表示される前記複数種類のテストパターンをそれぞれテンプレートとして記憶するステップと、
第二記憶手段が、前記テストパターンの内の２以上のテストパターンを撮影機で静止画像撮影してなる合成画像を記憶するステップと、パターン認識手段が、前記第一記憶手段から前記複数種類のテンプレートを呼び出すとともに前記第二記憶手段から前記合成画像を呼び出し、呼び出された前記テンプレート毎に、そのテンプレートを前記合成画像に対し重ね合わせながら移動させて、前記合成画像から前記テンプレートに一致する画像を認識するステップとを含み、前記パターン認識手段による前記各テンプレートの移動方向及び移動量を、前記撮影機のブレ方向およびブレ量とし、このブレ方向およびブレ量を少なくとも２以上得るようにした。
【発明の効果】
【００２２】
本発明は、以上説明したように構成されているので、以下に記載されるような作用効果を奏する。
本発明によれば、撮影機に特別な付加装置を必要とすることなく、実際の撮影環境下で、撮影機や使用者の相違に拘わらずに、任意の撮影機のブレを容易に検出することができる。
しかも、複数の移動方向及び移動量データから、撮影機のブレの変化を検出することができる。
更に、撮影機の３軸ブレ方向に対応するように各テンプレートの移動方向毎に移動量を検出すれば、撮影機の３軸周りのブレが時系列的にどのように変化したのかを知ることができる。
また、複数のテストパターンの表示間隔の設定により測定分解能を容易に可変することができる。すなわち、例えば、テストパターンの表示間隔を狭くすれば、撮影機のシャッタースピード（シャッター開放時間）内で検出される移動方向毎の移動量のデータ数が多くなり、測定分解能が向上する。テストパターンの表示間隔を広くした場合には、その逆に測定分解能が低下する。【００２３】
ひいては、複数の撮影機に対し、手ブレの度合いや手ブレ補正性能の比較を行ったり、撮影機形状の違いによる手ブレ傾向を把握したり、あるいは、使用者の個人差による手ブレ傾向を把握したりすることができ、更には、前記のような手ブレの評価をフィードバックして、シャッターボタンの位置や形状の検討、撮影機本体の形状の検討、手ブレ補正装置の機能や構造の検討等、より手ブレに強い撮影機の開発に資することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明に係わるブレ測定システムの一例を示すブロック図である。
このブレ測定システム１は、種類の異なる複数のテストパターンＰ１〜Ｐｎを順次に表示するテストパターン表示部１０（表示手段）と、これらテストパターンＰ１〜Ｐｎの内の２以上のテストパターンを撮影機２で静止画像撮影することにより構成される合成画像ｄ（図２及び図３参照）中から、前記テストパターンＰ１〜Ｐｎの各々と一致する画像をパターン認識するとともに、このパターン認識の際に各テストパターンの移動方向毎の相対移動量を検出する演算処理部２０とを備えている。【００２５】
テストパターン表示部１０は、ＣＰＵ、記憶装置、入出力装置等を具備した一般的なコンピュータ１１、該コンピュータ１１を機能させるためのプログラム、該コンピュータ１１による処理結果を表示するための表示装置１２等により構成される。【００２６】
コンピュータ１１は、テストパターン生成器１１ａによって生成されたテストパターンＰ１〜Ｐｎを、その順序データと共に画像メモリ１１ｂに記憶し、更に、該画像メモリ１１ｂに記憶されたたテストパターンＰ１〜Ｐｎを、ビデオグラフィックアダプタ１１ｃ（所謂ビデオカード等）を介して、順次に出力する。【００２７】
テストパターン生成器１１ａは、例えば図３に示すテストパターンＰ１〜Ｐｎを生成するプログラムである。
このテストパターン生成器１１ａは、前記多数の点状図形ｂの位置を計算式により求めてテストパターンＰ１〜Ｐｎを順次に生成し出力するプログラムとしてもよいし、予め人為的に作成されて記憶されたテストパターンＰ１〜Ｐｎを順次に出力するプログラムとしてもよい。【００２８】
テストパターンＰ１〜Ｐｎの各々は、平面上に表示される２以上の図形であり、図３に示す好ましい一例によれば、後述する表示装置１２の画面の中央側に表示される略正方形状の基準枠ａと、同表示装置１２の画面中の前記基準枠ａ内に分散して表示される多数の点状図形ｂとからなる。
テストパターンＰ１〜Ｐｎ中、任意のテストパターンにおける各点状図形ｂは、他のテストパターンにおける多数の点状図形ｂと重なり合うことがないように（換言すれば異なる座標位置となるように）、その座標が決められている。【００２９】
また、表示装置１２は、図示例によればコンピュータ用ディスプレイ装置であり、ビデオグラフィックアダプタ１１ｃを介して出力されたテストパターンＰ１〜Ｐｎを、画面上に順次に表示する。【００３０】
テストパターンＰ１〜Ｐｎを切り替える速度は、撮影機２のシャッタースピード（シャッター開放時間）よりも速くすることで、テストパターンＰ１〜Ｐｎの内の少なくとも２以上のテストパターンが、撮影機２によって静止画像撮影されるようにしている。
本実施の形態の好ましい一例によれば、テストパターンＰ１〜Ｐｎの各々を１フレームとした動画像を作成し、この動画像を表示装置１２に表示するようにしている。したがって、テストパターンＰ１〜Ｐｎの切り替え速度は、前記動画像のフレームレート（例えば６０fps）により決定された速度（例えば１／６０秒）となる。【００３１】
テストパターンＰ１〜Ｐｎの数は、少なくとも撮影機２の最大シャッタースピード（最大シャッター開放時間）中に表示可能な枚数よりも多くしている。
更に好ましくは、撮影機２のシャッター開放時間中に、テストパターンＰ１〜Ｐｎの表示が終了してしまわないように、これらテストパターンＰ１〜Ｐｎを無限ループ状に表示する。
なお、他例としては、前記表示可能な枚数よりも少ないテストパターンＰ１〜Ｐｎが無限ループ状に表示されるようにすることも可能である。【００３２】
したがって、表示装置１２に高速に切り替えられて表示される画像は、視覚的には、複数のテストパターンＰ１〜Ｐｎの基準枠ａおよび点状図形ｂが、合成されて映し出された１枚の被写体ｃ（図２参照）として認識される。【００３３】
また、撮影機２は、手ブレ補正機能を有する一般的な市販のデジタルカメラである。
この撮影機２によって上記被写体ｃを撮影した画像は、該撮影機２のシャッタースピード（シャッター開放時間）内で、テストパターンＰ１〜Ｐｎの内の何れか２以上を撮影した合成画像ｄ（図２及び図３参照）となる。【００３４】
前記撮影機２による撮影の際、撮影機２が被験者の手で保持されていると、一般的には、図２に示すように、パン（pan）軸（垂直軸）周りの回転運動となる手ブレ、ピッチ（pitch、もしくはtiltとも称する)軸（水平軸）周りの回転運動となる手ブレ、ロール（roll）軸（パン軸とピッチ軸の双方に直交する軸）周りの回転運動となる手ブレの３種類の手ブレを生じることになる。
したがって、前記合成画像ｄには、テストパターンＰ１〜Ｐｎの内の撮影されたテストパターン中における基準枠ａ及び点状図形ｂが、撮影機２の３軸周りの手ブレによって垂直方向、水平方向、回転方向へ微動し、図２に示す基準枠ａ’及び点状図形ｂ’として写し出される。【００３５】
また、演算処理部２０は、テストパターン表示部１０と略同様に、ＣＰＵ、記憶装置、入出力装置等を具備した一般的なコンピュータと、該コンピュータを機能させるためのプログラムによって構成されている。
この演算処理部２０は、撮影機２によって撮影された合成画像ｄを記憶する画像メモリ２１（第二記憶手段）、テストパターン表示部１０から転送されたテストパターンＰ１〜Ｐｎのコピーを、その表示順序の情報と共に後述するテンプレートとして記憶する画像メモリ２２（第一記憶手段）、画像メモリ２１に記憶された合成画像ｄについてパターン認識等の処理を行うパターン認識処理部２３（パターン認識手段）、該パターン認識処理部２３の処理結果を撮影機２の３軸回転角に変換する３軸回転角算出部２４、更に前記３軸回転角をテストパターンＰ１〜Ｐｎの表示順に配列することでブレ軌跡を求めるブレ軌跡計算部２５等を具備している。【００３６】
パターン認識処理部２３は、所謂パターンマッチング処理やテンプレートマッチング処理等と呼称される周知の画像処理を行うためのプログラムである。
また、３軸回転角算出部２４は、パターン認識処理部２３により求められた垂直、水平方、回転方向毎の各テストパターンの移動量を、撮影機２の３軸周りの回転角に変換するためのプログラムである。
そして、ブレ軌跡計算部２５は、前記３種類の回転角を上記静止画像撮影の際の時系列順に配列してブレ軌跡を求めるためのプログラムである。
これらプログラムによる処理については、図５に示すフローチャート（図５参照）に基づき、以下に詳述する。【００３７】
図５のフローチャートは、演算処理部２０が合成画像ｄを処理する手順を示すものである。
先ず、図中、ステップ１によれば、演算処理部２０は、撮影機２から転送される合成画像ｄを画像メモリ２１に記憶する。【００３８】
次に、ステップ２では、画像メモリ２１に記憶された合成画像ｄの大きさに応じて、パターン認識に用いるテンプレートの大きさが調整される。
ここで、テンプレートとは、テストパターン表示部１０から演算処理部２０の画像メモリ２２へ転送されたテストパターンＰ１〜Ｐｎのコピーである。そして、このテンプレートは、パターン認識の際に、合成画像ｄの平面上における垂直方向、水平方向、回転方向へ所定刻み分ずつ移動する。
このテンプレートの大きさの調整は、例えば、画像メモリ２２に記憶されたテストパターンＰ１〜Ｐｎの基準枠ａの大きさと、画像メモリ２１に記憶された合成画像ｄ中の基準枠ａ’の大きさとを一致させればよい。【００３９】
そして、ステップ３では、テストパターンＰ１〜Ｐｎの一つに対応するテンプレート中の基準枠ａ及び点状図形ｂと、合成画像ｄ中の基準枠ａ’及び点状図形ｂ’との合致度を計算する。この合致度とは、前記テンプレートと合成画像ｄとを重ね合わせたときに、図形同士が一致する度合いを数値的に表したものである。
なお、このステップ３で最初に用いられるテンプレートは、例えば、テストパターンＰ１〜Ｐｎ中において順番が先のものとすればよいが、他の任意のテンプレートとすることも可能である。【００４０】
次に、ステップ４ａでは、前記一つのテンプレートについて、所定の水平移動量に達したか否かが判断され、達した場合には次のステップ５ａへ処理を移行しそうでなければステップ４ｂへ処理を移行する。
ステップ４ｂでは、前記テンプレートを一定刻み幅分だけ水平移動して、上記ステップ３へ処理を戻す。【００４１】
ステップ５ａでは、前記一つのテンプレートについて、所定の垂直移動量に達したか否かが判断され、達した場合には次のステップ６ａへ処理を移行し、そうでなければステップ５ｂへ処理を移行する。
ステップ５ｂでは、前記テンプレートを一定刻み幅分だけ垂直移動して、上記ステップ３へ処理を戻す。【００４２】
ステップ６ａでは、前記一つのテンプレートについて、所定の回転移動量に達したか否かが判断され、達した場合には次のステップ７ａへ処理を移行し、そうでなければステップ６ｂへ処理を移行する。
前記回転移動の際、その中心は、例えば、各テストパターンを構成する基準枠ａの中心とすればよい。
ステップ６ｂでは、前記テンプレートを一定刻み角度分だけ回転移動して、上記ステップ３へ処理を戻す。【００４３】
すなわち、上記ステップ４ａ〜６ｂによれば、テストパターンＰ１〜Ｐｎ中の一つに対応するテンプレートを、水平・垂直・回転方向にそれぞれ一定の刻みで移動もしくは回転させながら、該テンプレート中の図形と合成画像ｄ中の図形との合致度をその都度計算する。【００４４】
次に、ステップ７ａでは、所定の移動量・回転量まで与えて計算された一連の合致度に対して，最大となる値が基準値以上か否かを判断し、基準値以上と判断した場合には次のステップ８へ処理を移行し、そうでなければステップ７ｂへ処理を移行する。
ステップ７ｂでは、合致度の最大値が基準値よりも小さいことから、当該テンプレート中の図形が合成画像ｄ中に含まれていないと判断し、当該テンプレートを、他のテンプレート（すなわちテストパターンＰ１〜Ｐｎ中のまだパターン認識に用いていないテンプレート）に交換し、上記ステップ２へ処理を戻す。【００４５】
また、ステップ８では、上記ステップ７ａで合致度の最大値が基準値以上と判断されたテンプレートについて、その合致度が最大となった時の移動方向毎の移動量を読み取り、次のステップ９へ処理を移行する。
より詳細に説明すれば、このステップ８では、テンプレートの移動方向（水平、垂直、回転方向）毎に、前記合致度が最大になった時点のテンプレートについて、全く移動する前の時点の同テンプレートの位置に対する相対的な移動量を検出する。【００４６】
ステップ９では、前記ステップ８で読み取られた水平移動量・垂直移動量・回転量の各々を、図４に示す計算式に基づき、撮影機２の３軸周りの回転角に換算する。
より詳細に説明すれば、図４に示す水平移動量ａを表示装置１２から撮影機２までの距離Ｌで除した数値は、距離Ｌを底辺とし水平移動量ａを垂線とする正接関数ｔａｎθpanで表せる。ここで、θは微小量であるので、θpan≒ｔａｎθpanより、撮影機２のパン軸周りの回転角θpanは略ａ／Ｌとなる。
同様にして、垂直移動量ｂを前記距離Ｌで除した数値は正接関数ｔａｎθpitchであるから、撮影機２のピッチ軸周りの回転角θpitchは略ｂ／Ｌとなる。
また、撮影機２のロール軸周りの回転角θrollは、上記ステップ８で読み取られた回転角がそのまま用いられる。
なお、他例としては、θpanとθpitchを、それぞれ、ｔａｎθpanの逆関数、ｔａｎθpitchの逆関数から求めることも可能である。【００４７】
上記ステップ９によれば、上記距離Ｌの調整により、撮影機２を保持する被験者や、撮影機２の機種等によるブレ量の大小に応じて、θpan、θpitch、およびθrollの測定感度を適宜に設定することが可能である。
すなわち、例えば、前記ブレ量が比較的小さい場合には、撮影機２のズーム機能により合成画像ｄ上の基準枠ａ’及び点状図形ｂ’の大きさを略一定に保つようにして、撮影機２を表示装置１２から遠ざけて距離Ｌを長くすれば（望遠撮影状態）、撮影機２のブレが合成画像ｄ上に比較的大きく反映されるため、測定感度を高くすることができる。
また、例えば、前記ブレ量が比較的大きい場合には、撮影機２のズーム機能により合成画像ｄ上の基準枠ａ’及び点状図形ｂ’の大きさを略一定に保つようにして、撮影機２を表示装置１２に近づけて距離Ｌを短くすれば、撮影機２のブレが合成画像ｄ上に比較的小さく反映されるため、測定感度を低くすることができる。【００４８】
次に、ステップ１０では、テストパターンＰ１〜Ｐｎに対応する全てのテンプレートについて、上記ステップ７ａ（合致度の最大値が基準値以上か否かの判断）を行ったかが判断され、全てのテンプレートについて完了していれば次のステップ１１へ処理を進め、そうでなければステップ７ｂへ処理を移行する。【００４９】
ステップ１１では、θpan、θpitch、θrollの３つの回転角を、撮影機２による静止画像撮影の際の時系列順に配列することで、撮影機２のブレ軌跡が求められ、演算処理部２０による処理を終了する。
より具体的に説明すれば、テストパターンＰ１〜Ｐｎ毎のθpan、θpitch、θrollの３つの回転角は、テストパターン表示部１０によるテストパターンの表示順（静止画像撮影の際の時系列順）に、例えば図８に示す３次元グラフ上にプロットされ、この３次元グラフが図示しないディスプレイやプリンター等に出力される。したがって、撮影機２のブレ軌跡が、前記三次元グラフ上のポイントの軌跡として表現されることになる。【００５０】
次に、上述したブレ測定システムを用いた実験例について説明する。
図６は、多数の点状図形を分散させることで構成された１つのテストパターンＰｘを、１０度ずつ回転させることで、合計９つのテストパターンを作成し、これら９つのテストパターンの各々を１フレームとした動画像を作成し、この動画像を、フレームレート６０fpsで表示装置１２に表示し、この表示されたテストパターンを、シャッタースピード（シャッター開口時間）を約１／１０秒に設定した撮影機２によって撮影し、合成画像ｄ’を得るようにしている。したがって、合成画像ｄ’には、前記９つのテストパターンの内の６〜７枚が写し出されることになる。
なお、図６に示す一例では、撮影機２にブレを生じないように、該撮影機２を三脚固定した場合の合成画像ｄ’を示している。【００５１】
次に、図７では、図６に示したブレ測定システムにおいて、表示装置１２上の９つのテストパターンを、垂直、水平、回転方向へ所定量シフトさせながら、その表示画像を三脚固定された撮影機２によって撮影した結果を示している。すなわち、撮影機２にブレを生じさせるのと同等のシミュレーションを行ったものである。
図７中、符号ｄ’は撮影機２によって撮影された合成画像である。
また、同図中、符号Ｔは、９つのテストパターンの内、パターン認識により合致度の最大値が基準以上となったテストパターンを表示した画像である。
同図中、符号Ｔｄ’は、両者を重ね合わせた画像である。
同図中の表に示すように、本実験によれば、垂直および水平方向のシフトについては±０．１pixel、回転方向のシフトについて±0.01度の精度が確認できた。【００５２】
また、図８では、図６に示したブレ測定システムを用い、実際に被験者が手で撮影機２を保持し、手ブレ量および手ブレ軌跡を検出した結果を示している。
図８中の３次元グラフは、撮影機２の３軸（パン軸、ピッチ軸、ロール軸）周りの回転角について直交する三つの座標とし、これら座標上に各軸周りの回転角データを時系列順にプロットしたものである。したがって、このグラフより、撮影機２の３軸周りのブレが、時系列的にどのように変化したのかを知ることができる。【００５３】
また、図９は、図６に示したブレ測定システムにより測定されたデータについて、被験者の違いと手ブレ量との関係を示しており、上表は撮影機２の手ブレ補正機能をＯＦＦにした場合のデータを示し、下表は撮影機２の手ブレ補正機能をＯＮにした場合のデータを示す。
図９中の上下表の比較より、撮影機２の手ブレ補正機能によりピッチ（tillt)・パン軸に関して１／３から１／２程度の手ブレ量が軽減されるのに対して、ロール軸に関しては殆ど手ブレ量の軽減効果がないことがわかる。
また、図１０は、図６に示したブレ測定システムにより測定されたデータについて、被験者の違いと手ブレ量との関係を示しており、上表は撮影機の手ブレ補正機能をＯＦＦにした場合のデータを示し、下表は撮影機の手ブレ補正機能をＯＮにした場合のデータを示す。
この図１０中の上下表の比較からも、撮影機２の手ブレ補正機能によりピッチ(tillt)・パン軸に関しては手ブレ軌跡の長さが短縮されているのに対して、ロール軸に関しては手ブレ軌跡の長さを短縮する効果が殆どないことがわかる。
図９及び図１０に示される上下表の比較結果は、撮影機２が一般に市販されているデジタルカメラであり、ロール軸周りの手ブレを補正する機能を有していないことに起因している。【００５４】
また、図１１と図１２は、図６に示したブレ測定システムにより検出されたデータについて、撮影機２の機種の違いとブレ量の関係（図１１）と、撮影機２の機種の違いと手ブレ軌跡の長さとの関係（図１２）を、手ブレ補正ＯＦＦの場合（上表）、手ブレ補正ＯＮの場合（下表）を、それぞれ示している。
これら図１１及び図１２中の表より、撮影機２の機種の違いによって手ブレ補正能力に差が生じていることがわかる。【００５５】
なお、上述した構成によれば、撮影機２は一般に市販されている手ブレ補正機能を有するデジタルカメラとしたが、この撮影機２の他例としては、手ブレ補正機能を具備しないデジタルカメラであってもよいし、ビデオカメラで静止画撮影機能を使用したものであってもよい。更に、ビデオカメラで動画撮影した画像の１フレーム（静止画像）を上記合成画像ｄ（又はｄ’）として用いるようにすることも可能である。【００５６】
また、テストパターン表示部１０は、上述した態様に限定されるものでなく、例えば、多数のＬＥＤを点滅させて、上記テストパターンＰ１〜Ｐｎが順次に表示されるようにしてもよい。この構成によれば、一般的にＬＥＤの応答速度が液晶ディスプレイよりも速いことから、テストパターンＰ１〜Ｐｎの切り替え速度をより高速化して、測定分解能を向上することができる。
また、上記テストパターンＰ１〜Ｐｎを機械的手段によって移動もしくは回転させることにより、これらテストパターンＰ１〜Ｐｎが見かけ上で高速に切り替わるようにすることも可能である。
また、上記テストパターンＰ１は、平面上に表示する例に限らず、奥行き方向にも広がるパターン（空間配置したＬＥＤなどでパターンを平面的に形成するもの）であっても良い。【００５７】
また、上記実施の形態によれば、演算処理部２０によって撮影機２の３軸周りの回転角を求める構成としているが、より簡素化した構成としては、３軸回転角算出部２４を省き、パターン認識処理部２３でのパターン認識の際に検出された各テンプレートの移動方向および移動量を、そのまま撮影機２のブレに対応する値として用いて時系列順に配列することで、ブレ軌跡を求めるようにしてもよい。【００５８】
また、上記実施の形態によれば、複数のテストパターンＰ１〜Ｐｎを互いに重なり合うことのない部分を有する異なる図形とすることで、合成画像ｄからブレ移動後の各テストパターンを認識し易くしているが、他例としては、テストパターンＰ１〜Ｐｎをそれぞれ異なる色の図形とし、この色情報によって、合成画像ｄからブレ移動後の各テストパターンを認識することも可能である。【００５９】
また、上記実施の形態は、テストパターン表示部１０と演算処理部２０を別体のコンピュータを用いて構成した一例を示しているが、これらテストパターン表示部１０を同一のコンピュータもしくは三以上のコンピュータを用いて構成することも可能である。
更に、上記テストパターン生成器１１ａ、パターン認識処理部２３、３軸回転角算出部２４、およびブレ軌跡計算部２５の一部または全部は、プログラムとして記録されたコンピュータ読み取り可能な記録媒体とすることが可能である。【００６０】
また、本発明のブレ測定システムおよびブレ測定方法は、上記実施の形態によれば撮影機２の手ブレの測定に係る発明ではあるが、単に撮影機２の手ブレ測定のみでなく、通常の撮影機による動画撮影や静止画連写撮影などにおける撮像フレームレートでは速すぎて観測できない（追いきれない）各種振動計測・画像解析のためにもその原理が応用できる。
【図面の簡単な説明】
【００６１】
【図１】本発明に係わるブレ測定システムの一例を示すブロック図である。
【図２】同ブレ測定システムにおいて、順次に表示されるテストパターンを静止画像撮影機で撮影して合成画像を構成する概念を示す説明図である。
【図３】同ブレ測定システムにおいて、撮影された合成画像から各テストパターンをパターン認識する概念を示す説明図である。
【図４】同ブレ測定システムにおいて、移動方向成分毎の移動量を、静止画像撮影機の回転角に換算する概念を示す説明図である。
【図５】同ブレ測定システムの手順を示すフローチャートである。
【図６】本発明に係わるブレ測定システムを具体的に実施した実験例を示す説明図である。
【図７】同ブレ測定システムにより実験的に検出精度を求めた結果を示す説明図である。
【図８】同ブレ測定システムによりブレ軌跡を求めた結果を示す説明図である。
【図９】同ブレ測定システムによって検出されたデータについて、被験者の違いとブレ量の関係を示す表であり、上表は撮影機の手ブレ補正機能をＯＦＦにした場合のデータを示し、下表は撮影機の手ブレ補正機能をＯＮにした場合のデータを示す。
【図１０】同ブレ測定システムによって検出されたデータについて、被験者の違いとブレ軌跡長の関係を示す表であり、上表は撮影機の手ブレ補正機能をＯＦＦにした場合のデータを示し、下表は撮影機の手ブレ補正機能をＯＮにした場合のデータを示す。
【図１１】同ブレ測定システムによって検出されたデータについて、撮影機の機種の違いとブレ量の関係を示す表であり、上表は撮影機の手ブレ補正機能をＯＦＦにした場合のデータを示し、下表は撮影機の手ブレ補正機能をＯＮにした場合のデータを示す。
【図１２】同ブレ測定システムによって検出されたデータについて、撮影機の機種の違いとブレ軌跡長の関係を示す表であり、上表は撮影機の手ブレ補正機能をＯＦＦにした場合のデータを示し、下表は撮影機の手ブレ補正機能をＯＮにした場合のデータを示す。
【符号の説明】
【００６２】
１：ブレ測定システム
２：撮影機
１０：テストパターン表示部（表示手段）
２０：演算処理部
２１：画像メモリ（第二記憶手段）
２２：画像メモリ（第一記憶手段）
２３：パターン認識処理部（パターン認識手段）
Ｐ１〜Ｐｎ，Ｐｘ：テストパターン
ａ，ａ’：基準枠
ｂ，ｂ’：点状図形
ｃ：被写体
ｄ，ｄ’：合成画像
【図１】
2008078537.tif 000003
【図２】
2008078537.tif 000004
【図３】
2008078537.tif 000005
【図４】
2008078537.tif 000006
【図５】
2008078537.tif 000007
【図６】
2008078537.tif 000008
【図７】
2008078537.tif 000009
【図８】
2008078537.tif 000010
【図９】
2008078537.tif 000011
【図１０】
2008078537.tif 000012
【図１１】
2008078537.tif 000013
【図１２】
2008078537.tif 000014
【国際調査報告】
2008078537.tif 000015
2008078537.tif 000016