(57)【要約】      （修正有）【課題】被写体が動くことによって画像の倍率や回転成分の変動があっても、主被写体、背景のそれぞれの良好な動きベクトルを検出する画像処理装置を提供する。【解決手段】主被写体位置の画像を極座標変換することで、前記画像の倍率、回転の変化量を算出する第一の倍率及び第一の回転変化量算出手段により算出した倍率及び回転の変化量に基づいて画像補正を行う。補正した画像を用いて第一の動きベクトル検出を行うことで、主被写体の動きベクトルを検出し、第一の倍率及び回転変化量算出手段とは異なる方法で算出した倍率及び回転の変化量に基づいて画像補正を行う。補正した画像を用いて第二の動きベクトル検出を行うことで、背景の被写体の動きベクトルを検出する。【選択図】図２
2019129470.tif 000002
【特許請求の範囲】
【請求項１】
画像の主被写体位置情報取得手段と、
前記主被写体位置情報を元に、主被写体位置の画像を極座標変換することで、前記画像の倍率、回転の変化量を算出する第一の倍率、回転変化量算出手段と、
前記算出した方法とは異なる方法で画像の倍率、回転の変化量を算出する第二の倍率、回転変化量算出手段と、
画像の倍率と回転補正を行う画像補正手段と、
前記補正した画像を用いて動きベクトル検出を行うベクトル検出手段と、
を有し、
前記第一の倍率、回転変化量算出手段により算出した倍率、回転の変化量に基づいて画像補正を行い、前記補正した画像を用いて第一の動きベクトル検出を行うことで主被写体の動きベクトルを検出し、
前記第二の倍率、回転変化量算出手段により算出した倍率、回転の変化量に基づいて画像補正を行い、前記補正した画像を用いて第二の動きベクトル検出を行うことで背景の被写体の動きベクトルを検出することを特徴とする画像処理装置。
【請求項２】
前記主被写体位置情報取得手段は、前記画像の合焦情報から求めた、前記画像の像面上における合焦位置、または位置と領域を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一の倍率、回転変化量算出手段は、前記主被写体位置情報取得手段により取得した画像像面上の主被写体位置を極座標変換の変換中心座標値として画像の極座標変換を行い、極座標変換後の画像同士をテンプレートマッチングにより並進ベクトルを算出し、算出した並進ベクトルを極座標逆変換によって画像の倍率、回転の変化量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第二の倍率、回転変化量算出手段は、画像撮影時の光学倍率の変動量と、画像撮影時の位置姿勢センサの検出情報を用いて倍率、回転変化量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第二の倍率、回転変化量算出手段は、前記主被写体位置情報取得手段により取得した画像像面上の主被写体位置を除く、画像内の背景領域の画像位置を極座標変換の変換中心座標値として画像の極座標変換を行い、極座標変換後の画像同士をテンプレートマッチングにより並進ベクトルを算出し、算出した並進ベクトルを極座標逆変換によって画像の倍率、回転の変化量を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記請求項５に記載の第二の倍率、回転変化量算出手段手法は、画像の輝度勾配もしくは特徴量の高い画素が多く分布する領域かつ前記主被写体位置情報取得手段により取得した画像像面上の主被写体位置を除く画像像面上の位置・領域を選択する背景画像選択手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第二の倍率、回転変化量算出手段は、請求項４に記載の画像撮影時の光学倍率の変動量と、画像撮影時の位置姿勢センサの検出情報を用いた倍率、回転変化量の双方もしくは片方と、請求項５に記載の第二の倍率、回転変化量算出手段によって算出した倍率、回転の変化量を重み付け加算によって算出することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記ベクトル検出手段は、前記第一の動きベクトル検出によって算出したベクトル値に対して、前記主被写体位置情報取得手段により取得した画像像面上の主被写体位置・領域を除く位置で検出したベクトル値の信頼度を低く判定するベクトル信頼度判定処理を有することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記ベクトル検出手段は、前記第二の動きベクトル検出によって算出したベクトル値に対して、前記主被写体位置情報取得手段により取得した画像像面上の主被写体位置・領域の位置で検出したベクトル値の信頼度を低く判定するベクトル信頼度判定処理を有することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
撮像装置の振れ及び動きに伴う画像振れを検知する方法には、テンプレートマッチングなどのベクトル検出手法を利用して、画像間の移動量（動きベクトル）を算出する方法がある。
【０００３】
テンプレートマッチングを用いた動き検知方法はテンプレート画像の変化に弱く、倍率変動や画像面内方向の回転変動などによって画像のテクスチャが変化すると、ベクトル検出の性能が劣化してしまう。
【０００４】
このため、特許文献１にて開示された移動ベクトル検出方法では、光学ズーム倍率が変動した場合に、光学ズーム倍率の情報に基づいて基準画像と比較画像が同一倍率となるように基準画像もしくは比較画像に対して電子ズーム補正した後に、移動ベクトルを検出している。
【０００５】
また特許文献２にて開示された撮影装置のブレ補正方法では、算出した動きベクトルを極座標変換することで撮像装置の画像面内方向の回転成分を算出し、算出した動きベクトルから抽出した回転成分を除去することで動きベクトルを検出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１６０２７４号公報
【特許文献２】特開２０１２−１９９８１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、被写体が動いている場合、被写体と撮影装置の位置関係が変化するため、特許文献１のように光学ズーム倍率の情報からでは、画像の倍率変化を取得することができない。
【０００８】
また特許文献２のように動きベクトルの極座標変換による回転成分の抽出方法は、画像内に被写体と背景が異なる動きをする場合に、異なる動きベクトルが混在するため、回転成分抽出結果を誤ってしまい、動きベクトルの検出精度が劣化することがあり得る。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明に係る画像処理装置は、
画像の主被写体位置情報取得手段と、
前記主被写体位置情報を元に、主被写体位置の画像を極座標変換することで、前記画像の倍率、回転の変化量を算出する第一の倍率、回転変化量算出手段と、
前記算出した方法とは異なる方法で画像の倍率、回転の変化量を算出する第二の倍率、回転変化量算出手段と、
画像の倍率と回転補正を行う画像補正手段と、
前記補正した画像を用いて動きベクトル検出を行うベクトル検出手段と、
を有し、
前記第一の倍率、回転変化量算出手段により算出した倍率、回転の変化量に基づいて画像補正を行い、前記補正した画像を用いて第一の動きベクトル検出を行うことで主被写体の動きベクトルを検出し、
前記第二の倍率、回転変化量算出手段により算出した倍率、回転の変化量に基づいて画像補正を行い、前記補正した画像を用いて第二の動きベクトル検出を行うことで背景の被写体の動きベクトルを検出することを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像処理装置によれば、被写体が動くことによって画像の倍率や回転成分の変動があっても、主被写体、背景のそれぞれの良好な動きベクトルを検出することが可能である。
【図面の簡単な説明】
【００１１】
【図１】デジタルカメラの機能構成を示したブロック図
【図２】実施例１における画像処理部の構成を示すブロック図
【図３】実施例１における全体の動作を示すフローチャート
【図４】画像極座標変換処理を説明する模式図
【図５】画像を対数極座標変換した例を説明する模式図
【図６】主被写体位置情報を基に画像を対数極座標変換した例を説明する模式図
【図７】主被写体のベクトル検出を目的とした電子補正処理を説明する模式図
【図８】背景のベクトル検出を目的とした電子補正処理を説明する模式図
【図９】実施例２における画像処理部の構成を示すブロック図
【図１０】実施例２における全体の動作を示すフローチャート
【図１１】実施例２における背景画像位置・領域の選択方法を説明する模式図
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は、画像処理の一例としてのデジタルカメラに、本発明を適用した例を説明する。
【００１３】
（第一の実施例）
図１は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。
【００１４】
制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。
【００１５】
ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。
【００１６】
ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１７】
光学系１０４はレンズ等で構成された光学系であり、フォーカスレンズ、ズームレンズとそれらの駆動系を含んでいる。撮像部１０５はＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。
【００１８】
Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用し、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。また記憶された画像データに対応するタイミングでのズームレンズの駆動位置から得られる光学倍率情報は、ＲＡＭ１０３に出力して記憶させる。
【００１９】
合焦処理部１０７は、コントラスト方式や位相差方式など従来から用いられている方式の合焦処理を行う機能を備え、制御部１０１を介して、光学系１０４に含まれるフォーカスレンズの駆動系が被写体に対して、自動で合焦するように制御を行う。合焦を行う対象の主被写体位置、あるいは領域の指定方法は、自動で検出する方式と、ユーザーが指定する方式が選択可能である。
【００２０】
自動で検出する方式は、画像の輝度や色の変化を用いる手法（特開平１１−１９０８１６号公報参照）、距離情報を用いる手法（特開２００７−９６４３７号公報参照）、顕著性と呼ばれる輝度勾配変化を用いる方法（特開２０００−２０７５６４号公報）、また顔認識などに代表されるような、事前にニューラルネットワークやディープラーニング、多分木等の識別器に撮像装置のユーザーもしくは撮像装置の製造者が主被写体候補のオブジェクトの像から抽出した多次元特徴量を事前に学習させることで、主被写体領域の像の主被写体らしさの尤度を算出させることで、撮像機器製造者やユーザーが主被写体と考える任意の被写体を柔軟に主被写体として認識する方法等、さまざまな方法が既に提案されている。
【００２１】
画像内の主被写体の有無、位置、領域を検出できる手法ならば任意の手法を用いてよい。合焦処理部１０７は、画像内の主被写体の検出を行い、その主被写体の位置、領域の情報をＲＡＭ１０３に出力して記憶させる。
【００２２】
姿勢変化取得部１０８は、例えばジャイロや加速度センサ、電子コンパス等の位置姿勢センサにより構成され、撮像装置の位置姿勢変化を計測する。姿勢センサは、光学系の光軸に直交する任意の軸に取り付けられる。姿勢センサが回転センサの場合、撮像装置のヨー方向、ピッチ方向、ロール方向の各軸に取り付けられ、各軸周りの回転による姿勢変化を計測し、姿勢変化量のデータをＲＡＭ１０３に出力して記憶させる。また、姿勢変化取得部１０８は、内部に積分処理部を持ち、姿勢変化情報センサであるジャイロのサンプリングタイミング（例えば、１ＫＨｚ）といったレートだけでなく、撮影画像のフレームレートである６０ｆｐｓや１２０ｆｐｓといったサンプリングタイミングに合わせた、異なるレートの姿勢変化情報を同時に出力してもよい。
【００２３】
画像処理部１０９は、ＲＡＭ１０３に蓄えられている撮影画像を用いて、画像の倍率変動、回転変動量の算出、画像の倍率、回転成分の変動量に対する電子補正、補正した画像を用いた動きベクトルの検出処理を行う。
【００２４】
記録媒体１１０は着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されているＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像や画像処理部１０９で処理された画像が記録画像として記録される。
【００２５】
図２は図１の画像処理部１０９の構成を説明するための図である。
【００２６】
画像処理部１０９は、画像入力部２０１と、主被写体情報取得部２０２と、画像極座標変換処理部２０３と、ベクトル検出処理部２０４と、主被写体画像スケール・回転情報取得部２０５と、スケール・回転画像補正処理部２０６と、撮像装置スケール・回転情報取得部２０７からなる。
【００２７】
画像入力部２０１には、ＲＡＭ１０３に保存されている撮影画像のうち、ベクトル検出に用いる画像が入力され、その撮影画像を一時的に記憶保持する。
【００２８】
主被写体情報取得部２０２は、画像入力部２０１に入力された撮影画像の撮影時に対応する合焦処理部１０７で出力した主被写体位置・領域情報を取得する。
【００２９】
画像極座標変換処理部２０３は、画像入力部２０１に入力された撮影画像を、主被写体情報取得部２０２で取得した主被写体位置・領域情報に基づいて極座標変換処理を行う。極座標変換処理が施された撮影画像は一時的に記憶保持される。
【００３０】
ベクトル検出処理部２０４は、画像極座標変換処理部２０３、もしくはスケール・回転画像補正処理部から入力される画像を用いて、ベクトル検出処理を行う。検出されたベクトル情報は、ＲＡＭ１０３に保存される。
【００３１】
主被写体画像スケール・回転情報取得部２０５は、画像極座標変換処理部２０３から入力した画像を用いてベクトル検出処理部２０４で検出したベクトル情報を用いて、主被写体画像のスケール・回転情報を取得する。
【００３２】
スケール・回転画像補正処理部２０６は、主被写体画像スケール・回転情報取得部２０５、もしくは撮像装置スケール・回転情報取得部２０７から取得したスケール・回転情報を用いて、画像入力部２０１から入力された画像に対して画像補正を行う。補正した画像は、ベクトル検出処理部２０４に出力される。
【００３３】
撮像装置スケール・回転情報取得部２０７は、姿勢変化取得部１０８で取得された撮像装置の姿勢変化情報と光学系１０４で取得された光学倍率情報を用いて、背景画像のスケール・回転情報を取得する。
【００３４】
以上のように構成された画像処理部１０９の制御について、図３に示すフローチャートを用いて詳細に説明する。
【００３５】
ステップ３０１において、撮影された画像が、画像入力部２０１を介し画像処理部へ入力し、一時的に記憶される。
【００３６】
ステップ３０２において、主被写体を対象にしたベクトル検出を行うかどうかによって制御シーケンスは分岐される。主被写体を対象にする場合はステップ３０３に進み、そうでない、つまり背景を対象にしたベクトル検出を行う場合は、ステップ３０７に進む。本実施例では、はじめにステップ３０３〜３０６のフローを先に説明する。
【００３７】
ステップ３０３において、主被写体情報取得部２０２は合焦処理部１０７で出力した主被写体位置・領域情報を取得する。
【００３８】
ステップ３０４において、画像極座標変換処理部２０３はステップ３０３で取得した主被写体位置・領域情報に基づいてステップ３０１で記憶した撮影画像に対して極座標変換処理を行う。
【００３９】
本実施例では、主被写体位置・領域情報に基づいて撮影画像を対数極座標空間に写像を行う。画像極座標変換処理の方法については、図４を用いて詳細に説明する。
【００４０】
図４は、画像を極座標空間に写像する方法を説明する模式図である。図４（ａ）の図は写像前の画像のＸ−Ｙ平面座標を表す模式図であり、図４（ｂ）の図は極座標に写像した後の画像を表す模式図である。図４（ｂ）の極座標に写像した画像は水平方向に動径ρ、垂直方向に偏角φであらわされたピクセル画像である。図４（ｂ）のグレーで塗り潰されたピクセルの画素値は、その極座標値に対応する、上の矢印で示した図４（ａ）のＸ−Ｙ平面座標上の位置の画素値を用いて逆補間して求められる。ここでは、逆補完で説明しているが、順補間した後にフィルタなどを用いて値が入っていない画素を補間する方法もありうる。本実施例では対数極座標空間で写像し、その変換式は以下で表される。
【００４１】
【数１】
2019129470.tif 000003
【００４２】
式１のｘ、ｙはそれぞれ写像前の画像のｘｙ座標値であり、ｘｃｅｎｔｏｒ、ｙｃｅｎｔｏｒは、写像前座標の設定された変換中心座標値である。動径ρは、式２のように、式１のｘｙ座標を対数極座標変換に係数Ｍを乗じることで算出される。また偏角φは式３のようにｘｙ座標Ｉの角度（０〜３６０°）に係数Ｋを乗じることで算出される。係数Ｍは式４で表され、ｗは写像前画像の水平サイズ、Ｒは設定された最大の動径である。また係数Ｋは式５で表され、ｈは写像前画像の垂直サイズである。ｘｃｅｎｔｏｒ、ｙｃｅｎｔｏｒは、ステップ３０３で取得した主被写体の写像前画像上でのｘｙ座標位置によって設定される。またＲは、写像前画像の対角から求められる最大の動径の任意のｎ倍で設定する、もしくはステップ３０３で取得した主被写体領域情報から算出される主被写体の大きさから求められる最大の動径の任意のｎ倍を設定してもよい。これは対数極座標変換は、変換中心部の解像度が高く、周辺部は低い特性を持つため、主被写体中心の解像度が高くなるようにするためである。変換された画像は一時的に保存される。
【００４３】
ここで図５を用いて、画像を対数極座標変換した例について説明する。図５（ａ）と（ｃ）は写像前の画像であり、図５（ｂ）は図５（ａ）を対数極座標変換した画像であり、図５（ｄ）は図５（ｃ）を対数極座標変換した画像である。またこの例では式１の変換中心座標を画像の中央の座標を用いて対数極座標変換を行っている。そのため図５（ｂ）、と（ｄ）はともに、写像前の画像中央座標近傍を変換した画素領域が最も解像度が高くなっており、変換した画素領域が画像中央座標から離れるほど解像度が低くなっている。
【００４４】
ステップ３０５において、ステップ３０４で取得された対数極座標変換された画像同士を用いてベクトル検出処理部２０４は、テンプレートマッチング処理を行う。ここでテンプレートマッチングは一般的な手法を用いる。本実施例では、画像を分割して分割した複数のテンプレート画像を用いてマッチング処理を行い、各マッチング結果のベクトル値をヒストグラムなどの統計値によって処理することでサブピクセル単位の並進ベクトル値（Ｖｘ、Ｖｙ）を算出する。
【００４５】
ここで、図５を用いて、対数極座標変換された画像同士のテンプレートマッチングについて説明する。図５（ｃ）の画像は、図５（ａ）の画像全体に対して、画像中央座標を中心にして紙面上時計回りの方向に回転かつ拡大した画像である。図５（ｂ）と図５（ｄ）の写像後の画像同士を比較すると、図５（ｄ）の画像は図５（ｂ）の画像に対して紙面右下方向にシフトしていることがわかる。これは図５（ｃ）の写像前の画像が回転した変化量が紙面下方向に、拡大したスケールの変化量が紙面右方向に写像後の画像がシフト成分の変化として表れているためである。このように、対数極座標変換後の画像をテンプレートマッチングによってベクトル並進成分を検出することによって、写像前の画像の回転、スケール成分を換算して求めることができる。
【００４６】
ステップ３０６において、ステップ３０５で算出されたベクトル値を用いて、主被写体画像スケール・回転情報取得部２０５は、主被写体画像のスケール、回転変動成分を検出する。ベクトル値（Ｖｘ、Ｖｙ）のスケール変動成分ｒ、回転変動成分θ（°）への変換式は以下で表される。
【００４７】
【数２】
2019129470.tif 000004
【００４８】
ここで図６を用いて式１の変換中心座標の位置によって対数極座標変換後の画像がどのように変化するかについて説明する。図６（ａ）と（ｄ）は写像前の画像であり、点線の枠は、主被写体情報取得部２０２で取得された主被写体の位置を表している。図６（ａ）と（ｄ）の画像を比較すると、背景は撮影装置に対して動いておらず、主被写体のみが動いており、図６の（ｄ）の画像の方は、図６の（ａ）に対して、主被写体が紙面上時計回りの方向に回転かつ拡大している。図６（ｂ）と（ｅ）は、それぞれ図６（ａ）と（ｄ）の画像に対して、画像中央座標を変換中心座標として用いて対数極座標変換を行った画像である。図６（ｃ）と（ｆ）は、それぞれ図６（ａ）と（ｄ）の画像に対して、点線枠中心の主被写体の中心座標を変換中心座標として用いて対数極座標変換を行った画像である。図６（ｂ）と（ｅ）の変換後の画像同士を比較すると、画像全体として回転、スケール変動によるシフトが見られていない。それに対して、図６（ｃ）と（ｆ）の変換後の画像同士を比較すると図６（ｆ）の画像は図６（ｃ）の画像に対して紙面右下方向にシフトしていることがわかる。これは極座標変換後の画像は、変換中心座標近傍領域の解像度が高く、周辺部は低い特性を持つため、極座標変換中心座標が主被写体の中心座標である場合に、主被写体の回転、スケール変動成分を検出可能となっていることがわかる。
【００４９】
次に、ステップ３０７〜３０８のフローを説明する。
【００５０】
ステップ３０７では、撮像装置スケール・回転情報取得部２０７は光学系１０４で出力した光学倍率情報と姿勢変化取得部１０８で出力した姿勢変化情報を用いて、ベクトル検出を行う画像間のスケール変動成分ｒ、回転変動成分θ（°）を算出する。ここではベクトル検出のフレームレートで変動成分を取得する。
【００５１】
次にステップ３０２で分岐した二つのフローが合流するステップ３０８について説明する。
【００５２】
ステップ３０８では、ステップ３０６またはステップ３０７で取得したベクトル検出を行う画像間のスケール変動成分ｒ、回転変動成分θ（°）を用いて、ステップ３０２で取得したベクトル検出に用いる画像に対して電子補正処理を行う。電子補正処理を行うのは、テンプレートマッチングを行うテンプレート画像間のスケール、回転成分が揃えれば良いため、画像同士のどちらかに対して処理されればよい。ここで行う電子補正処理は、一般的な画像変換処理を用いてよく、たとえばヘルマート変形などによって、スケール変動成分ｒと面内回転変動成分θ（°）が揃うように拡大縮小処理と面内回転処理を施す。
【００５３】
ステップ３０９では、ステップ３０８で電子補正処理を行った画像を用いてテンプレートマッチング処理を行う。ここでテンプレートマッチングはステップ３０５と同様に画像を分割して分割した複数のテンプレート画像を用いてマッチング処理を行う。テンプレートの分割は、画像全体を均一してもよい。他には、ステップ３０３〜３０６のフローの処理時のように主被写体のベクトル検出を目的とする場合には、主被写体の画像位置のテンプレート数を多く配置し、ステップ３０７〜３０８のフローの処理時のように背景のベクトルを目的とする場合には、背景の画像位置にテンプレートを多く配置してもよい。
【００５４】
ここで図７を用いて主被写体ベクトルを検出するときの電子補正処理について説明する。図７（ａ）と（ｂ）の画像はテンプレートマッチングを行う電子補正処理前の画像である。図７（ｂ）の画像は、図７（ａ）の画像に対して主被写体のみがスケールの変動が生じている。図８（ｃ）の画像は、図７（ａ）の画像に対して主被写体のスケール変動を図７（ｂ）の画像に揃えるように電子補正した画像である。このように図７（ｂ）と図７（ｃ）の画像は、主被写体の拡大率が揃っていることがわかる。そのために、図７（ｂ）と図７（ｃ）の画像同士を用いてテンプレートマッチングを行うことで、主被写体のベクトル検出精度を向上することが可能となる。
【００５５】
次に図８を用いて背景ベクトルを検出するときの電子補正処理について説明する。図８（ａ）と（ｂ）の画像はテンプレートマッチングを行う電子補正処理前の画像である。図８（ｂ）の画像は、図８（ａ）の画像に対して背景に回転変動が生じている。図８（ｃ）の画像は、図８（ａ）の画像に対して背景の回転変動を図８（ｂ）の画像に揃えるように電子補正した画像である。このように図８（ｂ）と図８（ｃ）の画像は、背景の傾きが揃っていることがわかる。そのために、図８（ｂ）と図８（ｃ）の画像同士を用いてテンプレートマッチングを行うことで、背景のベクトル検出精度を向上することが可能となる。
【００５６】
ステップ３１０では、ステップ３０９で検出したベクトルのエラー処理を行う。図７の例を持って説明すると、図７（ｂ）と（ｃ）の画像を比較すると主被写体のスケールはあっているが、背景のスケールは大きくずれている。このような場合主被写体のベクトルを検出するフローでは背景のベクトル成分は正しく検出されない可能性が高い。そこでこのようなベクトルをエラーとして排除する処理を行う。例えばステップ３０３で主被写体の位置・領域情報を用いて、ベクトルの取得を目的としない領域の検出ベクトルをエラーとする処理を行ってもよい。もしくは、検出したベクトルのヒストグラム処理を行い、ヒストグラムのピークよりある閾値以上に外れた値を持つベクトルをエラーとしてもよい。または、テンプレートマッチングの類似度がある閾値以下の場合にエラーベクトルとしてもよい。
【００５７】
以上によって、画像処理部１０９の制御に関して図３に示したフローチャートを用いて詳細に説明した。ここまで、本提案の動作について述べた。以上の処理を行うことにより被写体が動くことによって画像の倍率や回転成分の変動があっても、主被写体、背景のそれぞれの良好な動きベクトルを検出することが可能である。
【００５８】
（第二の実施例）
第１実施形態に係る画像表示装置は、主被写体のスケール、回転変動成分を画像の極座標変換画像のテンプレートマッチングを用いた画像処理手法によって取得し、背景のスケール、回転変動成分は、撮像装置の光学系の制御情報と、位置姿勢センサ情報を用いて取得して、それらを用いてテンプレートマッチング検出画像の電子補正処理を行うことで良好な動きベクトル検出を実施している。第２の実施形態に係る画像表示装置は、背景のスケール・回転変動成分も、撮像装置から取得する上記情報を用いずに、主被写体の場合と同様に画像の極座標変換画像のテンプレートマッチングを用いた画像処理手法を用いて取得する例について説明する。
【００５９】
図９は第２実施形態に係る画像表示装置における図１の画像処理部１０９の構成を説明するための図である。画像処理部１０９は、画像入力部２０１と、主被写体情報取得部２０２と、画像極座標変換処理部２０３と、ベクトル検出処理部２０４と、主被写体画像スケール・回転情報取得部２０５と、スケール・回転画像補正処理部２０６と、背景画像スケール・回転情報取得部９０７と、背景領域選択処理部９０８からなる。
画像入力部２０１と主被写体情報取得部２０２は、図２の説明と同様であるため説明は割愛する。
【００６０】
背景領域選択処理部９０８は、主被写体情報取得部２０２で取得した主被写体位置・領域情報を用いて、背景画像のスケール・回転検出に用いる位置・領域情報を選択する。
画像極座標変換処理部２０３は、画像入力部２０１に入力された撮影画像を、主被写体情報取得部２０２で取得した主被写体位置・領域情報、または背景領域選択処理部９０８で選択した背景領域の位置・領域に基づいて極座標変換処理を行う。極座標変換処理が施された撮影画像は一時的に記憶保持される。
【００６１】
ベクトル検出処理部２０４と、主被写体画像スケール・回転情報取得部２０５と、スケール・回転画像補正処理部２０６は、図２の説明と同様であるため説明は割愛する。
【００６２】
背景画像スケール・回転情報取得部９０７は、画像極座標変換処理部２０３から入力した画像を用いてベクトル検出処理部２０４で検出したベクトル情報を用いて、背景画像のスケール・回転情報を取得する。
【００６３】
以上のように構成された画像処理部１０９の制御について、図１０に示すフローチャートを用いて詳細に説明する。
【００６４】
ステップ３０１は、図３の説明と同様であるため説明は割愛する。
【００６５】
ステップ１００２において、主被写体情報取得部２０２は合焦処理部１０７で出力した主被写体位置・領域情報を取得する。
【００６６】
ステップ１００３において、主被写体を対象にしたベクトル検出を行うかどうかによって制御シーケンスは分岐される。主被写体を対象にする場合はステップ３０４に進み、そうでない、つまり背景を対象にしたベクトル検出を行う場合は、ステップ１００４に進む。ステップ３０４〜３０６のフローは、図３の説明と同様であるため説明は割愛する。
【００６７】
ステップ１００４において、背景領域選択処理部９０８は、ステップ１００２で取得した主被写体位置・領域情報を用いて背景画像のスケール・回転検出に用いる位置・領域を選択する。ここで図１１を用いて背景画像位置・領域の選択方法を説明する。図１１は、取得した画像の模式図であり、点線１１００で囲まれた領域は主被写体位置・領域である。この例では、点線１１００の主被写体位置・領域を除く領域のうち、できるだけ背景のテクスチャを多く含む画像領域として点線１１０１で囲まれた領域を背景画像のスケール・回転検出に用いる位置・領域として選択している。選択する画像位置・領域は、主被写体位置・領域を除く画像領域かつ、できるだけ背景のテクスチャを多く含む画像領域であることが好ましく、そうすることで後述の背景画像のスケール・回転検出のために精度よくテンプレートマッチングを行うことができる。具体的に、背景位置・領域選択方法は、取得した画像に対して主被写体位置・領域を除く領域において、微分フィルタを用いて輝度の変化量大きい画素が比較的多く分布する位置・領域を選択する。本実施例では微分フィルタを用いているが、他にも一般的な特徴点検出方法を用いて、特徴量の大きい画素が比較的多く分布する位置・領域を選択してもよい。
【００６８】
ステップ１００５において、画像極座標変換処理部２０３はステップ１００４で取得した背景画像の位置・領域に基づいてステップ３０１で記憶した撮影画像に対して極座標変換処理を行う。ここでの処理は、図１０のステップ３０４における主被写体位置・領域情報を背景画像の位置・領域に置き換えたのみで、その他の処理は同様であるため詳細の説明は割愛する。
【００６９】
ステップ１００６において、ステップ１００５で取得した対数極座標変換された画像同士を用いてベクトル検出処理部２０４は、テンプレートマッチング処理を行う。ここでの処理は図１０のステップ３０５と同様であるため詳細の説明は割愛する。
【００７０】
ステップ１００７において、ステップ１００６で算出されたベクトル値を用いて、背景画像スケール・回転情報取得部９０７は、主被写体画像のスケール、回転変動成分を検出する。ここでの処理は図１０のステップ３０６と同様であるため詳細の説明は割愛する。
【００７１】
ステップ３０８〜３１０のフローは、図３の説明と同様であるため説明は割愛する。
【００７２】
以上によって、画像処理部１０９の制御に関して図１０に示したフローチャートを用いて詳細に説明した。ここまで、本提案の動作について述べた。以上の処理を行うことにより、撮像装置の光学系の制御情報や、位置姿勢センサ情報を用いない場合でも、被写体が動くことによって画像の倍率や回転成分の変動があっても、主被写体、背景のそれぞれの良好な動きベクトルを検出することが可能である。
【００７３】
（その他の実施形態）
第１実施形態に係る画像表示装置は、背景のスケール、回転変動成分は、撮像装置の光学系の制御情報と、位置姿勢センサ情報を用いる場合の例を、第２の実施形態に係る画像表示装置は、背景のスケール・回転変動成分も、撮像装置から取得する上記情報を用いない場合の例について説明した。上記実施例の他にも、撮像装置の光学系の制御情報、もしくは位置姿勢センサ情報のうちどちらか片方のみの情報を用いて背景のスケール、もしくは回転変動成分を取得してもよい。また第２の実施形態のように画像処理によって、取得した背景のスケール、回転変動成分と、撮像装置の光学系の制御情報と位置姿勢センサ情報の双方、もしくはどちらか片方のみの取得情報を用いて、それらから取得したスケール、回転変動成分を重み付け加算によって算出することで背景のスケール、回転変動成分を取得してもよい。
【００７４】
上述では、本発明がビデオカメラなどの撮像装置に適用されるように説明したが、これはこの例に限定されない。例えば、本発明は、ビデオカメラを装着したパーソナルコンピュータに適用することもできるし、動画撮影が可能とされた携帯電話端末に適用してもよい。さらに、本発明は、撮影によりリアルタイムに出力される画像データに対する処理として適用される以外に、記録媒体に記録された画像データに対する処理としても適用可能である。また、パーソナルコンピュータのハードディスクなどに記録された画像データに対して、パーソナルコンピュータ上のソフトウェアにより本発明による処理を行ってもよい。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されずその要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００７５】
１００  デジタルカメラ、１０１  制御部、１０２  ＲＯＭ、１０３  ＲＡＭ、
１０４  光学系、１０５  撮像部、１０６  Ａ/Ｄ変換部、１０７  合焦処理部、
１０８  姿勢変化取得部、１０９  画像処理部、１１０  記憶媒体、
２０１  画像入力部、２０２  主被写体情報取得部、２０３  画像極座標変換処理部、
２０４  ベクトル検出処理部、２０５  主被写体画像スケール・回転情報取得部、
２０６  スケール・回転画像補正処理部、
２０７  撮像装置スケール・回転情報取得部、
９０７  背景画像スケール・回転情報取得部、
９０８  背景領域選択処理部
【図１】
2019129470.tif 000005
【図２】
2019129470.tif 000006
【図３】
2019129470.tif 000007
【図４】
2019129470.tif 000008
【図５】
2019129470.tif 000009
【図６】
2019129470.tif 000010
【図７】
2019129470.tif 000011
【図８】
2019129470.tif 000012
【図９】
2019129470.tif 000013
【図１０】
2019129470.tif 000014
【図１１】
2019129470.tif 000015