(57)【要約】【課題】  ユーザがテンプレートを指定することなく、動きの追跡を容易且つ精度よく行うことができる画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録した記録媒体を提供すること。【解決手段】  動画像ＭＡからフレーム画像Ｆを順次取得するフレーム画像取得部１００と、フレーム画像取得部１００が最初のフレーム画像Ｆ（１）を取得すると、最初のフレーム画像Ｆ（１）からテンプレートＴＰを抽出するテンプレート抽出部１０１と、テンプレートＴＰを記憶するテンプレート記憶部１０２と、フレーム画像取得部１００が、取得したフレーム画像Ｆにおいて、テンプレートＴＰに最も類似する領域である特徴領域の位置を探索する特徴領域探索部１０３と、を備える。【選択図】      図２
2006276948.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続する静止画像を表す動画像から、前記静止画像を多数の画素の画素値により表したフレーム画像を順次取得するフレーム画像取得部と、
前記フレーム画像取得部が前記動画像から時系列順に最初のフレーム画像を取得すると、該フレーム画像のエッジに基づいて該フレーム画像から特徴画像を取得する特徴画像取得部と、
前記取得した特徴画像を記憶する特徴画像記憶部と、
前記フレーム画像取得部が、新たなフレーム画像を取得するごとに該フレーム画像を注目フレーム画像として、
前記注目フレーム画像において、前記特徴画像記憶部に記憶している特徴画像に最も類似する領域である特徴領域を探索することにより、前記特徴領域の位置を追跡する特徴領域追跡部と、を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記特徴画像取得部は、前記フレーム画像取得部が前記動画像から時系列順に取得した最初のフレーム画像を構成する画素群のうち、周辺の画素との画素値の勾配が第１の閾値より大きい画素を、エッジを表すエッジ画素として抽出するエッジ画素抽出部を有し、
前記エッジ画素を用いて前記特徴画像を取得することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記特徴画像取得部は、前記エッジ画素と前記エッジ画素の周囲の画素とからなるパターンが、エッジ画素が所定の角度に分布するパターンに類似するエッジ画素を特徴点として抽出する特徴点抽出部、を更に有し、
前記最初のフレーム画像において前記特徴点が多く分布している領域の画像を、前記特徴画像として取得することを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれか一項に記載の画像処理装置において、
前記特徴画像取得部は、前記最初のフレーム画像の画像領域を複数の分割領域に分割する画像分割部を更に有し、
前記複数の分割領域のうち第２の閾値より多くの特徴点を含む分割領域の画像を、特徴画像として取得することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記特徴画像取得部は、前記複数の分割領域のうち、前記分割領域に含まれるエッジ画素についての勾配を表す値の平均値が最も大きくなる分割領域の画像を、前記特徴画像として取得することを特徴とする画像処理装置。
【請求項６】
請求項１ないし５のいずれか一項に記載の画像処理装置において、
前記特徴領域追跡部が、特徴画像に類似する領域を探索することにより得られる類似度が第３の閾値より小さい場合には、
前記注目フレーム画像において、前記特徴領域とした領域の画像を、新たな特徴画像として取得し、前記特徴画像記憶部に記憶している特徴画像に追加する特徴画像追加部を、更に備えることを特徴とする画像処理装置。
【請求項７】
請求項１ないし６のいずれか一項に記載の画像処理装置において、
前記特徴画像記憶部は、前記特徴画像取得部が異なるフレーム画像から取得した複数の特徴画像を記憶し、
前記特徴画像探索部は、前記特徴画像記憶部に記憶している複数の特徴画像を用いて探索することにより、前記特徴領域を取得することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記特徴画像追跡部は、前記特徴画像記憶手段に記憶している複数の特徴画像を用いて探索することにより、前記複数の特徴画像のうちいずれかの特徴画像との類似度が最も大きくなる領域を特徴領域とすることを特徴とする画像処理装置。
【請求項９】
請求項７に記載の画像処理装置において、
前記フレーム画像取得部がフレーム画像を新たに取得したときに、
前記特徴領域追跡部は、前記注目フレーム画像に対して時系列順に１つ前のフレーム画像において特徴領域の位置を探索した特徴画像を用いて探索することにより、得られた類似度が第３の閾値より大きい場合には、探索した領域を特徴領域とし、
得られた類似度が前記第３の閾値より小さい場合には、前記特徴画像記憶手段に記憶している複数の特徴画像を順番に用いて探索し、第３の閾値より大きい類似度が得られた領域を特徴領域とすることを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記特徴画像記憶手段に記憶している特徴画像のうち、類似度が前記第３の閾値より大きくなる特徴画像がない場合には、最も大きな類似度が得られた特徴画像に類似する領域を特徴領域とすることを特徴とする画像処理装置。
【請求項１１】
請求項９または１０に記載の画像処理装置において、
前記特徴画像記憶部は、新たに取得したフレーム画像を記憶するに際して、記憶している特徴画像の数が第４の閾値を超える場合には、最も過去に記憶した特徴画像を削除してから、新たに取得したフレーム画像を記憶することを特徴とする画像処理装置。
【請求項１２】
時系列に連続する静止画像を表す動画像から、前記静止画像を多数の画素の画素値により表したフレーム画像を順次取得するフレーム画像取得工程と、
前記フレーム画像取得部が前記動画像から時系列順に最初のフレーム画像を取得すると、該フレーム画像のエッジに基づいて該フレーム画像から特徴画像を取得する特徴画像取得工程と、
前記取得した特徴画像を記憶する特徴画像記憶工程と、
前記フレーム画像取得部が、新たなフレーム画像を取得するごとに該フレーム画像を注目フレーム画像として、
前記注目フレーム画像において、前記特徴画像記憶部に記憶している特徴画像に最も類似する領域である特徴領域を探索することにより、前記特徴領域の位置を追跡する特徴領域追跡工程と、を備えることを特徴とする画像処理方法。
【請求項１３】
コンピュータを、
時系列に連続する静止画像を表す動画像から、前記静止画像を多数の画素の画素値により表したフレーム画像を順次取得するフレーム画像取得部、
前記フレーム画像取得部が前記動画像から時系列順に最初のフレーム画像を取得すると、該フレーム画像のエッジに基づいて該フレーム画像から特徴画像を取得する特徴画像取得部、
前記取得した特徴画像を記憶する特徴画像記憶部、
前記フレーム画像取得部が、新たなフレーム画像を取得するごとに該フレーム画像を注目フレーム画像として、
前記注目フレーム画像において、前記特徴画像記憶部に記憶している特徴画像に最も類似する領域である特徴領域を探索することにより、前記特徴領域の位置を追跡する特徴領域追跡部、として機能させることを特徴とする画像処理プログラム。
【請求項１４】
請求項１３に記載の画像処理プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
動画像または時系列に連続する静止画像からフレーム画像を取得し、取得したフレーム画像に写る物体の動きを追跡するための画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記憶した記録媒体に関する。
【背景技術】
【０００２】
従来、時系列に連続するフレーム画像からなる動画像に写っている物体の動きを追跡するために、追跡する物体の画像をテンプレートとして抽出し、動画像の各フレーム画像においてテンプレートを用いたパターンマッチング（以下、テンプレートマッチングという）が用いられている。テンプレートマッチングでは各フレーム画像においてテンプレートとの類似度が最も高くなる位置を探索して、テンプレートとの類似度が最も高くなる位置を、動画像の各フレーム画像について辿ることによって、テンプレートに写る物体の動きを追跡している。ここで、動画像を撮影している間には、写っている物体自体の変形、該物体の他の物体による遮蔽、照明の変動、撮影装置のＣＣＤなどの素子のノイズなどの要因が重なるため、動画像に写る物体の像がフレーム画像ごとに変形・変化していることがある。こうした場合、テンプレートマッチングに用いるテンプレートを固定していると、動画像の中でフレーム画像を経るにつれて、動画像に写る物体の像の変形・変化が累積して、高い類似度を得ることができなくなる。類似度が低くなった場合には、精度良く追跡することができないこととなる。
【０００３】
そこで、特許文献１では、テンプレートマッチングによって得られる類似度が低くなった場合には、注目しているフレーム画像から新たなテンプレートを取得することにより、動画像に写る物体の像の変形・変化に追随して、適切に追跡することができる技術が開示されている。
【０００４】
また、特許文献１では、複数のテンプレートを記憶して、フレーム画像に対して各テンプレートのうち最も類似度が大きくなるテンプレートのマッチング結果を用いることにより、物体の動きを更に精度良く追跡することができるとしている。
【０００５】
【特許文献１】特開２００４−１１８４８５号公報（第８頁〜第９頁参照）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、テンプレートを切り替える際に、テンプレートにマッチングしている領域から画像を抽出するようにしているので、予めテンプレートが定められていない場合には、新たなテンプレートを取得することができなかった。すなわち、動画像の最初のフレーム画像に対しては、テンプレートが定められていないので、テンプレートを抽出して、テンプレートマッチングの処理を開始することができない。そこで、ユーザが最初のテンプレートとなる領域を指定する操作を行っていた。
【０００７】
また、ユーザがテンプレートを指定した場合であっても、テンプレートが、必ずしもマッチングに適したテンプレートとはいえないので、不適切なテンプレートを指定することにより追跡の精度が低下する可能性があるという課題があった。
【０００８】
そこで、本発明は、ユーザがテンプレートを指定することなく、動きの追跡を容易且つ精度よく行うことができる画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明の画像処理装置は、時系列に連続する静止画像を表す動画像から、静止画像を多数の画素の画素値により表したフレーム画像を順次取得するフレーム画像取得部と、フレーム画像取得部が動画像から時系列順に最初のフレーム画像を取得すると、該フレーム画像のエッジに基づいて該フレーム画像から特徴画像を取得する特徴画像取得部と、取得した特徴画像を記憶する特徴画像記憶部と、フレーム画像取得部が、新たなフレーム画像を取得するごとに該フレーム画像を注目フレーム画像として、注目フレーム画像において、特徴画像記憶部に記憶している特徴画像に最も類似する領域である特徴領域を探索することにより、特徴領域の位置を追跡する特徴領域追跡部と、を備えることを特徴とする。
【００１０】
この構成によれば、時系列に連続する静止画像を表す動画像から、静止画像を多数の画素の画素値により表したフレーム画像を順次取得し、フレーム画像を新たに取得すると、取得したフレーム画像のエッジに基づいてフレーム画像から特徴画像を取得する。取得した特徴画像は、特徴画像記憶部に記憶する。そして、新たなフレーム画像を取得するごとに取得したフレーム画像を注目フレーム画像として、注目フレーム画像において、特徴画像記憶部に記憶している特徴画像に最も類似する領域である特徴領域を探索することにより、特徴領域の位置を追跡することができる。特徴画像を取得する際に、ユーザが特徴画像を指定する必要がないので、容易に追跡を開始することができるようになる。
【００１１】
ここで、特徴画像取得部は、フレーム画像取得部が動画像から時系列順に取得した最初のフレーム画像を構成する画素群のうち、周辺の画素との画素値の勾配が第１の閾値より大きい画素を、エッジを表すエッジ画素として抽出するエッジ画素抽出部を有し、エッジ画素を用いて特徴画像を取得することが好ましい。
【００１２】
このようにすれば、動画像から時系列順に取得した最初のフレーム画像の画素のうち、周辺の画素との画素値の勾配が第１の閾値より大きい画素を、エッジを表すエッジ画素として抽出し、エッジ画素を用いて特徴画像を取得する。最初のフレーム画像の画素のうち、周辺の画素の画素値との勾配が第１の閾値より大きいエッジ画素を用いて特徴画像を取得するので、特徴画像は画素値の勾配が大きい画像となる。すなわち、特徴画像は、エッジが際立った画像となる。エッジが際立つことによって、特徴領域の探索における精度が向上するので、特徴領域の位置を精度良く追跡することができるようになる。
【００１３】
また、フレーム画像のエッジが際立つ部分が特徴画像となるので、特徴画像は撮影時にフォーカスを合わせた領域となる可能性が高まる。撮影時にフォーカスを合わせた被写体の動きを追跡することになるので、撮影時の被写体を追跡することができるようになる。
【００１４】
さらに、ユーザが特徴画像を指定することなく、テンプレートマッチングに適したエッジが際立っている特徴画像を用いて動きを追跡しているので、テンプレートマッチングに適しない画像を追跡することにより動き追跡の精度が低下する可能性が低減する。
【００１５】
ここで、特徴画像取得部は、エッジ画素とエッジ画素の周囲の画素とからなるパターンが、エッジ画素が所定の角度に分布するパターンに類似するエッジ画素を特徴点として抽出する特徴点抽出部、を更に有し、最初のフレーム画像において特徴点が多く分布している領域の画像を、特徴画像として取得することが好ましい。
【００１６】
このようにすれば、エッジ画素とエッジ画素の周囲の画像とからなるパターンが、エッジ画素が所定の角度に分布するパターンに類似するエッジ画素を特徴点として抽出する。そして、最初のフレーム画像において特徴点が最も多く分布している領域の画像を、特徴画像として取得することにより、画像のエッジが所定の角度で曲がっている特徴的な領域の画像を特徴画像として取得することができる。したがって、ユーザが特徴画像を指定することなく、特徴的な領域を追跡することができるようになる。
【００１７】
ここで、特徴画像取得部は、最初のフレーム画像の画像領域を複数の分割領域に分割する画像分割部を更に有し、複数の分割領域のうち第２の閾値より多くの特徴点を含む分割領域の画像を、特徴画像として取得することが好ましい。
【００１８】
このようにすれば、最初のフレーム画像の画像領域を複数の分割領域に分割し、第２の閾値より多くの特徴点を含む分割領域の画像を特徴画像として取得するので、特徴点が多く、より特徴的な分割画像を特徴画像として、特徴画像に類似する特徴領域の動きを追跡することができるようになる。
【００１９】
ここで、特徴画像取得部は、複数の分割領域のうち、分割領域に含まれるエッジ画素についての勾配を表す値の平均値が最も大きくなる分割領域の画像を、特徴画像として取得することが好ましい。
【００２０】
このようにすれば、複数の分割領域のうち、分割領域に対応するエッジ画素についての勾配を表す値の平均値が最も大きくなる分割領域の画像を、特徴画像として取得するので、最も勾配が大きく、エッジの際立つ分割領域の画像について、動きを追跡することになる。動き追跡に最も適切な画像を特徴画像とすることになるので、動き追跡の精度をより高めることができる。
【００２１】
ここで、特徴領域追跡部が、特徴画像に類似する領域を探索することにより得られる類似度が第３の閾値より小さい場合には、注目フレーム画像において、特徴領域とした領域の画像を、新たな特徴画像として取得し、特徴画像記憶部に記憶している特徴画像に追加する特徴画像追加部を、更に備えることが好ましい。
【００２２】
このようにすれば、特徴画像に類似する領域を探索することにより得られる類似度が第３の閾値より小さい場合には、注目フレーム画像において、特徴領域とした領域の画像を、新たな特徴画像として取得し、特徴画像記憶部に記憶する特徴画像に追加する。動画像または時系列に連続する静止画像から取得したフレーム画像において、時間の進行に伴ってフレーム画像に写る物体の変形・変化などがある場合であっても、注目フレーム画像から新たな特徴画像を取得するので、変形・変化した物体に対応することができる。したがって、物体の変形・変化などにより動き追跡の精度が低下する可能性を低減し、より精度良く追跡できるようになる。
【００２３】
ここで、特徴画像記憶部は、特徴画像取得部が異なるフレーム画像から取得した複数の特徴画像を記憶し、特徴画像探索部は、特徴画像記憶部に記憶している複数の特徴画像を用いて探索することにより、特徴領域を取得することが好ましい。
【００２４】
このようにすれば、動きを追跡する際に、異なるフレーム画像から取得した複数の特徴画像を用いてフレーム画像の追跡を行うので、フレーム画像に写っている物体の変形・変化、照明の変動による明るさの変動、撮影装置のＣＣＤなどの素子のノイズなど、時系列に変化する要因による影響を低減することができる。すなわち、あるフレーム画像が上述した影響を受けている場合であっても、複数の特徴画像の中からより適した特徴画像を用いることで、追跡精度の低下を最小限にとどめることができるようになる。
【００２５】
ここで、特徴画像追跡部は、特徴画像記憶手段に記憶している複数の特徴画像を用いて探索することにより、複数の特徴画像のうちいずれかの特徴画像との類似度が最も大きくなる領域を特徴領域とすることが好ましい。
【００２６】
このようにすれば、複数の特徴画像のうち、最も類似度が大きくなる特徴画像により追跡を行うことになるので、より精度良く追跡できるようになる。
【００２７】
ここで、フレーム画像取得部がフレーム画像を新たに取得したときに、特徴領域追跡部は、注目フレーム画像に対して時系列順に１つ前のフレーム画像において特徴領域の位置を探索した特徴画像を用いて探索することにより、得られた類似度が第３の閾値より大きい場合には、探索した領域を特徴領域とし、得られた類似度が第３の閾値より小さい場合には、特徴画像記憶手段に記憶している複数の特徴画像を順番に用いて探索し、第３の閾値より大きい類似度が得られた領域を特徴領域とすることが好ましい。
【００２８】
このようにすれば、フレーム画像を新たに取得したときに、特徴領域追跡部は、注目フレーム画像に対して時系列順に１つ前のフレーム画像において特徴領域の位置を探索した特徴画像を用いて、探索することにより得られた類似度が第３の閾値より大きい場合には、探索した領域を特徴領域とする。得られた類似度が第３の閾値より小さい場合には、特徴画像記憶手段に記憶している複数の特徴画像を順番に用いて探索し、第３の閾値より大きい類似度が得られた特徴画像に類似する領域を特徴領域とする。すなわち、動画像、または時系列に連続する静止画像では、時系列順に連続するフレーム画像は互いに類似している可能性が高いので、１つ前のフレーム画像に対して用いた特徴画像を次のフレーム画像に優先して用いるようにしている。優先した特徴画像による類似度が第３の閾値より大きければ、他の特徴画像を用いた動き追跡に要する処理を省くことができる。また、複数の特徴画像を用いる順番は、最近に取得した特徴画像から、取得した順番が新しい順番の特徴画像を用いることがより望ましい。
【００２９】
ここで、特徴画像記憶手段に記憶している特徴画像のうち、類似度が第３の閾値より大きくなる特徴画像がない場合には、最も大きな類似度が得られた特徴画像に類似する領域を特徴領域とすることが好ましい。
【００３０】
このようにすれば、特徴画像記憶手段に記憶している特徴画像のうち、類似度が第３の閾値より大きくなる特徴画像がない場合には、最も大きな類似度が得られた特徴画像に類似する領域を特徴領域とするので、第３の閾値以上の類似度が得られなかったときにも、動き追跡の精度低下を最小限にとどめながら追跡を継続することができる。
【００３１】
ここで、特徴画像記憶部は、新たに取得したフレーム画像を記憶するに際して、記憶している特徴画像の数が第４の閾値を超える場合には、最も過去に記憶した特徴画像を削除してから、新たに取得したフレーム画像を記憶することが好ましい。
【００３２】
このようにすれば、注目フレーム画像から新たな特徴画像を抽出し、特徴画像記憶部に記憶している特徴画像の数が第４の閾値を超えた場合に、最も過去に記憶した特徴画像を削除するので、追跡の精度への影響を最小限にとどめながら、特徴画像記憶部に記憶している特徴画像の数を第４の閾値に抑えることができる。したがって、特徴画像記憶部の記憶容量を効率良く活用することができる。
【００３３】
また、本発明は、方法の発明とすることもできる。すなわち、本発明の画像処理方法は、時系列に連続する静止画像を表す動画像から、静止画像を多数の画素の画素値により表したフレーム画像を順次取得するフレーム画像取得工程と、フレーム画像取得部が動画像から時系列順に最初のフレーム画像を取得すると、該フレーム画像のエッジに基づいて該フレーム画像から特徴画像を取得する特徴画像取得工程と、取得した特徴画像を記憶する特徴画像記憶工程と、フレーム画像取得部が、新たなフレーム画像を取得するごとに該フレーム画像を注目フレーム画像として、注目フレーム画像において、特徴画像記憶部に記憶している特徴画像に最も類似する領域である特徴領域を探索することにより、特徴領域の位置を追跡する特徴領域追跡工程と、を備えることを特徴とする。
【００３４】
さらに、本発明は、画像処理プログラムまたはそのプログラムを記憶した記録媒体とすることもできる。すなわち、本発明の画像処理プログラムは、コンピュータを、時系列に連続する静止画像を表す動画像から、静止画像を多数の画素の画素値により表したフレーム画像を順次取得するフレーム画像取得部、フレーム画像取得部が動画像から時系列順に最初のフレーム画像を取得すると、該フレーム画像のエッジに基づいて該フレーム画像から特徴画像を取得する特徴画像取得部、取得した特徴画像を記憶する特徴画像記憶部、フレーム画像取得部が、新たなフレーム画像を取得するごとに該フレーム画像を注目フレーム画像として、注目フレーム画像において、特徴画像記憶部に記憶している特徴画像に最も類似する領域である特徴領域を探索することにより、特徴領域の位置を追跡する特徴領域追跡部、として機能させることを特徴とする。また、このプログラムを記録した記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＩＣカード、パンチカードなど、コンピュータが読み取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明を具体化した一実施形態について図面を参照して説明する。なお、本実施形態では、時系列に連続する複数の静止画像を表す動画像から、静止画像に写った特徴的な領域の動きを追跡し、特徴的な領域の動きに合わせて画像の出力範囲を補正した動画像を出力する処理を行う画像処理装置について説明する。
【００３６】
図１は本実施形態に係る画像処理装置のハードウェア構成を示した図である。図１に示すように、画像処理装置２は汎用のコンピュータ１であり、ＣＰＵ１０、ＲＡＭ１２、ＲＯＭ１１、ハードディスク１３、ＣＤ−ＲＯＭドライブ１４、入力インターフェイス（以下、入力Ｉ／Ｆという）１５、出力インターフェイス（以下、出力Ｉ／Ｆという）１６を備えている。また、これらの構成はバス１７を介して相互に接続されている。
【００３７】
入力Ｉ／Ｆ１５には、動画像を入力する装置としてのデジタルビデオカメラ２０およびＤＶＤプレーヤ２１などを接続し、出力Ｉ／Ｆ１６には動画像を出力する装置としてのビデオプロジェクタ３０およびディスプレイ３１を接続している。その他、必要に応じて、動画像を記憶した記憶媒体からデータを読み出すことが可能な駆動装置や、動画像を出力することが可能な画像表示装置をそれぞれ接続することもできる。
【００３８】
ＣＰＵ１０は動画像に対して所定の画像処理を実行し、処理後のデータを再びＲＡＭ１２又はハードディスク１３に格納する。画像処理を実行するに際して、ＣＰＵ１０は必要に応じてＲＡＭ１２やハードディスク１３をワーキングメモリとして用いて処理を実行する。そして、ＣＰＵ１０は、画像処理を行ったデータを、所定の形式の動画像に変換し、出力Ｉ／Ｆ１６を介してビデオプロジェクタ３０またはディスプレイ３１などの出力装置に送信する。
【００３９】
所定の画像処理を実行する画像処理プログラムは、予めハードディスク１３やＲＯＭ１１に格納されていることとしてもよいし、またはＣＤ−ＲＯＭ４０などのコンピュータが読み取り可能な記録媒体によって外部から供給され、ＣＤ−ＲＯＭドライブ１４が読み取った画像処理プログラムをハードディスク１３に格納するものとしてもよい。また、インターネットなどのネットワーク手段を介して、画像処理プログラムを供給するサーバー等にアクセスし、データをダウンロードすることによってハードディスク１３に格納するものとしてもよい。
【００４０】
ＣＰＵ１０は、バス１７を介してハードディスク１３またはＲＯＭ１１に格納された画像処理プログラムを読み出し、この読み出した画像処理プログラムを所定のオペレーティングシステムの下で実行することによって、コンピュータ１が、所定の画像処理を実行する画像処理装置２として機能する。
【００４１】
図２は画像処理装置としての構成を示した図である。図２に示すように、画像処理装置２は、フレーム画像取得部１００、テンプレート抽出部１０１、テンプレート記憶部１０２、特徴領域探索部１０３、テンプレート追加部１０４、画像切出部１０５および動画像出力部１０６を備えている。以下、各構成が行う処理について説明する。
【００４２】
フレーム画像取得部１００は、入力Ｉ／Ｆ１５を介して画像処理装置２に入力された動画像ＭＡから、フレーム画像Ｆを順次取得する処理を行う。本実施形態では、動画像ＭＡに含まれる時系列に連続する複数のフレーム画像からフレーム画像を順番に取得することとする。取得したフレーム画像は縦横６４０×４８０画素など、マトリクス状に配列された多数の画素により構成され、各画素は“０”から“２５５”の２５６階調（８ビット）の画素値を有している。もっとも、フレーム画像を構成する画素数および各画素の階調数はこれに限られることはない。
【００４３】
また、入力される動画像ＭＡは、例えば、時系列に連続する複数の静止画像を圧縮したデータ、またはインターレース方式のデータであることもある。このような場合、フレーム画像取得部１００は、圧縮されたデータを解凍する処理やインタレース方式のデータをノンインタレース方式のデータに変換する処理を行うことにより、動画像ＭＡが表している静止画像を、画像処理装置２が処理することができる形式のフレーム画像Ｆとして取得する。
【００４４】
テンプレート抽出部１０１は、フレーム画像取得部１００が取得したフレーム画像Ｆ（１）から、特徴的な領域を表す画像をテンプレート（特徴画像）ＴＰとして抽出する。なお、Ｆ（ｎ）は、動画像ＭＡから取得フレーム画像Ｆのうち時系列順でｎ番目のフレーム画像であるので、Ｆ（１）は最初に取得したフレーム画像である。テンプレート抽出部１０１は、フレーム画像Ｆ（１）から、画像のエッジを表しているエッジ画素を抽出するエッジ画素抽出部１１０と、エッジ画素のうちから特徴のある画素を特徴点として抽出する特徴点抽出部１１１と、フレーム画像Ｆ（１）が表している領域を複数の分割領域に分割する画像分割部１１２と、を有している。テンプレート抽出部１０１は、複数の分割領域のうちから、エッジ度合および特徴点の数を用いて１つの分割領域を選択し、フレーム画像Ｆ（１）から選択した分割領域に対応する画像をテンプレートＴＰとして抽出する。このように、テンプレート抽出部１０１は、フレーム画像Ｆ（１）から特徴ある領域を表すテンプレートＴＰを取得する。
【００４５】
テンプレート記憶部１０２は、抽出したテンプレートＴＰをＲＡＭ１２またはハードディスク１３に格納することにより、テンプレートＴＰを記憶する処理を行う。また、テンプレート記憶部１０２は、後述するテンプレート追加部１０４が追加して取得したテンプレートＴＰも記録する処理を行うものであり、新たにテンプレートＴＰを記憶したときには、記憶しているテンプレートＴＰの総数が所定の数以下となるようにＲＡＭ１２またはハードディスク１３に格納しているテンプレートＴＰを管理している。記憶するテンプレート総数が所定の数を越える場合には、最も過去に記憶したテンプレートＴＰをＲＡＭ１２またはハードディスク１３の記憶領域上から削除することによりテンプレートＴＰを管理している。
【００４６】
特徴領域探索部１０３は、フレーム画像取得部１００が取得したフレーム画像Ｆについて、テンプレート記憶部１０２に記憶されているテンプレートＴＰを用いてテンプレートマッチングを行うことにより、テンプレートＴＰに類似する領域である特徴領域を探索する。動画像ＭＡから取得したフレーム画像Ｆの特徴領域の位置を辿っていくことによって、特徴領域の位置を追跡する。また、テンプレートマッチングは、類似度Ｒの値が最も大きくなる位置を探索するようにして行うものであるが、最大となった類似度Ｒを類似度Ｒｍａｘとして、注目するフレーム画像において類似度Ｒｍａｘが得られた位置を特徴領域の位置データとして記憶する。
【００４７】
テンプレート追加部１０４は、類似度Ｒｍａｘを参照して、適切なテンプレートＴＰがテンプレート記憶部１０２に記憶されているかを判断し、適切なテンプレートＴＰが記憶されていないと判断すると、フレーム画像ＦからテンプレートＴＰを抽出する処理を行う。ここで、抽出したテンプレートＴＰは、テンプレート記憶部１０２が記憶しているテンプレートＴＰに追加する。
【００４８】
画像切出部１０５は、特徴領域の位置を追跡した位置データを参照して、特徴領域の位置が画像の中央に位置するように補正したフレーム画像から、所定の大きさの画像を切り出す処理を行うことにより、特徴領域が中央に位置するフレーム画像ＦＫを取得する。例えば、縦横６４０×４８０の大きさのフレーム画像Ｆに対して、８０％の大きさ（縦横５１２×３８４）の領域を切り出す。
【００４９】
動画像出力部１０６は、画像切出部１０５が取得したフレーム画像ＦＫを、フレーム画像取得部１００が取得した順番に時系列に連続して出力することにより動画像を出力する処理を行う。
【００５０】
以上に説明したように、本実施形態における画像処理装置２は、入力した動画像ＭＡに対して特徴領域の動きを追跡することにより、特徴領域の動きに合わせて画像の出力範囲を補正した動画像を出力するものである。さらに、以下に詳細に説明する処理を行うことによって、特徴領域の動きを容易且つ適切に追跡することができる。図３は、画像処理装置２が行う処理の流れを示すフローチャートであり、以下、フローチャートに従って詳細に説明する。
【００５１】
動画像ＭＡを入力すると処理を開始して、まず、ステップＳ１０において、フレーム画像取得部１００は、入力をトリガーにして動画像ＭＡをコンピュータ１に取り込むことにより、最初のフレーム画像Ｆ（１）を取得する処理を行う。ここでは、ＣＰＵ１０が、入力Ｉ／Ｆ１５を介して入力された動画像ＭＡからフレーム画像Ｆ（１）を読取り、ＲＡＭ１２に格納する処理を行う。
【００５２】
もっとも、取り込むフレーム画像を指定することもできる。例えば、動画像からフレーム画像をキャプチャしてコンピュータ１に取り込む際、通常付加されるフレーム画像の識別番号を指定するようにしてもよい。あるいは、ユーザーがビデオカメラに備えられたモニターなどのディスプレイ（図示なし）に表示されるフレーム画像を見ながら画像を直接指定することとしてもよい。この場合は、指定したフレーム画像Ｆをフレーム画像Ｆ（１）として、指定されたフレーム画像Ｆ（１）以降のフレーム画像Ｆについて処理を行う。
【００５３】
ステップＳ１０においてフレーム画像Ｆ（１）を取得すると、次にステップＳ２０において、テンプレート抽出部１０１は、フレーム画像Ｆ（１）からテンプレートＴＰを抽出するテンプレート抽出処理を行う。以下、図４に示すフローチャートに従って、テンプレート抽出処理について説明する。
【００５４】
テンプレート抽出処理を開始すると、ステップＳ２００〜Ｓ２０２において、フレーム画像Ｆ（１）についてエッジ度合およびエッジ画素を求める処理を行う。まず、ステップＳ２００において、エッジ画素抽出部１１０は、フレーム画像Ｆ（１）の各画素にエッジ検出フィルタを適用することにより、エッジ度合データを取得する。ここでは、ＣＰＵ１０が、エッジ検出フィルタによるフィルタ処理を行うことにより、各画素ごとにエッジの勾配を示す階調値をエッジの度合として算出して、各画素ごとにエッジの度合を表すエッジ度合データをＲＡＭ１２に記憶する。本実施形態では、エッジ検出フィルタとして、画像の勾配を求めるためのＳｏｂｅｌのフィルタを用いることとしている。もっとも、エッジ検出フィルタとしては、Ｐｒｅｗｉｔｔのフィルタ、Ｒｏｂｅｒｔｓのフィルタ、またはＬａｐｌａｃｉａｎのフィルタなどの周知のフィルタを用いてもよい。
【００５５】
次に、ステップＳ２０１では、エッジ画素抽出部１１０は、エッジ度合データを参照して各画素がエッジであるか否かを判断し、エッジ画素の決定を行う。ここでは、ＣＰＵ１０が、エッジ度合データの各画素ごとに、エッジの判断基準となる所定の閾値（第１の閾値）αと、当該画素のエッジ度合とを比較することにより判断を行っている。すなわち、エッジ度合が閾値α以上の画素をエッジ画素と判断し、エッジ度合が閾値α未満の画素をエッジでない画素と判断する。エッジの判断を行うと、各画素がエッジであるか否かを表すエッジ検出データをＲＡＭ１２に格納する。エッジ検出データは、フレーム画像Ｆ（１）の各画素に１ビットのデータをもたせており、“１”がエッジ画素に、“０”がエッジでない画素に対応している。
【００５６】
次に、ステップＳ２０２では、フレーム画像Ｆ（１）の全画素について、エッジ画素をの判断を行ったか否かを判断する。全画素について判断を行っていた場合（Ｙｅｓ）ステップＳ２０３へ進み、全画素について判断を行っていなかった場合（Ｎｏ）ステップＳ２０１へ戻り、他の画素について処理を行う。フレーム画像Ｆ（１）の全画素についてステップＳ２００〜Ｓ２０２を繰り返し行うことにより、フレーム画像Ｆ（１）の全画素についてのエッジ度合データおよびエッジ検出データが得られる。
【００５７】
次に、ステップＳ２０３〜Ｓ２０７において、特徴点抽出部１１１が、エッジ度合データおよびエッジ検出データから特徴点を抽出する処理を行う。そのため、ステップＳ２０３において、特徴点抽出部１１１は、エッジ検出データに対してパターンフィルタを適用する。本実施形態のパターンフィルタは、対象とするエッジ画素を中心として、８方向に位置する画素を含む３×３の大きさからなり、各画素には、“１”または“０”の値を与えたパターンを示しているフィルタである。
【００５８】
図５は、本実施形態における各種のパターンフィルタを示した図である。図５のパターンフィルタでは、“１”はエッジ画素であることを示し、“０”はエッジでない画素であることを示している。３×３の大きさをもつパターンフィルタの中央の画素は常に“１”であり、中央の画素に対して８方向に位置する画素は、位置が連続する４つの画素が“１”となるようにしている。したがって、残り４つの画素については“０”の値が連続して並ぶようになっている。以上のように、画素値を並べたパターンフィルタは、例えば、図５（ａ）に示すように、“０”と隣接している３つの“１”の画素の中心を結ぶラインが、中央の画素を中心として１３５°開いたフィルタとなっている。そして、図５（ｂ）〜（ｈ）の各パターンフィルタは、図５（ａ）のパターンフィルタを４５°ずつ回転させたフィルタとなっている。
【００５９】
特徴点を抽出するため、ＣＰＵ１０は、ＲＯＭ１１またはハードディスク１３よりパターンフィルタのデータを読み出して、エッジ検出データの注目するエッジ画素にパターンフィルタの中央の画素を重ね合わせ、注目するエッジ画素に対して８方向に位置する８つの周辺画素のうち、エッジ検出データおよびパターンフィルタの値が共に“１”となる画素の数を算出する。
【００６０】
ステップＳ２０４では、ステップＳ２０３において算出した画素の数が、２以上であるか否かを判断する。２以上である場合（Ｙｅｓ）、注目しているエッジ画素を含めると３以上の画素がパターンフィルタと一致していることになるので、エッジ画素の周辺とパターンフィルタとのパターンが類似していると判断して、ステップＳ２０５へ進む。２未満である場合（Ｎｏ）、ステップＳ２０６へ進む。
【００６１】
ステップＳ２０５では、特徴点抽出部１１１は注目しているエッジ画素を特徴点として登録する。具体的には、ＣＰＵ１０は、特徴点として登録した画素について特徴点であることを示す“１”を与えた特徴点データをＲＡＭ１２に記録する。特徴点データは、特徴点であることを“１”、特徴点でないことを“０”で示したフラグを、フレーム画素に対応する各画素ごとにもたせたデータで構成されている。特徴点の登録を終えると、ステップＳ２０６へ進む。
【００６２】
ステップＳ２０６では、エッジ検出データの全エッジ画素について処理を終了したか否かを判断する。全エッジ画素について処理を行っていない場合（Ｎｏ）、ステップＳ２０３に戻り、同じパターンフィルタを用いてステップＳ２０３〜Ｓ２０６の処理を繰り返し行う。全エッジ画素について処理を行った場合（Ｙｅｓ）、ステップＳ２０７へ進む。
【００６３】
ステップＳ２０７では、図５に示した８つのパターンフィルタの全てを用いて処理を行ったか否かを判断する。全パターンフィルタによる処理を行っていない場合（Ｎｏ）、異なるパターンフィルタをＲＡＭ１２またはハードディスク１３から読み出してからステップＳ２０３に戻り、読み出したパターンフィルタを用いてステップＳ２０３〜Ｓ２０６の処理を繰り返し行う。全パターンフィルタによる処理を行った場合（Ｙｅｓ）、ステップＳ２０８へ進む。
【００６４】
以上、ステップＳ２０３〜Ｓ２０７の処理を行うことにより、エッジ検出データから、注目するエッジ画素を中心として周辺のエッジ画素の分布が、１３５°の角度に分布するパターンに類似するエッジ画素を特徴点として検出する。また、図５に示した８つのパターンのうちのいずれかに類似している画素を特徴点とすることにより、エッジ画素が分布する方向に依存することなく、特徴点を検出している。
【００６５】
次に、ステップＳ２０８では、画像分割部１１２が、フレーム画像Ｆ（１）が表している領域を所定の大きさの領域に分割し、複数の分割領域を設定する処理を行う。
【００６６】
次に、ステップＳ２０９〜Ｓ２１１において、テンプレート抽出部１０１は、特徴点データとエッジ度合データとを参照してテンプレートＴＰを抽出する処理を行う。そのため、ステップＳ２０９において、テンプレート抽出部１０１は分割領域の中から特徴点数をβ個以上含む領域を抽出する。ここでは、ＣＰＵ１０がＲＡＭ１２に記憶された特徴点データを参照して、分割領域ごとに含まれる特徴点の数を算出する。各領域内に特徴点が所定の閾値β（第２の閾値）個以上存在する分割領域にはフラグを設定することにより、特徴点をβ個以上有する分割領域を抽出する。
【００６７】
ステップＳ２１０では、テンプレート抽出部１０１が、抽出した分割領域についてエッジ度合の平均値（以下、平均エッジ度合という）を算出する。ここでは、ＣＰＵ１０は、エッジ度合データから、ステップＳ２０９でフラグを設定した各分割領域に含まれる画素ごとにエッジ度合を読み出して、分割領域内のエッジ度合の平均値を算出することにより、各分割領域ごとの平均エッジ度合を算出している。
【００６８】
ステップＳ２１１では、テンプレート抽出部１０１が、抽出した分割領域のうち平均エッジ度合が最大となる分割領域をテンプレートＴＰとして登録する。ここでは、ＣＰＵ１０はステップＳ２０９で設定したフラグを参照して、β個以上の特徴点を含む分割領域のうち、平均エッジ度合が最も大きい分割領域を特徴領域として、フレーム画像Ｆ（１）から特徴領域に対応する画像をテンプレートＴＰとして抽出する。そして、テンプレート記憶部１０２が抽出したテンプレートＴＰをＲＡＭ１２またはハードディスク１３に格納することにより、テンプレートＴＰを登録する。ステップＳ２１１を終了すると、テンプレート抽出処理を終了する。
【００６９】
図６は、以上に説明したテンプレート抽出処理において行う処理の一例を示した図である。図６の例では、動画像ＭＡから取得した最初のフレーム画像である、山を背景として人物像を写したフレーム画像Ｆ（１）に対して、テンプレート抽出処理を行っている。テンプレート抽出処理では、まず、エッジ検出フィルタを適用して、エッジ度合データ５０を取得している。エッジ度合データ５０では、各画素にエッジの勾配を示す階調値が与えられており、図６の例では、人物像の輪郭部分は“２３０”、山の輪郭部分は“１５０”、と高いエッジ度合となり山の中腹部は“１０”と小さなエッジ度合となっている。
【００７０】
さらに、エッジ度合データ５０に対して、閾値αの判定を行うことによりエッジ検出データ５１を得る。例えば、閾値αを“６４”とすると、図６に示すように、エッジ度合データにおいて閾値αより大きい“２３０”の値をもつ画素には、エッジ画素であることを示す“１”のエッジ検出データを得る。エッジ度合データにおいて閾値αより小さい“１０”の値をもつ画素には、エッジでない画素であることを示す“０”のエッジ検出データを得る。
【００７１】
エッジ検出データに、注目するエッジ画素を中心として図５に示すパターンフィルタを適用する処理を画像の全画素について施して特徴点を判断することにより、特徴点の分布を示す特徴点データを得ることができる。図６に示す特徴点データ５２では、丸印が特徴点として抽出された画素であり、人物像および背景の山部分のエッジ画素のうち、エッジが曲がっている部分の画素を特徴点として抽出している。
【００７２】
次に、テンプレートＴＰを抽出するため、フレーム画像Ｆ（１）を複数の分割領域に分割し、各分割領域から特徴点を閾値β個以上を含み、且つ、分割領域に含まれるエッジ度合の平均値が最も大きくなる分割領域を特徴領域とする。そして、特徴領域に対応する画像をテンプレートＴＰ（１）として抽出する。図６の例では、フレーム画像Ｆ（１）に重ね合わせるようにして分割領域を表す分割領域データ５３が示されている。特徴点の数が閾値βより多く、且つ平均エッジ度合が最も大きい分割領域として、人物像を含む分割領域が特徴領域となっている。特徴領域に対応する画像を抽出することにより、人物像を含む画像をテンプレートＴＰ（１）として取得することができている。
【００７３】
テンプレート抽出処理を終えると、図３のフローチャートに戻り、ステップＳ３０において、フレーム画像取得部１００は、入力される動画像ＭＡからフレーム画像Ｆ（２）以降のフレーム画像を時系列順に取り込むことにより、フレーム画像Ｆ（ｎ）を取得する処理を行う。ここで、新しく取り込んだフレーム画像を注目フレーム画像ＦＣと呼び、以下、注目フレーム画像ＦＣについて行う処理について説明する。
【００７４】
ステップＳ３０において注目フレーム画像ＦＣを取り込むと、次に、ステップＳ４０において、特徴領域探索部１０３が、注目フレーム画像ＦＣについて特徴領域探索処理を行う。特徴領域探索処理では、注目フレーム画像ＦＣにおいて、登録しているテンプレートＴＰに類似する領域を探索し、探索した領域を特徴領域として取得する。図７は、特徴領域探索処理の処理の流れを示すフローチャートである。図７に示すフローチャートに従って特徴領域探索処理について説明する。
【００７５】
特徴領域探索処理を開始すると、まず、ステップＳ４００において、テンプレート番号Ｎの値を初期化する処理を行う。テンプレート番号Ｎは、テンプレート記憶部１０２に記憶されているテンプレートＴＰから、処理に用いるテンプレートＴＰを管理するための番号である。ここでは、ＣＰＵ１０は、処理に用いるテンプレート番号Ｎを“１”とすることにより、初期設定を行う。
【００７６】
次に、ステップＳ４０１において、ＣＰＵ１０は、テンプレート番号Ｎが、登録しているテンプレート数以下であるか否かを判断する。登録しているテンプレート数未満の場合（Ｙｅｓ）、ステップＳ４０２へ進み、登録しているテンプレート数未満でない場合（Ｎｏ）、ステップＳ４０６へ進む。
【００７７】
ステップＳ４０２では、特徴領域探索部１０３は、注目フレーム画像ＦＣにおいて、テンプレートＴＰ（Ｎ）を用いてテンプレートマッチングを行うことにより、テンプレートＴＰ（Ｎ）に類似する領域を探索する処理を行う。
【００７８】
以下、テンプレートマッチングについて説明する。テンプレートマッチングでは、注目フレーム画像ＦＣを用いて注目フレーム画像ＦＣのテンプレートＴＰ（Ｎ）と同じ大きさの領域（以下、対象領域という）を走査しながら、テンプレートＴＰ（Ｎ）と対象領域について次式に示す類似度Ｒが最大となる対象領域の位置を求めることにより行う。
Ｒ＝１／Σi,j（｜ｆ（ｉ，ｊ）−ｇ（ｉ，ｊ）｜）  …（１）
ここで、ｆはテンプレートＴＰ（Ｎ）の各画素値、ｇは対象領域の各画素値、ｉ、ｊはテンプレートＴＰ（Ｎ）および対象領域の各画素を示す変数である。式（１）においては、テンプレートＴＰ（Ｎ）と対象領域との画素値を差分した値の絶対値が小さいほど、類似度Ｒの値が大きくなる。したがって、類似度Ｒの値が大きいほどテンプレートＴＰ（Ｎ）と対象領域との階調値の差が小さく、類似していることになる。なお、類似度Ｒとしては式（１）に替えて、相互相関係数を用いてもよい。
【００７９】
図８はフレーム画像Ｆ（ｎ）を注目フレーム画像ＦＣとしているときのテンプレートマッチングを説明するための図である。本実施形態のテンプレートマッチングにおいては、走査する範囲の位置を注目フレーム画像ＦＣに対して時系列順に１つ前のフレーム画像Ｆの特徴領域の位置を中心として、所定の大きさの範囲を走査することとしている。したがって、図８上段に示すように、注目フレーム画像ＦＣ（フレーム画像Ｆ（ｎ））に対して、フレーム画像Ｆ（ｎ−１）における特徴領域の位置を中心として、所定の大きさの走査範囲を設定する。
【００８０】
探索においては、図８中段に示すように、走査範囲内の画素を中心として、テンプレートＴＰと同じ大きさの対象領域を設定するようにして、設定した対象領域とテンプレートＴＰ（Ｎ）とについて式（１）により類似度Ｒを算出する。こうした類似度Ｒを、走査範囲内の全画素に対して設定した対象画像について算出する。図８下段に示すように、算出した類似度Ｒのうち最大値Ｒｍａｘとなる対象領域を求めることにより、テンプレートＴＰ（Ｎ）に最も類似する対象領域を探索する。探索した対象領域は、注目フレーム画像ＦＣにおける特徴領域とする。ステップＳ４０２では、ＣＰＵ１０は、以上に説明した処理を実行し、求めた特徴領域の中心の位置を示す位置データおよび、テンプレートＴＰ（Ｎ）を用いて算出された最大の類似度Ｒｍａｘ（Ｎ）をＲＡＭ１２に格納する。
【００８１】
ステップＳ４０３では、ステップＳ４０２で取得した類似度Ｒｍａｘ（Ｎ）が、閾値γ（第３の閾値）より大きいか否かを判断する。閾値γより大きい場合（Ｙｅｓ）、ステップＳ４０２で取得した位置を特徴領域の位置として、ステップＳ４０４へ進む。閾値γ以下の場合、テンプレートＴＰ（Ｎ）によるマッチングの精度が得られないため、ステップＳ４０５へ進み、テンプレート記憶部１０２に記憶されている次のテンプレートＴＰ（Ｎ＋１）により探索を行うため、テンプレート番号Ｎに“１”を加算してから、テンプレートＴＰ（Ｎ）を用いてステップＳ４０１以降の処理を行う。
【００８２】
ステップＳ４０４では、ステップＳ４０２で取得した位置を、注目フレーム画像ＦＣ（フレーム画像Ｆ（ｎ））における特徴領域の位置Ｐ（ｎ）に決定して、特徴領域の位置を示す位置データをＲＡＭ１２に記憶する。ステップＳ４０４を終えると、注目フレーム画像ＦＣについての特徴領域探索処理を終了する。
【００８３】
以上に述べたように、ステップＳ４０１からステップＳ４０３の処理を、閾値γより大きい類似度Ｒｍａｘ（Ｎ）が得られるまで、テンプレートＴＰを切り替えながら繰り返し行い、最初に閾値γより大きい類似度Ｒｍａｘ（Ｎ）が得られた位置を特徴領域の位置Ｐ（ｎ）としている。一方、テンプレート記憶部１０２に記憶されている全テンプレートＴＰについてステップＳ４０１からステップＳ４０３の処理を行った結果、閾値γより大きい類似度Ｒｍａｘ（Ｎ）を得ることができなかった場合には、ステップＳ４０１からステップＳ４０６に処理が進む。
【００８４】
ステップＳ４０６では、登録されている全テンプレートＴＰによっても閾値γより大きな類似度Ｒｍａｘ（Ｎ）を得ることができなかったので、最も高い類似度Ｒｍａｘ（Ｎ）を求めたテンプレートＴＰによる探索結果を採用することとする。したがって、ここでは、最も高い類似度Ｒｍａｘ（Ｎ）が得られたテンプレートＴＰ（Ｎ）により求めた特徴領域の位置を、真の特徴領域の位置Ｐ（ｎ）として位置データをＲＡＭ１２に記憶する。
【００８５】
次に、ステップＳ４０７〜Ｓ４０９においては、注目フレーム画像ＦＣに適したテンプレートＴＰが登録されていなかったので、新たにテンプレートＴＰを取得する処理を行う。まず、ステップＳ４０７において、テンプレート登録数が所定の閾値δ（第４の閾値）以上であるか否かを判断する。閾値δ以上の場合（Ｙｅｓ）、ステップＳ４０８へ進み、テンプレート記憶部１０２は、最も過去に記憶したテンプレートＴＰをＲＡＭ１２またはハードディスク１３の記憶領域より削除してから、ステップＳ４０９へ進む。なお、新しくテンプレートＴＰを取得した際には、取得したテンプレートＴＰのテンプレート番号を“１”として、登録されていたテンプレートＴＰについては、後述するようにテンプレート番号を１つ繰り上げるようにしているので、テンプレート番号が最も大きいテンプレートＴＰを、最も過去のテンプレートＴＰとして削除する。閾値δ未満の場合は（Ｎｏ）、ステップＳ４０７からステップＳ４０９へ進む。
【００８６】
ステップＳ４０９では、テンプレート記憶部１０２は、注目フレーム画像ＦＣから、ステップＳ４０６において得られた特徴領域に対応する画像を、新たなテンプレートＴＰとして取得する。このとき、新たに取得したテンプレートＴＰをテンプレートＴＰ（１）としてＲＡＭ１２またはハードディスク１３に記憶し、テンプレート記憶部１０２に記憶していたテンプレートＴＰについてはテンプレート番号を１つ繰り上げるようにして、テンプレート番号を更新する。ステップＳ４０９を終えると、注目フレーム画像ＦＣについての特徴領域探索処理を終了する。
【００８７】
ステップＳ４０６〜Ｓ４０９の処理を行うことにより、閾値γより大きな類似度Ｒｍａｘ（Ｎ）を得ることができなかった場合でも、特徴領域を決定すると共に、注目フレーム画像ＦＣの次のフレーム画像Ｆにおける探索に用いる、適切なテンプレートＴＰを新たに得ることができる。
【００８８】
ステップＳ４０４またはステップＳ４０９を終えると、図３のフローチャートに戻り、ステップＳ５０において、画像切出部１０５が、ＲＡＭ１２またはハードディスク１３から位置データを読み出して特徴領域の位置Ｐ（ｎ）に基づいて、所定の大きさの画像を切り出すことによりフレーム画像ＦＫを取得する。
【００８９】
ステップＳ６０では、動画像出力部１０６が、切り出したフレーム画像ＦＫを出力Ｉ／Ｆ１６を介して出力することにより、出力Ｉ／Ｆ１６に接続されたプロジェクタ３０およびディスプレイ３１などの外部の表示機器に、フレーム画像ＦＫの画像を表示する。
【００９０】
ステップＳ７０では、入力された動画像ＭＡの全フレーム画像についてステップＳ３０〜Ｓ６０の処理を行ったか否かを判断する。処理を行っていなかった場合（Ｎｏ）、ステップＳ３０へ戻り、時系列順に次のフレーム画像を取得するようにして、動画像ＭＡの全フレーム画像について処理するまでステップＳ３０〜Ｓ６０の処理を繰り返し行う。全フレーム画像について処理を行っていた場合（Ｙｅｓ）、図３に示した処理を終了する。
【００９１】
なお、ステップＳ１０およびＳ３０がフレーム画像取得工程、ステップＳ２０が特徴画像取得工程、ステップＳ２１１が特徴画像記憶工程、ステップＳ４０９が特徴画像追加工程、ステップＳ４０が特徴領域探索工程に相当する。
【００９２】
図９は、特徴領域探索処理により得られる類似度の一例を示している。図９に示したグラフでは、横軸にフレーム番号ｎ、縦軸に探索して得られた類似度Ｒｍａｘを示している。以下、図９を用いて、本実施形態の画像処理装置２の処理例について説明する。まず、動画像ＭＡからフレーム画像Ｆ（１）を取得すると、テンプレート抽出処理を行い、最初のフレーム画像であるフレーム画像Ｆ（１）からテンプレートＴＰ（１）を取得する。なお、フレーム画像Ｆ（１）については、テンプレートマッチングを行うことなく、テンプレートＴＰ（１）を取得した位置を特徴領域の位置Ｐ（１）とするので、図９には類似度Ｒｍａｘの値を示していない。フレーム番号２以降については、テンプレートＴＰ（１）を用いてテンプレートマッチングを行う。図の例では、フレーム番号２において、テンプレート抽出処理により得られたテンプレートＴＰ（１）を用いて、類似度Ｒｍａｘには閾値γより大きな値を得ている。そして、フレーム番号ｎを進めるにつれて、動画像に写った物体などの変形、照明の変動またはノイズなど様々な要因のために、テンプレートＴＰ（１）による類似度Ｒｍａｘの値は減少し続けて、フレーム番号５においては閾値γより小さい値となっている。類似度Ｒｍａｘが閾値γより小さくなると、注目フレーム画像ＦＣから新たなテンプレートＴＰを抽出する処理を行う。
【００９３】
図１０は、注目フレーム画像ＦＣ（フレーム画像Ｆ（５））からテンプレートＴＰを新たに取得する処理の一例を示した図である。図９にフレーム画像Ｆ（５）について類似度Ｒｍａｘの値を得ているように、フレーム画像Ｆ（５）を注目フレーム画像ＦＣとしたときについても、テンプレートマッチングを行うことにより注目フレーム画像ＦＣの特徴領域は得られている。しかし、図１０の例に示すように、テンプレートＴＰに写っている人物像の姿勢が変化しているために、図９ではフレーム画像Ｆ（５）において、閾値γより大きな類似度Ｒｍａｘが得られていない。こうした場合には、注目フレーム画像ＦＣから特徴領域に対応する領域の画像を抽出して、新たなテンプレートＴＰとすることによりテンプレートＴＰに写っている人物像の変化に対応するテンプレートＴＰを取得する。新たに取得したテンプレートＴＰはテンプレートＴＰ（１）として登録する。このとき、図１０にも示しているように、フレーム画像Ｆ（５）以前のテンプレートマッチングにおいてのＴＰ（１）を、番号を１つ繰り上げてＴＰ（２）として登録する。
【００９４】
図９に戻り、フレーム番号６については、新たに取得したテンプレートＴＰ（１）を用いてテンプレートマッチングを行う。ここで、テンプレートＴＰ（１）は、フレーム番号５のフレーム画像Ｆ（５）から新たに取得したテンプレートＴＰであるので、フレーム画像Ｆ（５）に連続するフレーム画像Ｆ（６）においては再び大きな類似度Ｒｍａｘの値を得ることができる。フレーム番号６以降のフレーム画像Ｆについては、テンプレートＴＰ（１）によるテンプレートマッチングを行うものの、類似度Ｒｍａｘは少しずつ減少して、フレーム番号１０において閾値γ以下となっている。したがって、フレーム画像Ｆ（１０）においては、フレーム画像Ｆ（５）で取得したテンプレートＴＰ（１）が適合しなくなったといえる。ここで、テンプレート記憶部１０２にはテンプレートＴＰ（１）以外にフレーム画像Ｆ（１）で取得されたテンプレートＴＰ（２）が記憶しているので、テンプレートＴＰ（２）を用いることができないかを判断する。すなわち、テンプレートＴＰ（２）を用いて注目フレーム画像とのテンプレートマッチングを行い、図９に示すようにテンプレートＴＰ（２）を用いて閾値γより大きな類似度Ｒｍａｘが得られた場合には、テンプレートＴＰ（２）による探索の結果を特徴領域の位置Ｐ（１０）とする。テンプレートＴＰ（２）を用いても閾値γより大きな類似度Ｒｍａｘが得ることができなかった場合には、注目フレーム画像ＦＣ（フレーム画像Ｆ（１０））より新たなテンプレートＴＰを取得して、テンプレートＴＰ（１）として登録する。登録しているテンプレート数が閾値δ以上である場合には、テンプレート番号が最も大きいテンプレート、すなわち最も過去に記憶したテンプレートＴＰを削除してから、新たなテンプレートＴＰを登録することになる。
【００９５】
以上に述べたように、本実施形態の画像処理装置２では、動画像ＭＡから最初のフレーム画像Ｆ（１）を取得すると、フレーム画像（１）のエッジ度合および特徴点を参照してテンプレートＴＰを取得し、テンプレートＴＰを用いて動画像ＭＡにおけるテンプレートマッチングを行う。また、注目フレーム画像ＦＣに適切なテンプレートＴＰがない場合には、注目フレーム画像ＦＣの特徴領域から新たにテンプレートＴＰを取得するようにして、取得した複数のテンプレートＴＰを用いてテンプレートＴＰに写る物体の動きを追跡している。
【００９６】
以下、本実施形態における効果を記載する。
（１）動画像ＭＡからフレーム画像Ｆ（１）を取得すると、フレーム画像Ｆ（１）のエッジに基づく判断を行って、テンプレートＴＰを抽出するようにしているので、ユーザはテンプレートＴＰを指定する必要がない。したがって、ユーザがテンプレートＴＰを指定することなく、動画像における物体の追跡を容易に開始することができる。
【００９７】
（２）フレーム画像Ｆ（１）からテンプレートＴＰを抽出する処理においては、画素値の勾配を表すエッジ度合を用いて特徴領域を得るようにしているので、画素値の勾配がより大きい、すなわちエッジが鮮明に現れている領域からテンプレートＴＰを抽出する。エッジが鮮明に現れているテンプレートＴＰを用いるので、テンプレートマッチングにおいて大きな類似度Ｒの値を得ることができるようになり、マッチングの精度が高まる。したがって、動画像において物体の追跡をより精度良く行うことができるようになる。
【００９８】
（３）また、エッジが鮮明に出ている領域は、動画像の撮影時において撮像装置のフォーカスを合わせた領域である可能性が高いので、エッジ度合を用いて特徴領域を得ることにより撮影時に注目している被写体の画像がテンプレートＴＰとなる可能性が高まる。したがって、ユーザが追跡する領域を指定することなく、撮影時に注目していた被写体の動きを追跡することができるようになる。
【００９９】
（４）エッジ度合から抽出した特徴点の数およびエッジ度合の平均値からフレーム画像Ｆ（１）の特徴領域を得るようにしているので、フレーム画像Ｆ（１）に写った特徴的な領域の位置を追跡することができるようになる。
【０１００】
（５）登録しているテンプレートＴＰにより閾値γより大きな類似度Ｒｍａｘを得ることができなかった場合には、注目フレーム画像ＦＣより新たなテンプレートＴＰを取得するので、動画像において、追跡する物体が時間の経過につれて変形していたとしても、変形に対応するテンプレートＴＰを登録している可能性が高まる。テンプレートマッチングにおいて追跡する物体の変形・変化に対応できるようになるので、より精度良く追跡できることになる。
【０１０１】
（６）テンプレートＴＰ（１）により閾値γより大きな類似度Ｒｍａｘが得られず、複数のテンプレートＴＰが登録されていた場合には、複数のテンプレートＴＰのうち、最も大きい類似度を求めたテンプレートＴＰによる結果を用いるようにした。ここで、登録されているテンプレートＴＰは、それぞれが異なるフレーム画像Ｆから取得したものであり、テンプレートＴＰごとの違いにはフレーム画像に写った物体の変形、照明の変動またはノイズなどの影響が含まれている。したがって、複数のテンプレートＴＰのうち、適切なテンプレートを用いてテンプレートマッチングを行うことにより、適切なフレーム画像に写った物体の変形、照明の変動またはノイズなどの影響を少なくすることとなり、より精度良く追跡できることになる。
【０１０２】
（７）登録されているテンプレート数が閾値δより大きくならないように、最も過去に記憶したテンプレートＴＰから削除するようにした管理を行っているため、処理に必要となるテンプレートＴＰを残しながらテンプレートＴＰを記憶するために要する記憶領域の容量を抑えることができる。また、最も過去に記憶したテンプレートＴＰは、注目フレーム画像ＦＣ以降の画像についても、類似度Ｒｍａｘが閾値γより大きくなる可能性は小さいので、テンプレートマッチングの演算に要する処理量を効率よく減らすことができる。
【０１０３】
（８）特徴領域の位置Ｐ（ｎ）を中心としてフレーム画像ＦＫを切り出すことによって、フレーム画像Ｆ（１）で抽出したテンプレートＴＰに写っている物体を中央に捉えて写している動画像を出力することができる。
【０１０４】
以上、本発明の一実施形態について説明したが、本発明はこれに限られることなく、様々な形態とすることもできる。以下、本発明の変形例について説明する。
【０１０５】
（変形例１）前記実施形態では、特徴領域の位置Ｐ（ｎ）を算出したが、次式に従って特徴領域の位置データからフレーム画像Ｆ（ｎ）における動きベクトルＶ（ｎ）を算出することもできる。
Ｖ（ｎ）＝Ｐ（ｎ）−Ｐ（ｎ−１）  …（２）
第１の変形例によれば、フレーム画像Ｆ（ｎ）において、テンプレートＴＰに写った物体の動きベクトルＶ（ｎ）を取得することができる。動きベクトルＶ（ｎ）は、動画像が含んでいる撮影者の手ぶれなどの成分を補正する処理、動画像データを圧縮する処理などの様々な用途の処理に用いることができる。
【０１０６】
（変形例２）前記実施形態では、複数のテンプレートＴＰのうち、閾値γより大きい類似度Ｒｍａｘを算出した最初のテンプレートによる追跡を行った。第２の変形例では、注目フレーム画像ＦＣに対して、登録されている全テンプレートについて、テンプレートマッチングによる追跡を行う。そして、最大の類似度Ｒｍａｘが得られたテンプレートを用いたマッチングの結果から、注目フレーム画像ＦＣにおける特徴領域を決定する。このようにすれば、前記実施形態に比較して演算量が増大するものの、最も類似度が高いテンプレートによる動き追跡を確実に行うことができるようになるので、より追跡の精度が良くなる。
【０１０７】
（変形例３）前記実施形態では、ステップＳ４０８において、最も過去に登録したテンプレートＴＰを削除した。削除する順番としては、これに限られることなく、例えば、類似度Ｒが最も小さいテンプレートＴＰを削除するとしてもよいし、特徴領域の位置Ｐに採用されなかった期間が最も長いテンプレートＴＰを削除するようにしても良い。
【０１０８】
（変形例４）前記実施形態では、ＣＰＵ１０が画像処理プログラムを実行することにより画像処理装置として機能させたように、処理をソフトウェアにより実現する一例について説明した。画像処理装置２は、ハードウェア回路により実現するとしてもよい。例えば、図２に示したフレーム画像取得部１００、テンプレート抽出部１０１、テンプレート記憶部１０２、特徴領域探索部１０３、テンプレート追加部１０４、画像切出部１０５および動画像出力部１０６がもつ機能をＡＳＩＣ(Application Specific Integrated Circuit)などのハードウェア回路により実現するとしてもよい。もちろん、一部の機能をハードウェア回路にもたせて、ハードウェア回路がもたない機能はソフトウェアにより実現するようにしてもよい。
【０１０９】
（変形例５）前記実施形態における画像処理装置は、汎用のコンピュータで構成するようにしたが、本発明はこれに限定されるものでなく、モバイルコンピュータやワークステーションなどで構成するようにしてもよい。あるいは、デジタルカメラやビデオカメラ、ＤＶＤ録画再生機、またはビデオプロジェクタやＴＶ、あるいは携帯電話など、動画像を記録又は再生できる機器や、時系列順で静止画像を記録又は再生できる種々の機器に、本発明の画像処理装置２を組み込んで構成するようにしてもよい。
【図面の簡単な説明】
【０１１０】
【図１】本実施形態に係る画像処理装置のハードウェア構成を示した図。
【図２】画像処理装置としての構成を示した図。
【図３】画像処理装置が行う処理の流れを示すフローチャート。
【図４】テンプレート抽出処理の処理の流れを示すフローチャート。
【図５】各種のパターンフィルタを示した図。
【図６】テンプレート抽出処理の処理の一例を示した図。
【図７】特徴領域探索処理の処理の流れを示すフローチャート。
【図８】テンプレートマッチングを説明するための図。
【図９】特徴領域探索処理により得られる類似度の一例を示した図。
【図１０】テンプレートを新たに取得する処理を説明するための図。
【符号の説明】
【０１１１】
１…コンピュータ、２…画像処理装置、１０…ＣＰＵ、１１…ＲＯＭ、１２…ＲＡＭ、１３…ハードディスク、１４…ＣＤ−ＲＯＭドライブ、１５…入力インターフェイス、１６…出力インターフェイス、１７…バス、２０…デジタルビデオカメラ、２１…ＤＶＤプレーヤ、３０…ビデオプロジェクタ、３１…ディスプレイ、４０…記録媒体としてのＣＤ−ＲＯＭ、５０…エッジ度合データ、５１…エッジ検出データ、５２…特徴点データ、５３…分割領域データ、１００…フレーム画像取得部、１０１…特徴画像抽出部としてのテンプレート抽出部、１０２…特徴画像記憶部としてのテンプレート記憶部、１０３…特徴領域追跡部としての特徴領域探索部、１０４…特徴画像追加部としてのテンプレート追加部、１０５…画像切出部、１０６…動画像出力部、１１０…エッジ画素抽出部、１１１…特徴点抽出部、１１２…画像分割部、Ｆ…フレーム画像、ＦＣ…注目フレーム画像、ＴＰ…特徴画像としてのテンプレート、ＦＫ…切り出したフレーム画像、ＭＡ…入力動画像、Ｎ…テンプレート番号、ｎ…フレーム番号、Ｐ…特徴領域の位置、Ｒ…類似度、Ｒｍａｘ…最大の類似度、α…第１の閾値としての閾値、β…第２の閾値としての閾値、γ…第３の閾値としての閾値、δ…第４の閾値としての閾値。
【図１】
2006276948.tif 000003
【図２】
2006276948.tif 000004
【図３】
2006276948.tif 000005
【図４】
2006276948.tif 000006
【図５】
2006276948.tif 000007
【図６】
2006276948.tif 000008
【図７】
2006276948.tif 000009
【図８】
2006276948.tif 000010
【図９】
2006276948.tif 000011
【図１０】
2006276948.tif 000012