(57)【特許請求の範囲】
【請求項１】
ユーザの操作に対応して、画像上の所定の点を追尾点として追尾する追尾手段と、
前記画像上の移動するオブジェクトの数より多く、前記画像の画素数よりも少ない、前記追尾点の候補としての追尾点候補を、前記画像上に表示させる表示制御手段と、
ユーザの操作に対応して、前記追尾点候補を、前記追尾手段の次のフレームにおける前記追尾点として設定する設定手段と
を備える画像処理装置。
【請求項２】
前記表示制御手段は、前記追尾点候補を均一に前記画像上に表示させる
請求項１に記載の画像処理装置
【請求項３】
前記表示制御手段は、前記追尾点候補を不均一に前記画像上に表示させる
請求項１に記載の画像処理装置。
【請求項４】
前記画像上の前記オブジェクトの領域を検出する検出手段
をさらに備え、
前記表示制御手段は、前記検出手段による検出結果に基づいて、前記オブジェクトの領域内の前記追尾点候補を、前記オブジェクトの領域以外の領域内の前記追尾点候補に比べて密に表示させる
請求項３に記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記検出手段による検出結果に基づいて、前記画像上に等間隔に設けられた点のうちの所定の間隔おきの点である判定点のうち、前記オブジェクトの領域内の前記判定点と、前記判定点以外の点とを前記追尾点候補として表示させる
請求項４に記載の画像処理装置。
【請求項６】
前記表示制御手段は、ユーザの操作の履歴に基づいて、前記画像における現在の前記追尾点が過去の前記追尾点から所定の範囲内にあるとき、前記現在の追尾点から所定の範囲内の前記追尾点候補を密に表示させる
請求項３に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記追尾点候補の追尾に対する信頼度に基づいて、前記追尾点候補を表示させる
請求項３に記載の画像処理装置。
【請求項８】
前記表示制御手段は、ユーザの操作に対応して、前記画像のうちの前記追尾点付近の画像のズーム画像上に前記追尾点候補を表示させる場合、表示される前記追尾点候補の数が所定数以上となるように、前記画像上に前記追尾点候補を表示させる場合に前記追尾点付近の画像に表示される前記追尾点候補より、前記追尾点候補を増加させる
請求項１に記載の画像処理装置。
【請求項９】
画像上の追尾点を追尾する追尾処理を行う画像処理装置が、
ユーザの操作に対応して、前記画像上の所定の点を前記追尾点として追尾する追尾ステップと、
前記画像上の移動するオブジェクトの数より多く、前記画像の画素数よりも少ない、前記追尾点の候補としての追尾点候補を、前記画像上に表示させる表示制御ステップと、
ユーザの操作に対応して、前記追尾点候補を、次のフレームにおける前記追尾点として設定する設定ステップと
を含む画像処理方法。
【請求項１０】
ユーザの操作に対応して、画像上の所定の点を追尾点として追尾する追尾手段と、
前記画像上の移動するオブジェクトの数より多く、前記画像の画素数よりも少ない、前記追尾点の候補としての追尾点候補を、前記画像上に表示させる表示制御手段と、
ユーザの操作に対応して、前記追尾点候補を、前記追尾手段の次のフレームにおける前記追尾点として設定する設定手段と
を備える画像処理装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、ユーザが、所望の追尾点を簡便に指示することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画像においてユーザが指示した対象を追尾(トラッキング)する方法としては、従来から多くの方法が提案されている。
【０００３】
それらの方法の中で、追尾対象を限定せずに汎用性を持たせる方法としては、最初に追尾開始点として追尾対象内の点をユーザが指示し、追尾装置が、その追尾対象を全自動で追尾する方法が特に一般的である。
【０００４】
しかしながら、実際には、例えば、画像中の追尾対象が大きく変形して剛体仮定が成立しなくなる、オクルージョンが発生するといった様々な外乱により、全自動による追尾を長時間にわたって継続することは困難である。従って、適宜、ユーザが追尾点を修正する必要がある。
【０００５】
そして、ユーザが追尾開始点や追尾修正点としての追尾点を指示する操作を動画像に対して行うことは、非常に困難であるため、この操作の簡便化を目的とする方法が提案されている。このような方法としては、例えば、オブジェクトを抽出し、そのオブジェクト内の点を追尾点の候補としてＮ択表示させる方法がある(例えば、特許文献１参照)。
【０００６】
【特許文献１】特開２００７−２７４５４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した特許文献１に記載されている方法では、オブジェクトの抽出性能が追尾点の指示に大きく影響する。例えば、様々な外乱により抽出することができないオブジェクトが存在する場合、そのオブジェクト内の点は追尾点候補として表示されず、ユーザは、その点を追尾点として指示することができない。
【０００８】
また、オブジェクトの抽出では、一般的にオブジェクトと推定されるものが優先して抽出される傾向があるが、多くのユーザにとって追尾する必要がないオブジェクトであっても、一部のユーザとっては重要な追尾すべきオブジェクトである場合がある。従って、このような場合、一部のユーザにとっては、追尾すべきオブジェクト内の点を追尾点として指示することができないことがある。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、ユーザが、所望の追尾点を簡便に指示することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面は、ユーザの操作に対応して、画像上の所定の点を追尾点として追尾する追尾手段と、前記画像上の移動するオブジェクトの数より多く、前記画像の画素数よりも少ない、前記追尾点の候補としての追尾点候補を、前記画像上に表示させる表示制御手段と、ユーザの操作に対応して、前記追尾点候補を、前記追尾手段の次のフレームにおける前記追尾点として設定する設定手段とを備える画像処理装置である。
【００１１】
本発明の一側面は、画像上の追尾点を追尾する追尾処理を行う画像処理装置が、ユーザの操作に対応して、前記画像上の所定の点を前記追尾点として追尾する追尾ステップと、前記画像上の移動するオブジェクトの数より多く、前記画像の画素数よりも少ない、前記追尾点の候補としての追尾点候補を、前記画像上に表示させる表示制御ステップと、ユーザの操作に対応して、前記追尾点候補を、次のフレームにおける前記追尾点として設定する設定ステップとを含む画像処理方法である。
【００１２】
本発明の一側面は、ユーザの操作に対応して、画像上の所定の点を追尾点として追尾する追尾手段と、前記画像上の移動するオブジェクトの数より多く、前記画像の画素数よりも少ない、前記追尾点の候補としての追尾点候補を、前記画像上に表示させる表示制御手段と、ユーザの操作に対応して、前記追尾点候補を、前記追尾手段の次のフレームにおける前記追尾点として設定する設定手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１３】
本発明の一側面においては、ユーザの操作に対応して、画像上の所定の点が追尾点として追尾され、画像上の移動するオブジェクトの数より多く、画像の画素数よりも少ない、追尾点の候補としての追尾点候補が、画像上に表示され、ユーザの操作に対応して、追尾点候補が、次のフレームにおける追尾点として設定される。
【発明の効果】
【００１４】
以上のように、本発明の一側面によれば、ユーザが、所望の追尾点を簡便に指示することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明を適用した追尾システムにおける動作モードの遷移を示している。
【００１６】
図１に示すように、追尾システムにおける動作モードとしては、ノーマルモード１１、追尾処理モード１２、および追尾点指示モード１３の３つが設けられている。
【００１７】
ノーマルモード１１は、画像を通常再生する動作モードである。ノーマルモード１１において、ユーザが追尾の開始を指示すると、動作モードは、ノーマルモード１１から追尾処理モード１２に遷移する。
【００１８】
追尾処理モード１２は、ユーザが指示した追尾点を起点として追尾を行う動作モードである。追尾処理モード１２において、ユーザが追尾点の修正を指示すると、動作モードは、追尾処理モード１２から追尾点指示モード１３に遷移する。一方、追尾処理モード１２において、ユーザが追尾の終了を指示すると、動作モードは、追尾処理モード１２からノーマルモード１１に遷移する。
【００１９】
追尾点指示モード１３は、画像上の移動するオブジェクトの数より多く、画像の画素数よりも少ない、追尾点の候補としての追尾点候補を画像上に表示させ、その画像上でユーザが追尾点として指示した追尾点候補を、次のフレームにおける追尾点として設定する動作モードである。
【００２０】
追尾点指示モード１３において、ユーザにより追尾点候補が新たな追尾点として指示されると、追尾点の修正が完了したと判断され、動作モードは、追尾点指示モード１３から追尾処理モード１２に遷移する。なお、ユーザにより追尾点の指示が行われずに所定時間が経過した場合も、動作モードが、追尾点指示モード１３から追尾処理モード１２に遷移するようにしてもよい。
【００２１】
一方、追尾点指示モード１３において、ユーザが追尾の終了を指示すると、動作モードは、追尾点指示モード１３からノーマルモード１１に遷移する。
【００２２】
次に、図２乃至図７を参照して、各動作モードで表示される画像の例について説明する。
【００２３】
ノーマルモード１１では、図２に示すように、再生画像２１がそのまま表示される。追尾処理モード１２と追尾点指示モード１３では、表示モードとして枠ズームモードと実ズームモードが設けられており、ユーザは、２つの表示モードのいずれかを選択することができる。
【００２４】
追尾処理モード１２では、表示モードが枠ズームモードである場合、図３に示すように、再生画像２１が等倍表示されるとともに、追尾点２２と、その追尾点２２を中心としたズーム枠２３が、OSD（On Screen Display）表示される。なお、ズーム枠２３は、ズーム対象とする領域の大きさおよび位置を表すものであり、追尾点２２の位置とズーム率に基づいて決定される。一方、表示モードが実ズームモードである場合、図４に示すように、追尾点２２に対応するズーム枠２３内の再生画像２１のズーム画像３１が表示される。
【００２５】
追尾点指示モード１３では、表示モードが枠ズームモードである場合、図５に示すように、再生画像２１が等倍表示されるとともに、現在の追尾点２２およびズーム枠２３と追尾点候補４１がOSD表示される。図５の例では、追尾点候補４１は、再生画像２１上に均一に５×７個設けられている。追尾点指示モード１３では、ユーザが、追尾点２２を追尾点候補４１単位で移動して決定を指示することにより、所望の追尾点候補４１を新たな追尾点２２として指示することができる。
【００２６】
例えば、図６に示すように、ユーザが、追尾点２２を左に３回移動させ、上に２回移動させて決定を指示すると、図７に示すように、追尾点２２の位置が、左から２番目で上から２番目の追尾点候補４１の位置に変更される。また、その追尾点２２の位置に対応して、ズーム枠２３の位置も変更される。
【００２７】
なお、図示は省略するが、追尾点指示モード１３において、表示モードが実ズームモードである場合、枠ズームモードの場合と同様に、図４のズーム画像３１に追尾点２２と追尾点候補４１が表示される。
【００２８】
以上のように、追尾点指示モード１３では、画像上の移動するオブジェクトの数より多く、画像の画素数よりも少ない追尾点候補が表示され、ユーザは、表示された追尾点候補のうちの所望の追尾点候補を追尾点として指示することができるので、ユーザは所望の追尾点を簡便に指示することができる。
【００２９】
これに対して、画像上の移動するオブジェクトの数だけ追尾点候補が表示される場合、例えば、様々な外乱により抽出することができないオブジェクトが存在したり、追尾すべきオブジェクトが一部のユーザにとってだけ重要なものであるために抽出されない場合、ユーザが所望の追尾点を指示することができないことがある。
【００３０】
また、画素単位で追尾点が指示可能である場合、追尾点の細かい調整を行うことができるというメリットがある。
【００３１】
しかしながら、その反面、例えば、ユーザが、静止画像ではなく、オブジェクトが移動し続けるような動画像に対して追尾点を指示する場合や、内容を熟知しており、リアルタイムに再生される画像の内容を先読みして追尾点を指示可能な画像ではなく、初めてまたは数回しか視聴したことがない画像に対して追尾点を指示する場合、画素単位の精度で追尾点とする点を選択することは困難であるため、所望の追尾点を指示することが難しい。
【００３２】
図８は、本発明を適用した追尾システムの一実施の形態の構成例を示している。
【００３３】
図８の追尾システム５０は、再生装置５１、操作装置５２、画像処理装置５３、および表示装置５４により構成され、図１で説明した動作モードに応じて、再生装置５１により再生される画像に対して処理を行い、処理結果を表示装置５４に表示させる。
【００３４】
具体的には、再生装置５１は、例えば、DVD(Digital Versatile Disc)プレイヤなどからなり、DVD等の記録媒体から画像を再生し、その画像をフレーム単位で再生画像として画像処理装置５３に入力する。
【００３５】
操作装置５２は、例えば、リモートコントローラなどからなり、ユーザからの操作を受け付ける。具体的には、例えば、ユーザは、操作装置５２を用いてカーソル操作を行うことにより、図６に示したように、追尾点２２を追尾点候補単位で移動させ、所望の追尾点候補４１を追尾点として指示する。このとき、操作装置５２は、ユーザからのカーソル操作や追尾点の指示操作を受け付ける。そして、操作装置５２は、ユーザからの操作の内容を表す操作情報を画像処理装置５３に入力する。
【００３６】
画像処理装置５３は、制御部６１、追尾処理部６２、出力パラメータ制御部６３、出力画像生成部６４、追尾点候補制御部６５、および表示画像生成部６６により構成される。
【００３７】
制御部６１は、操作装置５２から入力される操作情報に応じて、各部を制御する。具体的には、制御部６１は、操作情報に応じて、ユーザにより指示された追尾開始点の再生画像上の位置や新たな追尾点として指示された追尾点候補の再生画像上の位置を表す追尾点指示情報またはズーム率を表す制御情報を追尾処理部６２の追尾制御部７２（後述する）に供給する。また、制御部６１は、操作情報に応じて動作モードや表示モードを設定する。
【００３８】
追尾処理部６２は、追尾点抽出部７１と追尾制御部７２により構成され、追尾処理モード時に起動する。
【００３９】
追尾点抽出部７１は、追尾点を追尾する追尾処理を行う。具体的には、追尾点抽出部７１は、再生装置５１から入力される再生画像を１フレーム分保持する。そして、追尾点抽出部７１は、いま再生装置５１から入力された再生画像、および、それより１フレーム前の保持されている再生画像と、追尾制御部７２から供給される追尾点の再生画像上の位置を表す追尾点情報とに基づいて、追尾点の動きベクトルを求め、いま再生装置５１から入力された再生画像内の追尾点の再生画像上の位置を検出する。そして、追尾点抽出部７１は、追尾処理により検出された追尾点の再生画像上の位置を表す現在追尾点情報を追尾制御部７２に供給する。
【００４０】
追尾制御部７２は、制御部６１から供給される制御情報が表すズーム率と、追尾点抽出部７１から供給される現在追尾点情報とに基づいて、ズーム枠を決定する。そして、追尾制御部７２は、ズーム枠の位置と大きさを表すズーム枠情報を出力パラメータ制御部６３に供給する。
【００４１】
また、追尾制御部７２は、制御部６１から供給される制御情報が表す追尾点指示情報に対応する追尾開始点または追尾点候補、もしくは現在追尾点情報に対応する追尾点を、追尾点抽出部７１の次のフレームの再生画像における追尾点として決定する。そして、追尾制御部７２は、その追尾点の追尾点情報を追尾点抽出部７１に供給する。さらに、追尾制御部７２は、枠ズームモード時に、現在追尾点情報とズーム枠情報を表示画像生成部６６に供給する。
【００４２】
出力パラメータ制御部６３は、追尾処理モードおよび追尾点指示モード時に起動する。出力パラメータ制御部６３は、実ズームモード時に、追尾制御部７２から供給されるズーム枠情報を、出力画像の生成に必要なパラメータ（以下、出力パラメータという）として出力画像生成部６４に供給する。
【００４３】
出力画像生成部６４は、ノーマルモード時および枠ズームモード時に、再生装置５１から入力される再生画像をそのまま出力画像として表示画像生成部６６に供給する。また、出力画像生成部６４は、実ズームモード時に、出力パラメータ制御部６３から供給される出力パラメータとしてのズーム枠情報に基づいて、再生画像に対してDRC(Dynamic Range Compression)処理などを行うことにより、ズーム画像を生成する。そして、出力画像生成部６４は、そのズーム画像を出力画像として表示画像生成部６６に供給する。
【００４４】
追尾点候補制御部６５は、追尾点指示モード時に起動する。追尾点候補制御部６５は、予め用意されている、追尾点候補の出力画像上の位置を表す追尾点候補情報を表示画像生成部６６に供給する。なお、予め用意されている追尾点候補情報は、出力画像上の等間隔の位置を表している。従って、追尾システム５０では、追尾点候補は出力画像上に均一に表示される。
【００４５】
表示画像生成部６６は、枠ズームモード時に、追尾制御部７２から供給される現在追尾点情報およびズーム枠情報に基づいて、出力画像生成部６４から供給される出力画像に、追尾点とズーム枠のOSD画像を重畳する。さらに、動作モードが追尾点指示モードであるとき、表示画像生成部６６は、追尾点候補制御部６５から供給される追尾点候補情報に基づいて、追尾点とズーム枠のOSD画像が重畳された出力画像に、追尾点候補のOSD画像を重畳する。
【００４６】
また、表示画像生成部６６は、追尾点指示モードにおける実ズームモード時に、追尾点候補制御部６５から供給される追尾点候補情報に基づいて、出力画像に追尾点候補のOSD画像を重畳するとともに、出力画像の中心付近の追尾点候補の位置に追尾点のOSD画像を重畳する。
【００４７】
そして、表示画像生成部６６は、出力画像そのものまたは重畳後の出力画像を、表示画像として、テレビジョン受像機などよりなる表示装置５４に出力して、表示させる。
【００４８】
次に、図９のフローチャートを参照して、図８の画像処理装置５３による画像処理について説明する。この画像処理は、例えば、再生装置５１から１フレームの再生画像が入力されたとき開始される。
【００４９】
ステップＳ１１において、制御部６１は、現在の動作モードが追尾処理モードであるかどうかを判定する。ステップＳ１１で、現在の動作モードが追尾処理モードであると判定された場合、ステップＳ１２において、画像処理装置５３は、追尾点を追尾する追尾処理モード処理を行う。この追尾処理モード処理の詳細は、後述する図１０のフローチャートを参照して説明する。
【００５０】
一方、ステップＳ１１で、現在の動作モードが追尾処理モードではないと判定された場合、ステップＳ１３において、制御部６１は、現在の動作モードが追尾点指示モードであるかどうかを判定する。ステップＳ１３で、現在の動作モードが追尾点指示モードであると判定された場合、ステップＳ１４において、画像処理装置５３は、ユーザにより指示された追尾点候補を追尾点として設定する追尾点指示モード処理を行う。この追尾点指示モード処理の詳細は、後述する図１１のフローチャートを参照して説明する。
【００５１】
また、ステップＳ１３で、現在の動作モードが追尾点指示モードではないと判定された場合、即ち現在の動作モードがノーマルモードである場合、ステップＳ１５において、画像処理装置５３は、再生画像をそのまま表示画像として表示装置５４に表示させるノーマルモード処理を行う。このノーマルモード処理の詳細は、後述する図１２のフローチャートを参照して説明する。
【００５２】
次に、図１０のフローチャートを参照して、図９のステップＳ１２の追尾処理モード処理の詳細について説明する。
【００５３】
ステップＳ３１において、追尾点抽出部７１は、いま再生装置５１から入力された再生画像、および、それより１フレーム前の保持されている再生画像と、追尾制御部７２から供給される追尾点情報とに基づいて、追尾処理を行う。そして、追尾点抽出部７１は、その結果得られる現在追尾点情報を追尾制御部７２に供給する。
【００５４】
ステップＳ３２において、追尾制御部７２は、追尾点抽出部７１から供給される現在追尾点情報と、制御部６１から供給される制御情報が表すズーム率とに基づいて、ズーム枠を決定する。そして、追尾制御部７２は、その結果得られるズーム枠情報を出力パラメータ制御部６３に供給する。
【００５５】
ステップＳ３３において、出力パラメータ制御部６３は、現在の表示モードが実ズームモードであるかどうかを判定する。ステップＳ３３で、現在の表示モードが実ズームモードであると判定された場合、出力パラメータ制御部６３は、追尾制御部７２から供給されるズーム枠情報を、出力パラメータとして出力画像生成部６４に供給する。
【００５６】
そして、ステップＳ３４において、出力画像生成部６４は、出力パラメータ制御部６３から供給される出力パラメータとしてのズーム枠情報に基づいて、再生画像からズーム画像を生成する。そして、出力画像生成部６４は、そのズーム画像を出力画像として表示画像生成部６６に供給する。
【００５７】
ステップＳ３５において、表示画像生成部６６は、出力画像生成部６４から供給される出力画像そのものを表示画像として表示装置５４に出力して表示させ、処理はステップＳ３９に進む。
【００５８】
一方、ステップＳ３３で、現在の表示モードが実ズームモードではないと判定された場合、即ち現在の表示モードが枠ズームモードであると判定された場合、ステップＳ３６において、追尾制御部７２は、現在追尾点情報とズーム枠情報を表示画像生成部６６に供給する。
【００５９】
ステップＳ３７において、出力画像生成部６４は、再生装置５１から入力される再生画像をそのまま出力画像として表示画像生成部６６に出力する。ステップＳ３８において、表示画像生成部６６は、追尾制御部７２から供給される現在追尾点情報とズーム枠情報に基づいて、出力画像に追尾点とズーム枠のOSD画像を重畳して表示画像を生成し、表示装置５４に表示させる。そして、処理はステップＳ３９に進む。
【００６０】
ステップＳ３９において、制御部６１は、操作装置５２から供給される操作情報に応じて、ユーザにより追尾処理の終了が指示されたかどうかを判定する。ステップＳ３９で、追尾処理の終了が指示されたと判定された場合、ステップＳ４０において、制御部６１は、現在の動作モードをノーマルモードに設定する。そして、処理は図９のステップＳ１２に戻り、終了する。
【００６１】
一方、ステップＳ３９で、制御部６１は、追尾処理の終了が指示されていないと判定された場合、ステップＳ４１において、操作装置５２から供給される操作情報に応じて、ユーザにより追尾点の修正が指示されたかどうかを判定する。
【００６２】
ステップＳ４１で追尾点の修正が指示されたと判定された場合、ステップＳ４２において、制御部６１は、現在の動作モードを追尾点指示モードに設定し、処理はステップＳ４３に進む。
【００６３】
一方、ステップＳ４１で追尾点の修正が指示されていないと判定された場合、処理はステップＳ４３に進む。ステップＳ４３において、制御部６１は、操作装置５２から供給される操作情報に応じて、ユーザにより表示モードの変更が指示されたかどうかを判定する。
【００６４】
ステップＳ４３で、表示モードの変更が指示されたと判定された場合、ステップＳ４４において、制御部６１は、現在の表示モードを実ズームモードおよび枠ズームモードの一方から他方に変更する。そして、処理は図９のステップＳ１２に戻って終了する。
【００６５】
また、ステップＳ４３で、表示モードの変更が指示されていないと判定された場合、ステップＳ４４の処理は行われず、処理は図９のステップＳ１２に戻って終了する。
【００６６】
次に、図１１のフローチャートを参照して、図９のステップＳ１４の追尾点指示モード処理の詳細について説明する。
【００６７】
ステップＳ６１において、追尾点候補制御部６５は、予め用意されている追尾点候補情報を表示画像生成部６６に出力し、処理はステップＳ６２に進む。ステップＳ６２において、出力パラメータ制御部６３は、現在の表示モードが実ズームモードであるかどうかを判定する。
【００６８】
ステップＳ６２で、現在の表示モードが実ズームモードであると判定された場合、出力パラメータ制御部６３は、追尾制御部７２から供給されるズーム枠情報を、出力パラメータとして出力画像生成部６４に供給する。そして、ステップＳ６３において、出力画像生成部６４は、出力パラメータ制御部６３から供給される出力パラメータに基づいて、再生画像からズーム画像を生成する。そして、出力画像生成部６４は、そのズーム画像を出力画像として表示画像生成部６６に供給する。
【００６９】
ステップＳ６４において、表示画像生成部６６は、追尾点候補制御部６５から供給される追尾点候補情報に基づいて、出力画像生成部６４から供給される出力画像に追尾点と追尾点候補のOSD画像を重畳して表示画像を生成し、表示装置５４に表示させる。そして、処理はステップＳ６７に進む。
【００７０】
一方、ステップＳ６２で、現在の表示モードが実ズームモードではないと判定された場合、即ち、現在の表示モードが枠ズームモードである場合、ステップＳ６５において、出力画像生成部６４は、再生装置５１から入力される再生画像をそのまま出力画像として表示画像生成部６６に出力する。
【００７１】
ステップＳ６６において、表示画像生成部６６は、追尾制御部７２から供給された最近の現在追尾点情報およびズーム枠情報と、追尾点候補制御部６５から供給される追尾点候補情報とに基づいて、出力画像に追尾点、ズーム枠、および追尾点候補のOSD画像を重畳して表示画像を生成し、表示装置５４に表示させる。そして、処理はステップＳ６７に進む。
【００７２】
ステップＳ６７において、制御部６１は、操作装置５２からの操作情報に応じて、追尾処理の終了が指示されたかどうかを判定する。ステップＳ６７で、追尾処理の終了が指示されたと判定された場合、ステップＳ６８において、制御部６１は、現在の動作モードをノーマルモードに設定する。そして、処理は図９のステップＳ１４に戻り、終了する。
【００７３】
一方、ステップＳ６７で、追尾処理の終了が指示されていないと判定された場合、ステップＳ６９において、制御部６１は、操作装置５２から供給される操作情報に応じて、ユーザにより表示画像上の追尾点候補が追尾点として指示されたかどうかを判定する。
【００７４】
ステップＳ６９で、表示画像上の追尾点候補が追尾点として指示されたと判定された場合、制御部６１は、その追尾点候補の追尾点指示情報を表す制御情報を追尾制御部７２に供給する。そして、ステップＳ７０において、追尾制御部７２は、この追尾点指示情報に対応する追尾点候補を、次のフレームにおける追尾点として設定する。そして、追尾制御部７２は、追尾点指示情報を追尾点情報として追尾点抽出部７１に供給する。
【００７５】
ステップＳ７１において、制御部６１は、現在の動作モードを追尾処理モードに設定し、処理はステップＳ７２に進む。一方、ステップＳ６９で、表示画像上の追尾点候補が追尾点として指示されていないと判定された場合、処理はステップＳ７２に進む。ステップＳ７２およびＳ７３の処理は、図１０のステップＳ４３およびＳ４４の処理と同様であるので、説明は省略する。ステップＳ７３の処理後、処理は図９のステップＳ１４に戻り、終了する。
【００７６】
次に、図１２のフローチャートを参照して、図９のステップＳ１５のノーマルモード処理の詳細について説明する。
【００７７】
ステップＳ９１において、出力画像生成部６４は、再生装置５１から入力される再生画像をそのまま出力画像として表示画像生成部６６に出力する。ステップＳ９２において、表示画像生成部６６は、出力画像生成部６４から供給される出力画像を、そのまま表示画像として表示装置５４に表示させる。
【００７８】
ステップＳ９３において、制御部６１は、操作装置５２から供給される操作情報に応じて、追尾処理の開始が指示されたかどうかを判定する。ステップＳ９３で、追尾処理の開始が指示されたと判定された場合、制御部６１は、操作情報に応じて、ユーザから追尾処理の開始の指示とともに指示された追尾開始点の追尾点指示情報を表す制御情報を、追尾制御部７２に供給する。
【００７９】
そして、ステップＳ９４において、制御部６１は、現在の動作モードを追尾処理モードに設定し、処理は図９のステップＳ１５に戻り、終了する。一方、ステップＳ９３で、追尾処理の開始が指示されていないと判定された場合、処理は図９のステップＳ１５に戻り、終了する。
【００８０】
なお、上述した説明では、追尾点候補は、再生画像によらず、予め決定されている位置に均一に配置されたが、再生画像に応じて配置されるようにしてもよい。このような場合の追尾システムの構成例を図１３に示す。
【００８１】
図１３の追尾システム１００は、再生装置５１、操作装置５２、表示装置５４、および画像処理装置１０１により構成される。この追尾システム１００では、再生画像の特徴量、実ズームモード時のズーム枠情報、追尾処理のアルゴリズム性能、および追尾点指示モードにおける再生画像に対する操作の履歴に応じて、追尾点候補が配置される。従って、追尾システム１００では、再生画像が再生装置５１から入力されず、再生画像が真っ黒な画像とされる場合などの特殊な場合でない限り、基本的には追尾点候補が不均一に配置される。
【００８２】
なお、図１３において、図８と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
【００８３】
図１３において、画像処理装置１０１は、出力画像生成部６４、表示画像生成部６６、制御部１１１、追尾処理部１１２、追尾点候補処理部１１３、編集履歴処理部１１４、および出力パラメータ制御部１１５により構成される。
【００８４】
制御部１１１は、操作装置５２から入力される操作情報に応じて、各部を制御する。具体的には、制御部１１１は、操作情報に応じて、追尾点指示情報またはズーム率を表す制御情報を、追尾処理部１１２の追尾制御部１２２（後述する）に供給する。また、制御部１１１は、操作情報に応じて動作モードや表示モードを設定する。さらに、制御部１１１は、操作情報を設定情報抽出部１４３に供給する。
【００８５】
追尾処理部１１２は、追尾点抽出部１２１と追尾制御部１２２により構成され、追尾処理モード時および追尾点指示モード時に起動する。追尾点抽出部１２１は、動作モードが追尾処理モードである場合、図８の追尾点抽出部７１と同様に、再生装置５１から入力される再生画像と、追尾制御部１２２から供給される追尾点情報とに基づいて追尾処理を行う。そして、追尾点抽出部１２１は、その結果得られる現在追尾点情報を追尾制御部１２２に供給する。
【００８６】
また、追尾点抽出部１２１は、動作モードが追尾点指示モードである場合、追尾点候補制御部１３３により決定された仮の追尾点候補の全てに対して、その追尾点候補が追尾点として指示されたときに追尾処理が正確に行われるかどうかの信頼性を判定するための定量値としての信頼度を算出する。
【００８７】
具体的には、追尾点抽出部１２１は、再生装置５１から入力される再生画像と、追尾制御部１２２から供給される、追尾点候補制御部１３３により決定された全ての仮の追尾点候補の再生画像上の位置を表す再生追尾点候補情報とに基づいて、各追尾点候補が追尾点として指示されたときに正確な動きベクトルが求められるかどうかの信頼性を表す、動きベクトルの信頼度を、追尾点候補ごとに算出する。この動きベクトルの信頼度は、後述する追尾点候補制御部１３３が、追尾処理のアルゴリズム性能に応じて最終的な追尾点候補を決定するために用いられる。
【００８８】
なお、動きベクトルの信頼度を算出する方法としては、どのような方法が用いられてもよいが、例えば、動きベクトルに対応する２つの再生画像内のブロック間の一致度を表す評価値と、再生画像の複雑さの特徴量を表すアクティビティとを表すベクトル確度を信頼度として算出する方法などがある。このベクトル確度の算出の詳細については、特開２００５−３１０９８４号公報に記載されている。
【００８９】
追尾点抽出部１２１は、算出された追尾点候補ごとの信頼度を追尾制御部１２２に供給する。追尾制御部１２２は、図８の追尾制御部７２と同様に、制御部１１１から供給される制御情報が表すズーム率と、追尾点抽出部１２１から供給される現在追尾点情報とに基づいてズーム枠を決定し、ズーム枠情報を出力パラメータ制御部１１５に供給する。
【００９０】
また、追尾制御部１２２は、追尾制御部７２と同様に、制御部１１１から供給される制御情報が表す追尾点指示情報に対応する追尾開始点または追尾点候補、もしくは現在追尾点情報に対応する追尾点を、追尾点抽出部１２１の次のフレームの再生画像における追尾点として決定する。そして、追尾制御部１２２は、その追尾点の追尾点情報を追尾点抽出部７１に供給する。
【００９１】
さらに、追尾制御部１２２は、追尾制御部７２と同様に、枠ズームモード時に、現在追尾点情報とズーム枠情報を表示画像生成部６６に供給する。
【００９２】
また、追尾制御部１２２は、追尾点候補制御部１３３から供給される全ての仮の追尾点候補の再生追尾点候補情報を、追尾点抽出部１２１に供給する。さらに、追尾制御部１２２は、追尾点抽出部１２１から供給される仮の追尾点候補ごとの信頼度を追尾点候補制御部１３３に供給する。
【００９３】
追尾点候補処理部１１３は、画像特徴量抽出部１３１、追尾点候補生成部１３２、および追尾点候補制御部１３３により構成され、追尾点指示モード時に起動する。
【００９４】
画像特徴量抽出部１３１は、再生装置５１から連続して入力される２フレーム分の再生画像を用いて、ブロックマッチングなどを行い、再生画像の特徴量として、再生画像上に所定のサンプリング間隔ごとに設けられた各サンプリング点の動きベクトルを求める。この動きベクトルは、追尾点候補生成部１３２が再生画像の特徴量に応じて追尾点候補を決定するために用いられる。画像特徴量抽出部１３１は、求められた動きベクトルを追尾点候補生成部１３２に供給する。
【００９５】
追尾点候補生成部１３２は、画像特徴量抽出部１３１から供給される動きベクトルに基づいて追尾点候補の位置を決定し、その追尾点候補の再生追尾点候補情報を追尾点候補制御部１３３に供給する。また、追尾点候補生成部１３２は、追尾点候補制御部１３３からの追尾点候補の位置の決定のやり直しの指令に応じて、追尾点候補の位置を決定し直し、その結果得られる再生追尾点候補情報を追尾点候補制御部１３３に供給する。
【００９６】
追尾点候補制御部１３３は、実ズームモード時に、追尾点候補生成部１３２から供給される再生追尾点候補情報と、出力パラメータ制御部１１５から供給される出力パラメータとしてのズーム枠情報に基づいて、追尾点候補の位置の決定のやり直しを追尾点候補制御部１２２に指令し、追尾点候補の配置を変更する。
【００９７】
また、追尾点候補制御部１３３は、編集履歴処理部１１４の編集履歴判定部１４４（後述する）から供給される、再生画像に対する操作の履歴としての、追尾点を指示するための操作が行われた回数である操作回数とズーム枠情報に基づいて、追尾点候補生成部１３２から供給される再生追尾点候補情報に対応する追尾点候補から、仮の追尾点候補を決定する。
【００９８】
そして、追尾点候補制御部１３３は、仮の追尾点候補の再生追尾点候補情報を追尾制御部１２２に供給する。その結果、その再生追尾点候補情報に対応する仮の追尾点候補の信頼度が、仮の追尾点候補ごとに追尾点抽出部１２１により算出され、その信頼度が追尾点候補制御部１３３に供給される。追尾点候補制御部１３３は、追尾点候補制御部１３３から供給される仮の追尾点候補ごとの信頼度に基づいて、仮の追尾点候補から最終的な追尾点候補を決定する。
【００９９】
ここで、動きベクトルの信頼度は、追尾処理のアルゴリズム性能によって異なるため、追尾処理のアルゴリズム性能に応じて、仮の追尾点候補から最終的な追尾点候補が決定されるといえる。追尾点候補制御部１３３は、最終的な追尾点候補の追尾点候補情報を表示画像生成部６６に供給する。
【０１００】
編集履歴処理部１１４は、画像特徴量抽出部１４１、編集履歴記録部１４２、設定情報抽出部１４３、および編集履歴判定部１４４により構成され、追尾点指示モード時に起動する。
【０１０１】
画像特徴量抽出部１４１は、再生装置５１から入力される再生画像から、フレームごとの編集履歴用の特徴量を抽出し、編集履歴記録部１４２と編集履歴判定部１４４に供給する。
【０１０２】
なお、編集履歴用の特徴量としては、例えば、再生画像の空間方向の輝度値の分布パターンの特徴、フレーム間輝度差分絶対値の空間方向の分布パターンの特徴、フレーム間輝度差分絶対値の空間方向の分布パターンの、さらに時間差分の特徴などを表すものがある。
【０１０３】
編集履歴記録部１４２は、画像特徴量抽出部１４１から供給されるフレームごとの特徴量と、設定情報抽出部１４３から供給される、そのフレームに対してユーザが追尾点の移動先として指示した追尾点候補の再生画像上の位置を表す追尾点移動情報とズーム率を表す設定情報とを対応付けたテーブルを、編集履歴テーブルとして記録する。
【０１０４】
設定情報抽出部１４３は、制御部１１１から供給される操作情報に基づいて設定情報を生成し、その設定情報を編集履歴記録部１４２と編集履歴判定部１４４に供給する。
【０１０５】
編集履歴判定部１４４は、編集履歴記録部１４２に記録されている編集履歴テーブルに登録されている特徴量のうち、画像特徴量抽出部１４１から供給される特徴量と同一の特徴量を検索する。そして、編集履歴判定部１４４は、設定情報抽出部１４３から供給される設定情報と、編集履歴テーブルから検索された特徴量に対応する設定情報とに基づいて、設定情報抽出部１４３からの設定情報に対応するズーム枠（以下、現在ズーム枠という）が、検索された設定情報に対応するズーム枠（以下、過去ズーム枠という）と重複しているかどうかを判定する。
【０１０６】
編集履歴判定部１４４は、その判定結果に応じて、編集履歴テーブルから検索された特徴量の数を操作回数として、追尾点候補制御部１３３に供給するとともに、現在ズーム枠のズーム枠情報を追尾点候補制御部１３３に供給する。
【０１０７】
出力パラメータ制御部１１５は、図８の出力パラメータ制御部６３と同様に、追尾処理モードおよび追尾点指示モード時に起動する。出力パラメータ制御部１１５は、出力パラメータ制御部６３と同様に、実ズームモード時に、追尾制御部１２２から供給されるズーム枠情報を出力パラメータとして出力画像生成部６４に供給する。また、出力パラメータ制御部１１５は、追尾制御部１２２から供給されるズーム枠情報を出力パラメータとして、追尾点候補制御部１３３に供給する。
【０１０８】
次に、図１４乃至図１９を参照して、図１３の追尾点候補生成部１３２による再生画像の特徴量に応じた追尾点候補の配置について説明する。
【０１０９】
例えば、再生装置５１から図２に示した再生画像２１が入力されると、画像特徴量抽出部１３１は、再生画像２１上にサンプリング間隔（Ｓv,x，Ｓv,y）ごとに設けられたサンプリング点（図１４中の黒点）における動きベクトル（Ｖx，Ｖy）（但し、Ｖx，Ｖyは整数）を求め、追尾点候補生成部１３２に供給する。
【０１１０】
そして、追尾点候補生成部１３２は、画像特徴量抽出部１３１から供給される動きベクトル（Ｖx，Ｖy）の頻度分布を算出する。具体的には、例えば、求めうる動きベクトル（Ｖx，Ｖy）の範囲が、-32＜Ｖx＜32，-32＜Ｖy＜32である場合、追尾点候補生成部１３２には、動きベクトル（Ｖx，Ｖy）の各値に対応する65(=32+1+32)×65個のカウンタが用意されている。
【０１１１】
追尾点候補生成部１３２は、画像特徴量抽出部１３１から供給される動きベクトル（Ｖx，Ｖy）の値に対応するカウンタの値を１つずつインクリメントする。例えば、画像特徴量抽出部１３１から供給される動きベクトル（Ｖx，Ｖy）の値が(10,10)である場合、追尾点候補生成部１３２は、（10,10）に対応するカウンタの値を１だけインクリメントする。従って、追尾点候補生成部１３２は、各カウンタの値により、動きベクトル（Ｖx，Ｖy）の頻度分布を認識することができる。
【０１１２】
そして、追尾点候補生成部１３２は、この頻度分布と動きベクトル（Ｖx，Ｖy）に基づいて、再生画像２１内の移動するオブジェクトの領域であるオブジェクト領域を検出する。
【０１１３】
具体的には、追尾点候補生成部１３２は、例えば、図１５に示すように、動きベクトル（Ｖx，Ｖy）の各値が所定の閾値より大きく、動きベクトル（Ｖx，Ｖy）の頻度が再生画像２１において支配的な頻度であり、かつ、動きベクトル（Ｖx，Ｖy）に対応するサンプリング点が所定数以上密集している場合、その動きベクトル（Ｖx，Ｖy）に対応するサンプリング点（図１５中の丸）を、オブジェクト領域に存在するサンプリング点として決定する。
【０１１４】
一方、追尾点候補生成部１３２は、まず、追尾点候補を初期化し、図１６に示すように、追尾点候補（図１６中の丸と四角）が再生画像２１上に均一に配置させる。なお、図１６の例では、初期化された追尾点候補の間隔（ＳD,x，ＳD,y）は、サンプリング間隔（Ｓv,x，Ｓv,y）と同一である。従って、初期化された追尾点候補の配置は、サンプリング点の配置と同一である。
【０１１５】
次に、追尾点候補生成部１３２は、初期化された追尾点候補を１つおきに、オブジェクト判定の対象(判定点)とする。即ち、図１６の例では、図中四角で表される追尾点候補が、オブジェクト判定の対象となり、図中丸で表される追尾点候補が、オブジェクト判定の対象とならない。なお、オブジェクト判定とは、判定対象の追尾点候補がオブジェクト領域に存在するかどうかの判定である。
【０１１６】
追尾点候補生成部１３２は、オブジェクト判定により、判定対象の追尾点候補がオブジェクト領域に存在すると判定された場合、その追尾点候補を残し、オブジェクト領域に存在しない、即ち、オブジェクト領域以外の領域である背景領域に存在すると判定された場合、その追尾点候補を削除する。
【０１１７】
これにより、図１７に示すように、図１６中の四角で表される判定対象の追尾点候補のうちの、オブジェクト領域内に存在するもの、即ち、図１５中の丸で表されるサンプリング点と同一の位置にあるもの（図１７中の四角）が追尾点候補として残される。また、図１７に示すように、判定対象とならなかった追尾点候補（図１６中の丸）も追尾点候補として残される。そして、追尾点候補生成部１３２は、図１８中四角で表す残された追尾点候補の再生追尾点候補情報を追尾点候補制御部１３３に供給する。
【０１１８】
この後、例えば、追尾点候補制御部１３３が、追尾点候補生成部１３２から供給される追尾点候補をそのまま最終的な追尾点候補に決定すると、図１９に示すように、再生画像２１上に不均一に追尾点候補１５１がOSD表示される。具体的には、オブジェクト領域内の追尾点候補１５１が、背景領域内の追尾点候補１５１に比べて密に配置される。
【０１１９】
このように、オブジェクト領域内には追尾点候補１５１が密に配置されるので、一般的に追尾すべき対象である可能性が高いオブジェクトにおいて、ユーザは細かい精度で追尾点を指示することができる。また、背景領域にも追尾点候補１５１が表示されるので、オブジェクト領域の検出精度が悪い場合や、一般的なユーザにとって追尾すべき対象ではないオブジェクト以外のものを追尾したい場合であっても、ユーザは所望の追尾点を指示することができる。その結果、ユーザの利便性が向上する。
【０１２０】
次に、図２０と図２１を参照して、図１３の追尾点候補制御部１３３による実ズームモード時のズーム枠情報に応じた追尾点候補の配置について説明する。
【０１２１】
表示モードが実ズームモードである場合、追尾点候補制御部１３３は、まず、追尾点候補生成部１３２から供給される再生追尾点候補情報が表す位置と、出力パラメータとしてのズーム枠情報とに基づいて、追尾点候補情報を決定する。
【０１２２】
具体的には、例えば、図１８に示した追尾点候補の再生追尾点候補情報が追尾点候補生成部１３２から供給される場合、追尾点候補制御部１３３は、図２０に示すように、ズーム枠情報に基づいて、再生追尾点候補情報に対応する追尾点候補のうちの、ズーム枠内の追尾点候補の間隔をズーム率に応じた間隔に変更する。
【０１２３】
例えば、ズーム率が、ｘ方向（水平方向）に２倍となり、ｙ方向（垂直方向）に３倍となるズーム率である場合、追尾点候補制御部１３３は、ズーム枠内の追尾点候補のｘ方向の間隔を２倍にし、ｙ方向の間隔を３倍にする。
【０１２４】
但し、図２０に示すように、出力画像１６１と間隔変更後の追尾点候補１６２の関係が、再生画像２１とズーム枠内の追尾点候補（図１８中の四角）の関係と同一になるように、間隔変更後の追尾点候補１６２の位置が決定される。
【０１２５】
これにより、表示モードが変更された場合であっても、出力画像に対する追尾点候補の位置が変更されないいため、ユーザは、表示モードの変更後も変更前と変わらない感覚で追尾点を指示することができる。
【０１２６】
追尾点候補制御部１３３は、以上のようにして間隔が変更された追尾点候補１６２の位置を、出力画像１６１上の追尾点候補の位置として、追尾点候補情報を決定する。
【０１２７】
次に、追尾点候補制御部１３３は、追尾点候補１６２の数が所定の数より少ない場合、追尾点候補生成部１３２に追尾点候補の位置の決定のやり直しを指令する。追尾点候補生成部１３２は、この指令に応じて、例えば、初期化時の追尾点候補の間隔を1/2以下にして初期化時の追尾点候補の数を増加させる。これにより、図２１に示すように、出力画像１６１上の追尾点候補１６３の数が増加し、追尾点候補１６２の数が所定の数以上になる。
【０１２８】
その結果、ズーム率が大きい場合に、追尾点候補の間隔が広過ぎることにより、ユーザが所望の追尾点を指示することができなくなることを防止することができる。
【０１２９】
なお、追尾点候補の位置の決定のやり直しの判定には、追尾点候補の数ではなく、ズーム率が用いられるようにしてもよい。この場合、制御部１１１から追尾点候補制御部１３３には、ズーム率を表す制御情報が供給される。
【０１３０】
次に、図２２乃至図２７を参照して、図１３の追尾点候補制御部１３３による再生画像に対する操作の履歴に応じた追尾点候補の配置について説明する。
【０１３１】
まず、図２２Ａに示すように、ユーザの指示により再生装置５１から画像が初めて再生され、再生時刻ｔ1から再生時刻ｔ2までの再生画像が再生されている間、追尾点指示モードとされる場合について説明する。
【０１３２】
この場合、再生時刻ｔ1から再生時刻ｔ2までの再生画像に対してまだ操作が行われていないため、図２２Ｂに示すように、再生時刻ｔ1から再生時刻ｔ2までの間の各フレームを注目フレームとしたときの注目フレームにおける仮の追尾点候補１８１は、追尾点候補生成部１３２により決定された追尾点候補そのものとなる。
【０１３３】
そして、ユーザが、図２２Ｂに示すように、注目フレームの出力画像に表示された最終的な追尾点候補のうちの、右側のオブジェクトの周辺の所望の追尾点候補に追尾点１８２を移動させると、その追尾点１８２の追尾点移動情報とズーム率が設定情報として生成され、各注目フレームの特徴量とともに編集履歴テーブルに登録される。なお、図２２Ｂに示したズーム枠１８３は、追尾点１８２とズーム率に基づいて決定される。
【０１３４】
その後、図２３Ａに示すように、再生時刻ｔ3から再生時刻ｔ4までの再生画像が再生されている間、動作モードが追尾点指示モードとされる。この場合も、図２２の場合と同様に、再生時刻ｔ3から再生時刻ｔ4までの再生画像に対してまだ操作が行われていないため、図２３Ｂに示すように、再生時刻ｔ3から再生時刻ｔ4までの間の各フレームを注目フレームとしたときの注目フレームにおける仮の追尾点候補１９１は、追尾点候補生成部１３２により決定された追尾点候補そのものとなる。
【０１３５】
そして、ユーザが、図２３Ｂに示すように、注目フレームの出力画像に表示された最終的な追尾点候補のうちの、左側のオブジェクトの周辺の所望の追尾点候補に追尾点１９２を移動させると、図２２の場合と同様に、編集履歴テーブルには、各注目フレームの特徴量とともに、追尾点１９２の追尾点移動情報とズーム率を表す設定情報が登録される。なお、図２３Ｂに示したズーム枠１９３は、追尾点１９２とズーム率に基づいて決定される。
【０１３６】
次に、ユーザが巻き戻し再生を指示し、図２４Ａに示すように、再生装置５１から、同一の画像の再生時刻ｔ11（ｔ1＜ｔ11＜ｔ2）から再生時刻ｔ12（ｔ11＜ｔ12＜ｔ2）までの間のフレームが再生される。このとき、再生時刻ｔ13（ｔ11＜ｔ13＜ｔ12）から再生時刻ｔ14（ｔ13＜ｔ14＜ｔ12）までの再生画像が再生されている間、動作モードが追尾点指示モードとされる。
【０１３７】
そして、ユーザは、追尾点指示モードにおいて、再生時刻ｔ13から再生時刻ｔ14までの間の各フレームを注目フレームとしたときの注目フレームの右側のオブジェクトの周辺の最終的な追尾点候補に追尾点を移動させる。
【０１３８】
この場合、再生時刻ｔ13から再生時刻ｔ14までの間の再生画像に対しては、既に１回の操作が行われている。また、その操作は、右側のオブジェクトの周辺の追尾点候補に追尾点を移動させるための操作であるため、図２４Ｂに示すように、今回の再生時に注目フレームの１つ前のフレームで移動された追尾点２０１とズーム率に基づいて決定される現在ズーム枠２０２が、注目フレームに対する１回目の操作で移動された追尾点２０３の追尾点移動情報と１回目の操作時のズーム率を表す設定情報に対応する過去ズーム枠２０４と重複している。即ち、現在ズーム枠２０２が過去ズーム枠２０４から所定の範囲内にある。
【０１３９】
なお、図２４Ｂの例では、今回の再生時の注目フレームの１つ前のフレームにおけるズーム率は、注目フレームに対する１回目の操作時に比べて大きく設定されており、現在ズーム枠２０２は、過去ズーム枠２０４に比べて小さくなっている。
【０１４０】
図２４Ｂに示すように、現在ズーム枠２０２が過去ズーム枠２０４と重複している場合、ユーザは現在ズーム枠２０２および過去ズーム枠２０４付近のオブジェクト領域に強い関心があると判断されるため、編集履歴判定部１４４は、注目フレームに対する操作回数としての１回と、現在ズーム枠２０２のズーム枠情報を追尾点候補制御部１３３に供給する。
【０１４１】
追尾点候補制御部１３３は、この操作回数とズーム枠情報とに基づいて、図２４Ｂに示すように、追尾点候補生成部１３２により決定された追尾点候補のうちの、現在ズーム枠２０２付近にある右側のオブジェクト領域内の隣接する追尾点候補どうしの中間に新たな追尾点候補を生成し、仮の追尾点候補２０５に含める。その結果、仮の追尾点候補２０５の現在ズーム枠２０２付近のオブジェクト領域内の密度は、そのオブジェクト領域内における追尾点候補生成部１３２により決定された追尾点候補の密度の２倍となる。
【０１４２】
また、ユーザは、注目フレームに対して右側のオブジェクトの周辺の最終的な追尾点候補を追尾点２０１の移動先として指示しているので、編集履歴テーブルには、注目フレームの特徴量とともに、追尾点２０１の追尾点移動情報とズーム率を表す設定情報が登録される。
【０１４３】
次に、ユーザが巻き戻し再生をさらに指示し、図２５Ａに示すように、再生装置５１から、同一の画像の再生時刻ｔ21（ｔ13＜ｔ21＜ｔ14）から再生時刻ｔ22（ｔ14＜ｔ22＜ｔ2）までの間のフレームが再生される。このとき、再生時刻ｔ21から再生時刻ｔ23（ｔ14＜ｔ23＜ｔ22）までの再生画像が再生されている間、動作モードが追尾点指示モードとされる。
【０１４４】
そして、ユーザは、追尾点指示モードにおいて、再生時刻ｔ21から再生時刻ｔ23までの間の各フレームを注目フレームとしたときの注目フレームの右側のオブジェクトの周辺の最終的な追尾点候補に、追尾点を移動させる。
【０１４５】
この場合、再生時刻ｔ21から再生時刻ｔ14までの間の再生画像に対しては、既に２回の操作が行われている。また、その操作は、右側のオブジェクトの周辺の追尾点候補に追尾点を移動させるための操作であるため、再生時刻ｔ21から再生時刻ｔ14までの注目フレームにおいて、図２５Ｂに示すように、今回の再生時に注目フレームの１つ前のフレームで移動された追尾点２１１とズーム率に基づいて決定される現在ズーム枠２１２が、注目フレームに対する１回目の操作で移動された追尾点２１３の追尾点移動情報と１回目の操作時のズーム率を表す設定情報に対応する過去ズーム枠２１４および注目フレームの２回目の操作で移動された追尾点２１５の追尾点移動情報と２回目の操作時のズーム率を表す設定情報に対応する過去ズーム枠２１６と重複している。
【０１４６】
従って、編集履歴判定部１４４は、図２４の場合と同様に、再生時刻ｔ21から再生時刻ｔ14までの注目フレームに対する操作回数としての２回と、現在ズーム枠２１２のズーム枠情報を追尾点候補制御部１３３に供給する。
【０１４７】
追尾点候補制御部１３３では、この操作回数とズーム枠情報とに基づいて、図２５Ｂに示すように、再生時刻ｔ21から再生時刻ｔ14までの注目フレームにおける仮の追尾点候補２１７の現在ズーム枠２１２付近のオブジェクト領域内の密度が、そのオブジェクト領域内における追尾点候補生成部１３２により決定された追尾点候補の密度の３倍とされる。
【０１４８】
なお、再生時刻ｔ14から再生時刻ｔ23までの注目フレームにおいても、再生時刻ｔ21から再生時刻ｔ14までの注目フレームと同様に処理が行われるが、操作回数が１回であるため、オブジェクト領域内における追尾点候補の密度は２倍になる。
【０１４９】
また、ユーザは、注目フレームに対して右側のオブジェクトの周辺の最終的な追尾点候補を追尾点２１１の移動先として指示しているので、編集履歴テーブルには、注目フレームの特徴量とともに、追尾点２１１の追尾点移動情報とズーム率を表す設定情報が登録される。
【０１５０】
その後、図２６Ａに示すように、再生時刻ｔ31（ｔ22＜ｔ31＜ｔ2）から再生時刻ｔ32（ｔ2＜ｔ32＜ｔ3）までの再生画像が再生されている間、動作モードが追尾点指示モードとされる。そして、ユーザは、追尾点指示モードにおいて、再生時刻ｔ31から再生時刻ｔ32までの間の各フレームを注目フレームとしたときの注目フレームの左側のオブジェクトの周辺の追尾点候補に追尾点を移動させる。即ち、ユーザは、図２２および図２３に示した１回目の操作時より早いタイミングで、ズーム枠を右側から左側に変更する。
【０１５１】
この場合、再生時刻ｔ31から再生時刻ｔ2までの間の再生画像に対しては、既に１回の操作が行われている。しかしながら、その操作は、右側のオブジェクトの周辺の追尾点候補に追尾点を移動させるための操作であるため、再生時刻ｔ31から再生時刻ｔ2までの注目フレームにおいて、図２６Ｂに示すように、今回の再生時に注目フレームの１つ前のフレームで移動された追尾点２２１とズーム率に基づいて決定される現在ズーム枠２２２が、注目フレームに対する１回目の操作で移動された追尾点２２３の追尾点移動情報と１回目の操作時のズーム率を表す設定情報に対応する過去ズーム枠２２４と重複していない。
【０１５２】
このような場合、ユーザが、現在ズーム枠２２２付近のオブジェクト領域に強い関心があるとはいえないため、編集履歴判定部１４４は、何も追尾点候補制御部１３３に供給しない。その結果、図２６Ｂに示すように、再生時刻ｔ31から再生時刻ｔ2までの注目フレームにおける仮の追尾点候補２２５は、その注目フレームに対して何も操作が行われてない場合と同様に、追尾点候補生成部１３２により決定された追尾点候補そのものとなる。
【０１５３】
なお、再生時刻ｔ2から再生時刻ｔ32までの注目フレームにおいては、何も操作が行われていないため、再生時刻ｔ31から再生時刻ｔ2までの注目フレームと同様に、追尾点候補生成部１３２により決定された追尾点候補そのものとなる。
【０１５４】
また、ユーザは、注目フレームに対して左側のオブジェクトの周辺の最終的な追尾点候補を追尾点２２１の移動先として指示しているので、編集履歴テーブルには、注目フレームの特徴量とともに、追尾点２２１の追尾点移動情報とズーム率を表す設定情報が登録される。
【０１５５】
その後、図２７Ａに示すように、再生時刻ｔ41（ｔ32＜ｔ41＜ｔ3）から再生時刻ｔ42（ｔ4＜ｔ42）までの間のフレームが再生される。このとき、再生時刻ｔ3から再生時刻ｔ43（ｔ4＜ｔ43＜ｔ42）までの再生画像が再生されている間、動作モードが追尾点指示モードとされる。
【０１５６】
そして、ユーザは、追尾点指示モードにおいて、再生時刻ｔ3から再生時刻ｔ43までの間の各フレームを注目フレームとしたときの注目フレームの左側のオブジェクトの周辺の最終的な追尾点候補に、追尾点を移動させる。
【０１５７】
この場合、再生時刻ｔ3から再生時刻ｔ4までの間の再生画像に対しては、既に１回の操作が行われている。また、その操作は、左側のオブジェクトの周辺の追尾点候補に追尾点を移動させるための操作であるため、再生時刻ｔ3から再生時刻ｔ4までの注目フレームにおいて、図２７Ｂに示すように、今回の再生時に注目フレームの１つ前のフレームで移動された追尾点２３１とズーム率に基づいて決定される現在ズーム枠２３２が、注目フレームに対する１回目の操作で移動された追尾点２３３の追尾点移動情報と１回目の操作時のズーム率を表す設定情報に対応する過去ズーム枠２３４と重複している。
【０１５８】
従って、編集履歴判定部１４４は、図２４の場合と同様に、再生時刻ｔ3から再生時刻ｔ4までの注目フレームに対する操作回数としての１回と、現在ズーム枠２３２のズーム枠情報を追尾点候補制御部１３３に供給する。
【０１５９】
追尾点候補制御部１３３では、この操作回数とズーム枠情報とに基づいて、図２７Ｂに示すように、再生時刻ｔ3から再生時刻ｔ4までの注目フレームにおける仮の追尾点候補２３５の現在ズーム枠２３２付近のオブジェクト領域内の密度が、そのオブジェクト領域内における追尾点候補生成部１３２により決定された追尾点候補の密度の２倍とされる。
【０１６０】
なお、再生時刻ｔ4から再生時刻ｔ43までの注目フレームにおいては、何も操作が行われていないため、追尾点候補生成部１３２により決定された追尾点候補そのものとなる。
【０１６１】
また、ユーザは、注目フレームに対して左側のオブジェクトの周辺の最終的な追尾点候補を追尾点２３１の移動先として指示しているので、編集履歴テーブルには、注目フレームの特徴量とともに、追尾点２３１の追尾点移動情報とズーム率を表す設定情報が登録される。
【０１６２】
以上のように、同一の再生画像に対して過去に操作が行われており、過去のズーム枠である過去ズーム枠と追尾点の修正前のズーム枠である現在ズーム枠が重複している場合、即ち、ユーザが現在ズーム枠付近のオブジェクト領域を、追尾点を指示する領域として強く関心をもっている場合、そのオブジェクト領域内の追尾点候補が１回目の操作時に比べて増加される。その結果、ユーザは、所望の点を細かい精度で追尾点として指示することができる。
【０１６３】
次に、図２８のフローチャートを参照して、図１３の画像処理装置１０１による追尾点指示モード処理について説明する。なお、この追尾点指示モード処理は、画像処理装置１０１により、画像処理装置５３と同様に行われる画像処理（図９）のステップＳ１４で行われる。
【０１６４】
ステップＳ１１１において、画像特徴量抽出部１３１は、再生装置５１から連続して入力される２フレーム分の再生画像を用いてブロックマッチングなどを行い、各サンプリング点の動きベクトルを求める。そして、画像特徴量抽出部１３１は、求められた各サンプリング点の動きベクトルを追尾点候補生成部１３２に供給する。
【０１６５】
ステップＳ１１２において、追尾点候補生成部１３２は、内蔵するカウンタを用いて、画像特徴量抽出部１３１から供給される各サンプリング点の動きベクトルに基づいて、動きベクトルの頻度分布を算出する。ステップＳ１１３において、追尾点候補生成部１３２は、動きベクトルの頻度分布に基づいて、オブジェクト領域に存在するサンプリング点を決定することにより、オブジェクト領域を検出する。
【０１６６】
ステップＳ１１４において、追尾点候補生成部１３２は、追尾点候補を初期化する。そして、追尾点候補生成部１３２は、初期化された追尾点候補を１つおきに、オブジェクト判定の対象とし、オブジェクト判定の対象とならない追尾点候補の再生追尾点候補情報を追尾点候補制御部１３３に供給する。
【０１６７】
ステップＳ１１５において、追尾点候補生成部１３２は、未判定の１つのオブジェクト判定の対象の追尾点候補を、後述するステップＳ１１６のオブジェクト判定の判定対象とする。
【０１６８】
ステップＳ１１６において、追尾点候補生成部１３２は、判定対象の追尾点候補がオブジェクト領域に存在するかどうかのオブジェクト判定を行う。ステップＳ１１６で判定対象の追尾点候補がオブジェクト領域に存在すると判定された場合、ステップＳ１１７において、追尾点候補生成部１３２は、その追尾点候補の再生追尾点候補情報を出力する。そして処理はステップＳ１１８に進む。
【０１６９】
一方、ステップＳ１１６で判定対象の追尾点候補がオブジェクト領域に存在しないと判定された場合、ステップＳ１１７の処理は行われず、処理はステップＳ１１８に進む。ステップＳ１１８において、追尾点候補生成部１３２は、未判定のオブジェクト判定の対象の追尾点候補がまだあるかどうかを判定する。ステップＳ１１８で、未判定のオブジェクト判定の対象の追尾点候補がまだあると判定された場合、ステップＳ１１５に戻り、以降の処理が繰り返される。
【０１７０】
また、ステップＳ１１８で未判定のオブジェクト判定の対象の追尾点候補がないと判定された場合、即ち、オブジェクト判定の対象の追尾点候補の全てについてステップＳ１１６のオブジェクト判定が行われた場合、処理はステップＳ１１９に進む。
【０１７１】
ステップＳ１１９において、画像処理装置１０１は、追尾点候補生成部１３２から供給される再生追尾点候補情報に基づいて、最終的な追尾点候補の追尾点候補情報を決定する追尾点候補決定処理を行う。この追尾点候補決定処理の詳細は、後述する図２９のフローチャートを参照して説明する。
【０１７２】
ステップＳ１１９の処理後、処理はステップＳ１２０に進む。ステップＳ１２０乃至Ｓ１３１の処理は、図１１のステップＳ６２乃至Ｓ７３の処理と同様であるので、説明は省略する。
【０１７３】
但し、ステップＳ１２２またはＳ１２４で追尾点のOSD画像を重畳する場合、表示画像生成部６６は、現在追尾点情報が表す位置に最終的な追尾点候補がないときには、現在追尾点情報が表す位置に最も近接する最終的な追尾点候補の位置に追尾点のOSD画像を重畳する。ステップＳ１３１の処理後、追尾点指示モード処理は終了する。
【０１７４】
なお、図９で説明したように、画像処理は１フレームの再生画像が入力されるごとに行われるので、図２８の追尾点指示モード処理もフレーム単位で行われる。従って、追尾点候補の配置は、再生画像に応じてフレーム単位で自然に変化していく。
【０１７５】
次に、図２９のフローチャートを参照して、図２８のステップＳ１１９の追尾点候補決定処理について説明する。
【０１７６】
ステップＳ１５１において、追尾点候補制御部１３３は、現在の表示モードが実ズームモードであるかどうかを判定する。
【０１７７】
ステップＳ１５１で現在の表示モードが実ズームモードであると判定された場合、ステップＳ１５２において、追尾点候補制御部１３３は、追尾点候補生成部１３２から供給される再生追尾点候補情報が表す位置と、出力パラメータとしてのズーム枠情報とに基づいて、追尾点候補情報を決定する。
【０１７８】
ステップＳ１５３において、追尾点候補制御部１３３は、ステップＳ１５２で決定された追尾点候補情報に対応する追尾点候補の数が所定の数より少ないかどうかを判定する。ステップＳ１５３で、追尾点候補の数が所定の数より少ないと判定された場合、追尾点候補制御部１３３は、追尾点候補生成部１３２に追尾点候補の位置の決定のやり直しを指令する。
【０１７９】
これにより、追尾点候補生成部１３２が、初期化時の追尾点候補の数を増加させて、図２８のステップＳ１１４乃至Ｓ１１８の処理を再度行い、再生追尾点候補情報を追尾点候補制御部１３３に供給する。その結果、その再生追尾点候補情報とズーム枠情報とに基づいて決定される追尾点候補情報に対応する追尾点候補の数が所定の数以上となる。
【０１８０】
一方、ステップＳ１５３で追尾点候補の数が所定の数より少なくないと判定された場合、ステップＳ１５４の処理は行われず、処理はステップＳ１５５に進む。また、ステップＳ１５１で現在の表示モードが実ズームモードではない、即ち現在の表示モードが枠ズームモードであると判定された場合、処理はステップＳ１５５に進む。
【０１８１】
ステップＳ１５５において、画像特徴量抽出部１４１は、再生装置５１から入力される再生画像から、フレームごとの編集履歴用の特徴量を抽出する。そして、画像特徴量抽出部１４１は、その特徴量を編集履歴記録部１４２と編集履歴判定部１４４に供給する。
【０１８２】
ステップＳ１５６において、編集履歴判定部１４４は、再生画像に対する操作の履歴があるかどうかを判定する。具体的には、編集履歴判定部１４４は、編集履歴記録部１４２の編集履歴テーブルに登録されている特徴量のうち、画像特徴量抽出部１４１から供給される再生画像の特徴量と同一の特徴量を検索する。そして、画像特徴量抽出部１４１から供給される特徴量と同一の特徴量が検索された場合、編集履歴判定部１４４は、再生画像に対する操作履歴があると判定する。
【０１８３】
ステップＳ１５６で再生画像に対する操作履歴があると判定された場合、ステップＳ１５７において、編集履歴判定部１４４は、現在ズーム枠が過去ズーム枠と重複しているかどうかを判定する。
【０１８４】
具体的には、編集履歴判定部１４４は、設定情報抽出部１４３から直前に供給された設定情報に基づいて、現在ズーム枠のズーム枠情報を決定する。また、編集履歴判定部１４４は、編集履歴テーブルから検索された特徴量に対応する設定情報に基づいて、過去ズーム枠のズーム枠情報を決定する。そして、編集履歴判定部１４４は、その現在ズーム枠と過去ズーム枠のズーム枠情報に基づいて、現在ズーム枠が過去ズーム枠と重複しているかどうかを判定する。
【０１８５】
ステップＳ１５７で現在ズーム枠が過去ズーム枠と重複していると判定された場合、ステップＳ１５８において、編集履歴判定部１４４は、再生画像の特徴量と同一の特徴量が検索された回数を操作回数として追尾点候補制御部１３３に出力するとともに、現在ズーム枠のズーム枠情報を追尾点候補制御部１３３に出力する。
【０１８６】
ステップＳ１５９において、追尾点候補制御部１３３は、編集履歴判定部１４４から供給される操作回数に応じて、現在ズーム枠付近のオブジェクト領域の追尾点候補を追加し、追加後の追尾点候補を仮の追尾点候補とする。例えば、図２４や図２７の場合のように操作回数が１回である場合、追尾点候補制御部１３３は、オブジェクト領域内の仮の追尾点候補の密度を２倍にし、図２５の場合のように操作回数が２回である場合、オブジェクト領域内の仮の追尾点候補の密度を３倍にする。そして、追尾点候補制御部１３３は、仮の追尾点候補の再生追尾点候補情報を追尾制御部１２２に供給し、処理はステップＳ１６０に進む。
【０１８７】
一方、ステップＳ１５６で再生画像に対する操作の履歴がないと判定された場合、および、ステップＳ１５７で現在ズーム枠が過去ズーム枠と重複していないと判定された場合、追尾点候補制御部１３３は、追尾点候補生成部１３２から供給される再生追尾点候補情報に対応する追尾点候補を仮の追尾点候補として、仮の追尾点候補の再生追尾点候補情報を追尾制御部１２２に供給する。そして処理はステップＳ１６０に進む。
【０１８８】
ステップＳ１６０において、追尾制御部１２２は、追尾点候補制御部１３３から供給される再生追尾点候補情報に対応する仮の追尾点候補のうちの、未処理の１つの仮の追尾点候補を、後述するステップＳ１６２の処理の処理対象とする。そして、追尾制御部１２２は、処理対象の仮の追尾点候補の再生追尾点候補情報を追尾点抽出部１２１に供給する。
【０１８９】
ステップＳ１６１において、追尾点抽出部１２１は、再生装置５１から入力される再生画像と、追尾制御部１２２から供給される処理対象の仮の追尾点候補の再生追尾点候補情報とに基づいて、処理対象の仮の追尾点候補の動きベクトルの信頼度を算出する。この追動きベクトルの信頼度は、追尾制御部１２２を介して追尾点候補制御部１３３に供給される。
【０１９０】
ステップＳ１６２において、追尾点候補制御部１３３は、追尾制御部１２２から供給される動きベクトルの信頼度が低いかどうかを判定する。ステップＳ１６２で動きベクトルの信頼度が低いと判定された場合、ステップＳ１６３において、処理対象の仮の追尾点候補を削除する。即ち、処理対象の仮の追尾点候補は、最終的な追尾点候補とならない。
【０１９１】
一方、ステップＳ１６２で動きベクトルの信頼度が高いと判定された場合、ステップＳ１６３の処理は行われない。即ち、処理対象の仮の追尾点候補は、最終的な追尾点候補となる。
【０１９２】
以上のように、仮の追尾点候補の動きベクトルの信頼度に基づいて、最終的な追尾点候補が決定されるので、ユーザは、正常に追尾される点を追尾点として容易に指示することができる。
【０１９３】
具体的には、追尾処理における動きベクトルの検出精度により、追尾点を正常に追尾することができない場合がある。例えば、追尾処理における動きベクトルの検出方法として、ブロックマッチング法が用いられる場合、ブロックの輝度差が少ないと、マッチングエラーにより誤った動きベクトルが検出され、その結果追尾点が正常に追尾されない場合がある。従って、このような動きベクトルの検出エラーが発生する領域に追尾点候補が存在する場合、ユーザが、その追尾点候補を追尾点として指示しても、追尾点が正常に追尾される可能性は非常に低い。
【０１９４】
これに対して、追尾システム１００では、仮の追尾点候補の動きベクトルの信頼度に基づいて、追尾エラーが発生する領域に存在する仮の追尾候補点を最終的な追尾点候補から削除するので、ユーザは、最終的な追尾点候補を追尾点として指示することにより、正常に追尾される点を追尾点として指示することができる。
【０１９５】
ステップＳ１６３の処理後、または、ステップＳ１６２で動きベクトルの信頼度が高いと判定された場合、ステップＳ１６４において、追尾制御部１２２は、未処理の仮の追尾点候補がまだあるかどうかを判定する。ステップＳ１６４で未処理の仮の追尾点候補がまだあると判定された場合、処理はステップＳ１６０に戻り、以降の処理が繰り返される。
【０１９６】
また、ステップＳ１６４で未処理の仮の追尾点候補がない、即ち全ての仮の追尾点候補についてステップＳ１６２の処理が行われた場合、処理はステップＳ１６５に進む。
【０１９７】
ステップＳ１６５において、追尾点候補制御部１３３は、ステップＳ１６３で削除されていない仮の追尾点候補の再生追尾点候補情報と、現在の表示モードおよびズーム枠情報とに基づいて、その仮の追尾点候補の追尾点候補情報を最終的な追尾点候補の追尾点候補情報として、表示画像生成部６６に供給する。そして、処理は図２８のステップＳ１１９に戻り、ステップＳ１２０以降の処理が行われる。
【０１９８】
なお、上述した説明では、信頼度の低い仮の追尾点候補は削除されるだけであったが、最終的な追尾点候補となる仮の追尾点候補の数が多い場合や、その仮の追尾点候補の周囲に存在する仮の追尾点候補が最終的な追尾点候補として選択される場合以外の場合には、信頼度の低い仮の追尾点候補が削除される代わりに、その仮の追尾点候補が存在するオブジェクト領域内の点が最終的な追尾点候補として追加されるようにしてもよい。
【０１９９】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２００】
図３０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ４００のハードウエアの構成例を示すブロック図である。
【０２０１】
パーソナルコンピュータ４００において、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
【０２０２】
バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、キーボード、マウス、マイクロホン、リモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部４０６、ディスプレイ、スピーカなどよりなる出力部４０７、ハードディスクや不揮発性のメモリなどよりなる記憶部４０８、ネットワークインタフェースなどよりなる通信部４０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４１１を駆動するドライブ４１０が接続されている。
【０２０３】
以上のように構成されるパーソナルコンピュータ４００では、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
【０２０４】
パーソナルコンピュータ４００のCPU４０１が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア４１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２０５】
そして、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。
【０２０６】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２０８】
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２０９】
【図１】本発明を適用した追尾システムにおける動作モードの遷移を示す図である。
【図２】ノーマルモードで表示される画像の例を示す図である。
【図３】追尾処理モードで表示される画像の例を示す図である。
【図４】追尾処理モードで表示される画像の他の例を示す図である。
【図５】追尾点指示モードで表示される画像の例を示す図である。
【図６】追尾点の変更につい説明する図である。
【図７】変更後の追尾点を示す図である。
【図８】本発明を適用した追尾システムの一実施の形態の構成例を示すブロック図である。
【図９】画像処理について説明するフローチャートである。
【図１０】図９の追尾処理モード処理について詳細に説明するフローチャートである。
【図１１】図９の追尾点指示モード処理について詳細に説明するフローチャートである。
【図１２】図９のノーマルモード処理について詳細に説明するフローチャートである。
【図１３】本発明を適用した追尾システムの他の一実施の形態の構成例を示すブロック図である。
【図１４】サンプリング点を示す図である。
【図１５】オブジェクト領域の検出について説明する図である。
【図１６】追尾点候補の初期化について説明する図である。
【図１７】追尾点候補の決定について説明する図である。
【図１８】決定された追尾点候補を示す図である。
【図１９】追尾点候補のOSD表示の例を示す図である。
【図２０】追尾点候補情報の決定について説明する図である。
【図２１】やり直し後の追尾点候補を示す図である。
【図２２】再生画像に対する操作の履歴に応じた追尾点候補の配置について説明する図である。
【図２３】再生画像に対する操作の履歴に応じた追尾点候補の配置について説明する図である。
【図２４】再生画像に対する操作の履歴に応じた追尾点候補の配置について説明する図である。
【図２５】再生画像に対する操作の履歴に応じた追尾点候補の配置について説明する図である。
【図２６】再生画像に対する操作の履歴に応じた追尾点候補の配置について説明する図である。
【図２７】再生画像に対する操作の履歴に応じた追尾点候補の配置について説明する図である。
【図２８】他の追尾点指示モード処理の詳細について説明するフローチャートである。
【図２９】図２８の追尾点候補決定処理の詳細について説明するフローチャートである。
【図３０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２１０】
５３  画像処理装置，  ６６  表示画像生成部，  ７１  追尾点抽出部，  ７２  追尾制御部，  １０１  画像処理装置，  １２１  追尾点抽出部，  １２２  追尾制御部，  １３２  追尾点候補生成部
【図１】
0004513039.tif 000002
【図２】
0004513039.tif 000003
【図３】
0004513039.tif 000004
【図４】
0004513039.tif 000005
【図５】
0004513039.tif 000006
【図６】
0004513039.tif 000007
【図７】
0004513039.tif 000008
【図８】
0004513039.tif 000009
【図９】
0004513039.tif 000010
【図１０】
0004513039.tif 000011
【図１１】
0004513039.tif 000012
【図１２】
0004513039.tif 000013
【図１３】
0004513039.tif 000014
【図１４】
0004513039.tif 000015
【図１５】
0004513039.tif 000016
【図１６】
0004513039.tif 000017
【図１７】
0004513039.tif 000018
【図１８】
0004513039.tif 000019
【図１９】
0004513039.tif 000020
【図２０】
0004513039.tif 000021
【図２１】
0004513039.tif 000022
【図２２】
0004513039.tif 000023
【図２３】
0004513039.tif 000024
【図２４】
0004513039.tif 000025
【図２５】
0004513039.tif 000026
【図２６】
0004513039.tif 000027
【図２７】
0004513039.tif 000028
【図２８】
0004513039.tif 000029
【図２９】
0004513039.tif 000030
【図３０】
0004513039.tif 000031