(57)【要約】【課題】映像表示装置の負荷を抑え、かつ滑らかな物体追跡結果を表示可能とする映像表示装置を提供する。【解決手段】取得した映像フレームを画面に表示する映像表示装置であって、映像フレームのうち第１の映像フレーム中の対象物を検出し、当該検出結果から、第１の映像フレームの取得時から所定フレーム後又は所定時間後の第１の時刻に取得する第２の映像フレーム中の、対象物の第１の予測位置を含む第１の予測パラメータを生成する画像処理部102と、第１の予測パラメータから、第１の映像フレーム中の対象物の始点位置から第１の予測位置に向かう追跡画像を生成するスクリプト処理部103と、第１の映像フレームから第２の映像フレームに、対応する追跡画像を重ね合わせた合成画像を生成する合成部104と、合成画像を表示する表示部105とを備える。【選択図】図１
2011221800.tif 000002
【特許請求の範囲】
【請求項１】
取得した映像フレームを表示する映像表示装置であって、
前記映像フレームのうち第１の映像フレーム中の対象物を検出し、当該検出結果から、前記第１の映像フレームの取得時から所定フレーム後又は所定時間後の第１の時刻に取得する第２の映像フレーム中の、前記対象物の第１の予測位置を含む第１の予測パラメータを生成する画像処理部と、
前記第１の予測パラメータから、前記第１の映像フレーム中の前記対象物の始点位置から前記第１の予測位置に向かう追跡画像を生成するスクリプト処理部と、
前記第１の映像フレームから前記第２の映像フレームに、対応する前記追跡画像を重ね合わせた合成画像を生成する合成部と、
前記合成画像を表示する表示部と、
を備えることを特徴とする映像表示装置。
【請求項２】
前記画像処理部は、前記第１の映像フレーム取得時と前記第１の時刻との間の第２の時刻に取得した第３の映像フレーム中の前記対象物を検出し、当該検出結果から前記第２の映像フレーム中の前記対象物の第２の予測位置を含む第２の予測パラメータを生成し、
前記スクリプト処理部は、前記第２の予測位置と前記第１の予測位置とのズレが所定の閾値を超える場合、前記第３の映像フレーム中の前記対象物の位置から前記第２の映像フレーム中の前記第２の予測位置に向かう追跡画像を生成し、
前記合成部は、前記第３の映像フレームから前記第２の映像フレームに、対応する前記追跡画像を重ね合わせた合成画像を生成することを特徴とする
請求項１記載の映像表示装置。
【請求項３】
前記画像処理部が、取得した映像フレームから前記対象物を所定の時間検出できない場合、前記スクリプト処理部は、前記追跡画像の生成を終了することを特徴とする
請求項2記載の映像表示装置。
【請求項４】
前記画像処理部は、前記始点位置から前記第１の予測位置まで、前記対象物がどのように動くかを示す動きパターンを更に含む予測パラメータを生成し、
前記スクリプト処理部は、前記動きパターンにしたがって前記追跡画像を生成することを
特徴とする請求項１記載の映像表示装置。
【請求項５】
前記画像処理部は、前記検出した対象物固有の対象物ＩＤを更に含む予測パラメータを生成することを特徴とする請求項４記載の映像表示装置。
【請求項６】
取得した映像フレームを表示する映像表示装置に表示させる映像表示方法であって、
画像処理部が、前記映像フレームのうち第１の映像フレーム中の対象物を検出し、当該検出結果から、前記第１の映像フレームの取得時から所定フレーム後又は所定時間後の第１の時刻に取得する第２の映像フレーム中の、前記対象物の第１の予測位置を含む第１の予測パラメータを生成する画像処理ステップと、
スクリプト処理部が、前記第１の予測パラメータから、前記第１の映像フレーム中の前記対象物の始点位置から前記第１の予測位置に向かう追跡画像を生成するスクリプト処理ステップと
合成部が、前記第１の映像フレームから前記第２の映像フレームに、対応する前記追跡画像を重ね合わせた合成画像を生成する合成ステップと
表示部が、前記合成画像を表示する表示ステップと、
を含むことを特徴とする映像表示方法。
【請求項７】
コンピュータを、取得した映像フレームを映像表示装置の画面に表示する映像表示手段として機能させる映像表示プログラムであって、
コンピュータを、
前記映像フレームのうち第１の映像フレーム中の対象物を検出し、当該検出結果から、前記第１の映像フレームの取得時から所定フレーム又は所定時間後の第１の時刻に取得する第２の映像フレーム中の、前記対象物の第１の予測位置を含む第１の予測パラメータを生成する画像処理手段、
前記第１の予測パラメータから、前記第１の映像フレーム中の前記対象物の始点位置から第１の予測位置に向かう追跡画像を生成するスクリプト処理手段、
前記第1の映像フレームから前記第２の映像フレームに、対応する前記追跡画像を重ね合わせた合成画像を生成する合成手段、
前記合成画像を表示する表示手段、
として機能させることを特徴とする映像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置、映像表示方法及び映像表示プログラムに関する。
【背景技術】
【０００２】
従来から、映像表示装置には、動画とグラフィックの連動による物体追跡技術を適用したものがある。この物体追跡技術は、動画上のある物体を追跡する場合に動画上のある物体の位置等を検出し、検出した位置に、例えば矩形画像である追跡画像を生成し、動画と追跡画像とを重ね合わせて表示させる技術である。
【０００３】
この物体追跡技術を応用したものとしては、例えば、車両検出技術が知られている。車両検出技術は、車載カメラにおいて車両検出し、車両の追跡結果を示す図形を描画する技術である（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１９３１３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、画像処理部が動画1フレーム毎に物体位置等を検出してから、描画部が検出結果に基づき追跡画像を描画している。このため、画像処理部から描画部への物体の検出結果を通知する回数が多くなり、映像表示装置の負荷が大きくなる。
【０００６】
そこで、フレームを間引いて物体位置等の検出を行い、検出結果に基づいて追跡画像を描画すると、映像表示装置の負荷を低減することはできるが、追跡画像は飛び飛びに表示され、連続的でなくなるという問題がある。
【０００７】
本発明は、係る課題を解決するために、映像表示装置の負荷を抑え、かつ滑らかな物体追跡結果を表示可能とする映像表示装置、映像表示方法及び映像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一観点に係る映像表示装置は、取得した映像フレームを表示する映像表示装置であって、前記映像フレームのうち第１の映像フレーム中の対象物を検出し、当該検出結果から、前記第１の映像フレームの取得時から所定フレーム後又は所定時間後の第１の時刻に取得する第２の映像フレーム中の、前記対象物の第１の予測位置を含む第１の予測パラメータを生成する画像処理部と、前記第１の予測パラメータから、前記第１の映像フレーム中の前記対象物の始点位置から前記第１の予測位置に向かう追跡画像を生成するスクリプト処理部と、前記第１の映像フレームから前記第２の映像フレームに、対応する前記追跡画像を重ね合わせた合成画像を生成する合成部と、前記合成画像を表示する表示部とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、映像表示装置の負荷を抑え、かつ滑らかな物体追跡結果を表示可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例1に係わる映像表示装置100の構成を示すブロック図である。
【図２】本発明の実施例1に係わる画像処理部102の詳細な構成を示すブロック図である。
【図３】本発明の実施例1の記憶部1023の詳細な構成を示すブロック図である。
【図４】本発明の実施例1の記憶部1023で記憶するパラメータを示す図である。
【図５】本発明の実施例1のスクリプト処理部103の詳細な構成を示すブロック図である。
【図６】本発明の実施例1に係わる映像表示装置100の動作を示すシーケンス図である。
【図７】本発明の実施例1に係わる映像表示装置100の、スクリプト処理部で描画中の動作を示すシーケンス図である。
【図８】本発明の実施例1に係わる映像表示装置100の、予測パラメータにズレが生じた場合の動作を示すシーケンス図である。
【図９】本発明の実施例1の画像処理部102の対象物検出前の動作を示すフローチャートである。
【図１０】本発明の実施例1の画像処理部102の対象物追跡中の動作を示すフローチャートである。
【図１１】本発明の実施例1の映像表示装置における位置予測の方法を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照しながら説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。
【実施例１】
【００１２】
図１は、本発明の実施例1に係わる映像表示装置100の構成を示すブロック図である。
【００１３】
図１に示すように、映像表示装置100は、映像フレームを取得する取得部101と、画像処理部102と、スクリプト処理部103と、合成部104と、表示部105とを備える。
【００１４】
画像処理部102は、取得した第１の映像フレーム中の所望の対象物（例えば、追跡の対象等）を検出し、第1の映像フレーム取得からＮフレーム後又はＴ秒後の第２の映像フレーム中の対象物の予測位置を含む予測パラメータを生成する。
【００１５】
スクリプト処理部103は、画像処理部102で生成した予測パラメータや、ユーザ操作情報等を受けとると、第１の映像フレーム中の対象物の位置（以下、始点位置」と称する。）から第２の映像フレーム中の対象物の予測位置に向けて追跡画像を生成する。
【００１６】
合成部104は、追跡画像と映像フレームを合成して合成画像を生成する。表示部105は、合成部104で合成された合成画像を表示する。
【００１７】
ここで、予測パラメータとは、少なくとも、検出した対象物のＴ秒後の予測位置を含む情報である。予測パラメータは、更に、対象物ＩＤや、Ｎフレーム後又はＴ秒後までの動きパターンを含んでいてもよい。
【００１８】
ここで、検出すべき対象物とは、例えば映像表示装置100のユーザのリモコンやマウスなどにより、映像表示装置100の画面上の指定により特定された対象物、又は領域であるとする。検出すべき対象物の指定は、例えば、リモコンやマウスなどによる画面上の指定により行う。また、画像処理部103が自動的に顔画像等の画面上の特定の部位を検出するように指定することで、検出する対象物を決めてもよい。
【００１９】
対象物は、１つでも良いし、複数でもよく、一部分でもよいものとする。例えば、検出すべき対象物としては、映像フレーム中の人物の顔があげられる。
【００２０】
図２は、画像処理部102の詳細な構成を示すブロック図を示す。画像処理部102は、検出部1021と、位置予測部1022と、記憶部1023とを備える。
【００２１】
検出部1021は、映像フレーム中にある所望の対象物や部位を検出するものである。例えば、ユーザのリモコンやマウスなどで指定することで生成されたユーザ操作パラメータから映像フレーム中にある所望の対象物や部位を検出するようにしてもよい。検出部1021において対象物を検出する方法は、例えば、周知の技術である顔画像認識やフレーム間差分、背景差分等の画像処理による方法を適用することができるので、ここでは詳述しない。
【００２２】
位置予測部1022は、検出した対象物や部位のNフレーム後もしくはT秒後の位置などの予測パラメータを算出する。記憶部1023は、検出中の対象物や予測パラメータについての情報等を記憶する。
【００２３】
画像処理部102は、図示しないが、カウンタを備えてもよい。ここで、カウンタは、映像フレームから所望の対象物を、所定の時間の間連続して検出できない場合又は所定のフレームの間連続して検出できない場合に、映像表示装置100の追跡画像の描画を終了させるために設けられている。カウンタは、映像フレーム中に所望の対象物を検出できない場合にカウンタの値を１加算し、対象物を検出できた場合には、カウンタの値を０に戻す。カウンタには、閾値が設定されており、カウンタの値が閾値を越えたら、映像処理装置は、追跡画像の描画を終了する。
【００２４】
図３は、記憶部1023の詳細な構成を示すブロック図である。記憶部1023は、情報記憶部10231と、予測パラメータ記憶部10232とを備える。情報記憶部10231は、検出部1021が検出した対象物の属性情報を記憶する。情報記憶部10231が記憶した対象物の属性情報から位置予測部1022は予測パラメータを算出する。一方、予測パラメータ記憶部10232は、位置予測部1022が予測した予測パラメータを記憶する。
【００２５】
図４は、記憶部1023で記憶するパラメータを示す図である。情報記憶部10231で記憶する対象物の属性情報としては、他の対象物と識別する対象物IDと、画像中に検出した対象物の位置座標、テンプレート情報（色情報、形状情報等）、及び面積Ｓ等が挙げられる。これら対象物の属性情報は、映像処理装置100が映像フレームを受け取るごとに算出され、記憶される。図４のように、始点位置における映像フレームの取得時のｎフレーム前の映像フレームから取得時の1フレーム前の映像フレームまでの対象物の属性情報が記憶されている。
【００２６】
予測パラメータ記憶部10232が記憶する予測パラメータとしては、対象物ＩＤと、対象物のＮフレーム後又はＴ秒後の予測位置と、Ｎフレーム後又はＴ秒後までの動きパターンを含んでいる。なお、予測パラメータは、カウンタの値であるタイムアウト値を含んでもよい。
【００２７】
ここで、対象物IDは、画面上に複数の対象物がある場合に、識別可能となるようにする。Nフレーム後またはT秒後の画面上の予測位置とは、始点位置における映像フレームの取得時の対象物のＴ秒後又はＮフレーム後の予測される位置座標である。また、動きパターンは、対象物がどのような経路をたどりながら、始点位置からＮフレーム後又はＴ秒後の予測位置まで動くかを示すパターンである。例えば、始点位置とＴ秒後又はＮフレーム後の予測される位置を結ぶ直線や曲線を表現する関数等である。
【００２８】
図５は、スクリプト処理部103の詳細な構成を示すブロック図である。スクリプト処理部103は、様々な入力やイベントを受け、それぞれに対応するイベントを生成するイベントハンドラ部1031と、イベントハンドラ部1031で生成された処理を行うイベント処理部1032と、イベント処理部1032のイベントの処理結果を描画する描画部1033とを備える。
【００２９】
イベントハンドラ部1031は、描画イベント生成部10311と操作イベント生成部10312とを備え、予測パラメータやユーザ操作情報から、イベントを生成する。
【００３０】
描画イベント生成部10311は、予測パラメータに基づき、描画イベントを生成する。イベント処理部1032は、描画イベントをイベント処理し、描画部1033は、イベント処理部1032の処理結果にしたがって描画処理を実行する。操作イベント生成部10312は、ユーザ操作情報から、操作イベントを生成し、イベント処理部1032は、操作イベントをイベント処理する。イベント処理部1032の処理結果は、ユーザ操作パラメータとして検出部1021で用いてもよい。
【００３１】
イベントハンドラ部1031が受け取るユーザ操作情報は、例えば、対象物検出命令、追跡終了命令等がある。対象物検出命令によるユーザ操作パラメータから、画像処理部103（検出部1021）は対象物の検出を開始し、追跡終了命令によるユーザ操作パラメータから、画像処理部103（検出部1021）は対象物検出を終了する。
【００３２】
対象物検出命令は、対象物の検出及び追跡画像の生成開始を指示する命令である。対象物検出命令は、予測パラメータの到着タイミング（NフレームまたはT秒）、検出方法、追跡画像の描画図形を含む命令である。例えば、予測パラメータの到着タイミングがＴ秒である場合、画像処理部102は、予測パラメータをＴ秒毎に算出し、スクリプト処理部103は予測パラメータをＴ秒毎に受け取る。検出方法としては、マウスやリモコン操作等手動による領域指定、顔画像検出、建物検出等がある。また、追跡画像の描画図形とは、どのような図形で追跡画像を描画するかを示す情報である。
【００３３】
次に、以上のように構成された映像表示装置100の動作について説明する。図６は、本発明の実施例1に係わる映像表示装置100の動作を示すシーケンス図である。
【００３４】
まず、映像表示装置100の取得部101は、映像フレームを取得し（S101）、画像処理部102は、取得した映像フレームから所望の対象物を検出する（Ｓ102）。
【００３５】
画像処理部102は、対象物検出後、検出した対象物がNフレーム後またはT秒後に、画面上の現在位置から移動する予測位置（以下、「第１の予測位置」と称する。）を含んだ予測パラメータ（以下、「第１の予測パラメータ」と称する。）を算出する（Ｓ103）。ここで、画像処理部102が、第１の予測パラメータを算出するために用いた映像フレームを、「第１の映像フレーム」と称する。第１の映像フレームからＴ秒後の時刻を、「第１の時刻」と称する。第１の時刻に取得する映像フレームを、「第２の映像フレーム」と称する。
【００３６】
算出された第１の予測パラメータと第１の映像フレーム中の検出した対象物の位置（始点位置）から、スクリプト処理部103では、イベントハンドラ部1031が描画イベントを生成し、イベント処理部1032は、描画イベントをイベント処理する（Ｓ104）。描画部1033は、イベント処理部1032がイベント処理した描画イベントの処理結果から、Nフレーム後またはT秒後まで画面上に追跡画像（例えば、矩形等の図形）を第１の予測パラメータに則して連続的に動作するよう描画する（Ｓ105）。具体的には、スクリプト処理部108は、第１の映像フレームの始点位置から第２の映像フレームの第１の予測位置に向けて、追跡画像を生成する。例えば、第１の予測パラメータが第１の予測位置だけを含む場合、スクリプト処理部108は、第１の映像フレームの始点位置から第２の映像フレームの第１の予測位置に向けて追跡画像が線形に移動するように描画する。更に、第１の予測パラメータが、第１の映像フレーム中の始点位置から第２の映像フレーム中の第１の予測位置まで、対象物がどのように動くかを示す動きパターンを含む場合、第１の映像フレームの始点位置から第２の映像フレームの第１の予測位置に向けて動きパターンにしたがって追跡画像が移動するように描画する。この時、スクリプト処理部108は、映像フレーム毎に追跡画像を生成してもよい。また、スクリプト処理部108は、画像処理部102と独立したタイミングで動作してもよく、スクリプト処理部108のフレーム生成タイミングにより、追跡画像を生成してもよい。
【００３７】
合成部104は、取得した映像フレームに追跡画像を重ね合わせて合成画像を生成する（Ｓ106）。生成された合成画像は表示部105に送られ、表示部105は合成画像を表示する（S107）。
【００３８】
以上のように、スクリプト処理部103は、第1の映像フレーム取得からNフレーム間またはT秒間は、画像処理部102が検出した対象物の位置に依存せず描画を行うことができる。したがって、画像処理部102からスクリプト処理部103への通知を減らすことができるため、映像処理装置100の負荷を低減することができる。また、スクリプト処理部103は、予測パラメータにしたがって、Ｎフレーム間又はＴ秒間全てのフレームについて描画可能なため連続的な描画が可能となり、滑らかな追跡画像を描くことができる。
【００３９】
次に、スクリプト処理部103が、予測パラメータにしたがって描画中の映像表示装置100の動作について図７及び図８を用いて説明する。特に、描画中に予測パラメータを変更する場合の例を説明する。
【００４０】
図７は、スクリプト処理部103で描画中の場合の映像表示装置100の動作シーケンス図であって、予測チェックでズレが許容の範囲内にあると判定する場合のシーケンス図ある。図８は、予測チェックで予測のズレが許容の範囲内にないと判定した場合のシーケンス図である。
【００４１】
図７及び図８では、図６と同じ動作をするステップについては、同一の符号を付して説明を省略する。
【００４２】
まず、図７を用いて、スクリプト処理部103が追跡画像を描画中の場合の映像表示装置100の動作を説明する。
【００４３】
予測パラメータからスクリプト処理部103が描画処理を行っている最中に、映像表示装置100が映像フレーム（「第３の映像フレーム」と称する。）を取得すると、画像処理部102は対象物を第３の映像フレーム中から検出する（Ｓ102）。検出結果から、予測パラメータのズレが許容の範囲内にあるか否かをチェックする（Ｓ201）。
【００４４】
ここで、予測パラメータのズレの検出方法として、例えば、現在時刻ｔ（以下、「第２の時刻」と称する。）であるとした場合、画像処理部102は時刻Ｔ−ｔ秒後の予測位置（以下、「第２の予測位置」と称する。）を算出する。画像処理部102は、先（時刻０とする。）に予測してある時刻Ｔ（第１の時刻）における第１の予測位置と、現在時刻ｔ（第２の時刻）で予測した時刻Ｔの第２の予測位置とのズレをチェックする。ここで、画像処理部102は、例えば、第２の予測位置と第１の予測位置との距離が所定の値より大きい場合、ズレが許容の範囲内にないと判定し、所定の値以内であれば、ズレが許容の範囲内にあると認定する。また、画像処理部102は、第１の予測位置における追跡画像の図形（例えば、矩形）の領域に第２の予測位置が含まれない場合、ズレが許容の範囲内にないと認定してもよい。
【００４５】
ズレが許容の範囲内にあれば画像処理部102は以降何も処理を行わない（Ｓ202）。その間、スクリプト処理部103では、予測パラメータの値に基づいた描画処理を継続する。これにより、画像処理部102から通知を受けることなく描画を行う。
【００４６】
尚、予測パラメータのズレの検出方法は、前述した方法と別の方法であってもよい。例えば、時刻ｔ時点において、スクリプト処理部103が描画している追跡画像と、時刻ｔ時点における検出された対象物とを比較し、スクリプト処理部103が描画している追跡画像の図形の領域に、対象物の位置座標が含まれなくなったら、ズレが許容の範囲内にないと検出する方法でもよい。
【００４７】
図８を用いて予測チェックで予測のズレを判定した場合の、映像表示装置100の動作を説明する。図８では、図６及び図７と同じ動作をするステップについては、同一の符号を付して説明を省略する。
【００４８】
予測チェックで予測のズレが許容の範囲内にないと判定した場合（Ｓ301）、画像処理部102は再度予測パラメータを算出し（Ｓ302）、算出された予測パラメータからスクリプト処理部103はイベントハンドラ部1031が新たな描画処理を呼び出し（Ｓ104）、これまで行っていた描画処理を停止し、描画部1033は、新たな描画処理を即座に開始する（Ｓ105）。描画された結果から合成部104は映像フレームと重ね合わせて合成画像を生成し(Ｓ116)、表示部105は合成画像を表示する(Ｓ107)。
【００４９】
尚、上述では再度予測パラメータを算出するとしたが、時刻ｔ（第２の時刻）に算出した時刻Ｔの第２の予測位置を予測パラメータ（「第２の予測パラメータ」と称する。）として用いて、スクリプト処理部103が処理してもよい。
【００５０】
また、対象物と追跡画像とのズレを防ぐ方法としては、スクリプト処理部103にて描画する追跡画像を、ズレの許容の範囲内で描画するという方法であってもよい。
【００５１】
以上より、対象物を検出し、対象物に追従した追跡画像を生成することが可能となる。すなわち、対象物と追跡画像とのズレを抑制することができる。
【００５２】
次に、予測パラメータの算出方法を詳細に説明する。
【００５３】
図９は、対象物検出前における、画像処理部102の動作の詳細を示すフローチャートである。
【００５４】
検出部1021は、映像フレームを取得すると（Ｓ401）、対象物を検出する（Ｓ402）。例えば、検出するものを外部から指定する場合、映像表示装置100を使用しているユーザ画面上にリモコンやマウス等の機器で検出したい領域を指定したユーザ操作情報を用い、検出部1021は対象物を検出する。
【００５５】
対象物が検出されると（Ｓ403  YES）、対象物の情報を記憶部10231に記憶する（Ｓ404）。具体的には、対象物の情報として、対象物ID、対象物の位置座標、対象物のテンプレート情報、対象物の面積を情報記憶部10231に記憶する。また、カウンタの初期値を０とし、タイムアウト値0と対象物IDとを対応して予測パラメータ記憶部10232に記憶する。なお、カウンタの閾値は、対象物を追跡できなくなった際に再検出を試みる時間で、閾値を超えると、検出を終了する。
【００５６】
検出した対象物がNフレーム後もしくはT秒後（時刻Ｔ後）に現在位置から移動する位置を予測する。
【００５７】
例えば、以下のステップを用いて位置を予測する。
【００５８】
[1]検出して初めの数フレームは1フレーム毎に対象物を検出し、検出した対象物の属性情報を記憶部1023に記憶する。（Ｓ401からＳ405までのループを繰り返す。）
[2]数フレーム分の属性情報が集まったら（Ｓ405 YES）、位置予測部1022は、属性情報を用いて、Nフレーム後もしくはT秒後の予測パラメータを算出する（Ｓ406）。図11に、属性情報を用いて、予測パラメータを算出する方法の一例を示す。図11に示すように、例えば、1秒前のフレーム（図11（ａ））と現在のフレーム（図11（ｂ））における対象物の位置から線形的に1秒後の対象物の予測位置（図11（ｃ））を予測する。このように、予測パラメータの予測位置は、線形的に算出する方法であってもよい。
【００５９】
なお、予測位置を算出する方法は、以上の方法に限られない。例えば、過去の複数のフレームと現在のフレームとから予測位置を予測しても良い。また、予測パラメータの予測位置の算出方法は、線形的に算出する方法に限られない。
【００６０】
算出された予測パラメータは記憶部1023の予測パラメータ記憶部10232に記憶すると同時に、スクリプト処理部103へ通知され（Ｓ407）、スクリプト処理部103は対象物の追跡画像の描画を開始する（Ｓ408）。
【００６１】
図１０を用いて、対象物追跡中における、画像処理部102の処理動作の詳細を説明する。特に、対象物を追跡できなくなった場合に追跡画像の描画を終了する方法について詳細に説明する。
【００６２】
映像フレームを取得すると（Ｓ501）、その映像フレームから現在追跡中の対象物を検出する（Ｓ502）。検出できた場合（Ｓ503 YES）、カウンタの値を0にする（Ｓ504）。検出できなかった場合（Ｓ503 NO）、カウンタの値に１を加算する（Ｓ505）。次に、カウンタの値をチェックする（Ｓ506）。もしカウンタの値が１であれば、現在の映像フレームの対象物を初めて検出できなかったことになるため、スクリプト処理部103へ描画停止命令を通知する（Ｓ507）。カウンタの値が１より大きくて閾値以内であれば、画像処理部102は映像フレームを取得して、再度対象物を検出する（Ｓ501、Ｓ502）。画像処理部102が対象物を検出できない場合であっても、追跡する対象物が、映像フレーム中の他の物体の物蔭に一時的に隠れている場合等があり、再度対象物を映像フレーム中に検出可能となる場合もある。したがって、ステップＳ502においては、カウンタの値が閾値以内であれば、画像処理部102は再度追跡する対象物を検出する。一方、対象物が検出できず、カウンタの値が閾値を超えた場合には、タイムアウトとして、スクリプト処理部103へ描画終了命令を通知し描画を終了する（Ｓ508）。閾値としては、例えば、10秒間を設定する。
【００６３】
スクリプト処理部103は、描画終了命令から、追跡画像の描画を終了する。この場合の例として、映像表示装置100が取得する映像フレームが、以前取得していた映像のフレームから異なるシーンの映像フレームに変わった場合を想定する。この場合、異なるシーンの映像フレームとなったため、前のシーンに登場していた対象物は、今後、当分の間検出されないことが想定されるので、対象物の検出を終了する。
【００６４】
画像処理部102が対象物を検出したかどうかをチェック後、検出した場合（Ｓ503  YES）、カウンタの値を０にリセットする（Ｓ504）。その後、前回スクリプト処理部103に予測パラメータを通知してからのフレーム数もしくは経過時間をチェックする（Ｓ509）。スクリプト処理部103に予測パラメータを通知してから、予測した時間（NフレームもしくはT秒）経過している場合（Ｓ509  YES）、位置予測部1022は再びNフレーム後またはT秒後の対象物位置を予測し（Ｓ510）、スクリプト処理部103へ予測パラメータを通知する（Ｓ511）。一方、予測した時間（NフレームもしくはT秒）経過していない場合（Ｓ509  NO）、スクリプト処理部103は描画処理を継続中である。このとき、画像処理部102は、先（時刻０とする。）に予測した時刻Ｔにおける対象物の予測位置と、現在時刻ｔに予測できる時刻Ｔの予測位置とを比較するため、Ｔ−ｔ秒後の時刻Ｔにおける対象物の予測位置を算出する（Ｓ512）。そして、画像処理部102は、先（時刻０）に予測してある時刻Ｔにおける予測位置と、現在（時刻ｔで）予測した時刻Ｔの予測位置とのズレをチェックする（Ｓ513）。この時、ズレが所定の範囲内であれば（Ｓ513  YES）、画像処理部102はこれ以降何もせずに終了し、次の映像フレームを待つ。そうでない場合は（Ｓ513  NO）、ステップＳ513が算出した時刻Ｔの対象物の予測位置を含む予測パラメータをスクリプト処理部103へ通知する（Ｓ511）。
【００６５】
以上のように、所定の時間や所定のフレーム間連続して対象物が検出できなくなった場合に、追跡画像の生成を終了することにより、映像フレーム中に対象物が存在しないにもかかわらず、追跡画像だけが表示されるといったことを防ぐことができる。
【００６６】
なお、映像表示装置100は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、取得部101、画像処理部102（検出部1021、位置予測部1022、記憶部1023（情報記憶部10231、予測パラメータ記憶部10232））、スクリプト処理部103（イベントハンドラ部1031(描画イベント生成部10311、操作イベント生成部10312）、イベント処理部1032、描画部1033)、合成部104、表示部105は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、映像表示装置100は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、記憶部1023（情報記憶部10231、予測パラメータ記憶部10232）、）は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００６７】
なお、本発明は上記実施例そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６８】
１００・・・映像表示装置、１０１・・・取得部、１０２・・・画像処理部、１０３・・・スクリプト処理部、１０４・・・合成部、１０５・・・表示部、１０２１・・・検出部、１０２２・・・位置予測部、１０２３・・・記憶部、１０３１・・・イベントハンドラ部、１０３２・・・イベント処理部、１０３３・・・描画部、１０３１１・・・描画イベント生成部、１０３１２・・・操作イベント生成部、１０２３１・・・情報記憶部、１０２３２・・・予測パラメータ記憶部。
【図１】
2011221800.tif 000003
【図２】
2011221800.tif 000004
【図３】
2011221800.tif 000005
【図４】
2011221800.tif 000006
【図５】
2011221800.tif 000007
【図６】
2011221800.tif 000008
【図７】
2011221800.tif 000009
【図８】
2011221800.tif 000010
【図９】
2011221800.tif 000011
【図１０】
2011221800.tif 000012
【図１１】
2011221800.tif 000013