(57)【要約】【課題】携帯電話などの処理能力の限られた端末上において、カメラによる撮影映像や再生中の動画像の中から、特定の矩形領域部分をリアルタイムに検出し、検出した矩形領域を時間方向に連続的に追跡できるようにする。【解決手段】本発明は、入力映像から各映像フレームを取得し、当該映像フレームから矩形領域を検出して、矩形候補として記憶手段に格納し、各矩形候補の矩形の特徴量を求め、前のフレームで追跡していた追跡対象矩形の特徴量情報を該記憶手段から取得し、それらの特徴量を比較することで追跡する矩形を決定して、追跡する矩形を追跡対象矩形として該記憶手段に格納し、記憶手段に格納されている追跡対象矩形の四隅座標を出力する。【選択図】図１
2008117228.tif 000002
【特許請求の範囲】
【請求項１】
動画像中の矩形領域を時間的に追跡するための方法であって、
映像入力手段において、入力映像から各映像フレームを取得する映像入力ステップと、
矩形検出手段において、取得した前記映像フレームから矩形領域を検出して、矩形候補として記憶手段に格納する矩形検出ステップと、
矩形追跡手段において、前記記憶手段から前記矩形候補を取得し、各矩形候補の矩形の特徴量を求め、前のフレームで追跡していた追跡対象矩形の特徴量情報を該記憶手段から取得し、それらの特徴量を比較することで追跡する矩形を決定して、追跡する矩形を追跡対象矩形として該記憶手段に格納する矩形追跡ステップと、
追跡結果出力手段において、前記記憶手段に格納されている前記追跡対象矩形の四隅座標を出力する検出結果出力ステップと、
を行うことを特徴とする矩形追跡方法。
【請求項２】
前記矩形検出ステップにおいて、
取得した前記映像フレームから検出した前記矩形領域の四隅座標と該矩形の評価値を求める
請求項１記載の矩形追跡方法。
【請求項３】
前記矩形追跡ステップにおいて、
前記矩形の大きさを表す特徴量として、周囲長特徴量を求め、前記記憶手段に記憶されている前のフレームで追跡していた追跡対象矩形の周囲長特徴量と今回求められた該周囲長特徴量を比較することで、任意に追跡対象矩形を決定する
請求項１または２記載の矩形追跡方法。
【請求項４】
前記矩形追跡ステップにおいて、
前記矩形の形を表す特徴量として、四辺比特徴量を求め、前記記憶手段に記憶されている前のフレームで追跡していた追跡対象矩形の四辺比特徴量と今回求めた該四辺比特徴量を比較することで、任意に追跡対象矩形を決定する
請求項１または２記載の矩形追跡方法。
【請求項５】
動画像中の矩形領域を時間的に追跡するための矩形追跡装置であって、
入力映像から各映像フレームを取得する映像入力手段と、
取得した前記映像フレームから矩形領域を検出して、矩形候補として記憶手段に格納する矩形検出手段と、
前記記憶手段から前記矩形候補を取得し、各矩形候補の矩形の特徴量を求め、前のフレームで追跡していた追跡対象矩形の特徴量情報を該記憶手段から取得し、それらの特徴量を比較することで追跡する矩形を決定して、追跡する矩形を追跡対象矩形として該記憶手段に格納する矩形追跡手段と、
前記記憶手段に格納されている前記追跡対象矩形の四隅座標を出力する検出結果出力手段と、
を有することを特徴とする矩形追跡装置。
【請求項６】
前記矩形検出手段は、
取得した前記映像フレームから矩形の四隅座標と該矩形の評価値を求める手段を含む
請求項５記載の矩形追跡装置。
【請求項７】
前記矩形追跡手段は、
前記矩形の大きさを表す特徴量として、周囲長特徴量を求め、前記記憶手段に記憶されている前のフレームで追跡していた追跡対象矩形の周囲長特徴量と今回求められた該周囲長特徴量を比較することで、任意に追跡対象矩形を決定する手段を含む
請求項５または６記載の矩形追跡装置。
【請求項８】
前記矩形追跡手段は、
前記矩形の形を表す特徴量として、四辺比特徴量を求め、前記記憶手段に記憶されている前のフレームで追跡していた追跡対象矩形の四辺比特徴量と今回求めた該四辺比特徴量を比較することで、任意に追跡対象矩形を決定する手段を含む
請求項５または６記載の矩形追跡装置。
【請求項９】
コンピュータを、
請求項５乃至８記載の矩形追跡装置として機能させることを特徴とするプログラム。
【請求項１０】
請求項９記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、携帯電話などの処理能力の限られた端末上において、カメラによる撮影映像や再生中の動画像の中から、矩形領域部分を高速に検出し、検出した矩形領域を時間方向に連続的に追跡するための矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
携帯電話などの処理能力の限られた端末上での矩形検出技術として、静止画像上において微小なフィルタの連続走査により矩形のエッジ成分を検出し、検出したエッジの組み合わせについて最も矩形らしい組み合わせの評価をし、目標とする矩形領域を検出する技術がある（例えば、特許文献１参照）。
【特許文献１】特開２００５−２７７７３２号公報「矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体」
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記技術は、静止画像における矩形検出方法であり、動画像にそのまま適用することは難しい。具体的には、上記技術を動画像に適用する場合は、フレーム内での矩形検出処理に置き換えられるが、あるフレームで検出した矩形と次のフレームで検出した矩形の関連性が一切無いため、検出矩形を時間方向につなげて再生すると、フレーム毎に全く異なる矩形が検出され、同一矩形を連続的に検出し続けることができない。
【０００４】
本発明は、上記の点に鑑みなされたもので、携帯電話などの処理能力の限られた端末上において、カメラによる撮影映像や再生中の動画像の中から、特定の矩形領域部分をリアルタイムに検出し、検出した矩形領域を時間方向に連続的に追跡するための矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
図１は、本発明の原理を説明するための図である。
【０００６】
本発明（請求項１）は、動画像中の矩形領域を時間的に追跡するための方法であって、
映像入力手段において、入力映像から各映像フレームを取得する映像入力ステップ（ステップ１）と、
矩形検出手段において、取得した映像フレームから矩形領域を検出して、矩形候補として記憶手段に格納する矩形検出ステップ（ステップ２）と、
矩形追跡手段において、記憶手段から矩形候補を取得し、各矩形候補の矩形の特徴量を求め、前のフレームで追跡していた追跡対象矩形の特徴量情報を該記憶手段から取得し、それらの特徴量を比較することで追跡する矩形を決定して、追跡する矩形を追跡対象矩形として該記憶手段に格納する矩形追跡ステップ（ステップ３）と、
追跡結果出力手段において、記憶手段に格納されている追跡対象矩形の四隅座標を出力する検出結果出力ステップ（ステップ４）と、を行う。
【０００７】
また、本発明（請求項２）は、矩形検出ステップ（ステップ２）において、
取得した映像フレームから検出した前記矩形領域の四隅座標と該矩形の評価値を求める。
【０００８】
また、本発明（請求項３）は、矩形追跡ステップ（ステップ３）において、
矩形の大きさを表す特徴量として、周囲長特徴量を求め、記憶手段に記憶されている前のフレームで追跡していた追跡対象矩形の周囲長特徴量と今回求められた該周囲長特徴量を比較することで、任意に追跡対象矩形を決定する。
【０００９】
また、本発明（請求項４）は、矩形追跡ステップ（ステップ３）において、
矩形の形を表す特徴量として、四辺比特徴量を求め、記憶手段に記憶されている前のフレームで追跡していた追跡対象矩形の四辺比特徴量と今回求めた該四辺比特徴量を比較することで、任意に追跡対象矩形を決定する。
【００１０】
図２は、本発明の原理構成図である。
【００１１】
本発明（請求項５）は、動画像中の矩形領域を時間的に追跡するための矩形追跡装置であって、
入力映像から各映像フレームを取得する映像入力手段１１０と、
取得した映像フレームから矩形領域を検出して、矩形候補として記憶手段１３０に格納する矩形検出手段１２０と、
記憶手段１３０から矩形候補を取得し、各矩形候補の矩形の特徴量を求め、前のフレームで追跡していた追跡対象矩形の特徴量情報を該記憶手段１３０から取得し、それらの特徴量を比較することで追跡する矩形を決定して、追跡する矩形を追跡対象矩形として該記憶手段１３０に格納する矩形追跡手段１４０と、
記憶手段１３０に格納されている追跡対象矩形の四隅座標を出力する検出結果出力手段１５０と、を有する。
【００１２】
また、本発明（請求項６）は、矩形検出手段１２０において、
取得した映像フレームから検出した前記矩形領域の四隅座標と該矩形の評価値を求める手段を含む。
【００１３】
また、本発明（請求項７）は、矩形追跡手段１４０において、
矩形の大きさを表す特徴量として、周囲長特徴量を求め、記憶手段１３０に記憶されている前のフレームで追跡していた追跡対象矩形の周囲長特徴量と今回求められた該周囲長特徴量を比較することで、任意に追跡対象矩形を決定する手段を含む。
【００１４】
また、本発明（請求項８）は、矩形追跡手段１４０において、
矩形の形を表す特徴量として、四辺比特徴量を求め、記憶手段１３０に記憶されている前のフレームで追跡していた追跡対象矩形の四辺比特徴量と今回求めた該四辺比特徴量を比較することで、任意に追跡対象矩形を決定する手段を含む。
【００１５】
本発明（請求項９）は、コンピュータを請求項５乃至８記載の矩形追跡装置として機能させるプログラムである。
【００１６】
本発明（請求項１０）は、請求項９記載のプログラムを格納したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１７】
上記のように本発明によれば、携帯電話などの処理能力の限られた携帯用端末上においても、撮影映像中にある任意の矩形領域を高速に検出し、検出した矩形領域を追跡することが可能である。
【発明を実施するための最良の形態】
【００１８】
以下、図面と共に本発明の実施の形態を説明する。
【００１９】
［第１の実施の形態］
最初に本実施の形態における実施イメージを説明する。
【００２０】
図３は、本発明の第１の実施の形態における実施イメージ図である。
【００２１】
本実施の形態では、カメラ付き携帯電話でテレビ画面に映し出された縁付きの映像を撮影し、その撮影端末上において縁付きの映像領域を追跡し続ける場合について説明する。
【００２２】
実際の処理イメージは、撮影映像の各フレーム毎に処理を行うこととし、次に各フレーム毎に縁付き映像領域の候補になる矩形領域を全て検出し（ａ）、検出した矩形領域をそのフレームにおける追跡対象矩形の矩形候補と考えて、追跡対象矩形として記憶されている追跡対象矩形情報と矩形の周囲長や四辺比といった矩形の特徴を比較し（ｂ）、特徴量の差の最も小さい矩形を今の撮影フレームにおける追跡矩形と決定し（ｃ）、追跡対象矩形として記憶する（ｄ）。
【００２３】
また、初期の追跡対象矩形は存在しないため、初期追跡矩形を決める場合には、矩形候補検出時などの矩形候補評価値なども用いて初期追跡矩形を決定する。
【００２４】
また、既に追跡している矩形と異なる矩形を追跡する場合は、追跡矩形変更要求があり、追跡対象矩形と周囲長を比較し、より大きい矩形またはより小さい矩形を選択し、その矩形を追跡矩形として、以降の追跡を行う。
【００２５】
以下、本実施の形態を詳細に説明する。
【００２６】
図４は、本発明の第１の実施の形態における矩形追跡装置の構成を示す。
【００２７】
同図に示す矩形追跡装置１００は、フレームキャプチャ部１１１を有する映像入力部１１０、矩形候補検出部１２１を有する矩形検出部１２０、記憶部１３０、矩形特徴量検出部１４１と追跡矩形決定部１４２を有する矩形追跡部１４０、四隅座標出力部１５１を有する追跡結果出力部１５０から構成される。
【００２８】
映像入力部１１０は、フレームキャプチャ部１１１においてカメラ付き携帯電話２００から撮影中の動画像からフレームを取得し、矩形検出部１２０に出力する。
【００２９】
矩形検出部１２０は、矩形候補検出部１２１において、フレームから矩形領域（四隅座標）を検出し、矩形候補として記憶部１３０に格納する。
【００３０】
矩形追跡部１４０は、矩形特徴量検出部１４１と追跡矩形決定部１４２とを有し、矩形特徴量検出部１４１の矩形周囲長検出部１４１１では、記憶部１３０から矩形候補を読み出して各矩形候補の大きさを表す評価値として周囲長を検出する。矩形特徴量検出部１４１の矩形四辺比検出部１４１２では、各矩形候補及び記憶部１３０の追跡対象矩形の形を表す評価値として四辺比を検出する。
【００３１】
矩形追跡部１４０の追跡矩形決定部１４２の矩形候補評価値比較部１４２１では、記憶部１３０の矩形候補について、矩形候補評価値が通常閾値以上であるかを判定する。
【００３２】
追跡矩形決定部１４２の矩形周囲長比較部１４２２は、矩形周囲長検出部１４１１で検出された当該矩形候補の周囲長と初期矩形候補または追跡対象矩形候補の周囲長を比較する。
【００３３】
追跡矩形決定部１４２の初期追跡矩形決定部１４２４は、矩形候補評価値比較部１４２１及び矩形周囲長比較部１４２２の結果に基づいて初期追跡矩形候補を決定し、その矩形候補評価値、四隅座標、矩形周囲長、矩形周囲長差分値、各辺の長さを記憶部１３０に格納する。
【００３４】
追跡矩形決定部１４２の矩形四辺比比較部１４２３は、矩形四辺比検出部１４１２で検出された矩形候補の四辺比と追跡対象矩形候補の四辺比との差が予め与えられている閾値以下であるかを判定し、判定結果を追跡対象矩形決定部１４２５に出力する。このとき、矩形四辺比検出部１４１２では、矩形候補及び追跡対象矩形の各辺の長さから四辺比を求めるものとする。
【００３５】
追跡対象矩形決定部１４２５は、矩形候補評価値比較部１４２１と矩形四辺比比較部１４２３、矩形周囲長比較部１４２２の判定結果に基づいて、追跡対象矩形候補を決定し、その矩形候補評価値、四隅座標、矩形周囲長、矩形周囲長差分値、各辺の長さ、矩形四辺比を記憶部１３０に格納する。
【００３６】
追跡結果出力部１５０の四隅座標出力部１５１は、記憶部１３０から追跡矩形の四隅座標を取得して出力する。
【００３７】
次に、上記の構成における動作を説明する。
【００３８】
図５は、本発明の第１の実施の形態における全体の動作のフローチャートである。
【００３９】
ステップ１０１）  まず、フレームキャプチャ部１１１においてカメラ付き携帯電話機２００で撮影中の動画像から一枚ずつフレームを取得する。
【００４０】
ステップ１０２）  矩形候補検出部１２１において、フレームキャプチャ部１１１で取得したクレーム内から複数の矩形領域を検出し、矩形候補として当該矩形領域の四隅座標（左上、右上、左下、右下）を記憶部１３０に記憶する。
【００４１】
ステップ１０３）  矩形追跡部１４０において、記憶部１３０に追跡対象矩形情報が記憶されているかを判断し、記憶されている場合はステップ１０４に移行し、記憶されていない場合はステップ１０５に移行する。
【００４２】
ステップ１０４）  記憶部１３０に追跡対象矩形情報がある場合は、追跡矩形決定部１４２５において、追跡対象矩形決定を行い、ステップ１０６に移行する。追跡対象決定部１４２５では、すべての矩形候補と記憶部１３０に記憶されている前フレームの追跡対象矩形とで、それぞれの矩形を特徴付ける幾何学的な特徴量を比較し、現在のフレーム内の矩形候補から追跡対象矩形を選択し、記憶部１３０に格納し、ステップ１０６に移行する。
【００４３】
ステップ１０５）  追跡対象矩形情報がない場合は、初期追跡矩形決定部１４２４において、初期追跡矩形決定を行う。初期追跡矩形決定部１４２４では、全ての矩形候補で矩形候補検出時の矩形候補評価値を比較し、現在のフレーム内の矩形候補から追跡対象矩形を選択し、記憶部１３０に格納する。
【００４４】
ステップ１０６）  四隅座標出力部１５１は、記憶部１３０に格納されている追跡対象矩形の四隅座標を読み出して出力する。
【００４５】
以下に、上記の動作を詳細に説明する。
【００４６】
＜矩形候補検出処理＞
上記のステップ１０２の矩形候補検出処理において、矩形候補検出部１２１は、例えば、特許文献１に記載の手法により、フレーム画像内から矩形を複数個検出し、それぞれの矩形を矩形候補とする。特許文献１の手法では、候補に挙がった矩形を評価するための矩形候補評価値をそれぞれ求めているが、矩形候補検出部１２１では、矩形候補評価値と各矩形候補の四隅座標を組み合わせて記憶部１３０に記憶する。図６に矩形候補検出部１２１による記憶部１３０へのデータの格納例を示す。図６（Ａ）の例では、当該矩形検出処理において検出した矩形候補の番号、矩形評価値及び四隅座標が記憶部１３０に格納される。
【００４７】
また、特許文献１の手法では、辺探索開始点探索を各辺の中点を辺探索開始初期点としているが、前フレームの追跡対象矩形の重心座標に向かって辺探索開始点探索を行うようにすれば、手ぶれなどによりカメラ位置が動いても、矩形の位置に対するエッジ探索位置の変化を少なくすることができ、矩形領域の探索を失敗する可能性を低くすることができる。
【００４８】
また、特許文献１の手法やハフ変換などのエッジ検出技術、その他の矩形検出技術により矩形候補を求め、何らかの指標値と四隅座標の組み合わせを矩形候補としてもよい。
【００４９】
＜矩形周囲長検出処理＞
次に、ステップ１０４、ステップ１０５で用いられる矩形周囲長を検出する処理について説明する。
【００５０】
矩形特徴量検出部１４１の矩形周囲長検出部１４１１では、記憶部１３０から取得した各矩形候補の大きさを表す評価値として周囲長を検出し、各矩形候補毎に各辺の長さを求め、記憶部１３０に格納する。
【００５１】
矩形周囲長は、撮影画像サイズの周囲長に対する矩形候補の各辺の長さの和を１００分率に換算した値とする。
【００５２】
具体的には、撮影画像サイズが横Ｗ、縦Ｈであり、矩形候補の四辺の長さがそれぞれＬ，Ｒ，Ｔ，Ｂとすると、
（Ｌ＋Ｒ＋Ｔ＋Ｂ）／（Ｗ＋Ｗ＋Ｈ＋）＊１００
である。また、百分率に換算せず、（Ｌ＋Ｒ＋Ｔ＋Ｂ）／（Ｗ＋Ｗ＋Ｈ＋Ｈ）という値や、（Ｌ＋Ｒ＋Ｔ＋Ｂ）という値を用いることも考えられる。
【００５３】
なお、矩形候補の周囲長は四辺の長さの和で表されるが、各辺の長さはユークリッド距離、市街地距離、チェス盤距離の何れかを用いてもよい。
【００５４】
更に、矩形の大きさを表す周囲長と同等な評価値として、矩形の重心座標から四隅座標への距離を各辺の長さと見なすことや、矩形の面積を用いる方法なども考えられる。
【００５５】
＜矩形四辺比検出処理＞
次に、ステップ１０４、ステップ１０５で用いられる矩形四辺比検出について説明する。
【００５６】
矩形特徴量検出部１４１の矩形四辺比検出部１４１２では、記憶部１３０から矩形候補の各辺の長さ各矩形候補の形を表す評価値として四辺比を検出し、矩形候補毎に記憶部１３０に格納する。また、追跡対象矩形の四辺比の検出も同様である。
【００５７】
四辺比は、矩形の左辺の長さを基準とし、左辺の長さで上辺、右辺、下辺の長さを割った値となる。
【００５８】
具体的には、上下左右の辺の長さが１０，２０，３０，４０であった場合、四辺比は１：２：３：４と表される。
【００５９】
基準とする長さは任意であり、上辺、右辺、下辺、撮影画像の横幅、縦幅、対角線長などとすることも可能である。
【００６０】
さらに、矩形の形を表す四辺比と同等な評価値として、矩形の四つの角度も考えられる。角度の場合であれば、比ではなく、０から３６０までの角度をその評価値とする。例えば、９０度、８０度、１２０度、７０度といった値となる。
【００６１】
＜初期追跡矩形決定処理＞
次に、上記のステップ１０５で行われる初期追跡矩形決定処理について説明する。
【００６２】
図７は、本発明の第１の実施の形態における初期追跡矩形決定処理の動作のフローチャートである。
【００６３】
ステップ２０１）  初期追跡矩形決定部１４２４は、まず、記憶部１３０に記憶されている矩形候補から、矩形候補を一つ選択する。
【００６４】
ステップ２０２）  矩形候補評価値比較部１４２２が、選択された矩形候補の矩形候補評価値が初期評価値以上であるかを判定する。初期評価値以上である場合はステップ２０３に移行し、そうでない場合はステップ２０５に移行する。
【００６５】
ステップ２０３）  矩形候補の矩形候補評価値が初期評価値以上である場合は、矩形周囲長比較部１４２２において、その矩形候補の周囲長が初期矩形候補の周囲長以下であるかを判定する。矩形候補の周囲長が初期矩形候補の周囲長より小さい場合、または、初期追跡矩形候補がない場合は、ステップ２０４に移行し、そうでない場合はステップ２０５に移行する。
【００６６】
ステップ２０４）  初期追跡矩形決定部１４２４は、矩形候補の周囲長が初期矩形候補の周囲長より小さい場合、または、初期追跡矩形候補がないと判定された場合は、今の矩形候補を初期追跡矩形候補として記憶部１３０に記憶する。
【００６７】
ステップ２０５）  ステップ２０２で初期評価値以上でない場合、ステップ２０３で初期追跡矩形候補の周囲長以下でない場合は、すべての矩形について上記の判定が終了したかを判定し、終了した場合は、ステップ２０６に移行し、終了していない場合は、ステップ２０１に移行し、次の矩形候補を選択する。
【００６８】
ステップ２０６）  全ての矩形の判定が終了している場合は、初期追跡矩形候補が記憶部１３０に存在するかを判定し、存在する場合はステップ２０７に移行し、存在しない場合はステップ２０８に移行する。
【００６９】
ステップ２０７）  記憶部１３０に初期追跡矩形候補が存在する場合は、当該初期追跡矩形候補を追跡対象矩形とし、記憶部１３０に記憶する。
【００７０】
ステップ２０８）  初期追跡矩形候補が存在しない場合は、追跡対象矩形は検出できない。
【００７１】
＜追跡対象矩形決定処理＞
次に、図５のステップ１０４における追跡対象矩形決定処理について説明する。
【００７２】
図８は、本発明の第１の実施の形態における追跡対象矩形決定処理の動作のフローチャートである。
【００７３】
ステップ３０１）  まず、追跡対象矩形決定部１４２５は、記憶部１３０に記憶されている矩形候補から矩形候補を一つ選択する。
【００７４】
ステップ３０２）  矩形候補評価値比較部１４２１が、その矩形候補の矩形候補評価値が予め与えられている通常評価値以上であるかを判定する。通常評価値以上である場合は、ステップ３０３に移行し、そうでない場合はステップ３０７に移行する。
【００７５】
ステップ３０３）  通常評価値以上である場合、矩形四辺比検出部１４１２は検出されたその矩形候補の四辺比と記憶部１３０の追跡対象矩形の四辺比を求め、矩形四辺比比較部１４２３において矩形候補の四辺比と記憶部１３０の追跡対象矩形の四辺比（図示せず）との差が所定の閾値以下であるかを判定する。四辺比の差が閾値以上の場合はステップ３０７に移行する。そうでない場合はステップ３０４に移行する。
【００７６】
ステップ３０４）  四辺比の差が閾値以下の場合は、矩形周囲長比較部１４２２において、矩形周囲長検出部１４１１で検出された矩形候補の周囲長と追跡対象矩形の周囲長の差（但し、周囲長の差は絶対値）が所定の閾値以下であるかを判定する。周囲長の差が閾値以上場合はステップ３０７に移行する。周囲長の差が閾値以下の場合は、ステップ３０５に移行する。
【００７７】
ステップ３０５）  周囲長の差が閾値以下の場合は、矩形周囲長比較部１４２２が、周囲長差分値が記憶部１３０に記憶されている追跡対象矩形候補の周囲長差分値よりも小さいかを判定する。周囲長差分値が追跡対象矩形候補の周囲長差分値より小さくない場合はステップ３０７に移行し、周囲長差分値が追跡対象矩形候補の周囲長差分値より小さい場合はステップ３０６に移行する。
【００７８】
ステップ３０６）  周囲長差分値が追跡対象矩形候補の周囲長差分値より小さい場合は、当該矩形候補を追跡対象候補として記憶部１３０に記憶する。
【００７９】
ステップ３０７）  すべての矩形について判定が終了したかを判定し、終了している場合は、ステップ３０８に移行し、終了していない場合はステップ３０１に移行する。
【００８０】
ステップ３０８）  追跡対象矩形候補が存在する場合は、ステップ３０９に移行し、存在しない場合はステップ３１０に移行する。
【００８１】
ステップ３０９）  当該追跡対象矩形候補を追跡対象矩形とし、当該追跡対象矩形の情報で図６（Ｂ）に示すように記憶部１３０に格納されたデータを更新する。
【００８２】
ステップ３１０）  ステップ３０８において追跡対象矩形候補が存在しない場合は、追跡対象矩形は検出できず、図６（Ｃ）に示すように記憶部１３０に格納されたデータをリセットする。
【００８３】
なお、追跡対象矩形検出を失敗した場合にのみ（ステップ３１０）、カウントアップするカウンタを用意し、１０フレーム連続でカウントアップした場合にのみ、記憶部１３０の追跡対象矩形情報をリセットするという方法も考えられる。つまり、カウンタが１０となるまでの間はカウンタ０のときの追跡対象矩形情報を保持し続け、１０フレームの間に追跡対象矩形を検出できれば、記憶部１３０へ格納されたデータを更新し、この１０フレーム分のカウントはリセットされることになる。
【００８４】
また、矩形四辺比比較部１４２３による判定を行わない方法や、矩形候補評価値の閾値を初期閾値とする方法、矩形候補評価値比較部１４２１と矩形四辺比比較部１４２３の順序を入れ替えて判定する方法なども考えられる。
【００８５】
本実施の形態では、フレーム間で同一な矩形を識別するのに矩形の形状（四辺比）と大きさ（周囲長）を表す特徴量を用いている。これは、カメラと撮影対象の距離がある程度あるため、検出する矩形形状は殆ど変化せず、矩形の移動（カメラ移動、手ぶれなどのシフト操作）と矩形の大きさの変化（デジタルズーム）が矩形識別に影響を与えると考え、シフト操作に影響を受けない特徴量である矩形の形状（四辺比）と大きさ（周囲長）を表す特徴量を採用したものであるが、これ以外の特徴量を矩形識別に使用してもよい。
【００８６】
＜情報の格納＞
次に、矩形追跡装置１００よる記憶部１３０へのデータの格納について説明する。
【００８７】
図６は、本発明の第１の実施の形態における追跡矩形決定部による記憶部へのデータ格納例を示す。
【００８８】
各矩形候補について、追跡矩形決定部１４０において記憶部１３０に矩形候補評価値、四隅座標、矩形周囲長、各辺の長さを格納するものとする。
【００８９】
また、追跡対象矩形の格納データについては、１フレーム前の追跡対象矩形の情報のみではなく、過去のフレーム情報も合わせて加重平均をとって、その値を格納することも考えられる。
【００９０】
例えば、追跡対象矩形の矩形周囲長が５０，４２，３０，２４と４フレームに渡り変化している場合、“２５”を矩形周囲長として記憶するのではなく、
（２４＋（３０＋（４２＋５０）＊０．５）＊０．５）＊０．５＝３１
を矩形周囲長として記憶することが考えられる。こうすることにより、時間方向での矩形の変化の様子をゆるやかに蓄積することができる。また、手ぶれなどにより、映像途中の１フレームだけ、正しい追跡矩形ではあるが、これまでの流れとは異なる矩形を検出した場合などに、その次のフレームへの影響を低減することが可能になる。
【００９１】
なお、加重平均を求める際の係数値（本実施の形態では０．５）は任意に変更可能である。例えば、現在のフレームに重点を置く場合には大きい値（０．８など）に設定することが考えられる。
【００９２】
また、周囲長だけではなく、矩形の四辺比などのほかの特徴量についても同様にして記憶することも考えられる。
【００９３】
上記のようにして、矩形追跡部１４０により決定された矩形の追跡結果（図６）のうち、例えば、四隅座標出力部１５１において図９のように四隅座標が出力される。
【００９４】
［第２の実施の形態］
最初に本実施の形態における実施イメージを示す。
【００９５】
図１０は、本発明の第２の実施の形態における実施イメージ図である。
【００９６】
本実施の形態では、カメラ付き携帯電話でテレビ画面に写し出された縁付きの映像を撮影し、その撮影端末上において縁付きの映像領域を追跡し、撮影途中で追跡する矩形を変更する場合について説明する。
【００９７】
既に追跡している矩形と異なる矩形を追跡する場合には、追跡矩形変更要求があり（ａ）、矩形候補を検出し（ｂ）、追跡対象矩形と周囲長を比較し（ｃ）、より大きい矩形又はより小さい矩形を選択し（ｄ）、その矩形を追跡対象矩形として記憶し（ｅ）、それ以降の追跡を行う。
【００９８】
図１１は、本発明の第２の実施の形態における矩形追跡装置の構成を示す。
【００９９】
同図に示す矩形追跡装置は、第１の実施の形態における図４の装置と追跡矩形決定部１４２に追跡対象矩形変更部１４２６が付加されたものであり、その他の構成は第１の実施の形態と同様であるので、各構成要素の説明は省略する。追跡対象矩形変更部１４２６については、図１４の動作のフローチャートで詳述する。
【０１００】
以下に、本実施の形態における動作を説明する。
【０１０１】
図１２は、本発明の第２の実施の形態における全体の動作のフローチャートである。
【０１０２】
ステップ４０１）  まず、フレームキャプチャ部１１１においてカメラ付き携帯電話機２００で撮影中の動画像から一枚ずつのフレームを取得する。
【０１０３】
ステップ４０２）  矩形候補検出部１２１において、フレームキャプチャ部１１１で取得したクレーム内から複数の矩形領域（四隅座標）を検出し、矩形候補として図６（Ａ）に示すように記憶部１３０に記憶する。
【０１０４】
ステップ４０３）  矩形追跡部１４０において、追跡矩形変更要求があるかを判定し、ある場合はステップ４０４に移行し、ない場合はステップ４０５に移行する。
【０１０５】
ステップ４０４）  矩形追跡部１４０において、追跡矩形変更要求がある場合は、前フレームにおいて、追跡対象矩形と異なる矩形を追跡対象矩形として選択し、ステップ４０８に移行する。当該処理の詳細は、図１３で詳述する。
【０１０６】
ステップ４０５）  矩形追跡部１４０において、追跡矩形変更要求がない場合は、追跡対象矩形情報が記憶部１３０に記憶されているかを判定する。記憶されていれば、ステップ４０６に移行し、記憶されていなければステップ４０７に移行する。
【０１０７】
ステップ４０６）  矩形追跡部１４０において、跡対象矩形情報が記憶部１３０に記憶されている場合は、追跡対象矩形決定処理として、全ての矩形候補と前フレームの追跡対象矩形とで、それぞれの矩形を矩形特徴量検出部１４１で検出された特徴付ける幾何学的な特徴量（矩形周囲長、矩形四辺比）を比較し、現在のフレーム内の矩形候補から追跡対象矩形を選択し、ステップ４０８に移行する。当該追跡対象矩形決定処理は、前述の第１の実施の形態における図８に示すフローチャートの動作と同様である。
【０１０８】
ステップ４０７）  ステップ４０５において、追跡対象矩形情報が記憶部１３０に記憶されていない場合は、矩形追跡部１４０において、初期追跡矩形決定処理として、すべての矩形候補について矩形候補検出時の矩形候補評価値を比較し、現在のフレーム内矩形候補から追跡対象矩形を選択し、ステップ４０８に移行する。当該処理は、前述の第１の実施の形態における図７に示すフローチャートの動作と同様である。
【０１０９】
ステップ４０８）  最後に、四隅座標出力部１５１において、記憶部１３０から追跡矩形の四隅座標を取得して出力する。
【０１１０】
＜追跡矩形変更処理＞
次に、上記のステップ４０４における追跡対象矩形変更処理について説明する。
【０１１１】
図１３は、本発明の第２の実施の形態における追跡矩形変更処理の動作のフローチャートである。
【０１１２】
ステップ５０１）  矩形候補評価値比較部１４２１が、矩形候補検出部１２１により検出され、記憶部１３０に格納されている矩形候補を１つ選択する。
【０１１３】
ステップ５０２）  矩形候補評価値比較部１４２１が、その矩形候補の矩形候補評価値が予め与えられている通常評価値以上であるかを判定する。通常評価値以上である場合は、ステップ５０３に移行し、そうでない場合はステップ５０７に移行する。
【０１１４】
ステップ５０３）  通常評価値以上である場合は、矩形四辺比検出部１４１２がその矩形候補の四辺比を求め、矩形四辺比比較部１４２３が、求められた矩形候補の四辺比と予め与えられている四辺比との差が所定の閾値以下であるかを判定する。四辺比の差が閾値以上の場合はステップ５０７に移行する。四辺比の差が閾値以下の場合はステップ５０４に移行する。
【０１１５】
ステップ５０４）  矩形周囲長比較部１４２２が、矩形候補の周囲長と記憶部１３０に記憶されている追跡対象矩形の周囲長との差が所定の閾値以下であるかを判定する。周囲長の差が閾値以上の場合は、ステップ５０７に移行する。周囲長の差が閾値以下の場合はステップ５０５に移行する。
【０１１６】
ステップ５０５）  周囲長の差が閾値以下の場合は、矩形周囲長比較部１４２２において、周囲長差分値が記憶手段１３０に記憶されている追跡対象矩形候補の矩形周囲長差分値よりも小さいかを判定する。周囲長差分値が追跡対象矩形候補の矩形周囲長差分値より小さくない場合は、ステップ５０７に移行する。矩形周囲長差分値が追跡対象矩形候補の周囲長差分値より小さい場合は、ステップ５０６に移行する。
【０１１７】
ステップ５０６）  周囲長差分値が追跡対象矩形候補の矩形周囲長差分値より小さい場合は、矩形候補を追跡対象矩形候補として記憶部１３０に記憶する。
【０１１８】
ステップ５０７）  すべての矩形についての判定が終了しているかを判定し、終了している場合にはステップ５０８に移行し、終了していない場合は、ステップ５０１に移行する。
【０１１９】
ステップ５０８）  記憶部１３０を参照して、追跡対象候補が存在するかを判定し、存在しない場合はステップ５１０に移行し、存在する場合はステップ５０９に移行する。
【０１２０】
ステップ５０９）  追跡対象候補が存在する場合は、追跡対象矩形候補を追跡対象矩形とし、図６（Ｂ）に示すように記憶部１３０に格納されたデータを更新し、ステップ５１１に移行する。
【０１２１】
ステップ５１０）  ステップ５０８において、追跡対象矩形候補が存在しない場合は、追跡対象矩形は検出できず、として、図６（Ｃ）に示すように、記憶部１３０に格納されたデータをリセットして、処理を終了する。
【０１２２】
ステップ５１１）  矩形対象矩形決定部１４２５は、記憶部１３０に記憶されている矩形候補から矩形候補を１つ選択する。
【０１２３】
ステップ５１２）  追跡対象矩形より大きい矩形に変更の要求がある場合は、ステップ５１３に移行する。追跡対象矩形より小さい矩形に変更の要求がある場合は、ステップ５１４に移行する。
【０１２４】
ステップ５１３）  矩形周囲長比較部１４２２が、矩形候補の周囲長が追跡対象矩形より大きいかを判定する。矩形候補の周囲長が追跡対象矩形より小さい場合は、ステップ５１７に移行する。そうでない場合は、ステップ５１５に移行する。
【０１２５】
ステップ５１４）  追跡対象矩形より小さい矩形に変更の要求がある場合は、矩形周囲長比較部１４２２が、矩形候補の周囲長が追跡対象矩形より小さいかを判定する。矩形候補の周囲長が追跡対象矩形より大きい場合は、ステップ５１７に移行する。そうでない場合はステップ５１５に移行する。
【０１２６】
ステップ５１５）  大きい矩形を選択する要求があって（ステップ５１２、Ｙｅｓ）、矩形候補の周囲長が追跡対象矩形より大きい場合（ステップ５１３、Ｙｅｓ）、または、小さい矩形を選択する要求があって（ステップ５１２、Ｎｏ）、矩形候補の周囲長が追跡対象矩形より小さい場合（ステップ５１４、Ｎｏ）には、矩形四辺比検出部１４１２が矩形候補の四辺比を求め、矩形四辺比比較部１４２３が、求められた矩形候補の四辺比と予め与えられている四辺比との差が所定の閾値以下であるかを判定する。閾値以下の場合は、ステップ５１６に移行し、そうでない場合は、ステップ５１７に移行する。
【０１２７】
ステップ５１６）  閾値以下の場合は、矩形候補を追跡変更矩形候補として記憶部１３０に記憶する。
【０１２８】
ステップ５１７）  すべての矩形の判定を終了したかを判定し、終了した場合はステップ５１８に移行し、終了していない場合はステップ５１１に移行する。
【０１２９】
ステップ５１８）  追跡変更矩形候補が存在するかを判定し、存在する場合はステップ５１９に移行し、存在しない場合はステップ５２０に移行する。
【０１３０】
ステップ５１９）  追跡変更矩形候補が存在する場合は、追跡変更矩形候補を追跡対象矩形として記憶部１３０に記憶し、処理を終了する。
【０１３１】
ステップ５２０）  追跡変更矩形候補が存在しない場合は、追跡対象矩形はそのままとし、処理を終了する。
【０１３２】
なお、本実施の形態における四辺座標出力部１５１の出力方法は、第１の実施の形態と同様に、図９に示すように記憶部１３０に格納された情報を出力する。
【０１３３】
＜多角形への対応＞
上記の第１・第２の実施の形態では、四角形（矩形）の追跡について述べたが、本発明は、多角形へ拡張が可能である。Ｎ角形の相似条件はＮ辺の比が等しいことであるため、本発明を利用できることは自明である。
【０１３４】
以下に、本発明を適用した場合の具体的な効果を示す。
【０１３５】
映像中の矩形領域を追跡するためには、現在の映像フレーム内から複数の矩形領域を検出し、前フレームでの追跡矩形とその矩形の幾何学的な特徴を比較し、最も関連性の高い矩形を選択することで、同一の矩形を連続的に追跡することが可能である。
【０１３６】
また、追跡矩形比較の特徴量として、矩形の周囲長と四辺比を用いているが、矩形の四辺比はシフト操作と拡大縮小操作に対して不変量であるため、携帯端末の手ぶれ（シフト操作）やカメラのデジタルズーム（拡大縮小）によって撮影映像が変化しても、特徴量の変動が大変少なく、これらの操作に対するロバスト性が高く追跡に利用するのに都合の良い特徴量と言える。
【０１３７】
また、矩形の周囲長もシフト操作に対しては不変量であり、携帯端末の手ぶれ（シフト操作）による撮影映像の変化による特徴量の変動が大変少ない。
【０１３８】
これらの二つの特徴量を用いることで、手ぶれやデジタルズームなどの外乱が加わっても、矩形を追跡し続けることが可能になる。
【０１３９】
なお、矩形の周囲長は拡大縮小操作によって変化するが、デジタルズームの倍率を事前に計測しておけば、デジタルズームが起きた場合に記憶装置で保持している追跡矩形情報の周囲長を倍率に応じて変化させることで、デジタルズームへのロバスト性を高めて、より正確な追跡を実現することが可能となる。
【０１４０】
サンプル矩形を手持ちの携帯電話で撮影した場合の検出矩形の四辺比の変化を図１４に、矩形の周囲長の変化を図１５に示す。図１４より手持ちによる手ぶれ（シフト操作）やデジタルズーム（拡大縮小）によって四辺比の値があまり変化せず一定であることがわかる。また、図１５より手ぶれ（シフト操作）によって周囲長の値も殆ど変化せず一定であることが分かる。
【０１４１】
これらの特徴量を合わせて判断することで、４つあるサンプル矩形をそれぞれ分離して認識でき、複数の矩形を同時に追跡することが可能になる。
【０１４２】
さらに、複数矩形を分離して認識することが可能なため、現在追跡している矩形とは異なる画面内にある別の矩形を追跡したい場合でも（例えばテレビ画面の内側に、矩形領域が存在する場合など）、追跡矩形変更の要求をすれば、これらの特徴量を参照して、追跡矩形を正確に切り替えることが可能である。
【０１４３】
本発明は、デスクトップパソコンの様な処理能力の高い端末では当然実現可能であるが、携帯電話に代表される様な処理能力が低い端末でも動作可能であり、その処理速度も十分に速いことを特徴とする。具体的には動画キャプチャ処理可能な携帯端末へ実装したところ、約２〜２０msecの処理時間で矩形領域の検出から追跡矩形の決定までの動作を完了しており、十分に高速であることを確認した。この時に用いた矩形領域の検出手法は特許文献１に示す手法である。
【０１４４】
さらに、携帯電話に限らず、ビデオカメラなどの様々な機器への取り組みも可能である。ビデオカメラに組み込み、文字認識のための前処理として、看板などの領域を高速に認識追跡することで撮影画像を正規化し、文字認識精度の向上などに役立てることができる。
【０１４５】
数多く出回っているカメラ付き携帯電話に組み込み可能であるので、今後カメラ付き携帯電話の利用が変わる可能性を秘めている。矩形領域へカメラを向ければ、その領域を自動的に検出できるため、リビングの椅子に座りながらテレビ画面に向けてビデオ撮影することでテレビの画面のみを正確にキャプチャすることが可能である。例えば、番組やコマーシャル毎に電子透かしが埋め込まれていれば、番組やコマーシャル独自の情報をこれにより取得可能となる。
【０１４６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１４７】
本発明は、上記の実施の形態のみに依存する話ではなく、映像や他の様々なメディアなどにも適用できるものである。文字認識やパターン認識の前処理として、風景中の矩形領域（ＴＶ画面領域など）を追跡するといった利用方法も考えられる。
【図面の簡単な説明】
【０１４８】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における実施イメージ図である。
【図４】本発明の第１の実施の形態における矩形追跡装置の構成図である。
【図５】本発明の第１の実施の形態における全体の動作フローチャートである。
【図６】本発明の第１の実施の形態における追跡矩形決定部による記憶部へのデータ格納例である。
【図７】本発明の第１の実施の形態における初期追跡決定処理の動作フローチャートである。
【図８】本発明の第１の実施の形態における追跡対象矩形決定処理のフローチャートである。
【図９】本発明の第１の実施の形態における追跡矩形決定部による記憶部へのデータ格納例である。
【図１０】本発明の第２の実施の形態における実施イメージ図である。
【図１１】本発明の第２の実施の形態における矩形追跡装置の構成図である。
【図１２】本発明の第２の実施の形態における全体の動作フローチャートである。
【図１３】本発明の第２の実施の形態に追跡矩形変更処理の動作フローチャートである。
【図１４】サンプル矩形撮影時の矩形の四辺比の変化の様子である。
【図１５】サンプル矩形撮影時の矩形の周囲長の変化の様子である。
【図１６】本実施の形態における辺探索位置である。
【符号の説明】
【０１４９】
１００  矩形追跡装置
１１０  映像入力手段、映像入力部
１１１  フレームキャプチャ部
１２０  矩形検出手段、矩形検出部
１２１  矩形候補検出部
１３０  記憶手段、記憶部
１４０  矩形追跡手段、矩形追跡部
１４１  矩形特徴量検出部
１４２  追跡矩形決定部
１５０  追跡結果出力手段、追跡結果出力部
１５１  四隅座標出力部
１４１１  矩形周囲長検出部
１４１２  矩形四辺比検出部
１４２１  矩形候補評価値比較部
１４２２  矩形周囲長比較部
１４２３  矩形四辺比比較部
１４２４  初期追跡矩形決定部
１４２５  追跡対象矩形決定部
１４２６  追跡対象矩形変更部
【図１】
2008117228.tif 000003
【図２】
2008117228.tif 000004
【図３】
2008117228.tif 000005
【図４】
2008117228.tif 000006
【図５】
2008117228.tif 000007
【図６】
2008117228.tif 000008
【図７】
2008117228.tif 000009
【図８】
2008117228.tif 000010
【図９】
2008117228.tif 000011
【図１０】
2008117228.tif 000012
【図１１】
2008117228.tif 000013
【図１２】
2008117228.tif 000014
【図１３】
2008117228.tif 000015
【図１４】
2008117228.tif 000016
【図１５】
2008117228.tif 000017
【図１６】
2008117228.tif 000018