(57)【要約】  情報処理装置（１０）は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、当該動画コンテンツに含まれる画像内の注目領域を決定する情報処理装置（１０）であって、表示中の動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける入力部（１１）と、入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定する補正部（１２）とを備える。
2011093013.tif 000002
【特許請求の範囲】
【請求項１】
動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、前記動画コンテンツに含まれる画像内の注目領域を決定する情報処理装置であって、
表示中の前記動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける入力部と、
前記入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定する補正部とを備える
情報処理装置。
【請求項２】
前記入力データは、前記動画コンテンツに含まれる複数枚の画像にわたって前記ユーザが入力した軌跡を示すデータであり、
前記情報処理装置は、さらに、前記複数枚の画像における前記入力領域内の像の移動量及び移動方向を算出する動き算出部を備え、
前記補正部は、算出された前記移動量及び前記移動方向を用いて前記入力領域を補正することにより、前記注目領域を決定する
請求項１に記載の情報処理装置。
【請求項３】
前記補正部は、前記ユーザが入力を完了した後に前記入力領域を補正する
請求項２に記載の情報処理装置。
【請求項４】
前記補正部は、前記移動量及び前記移動方向に応じて前記入力領域を移動させた移動領域と前記入力領域との積集合を、前記注目領域として決定する
請求項３に記載の情報処理装置。
【請求項５】
前記補正部は、前記移動方向に前記移動量だけ前記入力領域を移動させた前記移動領域と前記入力領域との積集合を、前記複数の画像のうちの最後の画像における前記注目領域として決定する
請求項４に記載の情報処理装置。
【請求項６】
前記補正部は、前記移動方向の反対方向に前記移動量だけ前記入力領域を移動させた前記移動領域と前記入力領域との積集合を、前記複数の画像のうちの最初の画像における前記注目領域として決定する
請求項４に記載の情報処理装置。
【請求項７】
前記動き算出部は、前記複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定し、選定した画素群の移動量及び移動方向を前記入力領域内の像の移動量及び移動方向として算出する
請求項４〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記補正部は、前記移動量及び前記移動方向に応じて前記入力領域を圧縮することにより、前記注目領域を決定する
請求項３に記載の情報処理装置。
【請求項９】
前記補正部は、前記移動方向に前記移動量だけ前記入力領域を圧縮することにより、前記複数の画像のうちの最後の画像における前記注目領域を決定する
請求項８に記載の情報処理装置。
【請求項１０】
前記補正部は、前記移動方向の反対方向に前記移動量だけ前記入力領域を圧縮することにより、前記複数の画像のうちの最初の画像における前記注目領域を決定する
請求項８に記載の情報処理装置。
【請求項１１】
前記動き算出部は、前記複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定し、選定した画素群の移動量及び移動方向を前記入力領域内の像の移動量及び移動方向として算出する
請求項８〜１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記動き算出部は、前記入力と並行して前記移動量及び前記移動方向を算出し、
前記補正部は、前記入力と並行して前記入力領域を補正する
請求項２に記載の情報処理装置。
【請求項１３】
前記入力データは、前記動画コンテンツに含まれる複数枚の画像にわたって前記ユーザが入力した軌跡を示すデータであり、
前記補正部は、前記複数枚の画像にわたる前記入力が完了した後に、前記入力データが示す軌跡の形状に基づいて前記入力領域を補正することにより、前記注目領域を決定する
請求項１に記載の情報処理装置。
【請求項１４】
前記補正部は、前記入力データが示す軌跡を楕円に近似し、前記楕円の長軸と前記軌跡との交点のうち前記軌跡の始点から最も遠い交点が入力された画像において、前記始点から最も遠い交点の近傍の領域を前記注目領域として決定する
請求項１３に記載の情報処理装置。
【請求項１５】
前記補正部は、前記入力データが示す軌跡を補完することにより前記注目領域を決定する
請求項１に記載の情報処理装置。
【請求項１６】
前記補正部は、前記入力データが示す軌跡を楕円に近似することにより前記軌跡を補完する
請求項１５に記載の情報処理装置。
【請求項１７】
前記補正部は、前記注目領域を決定するためのアルゴリズムを前記入力データに基づいて決定し、決定したアルゴリズムに従って前記入力領域を補正することにより前記注目領域を決定する
請求項１〜１６に記載の情報処理装置。
【請求項１８】
前記情報処理装置は、集積回路として構成されている
請求項１〜１７のいずれか１項に記載の情報処理装置。
【請求項１９】
動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、前記動画コンテンツに含まれる画像内の注目領域を決定する情報処理方法であって、
表示中の前記動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける入力ステップと、
前記入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定する補正ステップとを含む
情報処理方法。
【請求項２０】
請求項１９に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を決定する情報処理装置及び情報処理方法に関するものである。
【背景技術】
【０００２】
近年、デジタル技術とインターネットの発達や動画投稿サイトの流行により、ユーザがＴＶ（テレビジョン）放送の視聴以外で動画コンテンツを利用する機会が劇的に増加している。現在、ユーザはＹｏｕＴｕｂｅ（登録商標）のような動画投稿サイトやＧｏｏｇｌｅ（登録商標）のような検索サイトでキーワードを入力し、所望のコンテンツを検索する。しかし、この方法ではキーワード化できない要素を検索することができない。そこで、動画コンテンツをより簡単で的確に検索できるような方法が検討されている。例えば、ある動画コンテンツから直接その他の動画コンテンツを検索するような方法がある。従来、動画コンテンツから別の動画コンテンツを検索する方法として、動画コンテンツを構成する１枚の静止画像の更に一部分の領域を用いて、動画コンテンツを検索する方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４６４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の方法では、ユーザが動画コンテンツ内のある領域に注目して検索したい場合、マウス等の入力手段を用いてそのオブジェクトを囲って指定する必要がある。しかしながら、動画コンテンツ内のオブジェクトは動いているため、そのオブジェクトを囲うための軌跡の入力が乱れて、入力された軌跡によって特定される領域が必ずしも適切な領域ではないという課題を有していた。【０００５】
そこで、本発明は、前記従来の課題を解決するものであって、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を適切に決定することができる情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一態様に係る情報処理装置は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、前記動画コンテンツに含まれる画像内の注目領域を決定する情報処理装置であって、表示中の前記動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける入力部と、前記入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定する補正部とを備える。【０００７】
この構成によれば、入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定することができる。したがって、入力領域が適切な領域ではない場合に、入力領域を補正することができ、注目領域を適切に決定することができる。【０００８】
また、前記入力データは、前記動画コンテンツに含まれる複数枚の画像にわたって前記ユーザが入力した軌跡を示すデータであり、前記情報処理装置は、さらに、前記複数枚の画像における前記入力領域内の像の移動量及び移動方向を算出する動き算出部を備え、前記補正部は、算出された前記移動量及び前記移動方向を用いて前記入力領域を補正することにより、前記注目領域を決定することが好ましい。【０００９】
この構成によれば、入力領域内の像の移動量及び移動方向を用いて入力領域を補正することができる。一般的に、入力領域内には、ユーザが囲おうとしているオブジェクトが含まれている。したがって、この構成によれば、オブジェクトの動きに応じて入力領域を補正することができる。これにより、オブジェクトの動きによって軌跡の入力が乱れた場合であっても、その動きを用いて入力領域を補正できるので、注目領域を適切に決定することができる。つまり、オブジェクトを含む注目領域を適切に決定することが可能となる。【００１０】
また、前記補正部は、前記移動量及び前記移動方向に応じて前記入力領域を移動させた移動領域と前記入力領域との積集合を、前記注目領域として決定することが好ましい。この場合例えば、前記補正部は、前記移動方向に前記移動量だけ前記入力領域を移動させた前記移動領域と前記入力領域との積集合を、前記複数の画像のうちの最後の画像における前記注目領域として決定してもよい。また例えば、前記補正部は、前記移動方向の反対方向に前記移動量だけ前記入力領域を移動させた前記移動領域と前記入力領域との積集合を、前記複数の画像のうちの最初の画像における前記注目領域として決定してもよい。【００１１】
これらの構成によれば、移動量及び移動方向に応じて入力領域を移動させた移動領域と入力領域との積集合を注目領域として決定することができる。したがって、オブジェクトの動きに影響されて入力領域が必要以上に大きくなった場合であっても、オブジェクトを含む領域であって入力領域よりも小さい領域を注目領域と決定することができる。その結果、注目領域を適切に決定することができる。【００１２】
また、前記補正部は、前記移動量及び前記移動方向に応じて前記入力領域を圧縮することにより、前記注目領域を決定することが好ましい。この場合例えば、前記補正部は、前記移動方向に前記移動量だけ前記入力領域を圧縮することにより、前記複数の画像のうちの最後の画像における前記注目領域を決定してもよい。また例えば、前記補正部は、前記移動方向の反対方向に前記移動量だけ前記入力領域を圧縮することにより、前記複数の画像のうちの最初の画像における前記注目領域を決定してもよい。【００１３】
これらの構成によれば、移動量及び移動方向に応じて入力領域を圧縮することにより、注目領域を決定することができる。したがって、オブジェクトの動きに影響されて入力領域が必要以上に大きくなった場合であっても、オブジェクトを含む領域であって入力領域よりも小さい領域を注目領域と決定することができる。その結果、注目領域を適切に決定することができる。【００１４】
また、前記動き算出部は、前記複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定し、選定した画素群の移動量及び移動方向を前記入力領域内の像の移動量及び移動方向として算出することが好ましい。【００１５】
この構成によれば、複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定することができる。したがって、オブジェクトが大きく動く前に入力された軌跡に基づいて画素群を選定することができる。このように選定された画素群を用いて移動量及び移動方向を算出することにより、オブジェクトの動きに適応した移動量及び移動方向を算出することができる。したがって、このように算出された移動量及び移動方向を用いて入力領域を補正することにより、注目領域を適切に決定することができる。【００１６】
また、前記動き算出部は、前記入力と並行して前記移動量及び前記移動方向を算出し、前記補正部は、前記入力と並行して前記入力領域を補正することが好ましい。【００１７】
この構成によれば、ユーザの入力と並行して入力領域を補正することができる。【００１８】
また、前記入力データは、前記動画コンテンツに含まれる複数枚の画像にわたって前記ユーザが入力した軌跡を示すデータであり、前記補正部は、前記複数枚の画像にわたる前記入力が完了した後に、前記入力データが示す軌跡の形状に基づいて前記入力領域を補正することにより、前記注目領域を決定することが好ましい。【００１９】
この構成によれば、軌跡の形状に基づいて入力領域を補正することができるので、移動量及び移動方向を算出する必要がない。したがって、計算負荷を軽減することができる。【００２０】
また、前記補正部は、前記入力データが示す軌跡を楕円に近似し、前記楕円の長軸と前記軌跡との交点のうち前記軌跡の始点から最も遠い交点が入力された画像において、前記始点から最も遠い交点の近傍の領域を前記注目領域として決定することが好ましい。【００２１】
この構成によれば、軌跡を楕円に近似し、その楕円の長軸と軌跡との交点のうち軌跡の始点から最も遠い交点が入力された画像において、始点から最も遠い交点の近傍の領域を注目領域として決定することができる。したがって、オブジェクトを囲うための軌跡が閉じられ始めた位置の近傍の領域を注目領域と決定することができる。つまり、軌跡が閉じられ始めた位置にはオブジェクトが存在すると考えられるので、オブジェクトを含む注目領域と適切に決定することが可能となる。【００２２】
また、前記補正部は、前記入力データが示す軌跡を補完することにより前記注目領域を決定することが好ましい。【００２３】
この構成によれば、ユーザが入力した軌跡を補完することにより注目領域を決定することができる。したがって、オブジェクトが大きく動く前に注目領域を適切に決定することが可能となる。【００２４】
また、前記補正部は、前記入力データが示す軌跡を楕円に近似することにより前記軌跡を補完することが好ましい。【００２５】
この構成によれば、ユーザが入力した軌跡を楕円に近似することにより当該軌跡を補完することができる。ユーザが、動くオブジェクトを囲うために軌跡を入力する場合、一般的に、その軌跡の形状は楕円になりやすい。また、楕円であれば、比較的少ない点数によって近似することが可能となる。したがって、ユーザが入力した軌跡を楕円に近似することにより、注目領域を適切に決定することが可能となる。【００２６】
また、前記補正部は、前記注目領域を決定するためのアルゴリズムを前記入力データに基づいて決定し、決定したアルゴリズムに従って前記入力領域を補正することにより前記注目領域を決定することが好ましい。【００２７】
この構成によれば、注目領域を決定するためのアルゴリズムを入力データに基づいて適応的に決定することができ、注目領域をより適切に決定することが可能となる。【００２８】
また、前記情報処理装置は、集積回路として構成されてもよい。【００２９】
なお、本発明は、このような情報処理装置として実現することができるだけでなく、このような情報処理装置が備える特徴的な構成要素の動作をステップとする情報処理方法として実現することができる。また、本発明は、情報処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３０】
本発明によれば、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を適切に決定することができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本発明の実施の形態１における情報処理装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における情報処理装置による全体的な処理の流れを示すフローチャートである。
【図３】図３は、本発明の実施の形態１における入力プロセスの詳細な処理の流れを示すフローチャートである。
【図４】図４は、本発明の実施の形態１における入力データが示す軌跡の一例を示す図である。
【図５】図５は、本発明の実施の形態１における動き算出プロセスの詳細な処理の流れを示すフローチャートである。
【図６】図６は、本発明の実施の形態１におけて選定される画素群を説明するための図である。
【図７】図７は、本発明の実施の形態１における画素群の移動量及び移動方向の算出結果の一例を示す図である。
【図８】図８は、本発明の実施の形態１における画素群の移動量及び移動方向の算出結果の一例を示す図である。
【図９】図９は、本発明の実施の形態１における補正部が行う入力領域の補正処理について説明するための図である。
【図１０】図１０は、本発明の実施の形態１の変形例１における入力データが示す軌跡の一例を示す図である。
【図１１】図１１は、本発明の実施の形態１の変形例１において選定される画素群の一例を示す図である。
【図１２】図１２は、本発明の実施の形態１の変形例２において特定される入力領域の一例を示す図である。
【図１３】図１３は、本発明の実施の形態１の変形例２において選定される画素群の一例を示す図である。
【図１４】図１４は、本発明の実施の形態１の変形例３における動き算出プロセスの詳細な処理の流れを示すフローチャートである。
【図１５】図１５は、本発明の実施の形態１の変形例３において選定される画素群の一例を示す図である。
【図１６】図１６は、本発明の実施の形態１の変形例３における画素群の移動量及び移動方向の算出結果の一例を示す図である。
【図１７】図１７は、本発明の実施の形態１の変形例３における画素群の移動量及び移動方向の算出結果の一例を示す図である。
【図１８】図１８は、本発明の実施の形態１の変形例４における補正部が行う入力領域の補正処理について説明するための図である。
【図１９】図１９は、本発明の実施の形態１の変形例５における補正部が行う入力領域の補正処理について説明するための図である。
【図２０】図２０は、本発明の実施の形態１の変形例６における補正部が行う入力領域の補正処理について説明するための図である。
【図２１】図２１は、本発明の実施の形態１の変形例７における補正部が行う入力領域の補正処理について説明するための図である。
【図２２】図２２は、本発明の実施の形態２における情報処理装置の機能構成を示すブロック図である。
【図２３】図２３は、本発明の実施の形態２における動き算出プロセスの詳細な処理の流れを示すフローチャートである。
【図２４】図２４は、本発明の実施の形態２において選定される画素群を説明するための図である。
【図２５】図２５は、本発明の実施の形態２において入力領域内の像の移動量及び移動方向を算出する処理を説明するための図である。
【図２６】図２６は、本発明の実施の形態２において入力領域内の像の移動量及び移動方向を算出する処理を説明するための図である。
【図２７】図２７は、本発明の実施の形態２において入力領域を補正する処理を説明するための図である。
【図２８】図２８は、本発明の実施の形態３における情報処理装置の機能構成を示すブロック図である。
【図２９】図２９は、本発明の実施の形態３における情報処理装置による全体的な処理の流れを示すフローチャートである。
【図３０】図３０は、本発明の実施の形態３における入力データが示す軌跡の一例を示す図である。
【図３１】図３１は、本発明の実施の形態３における補正プロセスの詳細な処理の流れを示すフローチャートである。
【図３２】図３２は、本発明の実施の形態３において入力領域を補正するための画像を選択する処理を説明するための図である。
【図３３Ａ】図３３Ａは、本発明の実施の形態３において入力領域を補正する方法の一例を示す図である。
【図３３Ｂ】図３３Ｂは、本発明の実施の形態３において入力領域を補正する方法の一例を示す図である。
【図３３Ｃ】図３３Ｃは、本発明の実施の形態３において入力領域を補正する方法の一例を示す図である。
【図３４】図３４は、本発明の実施の形態４における情報処理装置の機能構成を示すブロック図である。
【図３５】図３５は、本発明の実施の形態４における補正プロセスの詳細な処理の流れを示すフローチャートである。
【図３６】図３６は、本発明の実施の形態４において補完された軌跡に囲まれた注目領域の一例を示す図である。
【図３７】図３７は、本発明の実施の形態５における情報処理装置の機能構成を示すブロック図である。
【図３８】図３８は、本発明の実施の形態５における補正プロセスの詳細な処理の流れを示すフローチャートである。
【図３９】図３９は、本発明の実施の形態５においてアルゴリズムを決定する方法の一例を説明するための図である。
【図４０】図４０は、本発明の実施の形態５においてアルゴリズムを決定する方法の他の一例を説明するための図である。
【図４１】図４１は、本発明の実施の形態５においてアルゴリズムを決定する方法のさらに他の一例を説明するための図である。
【図４２】図４２は、本発明の一態様に係る情報処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３３】
（実施の形態１）
本発明の実施の形態１における情報処理装置１００は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を決定する。特に、本実施の形態では、情報処理装置１００は、ユーザが入力を完了した後に、入力された軌跡によって特定される領域である入力領域内の像の移動量及び移動方向を用いて当該入力領域を補正することにより注目領域を決定する。
【００３４】
なお、動画コンテンツに含まれる画像とは、動画を構成するピクチャを意味する。また、入力領域内の像とは、ピクチャ内の一部領域である入力領域内に含まれる画素によって形成される画像（イメージ）を意味する。また、オブジェクトとは、動画コンテンツ中に表される対象物（例えば、人、動物、乗り物、マークなど）を意味する。
【００３５】
以下に、本発明の実施の形態１における情報処理装置について、図面を参照しながら説明する。
【００３６】
図１は、本発明の実施の形態１における情報処理装置１００の機能構成を示すブロック図である。
【００３７】
［情報処理装置の内部構成］
情報処理装置１００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、動き算出部１４０、補正部１５０、及び入力部１３０を備える。
【００３８】
入力手段１９０は、ユーザが注目領域を情報処理装置１００に入力するためのリモコン、マウス、あるいはキーボードのような具体的な入力手段である。また、情報処理装置１００がタッチパネルを備えている場合は、入力手段１９０は、タッチペンのようなスタイラス、あるいはユーザの指であってもよい。さらに、入力手段１９０は、ジェスチャあるいは音声による操作を可能とするための装置であってもよい。
【００３９】
動画コンテンツ取得部１１０は、放送、ネットワーク、あるいは二次記憶装置などからユーザが視聴する動画コンテンツを取得する。
【００４０】
デコード部１２０は、動画コンテンツ取得部１１０が取得した動画コンテンツをデコードする。
【００４１】
入力部１３０は、入力手段１９０を介して、ユーザから入力データを受け付ける。具体的には、入力部１３０は、表示中の動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける。本実施の形態では、入力データは、動画コンテンツに含まれる複数枚の画像にわたってユーザが入力した軌跡を示すデータである。
【００４２】
動き算出部１４０は、入力領域内の像の移動量及び移動方向を算出する。つまり、動き算出部１４０は、入力領域内の像の移動量及び移動方向を算出する。なお、本実施の形態では、動き算出部１４０は、入力領域に含まれる画素群の移動量及び移動方向を算出することにより、入力領域内の像の移動量及び移動方向を算出する。移動量及び移動方向の算出方法の詳細については後述する。
【００４３】
なお、入力領域とは、入力データが示す軌跡によって特定される領域である。本実施の形態では、入力領域とは、入力データが示す軌跡によって囲まれた領域である。また、画素群とは、一定数の画素で構成される画素のグループを意味する。
【００４４】
補正部１５０は、動き算出部１４０が算出した、入力領域内の像の移動量及び移動方向を用いて入力領域を補正することにより、注目領域を決定する。そして、補正部１５０は、このように決定された注目領域を、表示部１６０に出力する。また、補正部１５０は、このように決定された注目領域を外部の画像検索装置などに出力してもよい。なお、入力領域の補正方法の詳細については後述する。
【００４５】
表示部１６０は、デコード部１２０がデコードした動画コンテンツと、入力部１３０によって受け付けられた入力データが示す軌跡を表示する。さらに、表示部は、補正部１５０によって決定された注目領域を示す情報を表示する。
【００４６】
［情報処理装置の全体動作］
次に、以上のように構成された情報処理装置１００における各種動作について説明する。
【００４７】
図２は、本発明の実施の形態１における情報処理装置１００による全体的な処理の流れを示すフローチャートである。情報処理装置１００は、入力データを受け付ける入力プロセス（ステップＳ２１０）と、入力領域内の画素群の移動量及び移動方向を算出する動き算出プロセス（ステップＳ２２０）と、入力領域を補正する補正プロセス（ステップＳ２３０）とを実行する。
【００４８】
［入力プロセス］
まず、入力プロセス（ステップＳ２１０）について詳述する。図３は、本発明の実施の形態１における入力プロセス（ステップＳ２１０）の詳細な処理の流れを示すフローチャートである。
【００４９】
ユーザが入力手段１９０を用いて軌跡の入力を開始したとき、情報処理装置１００の入力部１３０は、入力された軌跡を示す入力データを受け付ける。そして、入力部１３０は、受け付けた入力データを動き算出部１４０と表示部１６０とに送る（ステップＳ３１０）。ユーザが入力を継続している間、入力部１３０は、動き算出部１４０と表示部１６０とに入力データを送り続ける（ステップＳ３２０）。なお、表示部１６０は、受け取った入力データをそのまま動画コンテンツに重ね合わせて表示する。
【００５０】
図４は、本発明の実施の形態１における入力データが示す軌跡の一例を示す図である。具体的には、図４は、動画コンテンツにおいて移動するオブジェクトを囲うために、複数枚の画像にわたってユーザが軌跡を入力する経過の一例を示す図である。
【００５１】
動画コンテンツに含まれる３枚の画像（画像Ｘ、Ｘ＋１、及びＸ＋２）において、オブジェクト４２０は、水平方向に左から右へ移動している。ユーザは、このオブジェクト４２０を囲うように軌跡４１０、４１１、及び４１２を入力する。最終的に、ユーザは、オブジェクトの動きにつられて、オブジェクトよりもかなり大きな領域を囲う楕円形の軌跡４１２を入力している。
【００５２】
［動き算出プロセス］
次に、動き算出プロセス（ステップＳ２２０）について詳述する。図５は、本発明の実施の形態１における動き算出プロセス（ステップＳ２２０）の詳細な処理の流れを示すフローチャートである。
【００５３】
［入力開始／完了時の画像を記録］
動き算出部１４０は、入力部１３０から入力データの受信を開始したときに、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を開始したタイミングで表示されていた画像（以下、「最初の画像」という）のＩＤを記録する（ステップＳ５１０）。次に、動き算出部１４０は、入力部１３０から入力データの受信を完了したときに（ステップＳ５２０）、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を完了したタイミングで表示されていた画像（以下、「最後の画像」という）のＩＤを記録する（ステップＳ５３０）。
【００５４】
［画素群の選定］
次に、動き算出部１４０は、入力領域内の像の移動量及び移動方向を算出するための画素群を選定する（ステップＳ５４０）。具体的には、動き算出部１４０は、入力データが示す軌跡に基づいて入力領域を特定する。ここでは、動き算出部１４０は、入力データが示す軌跡に囲まれた領域を入力領域として特定する。そして、動き算出部１４０は、最初の画像から最後の画像までの間のすべての画像において、入力領域に含まれる画素群を選定する。なお、ここでは、入力領域に含まれる画素群には、少なくともその一部の画素が入力領域に含まれる画素群を含む。
【００５５】
図６は、本発明の実施の形態１において選定される画素群を説明するための図である。図６に示すように、動き算出部１４０は、画像Ｘ、Ｘ＋１、及びＸ＋２のそれぞれにおいて、画像に含まれる複数の画素群の中から、入力領域に一部でも含まれる画素群（ハッチングされた画素群）を選定する。
【００５６】
［移動量及び移動方向の算出］
次に、動き算出部１４０は、ステップＳ５４０で選定された画素群の移動量及び移動方向を算出することにより、入力領域内の像の移動量及び移動方向を算出する（ステップＳ５５０）。
【００５７】
ある画像において選定された画素群の移動量及び移動方向は、その画像の直前の画像に対する相対的な移動量及び移動方向として算出される。したがって、例えば、画像Ｎ〜画像Ｎ＋ｍに対して軌跡が入力されている場合、画像Ｎ＋１〜画像Ｎ＋ｍにおいて画素群の移動量及び移動方向が算出される。
【００５８】
例えば、図６において算出される画素群の移動量及び移動方向は、画像Ｘ＋１の画像Ｘに対する移動量及び移動方向と、画像Ｘ＋２の画像Ｘ＋１に対する移動量及び移動方向となる。
【００５９】
図７は、本発明の実施の形態１における画素群の移動量及び移動方向の算出結果の一例を示す図である。画像Ｘと画像Ｘ＋１との間で移動があったのは、画素群Ａ〜Ｉのみである。例えば、画像Ｘの画素群Ａ０は、画像Ｘ＋１の画素群Ａ１に移動している。したがって、画素群Ａ１の画素群Ａ０に対する移動量及び移動方向は、ｘ方向に５画素群分、ｙ方向に０画素群分となる。同様に画素群Ｂ１〜Ｉ１の画素群Ｂ０〜Ｉ０に対する移動量及び移動方向も、それぞれｘ方向に５画素群分、ｙ方向に０画素群分となる。その他の画素群の移動量は０である。
【００６０】
また、図８は、本発明の実施の形態１における画素群の移動量及び移動方向の算出結果の一例を示す図である。画像Ｘに対する画像Ｘ＋１の移動量及び移動方向と同様に、画素群Ａ２〜Ｉ２の画素群Ａ１〜Ｉ１に対する移動量及び移動方向も、それぞれｘ方向に５画素群分、ｙ方向に０画素群分となる。また、その他の画素群の移動量は０である。
【００６１】
そして、動き算出部１４０は、このように算出された画素群の移動量及び移動方向の平均値を画像ごとに算出する。そして、動き算出部１４０は、算出した画像ごとの平均値の総和を、画像Ｘ〜Ｘ＋２における入力領域内の像の移動量及び移動方向として算出する。
【００６２】
ここで、画像ごとに画素群の移動量及び移動方向の平均値を算出し、その平均値の総和を算出する方法について詳述する。
【００６３】
動き算出部１４０は、まず、画像ごとに、複数の画素群の移動量及び移動方向の平均値を算出する。この際、動き算出部１４０は、移動がない画素群は無視して平均値を導出する。つまり、動き算出部１４０は、移動量が０より大きい画素群の移動量及び移動方向の平均値を画像ごとに算出する。
【００６４】
次に、動き算出部１４０は、算出した画像ごとの平均値の総和を、入力領域内の像の移動量及び移動方向として算出する。例えば、図７及び図８では、次のように、入力領域内の像の移動量及び移動方向が算出される。
【００６５】
画像Ｘ＋１の平均値＝（画素群Ａ１の移動量及び移動方向（５，０）＋画素群Ｂ１の移動量及び移動方向（５，０）＋ 画素群Ｃ１の移動量及び移動方向（５，０）＋ 画素群Ｄ１の移動量及び移動方向（５，０）＋ 画素群Ｅ１の移動量及び移動方向（５，０）＋画素群Ｆ１の移動量及び移動方向（５，０）＋画素群Ｇ１の移動量及び移動方向（５，０）＋画素群Ｈ１の移動量及び移動方向（５，０）＋画素群Ｉ１の移動量及び移動方向）（５，０）／９＝（５，０）
【００６６】
画像Ｘ＋２の平均値＝（画素群Ａ２の移動量及び移動方向（５，０）＋ 画素群Ｂ２の移動量及び移動方向（５，０）＋画素群Ｃ２の移動量及び移動方向（５，０）＋画素群Ｄ２の移動量及び移動方向（５，０）＋画素群Ｅ２の移動量及び移動方向（５，０）＋画素群Ｆ２の移動量及び移動方向（５，０）＋画素群Ｇ２の移動量及び移動方向（５，０）＋画素群Ｈ２の移動量及び移動方向（５，０）＋画素群Ｉ２の移動量及び移動方向（５，０））／９＝（５，０）
【００６７】
入力領域内の像の移動量及び移動方向＝画像Ｘ＋１の平均値（５，０）＋画像Ｘ＋２の平均値（５，０）＝（１０，０）
【００６８】
なお、動き算出部１４０は、必ずしも上記のような方法で入力領域内の像の移動量及び移動方向を算出する必要はない。例えば、動き算出部１４０は、入力領域に含まれるすべての画素群（動きがない画素群を含む）の移動量及び移動方向の平均値の総和を、入力領域内の像の移動量及び移動方向として算出してもよい。
【００６９】
［補正プロセス］
次に、補正プロセス（ステップＳ２３０）について詳述する。補正部１５０は、算出された移動量及び移動方向に応じて入力領域を移動させた移動領域と入力領域との積集合を、注目領域として決定する。具体的には、補正部１５０は、軌跡が入力された複数の画像のうちの最後の画像上で、入力領域を移動量だけ移動方向に移動させる。そして、補正部１５０は、移動前後の領域の積集合を注目領域と決定する。
【００７０】
図９は、本発明の実施の形態１における補正部１５０が行う入力領域の補正処理について説明するための図である。補正部１５０は、入力領域９００を、算出された移動方向に、算出された移動量だけ、つまりｘ方向に１０画素分だけ移動させた移動領域９１０を算出する。次に、補正部１５０は、入力領域９００と移動領域９１０との積集合を注目領域９２０として決定する。
【００７１】
以上のように、本実施の形態における情報処理装置１００によれば、オブジェクトを囲うためにユーザが入力した軌跡によって特定される入力領域を、ユーザが本来意図した注目領域に補正することが可能となる。
【００７２】
また、本実施の形態における情報処理装置１００によれば、入力領域内の像の移動量及び移動方向を用いて入力領域を補正することができる。一般的に、入力領域内には、ユーザが囲おうとしているオブジェクトが含まれている。したがって、情報処理装置１００によれば、オブジェクトの動きに応じて入力領域を補正することができる。これにより、オブジェクトの動きによって軌跡の入力が乱れた場合であっても、その動きを用いて入力領域を補正できるので、注目領域を適切に決定することができる。すなわち、ユーザが意図する領域、つまりオブジェクトを含む領域を注目領域として適切に決定することが可能となる。
【００７３】
さらに、本実施の形態における情報処理装置１００によれば、移動量及び移動方向に応じて入力領域を移動させた移動領域と入力領域との積集合を注目領域として決定することができる。したがって、オブジェクトの動きに影響されて入力領域が必要以上に大きくなった場合であっても、オブジェクトを含む領域であって入力領域よりも小さい領域を注目領域と決定することができる。その結果、注目領域を適切に決定することができる。
【００７４】
そして、このように決定された注目領域を画像検索装置などに出力すれば、ユーザが指定しようとしたオブジェクトに関連する画像コンテンツ（静止画像コンテンツあるいは動画像コンテンツ）を効率的に検索することも可能となる。
【００７５】
次に、実施の形態１の変形例について以下に説明する。なお、以下の各変形例の説明では、実施の形態１と異なる点を中心に説明し、実施の形態１と同様の点については、適宜、図示及び説明を省略する。
【００７６】
（実施の形態１の変形例１）
実施の形態１の変形例１では、入力された軌跡から入力領域を特定し、入力領域に含まれる画素群を選定する処理が、上記実施の形態１と異なる。ユーザは、入力手段１９０を用いて軌跡を入力する際、必ずしも図４のように楕円形の軌跡を入力するとは限らない。例えば、図１０に示すような軌跡が入力されてしまうようなケースも考えられる。そこで、本変形例では、動き算出部１４０は、入力データが示す軌跡を楕円に近似し、その楕円に囲まれた領域を入力領域として特定する。以下に、本変形例における情報処理装置ついて、図面を参照しながら説明する。
【００７７】
図１０は、本発明の実施の形態１の変形例１における入力データが示す軌跡の一例を示す図である。具体的には、図１０は、動画コンテンツにおいて移動するオブジェクトを囲うように、複数枚の画像にわたってユーザが軌跡を入力する経過の他の一例を示す図である。
【００７８】
動画コンテンツに含まれる３枚の画像（画像Ｘ、Ｘ＋１、及びＸ＋２）において、図４と同様に、オブジェクトは、水平方向に左から右へ移動している。ユーザは、最初はオブジェクトの動きにつられて軌跡を入力する。しかし、最終的には、ユーザは、画像Ｘ＋２において、のオブジェクトを囲む軌跡を入力している。このような場合、動き算出部１４０は、入力データが示す軌跡から簡単に入力領域を特定することが難しい。
【００７９】
そこで、動き算出部１４０は、入力データが示す軌跡をすべて含むような楕円に近似し、その楕円によって囲まれた領域を入力領域として特定する。なお、動き算出部１４０は、最小二乗法など一般的な手法を用いて軌跡を楕円に近似すればよい。
【００８０】
図１１は、本発明の実施の形態１の変形例１において選定される画素群の一例を示す図である。本変形例では、動き算出部１４０は、図１１に示すように、画像に含まれる複数の画素群の中から、ユーザが入力した軌跡を近似した楕円に囲まれた入力領域に含まれる画素群を選定する。
【００８１】
以上のように、本変形例における情報処理装置１００によれば、ユーザが入力した軌跡が楕円でない場合であっても、注目領域を適切に決定することが可能となる。
【００８２】
（実施の形態１の変形例２）
実施の形態１の変形例２では、上記変形例１と同様に、入力された軌跡から入力領域を特定し、入力領域に含まれる画素群を選定する処理が、上記実施の形態１と異なる。具体的には、本変形例では、動き算出部１４０は、入力データが示す軌跡を含む矩形状の領域を入力領域として特定する。以下に、本変形例における情報処理装置ついて、図面を参照しながら説明する。
【００８３】
図１２は、本発明の実施の形態１の変形例２において特定される入力領域の一例を示す図である。図１２のように座標系を画像に設定した場合、動き算出部１４０は、入力データが示す軌跡において、ｘ座標の最小値及び最大値と、ｙ座標の最小値及び最大値とを算出する。動き算出部１４０は、このように算出されたｘ座標の最小値及び最大値と、ｙ座標の最小値及び最大値とをそれぞれ組み合わせた４点を頂点とする矩形状の領域を入力領域として特定する。
【００８４】
図１３は、本発明の実施の形態１の変形例２において選定される画素群の一例を示す図である。本変形例では、動き算出部１４０は、図１３に示すように、画像に含まれる複数の画素群の中から、ユーザが入力した軌跡によって特定される矩形状の入力領域に含まれる画素群を選定する。
【００８５】
以上のように、本変形例における情報処理装置１００によれば、入力領域が楕円形状でない場合も、注目領域を適切に決定することができる。
【００８６】
（実施の形態１の変形例３）
実施の形態１の変形例３では、入力領域内の像の移動量及び移動方向を算出するための画素群を選定する処理が上記実施の形態１と異なる。具体的には、本変形例では、動き算出部１４０は、軌跡が入力された複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて、少なくとも１つの画素群を選定する。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【００８７】
図１４は、本発明の実施の形態１の変形例３における動き算出プロセスの詳細な処理の流れを示すフローチャートである。図１４において、図５と同様の処理については、同一の符号を付し、説明を省略する。
【００８８】
動き算出部１４０は、軌跡が入力された複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて、少なくとも１つの画素群を選定する（Ｓ１４４０）。具体例を、図１５〜図１７を用いて詳細に説明する。
【００８９】
図１５は、本発明の実施の形態１の変形例３において選定される画素群の一例を示す図である。具体的には、図１５は、軌跡が入力された画像Ｘ〜Ｘ＋２のうちの最初の画像Ｘにおいて選定された画素群を示す。
【００９０】
図１５に示すように、画像Ｘに対してユーザが入力した軌跡は、入力途中の軌跡であるため、閉領域を形成していない。そこで、動き算出部１４０は、入力された軌跡の一方の端点から垂直方向に延びる線分１５００と、入力された軌跡の他方の端点から水平方向に延びる線分１５１０と、入力された軌跡とによって囲まれる領域に含まれる画素群１５２０を選定する。動き算出部１４０は、図１６及び図１７に示すように、このように選定された画素群１５２０の、画像Ｘ〜Ｘ＋２における移動量及び移動方向を、入力領域内の像の移動量及び移動方向として算出する。
【００９１】
なお、動き算出部１４０は、必ずしも最初の１枚の画像に対して入力された軌跡に基づいて、画素群を選定する必要はない。例えば、動き算出部１４０は、最初の２枚以上の画像に対して入力された軌跡に基づいて、画素群を選定してもよい。
【００９２】
また、動き算出部１４０は、必ずしも上記のように画素群の移動量及び移動方向を算出する必要はない。例えば、動き算出部１４０は、Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）などの映像圧縮方式で用いられているマクロブロック（８×８画素）単位の「動きベクトル」を、８×８画素の画素群の移動量及び移動方向として算出してもよい。
【００９３】
以上のように、本変形例における情報処理装置１００によれば、複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定することができる。したがって、オブジェクトが大きく動く前に入力された軌跡に基づいて画素群を選定することができる。このように選定された画素群を用いて移動量及び移動方向を算出することにより、オブジェクトの動きに適応した移動量及び移動方向を算出することができる。したがって、このように算出された移動量及び移動方向を用いて入力領域を補正することにより、注目領域を適切に決定することができる。
【００９４】
（実施の形態１の変形例４）
実施の形態１の変形例４では、入力領域を補正することにより注目領域を決定する処理が、上記実施の形態１と異なる。具体的には、本変形例では、補正部１５０は、入力領域内の像の移動方向の反対方向に移動量だけ入力領域を移動させた移動領域と入力領域との積集合を、複数の画像のうちの最初の画像における注目領域として決定する。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【００９５】
図１８は、本発明の実施の形態１の変形例４における補正部１５０が行う入力領域の補正処理について説明するための図である。図１８に示すように、補正部１５０は、最初の画像Ｘにおいて、入力領域１８００を、算出された移動方向の反対方向に、算出された移動量だけ移動させた移動領域１８１０を算出する。次に、補正部１５０は、入力領域１８００と移動領域１８１０との積集合を注目領域１８２０として決定する。
【００９６】
以上のように、本変形例における情報処理装置１００によれば、実施の形態１と同様の効果を奏することができる。
【００９７】
（実施の形態１の変形例５）
実施の形態１の変形例５では、入力領域を補正することにより注目領域を決定する処理が、上記実施の形態１と異なる。具体的には、本変形例では、補正部１５０は、移動量及び移動方向に応じて入力領域を圧縮することにより、注目領域を決定する。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【００９８】
図１９は、本発明の実施の形態１の変形例５における補正部１５０が行う入力領域の補正処理について説明するための図である。図１９に示すように、補正部１５０は、算出された移動量及び移動方向に応じて入力領域を圧縮することにより、注目領域を決定する。具体的には、補正部１５０は、算出された移動方向に、算出された移動量だけ入力領域を圧縮することにより、ユーザが軌跡を入力した複数の画像のうちの最後の画像における注目領域を決定する。
【００９９】
より具体的には、まず、補正部１５０は、最後の画像Ｘ＋２において、算出された移動方向と平行なｘ’軸１９１０を設定する。次に、補正部１５０は、ユーザが入力した軌跡１９２０を構成するすべての点のうち、ｘ’軸上で左端に位置する点１９３０及び右端に位置する点１９４０と、点１９３０を算出された移動方向に、算出された移動量だけ移動させた点１９５０とを特定する。次に、補正部１５０は、点１９３０と点１９５０とのｘ’軸方向における距離ｍと、点１９４０と点１９５０とのｘ’軸方向における距離ｎとを算出する。最後に、補正部１５０は、点１９４０のｘ’座標を０として、軌跡１９２０を構成するすべての点のうち点１９４０を除く点のｘ’座標をｎ／（ｍ＋ｎ）に縮めることにより、ユーザが入力した軌跡１９２０を軌跡１９６０に圧縮する。このようにして、補正部１５０は、入力領域１９００を圧縮することにより、注目領域１９７０を決定する。
【０１００】
以上のように、本変形例における情報処理装置１００によれば、移動量及び移動方向に応じて入力領域を圧縮することにより、注目領域を決定することができる。したがって、オブジェクトの動きに影響されて入力領域が必要以上に大きくなった場合であっても、オブジェクトを含む領域であって入力領域よりも小さい領域を注目領域と決定することができる。その結果、注目領域を適切に決定することができる。
【０１０１】
なお、本変形例では、補正部１５０は、ユーザが軌跡を入力した複数の画像のうちの最後の画像において注目領域を決定していたが、必ずしも最後の画像において注目領域を決定する必要はない。例えば、補正部１５０は、最後の画像より１枚前の画像において注目領域を決定してもよい。また例えば、補正部１５０は、オブジェクトを囲うための軌跡が閉じられ始めたときの画像を特定し、特定した画像において注目領域を決定してもよい。
【０１０２】
（実施の形態１の変形例６）
実施の形態１の変形例６では、上記変形例５と同様に、入力領域を補正することにより注目領域を決定する処理が上記実施の形態１と異なる。具体的には、本変形例では、補正部１５０は、移動方向の反対方向に移動量だけ入力領域を圧縮することにより、複数の画像のうちの最初の画像における注目領域を決定する。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【０１０３】
図２０は、本発明の実施の形態１の変形例６における補正部１５０が行う入力領域の補正処理について説明するための図である。図２０に示すように、補正部１５０は、算出された移動方向の反対方向に、算出された移動量だけ入力領域を圧縮することにより、ユーザが軌跡を入力した複数の画像のうちの最初の画像における注目領域を決定する。
【０１０４】
より具体的には、まず、補正部１５０は、最初の画像Ｘにおいて、算出された移動方向と平行なｘ’軸２０１０を設定する。次に、補正部１５０は、ユーザが入力した軌跡２０２０を構成するすべての点のうち、ｘ’軸上で左端に位置する点２０３０及び右端に位置する点２０４０と、点２０４０を算出された移動方向と反対方向に、算出されたた移動量だけ移動させた点２０５０とを特定する。次に、補正部１５０は、点２０３０と点２０５０とのｘ’軸方向における距離ｍと、点２０４０と点２０５０とのｘ’軸方向における距離ｎとを算出する。最後に、補正部１５０は、点２０３０のｘ’座標を０として、軌跡２０２０を構成するすべての点のうち点２０４０を除く点のｘ’座標をｍ／（ｍ＋ｎ）に縮めることにより、ユーザが入力した軌跡２０２０を軌跡２０６０に圧縮する。このようにして、補正部１５０は、入力領域２０００を圧縮することにより、注目領域を決定する。
【０１０５】
以上のように、本変形例における情報処理装置１００によれば、上記変形例６と同様の効果を奏することが可能となる。
【０１０６】
（実施の形態１の変形例７）
実施の形態１の変形例７では、上記変形例５及び６と同様に、入力領域を補正することにより注目領域を決定する処理が上記実施の形態１と異なる。なお、本変形例では、上記変形例２のように、入力領域の形状が矩形状である。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【０１０７】
図２１は、本発明の実施の形態１の変形例７における補正部１５０が行う入力領域の補正処理について説明するための図である。図２１に示すように、補正部１５０は、算出された移動方向に、算出された移動量だけ入力領域を圧縮することにより、ユーザが軌跡を入力した複数の画像のうちの最初の画像における注目領域を決定する。
【０１０８】
具体的には、まず、補正部１５０は、最後の画像Ｘ＋２において、入力領域２１００の上辺をｘ軸２１２０と、右辺をｙ軸２１３０と、上辺及び右辺の交点２１４０を原点と設定する。次に、補正部１５０は、入力領域２１００の左下側の頂点２１５０を算出された移動方向に、算出された移動量だけ移動させた点２１６０を特定する。次に、補正部１５０は、点２１５０と点２１６０とのｘ軸方向における距離ｍと、点２１５０と点２１４０とのｘ軸方向における距離ｎを算出する。また、補正部１５０は、点２１５０と点２１６０とのｙ軸方向における距離ｑと、点２１５０と点２１４０とのｙ軸方向における距離ｐとを算出する。最後に、補正部１５０は、軌跡２１１０を構成するすべての点のｘ座標をｎ／（ｍ＋ｎ）だけ、ｙ座標をｐ／（ｐ＋ｑ）だけ圧縮することにより、軌跡２１１０を軌跡２１７０に圧縮する。このようにして、補正部１５０は、入力領域２１００を圧縮することにより、注目領域２１８０を決定する。
【０１０９】
以上のように、本変形例における情報処理装置１００によれば、入力領域が矩形状であっても、上記変形例５などと同様に、注目領域を適切に決定することができる。
【０１１０】
以上、本発明の実施の形態１の変形例１〜７について説明したが、矛盾がない限り、上記変形例１〜７における各構成要素を組み合わせてもよい。例えば、情報処理装置１００は、上記変形例３のように移動量及び移動方向を算出し、上記変形例５又は６のように注目領域を決定してもよい。
【０１１１】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態では、入力領域内の像の移動量及び移動方向を算出する処理と入力領域を補正する処理とが、上記実施の形態１と主として異なる。具体的には、本実施の形態では、動き算出部は、ユーザの入力と並行して移動量及び移動方向を算出し、補正部は、ユーザの入力と並行して入力領域を補正する。以下に、本実施の形態における情報処理装置について、図面を参照しながら説明する。
【０１１２】
図２２は、本発明の実施の形態２における情報処理装置２２００の機能構成を示すブロック図である。なお、図２２において、図１と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１１３】
情報処理装置２２００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、動き算出部２２４０、補正部２２５０、及び入力部１３０を備える。
【０１１４】
動き算出部２２４０は、入力領域内の像の移動量及び移動方向を算出する。具体的には、動き算出部２２４０は、ユーザの入力と並行して、入力領域内の像の移動量及び移動方向を算出する。本実施の形態では、動き算出部２２４０は、表示される画像が切り替わるたびに、入力領域内の像の移動量及び移動方向を算出する。なお、移動量及び移動方向の算出方法の詳細については後述する。
【０１１５】
補正部２２５０は、動き算出部２２４０が算出した入力領域内の像の移動量及び移動方向を用いて、入力領域を補正する。具体的には、補正部２２５０は、ユーザの入力と並行して入力領域を補正する。本実施の形態では、補正部２２５０は、表示される画像が切り替わって入力領域内の像の移動量及び移動方向が算出されるたびに、入力領域を補正する。なお、入力領域の補正方法の詳細については後述する。
【０１１６】
次に、以上のように構成された情報処理装置２２００における各種動作について説明する。なお、本実施の形態における情報処理装置２２００による全体的な処理の流れは、実施の形態１の図２と同様であるので図示を省略する。
【０１１７】
動き算出プロセス（ステップＳ２２０）について詳述する。図２３は、本発明の実施の形態２における動き算出プロセス（ステップＳ２２０）の詳細な処理の流れを示すフローチャートである。
【０１１８】
動き算出部２２４０は、入力部１３０から入力データの受信を開始したときに（ステップＳ２３１０のＹｅｓ）、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を開始したタイミングで表示されていた画像（最初の画像）のＩＤを記録する（ステップＳ２３２０）。次に、動き算出部２２４０は、入力部１３０から入力データの受信が完了したときに（ステップＳ２３３０のＹｅｓ）、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を完了したタイミングで表示されていた画像（最後の画像）のＩＤを記録する（ステップＳ２３４０）。
【０１１９】
入力データの受信を開始したときではなく（ステップＳ２３１０のＮｏ）、かつ、入力データの受信を完了したときではない場合に（ステップＳ２３３０のＮｏ）、動き算出部２２４０は、表示部１６０が表示している画像が切り替わりのタイミングであるか否かを判定する（ステップＳ２３５０）。ここで、表示されている画像が切り替わりのタイミングでない場合（ステップＳ２３５０のＮｏ）、動き算出部２２４０は、ステップＳ２３１０の処理に戻る。
【０１２０】
一方、表示されている画像が切り替わりのタイミングである場合（ステップＳ２３５０のＹｅｓ）、又はステップＳ２３４０の処理が終了した後に、動き算出部２２４０は、入力領域内の像の移動量及び移動方向を算出するための画素群を選定する（ステップＳ２３６０）。そして、動き算出部２２４０は、選定した画素群の移動量及び移動方向を算出する（ステップＳ２３７０）。画素群の移動量及び移動方向の算出が完了すると、情報処理装置２２００は、すぐに入力領域の補正を行う（ステップＳ２３０）。
【０１２１】
ここで、入力領域の像の移動量及び移動方向を算出する処理と入力領域を補正する処理とを、図２４〜図２７を用いて詳述する。
【０１２２】
図２４は、本発明の実施の形態２において選定される画素群を説明するための図である。また、図２５及び図２６は、本発明の実施の形態２において入力領域内の像の移動量及び移動方向を算出する処理を説明するための図である。また、図２７は、本発明の実施の形態２において入力領域を補正する処理を説明するための図である。
【０１２３】
図２４に示すように、動き算出部２２４０は、画像Ｘ＋１において、入力領域を特定する。ここでは、ユーザが画像Ｘ＋１までに入力した軌跡だけでは閉領域が形成されない。そこで、動き算出部２２４０は、ユーザが画像Ｘ＋１までに入力した軌跡を点線で示すように補完し、補完された軌跡によって囲まれる領域を入力領域として特定する。そして、動き算出部２２４０は、特定した入力領域に含まれる画素群（ハッチングされた画素群）を選定する。なお、軌跡の補完方法は、一例であり、オブジェクトを囲うように軌跡が補完されるのであれば、どのように補完されてもよい。
【０１２４】
次に、動き算出部２２４０は、図２５に示すように、画像Ｘ＋１において選定した画素群の移動量及び移動方向を算出する。なお、図２５では、実施の形態１の図７と比べて、選定されている画素群は異なるが、画素群の移動量及び移動方向の算出方法は同じである。  次に、補正部２２５０は、図２７に示すように入力領域を補正する。具体的には、補正部２２５０は、画像Ｘ＋１までにユーザによって入力された軌跡２７００と、軌跡２７００の端点の一方から水平方向に延びる線分２７１０と、軌跡２７００の端点の他方から垂直方向に延びる線分２７２０とに囲まれた入力領域２７３０を補正する。
【０１２５】
より具体的には、補正部２２５０は、まず、動き算出部２２４０によって算出された入力領域内の像の移動方向と平行なｘ’軸２７４０を設定する。
【０１２６】
次に、補正部２２５０は、軌跡２７００を構成するすべての点のうち、ｘ’軸方向において左端に位置する点２７５０及び右端に位置する点２７６０と、点２７５０を算出された移動方向に、算出された移動量だけ移動させた点２７７０を特定する。次に、補正部２２５０は、点２７５０と点２７７０とのｘ’軸方向における距離ｍと、点２７６０と点２７７０とのｘ’軸方向における距離ｎとを算出する。最後に、補正部２２５０は、点２７６０のｘ’座標を０として、軌跡２７００を構成するすべての点のｘ’座標をｎ／（ｍ＋ｎ）に縮めることにより、ユーザが入力した軌跡２７００を軌跡２７８０に圧縮する。このようにして、補正部２２５０は、入力領域２７３０を圧縮することにより、注目領域２７９０を決定する。
【０１２７】
また、表示中の画像が画像Ｘ＋１から画像Ｘ＋２に切り替わった後に、画像Ｘ＋２において、動き算出部２２４０は、図２４の（ｃ）に示すように、画像Ｘ＋１において補正された軌跡と表示中の画像Ｘ＋２に対してユーザが入力した軌跡とに囲われた領域を入力領域と特定する。そして、動き算出部２２４０は、特定した入力領域内の画素群を選定する。続いて、動き算出部２２４０は、図２６に示すように、選定した画素群の移動量及び移動方向を、入力領域内の像の移動量及び移動方向として算出する。
【０１２８】
そして、補正部２２５０は、画像Ｘ＋２において、画像Ｘ＋１と同様に、入力領域を補正することにより、注目領域を決定する。なお、補正部２２５０は、必ずしも画像Ｘ＋２において入力領域を補正する必要はない。つまり、補正部２２５０は、画像Ｘ＋１において補正された領域を注目領域として決定してもよい。
【０１２９】
以上のように、本実施の形態における情報処理装置２２００によれば、ユーザの入力と並行して入力領域を補正することができる。したがって、例えば、リアルタイムで注目領域を表示することも可能となり、ユーザが適切に軌跡を入力することを支援することができる。
【０１３０】
なお、本実施の形態において、補正部２２５０は、表示されている画像が切り替わるたびに入力領域を補正していた。つまり、補正部２２５０は、１枚の画像ごとに入力領域を補正していたが、必ずしも１枚の画像ごとに入力領域を補正する必要はない。例えば、補正部２２５０は、２枚以上の画像ごとに、入力領域を補正してもよい。また、動き算出部２２４０も、２枚以上の画像ごとに、移動量及び移動方向を算出してもよい。
【０１３１】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態では、補正部は、ユーザの入力が完了した後に、入力データが示す軌跡の形状に基づいて入力領域を補正することにより、注目領域を決定する。つまり、本実施の形態における情報処理装置は、入力領域内の像の移動量及び移動方向を用いずに、注目領域を決定する。以下に、本実施の形態における情報処理装置ついて図面を参照しながら説明する。
【０１３２】
図２８は、本発明の実施の形態３における情報処理装置２８００の機能構成を示すブロック図である。なお、図２８において、図１と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１３３】
情報処理装置２８００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、補正部２８５０、及び入力部１３０を備える。
【０１３４】
補正部２８５０は、入力領域を補正する。具体的には、補正部２８５０は、複数枚の画像にわたるユーザの入力が完了した後に、入力データが示す軌跡に基づいて入力領域を補正することにより、注目領域を決定する。本実施の形態では、補正部２８５０は、入力データが示す軌跡を楕円に近似し、当該楕円の長軸と当該軌跡との交点が入力された画像において、交点の近傍の領域を注目領域として決定する。
【０１３５】
次に、情報処理装置２８００における各種動作について説明する。以上のように構成された情報処理装置２８００における各種動作について説明する。
【０１３６】
図２９は、本発明の実施の形態３における情報処理装置２８００による全体的な処理の流れを示すフローチャートである。なお、図２９において、図２と同様の処理については、同一の符号を付し説明を省略する。
【０１３７】
図２９に示すように、情報処理装置２８００は、入力データを受け付ける入力プロセス（ステップＳ２１０）と、入力領域を補正する補正プロセス（ステップＳ２９３０）とを実行する。
【０１３８】
図３０は、本発明の実施の形態３における入力データが示す軌跡の一例を示す図である。具体的には、図３０は、動画コンテンツにおいて移動するオブジェクトを囲うために、複数枚の画像にわたってユーザが軌跡を入力する経過の一例を示す図である。
【０１３９】
動画コンテンツに含まれる４枚の画像（画像Ｘ、Ｘ＋１、Ｘ＋２、及びＸ＋３）において、オブジェクト３０２０は、水平方向に左から右へ移動している。ユーザは、このオブジェクト３０２０を囲うために軌跡３０１０、３０１１、３０１２、及び３０１３を入力する。最終的に、ユーザは、オブジェクト３０２０の動きにつられて、楕円形の軌跡３０１３を入力している。
【０１４０】
ここで、補正プロセス（ステップＳ２９３０）について詳述する。図３１は、本発明の実施の形態３における補正プロセス（ステップＳ２９３０）の詳細な処理の流れを示すフローチャートである。
【０１４１】
補正部２８５０は、入力部１３０から入力データの受信を開始したときに、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を開始したタイミングで表示されていた画像（最初の画像）のＩＤを記録する（ステップＳ５１０）。次に、補正部２８５０は、入力部１３０から入力データの受信を完了したときに（ステップＳ５２０）、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を完了したタイミングで表示されていた画像（最後の画像）のＩＤを記録する（ステップＳ５３０）。
【０１４２】
次に、補正部２８５０は、ユーザが軌跡を入力した複数の画像の中から、入力領域を補正するための画像を選択する（ステップＳ３１４０）。具体的には、補正部２８５０は、ユーザが入力を完了した後に、入力データが示す軌跡を楕円に近似し、当該楕円の長軸と当該軌跡との交点が入力された画像を選択する。
【０１４３】
図３２は、本発明の実施の形態３において入力領域を補正するための画像を選択する処理を説明するための図である。補正部２８５０は、まず、最終的にユーザが入力した軌跡３０１３と近似する楕円３２１０を算出する。
【０１４４】
そして、補正部２８５０は、算出した楕円の長軸３２２０とユーザの入力した軌跡３０１３との２つの交点のうち、軌跡３０１３の始点３２３０から遠い方の交点３２４０を特定する。
【０１４５】
次に、補正部２８５０は、特定した交点３２４０が入力されたタイミングで表示されていた画像Ｘ＋２を、入力領域を補正するための画像として選択する。
【０１４６】
次に、補正部２８５０は、選択された画像において入力領域を補正する（ステップＳ３１５０）。具体的には、補正部２８５０は、選択された画像において、特定された交点の近傍の領域を注目領域として決定する。
【０１４７】
図３３Ａ〜図３３Ｃの各々は、本発明の実施の形態３において入力領域を補正する方法の一例を示す図である。
【０１４８】
例えば、図３３Ａに示すように、補正部２８５０は、選択された画像Ｘ＋２において、交点３２４０の近傍の軌跡に内接する円に囲まれた領域３３１０を注目領域と決定する。
【０１４９】
また例えば、図３３Ｂに示すように、補正部２８５０は、選択された画像Ｘ＋２において、直径の長さが、楕円３２１０の短径３３２０の長さと等しい円であって、かつ交点３２４０を通る円に囲まれた領域３３３０を注目領域と決定する。
【０１５０】
また例えば、図３３Ｃに示すように、補正部２８５０は、選択された画像Ｘ＋２において、長軸３２２０を、最初の画像Ｘから選択された画像Ｘ＋２までに表示された画像の枚数（ここでは「３」）で等分割する。そして、補正部２８５０は、分割点を通り、かつ長軸３２２０と直交する線分３３４０及び３３５０と軌跡３０１３とで囲まれる領域のうち、交点３２４０を含む領域３３６０を注目領域と決定する。
【０１５１】
なお、補正部２８５０は、入力データが示す軌跡を楕円に近似し、その楕円の長軸と当該軌跡との交点の近傍の領域に入力領域を補正すればよく、上記の補正方法に限定されるものではない。
【０１５２】
以上のように、本実施の形態における情報処理装置２８００によれば、軌跡の形状に基づいて入力領域を補正することができるので、移動量及び移動方向を算出する必要がない。したがって、計算負荷を軽減することができる。
【０１５３】
さらに、本実施の形態における情報処理装置２８００によれば、軌跡を楕円に近似し、その楕円の長軸と軌跡との交点のうち軌跡の始点から最も遠い交点が入力された画像において、始点から最も遠い交点の近傍の領域を注目領域として決定することができる。したがって、オブジェクトを囲うための軌跡が閉じられ始めた位置の近傍の領域を注目領域と決定することができる。つまり、軌跡が閉じられ始めた位置にはオブジェクトが存在すると考えられるので、オブジェクトを含む注目領域と適切に決定することが可能となる。
【０１５４】
（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態では、補正部は、入力データが示す軌跡を補完することにより、注目領域を決定する。つまり、本実施の形態における情報処理装置は、上記実施の形態３と同様に、入力領域内の像の移動量及び移動方向を用いずに、注目領域を決定する。以下に、本実施の形態における情報処理装置ついて図面を参照しながら説明する。
【０１５５】
図３４は、本発明の実施の形態４における情報処理装置３４００の機能構成を示すブロック図である。なお、図３４において、図１と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１５６】
情報処理装置３４００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、補正部３４５０、及び入力部１３０を備える。
【０１５７】
補正部３４５０は、入力データが示す軌跡を補完することにより注目領域を決定する。本実施の形態では、補正部３４５０は、入力データが示す軌跡を楕円に近似することにより当該軌跡を補完する。
【０１５８】
次に、以上のように構成された情報処理装置３４００における各種動作について説明する。なお、本実施の形態における情報処理装置３４００による全体的な処理の流れは、実施の形態３の図２９と同様であるので図示を省略する。
【０１５９】
図３５は、本発明の実施の形態４における補正プロセス（ステップＳ２９３０）の詳細な処理の流れを示すフローチャートである。
【０１６０】
補正部３４５０は、現在表示されている画像までに入力された軌跡を補完して楕円を形成できるかどうかを判定する（ステップＳ３５１０）。つまり、補正部３４５０は、軌跡を楕円に近似できるか否かを判定する。ここで、軌跡を補完して楕円を形成できない場合（ステップＳ３５１０のＮｏ）、ステップＳ３５１０の処理を繰り返す。
【０１６１】
一方、軌跡を補完して楕円を形成できる場合（ステップＳ３５１０のＹｅｓ）、補正部３４５０は、軌跡を補完して形成される楕円に囲まれた領域を注目領域と決定する（ステップＳ３５２０）。つまり、補正部３４５０は、入力データが示す軌跡を楕円に近似することにより当該軌跡を補完し、補完された軌跡に囲まれた領域を注目領域と決定する。
【０１６２】
図３６は、本発明の実施の形態４において補完された軌跡に囲まれた注目領域の一例を示す図である。補正部３４５０は、入力データが示す軌跡３６００と近似する楕円となるように、軌跡３６００に曲線３６１０を付け加える。補正部３４５０は、これらの軌跡３６００と曲線３６１０とによって囲まれた領域（ハッチング領域）を注目領域３６２０と決定する。
【０１６３】
以上のように、本実施の形態における情報処理装置３４００によれば、ユーザが入力した軌跡を補完することにより注目領域を決定することができる。したがって、オブジェクトが大きく動く前に注目領域を適切に決定することが可能となる。
【０１６４】
さらに、本実施の形態における情報処理装置３４００によれば、ユーザが入力した軌跡を楕円に近似することにより当該軌跡を補完することができる。ユーザが、動くオブジェクトを囲うために軌跡を入力する場合、一般的に、その軌跡の形状は楕円になりやすい。また、楕円であれば、比較的少ない点数によって近似することが可能となる。したがって、ユーザが入力した軌跡を楕円に近似することにより、注目領域を適切に決定することが可能となる。
【０１６５】
なお、補正部３４５０は、必ずしも軌跡を楕円に近似する必要はない。例えば、ユーザが矩形状に軌跡を入力することが予め分かっている場合などには、補正部３４５０は、軌跡を矩形に近似してもよい。
【０１６６】
（実施の形態５）
次に、本発明の実施の形態５について説明する。本実施の形態では、補正部は、注目領域を決定するためのアルゴリズムを入力データに基づいて決定し、決定したアルゴリズムに従って入力領域を補正することにより注目領域を決定する。以下に、本実施の形態における情報処理装置について、図面を参照しながら説明する。
【０１６７】
図３７は、本発明の実施の形態５における情報処理装置３７００の機能構成を示すブロック図である。なお、図３７において、図１と同様の構成要素については同一の符号を付し、適宜説明を省略する。
【０１６８】
情報処理装置３７００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、動き算出部１４０、補正部３７５０、及び入力部１３０を備える。
【０１６９】
補正部３７５０は、注目領域を決定するためのアルゴリズムを入力データに基づいて決定する。そして、補正部３７５０は、決定したアルゴリズムに従って入力領域を補正することにより注目領域を決定する。
【０１７０】
具体的には、補正部３７５０は、入力データに基づいて、上記実施の形態１又は２のように入力領域内の像の移動量及び移動方向を用いて入力領域を補正するか否かを決定する。
【０１７１】
例えば、補正部３７５０は、入力データが示す軌跡の形状に基づいて、移動量及び移動方向を用いて入力領域を補正するか否かを決定する。また例えば、補正部３７５０は、入力領域内の像の移動量及び移動方向のばらつきに基づいて、移動量及び移動方向を用いて入力領域を補正するか否かを決定する。
【０１７２】
次に、以上のように構成された情報処理装置３７００における各種動作にについて説明する。なお、本実施の形態における情報処理装置３７００による全体的な処理の流れは、実施の形態１の図２と同様であるので図示を省略する。
【０１７３】
ここで、実施の形態１と異なる処理が異なる補正プロセス（ステップＳ２３０）について詳述する。図３８は、本発明の実施の形態５における補正プロセス（ステップＳ２３０）の詳細な処理の流れを示すフローチャートである。
【０１７４】
まず、補正部３７５０は、入力データに基づいて、最も適切に注目領域を決定するためのアルゴリズムを決定する（ステップＳ３８１０）。続いて、補正部３７５０は、決定したアルゴリズムに従って入力領域を補正することにより注目領域を決定する（ステップＳ３８２０）。
【０１７５】
以下に、アルゴリズムを決定する方法の一例について、図３９〜図４１を用いて説明する。図３９〜図４１の各々は、本発明の実施の形態５においてアルゴリズムを決定する方法の一例を説明するための図である。
【０１７６】
例えば、図３９に示すように、入力領域内を移動するオブジェクトが複数ある場合、補正部３７５０は、移動量及び移動方向を用いて入力領域を補正しないと決定する。具体的には、補正部３７５０は、入力領域に含まれる画素群の移動量及び移動方向のばらつきを示す値が閾値以上である場合、移動量及び移動方向を用いて補正しないと決定する。なお、ばらつきを示す値とは、例えば分散あるいは標準偏差である。
【０１７７】
このように、入力領域内を移動するオブジェクトが複数ある場合には、ユーザが囲もうとしているオブジェクトの移動量及び移動方向を算出することが難しい。したがって、補正部３７５０は、移動量及び移動方向を用いて入力領域を補正しないと決定することにより、注目領域を適切に決定することが可能となる。
【０１７８】
また例えば、図４０に示すように、補正部３７５０は、入力データが示す軌跡を楕円に近似することができるか否かを判定する。例えば、補正部３７５０は、入力データが示す軌跡に基づいて得られる楕円と、当該軌跡との差分を示す値が予め定められた閾値より大きいか否かを判定することにより、軌跡を楕円に近似することができるか否かを判定する。
【０１７９】
ここで、軌跡を楕円に近似することができない場合、補正部３７５０は、移動量及び移動方向を用いて入力領域を補正すると決定する。これにより、実施の形態４のように軌跡を補完する方法が利用できない場合であっても、補正部３７５０は、注目領域を適切に決定することが可能となる。
【０１８０】
また例えば、図４１に示すように、オブジェクトの動きが複雑であり、軌跡が歪な閉領域を形成する場合、補正部３７５０は、移動量及び移動方向を用いて入力領域を補正しないと決定する。このような場合、補正部３７５０は、実施の形態４のように、軌跡を補完することにより注目領域を決定する。
【０１８１】
なお、上記のアルゴリズムの決定方法は一例であり、補正部３７５０は、異なる基準に基づいてアルゴリズムを決定してもよい。
【０１８２】
以上のように、本実施の形態における情報処理装置３７００によれば、注目領域を決定するためのアルゴリズムを入力データに基づいて適応的に決定することができ、注目領域をさらに適切に決定することが可能となる。
【０１８３】
以上、本発明の一態様に係る情報処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態又はその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１８４】
例えば、上記実施の形態１〜５において、情報処理装置は、動画コンテンツ取得部１１０、デコード部１２０及び表示部１６０を備えていたが、必ずしもこれらの構成要素を備える必要はない。例えば、図４２に示すように、情報処理装置１０は、入力部１１と、補正部１２とを備えればよい。この場合であっても、情報処理装置１０は、例えば、補正部１２が表示装置などに注目領域又は注目領域内の像を出力することにより、上記実施の形態と同様の効果を奏することが可能となる。
【０１８５】
また、上記実施の形態１〜５において、表示部は、補正部によって決定された注目領域を表示していたが、必ずしも注目領域を表示する必要はない。この場合例えば、補正部は、注目領域又は注目領域内の像を画像検索装置などに送信してもよい。
【０１８６】
また、上記実施の形態１〜５における情報処理装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、情報処理装置は、入力部と補正部とを有するシステムＬＳＩから構成されてもよい。
【０１８７】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１８８】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１８９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１９０】
また、本発明は、このような特徴的な構成要素を備える情報処理装置として実現することができるだけでなく、情報処理装置に含まれる特徴的な構成要素が行う処理をステップとする情報処理方法として実現することもできる。また、情報処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【産業上の利用可能性】
【０１９１】
本発明の一態様に係る情報処理装置は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を適切に決定する情報処理装置として有用である。さらに、決定された注目領域を利用して表示中の動画コンテンツとは異なる動画コンテンツを検索する動画コンテンツ検索装置等としても有用である。
【符号の説明】
【０１９２】
１０、１００、２２００、２８００、３４００、３７００    情報処理装置
１１、１３０    入力部
１２、１５０、２２５０、２８５０、３４５０、３７５０    補正部
１１０    動画コンテンツ取得部
１２０    デコード部
１４０、２２４０    動き算出部
１６０    表示部
１９０    入力手段
【図１】
2011093013.tif 000003
【図２】
2011093013.tif 000004
【図３】
2011093013.tif 000005
【図４】
2011093013.tif 000006
【図５】
2011093013.tif 000007
【図６】
2011093013.tif 000008
【図７】
2011093013.tif 000009
【図８】
2011093013.tif 000010
【図９】
2011093013.tif 000011
【図１０】
2011093013.tif 000012
【図１１】
2011093013.tif 000013
【図１２】
2011093013.tif 000014
【図１３】
2011093013.tif 000015
【図１４】
2011093013.tif 000016
【図１５】
2011093013.tif 000017
【図１６】
2011093013.tif 000018
【図１７】
2011093013.tif 000019
【図１８】
2011093013.tif 000020
【図１９】
2011093013.tif 000021
【図２０】
2011093013.tif 000022
【図２１】
2011093013.tif 000023
【図２２】
2011093013.tif 000024
【図２３】
2011093013.tif 000025
【図２４】
2011093013.tif 000026
【図２５】
2011093013.tif 000027
【図２６】
2011093013.tif 000028
【図２７】
2011093013.tif 000029
【図２８】
2011093013.tif 000030
【図２９】
2011093013.tif 000031
【図３０】
2011093013.tif 000032
【図３１】
2011093013.tif 000033
【図３２】
2011093013.tif 000034
【図３３Ａ】
2011093013.tif 000035
【図３３Ｂ】
2011093013.tif 000036
【図３３Ｃ】
2011093013.tif 000037
【図３４】
2011093013.tif 000038
【図３５】
2011093013.tif 000039
【図３６】
2011093013.tif 000040
【図３７】
2011093013.tif 000041
【図３８】
2011093013.tif 000042
【図３９】
2011093013.tif 000043
【図４０】
2011093013.tif 000044
【図４１】
2011093013.tif 000045
【図４２】
2011093013.tif 000046
【手続補正書】
【提出日】平成23年8月15日(2011.8.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を決定する情報処理装置及び情報処理方法に関するものである。
【背景技術】
【０００２】
近年、デジタル技術とインターネットの発達や動画投稿サイトの流行により、ユーザがＴＶ（テレビジョン）放送の視聴以外で動画コンテンツを利用する機会が劇的に増加している。現在、ユーザはＹｏｕＴｕｂｅ（登録商標）のような動画投稿サイトやＧｏｏｇｌｅ（登録商標）のような検索サイトでキーワードを入力し、所望のコンテンツを検索する。しかし、この方法ではキーワード化できない要素を検索することができない。そこで、動画コンテンツをより簡単で的確に検索できるような方法が検討されている。例えば、ある動画コンテンツから直接その他の動画コンテンツを検索するような方法がある。従来、動画コンテンツから別の動画コンテンツを検索する方法として、動画コンテンツを構成する１枚の静止画像の更に一部分の領域を用いて、動画コンテンツを検索する方法が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４６４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の方法では、ユーザが動画コンテンツ内のある領域に注目して検索したい場合、マウス等の入力手段を用いてそのオブジェクトを囲って指定する必要がある。しかしながら、動画コンテンツ内のオブジェクトは動いているため、そのオブジェクトを囲うための軌跡の入力が乱れて、入力された軌跡によって特定される領域が必ずしも適切な領域ではないという課題を有していた。
【０００５】
そこで、本発明は、前記従来の課題を解決するものであって、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を適切に決定することができる情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一態様に係る情報処理装置は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、前記動画コンテンツに含まれる画像内の注目領域を決定する情報処理装置であって、表示中の前記動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける入力部と、前記入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定する補正部とを備える。
【０００７】
この構成によれば、入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定することができる。したがって、入力領域が適切な領域ではない場合に、入力領域を補正することができ、注目領域を適切に決定することができる。
【０００８】
また、前記入力データは、前記動画コンテンツに含まれる複数枚の画像にわたって前記ユーザが入力した軌跡を示すデータであり、前記情報処理装置は、さらに、前記複数枚の画像における前記入力領域内の像の移動量及び移動方向を算出する動き算出部を備え、前記補正部は、算出された前記移動量及び前記移動方向を用いて前記入力領域を補正することにより、前記注目領域を決定することが好ましい。
【０００９】
この構成によれば、入力領域内の像の移動量及び移動方向を用いて入力領域を補正することができる。一般的に、入力領域内には、ユーザが囲おうとしているオブジェクトが含まれている。したがって、この構成によれば、オブジェクトの動きに応じて入力領域を補正することができる。これにより、オブジェクトの動きによって軌跡の入力が乱れた場合であっても、その動きを用いて入力領域を補正できるので、注目領域を適切に決定することができる。つまり、オブジェクトを含む注目領域を適切に決定することが可能となる。
【００１０】
また、前記補正部は、前記移動量及び前記移動方向に応じて前記入力領域を移動させた移動領域と前記入力領域との積集合を、前記注目領域として決定することが好ましい。この場合例えば、前記補正部は、前記移動方向に前記移動量だけ前記入力領域を移動させた前記移動領域と前記入力領域との積集合を、前記複数の画像のうちの最後の画像における前記注目領域として決定してもよい。また例えば、前記補正部は、前記移動方向の反対方向に前記移動量だけ前記入力領域を移動させた前記移動領域と前記入力領域との積集合を、前記複数の画像のうちの最初の画像における前記注目領域として決定してもよい。
【００１１】
これらの構成によれば、移動量及び移動方向に応じて入力領域を移動させた移動領域と入力領域との積集合を注目領域として決定することができる。したがって、オブジェクトの動きに影響されて入力領域が必要以上に大きくなった場合であっても、オブジェクトを含む領域であって入力領域よりも小さい領域を注目領域と決定することができる。その結果、注目領域を適切に決定することができる。
【００１２】
また、前記補正部は、前記移動量及び前記移動方向に応じて前記入力領域を圧縮することにより、前記注目領域を決定することが好ましい。この場合例えば、前記補正部は、前記移動方向に前記移動量だけ前記入力領域を圧縮することにより、前記複数の画像のうちの最後の画像における前記注目領域を決定してもよい。また例えば、前記補正部は、前記移動方向の反対方向に前記移動量だけ前記入力領域を圧縮することにより、前記複数の画像のうちの最初の画像における前記注目領域を決定してもよい。
【００１３】
これらの構成によれば、移動量及び移動方向に応じて入力領域を圧縮することにより、注目領域を決定することができる。したがって、オブジェクトの動きに影響されて入力領域が必要以上に大きくなった場合であっても、オブジェクトを含む領域であって入力領域よりも小さい領域を注目領域と決定することができる。その結果、注目領域を適切に決定することができる。
【００１４】
また、前記動き算出部は、前記複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定し、選定した画素群の移動量及び移動方向を前記入力領域内の像の移動量及び移動方向として算出することが好ましい。
【００１５】
この構成によれば、複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定することができる。したがって、オブジェクトが大きく動く前に入力された軌跡に基づいて画素群を選定することができる。このように選定された画素群を用いて移動量及び移動方向を算出することにより、オブジェクトの動きに適応した移動量及び移動方向を算出することができる。したがって、このように算出された移動量及び移動方向を用いて入力領域を補正することにより、注目領域を適切に決定することができる。
【００１６】
また、前記動き算出部は、前記入力と並行して前記移動量及び前記移動方向を算出し、前記補正部は、前記入力と並行して前記入力領域を補正することが好ましい。
【００１７】
この構成によれば、ユーザの入力と並行して入力領域を補正することができる。
【００１８】
また、前記入力データは、前記動画コンテンツに含まれる複数枚の画像にわたって前記ユーザが入力した軌跡を示すデータであり、前記補正部は、前記複数枚の画像にわたる前記入力が完了した後に、前記入力データが示す軌跡の形状に基づいて前記入力領域を補正することにより、前記注目領域を決定することが好ましい。
【００１９】
この構成によれば、軌跡の形状に基づいて入力領域を補正することができるので、移動量及び移動方向を算出する必要がない。したがって、計算負荷を軽減することができる。
【００２０】
また、前記補正部は、前記入力データが示す軌跡を楕円に近似し、前記楕円の長軸と前記軌跡との交点のうち前記軌跡の始点から最も遠い交点が入力された画像において、前記始点から最も遠い交点の近傍の領域を前記注目領域として決定することが好ましい。
【００２１】
この構成によれば、軌跡を楕円に近似し、その楕円の長軸と軌跡との交点のうち軌跡の始点から最も遠い交点が入力された画像において、始点から最も遠い交点の近傍の領域を注目領域として決定することができる。したがって、オブジェクトを囲うための軌跡が閉じられ始めた位置の近傍の領域を注目領域と決定することができる。つまり、軌跡が閉じられ始めた位置にはオブジェクトが存在すると考えられるので、オブジェクトを含む注目領域と適切に決定することが可能となる。
【００２２】
また、前記補正部は、前記入力データが示す軌跡を補完することにより前記注目領域を決定することが好ましい。
【００２３】
この構成によれば、ユーザが入力した軌跡を補完することにより注目領域を決定することができる。したがって、オブジェクトが大きく動く前に注目領域を適切に決定することが可能となる。
【００２４】
また、前記補正部は、前記入力データが示す軌跡を楕円に近似することにより前記軌跡を補完することが好ましい。
【００２５】
この構成によれば、ユーザが入力した軌跡を楕円に近似することにより当該軌跡を補完することができる。ユーザが、動くオブジェクトを囲うために軌跡を入力する場合、一般的に、その軌跡の形状は楕円になりやすい。また、楕円であれば、比較的少ない点数によって近似することが可能となる。したがって、ユーザが入力した軌跡を楕円に近似することにより、注目領域を適切に決定することが可能となる。
【００２６】
また、前記補正部は、前記注目領域を決定するためのアルゴリズムを前記入力データに基づいて決定し、決定したアルゴリズムに従って前記入力領域を補正することにより前記注目領域を決定することが好ましい。
【００２７】
この構成によれば、注目領域を決定するためのアルゴリズムを入力データに基づいて適応的に決定することができ、注目領域をより適切に決定することが可能となる。
【００２８】
また、前記情報処理装置は、集積回路として構成されてもよい。
【００２９】
なお、本発明は、このような情報処理装置として実現することができるだけでなく、このような情報処理装置が備える特徴的な構成要素の動作をステップとする情報処理方法として実現することができる。また、本発明は、情報処理方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３０】
本発明によれば、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を適切に決定することができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本発明の実施の形態１における情報処理装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における情報処理装置による全体的な処理の流れを示すフローチャートである。
【図３】図３は、本発明の実施の形態１における入力プロセスの詳細な処理の流れを示すフローチャートである。
【図４】図４は、本発明の実施の形態１における入力データが示す軌跡の一例を示す図である。
【図５】図５は、本発明の実施の形態１における動き算出プロセスの詳細な処理の流れを示すフローチャートである。
【図６】図６は、本発明の実施の形態１におけて選定される画素群を説明するための図である。
【図７】図７は、本発明の実施の形態１における画素群の移動量及び移動方向の算出結果の一例を示す図である。
【図８】図８は、本発明の実施の形態１における画素群の移動量及び移動方向の算出結果の一例を示す図である。
【図９】図９は、本発明の実施の形態１における補正部が行う入力領域の補正処理について説明するための図である。
【図１０】図１０は、本発明の実施の形態１の変形例１における入力データが示す軌跡の一例を示す図である。
【図１１】図１１は、本発明の実施の形態１の変形例１において選定される画素群の一例を示す図である。
【図１２】図１２は、本発明の実施の形態１の変形例２において特定される入力領域の一例を示す図である。
【図１３】図１３は、本発明の実施の形態１の変形例２において選定される画素群の一例を示す図である。
【図１４】図１４は、本発明の実施の形態１の変形例３における動き算出プロセスの詳細な処理の流れを示すフローチャートである。
【図１５】図１５は、本発明の実施の形態１の変形例３において選定される画素群の一例を示す図である。
【図１６】図１６は、本発明の実施の形態１の変形例３における画素群の移動量及び移動方向の算出結果の一例を示す図である。
【図１７】図１７は、本発明の実施の形態１の変形例３における画素群の移動量及び移動方向の算出結果の一例を示す図である。
【図１８】図１８は、本発明の実施の形態１の変形例４における補正部が行う入力領域の補正処理について説明するための図である。
【図１９】図１９は、本発明の実施の形態１の変形例５における補正部が行う入力領域の補正処理について説明するための図である。
【図２０】図２０は、本発明の実施の形態１の変形例６における補正部が行う入力領域の補正処理について説明するための図である。
【図２１】図２１は、本発明の実施の形態１の変形例７における補正部が行う入力領域の補正処理について説明するための図である。
【図２２】図２２は、本発明の実施の形態２における情報処理装置の機能構成を示すブロック図である。
【図２３】図２３は、本発明の実施の形態２における動き算出プロセスの詳細な処理の流れを示すフローチャートである。
【図２４】図２４は、本発明の実施の形態２において選定される画素群を説明するための図である。
【図２５】図２５は、本発明の実施の形態２において入力領域内の像の移動量及び移動方向を算出する処理を説明するための図である。
【図２６】図２６は、本発明の実施の形態２において入力領域内の像の移動量及び移動方向を算出する処理を説明するための図である。
【図２７】図２７は、本発明の実施の形態２において入力領域を補正する処理を説明するための図である。
【図２８】図２８は、本発明の実施の形態３における情報処理装置の機能構成を示すブロック図である。
【図２９】図２９は、本発明の実施の形態３における情報処理装置による全体的な処理の流れを示すフローチャートである。
【図３０】図３０は、本発明の実施の形態３における入力データが示す軌跡の一例を示す図である。
【図３１】図３１は、本発明の実施の形態３における補正プロセスの詳細な処理の流れを示すフローチャートである。
【図３２】図３２は、本発明の実施の形態３において入力領域を補正するための画像を選択する処理を説明するための図である。
【図３３Ａ】図３３Ａは、本発明の実施の形態３において入力領域を補正する方法の一例を示す図である。
【図３３Ｂ】図３３Ｂは、本発明の実施の形態３において入力領域を補正する方法の一例を示す図である。
【図３３Ｃ】図３３Ｃは、本発明の実施の形態３において入力領域を補正する方法の一例を示す図である。
【図３４】図３４は、本発明の実施の形態４における情報処理装置の機能構成を示すブロック図である。
【図３５】図３５は、本発明の実施の形態４における補正プロセスの詳細な処理の流れを示すフローチャートである。
【図３６】図３６は、本発明の実施の形態４において補完された軌跡に囲まれた注目領域の一例を示す図である。
【図３７】図３７は、本発明の実施の形態５における情報処理装置の機能構成を示すブロック図である。
【図３８】図３８は、本発明の実施の形態５における補正プロセスの詳細な処理の流れを示すフローチャートである。
【図３９】図３９は、本発明の実施の形態５においてアルゴリズムを決定する方法の一例を説明するための図である。
【図４０】図４０は、本発明の実施の形態５においてアルゴリズムを決定する方法の他の一例を説明するための図である。
【図４１】図４１は、本発明の実施の形態５においてアルゴリズムを決定する方法のさらに他の一例を説明するための図である。
【図４２】図４２は、本発明の一態様に係る情報処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３３】
（実施の形態１）
本発明の実施の形態１における情報処理装置１００は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を決定する。特に、本実施の形態では、情報処理装置１００は、ユーザが入力を完了した後に、入力された軌跡によって特定される領域である入力領域内の像の移動量及び移動方向を用いて当該入力領域を補正することにより注目領域を決定する。
【００３４】
なお、動画コンテンツに含まれる画像とは、動画を構成するピクチャを意味する。また、入力領域内の像とは、ピクチャ内の一部領域である入力領域内に含まれる画素によって形成される画像（イメージ）を意味する。また、オブジェクトとは、動画コンテンツ中に表される対象物（例えば、人、動物、乗り物、マークなど）を意味する。
【００３５】
以下に、本発明の実施の形態１における情報処理装置について、図面を参照しながら説明する。
【００３６】
図１は、本発明の実施の形態１における情報処理装置１００の機能構成を示すブロック図である。
【００３７】
［情報処理装置の内部構成］
情報処理装置１００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、動き算出部１４０、補正部１５０、及び入力部１３０を備える。
【００３８】
入力手段１９０は、ユーザが注目領域を情報処理装置１００に入力するためのリモコン、マウス、あるいはキーボードのような具体的な入力手段である。また、情報処理装置１００がタッチパネルを備えている場合は、入力手段１９０は、タッチペンのようなスタイラス、あるいはユーザの指であってもよい。さらに、入力手段１９０は、ジェスチャあるいは音声による操作を可能とするための装置であってもよい。
【００３９】
動画コンテンツ取得部１１０は、放送、ネットワーク、あるいは二次記憶装置などからユーザが視聴する動画コンテンツを取得する。
【００４０】
デコード部１２０は、動画コンテンツ取得部１１０が取得した動画コンテンツをデコードする。
【００４１】
入力部１３０は、入力手段１９０を介して、ユーザから入力データを受け付ける。具体的には、入力部１３０は、表示中の動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける。本実施の形態では、入力データは、動画コンテンツに含まれる複数枚の画像にわたってユーザが入力した軌跡を示すデータである。
【００４２】
動き算出部１４０は、入力領域内の像の移動量及び移動方向を算出する。つまり、動き算出部１４０は、入力領域内の像の移動量及び移動方向を算出する。なお、本実施の形態では、動き算出部１４０は、入力領域に含まれる画素群の移動量及び移動方向を算出することにより、入力領域内の像の移動量及び移動方向を算出する。移動量及び移動方向の算出方法の詳細については後述する。
【００４３】
なお、入力領域とは、入力データが示す軌跡によって特定される領域である。本実施の形態では、入力領域とは、入力データが示す軌跡によって囲まれた領域である。また、画素群とは、一定数の画素で構成される画素のグループを意味する。
【００４４】
補正部１５０は、動き算出部１４０が算出した、入力領域内の像の移動量及び移動方向を用いて入力領域を補正することにより、注目領域を決定する。そして、補正部１５０は、このように決定された注目領域を、表示部１６０に出力する。また、補正部１５０は、このように決定された注目領域を外部の画像検索装置などに出力してもよい。なお、入力領域の補正方法の詳細については後述する。
【００４５】
表示部１６０は、デコード部１２０がデコードした動画コンテンツと、入力部１３０によって受け付けられた入力データが示す軌跡を表示する。さらに、表示部は、補正部１５０によって決定された注目領域を示す情報を表示する。
【００４６】
［情報処理装置の全体動作］
次に、以上のように構成された情報処理装置１００における各種動作について説明する。
【００４７】
図２は、本発明の実施の形態１における情報処理装置１００による全体的な処理の流れを示すフローチャートである。情報処理装置１００は、入力データを受け付ける入力プロセス（ステップＳ２１０）と、入力領域内の画素群の移動量及び移動方向を算出する動き算出プロセス（ステップＳ２２０）と、入力領域を補正する補正プロセス（ステップＳ２３０）とを実行する。
【００４８】
［入力プロセス］
まず、入力プロセス（ステップＳ２１０）について詳述する。図３は、本発明の実施の形態１における入力プロセス（ステップＳ２１０）の詳細な処理の流れを示すフローチャートである。
【００４９】
ユーザが入力手段１９０を用いて軌跡の入力を開始したとき、情報処理装置１００の入力部１３０は、入力された軌跡を示す入力データを受け付ける。そして、入力部１３０は、受け付けた入力データを動き算出部１４０と表示部１６０とに送る（ステップＳ３１０）。ユーザが入力を継続している間、入力部１３０は、動き算出部１４０と表示部１６０とに入力データを送り続ける（ステップＳ３２０）。なお、表示部１６０は、受け取った入力データをそのまま動画コンテンツに重ね合わせて表示する。
【００５０】
図４は、本発明の実施の形態１における入力データが示す軌跡の一例を示す図である。具体的には、図４は、動画コンテンツにおいて移動するオブジェクトを囲うために、複数枚の画像にわたってユーザが軌跡を入力する経過の一例を示す図である。
【００５１】
動画コンテンツに含まれる３枚の画像（画像Ｘ、Ｘ＋１、及びＸ＋２）において、オブジェクト４２０は、水平方向に左から右へ移動している。ユーザは、このオブジェクト４２０を囲うように軌跡４１０、４１１、及び４１２を入力する。最終的に、ユーザは、オブジェクトの動きにつられて、オブジェクトよりもかなり大きな領域を囲う楕円形の軌跡４１２を入力している。
【００５２】
［動き算出プロセス］
次に、動き算出プロセス（ステップＳ２２０）について詳述する。図５は、本発明の実施の形態１における動き算出プロセス（ステップＳ２２０）の詳細な処理の流れを示すフローチャートである。
【００５３】
［入力開始／完了時の画像を記録］
動き算出部１４０は、入力部１３０から入力データの受信を開始したときに、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を開始したタイミングで表示されていた画像（以下、「最初の画像」という）のＩＤを記録する（ステップＳ５１０）。次に、動き算出部１４０は、入力部１３０から入力データの受信を完了したときに（ステップＳ５２０）、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を完了したタイミングで表示されていた画像（以下、「最後の画像」という）のＩＤを記録する（ステップＳ５３０）。
【００５４】
［画素群の選定］
次に、動き算出部１４０は、入力領域内の像の移動量及び移動方向を算出するための画素群を選定する（ステップＳ５４０）。具体的には、動き算出部１４０は、入力データが示す軌跡に基づいて入力領域を特定する。ここでは、動き算出部１４０は、入力データが示す軌跡に囲まれた領域を入力領域として特定する。そして、動き算出部１４０は、最初の画像から最後の画像までの間のすべての画像において、入力領域に含まれる画素群を選定する。なお、ここでは、入力領域に含まれる画素群には、少なくともその一部の画素が入力領域に含まれる画素群を含む。
【００５５】
図６は、本発明の実施の形態１において選定される画素群を説明するための図である。図６に示すように、動き算出部１４０は、画像Ｘ、Ｘ＋１、及びＸ＋２のそれぞれにおいて、画像に含まれる複数の画素群の中から、入力領域に一部でも含まれる画素群（ハッチングされた画素群）を選定する。
【００５６】
［移動量及び移動方向の算出］
次に、動き算出部１４０は、ステップＳ５４０で選定された画素群の移動量及び移動方向を算出することにより、入力領域内の像の移動量及び移動方向を算出する（ステップＳ５５０）。
【００５７】
ある画像において選定された画素群の移動量及び移動方向は、その画像の直前の画像に対する相対的な移動量及び移動方向として算出される。したがって、例えば、画像Ｎ〜画像Ｎ＋ｍに対して軌跡が入力されている場合、画像Ｎ＋１〜画像Ｎ＋ｍにおいて画素群の移動量及び移動方向が算出される。
【００５８】
例えば、図６において算出される画素群の移動量及び移動方向は、画像Ｘ＋１の画像Ｘに対する移動量及び移動方向と、画像Ｘ＋２の画像Ｘ＋１に対する移動量及び移動方向となる。
【００５９】
図７は、本発明の実施の形態１における画素群の移動量及び移動方向の算出結果の一例を示す図である。画像Ｘと画像Ｘ＋１との間で移動があったのは、画素群Ａ〜Ｉのみである。例えば、画像Ｘの画素群Ａ０は、画像Ｘ＋１の画素群Ａ１に移動している。したがって、画素群Ａ１の画素群Ａ０に対する移動量及び移動方向は、ｘ方向に５画素群分、ｙ方向に０画素群分となる。同様に画素群Ｂ１〜Ｉ１の画素群Ｂ０〜Ｉ０に対する移動量及び移動方向も、それぞれｘ方向に５画素群分、ｙ方向に０画素群分となる。その他の画素群の移動量は０である。
【００６０】
また、図８は、本発明の実施の形態１における画素群の移動量及び移動方向の算出結果の一例を示す図である。画像Ｘに対する画像Ｘ＋１の移動量及び移動方向と同様に、画素群Ａ２〜Ｉ２の画素群Ａ１〜Ｉ１に対する移動量及び移動方向も、それぞれｘ方向に５画素群分、ｙ方向に０画素群分となる。また、その他の画素群の移動量は０である。
【００６１】
そして、動き算出部１４０は、このように算出された画素群の移動量及び移動方向の平均値を画像ごとに算出する。そして、動き算出部１４０は、算出した画像ごとの平均値の総和を、画像Ｘ〜Ｘ＋２における入力領域内の像の移動量及び移動方向として算出する。
【００６２】
ここで、画像ごとに画素群の移動量及び移動方向の平均値を算出し、その平均値の総和を算出する方法について詳述する。
【００６３】
動き算出部１４０は、まず、画像ごとに、複数の画素群の移動量及び移動方向の平均値を算出する。この際、動き算出部１４０は、移動がない画素群は無視して平均値を導出する。つまり、動き算出部１４０は、移動量が０より大きい画素群の移動量及び移動方向の平均値を画像ごとに算出する。
【００６４】
次に、動き算出部１４０は、算出した画像ごとの平均値の総和を、入力領域内の像の移動量及び移動方向として算出する。例えば、図７及び図８では、次のように、入力領域内の像の移動量及び移動方向が算出される。
【００６５】
画像Ｘ＋１の平均値＝（画素群Ａ１の移動量及び移動方向（５，０）＋画素群Ｂ１の移動量及び移動方向（５，０）＋ 画素群Ｃ１の移動量及び移動方向（５，０）＋ 画素群Ｄ１の移動量及び移動方向（５，０）＋ 画素群Ｅ１の移動量及び移動方向（５，０）＋画素群Ｆ１の移動量及び移動方向（５，０）＋画素群Ｇ１の移動量及び移動方向（５，０）＋画素群Ｈ１の移動量及び移動方向（５，０）＋画素群Ｉ１の移動量及び移動方向（５，０））／９＝（５，０）
【００６６】
画像Ｘ＋２の平均値＝（画素群Ａ２の移動量及び移動方向（５，０）＋ 画素群Ｂ２の移動量及び移動方向（５，０）＋画素群Ｃ２の移動量及び移動方向（５，０）＋画素群Ｄ２の移動量及び移動方向（５，０）＋画素群Ｅ２の移動量及び移動方向（５，０）＋画素群Ｆ２の移動量及び移動方向（５，０）＋画素群Ｇ２の移動量及び移動方向（５，０）＋画素群Ｈ２の移動量及び移動方向（５，０）＋画素群Ｉ２の移動量及び移動方向（５，０））／９＝（５，０）
【００６７】
入力領域内の像の移動量及び移動方向＝画像Ｘ＋１の平均値（５，０）＋画像Ｘ＋２の平均値（５，０）＝（１０，０）
【００６８】
なお、動き算出部１４０は、必ずしも上記のような方法で入力領域内の像の移動量及び移動方向を算出する必要はない。例えば、動き算出部１４０は、入力領域に含まれるすべての画素群（動きがない画素群を含む）の移動量及び移動方向の平均値の総和を、入力領域内の像の移動量及び移動方向として算出してもよい。
【００６９】
［補正プロセス］
次に、補正プロセス（ステップＳ２３０）について詳述する。補正部１５０は、算出された移動量及び移動方向に応じて入力領域を移動させた移動領域と入力領域との積集合を、注目領域として決定する。具体的には、補正部１５０は、軌跡が入力された複数の画像のうちの最後の画像上で、入力領域を移動量だけ移動方向に移動させる。そして、補正部１５０は、移動前後の領域の積集合を注目領域と決定する。
【００７０】
図９は、本発明の実施の形態１における補正部１５０が行う入力領域の補正処理について説明するための図である。補正部１５０は、入力領域９００を、算出された移動方向に、算出された移動量だけ、つまりｘ方向に１０画素分だけ移動させた移動領域９１０を算出する。次に、補正部１５０は、入力領域９００と移動領域９１０との積集合を注目領域９２０として決定する。
【００７１】
以上のように、本実施の形態における情報処理装置１００によれば、オブジェクトを囲うためにユーザが入力した軌跡によって特定される入力領域を、ユーザが本来意図した注目領域に補正することが可能となる。
【００７２】
また、本実施の形態における情報処理装置１００によれば、入力領域内の像の移動量及び移動方向を用いて入力領域を補正することができる。一般的に、入力領域内には、ユーザが囲おうとしているオブジェクトが含まれている。したがって、情報処理装置１００によれば、オブジェクトの動きに応じて入力領域を補正することができる。これにより、オブジェクトの動きによって軌跡の入力が乱れた場合であっても、その動きを用いて入力領域を補正できるので、注目領域を適切に決定することができる。すなわち、ユーザが意図する領域、つまりオブジェクトを含む領域を注目領域として適切に決定することが可能となる。
【００７３】
さらに、本実施の形態における情報処理装置１００によれば、移動量及び移動方向に応じて入力領域を移動させた移動領域と入力領域との積集合を注目領域として決定することができる。したがって、オブジェクトの動きに影響されて入力領域が必要以上に大きくなった場合であっても、オブジェクトを含む領域であって入力領域よりも小さい領域を注目領域と決定することができる。その結果、注目領域を適切に決定することができる。
【００７４】
そして、このように決定された注目領域を画像検索装置などに出力すれば、ユーザが指定しようとしたオブジェクトに関連する画像コンテンツ（静止画像コンテンツあるいは動画像コンテンツ）を効率的に検索することも可能となる。
【００７５】
次に、実施の形態１の変形例について以下に説明する。なお、以下の各変形例の説明では、実施の形態１と異なる点を中心に説明し、実施の形態１と同様の点については、適宜、図示及び説明を省略する。
【００７６】
（実施の形態１の変形例１）
実施の形態１の変形例１では、入力された軌跡から入力領域を特定し、入力領域に含まれる画素群を選定する処理が、上記実施の形態１と異なる。ユーザは、入力手段１９０を用いて軌跡を入力する際、必ずしも図４のように楕円形の軌跡を入力するとは限らない。例えば、図１０に示すような軌跡が入力されてしまうようなケースも考えられる。そこで、本変形例では、動き算出部１４０は、入力データが示す軌跡を楕円に近似し、その楕円に囲まれた領域を入力領域として特定する。以下に、本変形例における情報処理装置ついて、図面を参照しながら説明する。
【００７７】
図１０は、本発明の実施の形態１の変形例１における入力データが示す軌跡の一例を示す図である。具体的には、図１０は、動画コンテンツにおいて移動するオブジェクトを囲うように、複数枚の画像にわたってユーザが軌跡を入力する経過の他の一例を示す図である。
【００７８】
動画コンテンツに含まれる３枚の画像（画像Ｘ、Ｘ＋１、及びＸ＋２）において、図４と同様に、オブジェクトは、水平方向に左から右へ移動している。ユーザは、最初はオブジェクトの動きにつられて軌跡を入力する。しかし、最終的には、ユーザは、画像Ｘ＋２において、のオブジェクトを囲む軌跡を入力している。このような場合、動き算出部１４０は、入力データが示す軌跡から簡単に入力領域を特定することが難しい。
【００７９】
そこで、動き算出部１４０は、入力データが示す軌跡をすべて含むような楕円に近似し、その楕円によって囲まれた領域を入力領域として特定する。なお、動き算出部１４０は、最小二乗法など一般的な手法を用いて軌跡を楕円に近似すればよい。
【００８０】
図１１は、本発明の実施の形態１の変形例１において選定される画素群の一例を示す図である。本変形例では、動き算出部１４０は、図１１に示すように、画像に含まれる複数の画素群の中から、ユーザが入力した軌跡を近似した楕円に囲まれた入力領域に含まれる画素群を選定する。
【００８１】
以上のように、本変形例における情報処理装置１００によれば、ユーザが入力した軌跡が楕円でない場合であっても、注目領域を適切に決定することが可能となる。
【００８２】
（実施の形態１の変形例２）
実施の形態１の変形例２では、上記変形例１と同様に、入力された軌跡から入力領域を特定し、入力領域に含まれる画素群を選定する処理が、上記実施の形態１と異なる。具体的には、本変形例では、動き算出部１４０は、入力データが示す軌跡を含む矩形状の領域を入力領域として特定する。以下に、本変形例における情報処理装置ついて、図面を参照しながら説明する。
【００８３】
図１２は、本発明の実施の形態１の変形例２において特定される入力領域の一例を示す図である。図１２のように座標系を画像に設定した場合、動き算出部１４０は、入力データが示す軌跡において、ｘ座標の最小値及び最大値と、ｙ座標の最小値及び最大値とを算出する。動き算出部１４０は、このように算出されたｘ座標の最小値及び最大値と、ｙ座標の最小値及び最大値とをそれぞれ組み合わせた４点を頂点とする矩形状の領域を入力領域として特定する。
【００８４】
図１３は、本発明の実施の形態１の変形例２において選定される画素群の一例を示す図である。本変形例では、動き算出部１４０は、図１３に示すように、画像に含まれる複数の画素群の中から、ユーザが入力した軌跡によって特定される矩形状の入力領域に含まれる画素群を選定する。
【００８５】
以上のように、本変形例における情報処理装置１００によれば、入力領域が楕円形状でない場合も、注目領域を適切に決定することができる。
【００８６】
（実施の形態１の変形例３）
実施の形態１の変形例３では、入力領域内の像の移動量及び移動方向を算出するための画素群を選定する処理が上記実施の形態１と異なる。具体的には、本変形例では、動き算出部１４０は、軌跡が入力された複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて、少なくとも１つの画素群を選定する。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【００８７】
図１４は、本発明の実施の形態１の変形例３における動き算出プロセスの詳細な処理の流れを示すフローチャートである。図１４において、図５と同様の処理については、同一の符号を付し、説明を省略する。
【００８８】
動き算出部１４０は、軌跡が入力された複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて、少なくとも１つの画素群を選定する（Ｓ１４４０）。具体例を、図１５〜図１７を用いて詳細に説明する。
【００８９】
図１５は、本発明の実施の形態１の変形例３において選定される画素群の一例を示す図である。具体的には、図１５は、軌跡が入力された画像Ｘ〜Ｘ＋２のうちの最初の画像Ｘにおいて選定された画素群を示す。
【００９０】
図１５に示すように、画像Ｘに対してユーザが入力した軌跡は、入力途中の軌跡であるため、閉領域を形成していない。そこで、動き算出部１４０は、入力された軌跡の一方の端点から垂直方向に延びる線分１５００と、入力された軌跡の他方の端点から水平方向に延びる線分１５１０と、入力された軌跡とによって囲まれる領域に含まれる画素群１５２０を選定する。動き算出部１４０は、図１６及び図１７に示すように、このように選定された画素群１５２０の、画像Ｘ〜Ｘ＋２における移動量及び移動方向を、入力領域内の像の移動量及び移動方向として算出する。
【００９１】
なお、動き算出部１４０は、必ずしも最初の１枚の画像に対して入力された軌跡に基づいて、画素群を選定する必要はない。例えば、動き算出部１４０は、最初の２枚以上の画像に対して入力された軌跡に基づいて、画素群を選定してもよい。
【００９２】
また、動き算出部１４０は、必ずしも上記のように画素群の移動量及び移動方向を算出する必要はない。例えば、動き算出部１４０は、Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）などの映像圧縮方式で用いられているマクロブロック（８×８画素）単位の「動きベクトル」を、８×８画素の画素群の移動量及び移動方向として算出してもよい。
【００９３】
以上のように、本変形例における情報処理装置１００によれば、複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定することができる。したがって、オブジェクトが大きく動く前に入力された軌跡に基づいて画素群を選定することができる。このように選定された画素群を用いて移動量及び移動方向を算出することにより、オブジェクトの動きに適応した移動量及び移動方向を算出することができる。したがって、このように算出された移動量及び移動方向を用いて入力領域を補正することにより、注目領域を適切に決定することができる。
【００９４】
（実施の形態１の変形例４）
実施の形態１の変形例４では、入力領域を補正することにより注目領域を決定する処理が、上記実施の形態１と異なる。具体的には、本変形例では、補正部１５０は、入力領域内の像の移動方向の反対方向に移動量だけ入力領域を移動させた移動領域と入力領域との積集合を、複数の画像のうちの最初の画像における注目領域として決定する。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【００９５】
図１８は、本発明の実施の形態１の変形例４における補正部１５０が行う入力領域の補正処理について説明するための図である。図１８に示すように、補正部１５０は、最初の画像Ｘにおいて、入力領域１８００を、算出された移動方向の反対方向に、算出された移動量だけ移動させた移動領域１８１０を算出する。次に、補正部１５０は、入力領域１８００と移動領域１８１０との積集合を注目領域１８２０として決定する。
【００９６】
以上のように、本変形例における情報処理装置１００によれば、実施の形態１と同様の効果を奏することができる。
【００９７】
（実施の形態１の変形例５）
実施の形態１の変形例５では、入力領域を補正することにより注目領域を決定する処理が、上記実施の形態１と異なる。具体的には、本変形例では、補正部１５０は、移動量及び移動方向に応じて入力領域を圧縮することにより、注目領域を決定する。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【００９８】
図１９は、本発明の実施の形態１の変形例５における補正部１５０が行う入力領域の補正処理について説明するための図である。図１９に示すように、補正部１５０は、算出された移動量及び移動方向に応じて入力領域を圧縮することにより、注目領域を決定する。具体的には、補正部１５０は、算出された移動方向に、算出された移動量だけ入力領域を圧縮することにより、ユーザが軌跡を入力した複数の画像のうちの最後の画像における注目領域を決定する。
【００９９】
より具体的には、まず、補正部１５０は、最後の画像Ｘ＋２において、算出された移動方向と平行なｘ’軸１９１０を設定する。次に、補正部１５０は、ユーザが入力した軌跡１９２０を構成するすべての点のうち、ｘ’軸上で左端に位置する点１９３０及び右端に位置する点１９４０と、点１９３０を算出された移動方向に、算出された移動量だけ移動させた点１９５０とを特定する。次に、補正部１５０は、点１９３０と点１９５０とのｘ’軸方向における距離ｍと、点１９４０と点１９５０とのｘ’軸方向における距離ｎとを算出する。最後に、補正部１５０は、点１９４０のｘ’座標を０として、軌跡１９２０を構成するすべての点のうち点１９４０を除く点のｘ’座標をｎ／（ｍ＋ｎ）に縮めることにより、ユーザが入力した軌跡１９２０を軌跡１９６０に圧縮する。このようにして、補正部１５０は、入力領域１９００を圧縮することにより、注目領域１９７０を決定する。
【０１００】
以上のように、本変形例における情報処理装置１００によれば、移動量及び移動方向に応じて入力領域を圧縮することにより、注目領域を決定することができる。したがって、オブジェクトの動きに影響されて入力領域が必要以上に大きくなった場合であっても、オブジェクトを含む領域であって入力領域よりも小さい領域を注目領域と決定することができる。その結果、注目領域を適切に決定することができる。
【０１０１】
なお、本変形例では、補正部１５０は、ユーザが軌跡を入力した複数の画像のうちの最後の画像において注目領域を決定していたが、必ずしも最後の画像において注目領域を決定する必要はない。例えば、補正部１５０は、最後の画像より１枚前の画像において注目領域を決定してもよい。また例えば、補正部１５０は、オブジェクトを囲うための軌跡が閉じられ始めたときの画像を特定し、特定した画像において注目領域を決定してもよい。
【０１０２】
（実施の形態１の変形例６）
実施の形態１の変形例６では、上記変形例５と同様に、入力領域を補正することにより注目領域を決定する処理が上記実施の形態１と異なる。具体的には、本変形例では、補正部１５０は、移動方向の反対方向に移動量だけ入力領域を圧縮することにより、複数の画像のうちの最初の画像における注目領域を決定する。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【０１０３】
図２０は、本発明の実施の形態１の変形例６における補正部１５０が行う入力領域の補正処理について説明するための図である。図２０に示すように、補正部１５０は、算出された移動方向の反対方向に、算出された移動量だけ入力領域を圧縮することにより、ユーザが軌跡を入力した複数の画像のうちの最初の画像における注目領域を決定する。
【０１０４】
より具体的には、まず、補正部１５０は、最初の画像Ｘにおいて、算出された移動方向と平行なｘ’軸２０１０を設定する。次に、補正部１５０は、ユーザが入力した軌跡２０２０を構成するすべての点のうち、ｘ’軸上で左端に位置する点２０３０及び右端に位置する点２０４０と、点２０４０を算出された移動方向と反対方向に、算出されたた移動量だけ移動させた点２０５０とを特定する。次に、補正部１５０は、点２０３０と点２０５０とのｘ’軸方向における距離ｍと、点２０４０と点２０５０とのｘ’軸方向における距離ｎとを算出する。最後に、補正部１５０は、点２０３０のｘ’座標を０として、軌跡２０２０を構成するすべての点のうち点２０４０を除く点のｘ’座標をｍ／（ｍ＋ｎ）に縮めることにより、ユーザが入力した軌跡２０２０を軌跡２０６０に圧縮する。このようにして、補正部１５０は、入力領域２０００を圧縮することにより、注目領域を決定する。
【０１０５】
以上のように、本変形例における情報処理装置１００によれば、上記変形例６と同様の効果を奏することが可能となる。
【０１０６】
（実施の形態１の変形例７）
実施の形態１の変形例７では、上記変形例５及び６と同様に、入力領域を補正することにより注目領域を決定する処理が上記実施の形態１と異なる。なお、本変形例では、上記変形例２のように、入力領域の形状が矩形状である。以下に、本変形例における情報処理装置について、図面を参照しながら説明する。
【０１０７】
図２１は、本発明の実施の形態１の変形例７における補正部１５０が行う入力領域の補正処理について説明するための図である。図２１に示すように、補正部１５０は、算出された移動方向に、算出された移動量だけ入力領域を圧縮することにより、ユーザが軌跡を入力した複数の画像のうちの最初の画像における注目領域を決定する。
【０１０８】
具体的には、まず、補正部１５０は、最後の画像Ｘ＋２において、入力領域２１００の上辺をｘ軸２１２０と、右辺をｙ軸２１３０と、上辺及び右辺の交点２１４０を原点と設定する。次に、補正部１５０は、入力領域２１００の左下側の頂点２１５０を算出された移動方向に、算出された移動量だけ移動させた点２１６０を特定する。次に、補正部１５０は、点２１５０と点２１６０とのｘ軸方向における距離ｍと、点２１５０と点２１４０とのｘ軸方向における距離ｎを算出する。また、補正部１５０は、点２１５０と点２１６０とのｙ軸方向における距離ｑと、点２１５０と点２１４０とのｙ軸方向における距離ｐとを算出する。最後に、補正部１５０は、軌跡２１１０を構成するすべての点のｘ座標をｎ／（ｍ＋ｎ）だけ、ｙ座標をｐ／（ｐ＋ｑ）だけ圧縮することにより、軌跡２１１０を軌跡２１７０に圧縮する。このようにして、補正部１５０は、入力領域２１００を圧縮することにより、注目領域２１８０を決定する。
【０１０９】
以上のように、本変形例における情報処理装置１００によれば、入力領域が矩形状であっても、上記変形例５などと同様に、注目領域を適切に決定することができる。
【０１１０】
以上、本発明の実施の形態１の変形例１〜７について説明したが、矛盾がない限り、上記変形例１〜７における各構成要素を組み合わせてもよい。例えば、情報処理装置１００は、上記変形例３のように移動量及び移動方向を算出し、上記変形例５又は６のように注目領域を決定してもよい。
【０１１１】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態では、入力領域内の像の移動量及び移動方向を算出する処理と入力領域を補正する処理とが、上記実施の形態１と主として異なる。具体的には、本実施の形態では、動き算出部は、ユーザの入力と並行して移動量及び移動方向を算出し、補正部は、ユーザの入力と並行して入力領域を補正する。以下に、本実施の形態における情報処理装置について、図面を参照しながら説明する。
【０１１２】
図２２は、本発明の実施の形態２における情報処理装置２２００の機能構成を示すブロック図である。なお、図２２において、図１と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１１３】
情報処理装置２２００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、動き算出部２２４０、補正部２２５０、及び入力部１３０を備える。
【０１１４】
動き算出部２２４０は、入力領域内の像の移動量及び移動方向を算出する。具体的には、動き算出部２２４０は、ユーザの入力と並行して、入力領域内の像の移動量及び移動方向を算出する。本実施の形態では、動き算出部２２４０は、表示される画像が切り替わるたびに、入力領域内の像の移動量及び移動方向を算出する。なお、移動量及び移動方向の算出方法の詳細については後述する。
【０１１５】
補正部２２５０は、動き算出部２２４０が算出した入力領域内の像の移動量及び移動方向を用いて、入力領域を補正する。具体的には、補正部２２５０は、ユーザの入力と並行して入力領域を補正する。本実施の形態では、補正部２２５０は、表示される画像が切り替わって入力領域内の像の移動量及び移動方向が算出されるたびに、入力領域を補正する。なお、入力領域の補正方法の詳細については後述する。
【０１１６】
次に、以上のように構成された情報処理装置２２００における各種動作について説明する。なお、本実施の形態における情報処理装置２２００による全体的な処理の流れは、実施の形態１の図２と同様であるので図示を省略する。
【０１１７】
動き算出プロセス（ステップＳ２２０）について詳述する。図２３は、本発明の実施の形態２における動き算出プロセス（ステップＳ２２０）の詳細な処理の流れを示すフローチャートである。
【０１１８】
動き算出部２２４０は、入力部１３０から入力データの受信を開始したときに（ステップＳ２３１０のＹｅｓ）、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を開始したタイミングで表示されていた画像（最初の画像）のＩＤを記録する（ステップＳ２３２０）。次に、動き算出部２２４０は、入力部１３０から入力データの受信が完了したときに（ステップＳ２３３０のＹｅｓ）、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を完了したタイミングで表示されていた画像（最後の画像）のＩＤを記録する（ステップＳ２３４０）。
【０１１９】
入力データの受信を開始したときではなく（ステップＳ２３１０のＮｏ）、かつ、入力データの受信を完了したときではない場合に（ステップＳ２３３０のＮｏ）、動き算出部２２４０は、表示部１６０が表示している画像が切り替わりのタイミングであるか否かを判定する（ステップＳ２３５０）。ここで、表示されている画像が切り替わりのタイミングでない場合（ステップＳ２３５０のＮｏ）、動き算出部２２４０は、ステップＳ２３１０の処理に戻る。
【０１２０】
一方、表示されている画像が切り替わりのタイミングである場合（ステップＳ２３５０のＹｅｓ）、又はステップＳ２３４０の処理が終了した後に、動き算出部２２４０は、入力領域内の像の移動量及び移動方向を算出するための画素群を選定する（ステップＳ２３６０）。そして、動き算出部２２４０は、選定した画素群の移動量及び移動方向を算出する（ステップＳ２３７０）。画素群の移動量及び移動方向の算出が完了すると、情報処理装置２２００は、すぐに入力領域の補正を行う（ステップＳ２３０）。
【０１２１】
ここで、入力領域の像の移動量及び移動方向を算出する処理と入力領域を補正する処理とを、図２４〜図２７を用いて詳述する。
【０１２２】
図２４は、本発明の実施の形態２において選定される画素群を説明するための図である。また、図２５及び図２６は、本発明の実施の形態２において入力領域内の像の移動量及び移動方向を算出する処理を説明するための図である。また、図２７は、本発明の実施の形態２において入力領域を補正する処理を説明するための図である。
【０１２３】
図２４に示すように、動き算出部２２４０は、画像Ｘ＋１において、入力領域を特定する。ここでは、ユーザが画像Ｘ＋１までに入力した軌跡だけでは閉領域が形成されない。そこで、動き算出部２２４０は、ユーザが画像Ｘ＋１までに入力した軌跡を点線で示すように補完し、補完された軌跡によって囲まれる領域を入力領域として特定する。そして、動き算出部２２４０は、特定した入力領域に含まれる画素群（ハッチングされた画素群）を選定する。なお、軌跡の補完方法は、一例であり、オブジェクトを囲うように軌跡が補完されるのであれば、どのように補完されてもよい。
【０１２４】
次に、動き算出部２２４０は、図２５に示すように、画像Ｘ＋１において選定した画素群の移動量及び移動方向を算出する。なお、図２５では、実施の形態１の図７と比べて、選定されている画素群は異なるが、画素群の移動量及び移動方向の算出方法は同じである。  次に、補正部２２５０は、図２７に示すように入力領域を補正する。具体的には、補正部２２５０は、画像Ｘ＋１までにユーザによって入力された軌跡２７００と、軌跡２７００の端点の一方から水平方向に延びる線分２７１０と、軌跡２７００の端点の他方から垂直方向に延びる線分２７２０とに囲まれた入力領域２７３０を補正する。
【０１２５】
より具体的には、補正部２２５０は、まず、動き算出部２２４０によって算出された入力領域内の像の移動方向と平行なｘ’軸２７４０を設定する。
【０１２６】
次に、補正部２２５０は、軌跡２７００を構成するすべての点のうち、ｘ’軸方向において左端に位置する点２７５０及び右端に位置する点２７６０と、点２７５０を算出された移動方向に、算出された移動量だけ移動させた点２７７０を特定する。次に、補正部２２５０は、点２７５０と点２７７０とのｘ’軸方向における距離ｍと、点２７６０と点２７７０とのｘ’軸方向における距離ｎとを算出する。最後に、補正部２２５０は、点２７６０のｘ’座標を０として、軌跡２７００を構成するすべての点のｘ’座標をｎ／（ｍ＋ｎ）に縮めることにより、ユーザが入力した軌跡２７００を軌跡２７８０に圧縮する。このようにして、補正部２２５０は、入力領域２７３０を圧縮することにより、注目領域２７９０を決定する。
【０１２７】
また、表示中の画像が画像Ｘ＋１から画像Ｘ＋２に切り替わった後に、画像Ｘ＋２において、動き算出部２２４０は、図２４の（ｃ）に示すように、画像Ｘ＋１において補正された軌跡と表示中の画像Ｘ＋２に対してユーザが入力した軌跡とに囲われた領域を入力領域と特定する。そして、動き算出部２２４０は、特定した入力領域内の画素群を選定する。続いて、動き算出部２２４０は、図２６に示すように、選定した画素群の移動量及び移動方向を、入力領域内の像の移動量及び移動方向として算出する。
【０１２８】
そして、補正部２２５０は、画像Ｘ＋２において、画像Ｘ＋１と同様に、入力領域を補正することにより、注目領域を決定する。なお、補正部２２５０は、必ずしも画像Ｘ＋２において入力領域を補正する必要はない。つまり、補正部２２５０は、画像Ｘ＋１において補正された領域を注目領域として決定してもよい。
【０１２９】
以上のように、本実施の形態における情報処理装置２２００によれば、ユーザの入力と並行して入力領域を補正することができる。したがって、例えば、リアルタイムで注目領域を表示することも可能となり、ユーザが適切に軌跡を入力することを支援することができる。
【０１３０】
なお、本実施の形態において、補正部２２５０は、表示されている画像が切り替わるたびに入力領域を補正していた。つまり、補正部２２５０は、１枚の画像ごとに入力領域を補正していたが、必ずしも１枚の画像ごとに入力領域を補正する必要はない。例えば、補正部２２５０は、２枚以上の画像ごとに、入力領域を補正してもよい。また、動き算出部２２４０も、２枚以上の画像ごとに、移動量及び移動方向を算出してもよい。
【０１３１】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態では、補正部は、ユーザの入力が完了した後に、入力データが示す軌跡の形状に基づいて入力領域を補正することにより、注目領域を決定する。つまり、本実施の形態における情報処理装置は、入力領域内の像の移動量及び移動方向を用いずに、注目領域を決定する。以下に、本実施の形態における情報処理装置ついて図面を参照しながら説明する。
【０１３２】
図２８は、本発明の実施の形態３における情報処理装置２８００の機能構成を示すブロック図である。なお、図２８において、図１と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１３３】
情報処理装置２８００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、補正部２８５０、及び入力部１３０を備える。
【０１３４】
補正部２８５０は、入力領域を補正する。具体的には、補正部２８５０は、複数枚の画像にわたるユーザの入力が完了した後に、入力データが示す軌跡に基づいて入力領域を補正することにより、注目領域を決定する。本実施の形態では、補正部２８５０は、入力データが示す軌跡を楕円に近似し、当該楕円の長軸と当該軌跡との交点が入力された画像において、交点の近傍の領域を注目領域として決定する。
【０１３５】
次に、情報処理装置２８００における各種動作について説明する。以上のように構成された情報処理装置２８００における各種動作について説明する。
【０１３６】
図２９は、本発明の実施の形態３における情報処理装置２８００による全体的な処理の流れを示すフローチャートである。なお、図２９において、図２と同様の処理については、同一の符号を付し説明を省略する。
【０１３７】
図２９に示すように、情報処理装置２８００は、入力データを受け付ける入力プロセス（ステップＳ２１０）と、入力領域を補正する補正プロセス（ステップＳ２９３０）とを実行する。
【０１３８】
図３０は、本発明の実施の形態３における入力データが示す軌跡の一例を示す図である。具体的には、図３０は、動画コンテンツにおいて移動するオブジェクトを囲うために、複数枚の画像にわたってユーザが軌跡を入力する経過の一例を示す図である。
【０１３９】
動画コンテンツに含まれる４枚の画像（画像Ｘ、Ｘ＋１、Ｘ＋２、及びＸ＋３）において、オブジェクト３０２０は、水平方向に左から右へ移動している。ユーザは、このオブジェクト３０２０を囲うために軌跡３０１０、３０１１、３０１２、及び３０１３を入力する。最終的に、ユーザは、オブジェクト３０２０の動きにつられて、楕円形の軌跡３０１３を入力している。
【０１４０】
ここで、補正プロセス（ステップＳ２９３０）について詳述する。図３１は、本発明の実施の形態３における補正プロセス（ステップＳ２９３０）の詳細な処理の流れを示すフローチャートである。
【０１４１】
補正部２８５０は、入力部１３０から入力データの受信を開始したときに、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を開始したタイミングで表示されていた画像（最初の画像）のＩＤを記録する（ステップＳ５１０）。次に、補正部２８５０は、入力部１３０から入力データの受信を完了したときに（ステップＳ５２０）、動画コンテンツ取得部１１０から並行して受信している動画コンテンツを参照し、ユーザが入力を完了したタイミングで表示されていた画像（最後の画像）のＩＤを記録する（ステップＳ５３０）。
【０１４２】
次に、補正部２８５０は、ユーザが軌跡を入力した複数の画像の中から、入力領域を補正するための画像を選択する（ステップＳ３１４０）。具体的には、補正部２８５０は、ユーザが入力を完了した後に、入力データが示す軌跡を楕円に近似し、当該楕円の長軸と当該軌跡との交点が入力された画像を選択する。
【０１４３】
図３２は、本発明の実施の形態３において入力領域を補正するための画像を選択する処理を説明するための図である。補正部２８５０は、まず、最終的にユーザが入力した軌跡３０１３と近似する楕円３２１０を算出する。
【０１４４】
そして、補正部２８５０は、算出した楕円の長軸３２２０とユーザの入力した軌跡３０１３との２つの交点のうち、軌跡３０１３の始点３２３０から遠い方の交点３２４０を特定する。
【０１４５】
次に、補正部２８５０は、特定した交点３２４０が入力されたタイミングで表示されていた画像Ｘ＋２を、入力領域を補正するための画像として選択する。
【０１４６】
次に、補正部２８５０は、選択された画像において入力領域を補正する（ステップＳ３１５０）。具体的には、補正部２８５０は、選択された画像において、特定された交点の近傍の領域を注目領域として決定する。
【０１４７】
図３３Ａ〜図３３Ｃの各々は、本発明の実施の形態３において入力領域を補正する方法の一例を示す図である。
【０１４８】
例えば、図３３Ａに示すように、補正部２８５０は、選択された画像Ｘ＋２において、交点３２４０の近傍の軌跡に内接する円に囲まれた領域３３１０を注目領域と決定する。
【０１４９】
また例えば、図３３Ｂに示すように、補正部２８５０は、選択された画像Ｘ＋２において、直径の長さが、楕円３２１０の短径３３２０の長さと等しい円であって、かつ交点３２４０を通る円に囲まれた領域３３３０を注目領域と決定する。
【０１５０】
また例えば、図３３Ｃに示すように、補正部２８５０は、選択された画像Ｘ＋２において、長軸３２２０を、最初の画像Ｘから選択された画像Ｘ＋２までに表示された画像の枚数（ここでは「３」）で等分割する。そして、補正部２８５０は、分割点を通り、かつ長軸３２２０と直交する線分３３４０及び３３５０と軌跡３０１３とで囲まれる領域のうち、交点３２４０を含む領域３３６０を注目領域と決定する。
【０１５１】
なお、補正部２８５０は、入力データが示す軌跡を楕円に近似し、その楕円の長軸と当該軌跡との交点の近傍の領域に入力領域を補正すればよく、上記の補正方法に限定されるものではない。
【０１５２】
以上のように、本実施の形態における情報処理装置２８００によれば、軌跡の形状に基づいて入力領域を補正することができるので、移動量及び移動方向を算出する必要がない。したがって、計算負荷を軽減することができる。
【０１５３】
さらに、本実施の形態における情報処理装置２８００によれば、軌跡を楕円に近似し、その楕円の長軸と軌跡との交点のうち軌跡の始点から最も遠い交点が入力された画像において、始点から最も遠い交点の近傍の領域を注目領域として決定することができる。したがって、オブジェクトを囲うための軌跡が閉じられ始めた位置の近傍の領域を注目領域と決定することができる。つまり、軌跡が閉じられ始めた位置にはオブジェクトが存在すると考えられるので、オブジェクトを含む注目領域と適切に決定することが可能となる。
【０１５４】
（実施の形態４）
次に、本発明の実施の形態４について説明する。本実施の形態では、補正部は、入力データが示す軌跡を補完することにより、注目領域を決定する。つまり、本実施の形態における情報処理装置は、上記実施の形態３と同様に、入力領域内の像の移動量及び移動方向を用いずに、注目領域を決定する。以下に、本実施の形態における情報処理装置ついて図面を参照しながら説明する。
【０１５５】
図３４は、本発明の実施の形態４における情報処理装置３４００の機能構成を示すブロック図である。なお、図３４において、図１と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１５６】
情報処理装置３４００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、補正部３４５０、及び入力部１３０を備える。
【０１５７】
補正部３４５０は、入力データが示す軌跡を補完することにより注目領域を決定する。本実施の形態では、補正部３４５０は、入力データが示す軌跡を楕円に近似することにより当該軌跡を補完する。
【０１５８】
次に、以上のように構成された情報処理装置３４００における各種動作について説明する。なお、本実施の形態における情報処理装置３４００による全体的な処理の流れは、実施の形態３の図２９と同様であるので図示を省略する。
【０１５９】
図３５は、本発明の実施の形態４における補正プロセス（ステップＳ２９３０）の詳細な処理の流れを示すフローチャートである。
【０１６０】
補正部３４５０は、現在表示されている画像までに入力された軌跡を補完して楕円を形成できるかどうかを判定する（ステップＳ３５１０）。つまり、補正部３４５０は、軌跡を楕円に近似できるか否かを判定する。ここで、軌跡を補完して楕円を形成できない場合（ステップＳ３５１０のＮｏ）、ステップＳ３５１０の処理を繰り返す。
【０１６１】
一方、軌跡を補完して楕円を形成できる場合（ステップＳ３５１０のＹｅｓ）、補正部３４５０は、軌跡を補完して形成される楕円に囲まれた領域を注目領域と決定する（ステップＳ３５２０）。つまり、補正部３４５０は、入力データが示す軌跡を楕円に近似することにより当該軌跡を補完し、補完された軌跡に囲まれた領域を注目領域と決定する。
【０１６２】
図３６は、本発明の実施の形態４において補完された軌跡に囲まれた注目領域の一例を示す図である。補正部３４５０は、入力データが示す軌跡３６００と近似する楕円となるように、軌跡３６００に曲線３６１０を付け加える。補正部３４５０は、これらの軌跡３６００と曲線３６１０とによって囲まれた領域（ハッチング領域）を注目領域３６２０と決定する。
【０１６３】
以上のように、本実施の形態における情報処理装置３４００によれば、ユーザが入力した軌跡を補完することにより注目領域を決定することができる。したがって、オブジェクトが大きく動く前に注目領域を適切に決定することが可能となる。
【０１６４】
さらに、本実施の形態における情報処理装置３４００によれば、ユーザが入力した軌跡を楕円に近似することにより当該軌跡を補完することができる。ユーザが、動くオブジェクトを囲うために軌跡を入力する場合、一般的に、その軌跡の形状は楕円になりやすい。また、楕円であれば、比較的少ない点数によって近似することが可能となる。したがって、ユーザが入力した軌跡を楕円に近似することにより、注目領域を適切に決定することが可能となる。
【０１６５】
なお、補正部３４５０は、必ずしも軌跡を楕円に近似する必要はない。例えば、ユーザが矩形状に軌跡を入力することが予め分かっている場合などには、補正部３４５０は、軌跡を矩形に近似してもよい。
【０１６６】
（実施の形態５）
次に、本発明の実施の形態５について説明する。本実施の形態では、補正部は、注目領域を決定するためのアルゴリズムを入力データに基づいて決定し、決定したアルゴリズムに従って入力領域を補正することにより注目領域を決定する。以下に、本実施の形態における情報処理装置について、図面を参照しながら説明する。
【０１６７】
図３７は、本発明の実施の形態５における情報処理装置３７００の機能構成を示すブロック図である。なお、図３７において、図１と同様の構成要素については同一の符号を付し、適宜説明を省略する。
【０１６８】
情報処理装置３７００は、動画コンテンツ取得部１１０、デコード部１２０、表示部１６０、動き算出部１４０、補正部３７５０、及び入力部１３０を備える。
【０１６９】
補正部３７５０は、注目領域を決定するためのアルゴリズムを入力データに基づいて決定する。そして、補正部３７５０は、決定したアルゴリズムに従って入力領域を補正することにより注目領域を決定する。
【０１７０】
具体的には、補正部３７５０は、入力データに基づいて、上記実施の形態１又は２のように入力領域内の像の移動量及び移動方向を用いて入力領域を補正するか否かを決定する。
【０１７１】
例えば、補正部３７５０は、入力データが示す軌跡の形状に基づいて、移動量及び移動方向を用いて入力領域を補正するか否かを決定する。また例えば、補正部３７５０は、入力領域内の像の移動量及び移動方向のばらつきに基づいて、移動量及び移動方向を用いて入力領域を補正するか否かを決定する。
【０１７２】
次に、以上のように構成された情報処理装置３７００における各種動作にについて説明する。なお、本実施の形態における情報処理装置３７００による全体的な処理の流れは、実施の形態１の図２と同様であるので図示を省略する。
【０１７３】
ここで、実施の形態１と異なる処理が異なる補正プロセス（ステップＳ２３０）について詳述する。図３８は、本発明の実施の形態５における補正プロセス（ステップＳ２３０）の詳細な処理の流れを示すフローチャートである。
【０１７４】
まず、補正部３７５０は、入力データに基づいて、最も適切に注目領域を決定するためのアルゴリズムを決定する（ステップＳ３８１０）。続いて、補正部３７５０は、決定したアルゴリズムに従って入力領域を補正することにより注目領域を決定する（ステップＳ３８２０）。
【０１７５】
以下に、アルゴリズムを決定する方法の一例について、図３９〜図４１を用いて説明する。図３９〜図４１の各々は、本発明の実施の形態５においてアルゴリズムを決定する方法の一例を説明するための図である。
【０１７６】
例えば、図３９に示すように、入力領域内を移動するオブジェクトが複数ある場合、補正部３７５０は、移動量及び移動方向を用いて入力領域を補正しないと決定する。具体的には、補正部３７５０は、入力領域に含まれる画素群の移動量及び移動方向のばらつきを示す値が閾値以上である場合、移動量及び移動方向を用いて補正しないと決定する。なお、ばらつきを示す値とは、例えば分散あるいは標準偏差である。
【０１７７】
このように、入力領域内を移動するオブジェクトが複数ある場合には、ユーザが囲もうとしているオブジェクトの移動量及び移動方向を算出することが難しい。したがって、補正部３７５０は、移動量及び移動方向を用いて入力領域を補正しないと決定することにより、注目領域を適切に決定することが可能となる。
【０１７８】
また例えば、図４０に示すように、補正部３７５０は、入力データが示す軌跡を楕円に近似することができるか否かを判定する。例えば、補正部３７５０は、入力データが示す軌跡に基づいて得られる楕円と、当該軌跡との差分を示す値が予め定められた閾値より大きいか否かを判定することにより、軌跡を楕円に近似することができるか否かを判定する。
【０１７９】
ここで、軌跡を楕円に近似することができない場合、補正部３７５０は、移動量及び移動方向を用いて入力領域を補正すると決定する。これにより、実施の形態４のように軌跡を補完する方法が利用できない場合であっても、補正部３７５０は、注目領域を適切に決定することが可能となる。
【０１８０】
また例えば、図４１に示すように、オブジェクトの動きが複雑であり、軌跡が歪な閉領域を形成する場合、補正部３７５０は、移動量及び移動方向を用いて入力領域を補正しないと決定する。このような場合、補正部３７５０は、実施の形態４のように、軌跡を補完することにより注目領域を決定する。
【０１８１】
なお、上記のアルゴリズムの決定方法は一例であり、補正部３７５０は、異なる基準に基づいてアルゴリズムを決定してもよい。
【０１８２】
以上のように、本実施の形態における情報処理装置３７００によれば、注目領域を決定するためのアルゴリズムを入力データに基づいて適応的に決定することができ、注目領域をさらに適切に決定することが可能となる。
【０１８３】
以上、本発明の一態様に係る情報処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態又はその変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１８４】
例えば、上記実施の形態１〜５において、情報処理装置は、動画コンテンツ取得部１１０、デコード部１２０及び表示部１６０を備えていたが、必ずしもこれらの構成要素を備える必要はない。例えば、図４２に示すように、情報処理装置１０は、入力部１１と、補正部１２とを備えればよい。この場合であっても、情報処理装置１０は、例えば、補正部１２が表示装置などに注目領域又は注目領域内の像を出力することにより、上記実施の形態と同様の効果を奏することが可能となる。
【０１８５】
また、上記実施の形態１〜５において、表示部は、補正部によって決定された注目領域を表示していたが、必ずしも注目領域を表示する必要はない。この場合例えば、補正部は、注目領域又は注目領域内の像を画像検索装置などに送信してもよい。
【０１８６】
また、上記実施の形態１〜５における情報処理装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、情報処理装置は、入力部と補正部とを有するシステムＬＳＩから構成されてもよい。
【０１８７】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１８８】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１８９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１９０】
また、本発明は、このような特徴的な構成要素を備える情報処理装置として実現することができるだけでなく、情報処理装置に含まれる特徴的な構成要素が行う処理をステップとする情報処理方法として実現することもできる。また、情報処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【産業上の利用可能性】
【０１９１】
本発明の一態様に係る情報処理装置は、動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、動画コンテンツに含まれる画像内の注目領域を適切に決定する情報処理装置として有用である。さらに、決定された注目領域を利用して表示中の動画コンテンツとは異なる動画コンテンツを検索する動画コンテンツ検索装置等としても有用である。
【符号の説明】
【０１９２】
１０、１００、２２００、２８００、３４００、３７００    情報処理装置
１１、１３０    入力部
１２、１５０、２２５０、２８５０、３４５０、３７５０    補正部
１１０    動画コンテンツ取得部
１２０    デコード部
１４０、２２４０    動き算出部
１６０    表示部
１９０    入力手段
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、前記動画コンテンツに含まれる画像内の注目領域を決定する情報処理装置であって、
表示中の前記動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける入力部と、
前記入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定する補正部とを備える
情報処理装置。
【請求項２】
前記入力データは、前記動画コンテンツに含まれる複数枚の画像にわたって前記ユーザが入力した軌跡を示すデータであり、
前記情報処理装置は、さらに、前記複数枚の画像における前記入力領域内の像の移動量及び移動方向を算出する動き算出部を備え、
前記補正部は、算出された前記移動量及び前記移動方向を用いて前記入力領域を補正することにより、前記注目領域を決定する
請求項１に記載の情報処理装置。
【請求項３】
前記補正部は、前記ユーザが入力を完了した後に前記入力領域を補正する
請求項２に記載の情報処理装置。
【請求項４】
前記補正部は、前記移動量及び前記移動方向に応じて前記入力領域を移動させた移動領域と前記入力領域との積集合を、前記注目領域として決定する
請求項３に記載の情報処理装置。
【請求項５】
前記補正部は、前記移動方向に前記移動量だけ前記入力領域を移動させた前記移動領域と前記入力領域との積集合を、前記複数の画像のうちの最後の画像における前記注目領域として決定する
請求項４に記載の情報処理装置。
【請求項６】
前記補正部は、前記移動方向の反対方向に前記移動量だけ前記入力領域を移動させた前記移動領域と前記入力領域との積集合を、前記複数の画像のうちの最初の画像における前記注目領域として決定する
請求項４に記載の情報処理装置。
【請求項７】
前記動き算出部は、前記複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定し、選定した画素群の移動量及び移動方向を前記入力領域内の像の移動量及び移動方向として算出する
請求項４〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記補正部は、前記移動量及び前記移動方向に応じて前記入力領域を圧縮することにより、前記注目領域を決定する
請求項３に記載の情報処理装置。
【請求項９】
前記補正部は、前記移動方向に前記移動量だけ前記入力領域を圧縮することにより、前記複数の画像のうちの最後の画像における前記注目領域を決定する
請求項８に記載の情報処理装置。
【請求項１０】
前記補正部は、前記移動方向の反対方向に前記移動量だけ前記入力領域を圧縮することにより、前記複数の画像のうちの最初の画像における前記注目領域を決定する
請求項８に記載の情報処理装置。
【請求項１１】
前記動き算出部は、前記複数枚の画像のうちの少なくとも最初の１枚の画像に対して入力された軌跡に基づいて少なくとも１つの画素群を選定し、選定した画素群の移動量及び移動方向を前記入力領域内の像の移動量及び移動方向として算出する
請求項８〜１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記動き算出部は、前記入力と並行して前記移動量及び前記移動方向を算出し、
前記補正部は、前記入力と並行して前記入力領域を補正する
請求項２に記載の情報処理装置。
【請求項１３】
前記入力データは、前記動画コンテンツに含まれる複数枚の画像にわたって前記ユーザが入力した軌跡を示すデータであり、
前記補正部は、前記複数枚の画像にわたる前記入力が完了した後に、前記入力データが示す軌跡の形状に基づいて前記入力領域を補正することにより、前記注目領域を決定する
請求項１に記載の情報処理装置。
【請求項１４】
前記補正部は、前記入力データが示す軌跡を楕円に近似し、前記楕円の長軸と前記軌跡との交点のうち前記軌跡の始点から最も遠い交点が入力された画像において、前記始点から最も遠い交点の近傍の領域を前記注目領域として決定する
請求項１３に記載の情報処理装置。
【請求項１５】
前記補正部は、前記入力データが示す軌跡を補完することにより前記注目領域を決定する
請求項１に記載の情報処理装置。
【請求項１６】
前記補正部は、前記入力データが示す軌跡を楕円に近似することにより前記軌跡を補完する
請求項１５に記載の情報処理装置。
【請求項１７】
前記補正部は、前記注目領域を決定するためのアルゴリズムを前記入力データに基づいて決定し、決定したアルゴリズムに従って前記入力領域を補正することにより前記注目領域を決定する
請求項１〜１６のいずれか１項に記載の情報処理装置。
【請求項１８】
前記情報処理装置は、集積回路として構成されている
請求項１〜１７のいずれか１項に記載の情報処理装置。
【請求項１９】
動画コンテンツにおいて移動するオブジェクトを囲うためにユーザが入力した軌跡に基づいて、前記動画コンテンツに含まれる画像内の注目領域を決定する情報処理方法であって、
表示中の前記動画コンテンツに対してユーザが入力した軌跡を示す入力データを受け付ける入力ステップと、
前記入力データが示す軌跡によって特定される領域である入力領域を補正することにより注目領域を決定する補正ステップとを含む
情報処理方法。
【請求項２０】
請求項１９に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011093013.tif 000047
【図２】
2011093013.tif 000048
【図３】
2011093013.tif 000049
【図４】
2011093013.tif 000050
【図５】
2011093013.tif 000051
【図６】
2011093013.tif 000052
【図７】
2011093013.tif 000053
【図８】
2011093013.tif 000054
【図９】
2011093013.tif 000055
【図１０】
2011093013.tif 000056
【図１１】
2011093013.tif 000057
【図１２】
2011093013.tif 000058
【図１３】
2011093013.tif 000059
【図１４】
2011093013.tif 000060
【図１５】
2011093013.tif 000061
【図１６】
2011093013.tif 000062
【図１７】
2011093013.tif 000063
【図１８】
2011093013.tif 000064
【図１９】
2011093013.tif 000065
【図２０】
2011093013.tif 000066
【図２１】
2011093013.tif 000067
【図２２】
2011093013.tif 000068
【図２３】
2011093013.tif 000069
【図２４】
2011093013.tif 000070
【図２５】
2011093013.tif 000071
【図２６】
2011093013.tif 000072
【図２７】
2011093013.tif 000073
【図２８】
2011093013.tif 000074
【図２９】
2011093013.tif 000075
【図３０】
2011093013.tif 000076
【図３１】
2011093013.tif 000077
【図３２】
2011093013.tif 000078
【図３３Ａ】
2011093013.tif 000079
【図３３Ｂ】
2011093013.tif 000080
【図３３Ｃ】
2011093013.tif 000081
【図３４】
2011093013.tif 000082
【図３５】
2011093013.tif 000083
【図３６】
2011093013.tif 000084
【図３７】
2011093013.tif 000085
【図３８】
2011093013.tif 000086
【図３９】
2011093013.tif 000087
【図４０】
2011093013.tif 000088
【図４１】
2011093013.tif 000089
【図４２】
2011093013.tif 000090
【国際調査報告】
2011093013.tif 000091
2011093013.tif 000092
2011093013.tif 000093