(57)【特許請求の範囲】
【請求項１】
動画像を構成するフレームから、当該フレーム内の一部でありかつ所定画像を含む第１画像を切り出す切出部と、
前記フレーム内の前記所定画像の歪みを所定以下とさせた第２画像を生成する生成部と、
前記第２画像における前記第１画像に対応する領域の表示態様を他の領域と異ならせて表示させる表示制御部と、
前記フレーム内における前記所定画像の位置を検出する検出部と、
前記第２画像を表示済みの前記フレームからの前記所定画像の位置の検出履歴に基づいて、前記動画像において前記所定画像が動く第１範囲を予測する予測部と、
を備え、
前記生成部は、前記第１範囲の歪みを前記所定以下とさせた前記第２画像を生成する、動画表示装置。
【請求項２】
動画像を構成するフレームから、当該フレーム内の一部でありかつ所定画像を含む第１画像を切り出す切出部と、
前記フレーム内の前記所定画像の歪みを所定以下とさせた第２画像を生成する生成部と、
前記第２画像における前記第１画像に対応する領域の表示態様を他の領域と異ならせて表示させる表示制御部と、
前記動画像を構成する全ての前記フレーム内における前記所定画像の位置を予め検出する検出部と、
を備え、
前記生成部は、全ての前記フレーム内における前記所定画像の位置の集合である位置群に基づいて、前記所定画像の動作範囲を決定し、前記動作範囲の歪みを前記所定以下とさせた前記第２画像を生成する、
動画表示装置。
【請求項３】
前記生成部は、正距円筒図法を用いて、前記フレームをパノラマ展開して前記第２画像を生成する請求項１または２に記載の動画表示装置。
【請求項４】
動画像を構成するフレームから、当該フレーム内の一部でありかつ所定画像を含む第１画像を切り出すステップと、
前記フレーム内の前記所定画像の歪みを所定以下とさせた第２画像を生成するステップと、
前記第２画像における前記第１画像に対応する領域の表示態様を他の領域と異ならせて表示させるステップと、
前記フレーム内における前記所定画像の位置を検出するステップと、
前記第２画像を表示済みの前記フレームからの前記所定画像の位置の検出履歴に基づいて、前記動画像において前記所定画像が動く第１範囲を予測するステップと、
を含み、
前記第２画像を生成するステップは、前記第１範囲の歪みを前記所定以下とさせた前記第２画像を生成する、
動画表示方法。
【請求項５】
動画像を構成するフレームから、当該フレーム内の一部でありかつ所定画像を含む第１画像を切り出すステップと、
前記フレーム内の前記所定画像の歪みを所定以下とさせた第２画像を生成するステップと、
前記第２画像における前記第１画像に対応する領域の表示態様を他の領域と異ならせて表示させるステップと、
前記動画像を構成する全ての前記フレーム内における前記所定画像の位置を予め検出するステップと、
を含み、
前記第２画像を生成するステップは、全ての前記フレーム内における前記所定画像の位置の集合である位置群に基づいて、前記所定画像の動作範囲を決定し、前記動作範囲の歪みを前記所定以下とさせた前記第２画像を生成する、
動画表示方法。
【請求項６】
コンピュータを、
動画像を構成するフレームから、当該フレーム内の一部でありかつ所定画像を含む第１画像を切り出す切出部と、
前記フレーム内の前記所定画像の歪みを所定以下とさせた第２画像を生成する生成部と、
前記第２画像における前記第１画像に対応する領域の表示態様を他の領域と異ならせて表示させる表示制御部と、
前記フレーム内における前記所定画像の位置を検出する検出部と、
前記第２画像を表示済みの前記フレームからの前記所定画像の位置の検出履歴に基づいて、前記動画像において前記所定画像が動く第１範囲を予測する予測部と、
として機能させ、
前記生成部は、前記第１範囲の歪みを前記所定以下とさせた前記第２画像を生成する、プログラム。
【請求項７】
コンピュータを、
動画像を構成するフレームから、当該フレーム内の一部でありかつ所定画像を含む第１画像を切り出す切出部と、
前記フレーム内の前記所定画像の歪みを所定以下とさせた第２画像を生成する生成部と、
前記第２画像における前記第１画像に対応する領域の表示態様を他の領域と異ならせて表示させる表示制御部と、
前記動画像を構成する全ての前記フレーム内における前記所定画像の位置を予め検出する検出部と、
として機能させ、
前記生成部は、全ての前記フレーム内における前記所定画像の位置の集合である位置群に基づいて、前記所定画像の動作範囲を決定し、前記動作範囲の歪みを前記所定以下とさせた前記第２画像を生成する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画表示装置、動画表示方法、およびプログラムに関する。
【背景技術】
【０００２】
監視カメラによる監視やスポーツ中継等を目的として、広角で撮像して得られる動画像から、所定画像を自動的に追跡し、当該所定画像を拡大表示する技術が考案されている。
【０００３】
例えば、特許文献１には、動画像内で動いている画像（以下、動き画像と言う）をユーザにより指定可能に表示し、ユーザにより指定された動き画像を、動画像に合成して表示する映像表示装置が開示されている。また、特許文献２には、動画像の各フレームからオブジェクトの位置を検出し、当該オブジェクトの検出結果に基づいて、動画像の各フレームにおける注目領域を決定する技術が開示されている。
【０００４】
ところで、広角での撮像に魚眼カメラや全方位カメラを用いた場合、一度の撮像によって極めて広い視野の画像を得ることができるので、利便性が高いが、魚眼カメラや全方位カメラの撮像により得られた画像には歪みが含まれるため、当該画像に含まれる所定画像を部分的に切り出して歪みを補正した上で、当該所定画像を追跡する必要がある。そこで、特許文献３，４，５には、魚眼カメラや全方位カメラの撮像により得られた画像に適した、所定画像の追跡方法が考案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、魚眼カメラまたは全方位カメラの撮像により得られた動画像から所定画像を切り出して表示した場合、動画像のいずれの部分を切り出した所定画像が表示されているのかが分かり辛い。そこで、所定画像とともに動画像を表示することによって当該動画像のいずれの部分を切り出した所定画像が表示されているかを分かり易くする方法があるが、１８０度以上の画角で撮像して得られた動画像を平面に対して歪み無く表示することは難しく、動画像内における所定画像に対応する領域の視認性が悪くなる。
【０００６】
特許文献３には、所定画像の移動経路に沿って、動画像からの所定画像の切り出し位置をパンニングさせたり、動画像の倍率を徐々に変えるズーミングを行ったりすることで、動画像内における所定画像に対応する領域の位置を把握し易く方法が記載されている。しかし、当該方法では、動画像内から直接的に所定画像に対応する領域を認識することができず、動画像の表示中に、所定画像が移動する場合、動画像内における所定画像に対応する領域が分からなくなる。
【０００７】
本発明は、上記に鑑みてなされたものであって、動画像に含まれる所定画像を切り出して表示する場合に、動画像における所定画像に対応する領域を把握し易くする動画表示装置、動画表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、動画像を構成するフレームから、当該フレーム内の一部でありかつ所定画像を含む第１画像を切り出す切出部と、フレーム内の所定画像の歪みを所定以下とさせた第２画像を生成する生成部と、第２画像における第１画像に対応する領域の表示態様を他の領域と異ならせて表示させる表示制御部と、前記フレーム内における前記所定画像の位置を検出する検出部と、前記第２画像を表示済みの前記フレームからの前記所定画像の位置の検出履歴に基づいて、前記動画像において前記所定画像が動く第１範囲を予測する予測部と、を備え、前記生成部は、前記第１範囲の歪みを前記所定以下とさせた前記第２画像を生成する、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画像に含まれる所定画像を切り出して表示する場合に、動画像における、所定画像に対応する領域を把握し易くすることができる、という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１Ａ】図１Ａは、第１の実施の形態にかかる動画表示装置のハードウェア構成の一例を示すブロック図である。
【図１Ｂ】図１Ｂは、第１の実施の形態にかかる動画閲覧装置の機能構成の一例を示すブロック図である。
【図２】図２は、第１の実施の形態にかかる動画表示装置における動画像の表示処理の流れの一例を示すフローチャートである。
【図３】図３は、第１の実施の形態にかかる動画表示装置におけるフレームの表示例を示す図である。
【図４】図４は、第１の実施の形態にかかる動画表示装置における部分画像の生成処理を説明するための図である。
【図５】図５は、第１の実施の形態にかかる動画表示装置におけるパノラマ展開を説明するための図である。
【図６】図６は、第１の実施の形態にかかる動画表示装置におけるパノラマ展開を説明するための図である。
【図７】図７は、第１の実施の形態にかかる動画表示装置における注目物体領域の表示態様の一例を示す図である。
【図８】図８は、第１の実施の形態にかかる動画表示装置における注目物体領域の表示態様の一例を示す図である。
【図９】図９は、第１の実施の形態にかかる動画表示装置における部分画像および全体画像の表示例を示す図である。
【図１０】図１０は、第１の実施の形態にかかる動画表示装置における部分画像および全体画像の表示例を示す図である。
【図１１】図１１は、第２の実施の形態にかかる動画閲覧装置の機能構成の一例を示すブロック図である。
【図１２】図１２は、第２の実施の形態にかかる動画表示装置における動画像の表示処理の流れの一例を示すフローチャートである。
【図１３】図１３は、第２の実施の形態にかかる動画表示装置における動作予測範囲の予測処理の一例を説明するための図である。
【図１４】図１４は、第３の実施の形態にかかる動作閲覧装置の構成の一例を示すブロック図である。
【図１５】図１５は、第３の実施の形態にかかる動画表示装置による動画像の表示処理の流れの一例を示すフローチャートである。
【図１６】図１６は、第４の実施の形態にかかる動画閲覧装置の構成の一例を示すブロック図である。
【図１７】図１７は、第４の実施の形態にかかる動画表示装置による動画像の読込処理の流れの一例を示すフローチャートである。
【図１８】図１８は、第４の実施の形態にかかる動画表示装置による動画像の表示処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、動画表示装置、動画表示方法、およびプログラムの実施の形態を詳細に説明する。
【００１２】
（第１の実施の形態）
図１Ａは、第１の実施の形態にかかる動画表示装置のハードウェア構成の一例を示すブロック図である。図１Ａに示すように、本実施の形態にかかる動画表示装置は、動画閲覧装置１０と、記憶装置２０と、入出力装置３０と、画像表示装置４０（表示部の一例）と、を備えている。動画閲覧装置１０は、画像表示装置４０に対する各種画像の表示を制御する。記憶装置２０は、画像表示装置４０に対して表示する動画像等の各種情報を記憶する。入出力装置３０は、動画表示装置のユーザが各種操作を入力するための操作部である。画像表示装置４０は、動画閲覧装置１０により制御され、動画像等を表示する表示部である。
【００１３】
図１Ｂは、第１の実施の形態にかかる動画閲覧装置の機能構成の一例を示すブロック図である。本実施の形態では、動画閲覧装置１０は、図１Ｂに示すように、フレーム読込部１０１と、注目物体決定部１０２と、注目物体追跡部１０３と、部分画像生成部１０４と、全体画像生成部１０５と、注目物体領域強調部１０６と、画像表示部１０７と、を有している。
【００１４】
次に、図２を用いて、本実施の形態にかかる動画表示装置における動画像の表示処理について説明する。図２は、第１の実施の形態にかかる動画表示装置における動画像の表示処理の流れの一例を示すフローチャートである。
【００１５】
まず、フレーム読込部１０１は、入出力装置３０から入力された操作情報に従って、記憶装置２０から、表示対象の動画像を、１フレームずつ読み込む（ステップＳ２０１）。ここで、表示対象の動画像は、魚眼カメラや全方位カメラ等の１８０度を超える画角で撮像可能な撮像機器の撮像により得られ、かつ複数のフレームから構成される動画像の一例である。すなわち、表示対象の動画像は、広角での撮像により得られる動画像である。本実施の形態では、表示対象の動画像は、記憶装置２０に記憶された動画像のうち、入出力装置３０を介してユーザにより表示が指示された動画像である。
【００１６】
フレーム読込部１０１は、まず、表示対象の動画像の最初のフレームまたは入出力装置３０を介してユーザにより指示されたフレームから順に読み込む。２回目以降のフレームの読み込みにおいては、フレーム読込部１０１は、前回読み込んだフレームの次のフレームを読み込む。本実施の形態では、フレーム読込部１０１は、記憶装置２０から、動画像を構成するフレームを読み込んでいるが、これに限定するものではなく、例えば、魚眼カメラや全方位カメラ等の広角で撮像可能な撮像機器から、直接、フレームを取得しても良い。
【００１７】
次に、注目物体決定部１０２は、読み込んだフレーム内において、入出力装置３０を介してユーザにより指定された画像である注目物体（所定画像の一例）を決定する（ステップＳ２０２）。図３は、第１の実施の形態にかかる動画表示装置におけるフレームの表示例を示す図である。本実施の形態では、画像表示部１０７は、図３に示すように、フレーム読込部１０１により読み込まれたフレームを画像表示装置４０に表示する。
【００１８】
そして、注目物体決定部１０２は、図３に示すように、画像表示装置４０に表示されたフレーム内において、入出力装置３０を介してユーザにより指定された領域（例えば、矩形状の領域Ｒ）内の画像を、注目物体ＡＴとして決定する。注目物体決定部１０２は、フレーム読込部１０１によってフレームが読み込まれる度に注目物体を決定する必要は無く、入出力装置３０を介してユーザによってフレーム内の領域が指定されなかった場合には、ユーザにより最後に指定された領域内の画像を注目物体とし続ける。
【００１９】
すなわち、注目物体決定部１０２は、基本的に、表示対象の動画像から最初にフレームを読み込んだ際に注目物体の決定を一度行えば良い。したがって、注目物体決定部１０２は、後述する注目物体追跡部１０３による注目物体の追跡に失敗した場合、若しくは動画像の表示中に、入出力装置３０を介してユーザによって新たな領域が指定された場合に、注目物体を決定しなおすものとする。
【００２０】
注目物体追跡部１０３（検出部の一例）は、フレーム読込部１０１によりフレームが読み込まれる度に、最後に読み込まれたフレーム（以下、カレントフレームと言う）内における注目物体の位置を検出することによって、当該注目物体を追跡する（ステップＳ２０３）。本実施の形態では、注目物体追跡部１０３は、非特許文献１に記載された一般的な物体位置検出方法を用いて、カレントフレーム内における注目物体の位置を検出する。ただし、注目物体追跡部１０３は、注目物体決定部１０２によって注目物体が決定されなかった場合、カレントフレーム内における注目物体の位置の検出を行わない。
【００２１】
部分画像生成部１０４（切出部の一例）は、カレントフレームから、当該カレントフレームの一部でありかつ注目物体追跡部１０３により検出した位置の注目物体を含む画像を切り出して、当該切り出した画像を部分画像（第１画像の一例）として生成する（ステップＳ２０４）。図４は、第１の実施の形態にかかる動画表示装置における部分画像の生成処理を説明するための図である。本実施の形態では、部分画像生成部１０４は、図４に示すように、カレントフレームを、単位球Ｂで表現したカレントフレーム単位球ＣＢを取得する。具体的には、部分画像生成部１０４は、カレントフレームが、魚眼カメラまたは全方位カメラの撮像により得られたフレームである場合、射影方式に基づいて、カレントフレームの撮影方向を特定し、当該撮影方向から、カレントフレームを単位球面にプロットすることによって、カレントフレーム単位球ＣＢを取得する（特許文献３参照）。
【００２２】
そして、部分画像生成部１０４は、カレントフレーム単位球ＣＢの一部でありかつ注目物体ＡＴを含む画像を、中心（投影中心Ｏ）として、２次元平面（投影面Ｓ）に透視投影した画像を部分画像として生成する。
【００２３】
全体画像生成部１０５（生成部の一例）は、カレントフレーム内の注目物体の歪みを所定値以下とさせた全体画像（第２画像の一例）を生成する（ステップＳ２０５）。本実施の形態では、全体画像生成部１０５は、カレントフレームをパノラマ展開した全体画像を生成する。例えば、全体画像生成部１０５は、正距円筒図法を用いて、カレントフレーム内の注目物体の歪みが所定値以下になるように、カレントフレームをパノラマ展開する。これにより、カレントフレームを正距円筒図法を用いてパノラマ展開した場合でも、全体画像における注目物体に対応する領域を把握し易くすることができる。図５および図６は、第１の実施の形態にかかる動画表示装置におけるパノラマ展開を説明するための図である。具体的には、全体画像生成部１０５は、図５に示すように、カレントフレーム単位球ＣＢの撮影方向Ｄを、経度θおよび緯度ψで表し、かつカレントフレーム単位球ＣＢを、経度θと緯度ψの２次元直交座標系で表された全体画像Ｇ（所謂、正距円筒画像）に変換する。
【００２４】
正距円筒図法では、図６に示すように、カレントフレーム単位球ＣＢにおける注目物体ＡＴの位置の緯度ψが大きくなるに従い、全体画像Ｇ中の注目物体は水平方向に引き伸ばされる。一方、正距円筒図法では、図６に示すように、カレントフレーム単位球ＣＢにおける注目物体の位置の緯度ψが０度において、全体画像Ｇ中の注目物体の歪みが最も小さくなる。そこで、全体画像生成部１０５は、カレントフレーム単位球ＣＢに含まれる注目物体ＡＴの位置の緯度ψを０度に設定する。次いで、全体画像生成部１０５は、注目物体ＡＴの位置が緯度ψ：０度に設定されたカレントフレーム単位球ＣＢをパノラマ展開した全体画像Ｇを生成する。これにより、全体画像生成部１０５は、カレントフレーム内の注目物体の歪みが小さい全体画像Ｇを得ることができる。
【００２５】
本実施の形態では、全体画像生成部１０５は、正距円筒図法を用いて、カレントフレームをパノラマ展開したが、これに限定するものではなく、例えば、その他の円筒図法、円錐図法、方位図法等を用いて、カレントフレームをパノラマ展開しても良い。
【００２６】
図２に戻り、注目物体領域強調部１０６は、全体画像生成部１０５により生成された全体画像内における部分画像に対応する領域（以下、注目物体領域と言う）の表示態様を強調表示にする（ステップＳ２０６）。図７および図８は、第１の実施の形態にかかる動画表示装置における注目物体領域の表示態様の一例を示す図である。本実施の形態では、注目物体領域強調部１０６は、図７に示すように、画像表示装置４０に表示する全体画像Ｇに含まれる注目物体ＡＴを囲む矩形状の枠７００を、当該全体画像Ｇに含めることによって、注目物体領域の表示態様を強調表示にする。本実施の形態では、注目物体領域強調部１０６は、全体画像に含まれる注目物体領域の表示態様を強調表示にしているが、注目物体領域の表示態様を、全体画像の注目物体領域以外の領域と異なる表示態様にするものであれば、これに限定するものではない。例えば、注目物体領域強調部１０６は、図８に示すように、全体画像Ｇにおける部分画像ｇに対応する注目物体領域ｒとその他の領域の境界線８００を、全体画像Ｇに含めても良い。
【００２７】
画像表示部１０７は、部分画像生成部１０４により生成された部分画像および全体画像生成部１０５により生成された全体画像のうち、少なくとも全体画像を、画像表示装置４０に表示する（ステップＳ２０７）。これにより、魚眼カメラや全方位カメラ等によって広角で撮像して得られた動画像に含まれる注目物体を切り出して表示する場合に、全体画像における、部分画像に対応する領域を把握し易くすることができる。
【００２８】
本実施の形態では、画像表示部１０７は、部分画像および全体画像を、画像表示装置４０の表示画面の異なる領域に表示する。図９および図１０は、第１の実施の形態にかかる動画表示装置における部分画像および全体画像の表示例を示す図である。例えば、画像表示部１０７は、図９に示すように、部分画像ｇおよび全体画像Ｇを、画像表示装置４０の表示画面において並べて表示しても良い。または、画像表示部１０７は、図１０に示すように、画像表示装置４０の表示画面に対して、部分画像ｇの一部に全体画像Ｇを重畳して表示しても良い。本実施の形態では、注目物体領域強調部１０６および画像表示部１０７が、全体画像における注目物体領域の表示態様を他の領域と異ならせる表示制御部の一例として機能する。
【００２９】
その後、フレーム読込部１０１は、カレントフレームが、表示対象の動画像を構成する最後のフレームか否かを判断する（ステップＳ２０８）。カレントフレームが最後のフレームでないと判断した場合（ステップＳ２０８：Ｎｏ）、フレーム読込部１０１は、ステップＳ２０１に戻り、カレントフレームの次のフレームを読み込む。一方、カレントフレームが最後のフレームであると判断した場合（ステップＳ２０８：Ｙｅｓ）、フレーム読込部１０１は、フレームの読み込みを終了する。
【００３０】
このように、第１の実施の形態にかかる画像表示装置によれば、全体画像における部分画像に対応する領域の表示態様を、他の領域と異ならせることができるので、魚眼カメラや全方位カメラ等によって広角で撮像して得られた動画像に含まれる注目物体を切り出して表示する場合に、全体画像における、部分画像に対応する領域を把握し易くすることができる。
【００３１】
（第２の実施の形態）
本実施の形態では、全体画像を表示済みのフレームからの注目物体の位置の検出履歴に基づいて、全体画像において注目物体が動く範囲（以下、動作予測範囲と言う）を予測し、当該動作予測範囲の歪みを所定値以下とさせた全体画像を生成する例である。以下の説明では、第１の実施の形態と同様の箇所については説明を省略する。
【００３２】
図１１は、第２の実施の形態にかかる動画閲覧装置の機能構成の一例を示すブロック図である。図１１に示すように、本実施の形態にかかる動画閲覧装置１１００は、動作範囲予測部１１０１が追加され、かつ第１の実施の形態とは動作が異なる全体画像生成部１１０２を有している。
【００３３】
次に、図１２を用いて、本実施の形態にかかる動画表示装置による動画像の表示処理について説明する。図１２は、第２の実施の形態にかかる動画表示装置における動画像の表示処理の流れの一例を示すフローチャートである。
【００３４】
本実施の形態では、動作範囲予測部１１０１は、注目物体追跡部１０３による注目物体の位置の検出履歴（すなわち、全体画像を表示済みのフレームからの注目物体の位置の検出履歴）に基づいて、動画像内において注目物体が動く範囲である動作予測範囲（第１範囲の一例）を予測する（ステップ１２０１）。図１３は、第２の実施の形態にかかる動画表示装置における動作予測範囲の予測処理の一例を説明するための図である。具体的には、動作範囲予測部１１０１は、注目物体が直線運動すると仮定する。次いで、動作範囲予測部１１０１は、図１３に示すように、カレントフレームＦの１フレーム前のフレームＦ−１において検出された注目物体の位置Ｐ−１を起点として、カレントフレームＦにおいて検出された注目物体の位置Ｐを通る半直線である動作予測直線ｌを、動作予測範囲とする。
【００３５】
または、動作範囲予測部１１０１は、カレントフレームより前のフレーム（過去のフレーム）における注目物体の位置の分布に従ったパラメトリックな注目物体の位置の軌道（以下、軌道モデルと言う）を求める。さらに、動作範囲予測部１１０１は、軌道モデルのパラメータを、最小二乗法を用いて同定しても良い。例えば、動作範囲予測部１１０１は、時刻ｔにおける注目物体の位置を（ｘ（ｔ），ｙ（ｔ））として、下記の式（１）に示すＭ次多項式で表される軌道モデルを求める。
【数１】
0006613686.tif 000002
式（１）において、｛ａｉ｝Ｍｉ＝１は、軌道モデルのパラメータである。そして、動作範囲予測部１１０１は、式（１）で表される軌道モデルに従って、カレントフレーム以降のフレームにおける注目物体の位置を動作予測範囲として求める。
【００３６】
または、動作範囲予測部１１０１は、状態空間モデルを用いて、最後に読み込んだフレームにおける注目物体の位置から、動作予測範囲を求めても良い。例えば、動作範囲予測部１１０１は、注目物体の追跡に状態空間モデルを用いている場合、その時点でのパラメータ（注目物体の位置）を用いて、状態空間モデルによって動作予測範囲を求める。例えば、動作範囲予測部１１０１は、下記の式（２）で表すＭ次多項式の状態空間モデルを用いて、漸化式を繰り返し解いて動作予測範囲を求める。
【数２】
0006613686.tif 000003
【００３７】
上述した動作予測範囲の予測方法は、いずれも動作予測範囲として直線または曲線を求める方法であるが、求めた直線または曲線に変動幅を持たせた領域を動作予測範囲としても良い。具体的には、動作範囲予測部１１０１は、動作予測範囲を、注目物体の位置（ｘ（ｔ））に対する確率分布ｐ（ｘ）として求める。例えば、動作範囲予測部１１０１は、上記の式（２）の状態空間モデルに乱数項εを入れた下記の式（３）を用いて、注目物体の位置の確率分布ｐ（ｘ）を求める。
【数３】
0006613686.tif 000004
【００３８】
また、動作範囲予測部１１０１は、動作予測範囲を軌跡ｆ（ｘ）＝０として求めた場合も、下記の式（４）によれば、変動幅を持たせた動作予測範囲を、確率密度関数で表すことができる。式（４）において、Ｌは、軌跡ｆ（ｘ）の長さである。
【数４】
0006613686.tif 000005
【００３９】
または、動作範囲予測部１１０１は、下記の式（５）に示すように、軌跡ｆ（ｘ）に適当な幅σを持たせた確率密度関数によって、動作予測範囲を表すことも可能である。
【数５】
0006613686.tif 000006
【００４０】
図１２に戻り、全体画像生成部１１０２は、カレントフレーム内の動作予測範囲の歪みを所定値以下とさせた全体画像を生成する（ステップＳ１２０２）。例えば、全体画像生成部１１０２は、カレントフレームのパノラマ展開に正距円筒図法を用い、かつ、図１３に示すように、動作範囲予測部１１０１により求めた動作予測範囲が直線的である場合、正距円筒画像における動作予測範囲が緯度ψ：０度に位置するように、カレントフレームをパノラマ展開する。
【００４１】
ところで、正距円筒図法においては、カレントフレーム内の画像が、緯度ψにおいて、水平方向に１／ｃоｓψ倍される。そこで、全体画像生成部１１０２は、動作予測範囲に１／ｃоｓψを足し合わせた値（定積分値）を評価関数として、当該評価関数が最小化されるように、カレントフレームをパノラマ展開しても良い。例えば、全体画像生成部１１０２は、動作予測範囲が確率密度関数ｐ（ｘ）で表される場合、下記の式（６）に示す評価関数Ｊが最小化されるように、カレントフレームをパノラマ展開する。
【数６】
0006613686.tif 000007
式（６）において、Ｓは注目物体の位置ｘの定義域であり、ｗ（ｘ）は注目物体の位置ｘにおける全体画像の歪みを反映した重み関数である。重み関数ｗ（ｘ）は、正距円筒図法において、下記の式（７）により表される。
【数７】
0006613686.tif 000008
【００４２】
つまり、重み関数ｗ（ｘ）は、カレントフレーム内において、水平方向に１／ｃоｓψ倍される位置が歪みの無い位置から離れている距離を表している。ここで、カレントフレーム内の注目物体の位置ｘからψ（およびθ）への変換は、回転Ｒと並進Ｔを用いた下記の式（８）により表される。
【数８】
0006613686.tif 000009
【００４３】
よって、全体画像生成部１１０２は、式（６），（７）を最小化する回転Ｒおよび並進Ｔを求める最適化問題を解くことになる。この最適化問題は、非線形の最適化問題となるため、ニュートン法や共役勾配法などの非線形計画法により求解される。
【００４４】
上述したように、重み関数ｗ（ｘ）は、全体画像における注目物体の位置ｘにおける歪みの度合いを表すものであれば良い。よって、正距円筒図法以外の他の図法を用いてカレントフレームをパノラマ展開する場合でも、他の図法による全体画像における注目物体の歪みの度合いを利用して、カレントフレームをパノラマ展開する。
【００４５】
注目物体の位置ｘの座標系は、任意の座標系を用いることができる。例えば、カレントフレーム上での座標系でも良いし、部分画像上の座標系でも良いし、全体画像上での座標系でも良い。
【００４６】
このように、第２の実施形態にかかる画像表示装置によれば、広角で撮像して得られた動画像に含まれる注目物体を切り出して表示する場合に、今後の注目物体の動きを考慮して、全体画像における動作予測範囲が強調表示されるので、全体画像における、部分画像に対応する領域の位置をより把握し易くすることができる。
【００４７】
（第３の実施の形態）
本実施の形態は、カレントフレームの水平方向を検出し、カレントフレームの水平方向を保ったまま、カレントフレームをパノラマ展開する例である。以下の説明では、第１，２の実施の形態と異なる箇所について説明する。
【００４８】
図１４は、第３の実施の形態にかかる動作閲覧装置の構成の一例を示すブロック図である。図１４に示すように、本実施の形態にかかる動画閲覧装置１４００は、第２の実施の形態とは動作が異なる全体画像生成部１４０１を有している。また、本実施の形態では、記憶装置２０に記憶された動画像を撮像した撮像機器は、当該撮像機器が搭載する加速度センサによって、動画像を撮像した際の加速度を検出し、加速度の検出結果を動画像のメタデータとして付加する。そして、全体画像生成部１４０１は、表示対象の動画像に付加された加速度の検出結果に基づいて、動画像を構成するフレームにおける重力方向および当該重力方向に直交する水平方向を検出する。
【００４９】
次に、図１５を用いて、動画表示装置による動画像の表示処理について説明する。図１５は、第３の実施の形態にかかる動画表示装置による動画像の表示処理の流れの一例を示すフローチャートである。
【００５０】
本実施の形態では、全体画像生成部１４０１は、カレントフレームの水平方向を保ったまま、当該動作予測範囲の歪みが所定値以下となるように、カレントフレームをパノラマ展開した全体画像を生成する（ステップＳ１５０１）。経験的に、カレントフレームに含まれる注目物体は水平方向に移動する場合が多く、水平方向へのカレントフレームの傾きが無い方が注目物体の視認性が良くなる。そこで、全体画像生成部１４０１は、全体画像の水平方向と、実際の撮像により得られた画像（すなわち、カレントフレーム）の水平方向とが一致するという制約の下に、カレントフレームをパノラマ展開する。なお、全体画像生成部１４０１は、第１，２の実施の形態と同様にして、カレントフレームをパノラマ展開するものとする。
【００５１】
このように、第３の実施の形態にかかる画像表示装置によれば、カレントフレームの水平方向が保たれたまま、当該カレントフレームがパノラマ展開されるので、全体画像を表示する場合に、全体画像における注目物体領域の傾きが軽減され当該注目物体領域をより把握し易くすることができる。
【００５２】
（第４の実施の形態）
本実施の形態は、動画像を構成する全てのフレーム内における注目物体の位置を予め検出しておき、全てのフレーム内における注目物体の位置の集合である注目物体位置群（位置群の一例）に基づいて、注目物体の動作範囲を決定し、カレントフレームにおける動作範囲の歪みを所定以下とさせた全体画像を生成する例である。以下の説明では、第１，２，３の実施の形態と同様の箇所については説明を省略する。
【００５３】
図１６は、第４の実施の形態にかかる動画閲覧装置の構成の一例を示すブロック図である。図１６に示すように、第４の実施の形態にかかる動画表示装置の動画閲覧装置１６００は、上述の実施の形態とは動作が異なる、フレーム読込部１６０１、注目物体決定部１６０２、注目物体追跡部１６０３、部分画像生成部１６０４、全体画像生成部１６０５、注目物体領域強調部１６０６、および画像表示部１６０７を有している。
【００５４】
次に、図１７および図１８を用いて、動画表示装置による動画像の表示処理について説明する。図１７は、第４の実施の形態にかかる動画表示装置による動画像の読込処理の流れの一例を示すフローチャートである。図１８は、第４の実施の形態にかかる動画表示装置による動画像の表示処理の流れの一例を示すフローチャートである。
【００５５】
本実施の形態では、フレーム読込部１６０１は、入出力装置３０からの操作情報の入力に関わらず、記憶装置２０から、表示対象の動画像を、１フレームずつ読み込む（ステップＳ１７０１）。本実施の形態でも、フレーム読込部１６０１は、表示対象の動画像の最初のフレームまたは入出力装置３０を介してユーザにより指示されたフレームから順に読み込む。
【００５６】
注目物体決定部１６０２は、読み込んだフレーム内において、入出力装置３０を介してユーザにより指定された画像を注目物体に決定する（ステップＳ１７０２）。注目物体追跡部１６０３は、フレーム読込部１６０１によってフレームが読み込まれる度に（ステップＳ１７０３）、当該フレーム内における注目物体の位置を検出することによって、当該注目物体を追跡する（ステップＳ１７０４）。注目物体追跡部１６０３は、検出した注目物体の位置を、当該位置を検出したフレームと対応付けて記憶装置２０に保存する。
【００５７】
そして、フレーム読込部１６０１は、注目物体追跡部１６０３によって注目物体の位置が検出されると、最後に読み込んだフレームが、表示対象の動画像を構成する最後のフレームか否かを判断する（ステップＳ１７０５）。最後に読み込んだフレームが、表示対象の動画像を構成する最後のフレームではないと判断した場合（ステップＳ１７０５：Ｎｏ）、フレーム読込部１６０１は、最後に読み込んだフレームの次のフレームを読み込む（ステップＳ１７０３）。一方、最後に読み込んだフレームが、表示対象の動画像を構成する最後のフレームであると判断した場合（ステップＳ１７０５：Ｙｅｓ）、フレーム読込部１６０１は、フレームの読み込み処理を終了する。すなわち、注目物体追跡部１６０３は、動画像を構成する全てのフレーム内における注目物体の位置を予め検出する。
【００５８】
その後、入出力装置３０を介して動画像の表示が指示されると、フレーム読込部１６０１は、記憶装置２０から、表示が指示された動画像（表示対象の動画像）を構成するフレームを読み込む（ステップＳ１８０１）。次いで、部分画像生成部１６０４は、フレーム読込部１６０１により読み込んだカレントフレームから、当該カレントフレームの一部でありかつ当該カレントフレームと対応付けて記憶装置２０に記憶された位置に存在する注目物体を含む画像を切り出す。そして、部分画像生成部１６０４は、切り出した画像に基づく部分画像を生成する（ステップＳ１８０２）。部分画像の生成方法は、第１の実施の形態と同様である。
【００５９】
全体画像生成部１６０５は、表示対象の動画像を構成する複数のフレームと対応付けて記憶装置２０に記憶された注目物体の位置の集合である注目物体位置群に基づいて、当該カレントフレームにおける注目物体の動作範囲を決定し、当該動作範囲の歪みが所定値以下となるように、カレントフレームをパノラマ展開した全体画像を生成する（ステップＳ１８０３）。これにより、部分画像が移動する範囲を考慮して、カレントフレームの歪みを軽減した全体画像が生成されるので、全体画像における注目物体領域をより把握し易くすることができる。
【００６０】
本実施の形態では、全体画像生成部１６０５は、表示対象の動画像を構成する複数のフレームそれぞれにおける注目物体の位置の確率分布ｐに、正規分布や一様分布やそれらの混合分布等のパラメトリックなモデルを仮定し、そのパラメータを、注目物体の動作範囲と同定する。若しくは、全体画像生成部１６０５は、表示対象の動画像を構成する複数のフレームそれぞれにおける注目物体の位置群をそのまま使った経験分布を注目物体の動作範囲としても良い。
【００６１】
注目物体領域強調部１６０６は、第１の実施の形態と同様に、全体画像生成部１６０５により生成された全体画像に含まれる注目物体の表示態様を強調表示にする（ステップＳ１８０４）。画像表示部１６０７は、第１の実施の形態と同様に、部分画像生成部１６０４により生成された部分画像および全体画像生成部１６０５により生成された全体画像のうち、少なくとも全体画像を、画像表示装置４０に表示する（ステップＳ１８０５）。その後、フレーム読込部１６０１は、カレントフレームが、表示対象の動画像を構成する最後のフレームか否かを判断する（ステップＳ１８０６）。
【００６２】
カレントフレームが最後のフレームでないと判断した場合（ステップＳ１８０６：Ｎｏ）、フレーム読込部１６０１は、ステップＳ１８０１に戻り、カレントフレームの次のフレームを読み込む。一方、カレントフレームが最後のフレームであると判断した場合（ステップＳ１８０６：Ｙｅｓ）、フレーム読込部１６０１は、フレームの読み込みを終了する。
【００６３】
このように、第４の実施の形態にかかる画像表示装置によれば、部分画像が移動する範囲を考慮して、カレントフレームの歪みを軽減した全体画像が生成されるので、全体画像における部分画像に対応する領域をより把握し易くすることができる。
【００６４】
なお、本実施の形態の動画閲覧装置１０，１１００，１４００，１６００で実行されるプログラムは、ＲＯＭ（Read  Only  Memory）等に予め組み込まれて提供される。本実施の形態の動画閲覧装置１０，１１００，１４００，１６００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００６５】
さらに、本実施の形態の動画閲覧装置１０，１１００，１４００，１６００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の動画閲覧装置１０，１１００，１４００，１６００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００６６】
本実施の形態の動画閲覧装置１０，１１００，１４００，１６００で実行されるプログラムは、上述した各部（フレーム読込部１０１，１６０１、注目物体決定部１０２，１６０２、注目物体追跡部１０３、１６０３、部分画像生成部１０４，１６０４、全体画像生成部１０５，１１０２，１４０１，１６０５、注目物体領域強調部１０６，１６０６、画像表示部１０７，１６０７、動作範囲予測部１１０１）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central  Processing  Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、フレーム読込部１０１，１６０１、注目物体決定部１０２，１６０２、注目物体追跡部１０３、１６０３、部分画像生成部１０４，１６０４、全体画像生成部１０５，１１０２，１４０１，１６０５、注目物体領域強調部１０６，１６０６、画像表示部１０７，１６０７、動作範囲予測部１１０１が主記憶装置上に生成されるようになっている。
【符号の説明】
【００６７】
１０，１１００，１４００，１６００  動画閲覧装置
２０  記憶装置
３０  入出力装置
４０  画像表示装置
１０１，１６０１  フレーム読込部
１０２，１６０２  注目物体決定部
１０３，１６０３  注目物体追跡部
１０４，１６０４  部分画像生成部
１０５，１１０２，１４０１，１６０５  全体画像生成部
１０６，１６０６  注目物体領域強調部
１０７，１６０７  画像表示部
１１０１  動作範囲予測部
【先行技術文献】
【特許文献】
【００６８】
【特許文献１】特開２００８−２０３７５６号公報
【特許文献２】特開２０１４−０８５８４５号公報
【特許文献３】特許第５２３３９２６号公報
【特許文献４】特許第５７３３０８８号公報
【特許文献５】特開２０１２−２４４４７９号公報
【非特許文献】
【００６９】
【非特許文献１】Y.  Wu,  J.  Lim,  M.H.  Yang,  “Object  Tracking  Benchmark,”  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  Pre-Prints,  2015.
【図１Ａ】
0006613686.tif 000010
【図１Ｂ】
0006613686.tif 000011
【図２】
0006613686.tif 000012
【図３】
0006613686.tif 000013
【図４】
0006613686.tif 000014
【図５】
0006613686.tif 000015
【図６】
0006613686.tif 000016
【図７】
0006613686.tif 000017
【図８】
0006613686.tif 000018
【図９】
0006613686.tif 000019
【図１０】
0006613686.tif 000020
【図１１】
0006613686.tif 000021
【図１２】
0006613686.tif 000022
【図１３】
0006613686.tif 000023
【図１４】
0006613686.tif 000024
【図１５】
0006613686.tif 000025
【図１６】
0006613686.tif 000026
【図１７】
0006613686.tif 000027
【図１８】
0006613686.tif 000028