(57)【要約】【課題】撮像した動画の中から再生したい指定の画像から指定の画像間を再生できる画像処理の実現ができ、さらに視線検出情報を含む再生画像の画像処理ができる動画再生装置、動画再生方法、プログラム及び記録媒体を提供することを課題とする。【解決手段】取得した画像データを用いて動画を再生する動画再生装置であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段と、前記画像データによる動画を画面上に再生する動画再生手段と、動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段と、を備え、前記動画再生範囲指定手段により指定された範囲の動画を画面上に再生する動画再生装置により課題解決できた。【選択図】  図１
2018107596.tif 000002
【特許請求の範囲】
【請求項１】
取得した画像データを用いて動画を再生する動画再生装置であって、
表示画面に表示されている画像データを取得する画像データ取得・記憶手段と、
前記画像データによる動画を画面上に再生する動画再生手段と、
動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段と、を備え、
前記動画再生範囲指定手段により指定された範囲の動画を画面上に再生することを特徴とする動画再生装置。
【請求項２】
前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段と、
前記複数のコマ画像データにより表される複数のコマ画像群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段と、を備えたことを特徴とする請求項１に記載の動画再生装置。
【請求項３】
前記動画再生範囲指定手段が、前記動画と前記複数のコマ画像を同一画面に表示し、前記画面内で、前記動画の開始時間を示す開始マーク、動画の終了時間を示す終了マーク、及び、再生中の動画の時間を示す再生時間マークを同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段と、
前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段と、を備え、
前記開始マーク及び前記終了マークを所望の時間に移動操作させることにより動画再生範囲が設定されることを特徴とする請求項１又は２に記載の動画再生装置。
【請求項４】
被視線検出者の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段と、
前記視線座標データを、前記画像データによる動画を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段と、を備えたことを特徴とする請求項１〜３のいずれかに記載の動画再生装置。
【請求項５】
前記視線座標データ再生手段が、表示再生モードとして、動画の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする請求項４に記載の動画再生装置。
【請求項６】
前記第二の再生モード又は第三の再生モードの表示を前記動画の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマークを設定し表示させるマーク設定表示手段を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする請求項５に記載の動画再生装置。
【請求項７】
取得した画像データを用いて動画を再生する動画再生方法であって、
表示画面に表示されている画像データを取得する画像データ取得・記憶工程と、
前記画像データ取得・記憶工程で取得し記憶した前記画像データによる動画を、前記動画を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程と、を備えたことを特徴とする動画再生方法。
【請求項８】
前記画像データ取得工程で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程を備えたことを特徴とする請求項７に記載の動画再生方法。
【請求項９】
前記動画再生工程が、動画の開始時間を示す開始マーク、動画の終了時間を示す終了マーク、及び、再生中の動画の時間を示す再生時間マークを同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を設定することを特徴とする請求項７又は８に記載の動画再生方法。
【請求項１０】
被視線検出者の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程と、
前記視線座標データを、前記画像データによる動画を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程と、を備えたことを特徴とする請求項７〜９のいずれかに記載の動画再生方法。
【請求項１１】
前記視線座標データ再生工程が、表示再生モードとして、動画の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする請求項１０に記載の動画再生方法。
【請求項１２】
前記第二の再生モード又は第三の再生モードの表示を前記動画の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマークを所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする請求項１１に記載の動画再生方法。
【請求項１３】
請求項７〜１２のいずれかに記載の動画再生方法をコンピュータに実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像の再生を実施する動画再生装置、動画再生方法、そのプログラム及び記録媒体に関する。
【背景技術】
【０００２】
撮像した画像の再生を実施する動画再生装置や方法については、例えば特許文献１に、再構成画像の生成が可能な画像データを取得する画像データ取得手段と、前記画像データに付与された視線検出情報を取得する視線検出情報取得手段と、前記視線検出情報に基づいて、前記画像データから再構成画像を生成して動画を生成する画像処理手段と、を備えた動画再生装置であって、前記視線検出情報は、視線位置と前記視線位置での注視時間を含み、前記画像処理手段は、前記視線位置の被写体にピントが合った再構成画像を生成し、前記視線位置での前記注視時間に基づいて前記生成された再構成画像の表示時間を設定して前記動画を生成し、前記画像処理手段は、前記注視時間が所定時間より長い前記視線位置についてのみ、前記再構成画像を生成し、前記動画再生装置は、前記所定時間を設定する注視時間閾値設定手段を備える動画再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１７９８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の発明は、画像処理が注視時間の閾値を設定して閾値の注視時間より長い画像の再生をすることができるが、撮像したすべての動画の中から所望する限られた範囲の画像を閲覧したいという要望には応えられないという問題があった。
【０００５】
本発明はこうした問題に鑑み創案されたもので、撮像した動画の中から再生したい範囲に限定した動画を再生できる画像処理ができ、さらに視線検出情報を含む再生画像の画像処理ができる動画再生装置、動画再生方法、プログラム及び記録媒体を提供することを課題とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の動画再生装置１は、取得した画像データを用いて動画１０を再生する動画再生装置１であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段３と、前記画像データによる動画１０を画面上に再生する動画再生手段４と、動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段７と、を備え、前記動画再生範囲指定手段７により指定された範囲の動画を画面上に再生することを特徴とする。
【０００７】
請求項２に記載の動画再生装置１は、請求項１において、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段５と、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段６と、を備えたことを特徴とする。
【０００８】
請求項３に記載の動画再生装置１は、請求項１又は２において、前記動画再生範囲指定手段７が、前記動画１０と前記複数のコマ画像１１を同一画面に表示し、前記画面内で、前記動画１０の開始時間を示す開始マーク２２、動画の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段２０と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段２１と、を備え、前記開始マーク２２及び前記終了マーク２３を所望の時間に移動操作させることにより動画再生範囲が設定されることを特徴とする。
【０００９】
請求項４に記載の動画再生装置１は、請求項１〜３のいずれかにおいて、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段９と、を備えたことを特徴とする。
【００１０】
請求項５に記載の動画再生装置１は、請求項４において、前記視線座標データ再生手段９が、表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする。
【００１１】
請求項６に記載の動画再生装置１は、請求項５において、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設定し表示させるマーク設定表示手段３０を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする。
【００１２】
請求項７に記載の動画再生方法２は、取得した画像データを用いて動画１０を再生する動画再生方法２であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程１３と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データによる動画１０を、前記動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程１４と、を備えたことを特徴とする。
【００１３】
請求項８に記載の動画再生方法２は、請求項７において、前記画像データ取得工程１３で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程１５と、を備えたことを特徴とする。
【００１４】
請求項９に記載の動画再生方法２は、請求項７又は８において、前記動画再生工程１４が、動画１０の開始時間を示す開始マーク２２、動画１０の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を設定することを特徴とする。
【００１５】
請求項１０に記載の動画再生方法２は、請求項７〜９のいずれかにおいて、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程１９と、を備えたことを特徴とする。
【００１６】
請求項１１に記載の動画再生方法２は、請求項１０において、前記視線座標データ再生工程１９が、表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする。
【００１７】
請求項１２に記載の動画再生方法２は、請求項１１において、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させることを特徴とする請求項９に記載の動画再生方法。
【００１８】
請求項１３に記載のプログラムは、請求項７〜１２のいずれかに記載の動画再生方法２をコンピュータに実行させるためのプログラムである。
【００１９】
請求項１４に記載の記憶媒体は、請求項１３に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【００２０】
請求項１、７、１３又は１４に記載の発明は、動画１０の中から再生したい範囲を動画１０の時間帯を指定することで所望通りに再生させることが容易にできるという効果を奏する。
【００２１】
請求項２、８、１３又は１４に記載の発明は、動画１０の中から再生したい動画１０の時間帯をコマ画像１１の表示を確認することにより所望通りに指定できるので、動画１０の画像の時間を把握していなくてもコマ画像１１のシーンを見て再生したい範囲を指定できるという効果を奏する。
【００２２】
請求項３、９、１３又は１４に記載の発明は、動画１０の範囲を所望通りに指定する手段を画面上に表示でき、その表示されたマークを、マウスを使ってドラッグすれば開始マーク２２及び終了マーク２３を所望の時間に簡単に移動させることができ動画再生範囲が設定されるという効果を奏する。
【００２３】
請求項４、１０、１３又は１４に記載の発明は、画面に表示されている動画１０に対する被視線検出者６０の視線を経過時間とともに記録でき、様々な表示モードで再生できるという効果を奏する。
【００２４】
請求項５、１１、１３又は１４に記載の発明は、画面に表示されている動画１０に対する被視線検出者６０の視線を再生するときに、第一の再生モードとして、例えば被視線検出者６０の視線の先を示す視線座標データに基づく視線検出位置３２の一つ一つを円形の図形で表してその円形の図形の数を１０個となるように表示する時間帯を設定すると、被視線検出者６０が目をつぶっていない限り、現在表示されている時間に該当する視線座標データの円形の図形を含めて過去に遡った常時１０個の円形図形が順次表示される。これにより、画面上に現在表示されている時間に該当する視線座標データに基づく視線検出位置３２のみであると円形の図形が急にあちこち移動したときに円形の図形を見失うことが生じやすいが、過去の時間に該当する円形の図形を表示させることによって円形の図形を被視線検出者６０の視線が画面上であちこち移動しても見失うことがないという効果を奏する。
【００２５】
第二のモードとして、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線を再生中の動画に経過時間順に開始時間のときを例えば「１」にして順に番号を付与して表示することができる。これにより、被視線検出者６０の関心先がどのように変わっていったかを容易に知ることができる。
【００２６】
第三のモードとして、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２の数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた色や模様による識別表示をする。これにより、被視線検出者６０の関心の高さの分布を容易に知ることができる。
【００２７】
請求項６、１２、１３又は１４に記載の発明は、第二の再生モード又は第三の再生モードの表示を動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設けたことにより、動画１０は開始マーク２２で設定された時間から再生中であるが、途中に区切りマーク３１を追加して設定することにより、動画１０のシーンが変わったときに最初からの累計を表示していた第二の再生モード又は第三の再生モードの表示が途切れ、区切りマーク３１で設定された時間から、新たに表示される。例えば、第二の再生モードであれば区切りした時間から「１」からの番号が表示され、第三の再生モードであれば区切りした時間からの密度３４が識別表示される。これにより、変わる動画１０のシーンに合わせて第二の再生モード又は第三の再生モードの表示をすることができる。
【図面の簡単な説明】
【００２８】
【図１】本願発明の動画再生装置の機能構成図である。
【図２】本願発明の動画再生装置のハードウエア構成図である。
【図３】本願発明の動画再生方法のフロー図である。
【図４】画面の表示装置の概要図である。
【図５】図４のＸ部の拡大図で、コマ画像や時間や各種マークの配置状況の概要説明図である。
【図６】スクロールの説明図で、スクロール前を示す図である。
【図７】スクロールの説明図で、スクロール後を示す図である。
【図８】第一の再生モードの説明図である。
【図９】第二の再生モードの説明図である。
【図１０】第三の再生モードの説明図である。
【図１１】視線検出位置を中心とした範囲を基に密度の高低の説明をする説明図である。
【図１２】視線検出位置を中心とした範囲に重みづけをして密度の高低の説明をする説明図で、（ａ）が重みづけのやり方の説明図で、（ｂ）が重みづけの実施例である。
【図１３】区切りマークによる区切りの説明図で、（ａ）及び（ｂ）が区切りマークを使用しない場合の説明図で、（ｃ）が区切りマークを使用した場合の説明図である。
【発明を実施するための形態】
【００２９】
本発明の動画再生装置１は、図１に示すように、取得した画像データを用いて動画１０を再生する動画再生装置１であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段３と、前記画像データによる動画１０を画面上に再生する動画再生手段４と、動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段７と、を備え、前記動画再生範囲指定手段７により指定された範囲の動画を画面上に再生する。
【００３０】
そして、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段５と、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段６と、を備えている。また、前記動画再生範囲指定手段７には動画１０を区切ることができる区切りマーク３１を設定し表示するマーク設定・表示手段３０を備えている。
【００３１】
そして、動画再生装置１は、図２に示すように、前記種々の手段の制御を含む動画再生装置１の制御する制御部４０、マウスやキーボード等の操作部４１、外部から画像等を取得する取得部４２、画像データ等を記憶する記憶部４３、デスクトップ等の表示装置４４に動画１０などを表示する表示部４５、電源部４６等が備えられている。
【００３２】
そして、動画再生装置１の表示装置４４の形態としては、例えば図４や図５に示すように、表示画面、表示画面の下方に帯状のコマ画像１１群、そのコマ画像１１群の下方に時間表示部２５がそれぞれ配設され表示されており、前記コマ画像１１及び時間表示部２５は同期させた状態でスクロールする。前記時間表示部２５の下方に、開始マーク２２、終了マーク２３及び再生時間マーク２４が表示され、区切りマーク３１が設定・表示される。開始マーク２２、終了マーク２３及び再生時間マーク２４はマウスでドラッグして移動操作することができ、区切りマーク３１はマウスで設定したり解除することができる。
【００３３】
画像データ取得・記憶手段３は、被視線検出者６０に見させている被視線検出対象画像５０の画像データを取得して記憶部４３に記憶する。図２に示すように、被視線検出者６０が見ている被視線検出対象画像５０を制御部４０の画像データ取得・記憶手段３で取得部４２に取得させて記憶部４３に記憶させる。
【００３４】
動画再生手段４は、前記記録部４３に記録された画像データに基づく動画１０を画面上に再生する。
【００３５】
動画再生範囲指定手段７は、動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定する。前記動画再生範囲指定手段７は、動画１０と同一画面内で、前記動画１０の開始時間を示す開始マーク２２、動画１０の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段２０と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段２１とを備えている。そして、前記移動操作手段２１はマウスであり、前記開始マーク２２及び前記終了マーク２３をマウスでドラッグして所望の時間に移動操作させることにより動画再生範囲を設定する。
【００３６】
前記記録部４３に記録された画像データに基づく動画１０を画面上に再生するときは、一般的に連続的に撮影され記録された画像データの記録開始時から記録終了時までが再生されるように、開始指示や終了指示が出される。この開始指示又は終了指示を変更できるようにすることにより、動画１０の再生範囲を一般的な記録開始時から記録終了時のみではなく、所望の開始時から終了時の範囲に変更することができた。この開始指示の変更は開始マーク２２を移動させてできるように、終了指示の変更は終了マーク２３を移動させてできるようにした。
【００３７】
動画再生手段４は、前記記録部４３に記録された画像データの中から動画再生範囲指定手段７により定められた範囲に該当する画像データに基づく動画１０を画面上に再生する。例えば、記憶部４３に記憶された動画１０の記録開始時間が０．００分から記録終了時間が５．００分の場合に、所望する再生する動画１０の開始時間を１．００分に終了時間を２．００分にしたいときに、開始マーク２２を時間表示部２５の時間１．００分に移動し終了マーク２３を時間表示部２５の時間２．００分に移動して、開始及び終了の時間を変更して設定して動画１０全体の中から部分的に１．００分〜２．００分間の動画１０を再生する。
【００３８】
コマ画像データ抽出手段５は、前記記録部４３に記録された前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出する。前記あらかじめ定めた時間間隔は動画の１コマごとの時間間隔より異なる設定をすることができ、動画１０の１コマごとの時間間隔より長く設定することもできる。前記抽出されたコマ画像データによるコマ画像１１は動画１０と同一画面に表示される。例えば、図４又は図５に示すように、動画１０は時間メモリごとに０．００１秒ごとに作成され、コマ画像１１は０．０１秒ごとに作成される。
【００３９】
スクロール表示手段６は、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示する。動画１０とコマ画像１１の表示される位置関係の１形態としては、図４に示すように、動画１０の下方にコマ画像１０群を横長の帯状に表示させる形態がある。
【００４０】
スクロールは、再生時間マーク２４を右端にドラッグさせると、コマ画像１１や時間表示部２５が自動的にスクロールされ、動画１０が進む。例えば、図６に示すように、再生時間マーク２４を右端の０．１１秒付近にドラッグすると、図７に示すように、コマ画像１１が図６に示すＡ〜ＫがスクロールされてＦ〜Ｐに順に自動的にスクロールされる。
【００４１】
次に、本発明の動画再生装置１は、被視線検出者６０の前記表示画面に表示されている画像データである被視線検出対象画像５０に対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段１９と、を備える。
【００４２】
市販されている視線検出装置５１が視線検出対象画像５０の画面の近傍に取り付けられており、前記視線座標データ記録手段１８は、前記視線検出装置５１からの視線検出情報をあらかじめ定めた時間間隔で、取得部４２で取得し、経過時間データを付与させて前記記憶部４３に記憶する。視線検出装置５１は視線を検出し視線検出情報を出力できるものであればよい。
【００４３】
視線座標データ再生手段１９は、前記視線座標データ記録手段１８により記憶した視線座標データを、図８〜図１０に示すように、表示装置４４の表示画面に表示している動画１０の画像の経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生するとともに、動画１０の画像上の座標と視線の座標データの座標とを一致させて重ねて再生する。
【００４４】
次に、前記視線座標データ再生手段１９による表示再生モードとして、第一の再生モードは、図８に示すように、動画１０の再生中の時間に該当する視線座標データによる表示画面上の視線検出位置３２と前記時間より前の予め定めた時間内の視線座標データの表示画面上の視線検出位置３２とを予め定めた図形でそれぞれ再生動画１０上に表示する再生モードである。
【００４５】
例えば、視線座標データの記録された時間間隔が０．０１秒とし、予め定めた図形を円状の図形とし、視線座標データに基づく視線検出位置３２を示す円状の図形を表示する時間帯として予め定めた時間の長さを０．０９秒と設定すると、表示されている画面の時間が２．００分の場合には、図８に示すように、動画１０の画面上には視線検出位置３２を示す円状の図形が、時間２．０分から０．０９秒前の間の０．０９秒の時間帯に相当する１０個が表示される。視線検出位置３２を示す円状の図形は複数表示されているので前記円状の図形があちこちに移動しても動画１０の画面上で追跡確認がしやすい。円状等の図形は赤色等の色を付けて表示することもできる。
【００４６】
ここで、表示された視線検出位置３２を示す円状の図形の数が設定した０．０９秒に相当する１０個の場合、表示されている動画１０が時間経過で移り変わっても目を開け続けて視線を検出し続けたときの視線検出位置３２を示す円状の図形の数は常時１０個であるが、もし被視線検出者が目を閉じた場合等の視線を検出できないときにはその閉じた時間に相当する円状の図形の数は減じられて表示される。例えば、目を閉じた時間が０．０２秒の場合には表示される円形の図形の数は８個となる。
【００４７】
次に、第二の再生モードは、図９に示すように、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２に経過時間順に番号３３を付与して動画１０上に表示する再生モードであります。これは経過時間順に付けた番号３３を図９に示すように線で繋げて表示する。番号３３のみの表示であれば目で順番を負うのが難しくなるが線で結ぶことにより目で順番を容易に知ることができる。
【００４８】
次に、第三の再生モードは、図１０に示すように、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２の数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた色や模様による識別表示をする再生モードであります。
【００４９】
視線座標データに基づく動画１０上の視線検出位置３２を中心として予め定めた大きさの円状の範囲を、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までを累積させていき、前記円状の範囲の重なり数の最大と最小との差から密度を識別する区分を、又は、視線座標データに基づく動画１０上の視線検出位置３２を中心として予め定めた大きさの円状の範囲であって視線検出位置３２からの距離に応じた重みづけをした円状の範囲を、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までを累積させていき、前記重みづけを加算した数の最大と最小との差から密度を識別する区分を、決定する。そして、区分別に予め定めた色や模様等による識別表示をする。
【００５０】
例えば、図１１に示すように、３つの視線座標データに基づく動画１０上の視線検出位置３２を中心とした円状の範囲が重なった場合には、３枚が重なった範囲を密度高ａとして黒色表示に、２枚が重なった範囲を密度中ｂとして斜線表示に、１枚のみの範囲を密度低ｃとして白色表示にして、密度３４の高低を視覚的にわかりやすくする。また、識別表示の他の例として、例えば最も密度が高い区域を赤色、密度が徐々に低くなるにつれて、橙色黄色、緑色、青色のように密度別に色を変えて表示することもでき、目で瞬時にどこを頻繁に見たかを知ることができる。
【００５１】
図１１に示した密度３４表示の方法によって、図１０に示すように、表示装置４４の画面の動画１０に重ねて、密度３４の区分を決め、密度高ａの区域を黒色に、密度中ｂの区域を斜線表示に、密度低ｃの区域を白色表示にして、密度３４の高低を視覚的にわかりやすくする。
【００５２】
また、図１２（ａ）に示すように、視線検出位置３２を中心とした円状の範囲を、視線検出位置３２からの距離に応じて重みづけをする。そして、図１２（ｂ）に示すように、各視線検出位置３２を中心とした範囲を積み重ねて、重みづけの数を加算した数の最大と最小との差から密度を識別する区分をする。加算された重みづけの数によって色を変えて識別表示する。密度３４の高低を視覚的にわかりやすくする。
【００５３】
次に、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設定し表示させるマーク設定・表示手段３０を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させることができる。
【００５４】
動画１０の再生開始時間〜再生終了時間までの間で、前記第二の再生モード又は第三の再生モードの再生を区切るために、時間表示部２５の区切りマーク３１を設定した時間で第二の再生モード又は第三の再生モードの再生を初期化しクリアするようにしている。そして初期化しクリアした後は、第二の再生モード又は第三の再生モードの再生が区切りマーク３１の時間から再開されるようにしている。また、前記区切りマーク３１の設定を解除すれば区切りが実行されないようにしている。
【００５５】
被視線検出者６０の視線の動きを再生により調査するときに、動画１０の中で画像シーンが変わることがある。このときに第二の再生モード又は第三の再生モードの表示については動画１０のシーンごとに分離されて表示されることが視線の動きの分析に適している場合に視線の分析を効果的に行うことができる。
【００５６】
例えば、図１３（ａ）に示すように、再生時間マーク２４がコマ画像１１の「Ａ」の時間を示している場合には、動画１０には被視線検出者６０の視線の順に視線検出位置３２を示す箇所に「１〜３」の番号が表示されている。このまま動画１０を進めていき図１３（ｂ）に示すように、再生時間マーク２４がコマ画像１１の「Ｂ」の時間を示した場合には、動画１０には「Ｂ」の文字周囲に被視線検出者６０の視線の順に「４〜５」の番号が表示される。ここで、図１３（ｃ）に示すように、区切りマーク３１をコマ画像１１の「Ａ」から「Ｂ」に動画１０のシーンが変わる時間に設定すると、再生時間マーク２４がコマ画像１１の「Ｂ」の時間を示した場合には、動画１０には「Ｂ」の文字周囲に被視線検出者６０の視線の順に「１〜２」の番号が表示される。このように、動画１０のシーンによって第二の再生モード又は第三の再生モードの表示を変えることができるので、所望するデータによって再生モードを使い分けることができる。
【００５７】
次に、動画再生方法２について説明する。本願発明の動画再生方法２は、図３に示すように、取得した画像データを用いて動画１０を再生する動画再生方法２であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程１３と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データによる動画１０を、前記動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程１４と、を備える。
【００５８】
そして、前記画像データ取得工程１３で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程１５を備える。
【００５９】
そして、前記動画再生工程１４が、動画１０の開始時間を示す開始マーク２２、動画の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を設定する。
【００６０】
また、動画再生方法２は、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程１９と、を備える。
【００６１】
そして、前記視線座標データ再生工程１９における表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画１０上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画１０に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた識別表示をする第三の再生モードを選択する。
【００６２】
前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を、マウスでドラッグして所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させる。
【００６３】
また、本発明は以下の処理を実行することによっても実現される。前記動画再生方法をコンピュータで実行可能なプログラムであって、前記プログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータが前記プログラムを呼び出して実行する処置である。
【００６４】
また、前記動画再生方法をコンピュータに実行させるプログラムを記憶した記憶媒体であって、コンピュータ読み取り可能な前記粒子数計測方法を実現するプログラムを記憶した記憶媒体に記憶した前記プログラムを呼び出して実行する処置である。前記記憶媒体としては、ＣＤ−ＲＯＭ、ハードディスク、フレキシブルディスク、磁気テープ、光磁気ディスクなどがある。
【符号の説明】
【００６５】
１          動画再生装置
２          動画再生方法
３          画像データ取得・記憶手段
４          動画再生手段
５          コマ画像データ抽出手段
６          スクロール表示手段
７          動画再生範囲指定手段
８          視線座標データ記憶手段
９          視線座標データ再生手段
１０        動画
１１        コマ画像
１３        画像データ取得・記憶工程
１４        動画再生工程
１５        コマ画像表示工程
１８        視線座標データ記憶工程
１９        視線座標データ再生工程
２０        マーク表示手段
２１        移動操作手段
２２        開始マーク
２３        終了マーク
２４        再生時間マーク
２５        時間表示部
３０        マーク設定・表示手段
３１        区切りマーク
３２        視線検出位置
３３        番号
３４        密度
４０        制御部
４１        操作部
４２        取得部
４３        記憶部
４４        表示装置
４５        表示部
５０        視線検出対象画像
５１        視線検出装置
６０        被視線検出者
【図１】
2018107596.tif 000003
【図２】
2018107596.tif 000004
【図３】
2018107596.tif 000005
【図４】
2018107596.tif 000006
【図５】
2018107596.tif 000007
【図６】
2018107596.tif 000008
【図７】
2018107596.tif 000009
【図８】
2018107596.tif 000010
【図９】
2018107596.tif 000011
【図１０】
2018107596.tif 000012
【図１１】
2018107596.tif 000013
【図１２】
2018107596.tif 000014
【図１３】
2018107596.tif 000015
【手続補正書】
【提出日】平成29年6月6日(2017.6.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
取得した画像データを用いて動画を再生する動画再生装置であって、
表示画面に表示されている画像データを取得する画像データ取得・記憶手段と、
前記画像データによる動画を画面上に再生する動画再生手段と、
前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段と、
動画を再生させたいと所望する範囲の開始時間及び終了時間を時系列的に順次表示される前記コマ画像群の中から指定する動画再生範囲指定手段と、を備え、
前記動画再生範囲指定手段により指定された範囲の動画を画面上に再生することを特徴とする動画再生装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
前記複数のコマ画像データにより表される複数のコマ画像群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段と、を備えたことを特徴とする請求項１に記載の動画再生装置。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項７
【補正方法】変更
【補正の内容】
【請求項７】
取得した画像データを用いて動画を再生する動画再生方法であって、
表示画面に表示されている画像データを取得する画像データ取得・記憶工程と、前記画像データ取得・記憶工程で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像抽出工程と、
前記画像データ取得・記憶工程で取得し記憶した前記画像データによる動画を、前記動画を再生させたいと所望する範囲の開始時間及び終了時間を時系列的に順次表示される前記コマ画像群の中から指定して画面上に再生する動画再生工程と、を備えたことを特徴とする動画再生方法。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
前記抽出した複数のコマ画像データからなるコマ画像群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程を備えたことを特徴とする請求項７に記載の動画再生方法。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
請求項１に記載の動画再生装置１は、取得した画像データを用いて動画１０を再生する動画再生装置１であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段３と、前記画像データによる動画１０を画面上に再生する動画再生手段４と、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段５と、動画１０を再生させたいと所望する範囲の開始時間及び終了時間を時系列的に順次表示される前記コマ画像１１群の中から指定する動画再生範囲指定手段７と、を備え、前記動画再生範囲指定手段７により指定された範囲の動画を画面上に再生することを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
請求項２に記載の動画再生装置１は、請求項１において、前記複数のコマ画像データにより表される複数のコマ画像群１１を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段６と、を備えたことを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
請求項７に記載の動画再生方法２は、取得した画像データを用いて動画１０を再生する動画再生方法２であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程１３と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像抽出工程と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データによる動画１０を、前記動画１０を再生させたいと所望する範囲の開始時間及び終了時間を時系列的に順次表示される前記コマ画像１１群の中から指定して画面上に再生する動画再生工程１４と、を備えたことを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
請求項８に記載の動画再生方法２は、請求項７において、前記抽出した複数のコマ画像データからなるコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程１５を備えたことを特徴とする。
【手続補正書】
【提出日】平成29年9月4日(2017.9.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
取得した画像データを用いて動画を再生する動画再生装置であって、
表示画面に表示されている画像データを取得する画像データ取得・記憶手段と、
前記画像データによる動画を画面上に再生する動画再生手段と、
前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段と、
前記複数のコマ画像データにより表される複数のコマ画像群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段と、
動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段と、を備え、
前記動画再生範囲指定手段が、前記動画と前記複数のコマ画像を同一画面に表示し、前記画面内で、前記動画の開始時間を示す開始マーク、動画の終了時間を示す終了マーク、及び、再生中の動画の時間を示す再生時間マークを同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段とを備え、
前記画面上に前記動画の表示領域と前記コマ画像群の表示領域を分離状態で同時に表示させ、前記再生中の動画に対応するコマ画像を含んだ、時系列に並んだ前記コマ画像群を、再生時間マークを右端にドラッグすることにより自動的にスクロールさせ、
前記開始マーク及び前記終了マークを所望の時間に移動操作させることにより動画再生範囲が指定され、前記指定された範囲の動画を画面上に再生することを特徴とする動画再生装置。
【請求項２】
被視線検出者の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段と、
前記視線座標データを、前記画像データによる動画を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段と、を備え、
前記視線座標データ再生手段が、表示再生モードとして、動画の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする請求項１に記載の動画再生装置。
【請求項３】
前記第二の再生モード又は第三の再生モードの表示を前記動画の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマークを設定し表示させるマーク設定表示手段を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする請求項２に記載の動画再生装置。
【請求項４】
取得した画像データを用いて動画を再生する動画再生方法であって、
表示画面に表示されている画像データを取得する画像データ取得・記憶工程と、前記画像データ取得・記憶工程で取得し記憶した前記画像データによる動画を、前記動画を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程と、
前記画像データ取得・記憶工程で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程と、を備え、
前記動画再生工程が、前記画面上に前記動画の表示領域と前記コマ画像群の表示領域を分離状態で同時に表示させ、前記再生中の動画に対応するコマ画像を含んだ、時系列に並んだ前記コマ画像群を、再生時間マークを右端にドラッグすることにより自動的にスクロールさせる画面上で、動画の開始時間を示す開始マーク、動画の終了時間を示す終了マーク、及び、再生中の動画の時間を示す再生時間マークを同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を指定することを特徴とする動画再生方法。
【請求項５】
被視線検出者の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程と、
前記視線座標データを、前記画像データによる動画を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程と、を備え、
前記視線座標データ再生工程が、表示再生モードとして、動画の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マークで指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする請求項４に記載の動画再生方法。
【請求項６】
前記第二の再生モード又は第三の再生モードの表示を前記動画の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマークを所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする請求項５に記載の動画再生方法。
【請求項７】
請求項４〜６のいずれかに記載の動画再生方法をコンピュータに実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像の再生を実施する動画再生装置、動画再生方法、そのプログラム及び記録媒体に関する。
【背景技術】
【０００２】
撮像した画像の再生を実施する動画再生装置や方法については、例えば特許文献１に、再構成画像の生成が可能な画像データを取得する画像データ取得手段と、前記画像データに付与された視線検出情報を取得する視線検出情報取得手段と、前記視線検出情報に基づいて、前記画像データから再構成画像を生成して動画を生成する画像処理手段と、を備えた動画再生装置であって、前記視線検出情報は、視線位置と前記視線位置での注視時間を含み、前記画像処理手段は、前記視線位置の被写体にピントが合った再構成画像を生成し、前記視線位置での前記注視時間に基づいて前記生成された再構成画像の表示時間を設定して前記動画を生成し、前記画像処理手段は、前記注視時間が所定時間より長い前記視線位置についてのみ、前記再構成画像を生成し、前記動画再生装置は、前記所定時間を設定する注視時間閾値設定手段を備える動画再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１７９８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の発明は、画像処理が注視時間の閾値を設定して閾値の注視時間より長い画像の再生をすることができるが、撮像したすべての動画の中から所望する限られた範囲の画像を閲覧したいという要望には応えられないという問題があった。
【０００５】
本発明はこうした問題に鑑み創案されたもので、撮像した動画の中から再生したい範囲に限定した動画を再生できる画像処理ができ、さらに視線検出情報を含む再生画像の画像処理ができる動画再生装置、動画再生方法、プログラム及び記録媒体を提供することを課題とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の動画再生装置１は、取得した画像データを用いて動画１０を再生する動画再生装置１であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段３と、前記画像データによる動画１０を画面上に再生する動画再生手段４と、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段５と、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段６と、動画を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段７と、を備え、前記動画再生範囲指定手段７が、前記動画１０と前記複数のコマ画像１１を同一画面に表示し、前記画面内で、前記動画１０の開始時間を示す開始マーク２２、動画１０の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段２０と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段２１とを備え、前記画面上に前記動画１０の表示領域と前記コマ画像１１群の表示領域を分離状態で同時に表示させ、前記再生中の動画１０に対応するコマ画像１１を含んだ、時系列に並んだ前記コマ画像１１群を、再生時間マーク２４を右端にドラッグすることにより自動的にスクロールさせ、前記開始マーク２２及び前記終了マーク２３を所望の時間に移動操作させることにより動画再生範囲が指定され、前記指定された範囲の動画を画面上に再生することを特徴とする。
【０００７】
請求項２に記載の動画再生装置１は、請求項１において、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段９と、を備え、前記視線座標データ再生手段９が、表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度に応じて動画上に、あらかじめ密度ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする。
【０００８】
請求項３に記載の動画再生装置１は、請求項２において、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設定し表示させるマーク設定表示手段３０を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマークからの開始を実現させることを特徴とする。
【０００９】
請求項４に記載の動画再生方法２は、取得した画像データを用いて動画１０を再生する動画再生方法２であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程１３と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データによる動画１０を、前記動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程１４と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程１５と、を備え、前記動画再生工程１４が、前記画面上に前記動画１０の表示領域と前記コマ画像１１群の表示領域を分離状態で同時に表示させ、前記再生中の動画１０に対応するコマ画像１１を含んだ、時系列に並んだ前記コマ画像１１群を、再生時間マーク２４を右端にドラッグすることにより自動的にスクロールさせる画面上で、動画１０の開始時間を示す開始マーク２２、動画の終了時間を示す終了マーク２３、及び、再生中の動画の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を指定することを特徴とする。
【００１０】
請求項５に記載の動画再生方法２は、請求項４において、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程１９と、を備え、前記視線座標データ再生工程１９が、表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた識別表示をする第三の再生モードで再生することを特徴とする。
【００１１】
請求項６に記載の動画再生方法２は、請求項５において、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させることを特徴とする請求項９に記載の動画再生方法。
【００１２】
請求項７に記載のプログラムは、請求項４〜６のいずれかに記載の動画再生方法２をコンピュータに実行させるためのプログラムである。
【００１３】
請求項８に記載の記憶媒体は、請求項７に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【００１４】
請求項１、４、７又は８に記載の発明は、動画１０の中から再生したい範囲を動画１０の時間帯を指定することで所望通りに再生させることが容易にできるという効果を奏する。
【００１５】
請求項１、４、７又は８に記載の発明は、動画１０の中から再生したい動画１０の時間帯をコマ画像１１の表示を確認することにより所望通りに指定できるので、動画１０の画像の時間を把握していなくてもコマ画像１１のシーンを見て再生したい範囲を指定できるという効果を奏する。
【００１６】
請求項１、４、７又は８に記載の発明は、動画１０の範囲を所望通りに指定する手段を画面上に表示でき、その表示されたマークを、マウスを使ってドラッグすれば開始マーク２２及び終了マーク２３を所望の時間に簡単に移動させることができ動画再生範囲が設定されるという効果を奏する。
【００１７】
請求項２、５、７又は８に記載の発明は、画面に表示されている動画１０に対する被視線検出者６０の視線を経過時間とともに記録でき、様々な表示モードで再生できるという効果を奏する。
【００１８】
請求項２、５、７又は８に記載の発明は、画面に表示されている動画１０に対する被視線検出者６０の視線を再生するときに、第一の再生モードとして、例えば被視線検出者６０の視線の先を示す視線座標データに基づく視線検出位置３２の一つ一つを円形の図形で表してその円形の図形の数を１０個となるように表示する時間帯を設定すると、被視線検出者６０が目をつぶっていない限り、現在表示されている時間に該当する視線座標データの円形の図形を含めて過去に遡った常時１０個の円形図形が順次表示される。これにより、画面上に現在表示されている時間に該当する視線座標データに基づく視線検出位置３２のみであると円形の図形が急にあちこち移動したときに円形の図形を見失うことが生じやすいが、過去の時間に該当する円形の図形を表示させることによって円形の図形を被視線検出者６０の視線が画面上であちこち移動しても見失うことがないという効果を奏する。
【００１９】
第二のモードとして、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線を再生中の動画に経過時間順に開始時間のときを例えば「１」にして順に番号を付与して表示することができる。これにより、被視線検出者６０の関心先がどのように変わっていったかを容易に知ることができる。
【００２０】
第三のモードとして、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２の数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた色や模様による識別表示をする。これにより、被視線検出者６０の関心の高さの分布を容易に知ることができる。
【００２１】
請求項３、６、７又は８に記載の発明は、第二の再生モード又は第三の再生モードの表示を動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設けたことにより、動画１０は開始マーク２２で設定された時間から再生中であるが、途中に区切りマーク３１を追加して設定することにより、動画１０のシーンが変わったときに最初からの累計を表示していた第二の再生モード又は第三の再生モードの表示が途切れ、区切りマーク３１で設定された時間から、新たに表示される。例えば、第二の再生モードであれば区切りした時間から「１」からの番号が表示され、第三の再生モードであれば区切りした時間からの密度３４が識別表示される。これにより、変わる動画１０のシーンに合わせて第二の再生モード又は第三の再生モードの表示をすることができる。
【図面の簡単な説明】
【００２２】
【図１】本願発明の動画再生装置の機能構成図である。
【図２】本願発明の動画再生装置のハードウエア構成図である。
【図３】本願発明の動画再生方法のフロー図である。
【図４】画面の表示装置の概要図である。
【図５】図４のＸ部の拡大図で、コマ画像や時間や各種マークの配置状況の概要説明図である。
【図６】スクロールの説明図で、スクロール前を示す図である。
【図７】スクロールの説明図で、スクロール後を示す図である。
【図８】第一の再生モードの説明図である。
【図９】第二の再生モードの説明図である。
【図１０】第三の再生モードの説明図である。
【図１１】視線検出位置を中心とした範囲を基に密度の高低の説明をする説明図である。
【図１２】視線検出位置を中心とした範囲に重みづけをして密度の高低の説明をする説明図で、（ａ）が重みづけのやり方の説明図で、（ｂ）が重みづけの実施例である。
【図１３】区切りマークによる区切りの説明図で、（ａ）及び（ｂ）が区切りマークを使用しない場合の説明図で、（ｃ）が区切りマークを使用した場合の説明図である。
【発明を実施するための形態】
【００２３】
本発明の動画再生装置１は、図１に示すように、取得した画像データを用いて動画１０を再生する動画再生装置１であって、表示画面に表示されている画像データを取得する画像データ取得・記憶手段３と、前記画像データによる動画１０を画面上に再生する動画再生手段４と、動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定する動画再生範囲指定手段７と、を備え、前記動画再生範囲指定手段７により指定された範囲の動画を画面上に再生する。
【００２４】
そして、前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出するコマ画像データ抽出手段５と、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するスクロール表示手段６と、を備えている。また、前記動画再生範囲指定手段７には動画１０を区切ることができる区切りマーク３１を設定し表示するマーク設定・表示手段３０を備えている。
【００２５】
そして、動画再生装置１は、図２に示すように、前記種々の手段の制御を含む動画再生装置１の制御する制御部４０、マウスやキーボード等の操作部４１、外部から画像等を取得する取得部４２、画像データ等を記憶する記憶部４３、デスクトップ等の表示装置４４に動画１０などを表示する表示部４５、電源部４６等が備えられている。
【００２６】
そして、動画再生装置１の表示装置４４の形態としては、例えば図４や図５に示すように、表示画面、表示画面の下方に帯状のコマ画像１１群、そのコマ画像１１群の下方に時間表示部２５がそれぞれ配設され表示されており、前記コマ画像１１及び時間表示部２５は同期させた状態でスクロールする。前記時間表示部２５の下方に、開始マーク２２、終了マーク２３及び再生時間マーク２４が表示され、区切りマーク３１が設定・表示される。開始マーク２２、終了マーク２３及び再生時間マーク２４はマウスでドラッグして移動操作することができ、区切りマーク３１はマウスで設定したり解除することができる。
【００２７】
画像データ取得・記憶手段３は、被視線検出者６０に見させている被視線検出対象画像５０の画像データを取得して記憶部４３に記憶する。図２に示すように、被視線検出者６０が見ている被視線検出対象画像５０を制御部４０の画像データ取得・記憶手段３で取得部４２に取得させて記憶部４３に記憶させる。
【００２８】
動画再生手段４は、前記記録部４３に記録された画像データに基づく動画１０を画面上に再生する。
【００２９】
動画再生範囲指定手段７は、動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定する。前記動画再生範囲指定手段７は、動画１０と同一画面内で、前記動画１０の開始時間を示す開始マーク２２、動画１０の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させるマーク表示手段２０と、前記それぞれのマークを所望の時間に移動させることが可能な移動操作手段２１とを備えている。そして、前記移動操作手段２１はマウスであり、前記開始マーク２２及び前記終了マーク２３をマウスでドラッグして所望の時間に移動操作させることにより動画再生範囲を設定する。
【００３０】
前記記録部４３に記録された画像データに基づく動画１０を画面上に再生するときは、一般的に連続的に撮影され記録された画像データの記録開始時から記録終了時までが再生されるように、開始指示や終了指示が出される。この開始指示又は終了指示を変更できるようにすることにより、動画１０の再生範囲を一般的な記録開始時から記録終了時のみではなく、所望の開始時から終了時の範囲に変更することができた。この開始指示の変更は開始マーク２２を移動させてできるように、終了指示の変更は終了マーク２３を移動させてできるようにした。
【００３１】
動画再生手段４は、前記記録部４３に記録された画像データの中から動画再生範囲指定手段７により定められた範囲に該当する画像データに基づく動画１０を画面上に再生する。例えば、記憶部４３に記憶された動画１０の記録開始時間が０．００分から記録終了時間が５．００分の場合に、所望する再生する動画１０の開始時間を１．００分に終了時間を２．００分にしたいときに、開始マーク２２を時間表示部２５の時間１．００分に移動し終了マーク２３を時間表示部２５の時間２．００分に移動して、開始及び終了の時間を変更して設定して動画１０全体の中から部分的に１．００分〜２．００分間の動画１０を再生する。
【００３２】
コマ画像データ抽出手段５は、前記記録部４３に記録された前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出する。前記あらかじめ定めた時間間隔は動画の１コマごとの時間間隔より異なる設定をすることができ、動画１０の１コマごとの時間間隔より長く設定することもできる。前記抽出されたコマ画像データによるコマ画像１１は動画１０と同一画面に表示される。例えば、図４又は図５に示すように、動画１０は時間メモリごとに０．００１秒ごとに作成され、コマ画像１１は０．０１秒ごとに作成される。
【００３３】
スクロール表示手段６は、前記複数のコマ画像データにより表される複数のコマ画像１１群を画面上に時系列に並べた状態でスクロール表示する。動画１０とコマ画像１１の表示される位置関係の１形態としては、図４に示すように、動画１０の下方にコマ画像１０群を横長の帯状に表示させる形態がある。
【００３４】
スクロールは、再生時間マーク２４を右端にドラッグさせると、コマ画像１１や時間表示部２５が自動的にスクロールされ、動画１０が進む。例えば、図６に示すように、再生時間マーク２４を右端の０．１１秒付近にドラッグすると、図７に示すように、コマ画像１１が図６に示すＡ〜ＫがスクロールされてＦ〜Ｐに順に自動的にスクロールされる。
【００３５】
次に、本発明の動画再生装置１は、被視線検出者６０の前記表示画面に表示されている画像データである被視線検出対象画像５０に対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録手段１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生手段１９と、を備える。
【００３６】
市販されている視線検出装置５１が視線検出対象画像５０の画面の近傍に取り付けられており、前記視線座標データ記録手段１８は、前記視線検出装置５１からの視線検出情報をあらかじめ定めた時間間隔で、取得部４２で取得し、経過時間データを付与させて前記記憶部４３に記憶する。視線検出装置５１は視線を検出し視線検出情報を出力できるものであればよい。
【００３７】
視線座標データ再生手段１９は、前記視線座標データ記録手段１８により記憶した視線座標データを、図８〜図１０に示すように、表示装置４４の表示画面に表示している動画１０の画像の経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生するとともに、動画１０の画像上の座標と視線の座標データの座標とを一致させて重ねて再生する。
【００３８】
次に、前記視線座標データ再生手段１９による表示再生モードとして、第一の再生モードは、図８に示すように、動画１０の再生中の時間に該当する視線座標データによる表示画面上の視線検出位置３２と前記時間より前の予め定めた時間内の視線座標データの表示画面上の視線検出位置３２とを予め定めた図形でそれぞれ再生動画１０上に表示する再生モードである。
【００３９】
例えば、視線座標データの記録された時間間隔が０．０１秒とし、予め定めた図形を円状の図形とし、視線座標データに基づく視線検出位置３２を示す円状の図形を表示する時間帯として予め定めた時間の長さを０．０９秒と設定すると、表示されている画面の時間が２．００分の場合には、図８に示すように、動画１０の画面上には視線検出位置３２を示す円状の図形が、時間２．０分から０．０９秒前の間の０．０９秒の時間帯に相当する１０個が表示される。視線検出位置３２を示す円状の図形は複数表示されているので前記円状の図形があちこちに移動しても動画１０の画面上で追跡確認がしやすい。円状等の図形は赤色等の色を付けて表示することもできる。
【００４０】
ここで、表示された視線検出位置３２を示す円状の図形の数が設定した０．０９秒に相当する１０個の場合、表示されている動画１０が時間経過で移り変わっても目を開け続けて視線を検出し続けたときの視線検出位置３２を示す円状の図形の数は常時１０個であるが、もし被視線検出者が目を閉じた場合等の視線を検出できないときにはその閉じた時間に相当する円状の図形の数は減じられて表示される。例えば、目を閉じた時間が０．０２秒の場合には表示される円形の図形の数は８個となる。
【００４１】
次に、第二の再生モードは、図９に示すように、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２に経過時間順に番号３３を付与して動画１０上に表示する再生モードであります。これは経過時間順に付けた番号３３を図９に示すように線で繋げて表示する。番号３３のみの表示であれば目で順番を負うのが難しくなるが線で結ぶことにより目で順番を容易に知ることができる。
【００４２】
次に、第三の再生モードは、図１０に示すように、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データに基づく視線検出位置３２の数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた色や模様による識別表示をする再生モードであります。
【００４３】
視線座標データに基づく動画１０上の視線検出位置３２を中心として予め定めた大きさの円状の範囲を、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までを累積させていき、前記円状の範囲の重なり数の最大と最小との差から密度を識別する区分を、又は、視線座標データに基づく動画１０上の視線検出位置３２を中心として予め定めた大きさの円状の範囲であって視線検出位置３２からの距離に応じた重みづけをした円状の範囲を、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までを累積させていき、前記重みづけを加算した数の最大と最小との差から密度を識別する区分を、決定する。そして、区分別に予め定めた色や模様等による識別表示をする。
【００４４】
例えば、図１１に示すように、３つの視線座標データに基づく動画１０上の視線検出位置３２を中心とした円状の範囲が重なった場合には、３枚が重なった範囲を密度高ａとして黒色表示に、２枚が重なった範囲を密度中ｂとして斜線表示に、１枚のみの範囲を密度低ｃとして白色表示にして、密度３４の高低を視覚的にわかりやすくする。また、識別表示の他の例として、例えば最も密度が高い区域を赤色、密度が徐々に低くなるにつれて、橙色黄色、緑色、青色のように密度別に色を変えて表示することもでき、目で瞬時にどこを頻繁に見たかを知ることができる。
【００４５】
図１１に示した密度３４表示の方法によって、図１０に示すように、表示装置４４の画面の動画１０に重ねて、密度３４の区分を決め、密度高ａの区域を黒色に、密度中ｂの区域を斜線表示に、密度低ｃの区域を白色表示にして、密度３４の高低を視覚的にわかりやすくする。
【００４６】
また、図１２（ａ）に示すように、視線検出位置３２を中心とした円状の範囲を、視線検出位置３２からの距離に応じて重みづけをする。そして、図１２（ｂ）に示すように、各視線検出位置３２を中心とした範囲を積み重ねて、重みづけの数を加算した数の最大と最小との差から密度を識別する区分をする。加算された重みづけの数によって色を変えて識別表示する。密度３４の高低を視覚的にわかりやすくする。
【００４７】
次に、前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を設定し表示させるマーク設定・表示手段３０を設け、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させることができる。
【００４８】
動画１０の再生開始時間〜再生終了時間までの間で、前記第二の再生モード又は第三の再生モードの再生を区切るために、時間表示部２５の区切りマーク３１を設定した時間で第二の再生モード又は第三の再生モードの再生を初期化しクリアするようにしている。そして初期化しクリアした後は、第二の再生モード又は第三の再生モードの再生が区切りマーク３１の時間から再開されるようにしている。また、前記区切りマーク３１の設定を解除すれば区切りが実行されないようにしている。
【００４９】
被視線検出者６０の視線の動きを再生により調査するときに、動画１０の中で画像シーンが変わることがある。このときに第二の再生モード又は第三の再生モードの表示については動画１０のシーンごとに分離されて表示されることが視線の動きの分析に適している場合に視線の分析を効果的に行うことができる。
【００５０】
例えば、図１３（ａ）に示すように、再生時間マーク２４がコマ画像１１の「Ａ」の時間を示している場合には、動画１０には被視線検出者６０の視線の順に視線検出位置３２を示す箇所に「１〜３」の番号が表示されている。このまま動画１０を進めていき図１３（ｂ）に示すように、再生時間マーク２４がコマ画像１１の「Ｂ」の時間を示した場合には、動画１０には「Ｂ」の文字周囲に被視線検出者６０の視線の順に「４〜５」の番号が表示される。ここで、図１３（ｃ）に示すように、区切りマーク３１をコマ画像１１の「Ａ」から「Ｂ」に動画１０のシーンが変わる時間に設定すると、再生時間マーク２４がコマ画像１１の「Ｂ」の時間を示した場合には、動画１０には「Ｂ」の文字周囲に被視線検出者６０の視線の順に「１〜２」の番号が表示される。このように、動画１０のシーンによって第二の再生モード又は第三の再生モードの表示を変えることができるので、所望するデータによって再生モードを使い分けることができる。
【００５１】
次に、動画再生方法２について説明する。本願発明の動画再生方法２は、図３に示すように、取得した画像データを用いて動画１０を再生する動画再生方法２であって、表示画面に表示されている画像データを取得する画像データ取得・記憶工程１３と、前記画像データ取得・記憶工程１３で取得し記憶した前記画像データによる動画１０を、前記動画１０を再生させたいと所望する範囲の開始時間及び終了時間を指定して画面上に再生する動画再生工程１４と、を備える。
【００５２】
そして、前記画像データ取得工程１３で取得し記憶した前記画像データからあらかじめ定めた時間間隔でコマ画像データを抽出し、前記抽出した複数のコマ画像データからなるコマ画像１１群を画面上に時系列に並べた状態でスクロール表示するコマ画像表示工程１５を備える。
【００５３】
そして、前記動画再生工程１４が、動画１０の開始時間を示す開始マーク２２、動画の終了時間を示す終了マーク２３、及び、再生中の動画１０の時間を示す再生時間マーク２４を同一時間軸上のそれぞれに該当する位置に表示させ、それぞれのマークを所望の時間に移動操作して動画再生範囲を設定する。
【００５４】
また、動画再生方法２は、被視線検出者６０の前記表示画面に表示されている画像データに対する視線をあらかじめ定めた時間間隔で取得した視線検出データに、経過時間データを付与させて記録する視線座標データ記録工程１８と、前記視線座標データを、前記画像データによる動画１０を画面上に再生するときに、前記画像データの経過時間と前記視線座標データの経過時間を同期させて同一表示画面に再生して表示する視線座標データ再生工程１９と、を備える。
【００５５】
そして、前記視線座標データ再生工程１９における表示再生モードとして、動画１０の再生中の時間に該当する視線座標データの表示画面上の位置と前記時間より前のあらかじめ定めた時間内の視線座標データの表示画面上の位置とを予め定めた図形でそれぞれ再生動画１０上に表示する第一の再生モード、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データを再生中の動画１０に経過時間順に番号を付与して表示する第二の再生モード、又は、動画再生範囲の開始マーク２２で指定された時間から再生中の時間までのすべての視線座標データの数の密度３４に応じて動画１０上に、あらかじめ密度３４ごとに定めた識別表示をする第三の再生モードを選択する。
【００５６】
前記第二の再生モード又は第三の再生モードの表示を前記動画１０の再生開始時間〜再生終了時間までの間で区切ることが可能な区切りマーク３１を、マウスでドラッグして所望の時間に設定して、前記第二の再生モード又は第三の再生モードの画面上の表示を、前記再生開始時間からの開始の他に前記区切りマーク３１からの開始を実現させる。
【００５７】
また、本発明は以下の処理を実行することによっても実現される。前記動画再生方法をコンピュータで実行可能なプログラムであって、前記プログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータが前記プログラムを呼び出して実行する処置である。
【００５８】
また、前記動画再生方法をコンピュータに実行させるプログラムを記憶した記憶媒体であって、コンピュータ読み取り可能な前記粒子数計測方法を実現するプログラムを記憶した記憶媒体に記憶した前記プログラムを呼び出して実行する処置である。前記記憶媒体としては、ＣＤ−ＲＯＭ、ハードディスク、フレキシブルディスク、磁気テープ、光磁気ディスクなどがある。
【符号の説明】
【００５９】
１          動画再生装置
２          動画再生方法
３          画像データ取得・記憶手段
４          動画再生手段
５          コマ画像データ抽出手段
６          スクロール表示手段
７          動画再生範囲指定手段
８          視線座標データ記憶手段
９          視線座標データ再生手段
１０        動画
１１        コマ画像
１３        画像データ取得・記憶工程
１４        動画再生工程
１５        コマ画像表示工程
１８        視線座標データ記憶工程
１９        視線座標データ再生工程
２０        マーク表示手段
２１        移動操作手段
２２        開始マーク
２３        終了マーク
２４        再生時間マーク
２５        時間表示部
３０        マーク設定・表示手段
３１        区切りマーク
３２        視線検出位置
３３        番号
３４        密度
４０        制御部
４１        操作部
４２        取得部
４３        記憶部
４４        表示装置
４５        表示部
５０        視線検出対象画像
５１        視線検出装置
６０        被視線検出者