【手続補正書】
【提出日】平成27年2月24日(2015.2.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１以上のメディアソースから集められ、各々が特定のターゲットオブジェクトが撮影されたと認められる１以上の画像フレームを含む複数のセグメントを取得する取得部と、
前記取得された複数のセグメントを、前記複数のセグメント内の前記特定のターゲットオブジェクトの存在を時間に関連付けて示す追跡ステイタスインジケータと連動させて時間軸に沿って表示するために、前記複数のセグメントの画像フレームを供給する供給部と
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記特定のターゲットオブジェクトは、前記取得部による前記複数のセグメントの取得よりも前に特定される
画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記時間軸は、前記複数のセグメントの各々の撮影時間を表し、
前記複数のセグメントは、前記各々の撮影時間に応じて前記時間軸に沿って配置され、
前記追跡ステイタスインジケータは、前記配置される複数のセグメントに連動して前記時間軸に沿って表示される
画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記表示される複数のセグメントの各々は選択可能であり、前記複数のセグメントのうち選択されたセグメントは再生される
画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記選択されたセグメントは、前記時間軸に沿って前記複数のセグメントの画像フレームが表示されているときに、表示領域内で再生される
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記表示領域内で再生されるセグメントの前記１以上の画像フレームに連動して、当該１以上の画像フレーム内に前記特定のターゲットオブジェクトの位置を示すフォーカスが表示される
画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
前記表示領域には、前記再生されるセグメント及び前記時間軸に沿って表示された前記画像フレームとともに、前記特定のターゲットオブジェクトの場所を示すアイコンを含む地図が表示される
画像処理装置。
【請求項８】
請求項６に記載の画像処理装置であって、
前記フォーカスは、識別マーク、強調表示、輪郭表示、及び囲み枠のうち少なくとも１つを含む
画像処理装置。
【請求項９】
請求項５に記載の画像処理装置であって、
前記表示領域内で再生されるセグメントに含まれる画像フレーム内に撮影されている前記特定のターゲットオブジェクトのある時間にわたる移動経路が、前記画像フレーム内の対応する位置に表示される
画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
ユーザにより前記表示領域内の前記特定のターゲットオブジェクトの前記移動経路に沿った所定の位置が指定されると、前記時間軸に沿って表示される前記複数のセグメントのうち前記指定された所定の位置にて前記特定のターゲットオブジェクトを撮影したと認められるセグメントに、前記フォーカスが表示される
画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置であって、
前記複数のセグメントの各々に含まれる前記１以上の画像フレームは、前記時間軸に沿った表示のために前記各セグメントの内容からそれぞれ抽出される１以上の代表画像によりそれぞれ表わされる
画像処理装置。
【請求項１２】
請求項５に記載の画像処理装置であって、
前記表示領域内で再生されるセグメントに含まれるオブジェクトは、ユーザにより前記特定のターゲットオブジェクトとして選択可能であり、
前記ユーザの選択に応じて、前記時間軸に沿って表示される前記複数のセグメントの少なくとも一部が、前記選択された特定のターゲットオブジェクトに関する前記複数のセグメントに置き換えられる
画像処理装置。
【請求項１３】
請求項１に記載の画像処理装置であって、
前記複数のセグメントは、異なる複数の撮像装置によって撮影された画像をもとに生成される
画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置であって、
前記異なる複数の撮像装置は、携帯撮像装置及び映像監視装置のうち少なくとも１つを含む
画像処理装置。
【請求項１５】
請求項１に記載の画像処理装置であって、
前記１以上のメディアソースは、認識されたオブジェクトを含む動画のデータベースを含み、
前記特定のターゲットオブジェクトは、前記認識されたオブジェクトの中から選択される
画像処理装置。
【請求項１６】
請求項５に記載の画像処理装置であって、
前記表示領域とともに、前記１以上のメディアソースの各々の画像がそれぞれ表示されるモニタ表示領域が設けられ、
前記表示領域内に表示される少なくとも１つ以上の表示画像は、前記モニタ表示領域に表示された画像に基づいて変化する
画像処理装置。
【請求項１７】
請求項１に記載の画像処理装置であって、
前記特定のターゲットオブジェクトとしてユーザにより選択可能なオブジェクトを表す複数の候補サムネイル画像が、前記時間軸に沿って表示される前記複数のセグメントの位置と関連付けて表示される
画像処理装置。
【請求項１８】
請求項１７に記載の画像処理装置であって、
前記時間軸に沿った前記複数のセグメントの位置は、ユーザにより選択可能であり、
前記複数の候補サムネイル画像は、前記選択された位置に対応する前記１以上の画像フレームに含まれるオブジェクトのうち前記特定のターゲットオブジェクトである確率が高いオブジェクトの画像である
画像処理装置。
【請求項１９】
請求項１に記載の画像処理装置であって、
前記特定のターゲットオブジェクトが撮影されたと認められるか否かは、前記複数のセグメント内に現れるオブジェクトの前記特定のターゲットオブジェクトとの類似度をもとに判定される
画像処理装置。
【請求項２０】
請求項１に記載の画像処理装置であって、
顔認識処理の結果に応じて、前記特定のターゲットオブジェクトが前記複数のセグメント内に存在するか否か判定される
画像処理装置。
【請求項２１】
１以上のメディアソースから集められ、各々が特定のターゲットオブジェクトが撮影されたと認められる１以上の画像フレームを含む複数のセグメントを取得し、
前記取得された複数のセグメントを、前記複数のセグメント内の前記特定のターゲットオブジェクトの存在を時間に関連付けて示す追跡ステイタスインジケータと連動させて時間軸に沿って表示するために、前記複数のセグメントの画像フレームを供給する
画像処理方法。
【請求項２２】
１以上のメディアソースから集められ、各々が特定のターゲットオブジェクトが撮影されたと認められる１以上の画像フレームを含む複数のセグメントを取得し、
前記取得された複数のセグメントを、前記複数のセグメント内の前記特定のターゲットオブジェクトの存在を時間に関連付けて示す追跡ステイタスインジケータと連動させて時間軸に沿って表示するために、前記複数のセグメントの画像フレームを供給する
ことをコンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置、画像処理方法、及びプログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本技術は、例えば監視カメラシステム等に用いることが可能な画像処理装置、画像処理方法、及びプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
以上のような事情に鑑み、本技術の目的は、有用な監視カメラシステムを実現することが可能となる画像処理装置、画像処理方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するため、本技術の一形態に係る画像処理装置は、取得部と、供給部とを具備する。
前記取得部は、１以上のメディアソースから集められ、各々が特定のターゲットオブジェクトが撮影されたと認められる１以上の画像フレームを含む複数のセグメントを取得する。
前記供給部は、前記取得された複数のセグメントを、前記複数のセグメント内の前記特定のターゲットオブジェクトの存在を時間に関連付けて示す追跡ステイタスインジケータと連動させて時間軸に沿って表示するために、前記複数のセグメントの画像フレームを供給する。
本技術の一形態に係る画像処理方法は、１以上のメディアソースから集められ、各々が特定のターゲットオブジェクトが撮影されたと認められる１以上の画像フレームを含む複数のセグメントを取得することを含む。
前記取得された複数のセグメントを、前記複数のセグメント内の前記特定のターゲットオブジェクトの存在を時間に関連付けて示す追跡ステイタスインジケータと連動させて時間軸に沿って表示するために、前記複数のセグメントの画像フレームが供給される。
本技術の一形態に係るプログラムは、１以上のメディアソースから集められ、各々が特定のターゲットオブジェクトが撮影されたと認められる１以上の画像フレームを含む複数のセグメントを取得し、前記取得された複数のセグメントを、前記複数のセグメント内の前記特定のターゲットオブジェクトの存在を時間に関連付けて示す追跡ステイタスインジケータと連動させて時間軸に沿って表示するために、前記複数のセグメントの画像フレームを供給することを、コンピュータに実行させる。
また、上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、第１の生成部と、記憶部と、配置部とを具備する。
前記検出部は、撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出する。
前記第１の生成部は、前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成する。
前記記憶部は、前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶する。
前記配置部は、前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
監視カメラシステム１００は、１以上のカメラ１０と、本実施形態に係る情報処理装置（画像処理装置）であるサーバ装置２０と、クライアント装置３０とを有する。１以上のカメラ１０及びサーバ装置２０はネットワーク５を介して接続される。またサーバ装置２０及びクライアント装置３０もネットワーク５を介して接続される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
本実施形態に係る画像解析部２３は、検出部、第１の生成部、判定部、第２の生成部の一部として機能する。各機能が１つのブロックで実現される必要はなく、各機能を実現するためのブロックが個別に設定されてもよい。
本実施形態において、複数のフレーム画像１２を含む動画１１を受信するカメラ管理部２１、及び、複数のフレーム画像１２から所定のオブジェクトを検出する画像解析部２３は、複数のセグメントを取得する取得部として機能する。
本実施形態において、セグメントとは、カメラ等で撮影された動画の少なくとも一部であり、所定のオブジェクトが映っていると認められる画像フレーム群のことをいう（単体の画像フレームの場合もあり得る）。またセグメントに含まれる画像フレームとは、本実施形態におけるフレーム画像１２であってもよく、フレーム画像１２内のオブジェクト画像（サムネイル画像）（例えば図７に示す同一サムネイル画像５７等）のような部分画像であってもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
本実施形態では、データ管理部２４は、配置部、選択部、第１及び第２の出力部、補正部、第２の生成部の一部として機能する。
本実施形態において、データ管理部２４は、上記複数のセグメントを時間軸に沿って表示するために、これらのセグメントの画像フレームを供給する供給部として機能する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
本実施形態に係るＵＩ画面５０は、フィルムロール画像５１が表示される第１の表示領域５２と、オブジェクト情報５３が表示される第２の表示領域５４から構成される。図７に示すように、画面５０の下半分が第１の表示領域５２となり、画面５０の上半分が第２の表示領域５４となる。画面５０の上下方向において、第１の表示領域５２の方が第２の表示領域５４よりもサイズ（高さ）が小さい。第１及び第２の表示領域５２及び５４のそれぞれの位置や大きさ等は限定されない。
本実施形態において、ＵＩ画面５０は、表示領域に相当する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
基準サムネイル画像４３が選択されると、基準サムネイル画像４３の追跡ＩＤが参照され、同じ追跡ＩＤが記憶されている１以上のサムネイル画像４１が、同一サムネイル画像５７として選択される。そして１以上同一サムネイル画像５７が、基準サムネイル画像４３の撮影時間（以後、基準時間と記載する）を基準として、時間軸５５に沿って配置される。図７に示すように、基準サムネイル画像４３は、他の同一サムネイル画像５７よりもサイズが大きく設定されている。基準サムネイル画像４３及び１以上の同一サムネイル画像５７により、フィルムロール部５９が構成される。なお、基準サムネイル画像４３は、同一サムネイル画像５７に含まれる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
本実施形態では、基準時間Ｔ１を基準として、時間軸５５上の所定の範囲６１ごとに同一サムネイル５７がそれぞれ配置される。この範囲６１は時間の長さを表し、フィルムロール部５９の尺度（スケール）に相当する。フィルムロール部５９の尺度は限定されず、１秒、５秒、１０秒、３０分、１時間等、適宜設定可能である。例えばフィルムロール部５９の尺度を１０秒とすると、図７に示す基準時間Ｔ１から右側に１０秒間隔で所定の範囲６１が設定される。その１０秒の間に撮影された人物Ａの同一サムネイル画像５７から、フィルムロール画像５１として表示される表示サムネイル画像６２が選択されて配置される。
このようなフィルムロール部５９の表示は、時間軸に沿ってセグメントを表示することに相当する。セグメントの画像フレーム群のうち、所定の間隔ごとに抽出される画像が、そのセグメントに含まれる画像フレーム群を表す代表画像に相当する。例えば１０秒間隔で抽出されるサムネイル画像６２が、その１０秒の範囲に含まれる画像フレーム群を表す代表画像に相当する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
図７に示すステイタスバー５８は、時間軸５５と同一サムネイル画像５７との間に、時間軸５５に沿って表示されている。ステイタスバー５５は、人物Ａのトラッキングが実行されている時間を示している。すなわち同一サムネイル画像５７が存在する時間を示している。例えばフレーム画像１２内において、人物Ａが柱等の後ろに隠れてしまったり、他の人と重なった場合等は、人物Ａがオブジェクトとして検出されない。そうすると人物Ａのサムネイル画像４１は生成されない。このような時間が、トラッキングが実行されていない時間であり、図７で示すステイタスバー５８が途切れている部分６３や配置されない部分６３等が該当する。
本実施形態において、図７に示すステイタスバー５８は、追跡ステイタスインジケータの一例である。しかし、追跡ステイタスインジケータは、これに限定されず、撮影時間情報に応じてターゲットオブジェクトが映っているか否かを示すものであれば、他の表示でもよい。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
図７に示す第２の表示領域５４は、左表示領域６７及び右表示領域６８に分割される。左表示領域６７には、オブジェクト情報５３として出力された地図情報６５が表示される。右表示領域６８には、オブジェクト情報５３として出力されたフレーム画像１２、及び動き画像６９が表示される。これらは、ポインタ５６に示された時間軸５５上の所定の位置に応じて選択された同一サムネイル画像５７に関連した情報として出力される。従ってポインタ５６に示された時間に撮影された同一サムネイル画像５７に含まれる人物Ａの位置を示す地図情報６５が表示される。またポインタ５６に示された時間に撮影された同一サムネイル画像５７を含むフレーム画像１２と、人物Ａの動き画像６９とが表示される。本実施形態では、動き画像６９として動線が表示されるが、動き画像６９として表示される画像は限定されない。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
ポインタ５６に示された時間軸５５上の所定の位置に応じた同一サムネイル画像５７は、その時間に撮影された同一サムネイル画像５７に限定されない。例えばポインタ５６が示す時間を含む範囲６１（フィルムロール部の尺度）において、表示オブジェクト画像６２として選択されている同一サムネイル画像５７に関する情報が表示されてもよい。その他の同一サムネイル画像５７が選択されてもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
本実施形態では、１以上の同一サムネイル画像５７に対する指示が入力され、その指示に応じてポインタ５６が示す時間軸５５上の所定の位置が変更される。具体的には、フィルムロール画像５１が表示されたフィルムロール部５９に対して、左右方向（ｙ軸方向）でドラッグ操作が入力される。これにより同一サムネイル画像５７が左右に移動され、それに合わせて時間軸５５内の時間表示画像（目盛り）も移動する。ポインタ５６の位置は固定されているので、これによりポインタ５６に示される時間軸５５上のポイント位置７４が相対的に変更される。なお、ポインタ５６に対してドラッグ操作が入力されることで、ポイント位置７４が変更されてもよい。その他、ポイント位置７４を変更するための操作等は限定されない。
ここで、時間軸に沿って表示される複数のセグメントの位置とは、例えば、図８及び図９に示すような、第１の表示領域５２内の複数の同一サムネイル画像５７の位置である。上記したような同一サムネイル画像５７を左右に移動させることは、複数のセグメントの位置を選択することに相当する。一方で同一サムネイル画像５７を左右に移動させると、ポインタ５６に示される時間軸５５上のポイント位置７４が変更される。すなわち本実施形態では、このポイント位置７４を変更（選択）することが、時間軸に沿った複数のセグメントの位置を選択することに相当する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
このポイント位置７４の変更に連動して、ポイント位置７４に応じた同一サムネイル画像５７の選択、及びオブジェクト情報５３の出力が変更される。例えば図８及び図９に示すように、同一サムネイル画像５７が左側に移動されるとする。そうするとポインタ５６が相対的に右側に移動して、基準時間Ｔ１よりも後の時間に向けて、ポイント位置７４が変更される。これに連動して、基準時間Ｔ１よりも後に撮影された同一サムネイル画像５７に関する地図情報６５とプレイビュー画像７０が表示される。すなわち地図情報６５においては、動き画像６９に沿って人物Ａのアイコン７１ａが右側に移動し、また人物Ｂのアイコン７１ｂが左側に移動する。プレイビュー画像７０においては、動き画像６９ａに沿って人物Ａが奥側に移動し、また動き画像６９ｂに沿って人物Ｂが手前側に移動する画像が順次表示される。これにより時間軸５５に沿ったオブジェクトの動きを把握することが可能となり、詳細な観察が可能となる。また１以上の同一サムネイル画像５７の中から、プレイビュー画像７０等のオブジェクト情報５３を表示させる画像を選択するといった操作が可能となる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
本実施形態では、ＵＩ画面５０のプレイビュー画像７０上のオブジェクトとして、ターゲットオブジェクト７３である人物Ａが選択される。例えば人物Ａに指が合わせられてもよいし、強調画像７２に指が合わせられてもよい。典型的には、強調画像７２内の領域であるならば、そこをタッチ等することで、人物Ａの選択指示が入力される。人物Ａが選択されると、左表示領域６７に表示される情報が、地図情報６５から拡大表示情報７５に変更される。拡大表示情報７５は、プレイビュー画像７０として表示されるフレーム画像１２から生成されればよい。拡大表示情報７５も、同一サムネイル画像５７に関連するオブジェクト情報５３に含まれる。拡大表示情報７５が表示されることで、ユーザ１が選択したオブジェクトを詳細に観察することが可能となる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
図１０−図１２に示すように、人物Ａが選択された状態で、動き画像６９ａに沿ってドラッグ操作が入力される。そうすると、動き画像６９ａ上の位置に対応したフレーム画像１２が、プレイビュー画像７０として表示される。動き画像６９ａ上の位置に対応したフレーム画像１２とは、その位置に人物Ａが表示されているフレーム画像１２、あるいはその位置に最も近い位置に人物Ａが表示されているフレーム画像１２等である。例えば図１０−図１２に示すように、人物Ａが動き画像６９ａに沿って奥側へ移動される。それに連動して、ポイント位置７４が基準時間Ｔ１よりも後の時間である右側へ移動される。すなわち同一サムネイル画像５７が左側へ移動される。また拡大表示情報７４も連動して変更される。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
本実施形態に係る監視カメラシステム１００では、以下に示すように、簡単な操作によりターゲットオブジェクト７３の補正を実行することが可能である。すなわち入力部により入力された所定の指示に応じて１以上の同一サムネイル画像５７を補正することが可能となっている。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
ポインタ５６よりも左側のサムネイル画像４１が消去された後に、正しいターゲットオブジェクト７３として指定された人物Ａのサムネイル画像４１が同一サムネイル画像５７として配置される。プレイビュー画像７０では、人物Ａの強調画像７２ａが赤色で表示され、人物Ｂの強調画像７２ｂが緑色で表示される。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
このようにオブジェクト情報５３として出力されたプレイビュー画像７０に含まれる他のオブジェクト７６を選択する指示に応じて、１以上の同一サムネイル画像５７が補正される。これにより直観的な操作で補正を実行することが可能となる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
ターゲットオブジェクト７３の誤検出が発生した時点を探索するというのは、１以上の同一サムネイル画像５７のうちその時点以後の少なくとも１つ以上の同一サムネイル画像５７を選択することに相当する。その選択された同一サムネイル画像５７がカットされることで、１以上の同一サムネイル画像５７が補正される。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１１７
【補正方法】変更
【補正の内容】
【０１１７】
カット範囲７８の選択は、１以上の同一サムネイル画像５７のうちの少なくとも１つ以上を選択することに相当する。その選択された同一サムネイル画像５７がカットされることで、１以上の同一サムネイル画像５７が補正される。これにより、直感的な操作で補正を実行することが可能となる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
図３１−図３５は、候補閲覧ボタン８３を利用した候補の表示について説明するための図である。図３１に示すＵＩ画面５０は、同一サムネイル画像５７が補正されて、ターゲットオブジェクト７３となる人物Ａを探索する段階の画面である。このような状態で、ユーザ１により候補閲覧ボタン８３がクリックされる。そうすると図３２に示すように、複数の候補サムネイル画像８５を選択可能に表示するための候補選択ＵＩ８６が表示される。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
図３６は、上記で説明した１以上の同一サムネイル画像５７の補正について、詳しい処理の一例を示すフローチャートである。図３６は、プレイビュー画像７０内の人物がクリックされた場合における処理を示している。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
図３７は、時刻ｔにおいて、ターゲットオブジェクト７３として検出されたオブジェクトが存在すると判定された場合（ステップ１０６のＹｅｓ）の、ＵＩ画面の一例を示す図である。時刻ｔにおいて同一サムネイル画像５７が存在する場合は、プレイビュー画像７０にその人物（ここでは人物Ｂ）が映っていることになる。この場合は、時刻ｔ以前の最も近いアラーム人物の追尾データがなくなる、追尾データの中断時刻が検出される（ステップ１０７）。図３７にも示すように、その中断時刻をｔ_ａとする。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
時刻ｔにおいて同一サムネイル画像５７が存在しない場合は、プレイビュー画像７０にその人物（人物Ｂ）は映っていない（映っているが検出されていない場合等はあり得る）。この場合、時刻ｔ以前の最も近いアラーム人物の追尾データが検出される（ステップ１１２）。そしてその追尾データの時刻（時刻ｔ_ａとする）が算出される。図３８に示す例では、ターゲットオブジェクト７３として検出された人物Ａのデータが検出され、その時刻ｔ_ａが算出される。なお時刻ｔよりも前の時間において追尾データが存在しない場合は、時刻ｔ_ａとして最小時刻が設定される。最小時刻とは、設定される時間軸において、最も小さい時刻であり最も左側の時点を意味する。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
指定した人物がターゲットオブジェクト７３に設定される（ステップ１１０）。すなわち時刻ｔ_ａから時刻ｔ_ｂまでに指定した人物データのtrack_idが新規に発行され、そのtrack_idがアラーム人物のtrack_idとして設定される。その結果、図３８に示す例では、途中の追尾データが存在しない範囲に、ポップアップ７７を介して指定された人物Ａのサムネイル画像が配置される。これにより同一オブジェクト５７が補正され、修正後のＧＵＩが更新される（ステップ１１１）。この結果、フィルムロール部５９には、人物Ａのサムネイル画像が同一サムネイル画像５７として配置される。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
開始時刻及び終了時刻が設定されると、開始時刻から終了時刻の間に追尾人物データのtrack_idが新規に発行される（ステップ２０６）。これにより同一オブジェクト５７が補正され、修正後のＧＵＩが更新される（ステップ２１５）。図３６及び図３９の例に示すような処理により、１以上の同一サムネイル画像５７の補正が実行されてもよい。なお図４１に示すように、同一サムネイル画像５７幅よりも小さい範囲がカット対象の範囲として選択されてもよい。その場合のその範囲に該当する、サムネイル画像４１の一部４１ｐが消去されればよい。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０１５１
【補正方法】変更
【補正の内容】
【０１５１】
図４５に示すように、フリック操作により、ポイント位置５７が動かされもよい。左右方向へのフリック操作が入力されると、指１がリリースされた瞬間の移動速度が算出される。その速度に基づいて、一定の減速度を受けながら、フリック方向に１以上の同一サムネイル画像５７が移動される。ポインタ５６は、相対的にフリック方向と逆の方向に移動される。移動速度の算出方法や、減速度の設定方法は限定されず、周知の技術が用いられてもよい。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】０１５７
【補正方法】変更
【補正の内容】
【０１５７】
固定サイズＳ１に割り当て可能な最小時間が予め設定されていてもよい。そして２点Ｌ及びＭ間の距離が最小時間が割り当てられる以上に広げられた時点で、自動的にフィルムロール部５９の尺度が最小時間に設定されてもよい。例えば図５０において、最小時間として５秒が設定されているとする。固定サイズＳ１に５秒分の目盛りが割り当てられる距離は、表示サムネイル画像６２のサイズＳ２が固定サイズＳ１の２倍のサイズになる距離である。その距離以上よりも２点間Ｌ及びＭが広げられると、図５１に示すように、両手１ａ及び１ｂがリリースされなくとも自動的に尺度が最小時間である５秒に設定される。このような処理により、フィルムロール画像の操作性が向上する。なお最小時間として設定される時間は限定されない。例えば初期状態として設定される尺度を基準として、その２分の１の時間や、３分の１の時間等が最小時間として設定されてもよい。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】０１６１
【補正方法】変更
【補正の内容】
【０１６１】
固定サイズＳ１に割り当て可能な最大時間が予め設定されていてもよい。そして２点Ｌ及びＭ間の距離が最大時間が割り当てられる以上に狭められた時点で、自動的にフィルムロール部５９の尺度が最大時間に設定されてもよい。例えば図５４において、最大時間として１０秒が設定されているとする。固定サイズに１０秒分の目盛りが割り当てられる距離は、表示サムネイル画像６２のサイズが固定サイズの２分の１のサイズになる距離である。その距離以上よりも２点間Ｌ及びＭが狭められると、図５５に示すように、両手がリリースされなくとも自動的に尺度が最大時間である１０秒に設定される。このような処理により、フィルムロール画像５１の操作性が向上する。なお最大時間として設定される時間は限定されない。例えば初期状態として設定される尺度を基準として、その２倍の時間や、３倍の時間等が最大時間として設定されてもよい。
【手続補正３３】
【補正対象書類名】図面
【補正対象項目名】図６１
【補正方法】変更
【補正の内容】
【図６１】
2014153813.tif 000001
【手続補正３４】
【補正対象書類名】図面
【補正対象項目名】図６２
【補正方法】変更
【補正の内容】
【図６２】
2014153813.tif 000002
【手続補正３５】
【補正対象書類名】図面
【補正対象項目名】図６３
【補正方法】変更
【補正の内容】
【図６３】
2014153813.tif 000003
【手続補正３６】
【補正対象書類名】図面
【補正対象項目名】図７２
【補正方法】変更
【補正の内容】
【図７２】
2014153813.tif 000004
【手続補正３７】
【補正対象書類名】図面
【補正対象項目名】図７３
【補正方法】変更
【補正の内容】
【図７３】
2014153813.tif 000005
【手続補正３８】
【補正対象書類名】図面
【補正対象項目名】図７４
【補正方法】変更
【補正の内容】
【図７４】
2014153813.tif 000006
【手続補正３９】
【補正対象書類名】図面
【補正対象項目名】図７５
【補正方法】変更
【補正の内容】
【図７５】
2014153813.tif 000007
【手続補正４０】
【補正対象書類名】図面
【補正対象項目名】図７６
【補正方法】変更
【補正の内容】
【図７６】
2014153813.tif 000008