(57)【要約】【課題】  被写体の軌跡上を指定することで再生シーンを制御する再生制御方式において、未再生部分も指定可能にする。【解決手段】  デコーダ（１０６）は記録媒体（１２０）の動画像（符号化画像データ）を復号化し、被写体検出部（１０３）は、再生画像データ中の被写体とその被写体位置を検出する。ＣＰＵ（１０９）は、被写体位置から被写体の軌跡を生成し、再生画像に重畳して表示する。再生ポーズ中、ＣＰＵ（１０９）は、時間的に先の未再生のシーンをデコーダ（１０６）に復号化させ、被写体検出部（１０３）に被写体とその被写体位置を検出させる。ＣＰＵ（１０９）は、検出された被写体位置から軌跡を生成し、予測軌跡として再生画像に重畳する。【選択図】  図１
2015084483.tif 000002
【特許請求の範囲】
【請求項１】
再生画像に重畳して表示する被写体軌跡により再生を制御する画像再生装置であって、
動画像の符号化画像データを表示用に復号化すると共に、まだ再生に至らない所定フレームの符号化画像データを復号化し、それぞれの再生画像データを出力する復号化手段と、
前記再生画像データから被写体とその被写体位置を検出する被写体検出手段と、
前記被写体位置から前記被写体軌跡を作成する軌跡生成手段と、
前記再生画像データに前記軌跡生成手段で作成される前記被写体軌跡を合成することにより表示用画像データを生成する合成手段
とを有することを特徴とする画像再生装置。
【請求項２】
更に、
再生ポーズを指示する指示手段と、
再生ポーズ状態において、前記所定フレームの符号化画像データを前記復号化手段により復号化させ、得られた再生画像データから前記被写体検出手段により被写体位置を検出させ、前記軌跡生成手段に被写体軌跡を作成させる制御手段
とを有することを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記所定フレームは、再生表示されるフレーム間隔よりも大きなフレーム間隔のフレームであることを特徴とする請求項１又は２に記載の画像再生装置。
【請求項４】
前記所定フレームは、フレーム内符号化フレームであることを特徴とする請求項３に記載の画像再生装置。
【請求項５】
更に、前記所定フレームに対して前記被写体検出手段により検出される被写体位置を補間する補間手段を有し、
前記軌跡生成手段は、前記フレームに対して前記被写体検出手段により検出される被写体位置と前記補間手段により補間される被写体位置とから軌跡を作成する
ことを特徴とする請求項３又は４に記載の画像再生装置。
【請求項６】
前記所定フレームは、表示中のシーンから所定時間以内のものであることを特徴とする請求項１ないし５の何れか１項に記載の画像再生装置。
【請求項７】
前記被写体がフレームインをするシーンとフレームアウトをするシーンを検出する検出手段を具備し、
前記所定フレームは、前記フレームインのシーンから前記フレームアウトのシーンとの間のフレームである
ことを特徴とする請求項１ないし７の何れか1項に記載の画像再生装置。
【請求項８】
前記軌跡生成手段は、再生表示したフレームに対する前記軌跡と、未再生のフレームに対する前記軌跡を互いの異なる線形状又は色で表現することを特徴とする請求項１ないし７の何れか１項に記載の画像再生装置。
【請求項９】
前記被写体検出手段で検出すべき被写体を選択する手段を有することを特徴とする請求項１ないし８の何れか１項に記載の画像再生装置。
【請求項１０】
更に、前記被写体検出手段で検出される被写体を認証する被写体認証手段を具備し、
前記軌跡生成手段は、前記被写体認証手段で認証された被写体の被写体位置からその軌跡を作成する
ことを特徴とする請求項１ないし８の何れか１項に記載の画像再生装置。
【請求項１１】
動画像の符号化画像データを表示用に復号化し、表示用の再生画像データを出力するステップと、
前記表示用の再生画像データから被写体とその被写体位置を検出するステップと、
前記被写体位置から前記被写体の再生軌跡を作成するステップと、
前記再生画像データの画像に前記再生軌跡を合成するステップと、
表示中のシーンに対してまた再生に至らない所定フレームの符号化画像データを復号化する復号化ステップと、
前記復号化ステップにより得られる画像データから前記被写体とその被写体位置を検出するステップと、
前記復号化ステップにより得られる画像データから検出される被写体位置から前記被写体の予測軌跡を作成する予測軌跡生成ステップと、
前記再生画像データに前記予測軌跡を合成するステップ
とを有することを特徴とする画像再生方法。
【請求項１２】
コンピュータに請求項１１に記載の画像再生方法を実行させるためのプログラム。
【請求項１３】
動画像に含まれる被写体を検出し、前記被写体がフレームインする位置とフレームアウトする位置を検出する被写体検出手段と、
前記被写体の動きを示す軌跡を前記動画像を表示する画面に描画する軌跡描画手段と、
前記画面に対するユーザのタッチ操作を受け付ける操作手段と、
前記軌跡に対するユーザ操作に応じて前記動画像の再生を制御する制御手段であって、前記軌跡に対するユーザのフリック操作に応じて、前記フリック操作の方向が前記被写体の移動方向である場合に、前記被写体がフレームアウトする位置まで早送り再生する制御手段
とを有することを特徴とする画像再生装置。
【請求項１４】
前記制御手段は、前記フリック操作の方向が前記被写体の移動方向とは逆方向である場合に、前記被写体がフレームインする位置まで巻き戻し再生することを特徴とする請求項１３に記載の画像再生装置。
【請求項１５】
前記制御手段は、前記フリック操作の方向が前記被写体の移動方向とは逆方向である場合で、前記被写体がフレームインする位置を前記被写体検出手段が検出していないときに、前記動画像の再生開始時間まで巻き戻しすることを特徴とする請求項１３又は１４に画像再生装置。
【請求項１６】
動画像に含まれる被写体を検出し、前記被写体がフレームインする位置とフレームアウトする位置を検出する被写体検出手段と、
前記被写体の動きを示す軌跡を前記動画像を表示する画面に描画する軌跡描画手段と、
前記画面に対するユーザのタッチ操作を受け付ける操作手段と、
前記軌跡に対するユーザ操作に応じて前記動画像の再生を制御する制御手段であって、前記軌跡に対するユーザのフリック操作に応じて、前記フリック操作の方向が前記被写体の移動方向とは逆方向である場合に、前記被写体がフレームインする位置まで巻き戻し再生する制御手段
とを有することを特徴とする画像再生装置。
【請求項１７】
前記制御手段は、前記フリック操作の方向が前記被写体の移動方向と同じ方向である場合で、前記被写体がフレームアウトする位置を前記被写体検出手段が検出していないときには、前記動画像の再生終了時間まで早送りすることを特徴とする請求項１６に画像再生装置。
【請求項１８】
更に、前記軌跡の複雑度を判断する複雑度判定手段を有し、
前記制御手段は、前記軌跡の複雑度が所定値以上である場合に、前記操作手段に対する前記フリック操作を受け付ける
ことを特徴とする請求項１３ないし１７の何れか１項に記載の画像再生装置。
【請求項１９】
前記制御手段は、前記フリック操作の速度に応じて再生制御の速度を変更することを特徴とする請求項１３ないし１８の何れか１項に記載の画像再生装置。
【請求項２０】
動画像に含まれる被写体を検出し、前記被写体がフレームインする位置とフレームアウトする位置を検出する被写体検出ステップと、
前記被写体の動きを示す軌跡を前記動画像を表示する画面に描画する軌跡描画ステップと、
前記画面に対するユーザのフリック操作を受け付ける操作受け付けステップと、
前記軌跡に対するユーザのフリック操作のフリック方向が前記被写体の移動方向である場合に、前記被写体がフレームアウトする位置まで早送り再生する制御ステップ
とを有することを特徴とする画像再生方法。
【請求項２１】
動画像に含まれる被写体を検出し、前記被写体がフレームインする位置とフレームアウトする位置を検出する被写体検出ステップと、
前記被写体の動きを示す軌跡を前記動画像を表示する画面に描画する軌跡描画ステップと、
前記画面に対するユーザのフリック操作を受け付ける操作受け付けステップと、
前記軌跡に対するユーザのフリック操作のフリック方向が前記被写体の移動方向とは逆方向である場合に、前記被写体がフレームインする位置まで巻き戻し再生する制御ステップ
とを有することを特徴とする画像再生方法。
【請求項２２】
更に、前記軌跡に対するユーザのフリック操作のフリック方向が前記被写体の移動方向である場合に、前記被写体がフレームアウトする位置まで早送り再生するステップを有することを特徴とする請求項２１に記載の画像再生方法。
【請求項２３】
コンピュータに請求項２０ないし２２の何れか１項に記載の画像再生方法を実行させるためのプログラム。
【請求項２４】
動画像を再生する画像再生装置であって、
前記動画像に含まれる被写体を検出する被写体検出手段と、
前記被写体が前記動画像からフレームアウトする再生時間を検出して記憶するフレームアウト検出手段と、
前記被写体がフレームアウトした後の前記動画像の表示画面に、前記被写体を示すアイコンを表示するアイコン表示手段と、
ユーザによる前記アイコンの選択操作を検知する手段と、
前記アイコンの選択操作に応じて、前記再生時間に前記動画像の再生を制御する制御手段
とを有することを特徴とする画像再生装置。
【請求項２５】
更に、前記被写体検出された被写体の動きを示す軌跡を作成し、前記表示画面に前記軌跡を描画する軌跡生成手段を有することを特徴とする請求項２４に記載の画像再生装置。
【請求項２６】
前記制御手段は、前記表示画面に描画される前記軌跡に対して前記アイコンを移動する操作に応じて、この操作による前記軌跡上の位置に対応する再生時間に前記動画像を制御する
ことを特徴とする請求項２５に記載の画像再生装置。
【請求項２７】
前記軌跡生成手段は、前記アイコンの選択操作に応じて前記表示画面に前記軌跡を描画することを特徴とする請求項２５又は２６に記載の画像再生装置。
【請求項２８】
前記アイコン表示手段は、前記被写体がフレームアウトする画面上の位置又はその近傍に前記アイコンを表示することを特徴とする請求項２４ないし２７の何れか１項に記載の画像再生装置。
【請求項２９】
前記制御手段は、前記アイコンの選択後の、前記アイコンの表示位置での前記選択を解除する操作に対して、前記アイコンを選択するための再生シーンに戻るように制御することを特徴とする請求項２４ないし２８の何れか１項に記載の画像再生装置。
【請求項３０】
前記軌跡生成手段は、前記軌跡を示す情報を記憶手段に保持することを特徴とする請求項２５ないし２９の何れか１項に記載の画像再生装置。
【請求項３１】
前記フレームアウトの位置と前記軌跡を示す情報が所定数を超える場合に、フレームアウトを検知した順に古いものを破棄することを特徴とする請求項３０に記載の画像再生装置。
【請求項３２】
前記被写体が特定の被写体であるか否かを認証する被写体認証手段を有し、
前記被写体認証手段で認証された被写体の前記フレームアウトの位置及び前記軌跡を示す情報を、前記被写体認証手段によって新たに認証された被写体がフレームアウトするまで保持する
ことを特徴とする請求項３１に記載の画像再生装置。
【請求項３３】
前記動画像のシーンの切り替えに応じて、前記フレームアウトの位置及び前記軌跡を示す情報を破棄することを特徴とする請求項３１に記載の画像再生装置。
【請求項３４】
前記被写体のフレームアウトの検出に応じて、前記フレームアウトの直前の画像の一部を保持する手段を有することを特徴とする請求項２４ないし３３の何れか１項に記載の画像再生装置。
【請求項３５】
動画像を再生する画像再生装置であって、
前記動画像に含まれる被写体を検出する被写体検出手段と、
前記被写体が前記動画像からフレームアウトする再生時間を検出して記憶するフレームアウト検出手段と、
前記被写体のフレームアウトの検出に応じて、前記フレームアウトの直前の画像の一部を保持する手段
とを有することを特徴とする画像再生装置。
【請求項３６】
ユーザの操作に応じて、前記フレームアウトの直前の画像の一部を表示することを特徴とする請求項３５に記載の画像再生装置。
【請求項３７】
動画像を再生する画像再生方法であって、
前記動画像に含まれる被写体を検出するステップと、
前記被写体が前記動画像からフレームアウトする再生時間を検出して記憶するステップと、
前記被写体がフレームアウトした後の前記動画像の表示画面に、前記被写体を示すアイコンを表示するステップと、
ユーザによる前記アイコンの選択操作を検知するステップと、
前記アイコンの選択操作に応じて、前記再生時間に前記動画像の再生を制御するステップ
とを有することを特徴とする画像再生方法。
【請求項３８】
コンピュータに請求項３７に記載の画像再生方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像再生装置、方法及びプログラムに関し、より具体的には、被写体の移動軌跡を重畳表示する画像再生装置、方法及びプログラムに関する。
【背景技術】
【０００２】
近年パーソナルコンピュータや携帯電話、ゲーム機器、デジタルカメラなどで動画像を再生できるものが増えてきている。これらの装置では、マウス、タッチパッド、タッチパネル又は十字キー等の操作手段を用いて画面内のボタンやシークバーを操作することで、動画の所望シーンへの早送りや巻き戻しを操作できるようになっている。
【０００３】
動画像の再生を操作する技術として、ユーザが画面内の被写体を直接掴んで移動させるようなＧＵＩ（Graphical User Interface）操作（ドラッグ操作）をすることで、動画の早送りや巻き戻しを指示する技術が知られている。
【０００４】
また、動画像から任意又は特定の被写体の軌跡を取得し、移動軌跡線を再生画像に重畳表示する技術も知られている。
【０００５】
特許文献１には、被写体を操作することによってその被写体に関連したデータの表示または場面への移行を行う技術がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−１１４４２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
動画像中のユーザが選択した被写体の移動軌跡を表示画像に重畳するには、動画像を復号化し、各画面から当該被写体の位置を検出する必要がある。再生早送りをした場合には、復号化しない画面が発生し、これらの画面では被写体の位置を検出しない。従って、被写体の位置を接続した移動軌跡を生成できなくなり、この結果、移動軌跡に沿って被写体をドラッグする再生操作を実現できない。
【０００８】
また、移動軌跡に沿ったドラッグ操作による再生制御では、被写体の軌跡が複雑な場合でも、その軌跡上をドラッグ操作する必要がある。例えば、選択した被写体がフレームアウトするまで早送りしたい場合などには軌跡上の移動距離が多くなり、操作に手間がかかる。
【０００９】
また、従来技術では、被写体が画面内から消えて(フレームアウト)しまった場合に、その被写体をＧＵＩ画面上で選択する（つかむ）ことができない。このような状況では、移動軌跡に沿った再生操作を使えず、シークバー上のポインタを操作する等の別の再生操作を採用しなければならない。このように、状況に応じて再生操作方法が変化するのは、ユーザにとって使い勝手が悪い。
【００１０】
本発明は、このような移動軌跡に沿ったドラッグ操作等の画面操作による再生制御の操作性を改善した画像再生装置、方法及びプログラムを提示することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の係る画像再生装置は、再生画像に重畳して表示する被写体軌跡により再生を制御する画像再生装置であって、動画像の符号化画像データを表示用に復号化すると共に、まだ再生に至らない所定フレームの符号化画像データを復号化し、それぞれの再生画像データを出力する復号化手段と、前記再生画像データから被写体とその被写体位置を検出する被写体検出手段と、前記被写体位置から前記被写体軌跡を作成する軌跡生成手段と、前記再生画像データに前記軌跡生成手段で作成される前記被写体軌跡を合成することにより表示用画像データを生成する合成手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、効率的に軌跡情報を取得し、一度も再生していないシーンの予測軌跡線を描画することで、所望のシーン、とくに早送り方向のシーンの選択性が向上する。
【００１３】
また、本発明によれば、被写体の軌跡をなぞることなく、直感的に被写体をフレームアウトさせることが可能となる。
【００１４】
また、本発明によれば、フレームアウトした被写体とアイコンを関連付け、その関連づけられたアイコンを選択、移動をさせることで、直観的に所望のシーンを再生することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る画像再生装置の一実施例の概略構成ブロック図である。
【図２】タッチパネルへの操作の説明図である。
【図３】被写体を検出しその位置情報を保持しながら画像再生する被写体検出動画再生のイメージ図である。
【図４】図３で説明した被写体検出動画再生の動作フローチャートである。
【図５】ドラッグ操作による動画像の早送り再生と巻き戻し再生のイメージ図である。
【図６】再生ポーズ状態での動作フローチャートである。
【図７】本実施例による予測軌跡表示のイメージ図である。
【図８】早送り又は巻き戻し再生の場合の予測軌跡生成描画処理の動作フローチャートである。
【図９】再生軌跡データと予測軌跡データを更新する処理のイメージ図である。
【図１０】被写体検出動画再生動作時に予測軌跡情報を破棄する処理の動作フローチャートである。
【図１１Ａ】フリック操作による早送り／巻き戻し制御の動作フローチャートである。
【図１１Ｂ】図１１Ａに続く動作フローチャートである。
【図１２】フリック操作による早送り／巻き戻し制御の説明例である。
【図１３Ａ】フリック操作の方向と強度による早送り／巻き戻し制御の動作フローチャートである。
【図１３Ｂ】図１３Ａに続く動作フローチャートである。
【図１４Ａ】フレームアウトした場合の被写体検出動画再生の動作フローチャートである。
【図１４Ｂ】図１４Ａに続く動作フローチャートである。
【図１５】フレームアウト被写体を選択した場合の再生ポーズ動作のイメージ図である。
【図１６】被写体が複数検出される動画像説明図である。
【図１７】認証被写体が検出される場合の動画像説明図である。
【図１８Ａ】フレームアウト被写体再生軌跡データ登録の動作フローチャートである。
【図１８Ｂ】図１８Ａに続く動作フローチャートである。
【図１９】被写体がフレームアウトする直前画像を切り出す動作の動画像説明図である。
【図２０】切出し画像を用いる再生制御の説明図である。
【図２１Ａ】被写体がフレームアウトする直前画像を切り出す被写体検出動画再生の動作フローチャートである。
【図２１Ｂ】図２１Ａに続く動作フローチャートである。
【図２２Ａ】切出し画像を用いる再生制御の動作フローチャートである。
【図２２Ｂ】図２２Ａに続く動作フローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１７】
図１は、本発明に係る画像再生装置の一実施例の概略構成ブロック図である。
【００１８】
画像再生装置１００は、着脱自在なメモリカード等からなる記録媒体１２０から動画像を再生し、再生画像に重畳して表示する被写体軌跡により再生を制御するできる。記録媒体１２０に記録される動画像は、例えば、撮影画像（動画像）をＭＰＥＧ（Moving Picture Expert Group）方式等の標準的な方式で符号化された符号化画像データである。画像再生装置１００は、動画を撮影記録可能な撮像装置に組み込まれる。
【００１９】
１０１は、画像再生装置１００のメインメモリとなるＤＲＡＭ（Dynamic Random Access Memory）であり、記録媒体１２０から読み出した符号化画像データ、及び復号化された画像データ等を一時保持可能である。
【００２０】
１０２は、ＤＲＡＭ１０１へのアクセスするためのデータバスである。
【００２１】
１０３は、ＤＲＡＭ１０１上に一時保持される画像データから被写体領域を検出する被写体検出部である。
【００２２】
１０４は、被写体検出部１０３が検出した被写体画像から特徴情報を抽出し、登録されている特徴情報と比較し、類似度を算出することで被写体を認証判定する被写体認証部である。
【００２３】
１０５は、液晶パネル等の表示装置に一体化されたタッチパネルであり、画面にユーザが接触することで接触位置情報を検出し出力する。タッチパネル１０５は、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式又は光センサ方式等の様々な方式のタッチパネルのうちいずれの方式のものでもよい。静電容量式タッチパネルの場合、直接の接触を必要とせず、タッチパネル面への近接であっても、接触と検知できる。
【００２４】
１０６は、ＤＲＡＭ１０１に一時保持される符号化画像データを復号化し、画像データ（再生画像データ）をＤＲＡＭ１０１に出力するデコーダ（復号化手段）である。
【００２５】
１０７は、画像再生装置１００に装着されている記録媒体１２０から符号化画像データをＤＲＡＭ１０１に読み込む可能なメディアインターフェース（Ｉ／Ｆ）である。
【００２６】
１０８は、ＣＰＵ１０９からブロック１０１〜１０７への制御信号を伝送する制御バスである。
【００２７】
１０９は、画像再生装置１００全体を制御するＣＰＵである。
【００２８】
１１０は、ＣＰＵ１０９とＲＯＭ１１１及びＲＡＭ１１２とを接続するプログラムバスである。
【００２９】
１１１は、ＣＰＵ１０９で動作するプログラムが格納されているＲＯＭ（Read Only Memory）である。１１２は、ＣＰＵ１０９の主メモリ及びワークメモリとなるＲＡＭ（Random Access Memory）である。
【００３０】
ＲＯＭ１１１には、以下に説明する処理を実現するプログラムが格納されており、ＣＰＵ１０９は、適宜にこれらのプログラムを実行する。
【００３１】
再生軌跡情報生成処理は、通常動画再生動作時に、デコーダ１０６によって復号化された画像データから、被写体検出部１０３を用いて被写体位置を検出し、再生軌跡情報を生成する。
【００３２】
再生軌跡描画処理は、再生軌跡情報を用いて、ＤＲＡＭ１０１上に存在する表示再生画像に軌跡を描画する。
【００３３】
軌跡情報解析処理は、再生軌跡情報を解析し、再生軌跡情報が存在しない動画像のシーンを検出する。
【００３４】
予測軌跡情報生成処理は、軌跡情報解析処理によって検出された動画像のシーンから予め復号化するシーンを抽出し、抽出されたシーンをデコーダ１０６によって復号化させ、被写体検出部１０３によって検出された位置情報から予測軌跡情報を生成する。予測軌跡の生成対象となるシーンは、例えば、その動画像の、まだ再生に至らない将来のシーンである。
【００３５】
予測軌跡情報補間処理は、軌跡情報解析処理の結果と予測軌跡情報から軌跡がないシーンを検出し、前後の軌跡情報から軌跡がないシーンの軌跡情報を補間する。
【００３６】
予測軌跡描画処理は、予測軌跡情報を用いて、ＤＲＡＭ１０１上に存在する表示再生画像に軌跡を描画する。
【００３７】
フレームインアウト検出処理は、再生軌跡情報生成処理、および予測軌跡情報生成処理を実行中に、被写体がフレームアウト及びフレームインしたシーンを検出する。
【００３８】
ＣＰＵ１０９（上で動作するプログラム）は、タッチパネル１０５に対する図２に示すユーザ操作／状態を検出する操作判定機能を有する。タッチパネル１０５は、ペンや指が触れている位置座標を、データバス１０８を介してＣＰＵ１０９に通知する。ＣＰＵ１０９は、タッチパネル１０５から通知された位置情報に基づいてタッチパネル１０５に対する上記の操作／状態を判定する。タッチパネル１０５上で移動するペンや指の移動方向についても、ＣＰＵ１０９は、位置座標の変化に基づいて、タッチパネル１０５上の垂直成分・水平成分毎に判定できる。
【００３９】
図２（１）に示すように、タッチパネル１０５を指やペンで触れる操作を、「タッチオン」と称する。図２（２）に示すように、タッチパネル１０５を指やペンで触れたまま移動する操作を、「ムーブ」と称する。図２（３）に示すように、タッチパネル１０５へ触れていた指やペンを離す操作を、「タッチアップ」と称する。図２（４）に示すように、タッチパネル１０５に何も触れていない状態を、「タッチオフ」と称する。タッチパネル１０５上をタッチダウンから一定のムーブを経てタッチアップしたとき、ストロークを描いたこととする。図２（５）に示すように、素早くストロークを描く操作を、「フリック」と呼ぶ。フリックは、タッチパネル１０５上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル１０５上を指ではじくように素早くなぞる操作である。所定距離以上を所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されると、ＣＰＵ１０９は、フリックが行われたと判定する。また、所定距離以上を所定速度未満でムーブしたことが検出された場合、ＣＰＵ１０９は、ドラッグが行われたと判定する。
【００４０】
静電容量式タッチパネルの場合、指などが実際にパネル面に接触していなくても、ある程度パネル面に近づくことで、タッチ状態と検出することができる。このようなケースも、以下の説明におけるタッチパネル１０５に対するタッチ操作ないしユーザ操作と同視できることは明らかである。
【００４１】
図３は、再生画像から被写体を検出し、検出された被写体の位置情報を保持しながら再生する被写体検出動画再生のイメージ図である。図３に示す例では、動画像のシーンとしてＳｃｅｎｅ０〜Ｓｃｅｎｅ７があり、再生シーン時間情報はそれぞれ以下のようになっている。すなわち、
【表１】
2015084483.tif 000003
同じ被写体ＡがＳｃｅｎｅ０〜Ｓｃｅｎｅ５に含まれている。
【００４２】
図３に示す動画像に対して、被写体を検出しつつ動画再生を行ったとする。Ｓｃｅｎｅ０を再生時に被写体Ａが検出される。ＣＰＵ１０９は、被写体Ａに対応する被写体再生軌跡データＡとして、その時の位置情報（ｘ０，ｙ０）と再生時間情報００：００を追記する。
【００４３】
ＣＰＵ１０９は、Ｓｃｅｎｅ１を再生時に検出された被写体がすでに登録されている被写体Ａと同一かどうかを判断する。被写体Ａと同一であるので、ＣＰＵ１０９は、Ｓｃｅｎｅ１での検出位置情報（ｘ１，ｙ１）と再生時間情報００：０１を被写体再生軌跡データＡに追記する。ＣＰＵ１０９は、Ｓｃｅｎｅ２からＳｃｅｎｅ７に対して同様に、被写体の検出と同一性の判定、軌跡データの登録を実行する。
【００４４】
図３に示す例に対して、被写体再生軌跡データＡは、以下のような情報となる。すなわち、
【数１】
2015084483.tif 000004
Ｓｃｅｎｅ６で被写体Ａが検出されなくなるので、フレームアウトマーカとして、検出位置情報（−１，−１）と、その時の再生時間情報００：０６を追記する。Ｓｃｅｎｅ７では被写体が検出されないので、検出位置情報と再生時間情報は追記されない。
【００４５】
図４は、図３で説明した被写体検出動画再生の動作フローチャートである。ＣＰＵ１０９は、ユーザからの再生指示をタッチパネル１０５の出力により検出すると、記録媒体１２０に記録されている符号化画像データをメディアＩ／Ｆ１０７を介してＤＲＡＭ１０１に読み込む（Ｓ４０１）。
【００４６】
デコーダ１０６は、読み込まれた符号化画像データをデコードし、生成した再生画像データをＤＲＡＭ１０１に書き込む（Ｓ４０２）。
【００４７】
被写体検出部１０３は、Ｓ４０２で生成された再生画像データに所望の被写体が存在するかを検出する（Ｓ４０３）。例えば、被写体検出モードが顔検出だった場合、被写体検出部１０３は、画像データから輪郭情報を抽出し、その輪郭情報と、一般的多数の顔画像から標準化した顔特徴情報とを比較し、一定以上の合致率で一致する領域があるかを検出する。
【００４８】
ＣＰＵ１０９は、Ｓ４０３で被写体が検出されたかを判断する（Ｓ４０４）。
【００４９】
Ｓ４０４でＮｏの場合、ＣＰＵ１０９は、Ｓ４０８に移行する。
【００５０】
Ｓ４０４でＹｅｓの場合、ＣＰＵ１０９は、既に検出されている被写体と同一かどうかを判断する（Ｓ４０５）。例えば、直前の画像で検出された被写体の位置とＳ４０３で検出された被写体の位置が所定距離以内であれば、同一被写体と判断する方法がある。又は、直前の画像で検出された被写体の輪郭情報とＳ４０３で抽出した輪郭情報とを比較し、一定以上の確度で一致した場合に同一被写体と判断する。
【００５１】
Ｓ４０５でＹｅｓの場合、ＣＰＵ１０９は、Ｓ４０７に移行する。
【００５２】
Ｓ４０５でＮｏの場合、ＣＰＵ１０９は、新規被写体としてこの被写体のための被写体再生軌跡データを登録する（Ｓ４０６）。この被写体再生軌跡データは、Ｓ４０３で検出した被写体の輪郭情報と検出位置情報と検出位置に応じた再生シーン時間情報とを登録可能なデータ構造であって、位置情報と再生シーン時間を時系列に追記可能なデータ構造を有している。Ｓ４０６では、ＣＰＵ１０９は、被写体再生軌跡データを登録する際に、Ｓ４０３で検出した被写体の輪郭情報を登録する。
【００５３】
Ｓ４０５でＮｏの場合、ＣＰＵ１０９は、Ｓ４０６で被写体再生軌跡データを登録した後にＳ４０３で検出された被写体位置情報と再生シーン時間情報を該当する被写体再生軌跡データに追記する（Ｓ４０７）。
【００５４】
Ｓ４０４でＮｏの場合又はＳ４０７の後、ＣＰＵ１０９は、Ｓ４０２で生成したＤＲＡＭ１０１の再生画像データを読み込み、図示しない表示部に表示する（Ｓ４０８）。
【００５５】
ＣＰＵ１０９は、タッチパネル１０５に対するユーザからの再生ポーズ指示の操作受け付けの有無を判断する（Ｓ４０９）。
【００５６】
Ｓ４０９でＹｅｓの場合、ＣＰＵ１０９は、再生ポーズ動作に遷移する。
【００５７】
Ｓ４０９でＮｏの場合、ＣＰＵ１０９は、タッチパネル１０５に対するユーザからの再生終了指示の操作受け付けの有無を判断する（Ｓ４１０）。
【００５８】
Ｓ４０９でＮｏの場合、ＣＰＵ１０９は、Ｓ４０１へ戻る。Ｓ４０９でＹｅｓの場合、ＣＰＵ１０９は、動画再生を終了する。
【００５９】
ＣＰＵ１０９は、ステップＳ４０１〜Ｓ４１０の動作を動画像の再生フレームレートに応じて繰り返すことで、被写体検出動画再生を実現する。
【００６０】
図５は、ユーザが画面内の被写体を直接つかんで動かすドラッグ操作による動画像の早送り再生と巻き戻し再生のイメージ図である。
【００６１】
図５（１）は、Ｓｃｅｎｅ５の再生表示例を示す。Ｓｃｅｎｅ５では被写体Ａが検出され、被写体Ａは、位置（ｘ５，ｙ５）に存在する。
【００６２】
ユーザから再生ポーズ指示があると、被写体再生軌跡データＡが存在するので、ＣＰＵ１０９は、図５（２）に示すように、被写体再生軌跡データＡに登録されている位置情報（ｘ０，ｙ０）〜（ｘ５，ｙ５）を使って被写体Ａの軌跡を描画する。
【００６３】
ここで、図５（３）に示すように、ユーザが、Ｓｃｅｎｅ５における被写体検出位置（ｘ５，ｙ５）を、タッチパネル１０５を用いて選択したとする。
【００６４】
ユーザが被写体Ａの選択を解除することなく、図５（４）に示すように、タッチパネル１０５のタッチ位置を位置（ｘ１，ｙ１）に移動したとする。すると、ＣＰＵ１０９は、位置（ｘ１，ｙ１）に対応した再生時間情報を被写体再生軌跡データＡから検索し、対応する再生時間００：０１であるＳｃｅｎｅ１を再生表示する。
【００６５】
図６は、再生ポーズ状態での動作フローチャートである。Ｓ４０９でＹｅｓの場合に、ＣＰＵ１０９は、再生ポーズ状態に遷移して、図６に示すフローを実行する。
【００６６】
ＣＰＵ１０９は先ず、Ｓ４０６において登録される被写体再生軌跡データが存在するかを判断する（Ｓ６０１）。Ｓ６０１でＮｏの場合、ＣＰＵ１０９は、Ｓ６１０に移行する。
【００６７】
Ｓ６０１でＹｅｓの場合、ＣＰＵ１０９は、被写体再生軌跡データの検出位置情報を使って被写体の軌跡データを生成し、ＤＲＡＭ１０１上のＯＳＤ（On Screen Display）などの描画スクリーンエリアに描画する（Ｓ６０２）。例えば、被写体再生軌跡データの検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画する。この描画処理は、ＣＰＵ１０９の再生軌跡描画処理によって実行される。
【００６８】
ＣＰＵ１０９は、ユーザが被写体をタッチパネル１０５によって選択したか否かを判断する（Ｓ６０３）。Ｓ６０３でＮｏの場合、ＣＰＵ１０９は、Ｓ６０９に移行する。Ｓ６０３でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが現在タッチしている位置を検出する（Ｓ６０４）。
【００６９】
ＣＰＵ１０９は、現在表示している画像データ内の被写体位置とＳ６０４で検出した位置が一致しているか否かを判断する（Ｓ６０５）。Ｓ６０５でＹｅｓの場合、ＣＰＵ１０９は、Ｓ６０９に移行する。
【００７０】
Ｓ６０５でＮｏの場合、ＣＰＵ１０９は、Ｓ６０４で検出した現在位置に対応する被写体位置情報が被写体再生軌跡データ内に存在するか否かを判断する（Ｓ６０６）。このとき、現在位置と一致する情報が被写体再生軌跡データ内に存在しなくとも、画像データ上の座標距離が所定範囲内であれば、一致と判断する。Ｓ６０６でＮｏの場合、ＣＰＵ１０９は、Ｓ６０９に移行する。
【００７１】
Ｓ６０６でＹｅｓの場合、ＣＰＵ１０９は、一致した被写体位置情報に応じた再生シーンに対応する符号化画像データを記録媒体１２０から読み込む（Ｓ６０７）。
【００７２】
ＣＰＵ１０９は、Ｓ６０７で読み込んだ符号化画像データをデコーダ１０６にデコードさせる（Ｓ６０８）。これにより、一致した被写体位置情報に応じた再生シーンの画像データを取得できる。
【００７３】
ＣＰＵ１０９は、Ｓ６０２で軌跡データを描画した描画スクリーンデータを画像データに重畳又は合成処理することで表示用画像データを生成し、この表示用画像データを表示部に表示する（Ｓ６０９）。軌跡データを合成又は重畳すべき画像データは、Ｓ６０８でデコード処理した場合は、Ｓ６０８で生成した画像データであり、Ｓ６０８でデコード処理していない場合は、現在表示出力している画像データである。
【００７４】
ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了指示をしたか否かを判断する（Ｓ６１０）。Ｓ６１０でＮｏの場合、ＣＰＵ１０９は、Ｓ６０１に戻る。Ｓ６１０でＹｅｓの場合、ＣＰＵ１０９は、図６に示すフローを終了する。
【００７５】
図７は、本実施例による予測軌跡表示のイメージ図である。図７（１）は、Ｓｃｅｎｅ０から再生を開始して、Ｓｃｅｎｅ１を再生表示している状態を示す。Ｓｃｅｎｅ１における被写体Ａが検出され、被写体Ａが位置（ｘ１，ｙ１）に存在している。
【００７６】
図７（１）に示す状態で、ユーザが再生停止（ポーズ）をＣＰＵ１０９に指示したとする。被写体再生軌跡データＡが存在するので、ＣＰＵ１０９は、図７（２）に示すように、被写体再生軌跡データＡに登録されている検出位置情報から被写体Ａの軌跡を生成して描画する。このとき、被写体再生軌跡データＡには、Ｓｃｅｎｅ０からＳｃｅｎｅ１までの再生軌跡情報が格納されており、以下のような内容になっている。すなわち、
【数２】
2015084483.tif 000005
【００７７】
図７（２）に示す状態では、被写体再生軌跡データには、Ｓｃｅｎｅ０とＳｃｅｎｅ１の検出位置情報が格納されているので、ＣＰＵ１０９は、これらの検出位置情報に基づき軌跡を描画する。
【００７８】
ＣＰＵ１０９は、再生ポーズ中に、未再生のシーンの軌跡を描画するために予測軌跡情報生成処理を実行する。
【００７９】
まず、ＣＰＵ１０９はデコーダ１０６に指示して、被写体Ａがフレームアウトするシーンを検出するために、未再生のシーンから所定時間以内のフレームのうち通常再生より間引いたシーンを早送り方向にデコードさせる。例えば、Ｓｃｅｎｅ２を間引いてＳｃｅｎｅ３をデコードし、被写体検出部１０３が、Ｓｃｅｎｅ３で被写体を検出する。Ｓｃｅｎｅ３で被写体位置（ｘ３，ｙ３）が検出されるので、ＣＰＵ１０９は、位置（ｘ３，ｙ３）を被写体再生軌跡データＡに追記する。同様に、Ｓｃｅｎｅ４を間引いてＳｃｅｎｅ５をデコードし、被写体検出部１０３が、Ｓｃｅｎｅ５で被写体を検出する。Ｓｃｅｎｅ５で被写体位置（ｘ５，ｙ５）が検出されるので、ＣＰＵ１０９は、位置（ｘ５，ｙ５）を被写体再生軌跡データＡに追記する。
【００８０】
次に、Ｓｃｅｎｅ７をデコードし、被写体検出部１０３が、Ｓｃｅｎｅ７で被写体を検出しない。被写体はＳｃｅｎｅ５で検出されるが、Ｓｃｅｎｅ７では検出されないので、ＣＰＵ１０９は、Ｓｃｅｎｅ５をフレームアウト直前のシーンと認識する。ＣＰＵ１０９は、Ｓｃｅｎｅ７の再生時間情報の欄にフレームアウトマーカを追記し、デコード処理を終了する。
【００８１】
この状態での被写体再生軌跡データは以下となる。すなわち、
【数３】
2015084483.tif 000006
【００８２】
デコードしなかったＳｃｅｎｅ２、Ｓｃｅｎｅ４、Ｓｃｅｎｅ６について説明する。ＣＰＵ１０９は、被写体Ａに対する予測軌跡データＡＰを生成し、被写体再生軌跡データＡを用いて、Ｓｃｅｎｅ２とＳｃｅｎｅ４での被写体Ａの予測位置を格納する。Ｓｃｅｎｅ６については、フレームアウトマーカの直前シーンであるＳｃｅｎｅ５が被写体検出最終シーンとなるので、予測位置データは作成されない。
【００８３】
この時点での被写体予測軌跡データＡＰは以下のようになる。すなわち、
【数４】
2015084483.tif 000007
【００８４】
図６（３）は、このようにして得られた予測軌跡情報生成処理後の被写体再生軌跡データＡを用いた再生軌跡と、被写体予測軌跡データＡＰを用いた予測軌跡とを描画した結果を示す。再生軌跡と予測軌跡は、互いに異なる線形状又は色で表現するのが好ましい。図６（３）に示す例では、再生軌跡を実線で描画し、予測軌跡を破線で描画している。
【００８５】
ユーザが、図７（４）に示すように、Ｓｃｅｎｅ１における被写体検出位置（ｘ１，ｙ１）をタッチパネル１０５上で選択し、タッチパネル１０５の接触（現在）位置を位置（ｘ５，ｙ５）に移動したとする。ＣＰＵ１０９は、移動後の接触位置（ｘ５，ｙ５）に対応した再生時間情報を被写体再生軌跡データＡ及び被写体予測軌跡データＡＰから検索する。接触位置（ｘ５，ｙ５）に対応する再生時間は００：０５でありＳｃｅｎｅ５に対応するので、ＣＰＵ１０９は、Ｓｃｅｎｅ５以降を再生表示する。
【００８６】
図８は、早送り又は巻き戻し再生の場合の予測軌跡生成描画処理の動作フローチャートである。
【００８７】
ＣＰＵ１０９は、被写体再生軌跡データにフレームアウトマーカが存在するか否かを判断する（Ｓ８０１）。
【００８８】
Ｓ８０１でＹｅｓの場合、ＣＰＵ１０９は、予測軌跡表示の動作を終了する。
【００８９】
Ｓ８０１でＮｏの場合、ＣＰＵ１０９は、被写体予測軌跡データを生成する（Ｓ８０２）。
【００９０】
Ｓ８０２に続いて、ＣＰＵ１０９は、デコーダ１０６に通常再生時よりフレームを間引いたデコードレートでデコードを実行させる（Ｓ８０３）。すなわち、デコーダ１０６は、一部のシーンを間引き、残ったシーンをデコードする。
【００９１】
ＣＰＵ１０９は、被写体検出部１０３に、Ｓ８０３でデコードされた画像に被写体が存在するかを検出させる（Ｓ８０４）。
【００９２】
Ｓ８０４で被写体が検出された場合、ＣＰＵ１０９は、検出された位置情報とシーンの再生時間情報を被写体再生軌跡データに追記する（Ｓ８０５）。
【００９３】
ＣＰＵ１０９は、Ｓ８０５で追記された被写体再生軌跡データを再生軌跡描画処理に適用して再生軌跡を描画し、現在再生表示している画像に合成又は重畳して表示用画像データを生成する（Ｓ８０６）。ＣＰＵ１０９は、タッチパネル１０５を装備する表示部に表示する。図７に示す例では、再生軌跡描画処理は、再生軌跡を実線で描画する。
【００９４】
ＣＰＵ１０９は、Ｓ８０３で間引かれてデコードされなかったシーンの被写体位置を被写体再生軌跡データから被写体位置情報補間処理により算出し、被写体予測軌跡データに追記する（Ｓ８０７）。
【００９５】
予測軌跡の算出方法を説明する。間引かれたフレーム数をｍとする。Ｓ８０５で被写体再生軌跡データに追記したフレームをＦ（ｎ）とし、その直前に追記されているフレームをＦ（ｎ−ｍ）とする。フレームＦ（ｎ）での被写体検出位置を（ｘ（ｎ），ｙ（ｎ））とし、フレームＦ（ｎ−ｍ）での被写体検出位置を（ｘ（ｎ−ｍ），ｙ（ｎ−ｍ））とする。間引かれたシーンは、Ｆ（ｎ−ｍ＋１）からＦ（ｎ−１）となり、各フレームの被写体予測位置は、以下のように算出される。
【表２】
2015084483.tif 000008
【００９６】
ＣＰＵ１０９は、Ｓ８０７で追記更新された被写体予測軌跡データを予測軌跡描画処理により描画し、現在表示している画像に合成して表示する（Ｓ８０８）。図７に示す例では、予測軌跡描画処理は、予測軌跡描画を破線で描画する。
【００９７】
Ｓ８０４で被写体が検出されなかった場合、ＣＰＵ１０９は、Ｓ８０３でデコードしたシーンの再生時間情報を用いて被写体再生軌跡データにフレームアウトマーカを追記する（Ｓ８０９）。
【００９８】
Ｓ８０８およびＳ８０９の処理後、ＣＰＵ１０９は、Ｓ８０１に戻る。
【００９９】
本実施例では、ステップＳ８０３で所定フレームを間引いた間隔でデコード処理をおこなったが、動画圧縮のＭＰＥＧ方式におけるイントラフレーム（フレーム内符号化フレーム）のみをデコードするようにしてもよい。又は、再生表示のフレーム間隔よりも広いフレーム間隔のフレーム又はシーンを予測軌跡生成の対象とする。
【０１００】
本実施例では、ステップＳ８０４で被写体のフレームアウトを検知し予測軌跡の生成を終了したが、現在再生表示しているシーンから所定フレームまでの範囲に対して予測軌跡の生成を行ってもよい。
【０１０１】
再生軌跡と予測軌跡を実線と破線で区別したが、その表示色で区別しても良いことはいうまでもない。
【０１０２】
ユーザが被写体を選択しているか否かを判断せずに予測軌跡データを生成したが、ユーザによる被写体の選択に応じて予測軌跡データの生成を開始してもよい。
【０１０３】
被写体検出部１０３により検出される被写体に予測軌跡データを生成したが、被写体検出部１０３で検出される被写体を被写体認証部１０４で被写体認証し、認証された被写体のみに予測軌跡データ生成処理を適用しても良い。
【０１０４】
図９は、再生ポーズ状態で予測軌跡を表示した後に、通常再生し、再度再生ポーズ状態にした場合の、再生軌跡データと予測軌跡データを更新する処理のイメージ図である。
【０１０５】
図９（１）は、Ｓｃｅｎｅ０から再生を開始し、Ｓｃｅｎｅ１を再生表示している状態を示す。このとき、Ｓｃｅｎｅ１で被写体Ａが検出され、被写体Ａは位置（ｘ１，ｙ１）に存在する。
【０１０６】
ユーザから再生ポーズ指示があると、ＣＰＵ１０９は、被写体再生軌跡データＡが存在するので、図９（２）に示すように、被写体再生軌跡データＡに登録されている検出位置情報から被写体Ａの軌跡を描画する。このとき、被写体再生軌跡データＡには、下記のように、Ｓｃｅｎｅ０からＳｃｅｎｅ１までの再生軌跡情報が格納されている。すなわち、
【数５】
2015084483.tif 000009
【０１０７】
図９（２）には、再生軌跡データＡに基づき、Ｓｃｅｎｅ０とＳｃｅｎｅ１の位置情報に基づく軌跡が描画される。
【０１０８】
ＣＰＵ１０９は、再生していないシーンの予測軌跡を描画するために、予測軌跡情報生成処理を実行する。
【０１０９】
まず、ＣＰＵ１０９は、被写体Ａがフレームアウトするシーンを検出するために、早送り方向にシーンを間引いてデコーダ１０６にデコードを行わせる。
【０１１０】
例えば、Ｓｃｅｎｅ２のデコードを省略して、Ｓｃｅｎｅ３をデコードし、被写体検出を行う。Ｓｃｅｎｅ３では被写体Ａが位置（ｘ３，ｙ３）で検出されるので、ＣＰＵ１０９は、位置（ｘ３，ｙ３）を被写体再生軌跡データＡに追記する。また、Ｓｃｅｎｅ４のデコードを省略して、Ｓｃｅｎｅ５をデコードし、被写体検出を行う。Ｓｃｅｎｅ５では被写体Ａが位置（ｘ５，ｙ５）で検出されるので、ＣＰＵ１０９は、位置（ｘ５，ｙ５）を被写体再生軌跡データＡに追記する。次にＳｃｅｎｅ７をデコードして被写体検出を行っても、Ｓｃｅｎｅ７では被写体が検出されない。被写体はＳｃｅｎｅ５で検出されるが、Ｓｃｅｎｅ７では検出されないので、ＣＰＵ１０９は、Ｓｃｅｎｅ５をフレームアウト直前のシーンと認識する。従って、ＣＰＵ１０９は、Ｓｃｅｎｅ７に対する再生時間情報の欄にフレームアウトマーカを追記し、デコード処理を終了する。
【０１１１】
予測軌跡情報生成処理を終了した後の画面例を図９（３）に示す。図９（３）に示す状態での被写体再生軌跡データは以下となる。すなわち、
【数６】
2015084483.tif 000010
【０１１２】
ＣＰＵ１０９は、予測軌跡情報補間処理により、デコードしなかったＳｃｅｎｅ２、Ｓｃｅｎｅ４、Ｓｃｅｎｅ６での被写体位置を、デコードしたシーンの位置情報から補間する。先ず、ＣＰＵ１０９は、被写体Ａに対する予測軌跡データＡＰを生成する。そして、ＣＰＵ１０９は、被写体再生軌跡データＡを用いてＳｃｅｎｅ２とＳｃｅｎｅ４での被写体Ａの位置と再生時間を補間し、予測軌跡情報として予測軌跡データＡＰに格納する。Ｓｃｅｎｅ６については、フレームアウトマーカの直前シーンであるＳｃｅｎｅ５が被写体検出最終シーンとなるので、予測軌跡データは作成されない。この時点での被写体予測軌跡データＡＰは、以下のようになる。すなわち、
【数７】
2015084483.tif 000011
【０１１３】
ＣＰＵ１０９は、予測軌跡情報生成処理後の被写体再生軌跡データＡを用いて再生軌跡を描画し、被写体予測軌跡データＡＰを用いて予測軌跡を描画する。描画後の表示画像を図９（３）に示す。図９（３）では、両者を視覚的に識別できるように、再生軌跡は実線で描画され、予測軌跡は破線で描画されている。
【０１１４】
次に、ユーザが、再生指示に応じて、図９（４）に示すように、Ｓｃｅｎｅ１からＳｃｅｎｅ５までの再生を指示したとする。この指示によるＳｃｅｎｅ１からＳｃｅｎｅ５までの再生の間に、ＣＰＵ１０９は、各シーンで被写体を検出し、被写体再生軌跡データＡを各シーンでの再生軌跡情報で更新する。すなわち、被写体再生軌跡データＡに未登録であったシーンＳｃｅｎｅ２，Ｓｃｅｎｅ４の再生軌跡情報が、被写体再生軌跡データＡに追記される。被写体再生軌跡データＡに追記したシーンに対応する予測軌跡情報が、被写体予測軌跡データＡＰに存在する場合、ＣＰＵ１０９は、被写体再生軌跡データＡに追記したシーンに対応する予測軌跡情報を被写体予測軌跡データＡＰから削除する。ここでの説明例では、シーンＳｃｅｎｅ２，Ｓｃｅｎｅ４の予測軌跡情報が被写体予測軌跡データＡＰから削除される。
【０１１５】
Ｓｃｅｎｅ１からＳｃｅｎｅ５までを通常再生した時点での、被写体再生軌跡データＡと被写体予測軌跡データＡＰは以下のようになる。すなわち、
【数８】
2015084483.tif 000012
【０１１６】
Ｓｃｅｎｅ５を再生表示中にユーザから再生ポーズ指示があると、ＣＰＵ１０９は、図９（５）に示すように、被写体再生軌跡と被写体予測軌跡の描画処理を再度実行する。ただし、被写体予測軌跡データＡＰには予測軌跡情報が存在しないので、被写体再生軌跡データＡに基づく軌跡のみが表示される。
【０１１７】
図１０は、被写体検出動画再生動作時に予測軌跡情報を破棄する処理の動作フローチャートである。
【０１１８】
ユーザからの再生指示をタッチパネル１０５が検出すると、ＣＰＵ１０９は、記録媒体１２０に記録されている符号化画像データをメディアＩ／Ｆ１０７を介してＤＲＡＭ１０１に読み込む（Ｓ１００１）。
【０１１９】
デコーダ１０６が、ＤＲＡＭ１０１に読み込んだ符号化画像データをデコードし、得られた画像データ（再生画像データ）をＤＲＡＭ１０１に書き込む（Ｓ１００２）。
【０１２０】
ＣＰＵ１０９は、被写体検出部１０３にＳ１００２で生成された画像データに所望の被写体を検出させる（Ｓ１００３）。例えば、被写体検出モードが顔検出だった場合、被写体検出部１０３は、画像データから輪郭情報を抽出し、その輪郭情報と多数の顔画像から標準化した顔特徴情報とを比較し、マッチングする領域（被写体領域）を検出する。
【０１２１】
ＣＰＵ１０９は、被写体検出部１０３の検出出力により、Ｓ１００３で被写体が検出されたかを判断する（Ｓ１００４）。
【０１２２】
Ｓ１００４でＮｏの場合、ＣＰＵ１０９は、Ｓ１００８に移行する。
【０１２３】
Ｓ１００４でＹｅｓの場合、ＣＰＵ１０９は、検出済みの被写体と同一かどうかを判断する（Ｓ１００５）。検出済みの被写体との同一性を判断する方法として、例えば、直前の画像で検出された被写体の位置とＳ１００３で検出された被写体の位置が所定距離以内であれば、同一被写体と判断する。又は、直前の画像で検出された被写体の輪郭情報とＳ１００３で抽出した輪郭情報とを比較し、一致した場合に同一被写体と判断する。
【０１２４】
Ｓ１００５でＹｅｓの場合、ＣＰＵ１０９は、Ｓ１００７に移行する。
【０１２５】
Ｓ１００５でＮｏの場合、ＣＰＵ１０９は、新規被写体として被写体再生軌跡データを新規登録する（Ｓ１００６）。被写体再生軌跡データは、Ｓ１００３で検出した被写体の輪郭情報、検出位置情報、及び検出位置に応じた再生シーン時間情報を登録可能であって、位置情報と再生シーン時間は時系列に追記可能なデータ構造を有している。
【０１２６】
Ｓ１００５でＹｅｓの場合、又はＳ１００６の後、ＣＰＵ１０９は、Ｓ１００３で検出された被写体位置情報と再生シーン時間情報を、該当する被写体再生軌跡データに追記する（Ｓ１００７）。
【０１２７】
ＣＰＵ１０９は、Ｓ１００７の処理後に、Ｓ１００４で検出された被写体に対して予測軌跡データが存在するか判断する（Ｓ１０１１）。
【０１２８】
Ｓ１０１１でＮｏの場合、ＣＰＵ１０９は、Ｓ１００８に移行する。
【０１２９】
Ｓ１０１１でＹｅｓの場合、ＣＰＵ１０９は、予測軌跡データ内にＳ１００２でデコードしたシーンに対応する予測軌跡位置情報が存在するか判断する（Ｓ１０１２）。
【０１３０】
Ｓ１０１２でＮｏの場合、ＣＰＵ１０９は、Ｓ１００８に移行する。
【０１３１】
Ｓ１０１２でＹｅｓの場合、ＣＰＵ１０９は、Ｓ１００２でデコードしたシーンに対応する予測軌跡位置情報を予測軌跡データから破棄し、Ｓ１００８に移行する（Ｓ１０１３）。
【０１３２】
Ｓ１００４でＮｏの場合、Ｓ１０１１でＮｏの場合、Ｓ１０１２でＮｏの場合、又は、Ｓ１０１３の後、ＣＰＵ１０９は、ＤＲＡＭ１０１に保持するＳ１００２で生成した再生画像データを表示する（Ｓ１００８）。
【０１３３】
ＣＰＵ１０９は、ユーザからの再生ポーズ指示をタッチパネル１０５が受けつけたかどうかを判断する（Ｓ１００９）。
【０１３４】
Ｓ１００９でＹｅｓの場合、ＣＰＵ１０９は、再生ポーズ動作に遷移する。
【０１３５】
Ｓ１００９でＮｏの場合、ＣＰＵ１０９は、ユーザからの再生終了指示をタッチパネル１０５が受けつけたかどうかを判断する（Ｓ１０１０）。
【０１３６】
Ｓ１００９でＮｏの場合、ＣＰＵ１０９はＳ１００１に戻る。Ｙｅｓの場合、ＣＰＵ１０９は、図１０に示すフローを終了する。
【０１３７】
ＣＰＵ１０９は、ステップＳ１００１〜Ｓ１０１０の動作を動画像の再生フレームレートに応じて繰り返す。これにより、動画を再生しながら被写体を検出する被写体検出動画再生を実現する。
【０１３８】
本実施例は、特定被写体がフレームアウトするシーンまでの早送りや、フレームインするシーンまでの巻き戻しをフリック操作により実現できる。以下、その動作を説明する。
【０１３９】
図１１Ａ及び図１１Ｂは、再生ポーズ動作において、ユーザが被写体を選択した後にフリック操作を行った場合の動作フローチャートである。Ｓ１００９でＹｅｓの場合に、ＣＰＵ１０９は、再生ポーズ状態に遷移して、図１１Ａ及び図１１Ｂに示すフローを実行する。
【０１４０】
ＣＰＵ１０９は先ず、Ｓ４０６において登録される被写体再生軌跡データが存在するかを判断する（Ｓ１１０１）。Ｓ１１０１でＮｏの場合、ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了を指示したか否かを判断する（Ｓ１１１５）。Ｓ１１０１でＹｅｓの場合、ＣＰＵ１０９は、被写体再生軌跡データの検出位置情報を使って被写体の軌跡を算出し、ＤＲＡＭ１０１上の描画スクリーンエリアに当該軌跡を描画する（Ｓ１１０２）。例えば、被写体再生軌跡データに存在する検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画できる。
【０１４１】
ＣＰＵ１０９は、ユーザがタッチパネル１０５へのタッチにより被写体を選択したかどうかを判断する（Ｓ１１０３）。Ｓ１１０３でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。Ｓ１１０３でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが現在タッチしている位置を検出する（Ｓ１１０４）。
【０１４２】
ＣＰＵ１０９は、タッチパネル１０５によって位置検出されたか否かを判断する（Ｓ１１０５）。Ｓ１１０５でＹｅｓの場合、ＣＰＵ１０９は、現在表示している画像データ内の被写体位置とＳ１１０４でタッチパネル１０５によって検出された位置が一致しているかを判断する（Ｓ１１０６）。Ｓ１１０５でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。
【０１４３】
Ｓ１１０６でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５への操作がフリック操作かどうかを判定する（Ｓ１１０７）。Ｓ１１０６でＮｏの場合、ＣＰＵ１０９は、Ｓ１１０５でタッチパネル１０５によって検出された現在位置に対応する被写体位置情報が被写体再生軌跡データに存在するかどうかを判断する（Ｓ１１０８）。例えば、現在位置と一致する情報が被写体再生軌跡データ内に存在しなくとも、画像データ上の座標距離が所定範囲以内であれば一致と判断する。
【０１４４】
Ｓ１１０８でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。Ｓ１１０８でＹｅｓの場合、ＣＰＵ１０９は、メディアＩ／Ｆ１０７を介して、一致した被写体位置情報に応じたシーンの符号化画像データを記録媒体１２０から読み込む（Ｓ１１０９）。デコーダ１０６は、Ｓ１１０９で記録媒体１２０から読み込んだ符号化画像データをデコードし、画像データ（再生画像データ）を生成する（Ｓ１１１３）。
【０１４５】
Ｓ１１０７でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。
【０１４６】
Ｓ１１０７でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５へのフリック操作の方向が被写体の移動方向かその逆方向かを判断する（Ｓ１１１０）。Ｓ１１１０で、被写体の進行方向とフリック方向が同方向である場合、ＣＰＵ１０９は、選択中の被写体位置情報を参照し、被写体がフレームアウトする直前の時間に対応する符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込む（Ｓ１１１２）。なお、被写体がフレームアウトするシーンが存在しない場合、ＣＰＵ１０９は、動画像の再生終了時間に対応する（最後のシーンの）符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込む。デコーダ１０６は、ＤＲＡＭ１０１に読み込んだ符号化画像データをデコードし、再生画像データを生成する（Ｓ１１１３）。
【０１４７】
Ｓ１１１０で被写体の進行方向とフリック方向が同方向である場合、ＣＰＵ１０９は、選択中の被写体位置情報を参照し、被写体がフレームインした直後の時間に対応する画像符号化データを記録媒体１２０からＤＲＡＭ１０１に読み込む（Ｓ１１１１）。なお、被写体がフレームインするシーンが存在しない場合は、ＣＰＵ１０９は、動画像の再生開始時間に対応する画像符号化データを記録媒体１２０からＤＲＡＭ１０１に読み込む。デコーダ１０６は、画像符号化データをデコードし、画像データを生成する（Ｓ１１１３）。
【０１４８】
ＣＰＵ１０９は、Ｓ１１０２で軌跡を描画した描画スクリーンデータと、画像データとを合成し表示する（Ｓ１１１４）。合成対象となる画像データは、Ｓ１１１３でデコーダ１０６がデコード処理した場合はＳ１１１３で生成した画像データであり、そうでない場合は、現在表示出力している画像データである。
【０１４９】
ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが再生ポーズ動作の終了を指示したか否かを判断する（Ｓ１１１５）。Ｓ１１１５でＮｏの場合、ＣＰＵ１０９は、Ｓ１１０１へ戻る。Ｓ１１１５でＹｅｓの場合、ＣＰＵ１０９は、図１０のＳ１００１に戻る。
【０１５０】
図１１Ａ及び図１１Ｂを参照して説明したフリック操作による動画像の早送り／巻き戻し再生を、図１２に示すイメージ図を用いて説明する。
【０１５１】
図１２（１）はＳｃｅｎｅ２の再生表示状態であり、Ｓｃｅｎｅ２における被写体Ａは、位置（ｘ２，ｙ２）で検出される。
【０１５２】
ユーザから再生ポーズ指示があると、被写体再生軌跡データＡが存在するので、ＣＰＵ１０９は、図１２（２）に示すように、被写体再生軌跡データＡに登録されている検出位置情報から被写体Ａの軌跡を描画する（Ｓ１１０１〜Ｓ１１０２）。
【０１５３】
ユーザは、図１２（３）に示すように、Ｓｃｅｎｅ２における被写体検出位置（ｘ２，２）をタッチパネル１０５上で選択したとする（Ｓ１１０３〜Ｓ１１０６）。
【０１５４】
そして、ユーザが、図１２（４）に示すように、被写体の選択を解除することなく、タッチパネル１０５上で被写体の移動方向にフリック操作したとする（Ｓ１１０７）。このフリック操作に応じて、ＣＰＵ１０９は、図１２（５）に示すように、被写体がフレームアウトする位置（ｘ５，ｙ５）に対応した再生位置情報を被写体再生軌跡データＡから検索する（Ｓ１１１０〜Ｓ１１１２）。説明例では、ＣＰＵ１０９は、対応する再生時間００：０５であるＳｃｅｎｅ５を再生表示する（Ｓ１１１３〜Ｓ１１１４）。
【０１５５】
動画像の再生中に特定の被写体がフレームアウトするシーンまで早送りをしたい場合、又は特定の被写体がフレームインするシーンまで巻き戻しをしたいする場合、本実施例では、軌跡をなぞることなくフリック操作で済ませることができ、操作性が向上する。
【実施例２】
【０１５６】
フリック方向だけでなく、フリックの強度を考慮して再生を制御することもできる。図１３Ａ及び図１３Ｂは、フリック強度を加味するように図１１Ａ及び図１１Ｂに示すフローチャートを変更したフローチャートを示す。Ｓ１００９でＹｅｓの場合に、ＣＰＵ１０９は、再生ポーズ状態に遷移して、図１３Ａ及び図１３Ｂに示すフローを実行する。
【０１５７】
ＣＰＵ１０９は先ず、Ｓ４０６において登録される被写体再生軌跡データが存在するかを判断する（Ｓ１３０１）。Ｓ１３０１でＮｏの場合、ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了を指示したか否かを判断する（Ｓ１３１８）。Ｓ１３０１でＹｅｓの場合、ＣＰＵ１０９は、被写体再生軌跡データの検出位置情報を使って被写体の軌跡を算出し、ＤＲＡＭ１０１上の描画スクリーンエリアに当該軌跡を描画する（Ｓ１３０２）。例えば、被写体再生軌跡データに存在する検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画できる。
【０１５８】
ＣＰＵ１０９は、ユーザがタッチパネル１０５へのタッチ操作により被写体を選択したかどうかを判断する（Ｓ１３０３）。Ｓ１３０３でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１３１７）。Ｓ１３０３でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが現在タッチしている位置を検出する（Ｓ１３０４）。
【０１５９】
ＣＰＵ１０９は、タッチパネル１０５によって位置検出されたか否かを判断する（Ｓ１３０５）。Ｓ１３０５でＹｅｓの場合、ＣＰＵ１０９は、現在表示している画像データ内の被写体位置とＳ１３０４でタッチパネル１０５によって検出された位置が一致しているかを判断する（Ｓ１３０６）。Ｓ１３０５でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１３１７）。
【０１６０】
Ｓ１３０６でＹｅｓの場合、ＣＰＵ１０９は複雑度判定手段として、被写体軌跡の複雑度を判定する（Ｓ１３０７）。Ｓ１３０２で描画した軌跡に交点が所定値以上、例えば、１点以上ある場合に、ＣＰＵ１０９は、被写体の軌跡が複雑であると判断する。
【０１６１】
Ｓ１３０６でＮｏの場合、ＣＰＵ１０９は、Ｓ１３０５でタッチパネル１０５によって検出された現在位置に対応する被写体位置情報が被写体再生軌跡データに存在するかどうかを判断する（Ｓ１３０９）。例えば、現在位置と一致する情報が被写体再生軌跡データ内に存在しなくとも、画像データ上の座標距離が所定範囲以内であれば一致と判断する。
【０１６２】
Ｓ１３０９でＮｏの場合、ＣＰＵ１０９は、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１３１７）。Ｓ１３０９でＹｅｓの場合、ＣＰＵ１０９は、メディアＩ／Ｆ１０７を介して、一致した被写体位置情報に応じたシーンの符号化画像データを記録媒体１２０から読み込む（Ｓ１３１０）。デコーダ１０６は、Ｓ１３１０で記録媒体１２０から読み込んだ符号化画像データをデコードし、画像データ（再生画像データ）を生成する（Ｓ１３１６）。
【０１６３】
Ｓ１３０７でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１１１４）。Ｓ１３０７でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５への操作がフリック操作かどうかを判定する（Ｓ１３０８）。
【０１６４】
Ｓ１３０８でＮｏの場合、ＣＰＵ１０９は、軌跡データと画像データを合成表示する（Ｓ１３１７）。
【０１６５】
Ｓ１３０８でＹｅｓの場合、ＣＰＵ１０９は、タッチパネル１０５の検出出力からタッチアップまでのムーブ速度を算出する（Ｓ１３１１）。ここで算出したムーブ速度をＶとする。
【０１６６】
ＣＰＵ１０９は、受け付けたフリック操作の方向が被写体の移動方向か逆方向かを判断する（Ｓ１３１２）。Ｓ１３１２で被写体の進行方向とフリック方向が同方向である場合、ＣＰＵ１０９は、早送り再生位置を算出する（Ｓ１３１４）。Ｓ１３１１で算出したムーブ速度Ｖが閾値Ｖ０以上である場合、ＣＰＵ１０９は、被写体がフレームアウトする直前の時間を早送り再生位置とする。なお、被写体がフレームアウトするシーンが存在しない場合、ＣＰＵ１０９は、動画像の再生終了時間を早送り再生位置とする。ムーブ速度Ｖが閾値Ｖ０よりも小さい場合、ＣＰＵ１０９は、早送り再生位置としての再生シーン時間Ｔを下記式（１）により算出する。すなわち、
Ｔ＝ｔ＋（Ｔ０−ｔ）×（Ｖ／Ｖ０）          （１）
ただし、ｔは表示中の再生時間、Ｔ０はムーブ速度Ｖ０以上でフリックした場合に再生するシーンの時間を示す。
【０１６７】
Ｓ１３１２で被写体の進行方向とフリック方向が逆方向である場合、ＣＰＵ１０９は、巻き戻し再生位置を算出する（Ｓ１３１３）。Ｓ１３１１で算出したムーブ速度Ｖが閾値Ｖ０以上である場合、ＣＰＵ１０９は、被写体がフレームインした直後の時間を巻き戻し再生位置とする。なお、被写体がフレームインするシーンが存在しない場合、ＣＰＵ１０９は、動画像の再生開始時間を巻き戻し再生位置とする。ムーブ速度Ｖが閾値Ｖ０よりも小さい場合、ＣＰＵ１０９は、巻き戻し再生位置としての再生シーン時間Ｔを下記式（２）により算出する。すなわち、
Ｔ＝ｔ−（ｔ−Ｔ０）×（Ｖ／Ｖ０）          （２）
ただし、ｔは表示中の再生時間、Ｔ０はムーブ速度Ｖ０以上でフリックした場合に再生するシーンの時間を示す。
【０１６８】
ＣＰＵ１０９は、Ｓ１３１３，Ｓ１３１４でＣＰＵ１０９が算出した再生シーン時間に対応する符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込む（Ｓ１３１５）。デコーダ１０６は、ＤＲＡＭ１０１に読み込んだ符号化画像データをデコードし、画像データを生成する（Ｓ１３１６）。
【０１６９】
ＣＰＵ１０９は、Ｓ１３０２で軌跡データを描画した描画スクリーンデータと、画像データとを合成処理し、表示部に表示する（Ｓ１３１７）。合成対象となる画像データは、Ｓ１３１６でデコーダ１０６がデコード処理した場合はＳ１３１６で生成した画像データであり、そうでない場合は、現在表示出力している画像データである。
【０１７０】
ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが再生ポーズ動作の終了を指示したか否かを判断する（Ｓ１３１６）。Ｓ１３１６でＮｏの場合、ＣＰＵ１０９は、Ｓ１３０１へ戻る。Ｓ１３１６でＹｅｓの場合、ＣＰＵ１０９は、図１０のＳ１００１に戻る。
【０１７１】
軌跡が複雑な場合は、なぞるべき線がわからなくなるなど、ユーザの操作が難しくなることがある。その場合に、フリック操作による巻き戻し・早送りを行うことで、ユーザの操作が容易になる。また、フリックの強さと再生シーンを関連付けることにより、より直感的に、ユーザの意図したシーンを再生することが可能になる。
【実施例３】
【０１７２】
被写体が画面内から消えて(フレームアウト)しまった場合に、その被写体が画面内に位置するシーンに早送り又は巻き戻し制御する動作を説明する。図１４Ａ及び図１４Ｂは、その動作フローチャートを示す。Ｓ１００９でＹｅｓの場合に、ＣＰＵ１０９は、再生ポーズ状態において、図１４Ａ及び図１４Ｂに示すフローを実行する。
【０１７３】
ＣＰＵ１０９は先ず、被写体再生軌跡データが存在するかを判断する（Ｓ１４０１）。Ｓ１４０１でＮｏの場合、ＣＰＵ１０９は、Ｓ１４１３に移行する。
【０１７４】
Ｓ１４０１でＹｅｓの場合、ＣＰＵ１０９はフレームアウト検出手段として、被写体再生軌跡データの対象となる被写体が現在、再生表示中の画像からフレームアウトしているかどうか判断する（Ｓ１４０２）。被写体がフレームアウトしているかどうかは、現在表示中の画像から被写体を検出し、被写体再生軌跡データに格納されている輪郭情報との一致性で判断できる。被写体が検出され、かつ検出された被写体から生成された輪郭情報と被写体再生軌跡データに格納されている輪郭情報が一致する場合、フレームアウト状態ではないと判断される。被写体が検出されない場合と輪郭情報が一致しない場合には、フレームアウト状態と判断される。Ｓ１４０２でＮｏ（フレームアウト状態でない）の場合、ＣＰＵ１０９は、Ｓ１４０４に移行する。
【０１７５】
Ｓ１４０２でＹｅｓ（フレームアウト状態）の場合、ＣＰＵ１０９は、フレームアウトした被写体のフレームアウト直前のシーン（再生時間）を取得して記憶すると共に、当該被写体に関連付けたアイコンを再生表示画面に表示する（Ｓ１４０３）。具体的には、ＣＰＵ１０９は、被写体再生軌跡データに格納されている再生時間情報から、現在表示出力されている画像データの再生時間に一番近いシーン（フレームアウト直前のシーン）の再生時間を検索する。そして、ＣＰＵ１０９は、検索された再生時間に対応する被写体の検出位置情報（フレームアウト直前の被写体位置）を取得し、ＤＲＡＭ１０１上の描画スクリーンエリアにおける相対座標位置に被写体再生軌跡データと関連づけられたアイコンを描画する。
【０１７６】
ＣＰＵ１０９は、被写体再生軌跡データに存在する検出位置情報を被写体の軌跡として、ＤＲＡＭ１０１上に存在する描画スクリーンエリアに描画する（Ｓ１４０４）。例えば、被写体再生軌跡データの検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画する。この描画処理は、ＣＰＵ１０９の再生軌跡描画処理によって実行される。
【０１７７】
ＣＰＵ１０９は、タッチパネル１０５の出力により、ユーザが現在タッチしている位置を検出し（Ｓ１４０５）、位置検出できたかどうかを判断する（Ｓ１４１４）。位置検出できた場合（Ｓ１４１４でＹｅｓ）、ＣＰＵ１０９は、Ｓ１４０３で描画したアイコンの描画位置とＳ１４０５で検出した位置が実質的に一致しているか否かを判断する（Ｓ１４０６）。
【０１７８】
Ｓ１４０６でＹｅｓの場合、ＣＰＵ１０９はアイコンの選択操作であると判断し、Ｓ１４０３で検索された再生時間（フレームアウト直前の再生時間）に対応する符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込む（Ｓ１４１１）。ＣＰＵ１０９は、読み込んだ符号化画像データをデコーダ１０６にデコードさせる（Ｓ１４１０）。
【０１７９】
Ｓ１４０６でＮｏの場合、ＣＰＵ１０９は、現在表示している画像中の被写体位置とＳ１４０５で検出した位置とが実質的に一致しているか否かを判断する（Ｓ１４０７）。Ｓ１４０７でＹｅｓの場合、ＣＰＵ１０９は、Ｓ１４１２に移行する。
【０１８０】
Ｓ１４０７でＮｏの場合、ＣＰＵ１０９は、Ｓ１４０５で検出した現在位置に対応する被写体位置情報が被写体再生軌跡データ内に存在するかを判断する（Ｓ１４０８）。例えば、現在位置と完全に一致する情報が被写体再生軌跡データ内に存在しなくとも、画像上の座標距離が所定範囲内であれば一致と判断する。
【０１８１】
Ｓ１４０８でＮｏの場合、ＣＰＵ１０９は、Ｓ１４１２に移行する。Ｓ１４０８でＹｅｓの場合、ＣＰＵ１０９は、一致した被写体位置情報に対応する再生シーン時間情報を取得し、取得した再生シーン情報に応じた符号化画像データを記録媒体１２０から読み込み（Ｓ１４０９）、Ｓ１４１０に移行する。
【０１８２】
Ｓ１４１４でＮｏの場合、ＣＰＵ１０９は、直前の位置検出時にアイコンが選択されていたか否かを判断する（Ｓ１４１５）。Ｓ１４１５でＮｏの場合、ＣＰＵ１０９は、Ｓ１４１２に移行する。Ｓ１４１５でＹｅｓの場合、ＣＰＵ１０９は、この再生ポーズ動作へ遷移する直前に表示していた再生シーンに応じた符号化画像データを記録媒体１２０から読み込み（Ｓ１４１６）、Ｓ１４１０に移行する。
【０１８３】
デコーダ１０６は、Ｓ１４０９又はＳ１４１１で読み込んだ符号化画像データをデコードし、得られた画像データをＤＲＡＭ１０１に書き込む（Ｓ１４１０）。
【０１８４】
ＣＰＵ１０９は、Ｓ１４０３で描画したアイコンとＳ１４０４で描画した軌跡データを含む描画スクリーンデータを画像データと合成して表示する（Ｓ１４１２）。合成に使用する画像データは、Ｓ１４１０でデコード処理した場合は、Ｓ１４１０で生成した画像データであり、Ｓ１４１０でデコード処理していない場合は、現在表示出力している画像データである。
【０１８５】
ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了指示をしたか否かを判断する（Ｓ１４１３）。Ｓ１４１３でＮｏの場合、ＣＰＵ１０９は、Ｓ１４０１に戻る。Ｓ１４１３でＹｅｓの場合、ＣＰＵ１０９は、図１４Ａ及び図１４Ｂに示すフローを終了し、図１０のＳ１００１に戻る。
【０１８６】
図１５に示す画面例を参照して，図１４Ａ及び図１４Ｂに示すフローチャートの早送り・巻き戻しの再生制御動作を説明する。図１５は、Ｓ４０９でＹｅｓの場合に、現在表示出力されている画像に被写体が検出されない状態での画面遷移例を示す。
【０１８７】
図１５（１）はＳｃｅｎｅ６の再生表示状態を示し、このときＳｃｅｎｅ６における被写体Ａは検出されていない。
【０１８８】
ユーザから再生ポーズ指示があると、被写体再生軌跡データＡが存在するので、ＣＰＵ１０９は、図１５（２）に示すように、被写体Ａがフレームアウトする直前の検出位置（ｘ５，ｙ５）にフレームアウトした被写体Ａに対応するアイコンを描画する。ＣＰＵ１０９は更に、被写体再生軌跡データＡに登録されている検出位置情報から被写体Ａの軌跡を描画する。
【０１８９】
ユーザが、図１５（３）に示すように、アイコン描画位置（ｘ５，ｙ５）をタッチパネル１０５上で選択したとする。
【０１９０】
アイコン描画位置（ｘ５，ｙ５）のアイコンをユーザが選択したことに応じて、ＣＰＵ１０９は、図１５（４）に示すように、被写体Ａがフレームアウトする直前のＳｃｅｎｅ５（再生時間００：０５）を再生表示する。このとき、ＣＰＵ１０９は、アイコン表示をオフにする。
【０１９１】
ユーザが被写体の選択を解除することなく、タッチパネル１０５のタッチ位置（現在位置）を軌跡上の位置（ｘ１，ｙ１）に移動したとする。この移動操作に応じて、ＣＰＵ１０９は、図１５（５）に示すように、タッチ位置（ｘ１，ｙ１）に対応した再生時間情報を被写体再生軌跡データＡから検索し、Ｓｃｅｎｅ１（再生時間００：０１）を再生表示する。
【０１９２】
ユーザが、図１５（４）に示す状態からタッチ位置を移動することなく操作を解除すると、ＣＰＵ１０９は、再生ポーズ動作開始直前に表示されていたＳｃｅｎｅ６（再生時間００：０６）を再生表示し、図１５（２）に示す状態に遷移する。
【０１９３】
被写体がフレームアウトしている再生シーンでは、タッチパネルを用いて被写体を選択することができない。図１４Ａ及び図１４Ｂで説明したように、フレームアウトした被写体に関連付けられたアイコンを画面上に表示することで、ユーザは、フレームアウトした被写体を選択できるようになる。
【０１９４】
また、フレームアウトした被写体を示すアイコンが選択された場合に当該被写体がフレームアウトする直前のシーンを再生することで、選択したアイコンがどの被写体に関連付けられているかを確認することが容易になる。
【０１９５】
当該アイコンを選択後に移動せずにその選択を解除することで、アイコン選択前のシーンに戻ることができる。
【実施例４】
【０１９６】
フレームアウトした被写体の被写体再生軌跡データの保持可能数よりも多くの被写体がフレームアウトする場合の処理を説明する。説明上、画像再生装置１００は、フレームアウトした被写体再生軌跡データを１つしか保持できないとする。
【０１９７】
図１６は説明例として画像例であり、動画像のシーンとしてＳｃｅｎｅ０〜Ｓｃｅｎｅ６があり、それぞれの再生シーン時間情報および被写体検出は以下の表のようになっているとする。すなわち、
【表３】
2015084483.tif 000013
【０１９８】
この動画像に対して被写体検出動画再生を行った場合、Ｓｃｅｎｅ０の再生時に、被写体検出部１０３は被写体Ａ，Ｂを検出し、ＣＰＵ１０９は、被写体Ａの被写体再生軌跡データＡと被写体Ｂの被写体再生軌跡データＢを登録する。被写体再生軌跡データＡには位置情報（ｘ０，ｙ０）と再生時間情報００：００が追記される。被写体再生軌跡データＢには位置情報（ｘｂ０，ｙｂ０）と再生時間情報００：００が追記される。
【０１９９】
ＣＰＵ１０９は、Ｓｃｅｎｅ１の再生時に被写体検出部１０３が検出した被写体がすでに登録されている被写体Ａ，Ｂと同一であると判定する。ＣＰＵ１０９は、この判定に基づき、被写体再生軌跡データＡにＳｃｅｎｅ１での被写体Ａの検出位置情報（ｘ１，ｙ１）と再生時間情報００：０１を追記する。ＣＰＵ１０９は更に、被写体再生軌跡データＢにＳｃｅｎｅ１での被写体Ｂの検出位置情報（ｘｂ１，ｙｂ１）と再生時間情報００：０１を追記する。この結果、Ｓｃｅｎｅ２まで再生した後の、被写体再生軌跡データＡ，Ｂは、以下のような内容となる。すなわち、
【数９】
2015084483.tif 000014
【０２００】
Ｓｃｅｎｅ３〜Ｓｃｅｎｅ５では被写体Ａは検出されるが、被写体Ｂはフレームアウトしているので検出されない。この場合、被写体再生軌跡データＡにはそれぞれのＳｃｅｎｅに応じた検出位置情報と再生時間情報が追記されるが、被写体再生軌跡データＢにはこのようなデータは追記されない。Ｓｃｅｎｅ３において被写体Ｂは検出されないので、フレームアウトした被写体と判断され、ＣＰＵ１０９は、被写体再生軌跡データＢをフレームアウト被写体再生軌跡データとして再登録する。
【０２０１】
Ｓｃｅｎｅ５まで再生した後の被写体再生軌跡データは、以下のような内容となる。すなわち、
【数１０】
2015084483.tif 000015
【０２０２】
Ｓｃｅｎｅ６では被写体が検出されないので、被写体Ａがフレームアウトしたと判断される。フレームアウト被写体再生軌跡データは１つしか保持できないので、ＣＰＵ１０９は、Ｓｃｅｎｅ５の段階で保持されていたフレームアウト被写体再生軌跡データを破棄し、被写体再生軌跡データＡをフレームアウト被写体再生軌跡データとして再登録する。この結果、Ｓｃｅｎｅ６まで再生した後の被写体再生軌跡データは、以下のような内容となる。すなわち、
【数１１】
2015084483.tif 000016
【０２０３】
新たにフレームアウトした被写体が発生した場合に、当該被写体の被写体再生起動データをフレームアウト被写体再生起動データとして再登録する例を説明したが、認証された被写体の被写体再生起動データを優先するようにしてもよい。ここでも、説明上、画像再生装置１００はフレームアウトした被写体再生軌跡データを１つしか保持できないとする。
【０２０４】
図１７は、この動作の説明例としての動画像の再生画像遷移例を示す。動画像のシーンとしてＳｃｅｎｅ０〜Ｓｃｅｎｅ６があり、それらの再生シーン時間情報および被写体検出が、それぞれ以下のようになっているとする。すなわち、
【表４】
2015084483.tif 000017
【０２０５】
この動画像に被写体検出動画再生動作を行ったとする。被写体検出部１０３は、Ｓｃｅｎｅ０の再生時に被写体Ａ，Ｂを検出する。被写体認証部１０４は、検出された被写体Ａ，Ｂが認証登録されている被写体かどうかを判定し、判定結果をＣＰＵ１０９に通知する。ここでは、被写体Ａが認証登録された被写体であるとする。
【０２０６】
ＣＰＵ１０９は、被写体Ａの被写体再生軌跡データＡと、被写体Ｂの被写体再生軌跡データＢを登録する。被写体Ａが認証被写体なので、ＣＰＵ１０９は、認証情報を被写体再生軌跡データＡに追記する。被写体再生軌跡データＡには被写体Ａの検出位置情報（ｘ０，ｙ０）と再生時間情報００：００が追記され、被写体再生軌跡データＢには被写体Ｂの検出位置情報（ｘｂ０，ｙｂ０）と再生時間情報００：００が追記される。
【０２０７】
ＣＰＵ１０９は、Ｓｃｅｎｅ１の再生時に被写体検出部１０３が検出した被写体がすでに登録されている被写体Ａ，Ｂと同一であると判定する。ＣＰＵ１０９は、この判定に基づき、被写体再生軌跡データＡにＳｃｅｎｅ１での被写体Ａの検出位置情報（ｘ１，ｙ１）と再生時間情報００：０１を追記する。ＣＰＵ１０９は更に、被写体再生軌跡データＢにＳｃｅｎｅ１での被写体Ｂの検出位置情報（ｘｂ１，ｙｂ１）と再生時間情報００：０１を追記する。この結果、Ｓｃｅｎｅ２まで再生した後の、被写体再生軌跡データＡ，Ｂは、以下のような内容となる。すなわち、
【数１２】
2015084483.tif 000018
【０２０８】
Ｓｃｅｎｅ３〜Ｓｃｅｎｅ５では被写体Ｂは検出されるが、被写体Ａはフレームアウトしているので検出されない。この場合、被写体再生軌跡データＢにはそれぞれのＳｃｅｎｅに応じた検出位置情報と再生時間情報が追記されるが、被写体再生軌跡データＡにはこのようなデータは追記されない。Ｓｃｅｎｅ３において被写体Ａは検出されないので、フレームアウトした被写体と判断され、ＣＰＵ１０９は、被写体再生軌跡データＡをフレームアウト被写体再生軌跡データとして再登録する。
【０２０９】
Ｓｃｅｎｅ５まで再生した後の被写体再生軌跡データは、以下のような内容となる。すなわち、
【数１３】
2015084483.tif 000019
【０２１０】
Ｓｃｅｎｅ６では被写体が検出されないので、被写体Ｂがフレームアウトしたと判断される。フレームアウト被写体再生軌跡データは１つしか保持できないので、ＣＰＵ１０９は、Ｓｃｅｎｅ５の段階で保持されていたフレームアウト被写体再生軌跡データに認証被写体情報が含まれているかどうかを調べる。現在のフレームアウト被写体再生軌跡データは、被写体再生軌跡データＡを再登録したものであるので、認証被写体情報を含む。この場合、ＣＰＵ１０９は、現在のフレームアウト被写体再生軌跡データを保持し続け、被写体再生軌跡データＢを破棄する。
【０２１１】
この結果、Ｓｃｅｎｅ６まで再生した後の被写体再生軌跡データは、以下のような内容なる。すなわち、
【数１４】
2015084483.tif 000020
【０２１２】
図１８Ａ及び図１８Ｂは、図１６及び図１７を参照して説明したフレームアウト被写体再生軌跡データ登録処理の動作フローチャートである。
【０２１３】
被写体検出部１０３は、ＤＲＡＭ１０１上にある画像データから被写体を検出し、被写体検出数ＮをＣＰＵ１０９に通知する（Ｓ１８０１）。
【０２１４】
ＣＰＵ１０９は、被写体検出数Ｎが０か否かを判断する（Ｓ１８０２）。
【０２１５】
Ｓ１８０２でＮｏの場合、ＣＰＵ１０９は、Ｓ１８０１で検出されたＮ番目の被写体が登録済みの被写体再生軌跡データに対応するかどうかを判断する（Ｓ１８０３）。
【０２１６】
Ｓ１８０３でＮｏの場合、ＣＰＵ１０９は、Ｎ番目の被写体に対応する被写体再生軌跡データを新規に登録し、Ｓ１８０５に移行する（Ｓ１８０４）。Ｓ１８０４の後に、ＣＰＵ１０９は、Ｓ１８０１で検出されたＮ番目の被写体が認証被写体かどうかを被写体認証部１０４に判定させる（Ｓ１８０５）。
【０２１７】
Ｓ１８０３でＹｅｓの場合にも、ＣＰＵ１０９は、Ｓ１８０１で検出されたＮ番目の被写体が認証被写体かどうかを被写体認証部１０４に判定させる（Ｓ１８０５）。
【０２１８】
Ｓ１８０５でＹｅｓの場合、ＣＰＵ１０９は、対応する被写体再生軌跡データに認証被写体情報を追記する（Ｓ１８０６）。
【０２１９】
Ｓ１８０５でＮｏの場合又はＳ１８０６の後、ＣＰＵ１０９は、被写体再生軌跡データに検出位置情報と再生シーン時間情報を追記する（Ｓ１８０７）。
【０２２０】
Ｓ１８０７の後、ＣＰＵ１０９は、被写体検出数ＮにＮ−１を代入し、Ｓ１８０２に戻る（Ｓ１８０８）
【０２２１】
Ｓ１８０２でＹｅｓの場合、ＣＰＵ１０９は、登録済みの被写体再生軌跡データにＳ１８０７で情報追記がされなかった被写体再生軌跡データが存在するかどうかを判断する（Ｓ１８０９）。
【０２２２】
Ｓ１８０９でＹｅｓの場合、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データが登録済みかを判断する（Ｓ１８１０）。
【０２２３】
Ｓ１８１０でＹｅｓの場合、ＣＰＵ１０９は、登録済みのフレームアウト被写体再生軌跡データに認証被写体情報が存在するか否かを判断する（Ｓ１８１１）。
【０２２４】
Ｓ１８１１でＮｏの場合、ＣＰＵ１０９は、登録済みのフレームアウト被写体再生軌跡データを破棄する（Ｓ１８１２）。
【０２２５】
Ｓ１８１０でＮｏの場合又はＳ１８１２の後、ＣＰＵ１０９は、追記されなかった被写体再生軌跡データをフレームアウト被写体再生軌跡データとして再登録する（Ｓ１８１３）。追記されなかった被写体再生軌跡データが複数ある場合、ＣＰＵ１０９は、認証被写体情報が存在する被写体再生軌跡データを優先的に登録する。
【０２２６】
Ｓ１８０９でＮｏの場合、Ｓ１８１１でＹｅｓの場合、又は、Ｓ１８１３の後、ＣＰＵ１０９は、図１８Ａ及び図１８Ｂに示すフローを終了する。
【０２２７】
単一の動画シーンの場合を説明したが、再生される動画シーンのシーンチェンジを検知し、シーンチェンジが検知された場合に登録済みのフレームアウト被写体再生軌跡データを破棄してもよい。
【０２２８】
図１６、図１７及び図１８Ａ及び図１８Ｂを参照して説明したように、新たにフレームアウトした被写体の情報を優先的に保持することで、再生ポーズを指示したシーンに対して、より近傍のシーンでフレームアウトした被写体を選択することが可能になる。
【０２２９】
認証された被写体のフレームアウト情報を優先的に保持することで、再生ポーズ動作時に、ユーザは、フレームアウトした所望の被写体を選択できるようになる。
【実施例５】
【０２３０】
画像再生装置１００は、被写体検出動画再生中に被写体がフレームアウトしたことを検知すると、フレームアウト直前の再生画像の一部を保持し、この保持した画像の一部を使ってフレームアウトした被写体を選択可能にする。
【０２３１】
図１９は、説明に使用する動画像のイメージ図であり、動画像のシーンとしてＳｃｅｎｅ０〜Ｓｃｅｎｅ６があり、再生シーン時間情報がそれぞれ以下のようになっている。すなわち、
【表５】
2015084483.tif 000021
【０２３２】
この動画像に対して被写体検出動画再生を行った場合に、被写体検出部１０３はＳｃｅｎｅ０の再生時に被写体Ａを検出する。ＣＰＵ１０９は、被写体Ａに対応する被写体再生軌跡データＡを登録し、その時の位置情報（ｘ０，ｙ０）と再生時間情報００：００を追記する。ＣＰＵ１０９は、Ｓｃｅｎｅ１の再生時に検出された被写体を登録済みの被写体Ａと同一と判断し、Ｓｃｅｎｅ１での検出位置情報（ｘ１，ｙ１）と再生時間情報００：０１を被写体再生軌跡データＡに追記する。Ｓｃｅｎｅ３の再生後の被写体再生軌跡データＡは、以下のような内容となる。すなわち、
【数１５】
2015084483.tif 000022
【０２３３】
Ｓｃｅｎｅ４で、被写体検出部１０３は、被写体Ａと被写体Ｃとを検出し、ＣＰＵ１０９は、被写体Ｃに対応する被写体再生軌跡データＣを登録する。ＣＰＵ１０９は、被写体再生軌跡データＡに被写体Ａの検出位置情報（ｘ４，ｙ４）と再生時間情報００：０４を追記し、被写体再生軌跡データＣには被写体Ｃの検出位置情報（ｘｃ４，ｙｃ４）と再生時間情報００：０４を追記する。
【０２３４】
Ｓｃｅｎｅ５で、被写体検出部１０３は、被写体Ａと被写体Ｃを検出する。ＣＰＵ１０９は、被写体再生軌跡データＡに被写体Ａの検出位置情報（ｘ５，ｙ５）と再生時間情報００：０５を追記し、被写体再生軌跡データＣには被写体Ｃの検出位置情報（ｘｃ５，ｙｃ５）と再生時間情報００：０５を追記する。Ｓｃｅｎｅ５の再生後に登録されている被写体再生軌跡データＡ，Ｃは、以下のような内容となる。すなわち、
【数１６】
2015084483.tif 000023
【０２３５】
Ｓｃｅｎｅ６で、被写体検出部１０３は被写体Ｃを検出するが、被写体Ａはフレームアウトしているので検出されない。ＣＰＵ１０９は、被写体再生軌跡データＣに被写体Ｃの検出位置情報と再生時間情報を追記する。
【０２３６】
被写体Ａがフレームアウトしたので、ＣＰＵ１０９は、被写体再生軌跡データＡをフレームアウト被写体再生軌跡データとして再登録する。このとき、ＣＰＵ１０９は、被写体Ａがフレームアウトする直前のＳｃｅｎｅ５の被写体検出位置（ｘ５，ｙ５）を含む画像データ領域の一部を切り出し、ＤＲＡＭ１０１の再生画像データとは別領域に一時保持する。ＣＰＵ１０９はまた、Ｓｃｅｎｅ５から切り出した画像を一時保持するＤＲＡＭ１０１の領域を示す切出し画像領域情報を、フレームアウト被写体再生軌跡データに追記する。この切出し画像領域情報は、例えば切出し画像を一時保持するＤＲＡＭ１０１上のアドレス情報、切出し画像の座標、幅及び高さ、切り出した再生画像の再生時間、並びに切出し時の被写体検出位置情報などからなる。
【０２３７】
Ｓｃｅｎｅ６の再生後の被写体再生軌跡データおよびフレームアウト被写体再生軌跡データは、以下のような内容となる。すなわち、
【数１７】
2015084483.tif 000024
【０２３８】
図２０は、図１９で説明した動画像においてＳｃｅｎｅ６で再生ポーズしたときの動作説明の模式図を示す。
【０２３９】
図２０（１）は、Ｓｃｅｎｅ６の再生表示状態であり、Ｓｃｅｎｅ６では被写体Ｃは検出されているが、被写体Ａは検出されていない。
【０２４０】
Ｓｃｅｎｅ６でユーザが再生ポーズをＣＰＵ１０９に指示したとする。この時点で、フレームアウト被写体再生軌跡データが存在し、フレームアウト被写体再生軌跡データに切出し画像領域情報が登録されている。そこで、ＣＰＵ１０９は、図２０（２）に示すように、切出し画像領域を現在表示出力しているＳｃｅｎｅ６の再生画像に対して合成表示する。合成表示位置は、切出し画像領域情報にある切出し位置と同じ位置である。さらに、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データに登録されている検出位置情報を参照して、図２０（２）に示すように、フレームアウト被写体の軌跡を描画する。
【０２４１】
図２０（３）に示すように、ユーザが、切出し画像領域情報にある切出し時の被写体検出位置（ｘ５，ｙ５）をタッチパネル１０５上で選択したとする。切出し時の被写体検出位置をユーザが選択されると、ＣＰＵ１０９は、この選択に従い、図２０（４）に示すように、被写体Ａがフレームアウトする直前のＳｃｅｎｅ５（再生時間００：０５）を再生表示する。このとき、ＣＰＵ１０９は、切出し画像の合成表示をオフにする。
【０２４２】
ここで、ユーザが被写体の選択を解除することなく、図２０（５）に示すように、タッチパネル１０５のタッチ（現在）位置を位置（ｘ１，ｙ１）に移動したとする。このドラッグ操作に応じて、ＣＰＵ１０９は、タッチ位置（ｘ１，ｙ１）に対応した再生時間情報を被写体再生軌跡データＡから検索し、Ｓｃｅｎｅ１（再生時間００：０１）が再生表示される。
【０２４３】
また、ユーザが、図２０（４）に示す状態からタッチ位置を移動することなく、操作を解除したとする。ＣＰＵ１０９は、この操作に応じて、再生ポーズ動作開始直前に表示されていたＳｃｅｎｅ６（再生時間００：０６）を再生表示し、切出し画像をＳｃｅｎｅ６に合成した図２０（２）に示す状態に遷移する。
【０２４４】
図２１Ａ及び図２１Ｂは、被写体検出動画再生中に被写体がフレームアウトする場合に、フレームアウト直前の再生画像の一部を切出し保持する動作のフローチャートである。ここでも、説明上、画像再生装置１００はフレームアウトした被写体再生軌跡データを１つしか保持することができないとする。
【０２４５】
被写体検出部１０３は、ＤＲＡＭ１０１上にある画像データから被写体を検出し、被写体検出数ＮをＣＰＵ１０９に通知する（Ｓ２１０１）。
【０２４６】
ＣＰＵ１０９は、被写体検出数Ｎが０か否かを判断する（Ｓ２１０２）。
【０２４７】
Ｓ２１０２でＮｏの場合、ＣＰＵ１０９は、Ｓ１８０１で検出されたＮ番目の被写体が登録済みの被写体再生軌跡データに対応するかどうかを判断する（Ｓ２１０３）。
【０２４８】
Ｓ２１０３でＮｏの場合、ＣＰＵ１０９は、Ｎ番目の被写体に対応する被写体再生軌跡データを新規に登録し、Ｓ２１０５に移行する（Ｓ２１０４）。Ｓ２１０４の後に、ＣＰＵ１０９は、Ｓ２１０１で検出されたＮ番目の被写体が認証被写体かどうかを被写体認証部１０４に判定させる（Ｓ２１０５）。
【０２４９】
Ｓ２１０３でＹｅｓの場合にも、ＣＰＵ１０９は、Ｓ２１０１で検出されたＮ番目の被写体が認証被写体かどうかを被写体認証部１０４に判定させる（Ｓ２１０５）。
【０２５０】
Ｓ２１０５でＹｅｓの場合、ＣＰＵ１０９は、対応する被写体再生軌跡データに認証被写体情報を追記する（Ｓ２１０６）。
【０２５１】
Ｓ２１０５でＮｏの場合又はＳ２１０６の後、ＣＰＵ１０９は、被写体再生軌跡データに検出位置情報と再生シーン時間情報を追記する（Ｓ２１０７）。
【０２５２】
Ｓ２１０７の後、ＣＰＵ１０９は、被写体検出数ＮにＮ−１を代入し、Ｓ２１０２に戻る（Ｓ２１０８）
【０２５３】
Ｓ２１０２でＹｅｓの場合、ＣＰＵ１０９は、登録済みの被写体再生軌跡データにＳ２１０７で情報追記がされなかった被写体再生軌跡データが存在するかどうかを判断する（Ｓ２１０９）。
【０２５４】
Ｓ２１０９でＹｅｓの場合、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データが登録済みかを判断する（Ｓ２１１０）。
【０２５５】
Ｓ２１１０でＹｅｓの場合、ＣＰＵ１０９は、登録済みのフレームアウト被写体再生軌跡データに認証被写体情報が存在するか否かを判断する（Ｓ２１１１）。
【０２５６】
Ｓ２１１１でＮｏの場合、ＣＰＵ１０９は、登録済みのフレームアウト被写体再生軌跡データを破棄する（Ｓ２１１２）。このとき、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データに登録されている切出し画像情報に対応する、ＤＲＡＭ１０１に一時保持する切出し画像データも破棄する。
【０２５７】
Ｓ２１１１でＮｏの場合、又はＳ２１１２の後、ＣＰＵ１０９は、追記されなかった被写体再生軌跡データをフレームアウト被写体再生軌跡データとして再登録する（Ｓ２１１３）。追記されなかった被写体再生軌跡データが複数ある場合、ＣＰＵ１０９は、認証被写体情報が存在する被写体再生軌跡データを優先的に登録する。
【０２５８】
Ｓ２１１３の後に、ＣＰＵ１０９は、登録されているフレームアウト被写体再生軌跡データに対応する被写体がフレームアウトする直前の画像から、フレームアウトした被写体検出位置を含む画像領域を切り出し、ＤＲＡＭ１０１に一時保持する。このような画像の一時保持は、ＤＲＡＭ１０１上でのメモリコピーによって高速に実現できる。ＣＰＵ１０９はまた、切り出した画像を一時保持するＤＲＡＭ１０１の領域を示す切出し画像領域情報を、フレームアウト被写体再生軌跡データに追記する（Ｓ２１１４）。この切出し画像領域情報は、例えば切出し画像を一時保持するＤＲＡＭ１０１上のアドレス情報、切出し画像の座標、幅及び高さ、切り出した再生画像の再生時間、並びに切出し時の被写体検出位置情報などからなる。
【０２５９】
Ｓ２１０９でＮｏの場合、Ｓ２１１１でＹｅｓの場合、又はＳ２１１４の後、ＣＰＵ１０９は、図２１Ａ及び図２１Ｂに示すフローを終了する。
【０２６０】
図２２Ａ及び図２２Ｂは、図２０で説明した切出し画像を用いて再生ポーズにした場合の動作フローチャートである。
【０２６１】
ＣＰＵ１０９は、図１９および図２１Ａ及び図２１Ｂで示した被写体検出動画再生において、被写体再生軌跡データが登録されているかどうかを判断する（Ｓ２２０１）。
【０２６２】
Ｓ２２０１でＮｏの場合、ＣＰＵ１０９は、Ｓ２２１２へ移行する。
【０２６３】
Ｓ２２０１でＹｅｓの場合、ＣＰＵ１０９は、登録済みの被写体再生軌跡データの対象となっている被写体が現在表示出力中の画像データからフレームアウトしているかどうかを判断する（Ｓ２２０２）。このときフレームアウトしているかどうかは、現在表示出力中の画像データから被写体を検出し、その輪郭情報が被写体再生軌跡データに格納されている輪郭情報と実質的に一致するかどうかで判断する。被写体が検出され、かつ検出された被写体から生成された輪郭情報と被写体再生軌跡データに格納されている輪郭情報が実質一致する場合、ＣＰＵ１０９は、Ｎｏと判断する。逆に、被写体が検出されない場合、又は輪郭情報が一致しない場合には、ＣＰＵ１０９は、フレームアウトと判断し、Ｙｅｓとなる。
【０２６４】
Ｓ２２０２でＮｏの場合、ＣＰＵ１０９は、Ｓ２２０４に移行する。
【０２６５】
Ｓ２２０２でＹｅｓの場合、ＣＰＵ１０９は、被写体再生軌跡データに格納されている切出し画像領域情報を参照して、ＤＲＡＭ１０１に一時保持されている切出し画像データを読み出し、現在表示出力中の画像データと合成する（Ｓ２２０３）。ここでは、切出し画像領域情報に格納されている切り出した画像の座標と幅と高さで規定される位置及びサイズで、切出し画像を表示中の画像に合成する。
【０２６６】
ＣＰＵ１０９は、フレームアウト被写体再生軌跡データに存在する検出位置情報を被写体の軌跡として、ＤＲＡＭ１０１上に存在する描画スクリーンエリアに描画する（Ｓ２２０４）。例えば、被写体再生軌跡データに存在する検出位置情報を描画スクリーンエリアの相対する座標にプロットし、プロットされた座標を直線又は曲線で結ぶことで軌跡を描画できる。
【０２６７】
タッチパネル１０５は、ユーザが現在タッチしているか否か及びタッチ位置を検出し、ＣＰＵ１０９に通知する（Ｓ２２０５）。
【０２６８】
ＣＰＵ１０９は、Ｓ２２０５で位置検出されたか否かを判断する（Ｓ２２１４）。
【０２６９】
Ｓ２２１４でＹｅｓの場合、ＣＰＵ１０９は、Ｓ２２０３でフレームアウト被写体再生軌跡データの切出し画像領域情報から切出しシーンでの被写体検出位置を取得し、Ｓ２２０５で検出した位置との一致を判断する（Ｓ２２０６）。
【０２７０】
Ｓ２２０６でＹｅｓの場合、ＣＰＵ１０９は、Ｓ２２０３で検索された再生時間（フレームアウト直前の時間）に対応する符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込み（Ｓ２２１１）、Ｓ２２１０に移行する。
【０２７１】
Ｓ２２０６でＮｏの場合、ＣＰＵ１０９は、現在表示している画像データ内の被写体位置とＳ２２０５で検出した位置が実質一致しているか否かを判断する（Ｓ２２０７）。
【０２７２】
Ｓ２２０７でＹｅｓの場合、ＣＰＵ１０９は、Ｓ２２１２に移行する。
【０２７３】
Ｓ２２０７でＮｏの場合、ＣＰＵ１０９は、Ｓ２２０５で検出した現在位置に対応する被写体位置情報が被写体再生軌跡データ内に存在するかを判断する（Ｓ２２０８）。例えば、現在位置と一致する情報が被写体再生軌跡データ内に存在しなくとも、画像データ上の座標距離が所定範囲内であれば一致と判断する。
【０２７４】
Ｓ２２０８でＮｏの場合、ＣＰＵ１０９は、Ｓ２２１２に移行する。
【０２７５】
Ｓ２２０８でＹｅｓの場合、ＣＰＵ１０９は、一致した被写体位置情報に対応する再生シーン時間情報を取得し、取得した再生シーン情報に応じた符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込み（Ｓ２２０９）、Ｓ２２１０に移行する。
【０２７６】
Ｓ２２１４でＮｏの場合、ＣＰＵ１０９は、フレームアウト被写体再生軌跡データの切出し画像領域情報から切出しシーンでの被写体検出位置を取得し、切出し時の被写体検出位置が直前の位置検出時に選択されていたか否かを判断する（Ｓ２２１５）。
【０２７７】
Ｓ２２１５でＮｏの場合、ＣＰＵ１０９は、Ｓ２２１２に移行する。
【０２７８】
Ｓ２２１５でＹｅｓの場合、ＣＰＵ１０９は、この再生ポーズ動作へ遷移する直前に表示していた再生シーン情報に応じた符号化画像データを記録媒体１２０からＤＲＡＭ１０１に読み込み（Ｓ２２１６）、Ｓ２２１０に移行する。
【０２７９】
デコーダ１０６は、ＣＰＵ１０９の制御下で、Ｓ２２０９またはＳ２２１１で読み込んだ画像符号化データをデコードし、画像データを生成する（Ｓ２２１０）。
【０２８０】
ＣＰＵ１０９は、Ｓ２２０４での軌跡データを描画した描画スクリーンデータと、画像データを合成処理し、表示する（Ｓ２２１２）。合成に使用する画像データは、Ｓ２２１０でデコード処理した場合は、Ｓ２２１０で生成した画像データであり、Ｓ２２１０でデコード処理していない場合は、現在表示出力している画像データである。
【０２８１】
ＣＰＵ１０９は、ユーザが再生ポーズ動作の終了指示をしたか否かを判断する（Ｓ２２１３）。Ｓ２２１３でＮｏの場合、ＣＰＵ１０９は、Ｓ２２０１に戻る。Ｓ２２１３でＹｅｓの場合、ＣＰＵ１０９は、図２２Ａ及び図２２Ｂに示すフローを終了し、呼び出し元に戻る。
【０２８２】
図１９、図２０、図２１Ａ、図２１Ｂ、図２２Ａ及び図２２Ｂを参照して説明したように、被写体がフレームアウトする直前の画像の一部を保持し、再生ポーズ時に画像合成を行って表示することで、ユーザは、フレームアウトした被写体を選択することが可能になる。
【０２８３】
フレームアウトした被写体に関する情報を複数、記憶できるようにすることで、フレームアウトした複数の被写体に対応可能になる。その場合、フレームアウトの位置と前記軌跡を示す情報が所定数を超える場合に、フレームアウトを検知した順に古いものを破棄する。
【０２８４】
上述の実施例は、互いに矛盾しない範囲で組み合わせて実施することが可能である。また、上述の実施例の一部又は全部の機能は、コンピュータ上で動作するコンピュータプログラムにもよって実現されうる。
【図１】
2015084483.tif 000025
【図２】
2015084483.tif 000026
【図３】
2015084483.tif 000027
【図４】
2015084483.tif 000028
【図５】
2015084483.tif 000029
【図６】
2015084483.tif 000030
【図７】
2015084483.tif 000031
【図８】
2015084483.tif 000032
【図９】
2015084483.tif 000033
【図１０】
2015084483.tif 000034
【図１１Ａ】
2015084483.tif 000035
【図１１Ｂ】
2015084483.tif 000036
【図１２】
2015084483.tif 000037
【図１３Ａ】
2015084483.tif 000038
【図１３Ｂ】
2015084483.tif 000039
【図１４Ａ】
2015084483.tif 000040
【図１４Ｂ】
2015084483.tif 000041
【図１５】
2015084483.tif 000042
【図１６】
2015084483.tif 000043
【図１７】
2015084483.tif 000044
【図１８Ａ】
2015084483.tif 000045
【図１８Ｂ】
2015084483.tif 000046
【図１９】
2015084483.tif 000047
【図２０】
2015084483.tif 000048
【図２１Ａ】
2015084483.tif 000049
【図２１Ｂ】
2015084483.tif 000050
【図２２Ａ】
2015084483.tif 000051
【図２２Ｂ】
2015084483.tif 000052