(57)【要約】【課題】ユーザが直感的な操作で早送りおよび巻き戻し再生を行うことができる再生制御装置を提供する。【解決手段】被写体検出部１０２は動画像を記録する際、フレームの各々において少なくとも被写体の位置を検出して被写体データとしてフレームの順番とともにメモリに記録する。動画像の一つのフレームを再生表示の際に、制御部１０２は表示部１０８に表示中のフレームとともに被写体データが示す被写体の位置に応じて被写体の移動軌跡を表示し、表示部に表示された移動軌跡のタッチ操作を検出すると、移動軌跡のタッチ位置に応じた被写体の位置に対応する順番のフレームを表示部に移動軌跡とともに表示する。【選択図】図６
2014132748.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを有する動画像の再生を制御する再生制御装置であって、
動画像の再生を制御する再生制御手段と、
ユーザの操作に応答して、前記動画像の再生中に被写体を含む領域が選択されたことを検知する選択検知手段と、
前記フレームごとに被写体のサイズを検出する被写体検出手段と、
前記選択された領域のサイズと対応するサイズの被写体を含むフレームを検索する検索手段と、を備え、
前記再生制御手段は、前記検索されたフレームを再生することを特徴とする再生制御装置。
【請求項２】
前記ユーザの操作は、再生された動画像上の２点を同時に指定し、前記領域は前記指定された２点を対角点とし、前記２点の距離を変化させる操作であることを特徴とする請求項１記載の再生制御装置。
【請求項３】
前記２点の距離の変化にしたがって、前記検索手段は前記選択された領域の変化後のサイズと対応するサイズの被写体を含むフレームを検索し、
前記再生制御手段は、前記検索されたフレームを再生する
ことを特徴とする請求項２記載の再生制御装置。
【請求項４】
前記再生された動画像上の２点が同時に指定されると、前記再生制御手段は、前記指定された２点を対角点とする領域に含まれる被写体のサイズの最大および最小のうち少なくとも一方と対応する大きさの枠を前記再生された動画像に重畳して表示することを特徴とする請求項２記載の再生制御装置。
【請求項５】
前記被写体検出手段はさらに、前記被写体の位置も検出し、
前記再生制御手段は、前記検出されたサイズおよび位置のうち少なくとも一方の変化量に応じて、前記被写体の移動軌跡または前記被写体を特定する枠を選択的に前記再生された動画像に重畳して表示することを特徴とする請求項１記載の再生制御装置。
【請求項６】
前記再生制御手段は、前記動画像を前記検索されたフレームから頭出し再生することを特徴とする請求項１記載の再生制御装置。
【請求項７】
複数のフレームを有する動画像の再生を制御する方法であって、
ユーザの操作に応答して、前記動画像の再生中に被写体を含む領域が選択されたことを検知するステップと、
前記フレームごとに被写体のサイズを検出するステップと、
前記選択された領域のサイズと対応するサイズの被写体を含むフレームを検索するステップと、
前記検索されたフレームを再生するステップを備えたことを特徴とする再生制御方法。
【請求項８】
複数のフレームを有する動画像の再生を制御する方法をコンピュータに実行させる制御プログラムを格納したコンピュータで読み取り可能な記憶媒体であって、
前記方法は、
ユーザの操作に応答して、前記動画像の再生中に被写体を含む領域が選択されたことを検知するステップと、
前記フレームごとに被写体のサイズを検出するステップと、
前記選択された領域のサイズと対応するサイズの被写体を含むフレームを検索するステップと、
前記検索されたフレームを再生するステップを備えたことを特徴とする記憶媒体。
【請求項９】
コンピュータに、
ユーザの操作に応答して、前記動画像の再生中に被写体を含む領域が選択されたことを検知するステップと、
前記フレームごとに被写体のサイズを検出するステップと、
前記選択された領域のサイズと対応するサイズの被写体を含むフレームを検索するステップと、
前記検索されたフレームを再生するステップを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を再生する再生制御装置、再生制御方法、及びその方法を実行する制御プログラムを格納した記憶媒体に関し、特に、タッチパネルなどを用いて再生操作する際の技術に関する。
【背景技術】
【０００２】
従来、情報処理装置などの記録再生装置においては、表示された映像からユーザが意図するシーンを探す際に、マウス、物理キー、又はタッチパネルを用いて、画面に配置されたボタン又はシークバーを操作して、映像を早送り又は巻き戻している（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２１１４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、上記特許文献１に記載の技術では、早送り又は巻き戻しによりユーザが意図するシーンを探すようにしているので、ユーザは画面に表示されたシーンが意図したシーンであるか確認する必要がある。このため、ユーザはシーンが実際に画面表示されるまで、そのシーンがユーザの意図したシーンであるかが分からないことが多く、ユーザが意図するシーンを表示するまで時間が掛かるばかりでなく、操作性に劣るという問題点がある。
【０００５】
本発明の目的は、ユーザが直感的な操作で早送りおよび巻き戻しを行えて、操作性の良好な再生制御装置、再生制御方法、およびその方法を実行する制御プログラムを格納した記憶媒体を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１記載の再生制御装置は、複数のフレームを有する動画像の再生を制御する再生制御装置であって、動画像の再生を制御する再生制御手段と、ユーザの操作に応答して、前記動画像の再生中に被写体を含む領域が選択されたことを検知する選択検知手段と、前記フレームごとに被写体のサイズを検出する被写体検出手段と、前記選択された領域のサイズと対応するサイズの被写体を含むフレームを検索する検索手段と、を備え、前記再生制御手段は、前記検索されたフレームを再生することを特徴とする。
【０００７】
上記目的を達成するために、請求項７記載の再生制御方法は、複数のフレームを有する動画像の再生を制御する方法であって、ユーザの操作に応答して、前記動画像の再生中に被写体を含む領域が選択されたことを検知し、前記フレームごとに被写体のサイズを検出し、前記選択された領域のサイズと対応するサイズの被写体を含むフレームを検索し、前記検索されたフレームを再生することを特徴とする。
【０００８】
上記目的を達成するために、請求項８記載の記憶媒体は、複数のフレームを有する動画像の再生を制御する方法をコンピュータに実行させる制御プログラムを格納したコンピュータで読み取り可能な記憶媒体であって、前記方法は、ユーザの操作に応答して、前記動画像の再生中に被写体を含む領域が選択されたことを検知し、前記フレームごとに被写体のサイズを検出し、前記選択された領域のサイズと対応するサイズの被写体を含むフレームを検索し、前記検索されたフレームを再生することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ユーザが直感的な操作で早送りおよび巻き戻しでき、その操作性を良好とすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る再生制御装置としての記録再生装置のブロック図である。
【図２】図１に示す表示部に表示された動画像において被写体が左から右に移動する例を示す図である。
【図３】図２に示す動画像の早送り又は巻き戻し再生を説明するための図である。
【図４】図３に示す動画再生を実現する動画再生処理のフローチャートである。
【図５】本発明の第２の実施形態に係る再生制御装置としての記録再生装置の表示部に表示された動画像において被写体がカメラの方向に移動する例を示す図である。
【図６】図５に示す動画像の早送り又は巻き戻し再生を説明するための図である。
【図７】図６に示す動画再生を実現する動画再生処理のフローチャートである。
【図８】本発明の第３の実施形態に係る再生制御装置としての記録再生装置の表示部に表示された動画像において被写体が横方向に移動しつつカメラに近づく例を示す図である。
【図９】図８に示す動画像の早送り又は巻き戻し再生を説明するための図である。
【図１０】図９に示す動画再生を実現する動画再生処理のフローチャートである。
【図１１】ピンチ操作に応じた表示すべきフレーム（画像）の選択の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態による記録再生装置の一例について図面を参照して説明する。
【００１２】
図１は、本発明の第１の実施形態に係る再生制御装置としての記録再生装置１００のブロック図である。
【００１３】
図示の記録再生装置は、例えば、タッチパネルを有するビデオカメラ又はデジタルカメラであるが、スマートフォンなどの動画像を記録再生可能な電子機器であってもよい。
【００１４】
記録再生装置１００は入力部１０１、制御部１０２、符号化・復号化部（ＣＯＤＥＣ）１０４、メモリ１０５、記録媒体制御部１０６、出力部１０７、表示部１０８、および被写体検出部１１０を有しており、これらは内部バス１１１によって相互に接続されている。そして、制御部１０２にはタッチパネル１０３が接続され、記録媒体制御部１０６には記録媒体１０９が接続される。
【００１５】
入力部１０１は、複数のフレームを有する映像信号（動画像信号ともいう）および音声信号を取得する。ここでは、入力部１０１は記録再生装置１００の外部から供給された動画像信号および音声信号を取得するものとする。入力部１０１が撮像部およびマイクロフォンを備えて、入力部１０１は撮像部による撮像の結果得られた映像およびマイクロフォンによって得られた音声をデジタル変換してそれぞれ動画像信号および音声信号を取得するようにしてもよい。
【００１６】
制御部１０２は、タッチパネル１０３の操作（タッチ操作）に応じて記録再生装置１００の全体を制御する。この際、後述するようにして、制御部１０２はタッチパネル１０３上の２点のタッチ操作があると当該２点間の距離を算出する。なお、タッチパネル１０３は表示部１０８上に重ね合わされて配置されており、表示部１０８に表示されたボタンなどのＵＩ（ユーザインターフェース）をタッチパネル１０３によってタッチ操作することができる。
【００１７】
タッチパネル１０３は、指示部材（例えば、ユーザの指）がタッチする位置を示す位置情報を制御部１０２に通知する。ここでは、タッチパネル１０３は、記録又は再生の開始、そして、停止を指示するためのスイッチ、記録再生装置１００のモードを切り替えるためのスイッチなどとしても用いられる。
【００１８】
制御部１０２はマイクロコンピュータおよびメモリなどを有しており、内蔵メモリに格納されたプログラムに応じて記録再生装置１００を制御する。また、制御部１０２には、記録媒体インターフェイス（Ｉ／Ｆ）が内蔵され、当該Ｉ／Ｆによって制御部１０２は記録媒体制御部１０６とデータおよびコマンドを送受する。
【００１９】
ＣＯＤＥＣ１０４は、記録の際には入力部１０１により入力された映像信号および音声信号を、映像圧縮符号化方式であるＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）および音声圧縮方式であるＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などに従って符号化してそのデータ量を圧縮する。
【００２０】
メモリ１０５は、動画像信号および音声信号を一時的に記憶するバッファメモリとして用いられる。記録再生装置１００では、メモリ１０５に対するアクセスによって動画像信号および音声信号を読み出して、当該動画像信号および音声信号を処理する。また、メモリ１０５には、動画像信号および音声信号の他に、ファイルシステムに係るファイル情報などの各種情報が記憶され、さらに、メモリ１０５は制御部１０２のワークメモリとしても用いられる。
【００２１】
記録媒体制御部１０６は、記録媒体１０９に動画像信号および音声信号、又は各種情報を記録するとともに、当該記録された情報などを再生する。例えば、記録媒体制御部１０６は、記録モード際にはメモリ１０５に蓄積された動画像信号および音声信号を記録媒体１０９に記録する。そして、記録媒体制御部１０６は、再生モードの際には記録媒体１０９から動画像信号および音声信号を読み込み、メモリ１０５に記憶する。
【００２２】
なお、図示の例では、記録媒体１０９はＳＤメモリカードなどのフラッシュメモリ又はランダムアクセス可能な記録媒体である。また、記録媒体１０９は、記録媒体装着・排出機構（図示せず）により、記録再生装置１００に対して装着および排出することができるものとするが、記録再生装置１００に記録媒体１０９を内蔵するようにしてもよい。
【００２３】
記録媒体制御部１０６は、記録媒体１０９に記録する動画像信号および音声信号、そして、各種情報を、ＦＡＴ（Ｆｉｌｅ  Ａｌｌｏｃａｔｉｏｎ  Ｔａｂｌｅ）などのファイルシステムに応じてファイルとして管理する。また、記録媒体制御部１０６は、ＡＴＡ（Ａｄｖａｎｃｅｄ  Ｔｅｃｈｎｏｌｏｇｙ  Ａｔｔａｃｈｍｅｎｔ）又はＳＤＣＡＲＤ  Ｉ／Ｆなどの既知のインターフェイス（Ｉ／Ｆ）を備えており、制御部１０２との間でデータおよび各種コマンドを送受する。
【００２４】
制御部１０２は、記録媒体１０９に動画像信号および音声信号などのデータ（ファイル）を書き込み又は読み出す際には、記録媒体制御部１０６を制御して、記録媒体１０９からファイルシステムデータを再生してメモリ１０５に記憶する。このファイルシステムデータは、記録媒体１０９に記録されたデータのファイル名、ファイルのサイズ、およびデータの記録アドレスなどを示すデータであり、ファイルを管理するための管理情報である。
【００２５】
制御部１０２は、読み出したファイルシステムデータに応じてファイルの書き込み又は読み出しを制御する。制御部１０２は、記録媒体１０９に対するファイルの書き込みに応じて、メモリ１０５に記憶されたファイルシステムデータを更新する。そして、制御部１０２は更新したファイルシステムデータを、記録媒体制御部１０６によって記録媒体１０９に記録する。
【００２６】
ユーザはタッチパネル１０３をタッチ操作することによって、つまり、表示部１０８に表示された各種ボタンにタッチすることによって、記録再生装置１００の動作モードの切り替え、静止画像、又は動画像の記録および再生の開始、そして、停止などを指示することができる。
【００２７】
出力部１０７は、再生された動画像信号および音声信号を記録再生装置１００の外部の表示装置などに出力する。なお、表示部１０８には、静止画像又は動画像の映像、各種情報、およびタッチパネル操作用ボタンなどが表示される。
【００２８】
被写体検出部１１０は、記録モード又は再生モードの際に動画像信号から被写体領域を検出して、被写体毎に画像（つまり、画面）上の位置およびそのサイズを検出する。
【００２９】
ここで、図１に示す記録再生装置１００において被写体が画面上で移動している際にドラッグ操作で被写体をサーチする場合について説明する。
【００３０】
図２は、図１に示す表示部１０８に表示された動画像において被写体が左から右に移動する例を示す図である。
【００３１】
図２に示す動画像では、シーン（Ｓｃｅｎｅ）０からＳｃｅｎｅ５があり、再生時間がそれぞれ以下のようになっている。
＜シーン＞        ＜再生時間＞
Ｓｃｅｎｅ０        ００：００
Ｓｃｅｎｅ１        ００：０１
Ｓｃｅｎｅ２        ００：０２
Ｓｃｅｎｅ３        ００：０３
Ｓｃｅｎｅ４        ００：０４
Ｓｃｅｎｅ５        ００：０５
図２に示す動画像に対して、被写体を検出すると、被写体検出部１１０はＳｃｅｎｅ０が記録される際に被写体Ａを検出する。そして、被写体検出部１１０は、制御部１０２の制御下で被写体Ａの位置情報（ｘ０，ｙ０）、サイズ情報（ｗ０，ｈ０）、および再生時間（つまり、順番）００：００を被写体再生軌跡データ（単に被写体データともいう）Ａとして記録媒体１０９に格納する。ここで、被写体の位置情報は、検出された被写体の領域の中心の座標または検出された被写体の領域の最左上点の座標などであり、予め定義されているものとする。また、サイズ情報は検出された被写体の領域を画成する矩形の幅と高さとする。
【００３２】
次に、被写体検出部１１０は、Ｓｃｅｎｅ１が記録される際に検出した被写体を、既に登録された被写体Ａと同一であるか否かを判定する。そして、同一であれば、被写体検出部１１０は、制御部１０２の制御下でＳｃｅｎｅ１における被写体Ａの位置情報（ｘ１，ｙ１）、サイズ情報（ｗ１，ｈ１）、および再生時間００：０１を記録媒体１０９に被写体再生軌跡データＡとして記録する。
【００３３】
同様にして、Ｓｃｅｎｅ２からＳｃｅｎｅ５の各々について、被写体検出部１１０は、制御部１０２の制御下で被写体Ａの位置情報（検出位置）、サイズ情報、および再生時間を記録媒体１０９に被写体再生軌跡データＡとして記録する。この結果、ｓｎｅｎｅ０からｓｃｅｎｅ５までの被写体再生軌跡データＡとして次の情報が記録媒体１０９に記録されることになる。
【００３４】
なお、被写体Ａがカメラとほぼ同一の距離を保って移動している場合には、ｓｎｅｎｅ０からｓｃｅｎｅ５までのサイズ情報はほぼ同一となるので、この場合には、サイズ情報は、下記の動画再生処理では、用いられないことになる。
【００３５】
被写体再生軌跡データＡ    位置情報        サイズ情報    再生時間
ｓｃｅｎｅ０            （ｘ０，ｙ０）  （ｗ０，ｈ０）  ００：００
ｓｃｅｎｅ１            （ｘ１，ｙ１）  （ｗ１，ｈ１）  ００：０１
ｓｃｅｎｅ２            （ｘ２，ｙ２）  （ｗ２，ｈ２）  ００：０２
ｓｃｅｎｅ３            （ｘ３，ｙ３）  （ｗ３，ｈ３）  ００：０３
ｓｃｅｎｅ４            （ｘ４，ｙ４）  （ｗ４，ｈ４）  ００：０４
ｓｃｅｎｅ５            （ｘ５，ｙ５）  （ｗ５，ｈ５）  ００：０５
図３は、図２に示す動画像の早送り又は巻き戻し再生を説明するための図である。ここでは、画像上において被写体をドラッグ操作することによって制御部１０２は動画像の早送り又は巻き戻し再生する。
【００３６】
いま、再生モードにおいて、Ｓｃｅｎｅ５が再生表示されているものとする。そして、Ｓｃｅｎｅ５における被写体Ａの位置情報は（ｘ５，ｙ５）である。ユーザが再生ポーズを指示すると、制御部１０２は被写体再生軌跡データＡとして登録された全ての位置情報から被写体Ａの移動軌跡３０１を描画する。
【００３７】
続いて、ユーザがＳｃｅｎｅ５における被写体の検出位置（ｘ５，ｙ５）をタッチパネル１０３によってタッチ操作で選択する。そして、ユーザがタッチ操作を解除することなく、タッチパネル１０３のタッチ位置を検出位置（ｘ１，ｙ１）に移動（ドラッグ）すると、制御部１０２は検出位置（ｘ１，ｙ１）に対応する再生時間をメモリ１０５で検索し、当該再生時間００：０１であるＳｃｅｎｅ１を表示部１０８に再生表示する。
【００３８】
図４は、図３に示す動画再生を実現する動画再生処理のフローチャートである。
【００３９】
再生モードとなると、制御部１０２は最初の画像（映像）を表示する前に、被写体再生軌跡データＡを記録媒体１０９から読み込んでメモリ１０５に格納する（ステップＳ４０１）。続いて、制御部１０２は記録媒体１０９に格納された動画像ファイルから最初の画像符号化データ（つまり、最初のフレーム）をメモリ１０５に読み込む（ステップＳ４０２）。
【００４０】
制御部１０２はＣＯＤＥＣ１０４を制御して最初の画像符号化データをデコードして映像データを生成する（ステップＳ４０３）。そして、制御部１０２は当該映像データに応じた映像（画像）を表示部１０８に表示する（ステップＳ４０４）。
【００４１】
次に、制御部１０２は、ユーザによる再生停止指示があるか否かを確認する（ステップＳ４０５）。再生停止指示があると（ステップＳ４０５において、ＹＥＳ）、制御部１０２は再生動作を終了する。
【００４２】
一方、再生停止指示がないと（ステップＳ４０５において、ＮＯ）、制御部１０２はユーザによる再生ポーズ指示があるか否かを確認する（ステップＳ４０６）。再生ポーズ指示がないと（ステップＳ４０６において、ＮＯ）、制御部１０２は次のフレームに処理を進めて（ステップＳ４０７）、ステップＳ４０２の処理に戻る。
【００４３】
このように、再生ポーズ指示がなければ、制御部１０２は通常の再生動作を行って、１フレームずつ連続して映像を表示部１０８に表示する。
【００４４】
再生ポーズ指示があると（ステップＳ４０６において、ＹＥＳ）、制御部１０２はメモリ１０５を検索して現フレーム（つまり、表示中の映像）に被写体再生軌跡データが存在するか否かを判定する（ステップＳ４０８）。被写体再生軌跡データが存在すると（ステップＳ４０８において、ＹＥＳ）、制御部１０２は被写体再生軌跡データにおける位置情報の変化を表示するため、位置情報に応じて移動軌跡を表示部１０８に描画する（ステップＳ４０９）。
【００４５】
続いて、制御部１０２は、ユーザがタッチパネル１０３で被写体（つまり、検出位置）を選択したか否かを検知する（ステップＳ４１０）。被写体が選択されると（ステップＳ４１０において、ＹＥＳ）、ユーザの操作に応答して、制御部１０２は選択された被写体（つまり、検出位置）を取得する（ステップＳ４１１）。
【００４６】
次に、制御部１０２は表示中の被写体の位置（表示位置）と選択された検出位置とが同一であるか否かを判定する（ステップＳ４１２）。表示中のフレームにおける被写体の位置が選択されれば、被写体の表示位置と選択された検出位置とは同一であることになる。一方、被写体を選択して移動軌跡の方向に選択位置を移動（ドラッグ）した際には、被写体の表示位置と選択された検出位置とが異なることになる。
【００４７】
被写体の表示位置と選択された検出位置とが異なると（ステップＳ４１２において、ＮＯ）、制御部１０２は被写体再生軌跡データに選択位置に対応する検出位置が存在するか否かを判定する（ステップＳ４１３）。選択位置に対応する検出位置が存在すると（ステップＳ４１３において、ＹＥＳ）、制御部１０２は記録媒体１０９から検出位置に対応する再生時間のフレーム（画像符号化データ）をメモリ１０５に読み込む（ステップＳ４１４）。制御部１０２はＣＯＤＥＣ１０４を制御して当該画像符号化データをデコードして映像データを生成する（ステップＳ４１５）。そして、制御部１０２はこの映像データと移動軌跡とを合成して（移動軌跡を映像に重畳して）表示部１０８に表示する（ステップＳ４１６）。
【００４８】
その後、制御部１０２は再生ポーズが終了したか否かを判定する（ステップＳ４１７）。再生ポーズが終了していないと（ステップＳ４１７において、ＮＯ）、制御部１０２はステップＳ４０８の処理に戻って、再生ポーズ終了指示があるまで処理を繰り返す。一方、再生ポーズ終了指示があると（ステップＳ４１７において、ＹＥＳ）、制御部１０２はステップＳ４０２の処理に戻って、次のフレームを読み込む。
【００４９】
選択位置に対応する検出位置が存在しないと（ステップＳ４１３において、ＮＯ）、制御部１０２はユーザが移動軌跡以外を選択しているとして、ステップＳ４１６の処理に進んで現在表示中の映像と移動軌跡とを合成して（移動軌跡を映像に重畳して）表示することになる。
【００５０】
同様に、被写体の表示位置と選択された検出位置とが同一であると（ステップＳ４１２において、ＹＥＳ）、制御部１０２はステップＳ４１６の処理に進んで、現在表示中の映像と移動軌跡とを合成して表示することになる。
【００５１】
なお、ステップＳ４１０において、被写体が選択されないと（ステップＳ４１０において、ＮＯ）、制御部１０２はステップＳ４１７の処理に進む。同様に、ステップＳ４０８において、被写体再生軌跡データが存在しないと（ステップＳ４０８において、ＮＯ）、制御部１０２はステップＳ４１７の処理に進む。
【００５２】
上述のように、ユーザが被写体の位置（検出位置）を移動軌跡に沿ってドラッグすると、制御部１０２はドラッグ後の位置に被写体が位置するフレームを表示することになる。この結果、ユーザは直感的な操作で所望のフレームを直ちに表示部１０８に表示させることができる。
【００５３】
次に、本発明の第２の実施形態に係る再生制御装置としての記録再生装置の一例について説明する。なお、第２の実施形態係る再生制御装置としての記録再生装置の構成は、図１に示す記録再生装置と同様である。また、ここでは、被写体がカメラの方向に移動する際に撮影された動画像を再生する場合について説明する。
【００５４】
図５は、図１に示す表示部１０８に表示された動画像において被写体がカメラの方向に移動する例を示す図である。
【００５５】
図５においては、Ｓｃｅｎｅ０からＳｃｅｎｅ５があり、図２に示す例と同様に再生時間が規定されている。そして、図２で説明したようにして、被写体再生軌跡データＡが記録される。なお、図５では、被写体はカメラの方向に移動しているので、画像上の位置情報にはほとんど変化がないことになる。
【００５６】
図６は、図５に示す動画像の早送り又は巻き戻し再生を説明するための図である。ここでは、ユーザが画像における被写体の表示されている領域をタッチパネル上で２本の指を同時にタッチすることにより選択して当該２本の指を広げるか又は狭めるか（以下ピンチ操作と呼ぶ）によって、制御部１０２は動画像の早送り又は巻き戻し再生する。
【００５７】
いま、再生モードにおいて、Ｓｃｅｎｅ２が再生表示されているものとする。そして、Ｓｃｅｎｅ２における被写体Ａの位置情報は（ｘ２，ｙ２）であり、被写体のサイズ情報は（ｗ２，ｈ２）である。ユーザが再生ポーズを指示すると、制御部１０２は被写体再生軌跡データＡとして登録されたｓｃｅｎｅ２の位置情報およびサイズ情報に応じて被写体Ａを特定する枠（被写体枠）６０１を描画する。
【００５８】
なお、制御部１０２は前述のように移動軌跡を描画するか、それとも被写体枠（つまり、被写体マーク）を描画するかについて、その位置情報の変化量およびサイズ情報の変化量の大きさに応じて判定する。つまり、位置情報の変化量が所定値より大きく、サイズ情報の変化量が所定値以下である場合には、制御部１０２は移動軌跡を描画する。一方、位置情報の変化量が所定値以下で、サイズ情報の変化量が所定値より大きい場合には、制御部１０２は被写体枠６０１を描画する。
【００５９】
続いて、ユーザがＳｃｅｎｅ２における被写体枠６０１をタッチパネル１０３のタッチ操作によって選択する。この際、ユーザはピンチ操作するため２本の指（例えば、親指と人差し指）で被写体枠６０１の対角点をタッチして被写体枠６０１を選択する。
【００６０】
制御部１０２は移動軌跡を表示する代わりに、被写体のサイズ情報に基づいて被写体のサイズ（大きさ）が変化していることが分かるように、動画像に含まれる複数のシーンにおける被写体の最小サイズの枠６０２および最大サイズの枠６０３を表示する。これによって、ユーザは被写体の大きさの変化の範囲を容易に把握することができる。
【００６１】
ユーザがタッチ操作を解除することなく、タッチパネル１０３のタッチ位置において２本の指の距離を広げるように移動（ピンチアウト）すると、制御部１０２は２本の指の距離に応じて対応するサイズ情報を得る。この際には、制御部１０２は被写体を選択した際の２本の指の距離をそのタッチ座標に応じて算出する。そして、制御部１０２はこの距離と選択された被写体枠のサイズ（枠の対角長）との比を求める。
【００６２】
２本の指の距離が変化すると（ここでは、広げられると）、制御部１０２は上述の比に応じて被写体枠のサイズを求めて、当該被写体枠のサイズに最も近似するサイズ情報を被写体再生軌跡データから検索する。そして、制御部１０２は当該サイズ情報に対応する再生時間を被写体再生軌跡データＡから検索して、例えば、対応する再生時間００：０５であるＳｃｅｎｅ５を検索し、Ｓｃｅｎｅ５を画面に表示して動画の再生を一時停止する。
【００６３】
図７は、図６に示す動画再生をする動画再生処理のフローチャートである。なお、図７において、図４で説明したのと同一のステップについては同一の参照符号を付して説明を省略する。
【００６４】
図４で説明したステップＳ４０８において、被写体再生軌跡データが存在すると、制御部１０２はサイズ情報の変化を示すため、表示中の画像における被写体の位置情報およびサイズ情報に応じて被写体枠６０１を描画する（ステップＳ７０１）。続いて、制御部１０２は、タッチパネル１０３において２本の指で被写体が選択されているか否かを判定する（ステップＳ７０２）。ここで、２本の指でタッチされている動画像上の２点を対角点とする矩形領域の中に、特定の被写体の位置情報が含まれれば、選択されていると判定し、含まれなければ選択されていないと判定する。
【００６５】
２本の指で被写体が選択されていると（ステップＳ７０２において、ＹＥＳ）、制御部１０２は、図６で説明したように、被写体枠の変化範囲（最小サイズおよび最大サイズ）を描画する（ステップＳ７０３）。続いて、制御部１０２はタッチパネル１０３上の指のタッチ位置の変化に応じて２本の指の間の距離（幅）の変化量を求める（ステップＳ７０４）。つまり、２本の指でピンチ操作が行われると、制御部１０２はその距離の変化量を算出することになる。
【００６６】
次に、制御部１０２は上記の変化量が被写体枠の変化範囲（枠又はマーク変化範囲）を超えているか否かを判定する（ステップＳ７０５）。変化量が変化範囲を超えていないと（ステップＳ７０５において、ＹＥＳ）、制御部１０２は変化量に応じて変化後の被写体枠サイズを求めて、当該被写体枠サイズに最も近似するサイズ情報を被写体再生軌跡データから検索する。ここで、被写体枠サイズとサイズ情報の両辺の差が所定範囲であれば、近似するとして、制御部１０２は当該サイズ情報に対応する再生時間のフレーム（画像符号化データ）を記録媒体１０９からメモリ１０５に読み込む（ステップＳ７０６）。
【００６７】
続いて、制御部１０２はＣＯＤＥＣ１０４を制御して当該画像符号化データをデコードして映像データを生成する（ステップＳ７０７）。そして、制御部１０２はこの映像データと被写体枠とを合成して表示部１０８に表示する（被写体枠を映像に重畳して）（ステップＳ７０８）。その後、制御部は、図４で説明したステップＳ４１７の処理を行う。再生ポーズが終了していないと（ステップＳ４１７において、ＮＯ）、制御部１０２はステップＳ４０８の処理に戻って、再生ポーズ終了指示があるまで処理を繰り返す。これにより、指示部材によりピンチ操作が連続して行われ、被写体枠が指定され続ければ、対応するサイズ情報の被写体が存在するシーンが連続的に画面に表示されることとなる。
【００６８】
変化量が変化範囲を超えていると（ステップＳ７０５において、ＮＯ）、制御部１０２は変化量を変化範囲内（例えば、最大サイズ）に修正して修正変化量とする（ステップＳ７０９）。制御部１０２は修正変化量に応じて変化後の被写体枠サイズを求め、当該被写体サイズに最も近似するサイズ情報を被写体再生軌跡データから検索する。そして、制御部１０２は当該サイズ情報に対応する再生時間のフレーム（画像符号化データ）を記録媒体１０９からメモリ１０５に読み込む（ステップＳ７１０）。その後、制御部１０２はステップＳ７０７の処理に進む。
【００６９】
なお、ステップＳ７０２において、２本の指で被写体が選択されていないと（ステップＳ７０２において、ＮＯ）、制御部１０２は、図４で説明したステップＳ４１７の処理に進む。
【００７０】
このように、第２の実施形態では、被写体枠をピンチ操作すると、その変化量に応じた被写体サイズのフレーム（映像）が表示されるので、ユーザは直感的な操作で所望のフレームを表示することができる。そして、被写体が画面上で横方向に移動していないような動画であっても直感的な操作で早送り又は巻き戻しすることができる。
【００７１】
なお、上述の説明では、被写体がズームインされた動画像の再生について説明したが、被写体がズームアウトされた動画像の場合も同様にして処理される。また、サイズ情報に対応する再生時間を被写体再生軌跡データから検索し、検索された再生時間のシーンで一時停止する代わりに、動画の再生の一時停止を解除して、当該シーンから動画の頭出し再生をするようにしてもよい。
【００７２】
次に、本発明の第３の実施形態に係る再生制御装置としての記録再生装置について説明する。なお、第３の実施形態に係る再生制御装置としての記録再生装置の構成は図１に示す記録再生装置と同様である。
【００７３】
前述の第１の実施形態および第２の実施形態では、それぞれ被写体が画面上で横方向に移動する動画像および被写体が画面上でカメラに近づいてくる動画像の再生について説明したが、ここでは、被写体が画面上で横方向に移動しつつカメラに近づいてくる動画像の再生について説明する。
【００７４】
図８は、図１に示す表示部１０８に表示された動画像において被写体が横方向に移動しつつカメラに近づく例を示す図である。
【００７５】
図８においては、Ｓｃｅｎｅ０からＳｃｅｎｅ５があり、図２に示す例と同様に再生時間が規定されている。そして、図２で説明したようにして、被写体再生軌跡データＡが記録される。なお、図８では、被写体は横方向に移動しつつカメラに近づくので、被写体の画像上の位置情報およびサイズ情報の双方が変化することになる。
【００７６】
図９は、図８に示す動画像の早送り又は巻き戻し再生を説明するための図である。ここでは、ユーザは画像上の被写体を選択して、ドラッグ操作又はピンチ操作によって動画像の早送り又は巻き戻し再生する。
【００７７】
いま、再生モードにおいて、Ｓｃｅｎｅ２が再生表示されているものとする。そして、ｓｃｅｎｅ２における被写体Ａの位置情報は（ｘ２，ｙ２）であり、被写体のサイズ情報は（ｗ２，ｈ２）である。ユーザが再生ポーズを指示すると、位置情報およびサイズ情報の双方が変化しているので、制御部１０２は被写体再生軌跡データＡとして登録された全ての位置情報に応じて被写体Ａの移動方向９０１を描画するとともに、ｓｃｅｎｅ２における被写体Ａの位置情報およびサイズ情報に応じて被写体枠９０２を描画する。
【００７８】
続いて、ユーザがｓｃｅｎｅ２における被写体枠９０２をタッチパネル１０３のタッチ操作によって選択する。この際、ユーザはピンチ操作するため２本の指（二点のタッチ）で被写体枠９０２を摘むようにして被写体枠９０２を選択するか又はドラッグ操作をするため１本の指（１点のタッチ）で被写体枠９０２を選択するかを選ぶことができる。
【００７９】
ユーザが２本の指で被写体枠９０２を選択すると、制御部１０２は移動方向９０１の描画（つまり、表示）を停止して、被写体のサイズ情報に基づいて被写体のサイズ（大きさ）が変化していることが分かるように、被写体の最小サイズの枠９０３および最大サイズの枠９０４を表示する。
【００８０】
一方、ユーザが１本の指で被写体枠９０２を選択すると、制御部１０２は被写体枠９０２の描画を停止して、被写体再生軌跡データＡに登録されている全ての位置情報に応じてその位置をプロットした移動軌跡９０５を描画する。
【００８１】
その後、第１の実施形態で説明したように、ピンチ操作又はドラッグ操作に応じて早送り又は巻き戻し再生が行われる。図示の例では、ピンチ操作およびドラッグ操作ともに、再生時間００：０５であるＳｃｅｎｅ５が再生表示されている。
【００８２】
このように、ユーザが再生ポーズを指示すると、被写体の移動方向および被写体枠が表示されるので、ユーザは被写体が画像上で移動すること、そして、被写体がカメラ方向に移動することが分かる。さらに、ユーザはドラッグ操作およびピンチ操作のいずれかで早送り又は巻き戻し再生するかを選ぶことができる。
【００８３】
図１０は、図９に示す動画再生を実現する動画再生処理のフローチャートである。なお、図１０において、図４で説明したフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
【００８４】
図４で説明したステップＳ４０８において、被写体再生軌跡データが存在すると、制御部１０２は被写体再生軌跡データＡとして登録された位置情報およびサイズ情報の双方が変化しているので、被写体の移動方向９０１および被写体枠９０２の双方を描画する（ステップＳ１００１）。続いて、制御部１０２はタッチパネル１０３のタッチ操作によって被写体が選択されているか否かを判定する（ステップＳ１００２）。
【００８５】
被写体が選択されていると（ステップＳ１００２において、ＹＥＳ）、制御部１０２は２本の指で被写体が選択されているかそれとも１本の指で被写体が選択されているかについて判定する（ステップＳ１００３）。２本の指で被写体が選択されていると（ステップＳ１００３において２本）、制御部１０２は、前述したように、移動方向９０１の描画を停止して被写体枠の変化範囲を描画する（ステップＳ１００４）。そして、制御部１０２はピンチ操作に応じた処理を行う（ステップＳ１００５）。
【００８６】
ステップＳ１００５の処理では、図７で説明したステップＳ７０４〜Ｓ７１０の処理が行われることになる。その後、制御部１０２は図４で説明したステップＳ４１７の処理に進む。
【００８７】
一方、１本の指で被写体が選択されていると（ステップＳ１００３において１本）、制御部１０２は、前述したように、被写体枠９０２の描画を停止して被写体の移動軌跡９０５を描画する（ステップＳ１００６）。そして、制御部１０２はドラッグ操作に応じた処理を行う（ステップＳ１００７）。
【００８８】
ステップＳ１００７の処理では、図４で説明したステップＳ４１１〜Ｓ４１６の処理が行われることになる。その後、制御部１０２は図４で説明したステップＳ４１７の処理に進む。
【００８９】
なお、ステップＳ１００２において、被写体が選択されていないと（ステップＳ１００２において、ＮＯ）、制御部１０２は、図４で説明したステップＳ４１７の処理に進む。
【００９０】
このように、第３の実施形態では、被写体枠をピンチ操作すると、その変化量に応じた被写体サイズのフレーム（映像）が表示される。また、被写体の移動軌跡に沿ってドラッグ操作すると、ドラッグ後の位置に被写体が位置するフレームが表示される。この結果、ユーザはピンチ操作およびドラッグ操作のいずれかを選択して、直感的な操作で所望のフレームを直ちに表示部に表示させることができる。そして、ユーザは被写体が画像上で横方向に移動しつつカメラに近づいてくる動画像であっても直感的な操作で早送り又は巻き戻し再生することができる。
【００９１】
なお、上述の説明では、ピンチ操作の際には、被写体を選択した際の２本の指の距離と選択した被写体枠のサイズ（枠の対角長）との比をもとめて、その比に応じて表示すべきフレームを選択するようにしたが、タッチパネル１０３をタッチした位置に応じて表示すべきフレームを選択するようにしてもよい。
【００９２】
図１１は、ピンチ操作に応じた表示すべきフレーム（画像）の選択の一例を示す図である。
【００９３】
図１１において、いま表示部１０８にｓｃｅｎｅ２のフレーム（画像）が表示され、被写体枠１１０１が描画されているものとする。この際、ユーザがピンチ操作を行って、２本の指の幅を広げる方向に操作して、タッチパネル１０３をタッチすると、制御部１０２は２本の指の位置に応じた被写体枠１１０２を描画する。そして、制御部１０２は当該被写体枠１１０２に最も近似するサイズ情報を検索して、当該サイズ情報に対応する再生時間のフレーム（ここでは、ｓｃｅｎｅ５）を選択し表示部１０８に表示する。
【００９４】
このようにすれば、ユーザはより直感的な操作で早送り又は巻き戻し再生することができる。
【００９５】
また、ピンチ操作を行った際に、被写体が画像上で移動すると、被写体枠と２本の指の位置とが離れることがある。この際においては、２本の指でタッチパネル１０３をタッチし続けている間は、２本の指の距離と選択した被写体枠のサイズとの比に応じて表示すべきフレームを決定するようにすれば、被写体が画像上で移動した場合においてもピンチ操作することができる。
【００９６】
上述の説明から明らかなように、図１に示す例においては、制御部１０２および被写体検出部１１０が検出手段として機能する。また、タッチパネル１０３および制御部１０２は判定手段として機能し、制御部１０２は第１の表示制御手段および第２の表示制御手段として機能する。
【００９７】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００９８】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を記録再生装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを記録再生装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【００９９】
上記の制御方法および制御プログラムの各々は、例えば、検出ステップ、判定ステップ、第１の表示制御ステップ、および第２の表示制御ステップを有している。
【０１００】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【０１０１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０２】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【０１０３】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１０４】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【０１０５】
１０１  入力部
１０２  制御部
１０３  タッチパネル
１０４  ＣＯＤＥＣ
１０５  メモリ
１０６  記録媒体制御部
１０７  出力部
１０８  表示部
１０９  記録媒体
１１０  被写体検出部
【図１】
2014132748.tif 000003
【図２】
2014132748.tif 000004
【図３】
2014132748.tif 000005
【図４】
2014132748.tif 000006
【図５】
2014132748.tif 000007
【図６】
2014132748.tif 000008
【図７】
2014132748.tif 000009
【図８】
2014132748.tif 000010
【図９】
2014132748.tif 000011
【図１０】
2014132748.tif 000012
【図１１】
2014132748.tif 000013