(57)【要約】【課題】動画ファイルの中から印刷に適したフレームを容易に選択できるようにする。【解決手段】動画ファイルと、その動画ファイルに対して付加されているメタデータを取得する。取得したメタデータに基づき、動画ファイルの中から、印刷に適した出力用の特定のフレーム４１，４２，４３，４４を抽出する。【選択図】図５
2015195524.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
動画ファイルを取得するファイル取得処理と、
前記ファイル取得処理により取得された動画ファイルに対して付加されているメタデータを取得するデータ取得処理と、
前記データ取得処理により取得されたメタデータに基づき、前記動画ファイルの中から、印刷に適した出力用の特定のフレームである候補フレームを抽出するフレーム抽出処理と、
を実行させるための動画処理プログラム。
【請求項２】
請求項１に記載の動画処理プログラムであって、
前記データ取得処理により取得されたメタデータに基づいて、前記動画ファイルの中から特定の時間帯をシーンとして抽出するシーン抽出処理を有し、
前記フレーム抽出処理では、前記シーン抽出処理により抽出されたシーンの中から、特定の候補フレーム抽出基準に従って前記候補フレームを抽出する
ことを特徴とする動画処理プログラム。
【請求項３】
請求項２に記載の動画処理プログラムであって、
前記シーン抽出処理では、前記動画ファイル全体の中で、連続的にメタデータが付加されている時間帯を１つの前記シーンとして、少なくとも１つの前記シーンを抽出する
ことを特徴とする動画処理プログラム。
【請求項４】
請求項２又は請求項３に記載の動画処理プログラムであって、
前記シーンは、予め決められた特定のメタデータが連続的に付加されている時間帯である
ことを特徴とする動画処理プログラム。
【請求項５】
請求項２に記載の動画処理プログラムであって、
前記シーン抽出処理では、前記動画ファイル全体の中で、連続的にメタデータが付加されていない時間帯の直前又は直後の一定の時間帯を１つの前記シーンとして、少なくとも１つの前記シーンを抽出する
ことを特徴とする動画処理プログラム。
【請求項６】
請求項２〜請求項５の何れか１項に記載の動画処理プログラムであって、
前記候補フレーム抽出基準として、次の（ａ）、（ｂ）の何れかが設定されていることを特徴とする動画処理プログラム。
（ａ）前記シーンの開始から特定の経過時間が経過した時点のフレームを前記候補フレームとすること。
（ｂ）前記シーン全体に含まれる各フレーム、又は前記シーンの開始から一定時間が経過するまでの時間帯に含まれる各フレームの中で、画像のぶれが最も少ないフレームを前記候補フレームとすること。
【請求項７】
請求項２〜請求項６の何れか１項に記載の動画処理プログラムであって、
前記フレーム抽出処理では、前記シーン中に複数のメタデータが重複して付加されている時間帯がある場合には、そのシーンの中でメタデータの重複数が最も多い時間帯を絞込シーンとして、その絞込シーンの中から、前記候補フレーム抽出基準に従って前記候補フレームを抽出する
ことを特徴とする動画処理プログラム。
【請求項８】
請求項１〜請求項７の何れか１項に記載の動画処理プログラムであって、
前記複数のメタデータには、動画中にテキストを表示させるためのテキストメタデータ、動画中にハイパーリンクを埋め込んで且つその埋め込んだ領域を示す画像を表示させるためのリンクメタデータ、及び、動画中にハイパーリンクを埋め込んで且つその埋め込んだ領域に対して特定の入力操作が行われた場合にその埋め込んだ領域を示す画像及び前記ハイパーリンクを示す画像の少なくとも一方を表示させるための領域メタデータのうち、少なくとも２つのメタデータを含む、
ことを特徴とする動画処理プログラム。
【請求項９】
請求項１〜請求項８の何れか１項に記載の動画処理プログラムであって、
前記フレーム抽出処理で抽出された前記候補フレーム毎にその候補フレームを表すサムネイル画像を生成する画像生成処理と、
前記画像生成処理により生成された前記サムネイル画像の少なくとも１つを表示部に表示させる画像表示処理と、
前記画像表示処理により前記表示部に表示されている前記サムネイル画像の中から特定のサムネイル画像の選択入力を受け付ける画像選択処理と、
前記画像選択処理により選択された前記サムネイル画像に対応した前記候補フレームを出力対象のフレームに決定する決定処理と、
を有することを特徴とする動画処理プログラム。
【請求項１０】
請求項９に記載の動画処理プログラムであって、
前記画像表示処理では、前記サムネイル画像毎に、そのサムネイル画像に対応した前記候補フレームに付加されているメタデータを示す情報も合わせて表示する
ことを特徴とする動画処理プログラム。
【請求項１１】
請求項１０に記載の動画処理プログラムであって、
前記メタデータには、動画中にハイパーリンクを埋め込んで且つその埋め込んだ領域に対して特定の入力操作が行われた場合にその埋め込んだ領域を示す画像及び前記ハイパーリンクを示す画像の少なくとも一方を表示させるための領域メタデータが含まれ、
前記画像表示処理では、前記サムネイル画像に対応した前記候補フレームに前記領域メタデータが付加されている場合、前記メタデータを示す情報として、前記領域メタデータの前記ハイパーリンクを示す情報及びそのハイパーリンクが埋め込まれている領域を示す情報のうち少なくとも一方を表示する
ことを特徴とする動画処理プログラム。
【請求項１２】
請求項９〜請求項１１の何れか１項に記載の動画処理プログラムであって、
前記画像生成処理で生成された前記サムネイル画像の中から、特定の選出基準に従って選出したサムネイル画像を、前記動画ファイルを示す動画選択用画像に設定する選択用画像設定処理と、
異なる前記動画ファイル毎に、その動画ファイルに対応した前記動画選択用画像を前記表示部に表示させる選択用画像表示処理と、
前記選択用画像表示処理により前記表示部に表示された前記動画選択用画像の中から特定の前記動画ファイルの選択入力を受け付ける選択用画像選択処理と、
を実行し、
前記画像表示処理では、前記選択用画像選択処理により選択された前記動画ファイルに対応した前記サムネイル画像を表示させる
ことを特徴とする動画処理プログラム。
【請求項１３】
請求項１２に記載の動画処理プログラムであって、
前記選択用画像表示処理では、前記動画選択用画像毎に、その動画選択用画像に対応した前記候補フレームに付加されているメタデータを示す情報も合わせて表示する
ことを特徴とする動画処理プログラム。
【請求項１４】
動画ファイルを取得するファイル取得ステップと、
前記ファイル取得ステップで取得した動画ファイルに対して付加されているメタデータを取得するデータ取得ステップと、
前記データ取得ステップで取得したメタデータに基づき、前記動画ファイルの中から、出力用の特定のフレームである候補フレームを抽出するフレーム抽出ステップと、
を有することを特徴とする動画処理方法。
【請求項１５】
制御部を備え、
前記制御部は、
動画ファイルを取得するファイル取得処理と、
前記ファイル取得処理により取得された動画ファイルに対して付加されているメタデータを取得するデータ取得処理と、
前記データ取得処理により取得されたメタデータに基づき、前記動画ファイルの中から、出力用の特定のフレームである候補フレームを抽出するフレーム抽出処理と、
を実行することを特徴とする動画処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画ファイルを処理するための動画処理プログラム、動画処理方法、及び動画処理装置に関する。
【背景技術】
【０００２】
動画ファイルを取り込んで閲覧したり編集したりすることが可能なハードウェアやソフトウェアが普及している。例えばパソコン、スマートフォン、多機能装置などの様々な情報処理端末に動画ファイルを取り込み、各種の処理を実行させることで、動画ファイルを様々な形態で楽しむことができる。
【０００３】
動画ファイルに対する処理機能の１つとして、動画印刷の機能が知られており、既に実用化されている（例えば、特許文献１参照。）。動画印刷とは、動画の中から所望のタイミングのフレームを抽出してそのフレームの画像を印刷する機能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−７１５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画印刷機能を利用して動画中の特定のフレームを印刷させるためには、動画の中から印刷させたい所望のフレームを決める必要がある。印刷対象のフレームの決定は、通常、動画印刷をさせたいユーザ自身が、動画ファイルを再生させながら、必要に応じて早送りやコマ送りなどの機能も利用しながら所望のフレームを探す、という手順で行われる。
【０００６】
そのため、動画ファイルの中から印刷に適したフレームを探すのは面倒である。特に、再生時間が長い動画ファイルや印象的なシーンが少ない動画ファイルなどの場合は、印刷に適したフレームを探すのに多くの時間を要する。
【０００７】
本発明は上記課題に鑑みなされたものであり、動画ファイルの中から印刷に適したフレームを容易に選択できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するためになされた本発明は、コンピュータが実行可能な動画処理プログラムであって、コンピュータに実行させる処理として、ファイル取得処理と、データ取得処理と、フレーム抽出処理とを有する。
【０００９】
ファイル取得処理は、動画ファイルを取得する処理である。データ取得処理は、ファイル取得処理により取得された動画ファイルに対して付加されているメタデータを取得する処理である。フレーム抽出処理は、データ取得処理により取得されたメタデータに基づき、動画ファイルの中から、印刷に適した出力用の特定のフレームである候補フレームを抽出する処理である。
【００１０】
本発明の動画処理プログラムをコンピュータに実行させることで、動画ファイルから、その動画ファイルに付加されているメタデータに基づいて出力用の候補フレームが抽出される。メタデータに基づいて候補フレームが抽出されるため、動画ファイルの中で印刷に適したフレームを容易に選ぶことができる。
【００１１】
なお、本発明は、上記のプログラムのほか、そのプログラムが記録された記録媒体、そのプログラムが実行される装置、その装置を含む各種システム、動画を処理する方法など、種々の形態で実現することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態の動画印刷システムの概略構成を示すブロック図である。
【図２】テキストメタデータが付加された動画ファイルの再生中の画像例を示す説明図である。
【図３】リンクメタデータが付加された動画ファイル及び領域メタデータが付加された動画ファイルの再生中の画像例を示す説明図である。
【図４】動画印刷処理を示すフローチャートである。
【図５】シーンの決定方法及びフレームの抽出方法の具体例を示す説明図である。
【図６】シーンの決定方法の他の例を示す説明図である。
【図７】シーンの決定方法及びフレームの抽出方法の他の例を示す説明図である。
【図８】図４の動画印刷処理におけるＳ１８０の動画ファイル選択用サムネイル選出処理の詳細を示すフローチャートである。
【図９】動画一覧表示画面の例を示す説明図である。
【図１０】印刷フレーム選択画面の例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下に、本発明の好適な実施形態を図面に基づいて説明する。
（１）動画印刷システムの説明
本実施形態の動画印刷システムは、図１に示すように、端末１０と、ＭＦＰ（多機能周辺装置の略称）１００と、ＡＰ（アクセスポイントの略称）１５０と、サーバ１６０とを備える。
【００１４】
端末１０は、例えばパソコン、スマートフォン、タブレットなどの情報処理端末である。端末１０は、ＣＰＵ１１、フラッシュメモリ１２、ＲＡＭ１３、操作キー１５、ＬＣＤ１６、タッチパネル１７、メモリカードインタフェース（以下「メモリカードＩ／Ｆ」と称す）１８、音声入出力部１９、電話網通信部２０、近距離通信部２２、及び無線通信部２３を備える。これらの各部は、バスライン２４を介して互いに接続される。
【００１５】
ＣＰＵ１１は、フラッシュメモリ１２に記憶されるプログラムやデータに従って、バスライン２４を介して接続された各部を制御する。フラッシュメモリ１２は、記憶内容を電気的に書き換え可能な不揮発性のメモリである。フラッシュメモリ１２には、オペレーティングシステム（以下「ＯＳ」と略す）１２ａ、アプリケーション（以下「アプリ」と略す）１２ｂが格納される。ＯＳ１２ａは、端末１０の標準機能を実現するための基本ソフトウェアである。
【００１６】
なお、フラッシュメモリ１２には、アプリ１２ｂ以外の他のアプリも記憶されているが、ここではそれら他のアプリについては図示及び説明を省略する。また、以下の説明では、ＯＳ１２ａやアプリ１２ｂなどのプログラムを実行するＣＰＵ１１のことを、単にプログラム名で記載する場合もある。例えば「アプリが」という記載が「アプリを実行するＣＰＵ１１が」を意味する場合もある。
【００１７】
アプリ１２ｂは、端末１０からＭＦＰ１００の各種機能を利用するためのソフトウェアであり、ＭＦＰ１００のベンダによって提供され、ユーザによって端末１０にインストールされる。端末１０にアプリ１２ｂをインストールすることで、端末１０から、ＭＦＰ１００が有する各種機能を利用可能となる。例えば、アプリ１２ｂによって、端末１０から直接、ＭＦＰ１００の印刷機能やスキャン機能などを利用することが可能となる。
【００１８】
アプリ１２ｂが備える複数の機能の１つに、動画ファイルの中からフレームを選択してそのフレームの画像（即ち静止画）をＭＦＰ１００で印刷させることが可能な、動画印刷機能がある。
【００１９】
フラッシュメモリ１２には、アプリ用記憶領域１２ｃが設けられる。アプリ用記憶領域１２ｃは、アプリ１２ｂが使用する、アプリ１２ｂに割り当てられた記憶領域である。アプリ用記憶領域１２ｃには、例えば、動画印刷機能が実行された場合に生成される各種のサムネイルである縮小画像が記憶される。動画ファイルや、動画ファイルに対して付加されているメタデータ（詳細は後述）は、アプリ用記憶領域１２ｃに記憶されてもよいし、フラッシュメモリ１２内におけるアプリ用記憶領域１２ｃとは別の領域に記憶されてもよい。
【００２０】
ＲＡＭ１３は、ＣＰＵ１１がＯＳ１２ａやアプリ１２ｂなどを実行する際に各種データを一時的に記憶するための揮発性のメモリである。操作キー１５は、端末１０のユーザが端末１０に対して各種の情報や指示等を入力するためのメカニカルキーである。ＬＣＤ１６は、各種画面を表示可能な液晶表示装置である。タッチパネル１７は、指や棒などの指示体を接触または接近させることによって端末１０に対する入力操作を受け付け可能な周知の入力デバイスであり、ＬＣＤ１６に重ねて設けられる。なお、端末１０が、入力デバイスとしてマウスを接続可能な端末（例えばパソコン）である場合は、端末１０の構成部材としてマウスも含めることができる。以下の説明では、タッチパネル１７への指示体による入力操作を「タッチ操作」と言い、画面内でマウスのポインタを移動させて特定の領域又は画像に重ねる操作を「マウスオーバー」と言い、マウスのクリック操作による入力操作を「マウス操作」と言う。
【００２１】
メモリカードＩ／Ｆ１８は、書き換え可能な不揮発性のメモリカード２５が装着されるインタフェースであり、メモリカード２５に対するデータの書き込み及び読み出しを制御する。音声入出力部１９は、マイクやスピーカなどで構成された音声入出力用デバイスである。電話網通信部２０は、携帯電話網（図示せず）を介した音声通話を行うための回路である。
【００２２】
近距離通信部２２は、例えば１０ｃｍ程度の短い距離を通信可能距離とする近距離無線通信で通信を行うためのインタフェースである。本実施形態の近距離通信部２２が行う近距離無線通信は、ＮＦＣ標準規格に従う非接触通信（以下「ＮＦＣ通信」と称す）である。
【００２３】
無線通信部２３は、無線ＬＡＮ規格による通信（以下「無線ＬＡＮ通信」と称す）を行うためのインタフェースである。本実施形態では、無線通信部２３が行う無線ＬＡＮ通信は、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎの規格に準拠した無線ＬＡＮ通信である。端末１０は、無線通信部２３を介して、ＡＰ１５０との間で、Ｗｉ−Ｆｉ（登録商標）規格に基づく無線通信（以下「Ｗｉ−Ｆｉ通信」と称す）を行うことができる。
【００２４】
ＡＰ１５０は、Ｗｉ−Ｆｉ通信を中継する中継装置である。ＡＰ１５０は、ブロードバンドルーター機能を有し、インターネットに接続されている。よって、端末１０は、ＡＰ１５０を介してインターネットに接続でき、インターネットに接続されているサーバ１６０と通信することができる。
【００２５】
ＭＦＰ１００は、印刷機能、スキャン機能、コピー機能、ファクシミリ機能などの各種機能を有している。ＭＦＰ１００は、上記各種機能を実現するための各種の構成部材を備える。図１に図示されているプリンタ部１３１は、印刷機能を実現するための構成部材である。ＭＦＰ１００において、外部から無線通信部１２３又は近距離通信部１２２に印刷データが受信されると、プリンタ部１３１によって、その印刷データに基づく印刷出力が可能である。
【００２６】
ＭＦＰ１００は、端末１０の近距離通信部２２と同様の構成の近距離通信部１２２を有している。また、ＭＦＰ１００は、端末１０の無線通信部２３と同様の構成の無線通信部１２３を有している。そのため、端末１０とＭＦＰ１００は両者間でＮＦＣ通信を行うことが可能である。また、端末１０とＭＦＰ１００は、ＡＰ１５０を介して相互にＷｉ−Ｆｉ通信を行うことができる。また、端末１０とＭＦＰ１００は、両者間でＷｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）規格に基づく直接通信、すなわち、ＡＰ１５０を介さない無線通信も可能である。
【００２７】
なお、端末１０及びＭＦＰ１００は、他のデータ通信方式によってデータ通信が可能な構成であってもよい。例えば、有線ＬＡＮによるデータ通信が可能であってもよい。その場合、端末１０から有線ＬＡＮを介してインターネットに接続できるようにしてもよい。
【００２８】
サーバ１６０には、様々な種類のデータが格納される。サーバ１６０に格納されるデータとして、動画ファイルがある。サーバ１６０は、動画投稿サービスのサーバとしても機能し、インターネットを介してサーバ１６０へ動画ファイルをアップロードしたり、サーバ１６０からインターネットを介して動画ファイルをダウンロードしたりすることができる。また、アップロードした動画ファイルに対し、各種のメタデータ（詳細は後述）を付加することができる。また、動画ファイルをダウンロードする際、動画ファイルに付加されているメタデータもダウンロードすることができる。メタデータのダウンロードは、通常、動画ファイルのダウンロードとは別に行う。例えば、まず動画ファイルをダウンロードし、その後、その動画ファイルに付加されている（即ち関連付けられてサーバ１６０に保存されている）メタデータをダウンロードする。
【００２９】
端末１０においても、サーバ１６０から動画ファイル及びメタデータをダウンロードして閲覧することができる。サーバ１６０からダウンロードした動画ファイル及びメタデータは、フラッシュメモリ１２又はメモリカード２５に保存することができる。また、端末１０が動画撮影機能を備えている場合には、撮影した動画ファイルをサーバ１６０にアップロードすることができる。メモリカード２５に保存されている動画ファイルをサーバ１６０にアップロードすることもできる。なお、動画ファイルに対するメタデータの付加は任意に行うことができる。そのため、サーバ１６０やメモリカード２５などから動画ファイルを取得した場合に、その動画に必ずしもメタデータが付加されているとは限らないが、本実施形態では、動画ファイルにメタデータが付加されていることを前提とする。
【００３０】
（２）メタデータの説明
次に、動画ファイル、及び動画ファイルに付加されるメタデータについて、より詳しく説明する。よく知られているように、動画ファイルは、所定時間間隔で連続的に撮影された複数のフレーム（静止画）によって構成される。フレームレートが高い動画ほど、単位時間あたりのフレームの数が多く、より滑らかな動きを再現できる。動画ファイルには、複数のフレームの他にも、動画に関する種々のデータが含まれる。例えば、動画撮影日時、ファイル形式などである。
【００３１】
さらに、動画ファイルには、既述の通り、その動画ファイルに関連した情報であるメタデータを付加することができる。メタデータとは、動画の内容を示すデータであり、動画ファイルの再生時間全体のうち任意のタイミング又は時間帯に対して付加することができる。動画ファイルにメタデータを付加することで、動画ファイルの付加価値を高めることができる。
【００３２】
メタデータには、例えば、アノテーション、付箋、タグ、コメントなど、様々な種類がある。例えば、動画ファイルの特定の時間帯に対し、動画中にテキストを表示させるためのメタデータ（以下「テキストメタデータ」という）を付加すると、その時間帯の再生中にそのメタデータが示すテキストが表示される。
【００３３】
また例えば、動画ファイルの特定の時間帯に対し、動画中にハイパーリンクを埋め込むためのメタデータ（以下「リンクメタデータ」という）を付加することができる。ハイパーリンク（以下「リンク」と略す）とは、よく知られているように、他のファイル、データの所在情報であり、主にＵＲＬ（Uniform Resource Locator）が用いられる。リンクメタデータは、動画が表示される画面全体における任意の領域を指定して、その指定領域に対して付加することができる。リンクメタデータに含まれるリンク情報は、そのリンクメタデータが付加された時間帯の再生中であっても、直接的には表示されない。ただし、リンク情報が埋め込まれている指定領域の外苑を示す枠画像が表示されるため、ユーザは、リンクメタデータが付加されていること自体は認識することができる。
【００３４】
リンクメタデータが付加された時間帯の再生中に、画面における指定領域内をタッチ操作するか、又は指定領域内をマウスオーバーすると、その指定領域の外苑を示す枠画像が強調表示されると共に、付加されているリンク情報（例えばＵＲＬ）が表示される。そして、リンクメタデータが付加されている時間内に、リンクが埋め込まれている指定領域において、タッチパネル１７に対して特定の操作（例えば長押し。ロングタップとも呼ばれる。）を行うか又はマウス操作すると、リンク情報が示すリンク先にジャンプすることができる。
【００３５】
また、動画中にリンクを埋め込むためのメタデータとして、上記のリンクメタデータの他に、領域メタデータがある。領域メタデータは、その領域メタデータが付加された時間帯の再生中であっても、直接的には表示されない。しかも、リンクメタデータと異なり、リンク情報が埋め込まれている指定領域の外苑を示す枠画像も表示されない。そのため、ユーザは、再生中の動画の内容からは、メタデータが付加されていることを直接的に認識することはできない。
【００３６】
領域メタデータが付加された時間帯の再生中、画面における指定領域内をタッチ操作するか、又は指定領域内をマウスオーバーすると、その指定領域の外苑を示す枠画像が表示される。またその際、枠画像が表示されるのに加えて、リンク情報（例えばＵＲＬ）も表示される。これにより、ユーザは、リンクが埋め込まれていること及びその埋め込まれている指定領域を認識できる。そして、領域メタデータが付加されている時間内に、リンクが埋め込まれている指定領域において、タッチパネル１７に対して特定の操作（例えば長押し）を行うか又はマウス操作すると、リンク情報が示すリンク先にジャンプすることができる。
【００３７】
メタデータには、様々な情報が含まれる。メタデータに含まれる情報としては、例えば、動画全体のうちメタデータを付加する時間帯情報、画面中のどの位置に表示させるかを示す表示位置情報、動画に付加された日時を示す付加日時情報、表示すべき画像（例えばテキストや枠画像）がある場合にはその画像の内容を示す表示画像情報、表示すべき画像がある場合にそれを直接表示させるのかそれともタッチ操作されたりマウスオーバーされたりするまでは非表示状態にするのかを示す表示方法情報などがある。テキストメタデータの場合は、表示画像情報として、テキストのフォント、フォントサイズ、色などの情報が含まれる。リンクメタデータ及び領域メタデータの場合は、指定領域の位置・範囲を示す情報やリンク情報も含まれる。
【００３８】
図２、図３に、各種メタデータが付加された動画ファイルの再生中の画像例を示す。図２及び図３は、フラッシュメモリ１２に保存されている動画ファイルを再生させているときにＬＣＤ１６に表示される動画であって、特に、メタデータが付加されている時間帯の表示例を示す。
【００３９】
図２（ａ）は、愛犬記録動画３１の再生中の一コマ（即ち１つのフレーム）であり、テキスト画像３１ａのテキストメタデータが付加されている時間帯での一コマである。愛犬記録動画３１には、図２（ａ）に示すように、犬が撮影されているシーンに対して、犬の気持ちを表現したテキスト画像３１ａを表示させるためのテキストメタデータが付加されている。
【００４０】
図２（ｂ）は、花火大会動画３２の再生中の一コマであり、テキスト画像３２ａのテキストメタデータが付加されている時間帯での一コマである。花火大会動画３２には、図２（ｂ）に示すように、花火が打ち上げられているシーンに対して、打ち上げ中の花火のタイトルのテキスト画像３２ａを表示させるためのテキストメタデータが付加されている。
【００４１】
図２（ｃ）は、洋画番組動画３３の再生中の一コマであり、テキスト画像３３ａのテキストメタデータが付加されている時間帯での一コマである。洋画番組動画３３には、図２（ｃ）に示すように、洋画中の、ある登場人物が話をしているシーンであってその話の英語字幕が映っているシーンに対して、その英語字幕の日本語訳のテキスト画像３３ａを表示させるためのテキストメタデータが付加されている。
【００４２】
図３（ａ）は、自然紹介動画３４の再生中の一コマであり、２つの枠画像３４ａ，３４ｂのリンクメタデータが付加されている時間帯での一コマである。自然紹介動画３４に付加されているリンクメタデータには、各枠画像３４ａ，３４ｂを表示させるための情報と、各枠画像３４ａ，３４ｂで囲まれる領域内がタッチ操作されるか又はマウスオーバーされたときにその枠画像を強調表示させるための情報と、各枠画像３４ａ，３４ｂで囲まれる領域内がタッチ操作されるか又はマウスオーバーされたときにその枠画像に対応したリンク情報を表示させるための情報とが含まれる。例えば図中左側の枠画像３４ａで囲まれる領域内をマウスオーバーすると、枠画像３４ａが強調表示されて、その枠画像３４ａに対応付けられているリンク情報が表示される。その状態でマウスを左クリックすると、端末１０は、そのリンク情報が示すリンク先にアクセスして、そのリンク先から情報を取得して表示する。リンク先が外部の動画ファイルの場合は、その動画ファイルがダウンロードされて再生可能となる。
【００４３】
図３（ｂ）は、風景記録動画３５の再生中の一コマであり、４つの枠画像３５ａ〜３５ｄの領域メタデータが付加されている時間帯での一コマである。ただし、各枠画像３５ａ〜３５ｄは通常は非表示状態である。各枠画像３５ａ〜３５ｄは、それぞれ、画面内に表示されている特定のオブジェクト画像３５１〜３５４を囲むように表示される。例えば、図中左上の枠画像３５ｄは、山上の雲のオブジェクト画像３５４を囲むように表示される。
【００４４】
風景記録動画３５に付加されているリンクメタデータには、非表示状態の各枠画像３５ａ〜３５ｄで囲まれる領域内がタッチ操作されるか又はマウスオーバーされたときにその領域に対応した枠画像を表示させるための情報と、各枠画像３５ａ〜３５ｄの何れかが表示状態になってその領域内がタッチ操作されるか又はマウスオーバーされたときにその枠画像に対応したリンク情報を表示させるための情報とが含まれる。例えば図中中央の枠画像３５ａ（ただし非表示状態）で囲まれる領域内をマウスオーバーすると、枠画像３５ａが表示され、さらにその枠画像３５ａに対応付けられているリンク情報が表示される。その状態でマウスを左クリックすると、端末１０は、そのリンク情報が示すリンク先にアクセスして、そのリンク先から情報を取得して表示する。リンク先が外部の動画ファイルの場合は、その動画ファイルがダウンロードされて再生可能となる。
【００４５】
（３）動画印刷機能の説明
次に、アプリ１２ｂの機能の１つである動画印刷機能について、その概要を説明する。動画中の特定のフレームを印刷出力させる動画印刷機能は既に知られている。しかし、従来の動画印刷機能は、既述の通り、印刷対象のフレームを、動画を再生しながらユーザ自身が探す必要があるため、非常に手間がかかり、非効率的である。動画全体のうちどのあたりが印刷に適した注目すべきシーンなのか、容易には判断できない。
【００４６】
一方、動画ファイルにメタデータが付加されている場合、そのメタデータが付加されている時間帯は、動画全体の中でも特徴的なシーン、注目すべきシーンである可能性が高い。つまり、メタデータが付加されている時間帯は、印刷に適したシーンである可能性が高い。そこで本実施形態では、アプリ１２ｂの動画印刷機能が、メタデータを利用して印刷に適したフレームを自動で抽出してユーザに提供できるように構成されている。
【００４７】
ここではまず、動画印刷機能を実現するためのアプリ１２ｂの処理である動画印刷処理について、その全体像を、図４のフローチャートを用いて説明する。その後に、動画印刷処理のうち特に特徴的な処理について、詳しく説明する。
【００４８】
（３−１）動画印刷処理の説明
端末１０のＣＰＵ１１は、起動後、アプリ１２ｂを起動させるための特定の入力操作がなされると、アプリ１２ｂを読み込んで実行する。アプリ１２ｂの起動後、動画印刷機能を開始させるための特定の入力操作がなされると、図４に示す動画印刷処理を開始する。動画印刷開始処理は、アプリ１２ｂに含まれるプログラムモジュールの１つである。
【００４９】
端末１０のＣＰＵ１１は、図４に示す動画印刷処理を開始すると、Ｓ１１０で、動画ファイルを取得する。動画ファイルをどこから取得するかについては予め設定しておくことができる。例えば、端末１０のフラッシュメモリ１２に保存されている動画ファイルを取得対象としてもよい。メモリカード２５が装着されている場合にはメモリカード２５も取得対象に含めるようにしてもよい。また例えば、外部のサーバにおいて特定の保存領域に保存されている動画ファイルを取得対象としてもよい。ここでは、Ｓ１１０で動画ファイル１〜動画ファイルＮまでのＮ個の動画ファイルが取得されたものと仮定して説明を続ける。
【００５０】
Ｓ１２０では、Ｓ１１０で取得したＮ個の動画ファイル毎に、その動画ファイルに付加されているメタデータを取得する。Ｓ１３０では、ファイル変数ｎを１にセットする。Ｓ１４０では、処理対象の動画ファイルを動画ファイルｎに設定する。
【００５１】
Ｓ１５０では、シーン決定処理を実行する。シーン決定処理は、処理対象の動画ファイルｎから、印刷に適したフレームが含まれている可能性の高いシーンを少なくとも１つ決定する処理である。Ｓ１５０のシーン決定処理の具体的内容については、後で図５〜図７を用いて詳しく説明する。
【００５２】
Ｓ１６０では、フレーム抽出処理を実行する。フレーム抽出処理は、Ｓ１５０で決定したシーン毎に、シーンの中から印刷に最も適している可能性が高いフレームを抽出する処理である。本実施形態では、１つのシーンから１つのフレームを抽出する。Ｓ１６０のフレーム抽出処理の具体的内容については、後で図５〜図７を用いて詳しく説明する。
【００５３】
Ｓ１７０では、印刷フレーム選択用サムネイル生成処理を実行する。具体的には、Ｓ１６０で抽出したフレーム毎に、そのサムネイルを生成する。ここで生成するサムネイルは、後に印刷させたいフレームをユーザに選択させる際に表示させるサムネイルである。そのため、ここで生成するサムネイルを「印刷フレーム選択用サムネイル」と称する。
【００５４】
Ｓ１８０では、動画ファイル選択用サムネイル選出処理を実行する。具体的には、Ｓ１７０で生成した、フレーム毎の印刷フレーム選択用サムネイルの中から、後述する選出基準に従って、当該動画ファイルｎを代表するにふさわしいサムネイルを１つ又は複数選出する。ここで選出するサムネイルは、後に、複数の動画ファイル１〜Ｎの中からまずどの動画ファイルの動画印刷を行いたいのかをユーザに選択させる際に表示させるサムネイルである。そのため、ここで選出するサムネイルを「動画フレーム選択用サムネイル」と称する。Ｓ１８０の動画フレーム選択用サムネイル選出処理については、後で図８を用いてより具体的に説明する。
【００５５】
Ｓ１９０では、ファイル変数ｎがＮ以上であるか否か、即ち取得したＮ個の動画ファイル全てについてＳ１４０〜Ｓ１８０の処理が行われたか否か判断する。ファイル変数ｎがまだＮ以上ではない場合は（Ｓ１９０：ＮＯ）、Ｓ２００でファイル変数ｎを１つインクリメントして、Ｓ１４０に戻る。ファイル変数ｎがＮ以上の場合は（Ｓ１９０：ＹＥＳ）、Ｓ２１０に進む。
【００５６】
Ｓ２１０では、Ｓ１８０で選出した、動画ファイル毎の動画ファイル選択用サムネイルをＬＣＤ１６に表示する。具体的には、図９（ａ）に例示するように、動画ファイル毎の各動画ファイル選択用サムネイル５１，５２，５３・・・が一覧表示された動画一覧表示画面をＬＣＤ１６に表示させる。Ｓ２２０では、ユーザによる動画ファイルの選択を受け付ける。具体的には、Ｓ２１０で表示された動画一覧表示画面に対してユーザが特定の動画ファイル選択用サムネイルを選択する操作（例えばタップ操作、マウス操作など）を受け付ける。
【００５７】
Ｓ２３０では、Ｓ２２０で選択された動画ファイルについてＳ１７０で生成された印刷フレーム選択用サムネイルをＬＣＤ１６に表示する。具体的には、図１０（ａ）に例示するように、選択された動画ファイルの各印刷フレーム選択用サムネイル７１，７２，７３・・・が一覧表示された印刷フレーム選択画面をＬＣＤ１６に表示させる。Ｓ２４０では、ユーザによる印刷フレームの選択を受け付ける。具体的には、Ｓ２３０で表示された印刷フレーム選択画面に対してユーザが特定の印刷フレーム選択用サムネイルを選択する操作（例えばタップ操作、マウス操作など）を受け付ける。Ｓ２４０の処理によって、印刷対象のフレームが確定される。
【００５８】
Ｓ２５０では、Ｓ２４０で確定したフレームを印刷出力させる際の印刷レイアウトをいくつか表示させて、その中からユーザが望む印刷レイアウトの選択を受け付ける。ここで表示させるレイアウトとしては、例えば、フレーム画像の大きさが異なるレイアウトや、フレームに対するメタデータを示す画像の表示方法が異なるレイアウト、メタデータを示す画像を含まないレイアウト、などが考えられる。
【００５９】
Ｓ２６０では、Ｓ２５０で選択された印刷レイアウトに従った印刷データを生成して、印刷機能を持つデバイス（例えばＭＦＰ１００）に出力する。これにより、選択されたフレームを印刷させることが可能となる。Ｓ２７０では、動画印刷機能を終了させる操作が行われたか否か判断する。動画印刷機能を終了させる操作が行われていない場合は（Ｓ２７０：ＮＯ）、Ｓ２１０に戻る。動画印刷機能を終了させる操作が行われた場合は（Ｓ２７０：ＹＥＳ）、動画印刷処理を終了する。
【００６０】
（３−２）シーン決定方法及びフレーム抽出方法の説明
図４に示した動画印刷処理のうち、Ｓ１５０のシーン決定処理及びＳ１６０のフレーム抽出処理について、図５〜図７を用いてより詳しく説明する。
【００６１】
まず、Ｓ１５０のシーン決定処理について説明する。本実施形態のシーン決定処理は、動画ファイルに付加されているメタデータを利用して、印刷に適したフレームが含まれている可能性の高いシーンを決定する処理である。基本的な処理方法は、図５に示すように、同じ１つのメタデータが連続的に付加されている時間帯を１つのシーンとして決定する。即ち、動画時間全体の中で、メタデータＭ１が付加されている時間帯をシーンＡとして決定し、メタデータＭ２が付加されている時間帯をシーンＢとして決定し、メタデータＭ３が付加されている時間帯をシーンＣとして決定し、メタデータＭ４が付加されている時間帯をシーンＤとして決定する。
【００６２】
なお、図５は、あるユーザが旅行中に撮影した旅行記録動画３６の動画ファイルにおける、メタデータが離散的に付加されている特定の時間帯を例示している。
図５に例示した処理方法をベースとしつつ、本実施形態では、メタデータが付加されている状態やその長さ、メタデータの種類、同じ時間帯に重複しているメタデータの有無、などに応じて、適宜、処理方法を切り替える。
【００６３】
例えば、図６（ａ）に例示するように、複数のメタデータが密に付加されていて、メタデータが付加されていない時間帯が短時間の区間（以下「隙間」という）がある場合には、そのメタデータが付加されていない短時間の隙間の直前の一定時間帯をシーンＡとして決定し、隙間の直後の一定時間帯をシーンＢとして決定する。シーンＡ，Ｂのどちらか一方のみを決定してもよい。換言すれば、複数のメタデータが連続して付加されていて全体としてメタデータが連続的に付加されている時間が長い時間帯がある場合に、その時間帯全体のうち開始直後の一定時間帯及び終了直前の一定時間帯の少なくとも一方をシーンとして決定する。
【００６４】
メタデータが連続的に付加されている時間帯が長いか否かを判断する判断基準は適宜決めることができる。例えば、時間の閾値を設定して、その閾値以上である場合に時間帯が長いと判断してもよい。また例えば、連続的に付加されているメタデータの数について閾値を設定して、その閾値以上の数のメタデータが連続的に付加されている場合に時間帯が長いと判断してもよい。また、必ずしも複数のメタデータが連続的に付加されていることを必須要件とはしない。１つのメタデータが長い時間に渡って連続的に付加されている場合にも、そのメタデータが付加されている時間帯のうち開始直後の一定時間帯又は終了直前の一定時間帯をシーンとして決定してもよい。また、メタデータが連続的に付加されている時間帯の長さで判断するのではなく、単に、隙間が短いか否かを判断して、隙間が短い場合に、その隙間の直前の一定時間帯又はその隙間の直後の一定時間帯をシーンとして決定するようにしてもよい。
【００６５】
また、図５に例示したような基本的な処理方法でシーンを決定する場合に、例えば図６（ｂ）に例示するように、１つのメタデータが長時間にわたって連続的に付加されている場合は、そのメタデータが付加されている時間帯についてはシーンとして採用しない。図６（ｂ）では、メタデータＭｘの長さが所定の時間閾値（例えば６０秒）よりも長いため、そのメタデータＭｘが付加されている時間帯については、シーンとして決定しない。
【００６６】
また、図７（ａ）に示すように、複数のメタデータが時間的に重複して付加されることもある。その場合は、図７（ａ）に示すように、重複している期間も含め、メタデータが連続的に付加されている時間帯全体を１つのシーンとして決定する。図７（ａ）の例では、時刻ｔ１〜ｔ２の時間帯に、３つのメタデータが順次付加されていて且つ互いに重複した時間帯が存在している。メタデータの種類を考慮しなければ、時刻ｔ１〜ｔ２の時間帯は、全体として、メタデータが連続的に付加されている１つの独立した時間帯であるといえる。そこで、その時間帯をシーンＡとして決定する。時刻ｔ３〜ｔ４の時間帯についても、２つのメタデータが、一部の時間帯で重複するように付加されているが、全体として、メタデータが連続的に付加されている１つの独立した時間帯である。そこで、その時間帯をシーンＢとして決定する。
【００６７】
また、図７（ｂ）に例示するように、複数のメタデータが連続的に付加されていて且つ重複する区間が不規則的に発生するような場合は、特定のメタデータを基準にシーンを決定する。図７（ｂ）は、特定のメタデータとしてテキストメタデータを採用し、１つのテキストメタデータが付加されている時間帯をシーンとして決定する例を示している。どのメタデータを特定のメタデータとするかについては適宜決めることができる。例えば、メタデータの種類毎に優先度を設定して、優先度の最も高いメタデータを特定のメタデータとしてもよい。テキストメタデータは、テキスト情報が直接的に表示されるメタデータであって、動画ファイルに対するインデックスとしての役割を持ちやすいため、特定のメタデータとして適している。
【００６８】
次に、Ｓ１６０のフレーム抽出処理について説明する。本実施形態のフレーム抽出処理は、Ｓ１５０のシーン決定処理で決定したシーン毎に、シーンの中から印刷に適したフレームを１つ抽出する処理である。
【００６９】
シーンの中から具体的にどのようにして１つのフレームを抽出するかについては適宜決めることができる。例えば、抽出基準を予め決めておいて、その抽出基準に従って抽出するようにしてもよい。例えば、第１の抽出基準として、シーンの開始から特定の経過時間が経過した時点のフレームを抽出するようにしてもよい。特定の経過時間は、０であってもよい。つまりシーンの中の最初のフレームを抽出してもよい。また例えば、第２の抽出基準として、１つのシーン全体に含まれる各フレーム、又は１つのシーンにおける開始から一定時間が経過するまでの時間帯に含まれる各フレームの中で、画像のぶれが最も少ないフレームを抽出するようにしてもよい。ただし、画面全体が同一色で埋め尽くされているフレーム（例えば画面暗転時のフレーム）は抽出対象から除くようにしてもよい。
【００７０】
図５には、上記のような抽出方法で各シーンからフレームが１つずつ抽出された例を示している。即ち、シーンＡからは、第１フレーム４１が抽出される。第１フレーム４１に付加されているメタデータＭ１（ここではテキストメタデータ）は、その第１フレーム４１の内容に関連したテキスト画像４１ａを表示させるためのメタデータである。シーンＢからは、第２フレーム４２が抽出される。第２フレーム４２に付加されているメタデータＭ２（ここではテキストメタデータ）は、その第２フレーム４２の内容に関連したテキスト画像４２ａを表示させるためのメタデータである。シーンＣからは、第３フレーム４３が抽出される。第３フレーム４３に付加されているメタデータＭ３（ここではテキストメタデータ）は、その第３フレーム４３の内容に関連したテキスト画像４３ａを表示させるためのメタデータである。シーンＤからは、第４フレーム４４が抽出される。第４フレーム４４に付加されているメタデータＭ４（ここではテキストメタデータ）は、その第４フレーム４４の内容に関連したテキスト画像４４ａを表示させるためのメタデータである。
【００７１】
図７に例示したように、１つのシーンに複数のメタデータが重複して付加されている時間帯が存在する場合も、シーン毎に、そのシーン全体の中からフレームを抽出するようにしてもよい。但し、１つのシーンの中で、メタデータが重複している期間は、他の期間（例えばメタデータが１つだけ付加されている期間）よりもより注目度が高い可能性がある。
【００７２】
そこで、１つのシーンに複数のメタデータが重複して付加されている時間帯が存在する場合は、図７に例示するように、その１つのシーンの中から、メタデータの情報量が最も多い時間帯（例えばメタデータの重複数が最も多い時間帯）Ｔｏに絞って、その時間帯Ｔｏの中からフレームを抽出するようにしてもよい。
【００７３】
（３−３）動画ファイル選択用サムネイル選出処理の説明
図４に示した動画印刷処理のうち、Ｓ１８０の動画ファイル選択用サムネイル選出処理の詳細について、図８を用いて説明する。なお、図８の動画ファイル選択用サムネイル選出処理は、Ｓ１７０で生成された印刷フレーム選択用サムネイルを処理対象とする処理である。そのため、図８の動画ファイル選択用サムネイル選出処理の中で「メタデータ」というときは、Ｓ１７０で生成された各サムネイルに付加されているメタデータを示すものとする。つまり、図８の動画ファイル選択用サムネイル選出処理において処理対象となるメタデータは、Ｓ１７０で生成された各サムネイルに付加されているメタデータである。
【００７４】
ＣＰＵ１１は、Ｓ１８０の動画ファイル選択用サムネイル選出処理に移行すると、図８に示す処理を実行する。即ち、ＣＰＵ１１は、Ｓ３１０で、各サムネイルのメタデータの中に、当該動画ファイルｎの提供者がメタデータを付加した際の付加順序を示す順序情報があるか否か判断する。
【００７５】
順序情報がある場合は（Ｓ３１０：ＹＥＳ）、Ｓ３２０で、各サムネイルのメタデータのうち一番初めに付加されたメタデータはテキストメタデータであるか否か判断する。一番初めに付加されたメタデータがテキストメタデータではない場合は（Ｓ３２０：ＮＯ）、Ｓ３４０に進む。一番初めに付加されたメタデータがテキストメタデータである場合は（Ｓ３２０：ＹＥＳ）、Ｓ３３０に進む。
【００７６】
Ｓ３３０では、一番初めに付加されたテキストメタデータを含むシーン（つまりそのテキストメタデータが付加されているシーン）から生成された印刷フレーム選択用サムネイルを、当該動画ファイルｎを示す動画ファイル選択用サムネイルに設定する。一番初めにテキストメタデータが付加されたシーンは、動画提供者が最も主張したいシーン（即ち見どころの多いシーン）である可能性が高い。そのため、そのようなシーンから生成されたサムネイルは、当該動画ファイルｎを代表するにふさわしいサムネイルといえる。Ｓ３３０の処理後は、Ｓ１９０（図４）に進む。
【００７７】
Ｓ３１０で順序情報がないと判断した場合は（Ｓ３１０：ＮＯ）、Ｓ３４０に進む。Ｓ３４０では、各サムネイルのメタデータの中にテキストメタデータがあるか否か判断する。テキストメタデータがある場合は（Ｓ３４０：ＹＥＳ）、Ｓ３５０で、フォントサイズが最大のテキストメタデータが１つだけあるか否か判断する。例えば全てのテキストメタデータのフォントサイズが同じであったり、フォントサイズが最も大きいテキストメタデータが複数あったりするなど、フォントサイズが最大のテキストメタデータが１つだけない場合は（Ｓ３５０：ＮＯ）、Ｓ３７０に進む。フォントサイズが最大のテキストメタデータが１つだけある場合は（Ｓ３５０：ＹＥＳ）、Ｓ３６０に進む。
【００７８】
Ｓ３６０では、フォントサイズが最も大きいテキストメタデータを含むシーンから生成された印刷フレーム選択用サムネイルを、当該動画ファイルｎを示す動画ファイル選択用サムネイルに設定する。テキストメタデータの中でフォントサイズが最も大きいテキストメタデータが付加されたシーンは、動画の中でも最も強調されているシーンであって動画提供者が最も主張したいシーンである可能性が高い。そのため、そのようなシーンから生成されたサムネイルは、当該動画ファイルｎを代表するにふさわしいサムネイルといえる。Ｓ３６０の処理後は、Ｓ１９０（図４）に進む。
【００７９】
Ｓ３４０でテキストメタデータがないと判断した場合は（Ｓ３４０：ＮＯ）、Ｓ３７０に進む。Ｓ３７０では、各サムネイルのメタデータの中にリンクメタデータがあるか否か判断する。リンクメタデータがある場合は（Ｓ３７０：ＹＥＳ）、Ｓ３８０で、非特殊リンクメタデータがあるか否か判断する。非特殊リンクメタデータとは、特殊なリンク情報を持つリンクメタデータを除く他のリンクメタデータである。特殊なリンク情報としては、例えば、動画閲覧用の動画チャンネルサイトへの登録に導くようなリンク情報がある。なお、非特殊リンクメタデータをどのように設定するかについては適宜決めることができる。
【００８０】
例えば全てのリンクメタデータが特殊なリンク情報を持つリンクメタデータであるなど、非特殊リンクメタデータがない場合は（Ｓ３８０：ＮＯ）、Ｓ４００に進む。非特殊リンクメタデータがある場合は（Ｓ３８０：ＹＥＳ）、Ｓ３９０に進む。
【００８１】
Ｓ３９０では、非特殊リンクメタデータのうち動画再生時間内で最も早い時間に付加された非特殊リンクメタデータについて、その非特殊リンクメタデータを含むシーンから生成された印刷フレーム選択用サムネイルを、当該動画ファイルｎを示す動画ファイル選択用サムネイルに設定する。Ｓ３９０の処理後は、Ｓ１９０（図４）に進む。
【００８２】
Ｓ３７０でリンクメタデータがないと判断した場合は（Ｓ３７０：ＮＯ）、Ｓ４００に進む。Ｓ４００では、各サムネイルのメタデータのうち、動画再生時間内で最も早い時間に付加されたメタデータについて、そのメタデータを含むシーンから生成された印刷フレーム選択用サムネイルを、当該動画ファイルｎを示す動画ファイル選択用サムネイルに設定する。Ｓ３９０の処理後は、Ｓ１９０（図４）に進む。
【００８３】
（３−４）動画一覧表示画面の説明
図４に示した動画印刷処理においてＳ２１０で表示される動画一覧表示画面の一例を、図９（ａ）に示す。図９（ａ）に示す動画一覧表示画面５０は、動画ファイル毎に選出された１つの動画ファイル選択用サムネイルが縦方向に並んで一覧表示された画面である。特定の画面遷移操作（例えば上下方向へのフリック、スワイプなど）を行うことで、表示内容を上下方向にスクロールさせることができる。
【００８４】
そして、印刷させたい動画ファイルに対応した動画ファイル選択用サムネイルに対してタッチ操作又はマウス操作による選択操作を行うことで、動画ファイルを選択することができる。
【００８５】
図９（ａ）の動画一覧表示画面５０においては、旅行記録動画３６（図５参照）の動画ファイルを示すサムネイルとして１つの動画ファイル選択用サムネイル５１（図５の第３フレーム４３に対応）が表示され、花火大会動画３２（図２（ｂ）参照）の動画ファイルを示すサムネイルとして１つの動画ファイル選択用サムネイル５２が表示され、風景記録動画３５（図３（ｂ）参照）の動画ファイルを示すサムネイルとして１つの動画ファイル選択用サムネイル５３が表示されている。
【００８６】
また、図９（ａ）の動画一覧表示画面５０においては、各動画ファイル選択用サムネイル５１，５２，５３それぞれ、メタデータを示す画像も含まれている。風景記録動画３５に付加されている領域メタデータは、動画ファイル選択用サムネイル５３内において、領域を示す枠画像として表示されている。
【００８７】
なお、動画一覧表示画面中の各サムネイルにメタデータを示す画像を表示させるか否か、また表示させる場合に具体的にどこにどのように表示させるか、などについては適宜決めることができる。
【００８８】
（３−５）印刷フレーム選択画面の説明
図４に示した動画印刷処理においてＳ２３０で表示される印刷フレーム選択画面の一例を、図１０（ａ）に示す。図１０（ａ）に示す印刷フレーム選択画面は、動画一覧表示画面（図９（ａ）参照）で選択された動画ファイルに対して生成されている印刷フレーム選択用サムネイルが縦方向に並んで一覧表示された画面である。画面遷移操作を行うことで、表示内容を上下方向にスクロールさせることができる。
【００８９】
そして、印刷させたいフレームに対応した印刷フレーム選択用サムネイルに対してタッチ操作又はマウス操作による選択操作を行うことで、印刷させたいフレームを選択することができる。
【００９０】
図１０（ａ）の印刷フレーム選択画面７０においては、旅行記録動画３６（図５参照）の動画ファイルに対して生成された複数の印刷フレーム選択用サムネイル７１，７２，７３・・・が表示されている。画面一番上の印刷フレーム選択用サムネイル７１は、図５の第１フレーム４１であり、画面中段の印刷フレーム選択用サムネイル７２は、図５の第２フレーム４２であり、画面一番下の印刷フレーム選択用サムネイル７３は、図５の第３フレーム４３である。
【００９１】
複数の印刷フレーム選択用サムネイルをどのような順序で表示させるかについては、適宜決めることができる。例えば、動画内における時間を基準にして（例えば動画開始から早い順に）上から並べていくようにしてもよい。また例えば、独自の優先順位を設定してその優先順位に従って上から並べていくようにしてもよい。
【００９２】
また、図１０（ａ）の印刷フレーム選択画面７０においては、各印刷フレーム選択用サムネイル７１，７２，７３それぞれ、メタデータを示す画像（ここではテキスト画像）が、サムネイル中にオーバーレイ表示されている。
【００９３】
ただし、印刷フレーム選択用サムネイルにメタデータを示す画像をオーバーレイ表示させるのは必須ではなく、メタデータを示す画像をオーバーレイ表示させないようにしてもよい。また、印刷フレーム選択用サムネイル中にオーバーレイ表示させないとしても、例えば図１０（ｂ）に示す印刷フレーム画像８０のように、各サムネイルの外側に、メタデータを示す画像を表示させるようにしてもよい。
【００９４】
また、印刷フレーム選択用サムネイルの生成元のフレームに複数のメタデータが付加されている場合は、その複数のメタデータを示す画像を全て表示させてもよいし、何れか１つのみ又は複数を選択して表示させるようにしてもよい。複数のメタデータの中から何れか１つ又は複数を選択する場合の選択方法は適宜決めることができる。例えば、メタデータに優先度を設けて優先度の高いメタデータから優先的に選択するようにしてもよい。各サムネイルにメタデータを示す画像を表示させるか否か、また表示させる場合に具体的にどこにどのように表示させるか、などについては適宜決めることができる。
【００９５】
（４）実施形態の効果
以上説明したように、本実施形態の端末１０は、アプリ１２ｂが、動画印刷機能を備え、図４に示した動画印刷処理を実行する。本実施形態の動画印刷機能においては、動画ファイルに付加されているメタデータに基づいて、印刷出力用のフレームが抽出される。そのため、端末１０のユーザは、動画ファイルの中で印刷に適したフレームを容易に選ぶことができる。
【００９６】
本実施形態の動画印刷機能においては、まず、メタデータに基づいてシーンが決定され、その決定されたシーン毎に、そのシーンの中から、特定の抽出基準に従ってフレームが抽出される。このように、フレーム抽出に先立ってまず抽出対象のシーンを絞ることで、フレームの抽出にかかる処理負荷を低減できる。また、特定の抽出基準に従ってフレームが抽出されるため、抽出基準を適宜設定することで、フレームを適切に抽出することができる。
【００９７】
本実施形態では、動画ファイルからシーンを決定する方法が、図５〜図７に例示したように複数種類用意されている。このような複数種類のシーン決定方法を適宜用いることで、動画ファイルの中からシーンを適切に決定することができ、ひいては、印刷に適した候補フレームを適切に抽出することができる。
【００９８】
本実施形態では、１つのシーンから１つのフレームを抽出する際の抽出基準として、上述した第１の抽出基準又は第２の抽出基準を採用している。例えばシーンの開始時やシーンの中間あたりなど、シーン中の特定のタイミングのフレームは、印刷に適している可能性がある。また、フレームの内容如何にかかわらず、画像のぶれが大きいフレームはあまり印刷に適さないため、ぶれが少ないほど印刷に適しているともいえる。そのため、シーン開始からの経過時間や画像のぶれに基づいてフレームを抽出するようにすることで、印刷に適したフレームを適切且つ効率的に抽出することができる。
【００９９】
また、上記実施形態では、１つのシーン中に複数のメタデータが重複付加されている場合には、メタデータの重複数が最も多い時間帯に絞り込んでそこからフレームを抽出するようにしている。フレームの抽出対象を、シーン全体ではなく、シーン中から特定の時間帯に絞り込むことで、フレームの抽出にかかる処理負荷を低減できる。また、複数のメタデータが重複して負荷されている時間帯は、シーンの中でも最も特徴的な時間帯の１つである可能性が高いため、そのような時間帯に絞り込んでフレームを抽出することで、印刷に適したフレームを適切且つ効率的に抽出することができる。
【０１００】
上記実施形態では、フレーム抽出処理で抽出したフレーム毎に印刷フレーム選択用サムネイルを生成して、そのサムネイルの一覧画面（図１０の印刷フレーム選択画面）をＬＣＤ１６に表示させ、その中から印刷対象のフレームをユーザに選択させる。そのため、ユーザは、印刷させたいフレームの選択を容易且つ効率的に行うことができる。
【０１０１】
また、印刷フレーム選択画面に表示される印刷フレーム選択用サムネイルには、図１０（ａ）に例示したように、対応するメタデータが示す情報を付加するようにしてもよい。その場合、ユーザは、各フレームの内容をより具体的に知ることができ、これにより印刷させたいフレームの選択を適切に行うことができる。
【０１０２】
また、動画ファイルが複数ある場合には、動画ファイル中のどのフレームを印刷させるかを選択する以前に、まずは印刷させたい動画ファイルを選ぶ必要がある。これに対し、本実施形態では、動画ファイル毎に、印刷フレーム選択用サムネイルの中から当該動画ファイルを代表するにふさわしいサムネイルを動画ファイル選択用サムネイルとして選出し、それら選出された動画ファイル選択用サムネイルを一覧表示させてそこから所望の動画ファイルを選択できるように構成されているそのため、印刷させたい所望の動画ファイルを効率的に選択することができる。
【０１０３】
なお、本実施形態において、端末１０は本発明の動画処理装置の一例に相当する。アプリ１２ｂは本発明の動画処理プログラムの一例に相当する。ＣＰＵ１１は本発明のコンピュータ及び制御部の一例に相当する。ＬＣＤ１６は本発明の表示部の一例に相当する。Ｓ１６０のフレーム抽出処理で抽出されるフレームは本発明の候補フレームの一例に相当し、そのフレーム抽出処理で用いられる抽出基準は本発明の候補フレーム抽出基準の一例に相当する。図７に示した時間帯Ｔｏは本発明の絞込シーンの一例に相当する。印刷フレーム選択用サムネイルは本発明のサムネイル画像の一例に相当する。動画ファイル選択用サムネイルは本発明の動画選択用画像の一例に相当する。Ｓ１１０の処理は本発明のファイル取得処理の一例に相当する。Ｓ１２０の処理は本発明のデータ取得処理の一例に相当する。Ｓ１５０の処理は本発明のシーン抽出処理の一例に相当する。Ｓ１７０の処理は本発明の画像生成処理の一例に相当する。Ｓ２３０の処理は本発明の画像表示処理の一例に相当する。Ｓ２４０の処理は本発明の画像選択処理及び決定処理の一例に相当する。Ｓ１８０の処理は本発明の選択用画像設定処理の一例に相当する。Ｓ２１０の処理は本発明の選択用画像表示処理の一例に相当する。Ｓ２２０の処理は本発明の選択用画像選択処理の一例に相当する。
【０１０４】
［他の実施形態］
（１）図４の動画印刷処理は、取得したＮ個の動画ファイル全てについてＳ１４０〜Ｓ１８０の処理を終えてから、Ｓ２１０に進む構成であるが、このように、全ての動画ファイルに対するＳ１８０までの処理を終えてからＳ２１０に進むことは、必須ではない。例えば、動画ファイル１つについてＳ１８０までの処理を終える毎に、順次、Ｓ２１０以降の処理を行って画像を表示させて選択を受け付け可能としてもよい。その場合、途中である動画ファイルが選択された場合は、その時点でＳ１８０までの処理は停止して、選択された動画ファイルに対するＳ２３０以降の処理に進むようにしてもよい。
【０１０５】
（２）図４のＳ１８０の動画ファイル選択用サムネイル選出処理の具体的内容、即ち、Ｓ１７０で生成した印刷フレーム選択用サムネイルの中から動画ファイル選択用サムネイルを選出する方法は、図８に詳しく説明した方法に限定されない。図８に示した選出方法はあくまでも一例であり、他の選出基準を設定して選出してもよい。例えば、テキストメタデータの中でテキストの文字数が最も少ないテキストメタデータを含むシーンから生成された印刷フレーム選択用サムネイルを動画ファイル選択用サムネイルとして選出するようにしてもよい。また例えば、メタデータの種類毎に優先度を設定し、最も優先度の高いメタデータを含むシーンから生成された印刷フレーム選択用サムネイルを動画ファイル選択用サムネイルとして選出するようにしてもよい。
【０１０６】
また、動画ファイル選択用サムネイルは、１つの動画ファイルに対して複数選出するようにしてもよい。複数選出する際の具体的な選出方法は適宜決めることができる。例えば、図８の動画ファイル選択用サムネイル選出処理において、Ｓ３３０の処理後はＳ３４０に進むようにし、Ｓ３６０の処理後はＳ３７０に進むようにし、Ｓ３９０の処理後はＳ４００に進むようにすることで、１つの動画ファイルに対して複数の動画ファイル選択用サムネイルを選出することができる。
【０１０７】
そして、１つの動画ファイルに対して複数の動画ファイル選択用サムネイルを選出した場合に、それら各動画ファイル選択用サムネイルを動画一覧表示画面にどのように表示させるかについては、適宜決めることができる。例えば、スライドショー形式で１つずつ順次切り替えながら表示させるようにしてもよい。また例えば、図９（ｂ）に例示するように、動画ファイル毎に、選出された動画ファイル選択用サムネイルを全て一覧表示させるようにしてもよい。図９（ｂ）に示す動画一覧表示画面６０は、旅行記録動画３６の動画ファイルに対して５つの動画ファイル選択用サムネイル６１〜６５が選出されてそれらが全て一覧表示されている例を示している。図９（ｂ）の例においても、各サムネイルにメタデータを示す画像を表示させるか否か、また表示させる場合に具体的にどこにどのように表示させるか、などについては適宜決めることができる。
【０１０８】
（３）図９（ａ）に例示した動画一覧表示画面５０のように、１つの動画ファイルに対して１つの動画ファイル選択用サムネイルを表示させる場合、単にそのサムネイルを表示させるだけでなく、そのサムネイルに対応したフレームを含む一定時間内のフレームを縮小して連続的に切り替え表示させるようにしてもよい。つまり、サムネイルのサイズで上記一定時間内の動画を表示させるようにしてもよい。
【０１０９】
（４）図１０に例示した印刷フレーム選択画面では、動画一覧表示画面で選択された動画ファイルに対して生成されている全ての印刷フレーム選択用サムネイルを表示させることができたが、必ずしも、生成されている全ての印刷フレーム選択用サムネイルを表示できるようにする必要はない。例えば、フレーム抽出処理で抽出されたフレームが多ければ多いほど、生成される印刷フレーム選択用サムネイルも多くなる。その場合、生成されている全ての印刷フレーム選択用サムネイルのうちいくつかを間引いて表示させるようにしてもよい。どのような基準でサムネイルを間引くかについては適宜決めることができる。
【０１１０】
（５）アプリ１２ｂを実行させるプラットフォームとして、端末１０はあくまでも一例である。例えば、ＭＦＰ１００でアプリ１２ｂを実行できるようにしてもよい。また例えば、サーバ１６０或いはその他の情報処理装置（具体的には、端末１０とは別体の、端末１０とデータ通信可能な情報処理装置）でアプリ１２ｂを実行できるようにしてもよい。具体的には、例えば、端末１０又はＭＦＰ１００から、印刷させたい所望の動画ファイルを情報処理装置にアップロードすると、情報処理装置側でシーン決定やフレーム抽出が行われる。生成、選出された各サムネイルは、そのサムネイルのデータを情報処理装置から端末１０又はＭＦＰ１００に送信させることで、端末１０又はＭＦＰ１００で表示させる。端末１０又はＭＦＰ１００における、サムネイルの選択処理の結果は、情報処理装置に送信され、それに基づいて情報処理装置が印刷データを生成し、その印刷データがＭＦＰ１００に送信される。
【０１１１】
（６）上記実施形態では、本発明を動画印刷に適用した例を示したが、本発明の適用は動画印刷に限定されない。つまり、本発明は、動画印刷を目的として動画ファイルからフレームを抽出する目的以外の他の目的にも適用できる。
【０１１２】
（７）アプリ１２ｂの提供形態は、インターネットを介したダウンロードによる提供に限らず、種々の提供形態を採用できる。例えば、メモリカード、フレキシブルディスク、ＤＶＤ、ＣＤ−ＲＯＭ、ハードディスクなどの、コンピュータで読み取り可能な（有形な）非一時的な記録媒体（A non-transitory computer-readable recording medium）に記録された状態で提供できるようにしてもよい。
【０１１３】
（８）その他、本発明は、上記の実施形態に示された具体的手段や構造等に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の形態を採り得る。例えば、上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【符号の説明】
【０１１４】
１０…端末、１１…ＣＰＵ、１２…フラッシュメモリ、１２ａ…ＯＳ、１２ｂ…アプリ、１２ｃ…アプリ用記憶領域、１３…ＲＡＭ、１５…操作キー、１６…ＬＣＤ、１７…タッチパネル、１８…メモリカードＩ／Ｆ、１９…音声入出力部、２０…電話網通信部、２２…近距離通信部、２３…無線通信部、２４…バスライン、２５…メモリカード、３１…愛犬記録動画、３１ａ，３２ａ，３３ａ，４１ａ，４２ａ，４３ａ，４４ａ…テキスト画像、３２…花火大会動画、３３…洋画番組動画、３４…自然紹介動画、３４ａ，３４ｂ，３５ａ〜３５ｄ…枠画像、３５…風景記録動画、３６…旅行記録動画、４１…第１フレーム、４２…第２フレーム、４３…第３フレーム、４４…第４フレーム、５０，６０…動画一覧表示画面、５１〜５３，６１〜６５…動画ファイル選択用サムネイル、７０，８０…印刷フレーム選択画面、７１〜７３…印刷フレーム選択用サムネイル、１００…ＭＦＰ、１２２…近距離通信部、１２３…無線通信部、１３１…プリンタ部、１６０…サーバ。
【図１】
2015195524.tif 000003
【図４】
2015195524.tif 000004
【図８】
2015195524.tif 000005
【図２】
2015195524.tif 000006
【図３】
2015195524.tif 000007
【図５】
2015195524.tif 000008
【図６】
2015195524.tif 000009
【図７】
2015195524.tif 000010
【図９】
2015195524.tif 000011
【図１０】
2015195524.tif 000012