(57)【要約】【課題】  動画からインパクトのあるシーンや特徴的なシーンなどの画像を抜き出し、その画像を集めることで、動画の内容を一目で把握できる仕組みを提供すること【解決手段】  動画から静止画を抽出するにあたり、どのようなデータを考慮して抽出すべきかが設定されたテンプレートの選択を受け付け、静止画を抽出したい動画について、選択されたテンプレートに設定された抽出条件をもとに静止画を抽出する。【選択図】  図９
2013126113.tif 000002
【特許請求の範囲】
【請求項１】
動画データの入力を受け付ける動画データ入力手段と、
前記入力手段により入力された動画データから静止画を抽出する指示を受け付ける静止画抽出指示受付手段と、
前記動画データ入力手段により入力された動画から静止画を抽出するための抽出条件が設定されたテンプレートの設定を受け付けるテンプレート設定受付手段と、
前記テンプレート設定受付手段により設定を受け付けたテンプレートを用いて動画から静止画を抽出する静止画抽出手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記静止画抽出手段により抽出された静止画のうち変更対象となる静止画の選択を受け付ける変更対象受付手段を更に備え、
前記静止画抽出手段は、変更候補となる静止画を前記動画データから再抽出することを特徴とし、
前記静止画抽出手段により再抽出された静止画のうちユーザによる選択を受けた静止画と、前記変更対象受付手段により選択を受け付け静止画とを置き換えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
情報処理装置における情報処理方法であって、
前記情報処理装置の動画データ手段が、動画データの入力を受け付ける動画データ入力工程と、
前記情報処理装置の静止画抽出指示受付手段が、前記入力工程により入力された動画データから静止画を抽出する指示を受け付ける静止画抽出指示受付工程と、
前記情報処理装置のテンプレート設定受付手段が、前記動画データ入力工程により入力された動画から静止画を抽出するための抽出条件が設定されたテンプレートの設定を受け付けるテンプレート設定受付工程と、
前記情報処理装置の静止画抽出手段が、前記テンプレート設定受付工程により設定を受け付けたテンプレートを用いて動画から静止画を抽出する静止画抽出工程と、
を備えることを特徴とする情報処理方法。
【請求項４】
情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
動画データの入力を受け付ける動画データ入力手段と、
前記入力手段により入力された動画データから静止画を抽出する指示を受け付ける静止画抽出指示受付手段と、
前記動画データ入力手段により入力された動画から静止画を抽出するための抽出条件が設定されたテンプレートの設定を受け付けるテンプレート設定受付手段と、
前記テンプレート設定受付手段により設定を受け付けたテンプレートを用いて動画から静止画を抽出する静止画抽出手段として機能させることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画から静止画を抽出する技術に関する。
【背景技術】
【０００２】
従来の動画はデータが大容量であるに加え、コンピュータ処理能力、記録メディア容量、転送パフォーマンスともに不足していた問題があり、動画のデータ容量を小さくするため画像品質を犠牲にしてきた。それは、動画を静止した時の画像を見ればかなり画質の悪いものだったことで確認できる。
【０００３】
しかし、ここ数年、動画の圧縮技術が進歩したのに加え、各処理能力も向上し、従来の問題が解消された。これにより、動画を静止した時の１シーンの画像が写真としてみても遜色がない品質となった。
【０００４】
また、デジタルビデオカメラは長時間の動画を撮影できるが、それに加え、デジカメ、携帯電話、スマートフォンでも動画が撮影できる環境となった。
【０００５】
このように手軽に高画質の動画が撮影できる環境となったが、写真とは異なり動画は一目でその内容を把握することが難しく、一通り全体を再生する必要があり、多くの時間を有してしまう。そのため、一度取った動画はよほどインパクトや伝えたい内容があるものを除き何回も見ることもなく記録メディアに溜まっていく一方となる。
【０００６】
特許文献１には、動画データ中のフレームを静止画データとして切り出す技術について記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１６０１７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、動画からインパクトのあるシーンや特徴的なシーンなどの画像を抜き出し、その画像を集めることで、動画の内容を一目で把握できる仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、動画データの入力を受け付ける動画データ入力手段と、前記入力手段により入力された動画データから静止画を抽出する指示を受け付ける静止画抽出指示受付手段と、前記動画データ入力手段により入力された動画から静止画を抽出するための抽出条件が設定されたテンプレートの設定を受け付けるテンプレート設定受付手段と、前記テンプレート設定受付手段により設定を受け付けたテンプレートを用いて動画から静止画を抽出する静止画抽出手段と、を備えることを特徴とする。
【００１０】
また、本発明は、情報処理装置における情報処理方法であって、前記情報処理装置の動画データ手段が、動画データの入力を受け付ける動画データ入力工程と、前記情報処理装置の静止画抽出指示受付手段が、前記入力工程により入力された動画データから静止画を抽出する指示を受け付ける静止画抽出指示受付工程と、前記情報処理装置のテンプレート設定受付手段が、前記動画データ入力工程により入力された動画から静止画を抽出するための抽出条件が設定されたテンプレートの設定を受け付けるテンプレート設定受付工程と、前記情報処理装置の静止画抽出手段が、前記テンプレート設定受付工程により設定を受け付けたテンプレートを用いて動画から静止画を抽出する静止画抽出工程と、を備えることを特徴とする。
【００１１】
また、本発明は、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、動画データの入力を受け付ける動画データ入力手段と、前記入力手段により入力された動画データから静止画を抽出する指示を受け付ける静止画抽出指示受付手段と、前記動画データ入力手段により入力された動画から静止画を抽出するための抽出条件が設定されたテンプレートの設定を受け付けるテンプレート設定受付手段と、前記テンプレート設定受付手段により設定を受け付けたテンプレートを用いて動画から静止画を抽出する静止画抽出手段として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、動画の内容を一目で把握できる仕組みを提供することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の情報処理システムの構成の一例を示す図である
【図２】図１の情報処理装置１０１のハードウエア構成の一例を示す図である
【図３】本発明の実施形態において情報処理装置１０１が行うアルバム作成処理を示すフローチャートである
【図４】本発明の実施形態において情報処理装置１０１が行うアルバム作成処理を示すフローチャートである
【図５】本発明の実施形態において情報処理装置１０１が行う写真変更処理を示すフローチャートである
【図６】テンプレート設定画面の一例を示す図である
【図７】テキスト設定画面の一例を示す図である
【図８】写真アルバムプレビュー画面の一例を示す図である
【図９】写真変更設定画面の一例を示す図である
【図１０】テンプレートテーブルの一例を示す図である
【図１１】テキスト情報テーブルの一例を示す図である
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１５】
図１は、本発明に係る情報処理システムのシステム構成の一例を示す図である。
【００１６】
図１に示すように、本実施形態に係る情報処理システムは、情報処理装置１０１、サーバ装置１０２、カメラ１０３がそれぞれネットワーク１０４を介して通信可能に接続されている。
【００１７】
情報処理装置１０１はカメラ１０３により撮影されたデータを取得する。また、カメラ１０３により撮影されたデータについては、一度サーバ装置１０２に記憶され、情報処理装置１０１はサーバ装置１０２に記憶されたデータを取得してもよい。
【００１８】
また、本発明においては、カメラにより撮影されたデータを情報処理装置１０１が取得できれば良く、通信可能に接続されていなくても良い。
【００１９】
以下、本発明の情報処理システムを構成する各装置について説明する。
【００２０】
以下、図２を用いて、図１に示した情報処理装置１０１のハードウエア構成の一例について説明する。
【００２１】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。
【００２２】
２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２３】
また、２０５は入力コントローラで、入力装置２０９等からの入力を制御する。２０６はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置２１０への表示を制御する。なお、ディスプレイ装置は、液晶ディスプレイに限られず、ＣＲＴディスプレイなどであっても良い。これらは必要に応じてクライアントが使用するものである。
【００２４】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２５】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ４００）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２６】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２７】
ハードウエア上で動作する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。
【００２８】
なお、全ての装置がこれらの構成を備えているわけではなく、必要なものを夫々備えていればよい。
【００２９】
次に、図３、図４を用いて、本発明の実施形態において情報処理装置１０１が行うアルバム作成処理について説明する。
【００３０】
なお、図３、図４のフローチャートで示す処理については、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００３１】
ステップＳ３０１では、情報処理装置１０１のＣＰＵ２０１は、写真アルバムにしたい動画の選択を不図示の画面を介してユーザから受け付ける。
【００３２】
ステップＳ３０２では、情報処理装置１０１のＣＰＵ２０１は、写真アルバムのテンプレートを設定するためのテンプレート設定画面（図６）を表示し、ユーザからテンプレートの選択を受け付ける。ここで選択されたテンプレートにより、どのような写真が抽出されるかの判断基準（どのような要素を考慮して写真を抽出するか）が決まる。具体的には図１０に示すテーブルに登録されている。
【００３３】
ステップＳ３０３では、情報処理装置１０１のＣＰＵ２０１は、写真のテキスト領域に表示する情報を設定するためのテキスト設定画面（図７）を表示し、ユーザからテキスト情報の設定を受け付ける。付加されるテキストデータについては、図１１に示すテーブルに登録されている情報に基づき決定される。なお、もとの動画データには、位置情報などテキストとして付加されるのに必要なデータは記録されているものとする。また、記録されていない場合は、当該データにかかるテキストの設定は受け付けないようにしても良い。
【００３４】
ステップＳ３０４では、情報処理装置１０１のＣＰＵ２０１は、写真アルバムを作成するか否かの指示をユーザから受け付けたか否かを判断する。
【００３５】
具体的には、図７のＯＫボタン７０４の押下により指示を受け付ける。
【００３６】
ユーザから写真アルバムの作成指示を受け付けた場合（ステップＳ３０４：ＹＥＳ）は、処理をステップＳ３０５に移行する。
【００３７】
作成指示を受け付けていない場合は、本フローチャートの処理を終了する。
【００３８】
ステップＳ３０５では、情報処理装置１０１のＣＰＵ２０１は、写真アルバムの作成処理を実行する。ステップＳ３０５の処理の詳細については、図４のフローチャートを用いて後述する。
【００３９】
次に図４を用いて、写真アルバムの作成処理について説明する。
【００４０】
ステップＳ４０１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０２で選択されたテンプレートの情報をもとに、動画からシーン（静止画）を抽出する。ここで抽出するための条件として、図１０のテーブルに登録されている位置情報、撮影方向、笑顔認識等に関する情報をもとに抽出をする。
【００４１】
ステップＳ４０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０１で抽出したシーンについて、撮影情報をもとに絞り込みをする。ここで、絞り込みをする際には、ピントやズーム、構図などの情報をもとに絞り込む。
【００４２】
ステップＳ４０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０２で絞り込んだシーンから、さらに音声情報などをもとに絞り込みを行う。
【００４３】
ステップＳ４０４では、情報処理装置１０１のＣＰＵ２０１は、写真アルバムのプレビュー画面（図８）を表示する。
【００４４】
ステップＳ４０５では、情報処理装置１０１のＣＰＵ２０１は、写真の変更指示を受け付けたか否か（変更ボタン８０２が押下されたか否か）を判断する。
【００４５】
変更指示を受け付けた場合（ステップＳ４０５：ＹＥＳ）は、処理をステップＳ４０７に移行する。
【００４６】
変更指示を受け付けていない場合（ステップＳ４０５：ＮＯ）は、処理をステップＳ４０６に移行する。
【００４７】
ステップＳ４０６では、情報処理装置１０１のＣＰＵ２０１は、確定ボタンが押下されたか否かを判断する。
【００４８】
確定ボタンが押下された場合（ステップＳ４０６：ＹＥＳ）は、本フローチャートの処理を終了する。以上で写真アルバムが完成する。この写真アルバムには、動画データのうち特徴的なシーンなどが集められることになるため、動画の全データを再生することなく、内容を容易に（時間をかけずに）把握することが可能となる。
【００４９】
確定ボタン８０３が押下されていない場合（ステップＳ４０６：ＮＯ）は、処理をステップＳ４０５に戻し、ユーザからの指示を待つ。
【００５０】
ステップＳ４０７では、情報処理装置１０１のＣＰＵ２０１は、写真の変更処理を実行する。ステップＳ４０７の処理の詳細については、図５のフローチャートを用いて後述する。
【００５１】
次に、図５を用いて、本発明の実施形態において情報処理装置１０１が行う写真変更処理について説明する。
【００５２】
なお、図５のフローチャートで示す処理については、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００５３】
ユーザから変更したい写真が含まれる写真アルバムの選択を受け付けると、ステップＳ５０１で情報処理装置１０１のＣＰＵ２０１は、変更対象の写真を設定するための写真変更画面（図９）を表示する。
【００５４】
ここで、写真変更画面には、変更対象の写真を中心に、元の動画データから当該変更対象写真の前後の一定範囲に限定して絞り込みを行ったシーンが表示される（９０３）。
【００５５】
ステップＳ５０２では、情報処理装置１０１のＣＰＵ２０１は、新しいシーンがユーザにより設定されたか否かを判断する。
【００５６】
ユーザにより新しいシーンが設定された場合（ステップ５０２：ＹＥＳ）は、処理をステップＳ５０３に移行する。
【００５７】
ユーザにより新しいシーンの設定がされなかった場合（ステップＳ５０２：ＮＯ）は、本フローチャートに示す処理を終了する。
【００５８】
ステップＳ５０３では、情報処理装置１０１のＣＰＵ２０１は、変更対象の写真を、ステップＳ５０２で設定された新しいシーンに入れ替える。そして、本フローチャートに示す処理を終了する。
次に、図６に示すテンプレート設定画面について説明する。
【００５９】
図６に示すテンプレート設定画面は、ステップＳ３０２において表示される画面である。
【００６０】
６０１は、ユーザからいずれのテンプレートを用いるかの選択を受け付ける領域である。ここで選択されたテンプレートにより動画から写真を抽出する方法が異なる。図１０に示すテーブルに写真を抽出するための情報が設定されてあり、これに従い動画から写真を抽出する。例えば国内旅行のテンプレートが選択された場合は、位置情報と包囲情報をもとに写真が抽出される。
【００６１】
また、運動会のテンプレートが選択された場合は、顔認識による情報や音声ボリュームが考慮され写真が抽出される。
【００６２】
６０２は、プレビュー画面であり、どのような写真が抽出されるかを表示する画面である。ユーザは６０２の領域に表示された写真を参考にして、いずれのテンプレートを選択すべきかを判断することが可能となる。
【００６３】
６０３は設定を取り消すためのキャンセルボタン、６０４は設定を確定するためのボタンである。
【００６４】
次に図７について説明する。図７に示す画面は、テキスト設定画面である。写真毎にどのようなコメント（テキスト）を付加するか、表示するかを設定するための画面である。
【００６５】
７０１は、どのような種類のテキストを付加するかの選択を受け付ける領域である。例えば日付が選択された場合は、撮影された日付が付加される。
【００６６】
どのような情報が付加されるかについては、図１１に示すテーブルに設定されている。
【００６７】
また、予め設定された情報ではなく、ユーザによるコメントの入力を受け付け、当該コメントを付加するように構成しても良い。
【００６８】
７０２はコメントが付加された写真のプレビュー領域である。
【００６９】
７０３は設定を取り消すためのキャンセルボタン、７０４は設定を確定するためのボタンである。
【００７０】
次に図８について説明する。図８に示す画面は、写真アルバムプレビュー画面である。作成された写真アルバムを確認する画面で、ユーザから写真アルバム中の写真の変更指示を受け付ける。
【００７１】
８０１は、作成された写真アルバムのプレビュー領域であり、下部にあるコントローラによりアルバムのページの切り替えが可能である。また、右下の数値は総ページ数と現在表示しているページ番号を示している。
【００７２】
８０２は写真の変更を受け付けるボタンである。当該変更ボタンが押下されることで、図９に示す画面が表示され、図５に示す処理が実行される。
８０３は作成された写真アルバムを確定するボタンである。
【００７３】
次に図９について説明する、図９に示す画面は、作成された写真アルバムの写真変更を行うための画面である。
【００７４】
９０１は動画プレビュー領域である。変更したい写真が含まれるとして選択された写真アルバムの元動画を再生する領域である。下部のコントローラで再生・停止・位置のコントロールが可能となっている。
【００７５】
９０２は、写真アルバムのプレビュー領域である。ここに表示された写真についてユーザから選択を受け付けることで、変更対象の写真の選択を受け付けることとなる。
【００７６】
変更対象として選択された写真については、他の写真と識別可能に表示（例えば写真枠が強調表示）される。
【００７７】
下部にあるコントローラによりアルバムのページ切り替えが可能である。
【００７８】
なお、ページが切り替えられると、変更対象としての選択がクリアされるよう構成しても良い。
９０３は、変更候補の写真が表示される領域である。
【００７９】
変更対象として選択された写真の動画内における位置から、その前後のシーンを対象として再度抽出処理が実行される。抽出処理により抽出された写真がこの領域に変更候補の写真として表示される。
【００８０】
変更候補の写真のいずれかがユーザにより選択されると、当該選択された写真の枠が強調表示されるなど、他の写真と識別可能な表示がなされる。
【００８１】
また、選択された写真に連動して、動画プレビュー９０１のコントローラの位置が制御され、当該シーンの前後の動画が表示される。
【００８２】
写真枠の強調表示は、動画プレビューで再生や位置が変更されると解除される。また、９０２でページが切り替えられた場合についても変更対象が解除されるため、ここでの表示も解除される。
【００８３】
９０４は、変更対象の写真を９０３において選択された写真に変更するボタンである。
【００８４】
９０５は、キャンセルボタンであり、すべての変更を取り消す指示を受け付けるボタンである。９０６は、すべての変更を確定される指示のボタンである。
【００８５】
以上の処理により、動画の内容を一目で把握できる仕組みを提供することが可能となる。
【００８６】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【００８７】
また、本発明におけるプログラムは、図３〜図５の処理方法をコンピュータが実行可能なプログラムである。なお、本発明におけるプログラムは図３〜図５の各装置の処理方法ごとのプログラムであってもよい。
【００８８】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【００８９】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【００９０】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【００９１】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９２】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９３】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００９４】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００９５】
１０１  情報処理装置
１０２  サーバ装置
１０３  カメラ
１０４  ネットワーク
【図１】
2013126113.tif 000003
【図２】
2013126113.tif 000004
【図３】
2013126113.tif 000005
【図４】
2013126113.tif 000006
【図５】
2013126113.tif 000007
【図６】
2013126113.tif 000008
【図７】
2013126113.tif 000009
【図８】
2013126113.tif 000010
【図９】
2013126113.tif 000011
【図１０】
2013126113.tif 000012
【図１１】
2013126113.tif 000013