(57)【要約】【課題】動画コンテンツから静止画像を抽出する際に、静止画像を容易に抽出できるようにすること、及びレイアウトを容易に行うことができるようにする。【解決手段】ディスプレイ上に描かれた線を読み取る描画読み取り部１０１と、前記描画読み取り部１０１により読み取られた軌跡に応じて動画像データから静止画像を抽出するポイントを決定する抽出静止画像決定部１０２とを設け、ユーザが意図する画像のサイズやレイアウトを、簡単な操作を行うだけで個々に設定することができるようにする。【選択図】図１
2011082688.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ上に描かれた線を読み取る描画読み取り手段と、
前記描画読み取り手段により読み取られた軌跡に応じて動画像データから静止画像を抽出するポイントを決定する抽出静止画像決定手段とを有することを特徴とする静止画抽出装置。
【請求項２】
前記抽出静止画像決定手段により決定されたポイントを基にして、前記動画像データから静止画像を抽出する静止画像抽出手段を有することを特徴とする請求項１に記載の静止画抽出装置。
【請求項３】
前記静止画像抽出手段により抽出された静止画像を前記軌跡の上に貼り付けて前記ディスプレイに表示する静止画像表示手段を有することを特徴とする請求項２に記載の静止画抽出装置。
【請求項４】
前記抽出静止画像決定手段は、前記描画読み取り手段により読み取られた軌跡の早さに応じて静止画像を抽出するポイントを決定することを特徴とする請求項１〜３の何れか１項に記載の静止画抽出装置。
【請求項５】
前記抽出静止画像決定手段は、前記描画読み取り手段により読み取られた軌跡の形状に応じて静止画像を抽出するポイントを決定することを特徴とする請求項１〜３の何れか１項に記載の静止画抽出装置。
【請求項６】
ディスプレイ上に描かれた線を読み取る描画読み取り工程と、
前記描画読み取り工程において読み取られた軌跡に応じて動画像データから静止画像を抽出するポイントを決定する抽出静止画像決定工程とを有することを特徴とする静止画抽出方法。
【請求項７】
前記抽出静止画像決定工程において決定されたポイントを基にして、前記動画像データから静止画像を抽出する静止画像抽出工程を有することを特徴とする請求項６に記載の静止画抽出方法。
【請求項８】
前記静止画像抽出工程において抽出された静止画像を前記軌跡の上に貼り付けて前記ディスプレイに表示する静止画像表示工程を有することを特徴とする請求項７に記載の静止画抽出方法。
【請求項９】
前記抽出静止画像決定工程においては、前記描画読み取り工程において読み取られた軌跡の早さに応じて静止画像を抽出するポイントを決定することを特徴とする請求項６〜８の何れか１項に記載の静止画抽出方法。
【請求項１０】
前記抽出静止画像決定工程においては、前記描画読み取り工程において読み取られた軌跡の形状に応じて静止画像を抽出するポイントを決定することを特徴とする請求項６〜８の何れか１項に記載の静止画抽出方法。
【請求項１１】
ディスプレイ上に描かれた線を読み取る描画読み取り工程と、
前記描画読み取り工程において読み取られた軌跡に応じて動画像データから静止画像を抽出するポイントを決定する抽出静止画像決定工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画抽出装置及び静止画抽出方法に関し、特に、動画コンテンツから静止画像を抽出し、抽出した静止画像をレイアウトするために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、携帯型映像音声再生プレイヤーをはじめとして、携帯電話機、ＰＤＡ、ノートＰＣなど、動画コンテンツを再生可能な様々な携帯端末が開発され、ユーザはあらゆる環境下で動画コンテンツを視聴することが可能となっている。
【０００３】
しかしながら、ユーザは再生する動画のどの部分にどのような内容が記録されているかが分からない。このため、動画コンテンツの内容を判別する際には、動画コンテンツの再生をしなければならず、所望の動画を再生するためには非常に面倒な操作が必要であった。
【０００４】
前述の不都合を解決するために、１つの動画コンテンツから複数の部分を静止画として取り出す。そして、取り出した静止画を、例えば、９分割した表示画面に各々表示し、この表示された静止画を選択して、選択した静止画の位置から動画を再生する画像再生装置（特許文献１）が提案されている。また、抽出したフレーム画像の数に応じて前記表示画面を分割し、抽出したフレーム画像を分割した表示画面に各々表示する方法（特許文献２）が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１８９２３号公報
【特許文献２】特開２００４−１９３６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術では、動画コンテンツから抽出した静止画像やサムネイルのレイアウトは自動的に決められている。このため、ユーザが意図する画像のサイズやレイアウトは個々に設定しなければならないという問題があった。
本発明は前述の問題点に鑑み、動画コンテンツから静止画像を抽出する際に、静止画像を容易に抽出できるようにすること、及びレイアウトを容易に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の静止画抽出装置は、ディスプレイ上に描かれた線を読み取る描画読み取り手段と、前記描画読み取り手段により読み取られた軌跡に応じて動画像データから静止画像を抽出するポイントを決定する抽出静止画像決定手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザが描いた軌跡から動画コンテンツを抽出し、静止画像を軌跡の上にレイアウトするようにした。これにより、個々の静止画像の画像位置や大きさをユーザが決定する必要が無く、簡易な操作で意図するレイアウトを作成することができる。また、動画コンテンツの内容を一目で把握することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態を示し、（ａ）は静止画像抽出装置の構成例を示すブロック図、（ｂ）は静止画像の抽出ポイントを決定するためのデータの一例を表す図である。
【図２】第１の実施形態を示し、静止画像抽出装置の処理手順を示すフローチャートである。
【図３】第２の実施形態を示し、（ａ）は静止画像抽出装置の構成例を示すブロック図、（ｂ）は静止画像の抽出ポイントを決定するためのデータの一例を表す図である。
【図４】第２の実施形態を示し、静止画像抽出装置の処理手順を示すフローチャートである。
【図５】第３の実施形態を示し、静止画像抽出装置の構成例を示すブロック図である。
【図６】第３の実施形態を示し、静止画像抽出装置の処理手順を示すフローチャートである。
【図７】第４の実施形態を示し、静止画像抽出装置の処理手順を示すフローチャートである。
【図８】第４の実施形態を示し、（ａ）は軌跡が折れ線の例を表す図、（ｂ）は軌跡が円形の例を表す図、（ｃ）は第４の実施形態におけるデータの一例を表す図である。
【発明を実施するための形態】
【００１０】
＜第１の実施形態＞  
以下、本発明の第１の実施形態について図面及びフローチャートを用いて説明する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
図１（ａ）は、静止画抽出装置の第１の実施形態の構成例を示すブロック図である。
図１（ａ）において、１００は静止画抽出装置であり、描画読み取り部１０１、抽出静止画像決定部１０２、静止画像抽出部１０３から構成されている。
【００１１】
描画読み取り部１０１は、例えば、テーブル型ディスプレイ上に描かれた軌跡を読み取り、軌跡の長さを判別する。軌跡の長さの判別方法は直線であれば、二点の座標から算出する。例えば、二点の位置ベクトルがｐ1＝（ｘ1，ｙ1，ｚ1）、ｐ2＝（ｘ2，ｙ2，ｚ2）であった場合、以下の数１とすることで２点間の距離を算出することが可能である。
【００１２】
【数１】
2011082688.tif 000003
【００１３】
また、軌跡が円形であれば、半径及び内角から長さを求めることが可能である。さらに、ベジェ曲線であれば、数２のように求めることが可能である。
【００１４】
【数２】
2011082688.tif 000004
【００１５】
また、描かれている軌跡の総ドット数から長さを算出してもよい。軌跡の長さを算出する方法については、さまざまな方法が公開されているため、本実施形態では特に言及しない。
抽出静止画像決定部１０２は、静止画抽出対象となる動画コンテンツと描画読み取り部１０１により算出したディスプレイ上に描画された軌跡の長さをマッピングし、動画コンテンツの動画像データから抽出する静止画像のポイントを決定する。
静止画像抽出部１０３は、抽出静止画像決定部１０２によって決定したポイントを基にして動画コンテンツより静止画を抽出する。
【００１６】
図１（ｂ）は、本発明の第１の実施形態において、抽出静止画像決定部１０２が静止画像の抽出ポイントを決定するためのデータの一例を示している。
図１（ｂ）に示すように、本実施形態においては、軌跡の長さ１５１と静止画像抽出数１５２をデータとして保持している。そして、描画読み取り部１０１がディスプレイ上に描画されている軌跡の長さを取得し、その軌跡の長さ１５１に対応した静止画像抽出数１５２を取得し、抽出静止画像決定部１０２は静止画像抽出数１５２を基に動画コンテンツから等間隔に静止画像を抽出する。
【００１７】
図２は、第１の実施形態における処理手順の一例を示すフローチャートである。以下では、このフローチャートに沿って実施形態の処理を説明する。
ステップＳ２０１では、ユーザによりディスプレイ上に軌跡が描かれたか判断する。この判断の結果、軌跡が描かれた場合にはステップＳ２０２に進み、描かれていない場合には待機状態となる。
【００１８】
ステップＳ２０２では、描画読み取り部１０１は、ディスプレイ上に描かれた軌跡を読み取り、軌跡の長さを識別する。
ステップＳ２０３では、描画読み取り部１０１が識別した軌跡の長さと対象動画コンテンツの始点と終点とをマッピングし、静止画像を抽出するポイントを抽出静止画像決定部１０２により決定する。
【００１９】
ステップＳ２０４では、抽出静止画像決定部１０２で決定した静止画像抽出ポイントを基に静止画像抽出部１０３が静止画像を抽出する。
ステップＳ２０５では、終了判断を行う。この判断は、ユーザにより終了処理が行われたか否かに基いて行われる。終了処理とは、例えば、電源オフ等の処理が考慮される。ステップＳ２０５の判断の結果、終了ではない場合にはステップＳ２０１に戻って前述した処理を行う。また、終了の場合にはエンド処理を行う。
【００２０】
＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との差異を中心に説明する。本実施形態において、前述した第１の実施形態と同一な構成については同じ符号を付して詳細な説明を省略する。ただし、本発明の技術的範囲がこの実施形態に限定されるものではない。
図３（ａ）は、本発明における第２の実施例の実施形態における構成例を示すブロック図である。図３（ａ）において、３００は本実施形態の静止画抽出装置である。本実施形態の静止画抽出装置は、図１（ａ）で示した静止画抽出装置１００の構成に加えて、静止画像表示部３０１を有する。静止画像表示部３０１は、静止画像抽出部１０３で抽出した静止画像を軌跡の上に表示する。
【００２１】
図３（ｂ）は、第２の実施形態において、抽出静止画像決定部１０２が静止画像の抽出ポイントを決定するためのデータの一例を示す図である。図３（ｂ）において、静止画像サイズ３５１は、動画コンテンツから抽出した静止画像のサイズを表す。ここで記述する静止画像サイズ３５１は実際の静止画像のサイズや画像を表示する際のサムネイルサイズのどちらでもよい。静止画像抽出間隔３５２は、抽出した静止画像を抽出する間隔を表す。
【００２２】
以下、図４のフローチャートを用いて、動画コンテンツから静止画像を抽出し、ディスプレイ上に表示するまでの処理手順の一例を説明する。ただし、本発明の技術的範囲がこの実施の形態に限定されるものではない。
ステップＳ４０１では、ユーザによりディスプレイ上に軌跡が描かれたか判断する。この判断の結果、軌跡が描かれた場合にはステップＳ４０２に進み、描かれていない場合には待機状態となる。
【００２３】
ステップＳ４０２においては、表示する静止画像サイズ３５１を抽出静止画像決定部１０２が取得し、その静止画像のサイズに対応する静止画像抽出間隔３５２を基に動画コンテンツより静止画像を抽出するポイントを決定する。
ステップＳ４０３においては、静止画像抽出部１０３は、抽出静止画像決定部１０２によって決定したポイントを基に静止画像を抽出する。
【００２４】
ステップＳ４０４においては、静止画像表示部３０１は、静止画像抽出部１０３が静止画像を抽出したポイントと、ディスプレイ上の軌跡とをマッピングした位置に静止画像を表示する。
ステップＳ４０５では、終了判断を行う。この判断は、ユーザにより終了処理が行われたか否かに基いて行われる。終了処理とは、例えば、電源オフ等の処理が考慮される。ステップＳ４０５の判断の結果、終了ではない場合にはステップＳ４０１に戻って前述した処理を行う。また、終了の場合にはエンド処理を行う。
【００２５】
＜第３の実施形態＞
以下、第３の実施形態について説明する。本実施形態においては、描いた軌跡の早さに応じて静止画像を抽出するポイントを決定する方法について説明する。ただし、本発明の技術的範囲がこの実施の形態に限定されるものではない。
軌跡の早さに応じて、抽出静止画像決定部１０２が動画コンテンツから抽出静止画像を抽出するポイントを決定するには、描画軌跡時の情報を利用する。
【００２６】
例えば、マウス等のポインティングデバイスを使用して軌跡を描画する場合に、描画時に一定時間ごとにポインティングデバイスの座標及び時間を記録する。そして、記録シーケンスの時間比率と動画コンテンツの長さとをマッピングして抽出静止画像決定部１０２が静止画像を抽出するポイントを決定する。
【００２７】
図５は、本実施形態の静止画抽出装置５００の構成例を示すブロック図である。
本実施形態の静止画抽出装置５００において、描画部５０１は、マウス等のポインティングデバイスを表し、軌跡描画時に座標や時間等の情報を記録する。
【００２８】
図６は、本発明の第３の実施形態である、描いた軌跡の早さに応じて静止画像を抽出するポイントを決定する処理手順を示すフローチャートである。以下では、このフローチャートに沿って実施形態を説明する。
ステップＳ６０１においては、ユーザによりディスプレイ上に軌跡が描かれたか判断する。この判断の結果、軌跡が描かれた場合にはステップＳ６０２に進み、描かれていない場合には待機状態となる。
【００２９】
ステップＳ６０２においては、描画部５０１が軌跡描画時に一定時間ごとに座標をマーキングする。また、マーキングと同時に時間及びシーケンスを記録する。
ステップＳ６０３においては、抽出静止画像決定部１０２が、記録したシーケンスと時間から各座標を記録した時間比率を算出し、その比率と動画コンテンツの時間をマッピングして動画コンテンツから静止画像を抽出するポイントを決定する。
【００３０】
ステップＳ６０４においては、静止画像抽出部１０３は、抽出静止画像決定部１０２が決定した抽出ポイントの静止画像を動画コンテンツより抽出する。
ステップＳ６０５においては、静止画像表示部３０１は、軌跡描画時にマーキングした座標上に静止画像を表示する。
ステップＳ６０６においては、終了か否かを判断する。この判断の結果、終了しない場合にはステップＳ６０１に戻り、終了する場合にはエンド処理を行う。
【００３１】
＜第４の実施形態＞
以下、本発明の第４の実施形態を説明する。第４の実施形態においては、描いた軌跡の形状に応じて静止画像を抽出するポイントを決定することを特徴としている。具体的に説明すると、描いた軌跡の形状に応じて静止画像を抽出するポイントを決定するには、描画時に直線や折れ線、円、曲線等の描画情報を軌跡の属性として紐付け、各描画種類に応じて静止画像抽出ポイントを決定するようにしたことにある。
【００３２】
図７は、本発明の第４の実施形態である、描いた軌跡の形状に応じて静止画像を抽出するポイントを決定する実現手順を示すフローチャートである。
ステップＳ７０１においては、ユーザによりディスプレイ上に軌跡が描かれたか判断する。この判断の結果、軌跡が描かれた場合にはステップＳ７０２に進み、描かれていない場合には待機状態となる。
【００３３】
ステップＳ７０２においては、描画部５０１が軌跡描画時に軌跡の種類を属性として軌跡と紐付けて記録する。
ステップＳ７０３においては、描画読み取り部１０１が軌跡を読み取り、紐付けられた軌跡の種類から軌跡に対応した計算方法で軌跡の長さを算出する。
【００３４】
ステップＳ７０４においては、軌跡の長さと動画コンテンツに始点と終点をマッピングし、描かれている軌跡の形状に応じて静止画像を抽出するポイントを抽出静止画像決定部１０２が決定する。
ステップＳ７０５においては、動画コンテンツより決定した抽出ポイントの静止画像を静止画像抽出部１０３が抽出する。
【００３５】
ステップＳ７０６においては、決定した抽出ポイントと描画した軌跡の位置とをマッピングして静止画像を静止画像表示部３０１が表示する。
ステップＳ７０７においては、終了か否かを判断する。この判断の結果、終了しない場合にはステップＳ７０１に戻り、終了する場合にはエンド処理を行う。
【００３６】
ここで、軌跡の形状の具体的な例について図８（ａ）を用いて説明する。
図８（ａ）のように、軌跡が折れ線８１１である場合、描画部５０１は描画軌跡時に軌跡種類として折れ線であることと、折れ線８１１の屈曲点の座標を記録する。描画読み取り部１０１は、各記録した座標からそれぞれの座標間の長さを算出する。
【００３７】
抽出静止画像決定部１０２は、描画読み取り部１０１が算出した各線の長さに応じて動画コンテンツとマッピングし、抽出静止画像を抽出するポイントを決定する。静止画像抽出部１０３は抽出静止画像決定部１０２が決定した抽出ポイントの静止画像を抽出し、静止画像表示部３０１は折り返し点上に抽出した静止画像８１２ａ、８１２ｂ、８１２ｃ、８１２ｄ、８１２ｅ、８１２ｆを表示する。
【００３８】
また、他の例について、図８（ｂ）を用いて説明する。
図８（ｂ）のようにディスプレイ上に描かれた軌跡８２１が、円形もしくは円形を含む場合、曲率が小さい場合であると静止画像表示時に，静止画像８２２ａ、８２２ｂ、８２２ｃ、８２２ｄ、８２２ｅ、８２２ｆの重なりが大きくなる可能性がある。このため、静止画像を抽出する間隔を予め調節する。
【００３９】
例えば、図８（ｃ）のような円の大きさを表す円の半径８３１をテーブルとして保持する。描画読み取り部１０１は、曲線の円の半径と角度から軌跡の長さを算出する。抽出静止画像決定部１０２は、描画読み取り部１０１が算出した軌跡の長さと、図８（ｃ）のテーブル、及び図３（ｂ）の静止画像サイズ３５１から静止画像抽出間隔３５２に静止画像抽出間隔倍率８３２との積を求めて静止画像抽出間隔を決定する。
【００４０】
＜その他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムの一部として適用しても、１つの機器からなる装置の一部に適用してもよい。また、本発明は前述した実施形態を実現するための装置及び方法のみに限定されるものではない。
【００４１】
例えば、前述のシステムまたは装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、前記実施形態を実行させるためのソフトウェアのプログラムコードを供給するものも本発明の範疇に含まれる。また、このプログラムコードに従って前述したシステム或いは装置のコンピュータが前記各種デバイスを動作させることにより前述した実施形態を実現する場合も本発明の範疇に含まれる。
【００４２】
この場合、ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになる。即ち、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には前記プログラムコードを格納した、コンピュータ読み取り可能な記憶媒体も本発明の範疇に含まれる。
【００４３】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４４】
また、本発明は前記プログラムコードのみに従って各種デバイスを制御することにより、前述した実施形態の機能が実現される場合に限らない。例えば、前記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して前述した実施形態が実現される場合も本発明の範疇に含まれる。
【００４５】
更に、コンピュータの機能拡張ボードに備わるメモリに格納された前記プログラムコードの指示に基づいて、その機能拡張ボードに備わるＣＰＵ等が実際の処理の一部または全部を行う場合なども本発明の範疇に含まれる。
【符号の説明】
【００４６】
１００  静止画抽出装置、１０１  描画読み取り部、１０２  抽出静止画像決定部、１０３  静止画像抽出部
【図１】
2011082688.tif 000005
【図２】
2011082688.tif 000006
【図３】
2011082688.tif 000007
【図４】
2011082688.tif 000008
【図５】
2011082688.tif 000009
【図６】
2011082688.tif 000010
【図７】
2011082688.tif 000011
【図８】
2011082688.tif 000012