(57)【要約】【課題】共通の動画像が含まれる動画コンテンツであっても、互いに異なる動画の部分を選択して再生することにより、再生画像から番組の内容を区別することができるようにする。【解決手段】動画再生装置として構成された携帯電話端末は、複数の動画コンテンツ間の共通部分を探索する共通部分探索部３７と、探索された共通部分以外の部分から、各動画コンテンツの代表画像を選択する代表画像選択部３８と、代表画像を表示装置１２に表示する際に、代表画像をサムネイル画像として表示させるサムネイル再生処理部３４とを有している。動画コンテンツの共通部分以外からサムネイル画像を表示させることで、異なる動画コンテンツで同一のサムネイル画像が表示させることなく、サムネイルによる再生画像から番組の内容を区別することができる。【選択図】図３
2011151605.tif 000002
【特許請求の範囲】
【請求項１】
動画コンテンツを取得して、該動画コンテンツの代表画像を作成する画像作成装置であって、
複数の動画コンテンツ間の共通部分を探索する共通部分探索部と、該共通部分探索部によって探索された共通部分以外の部分から、各動画コンテンツの代表画像を作成する画像作成部とを有することを特徴とする画像作成装置。
【請求項２】
請求項１に記載の画像作成装置において、
前記画像作成部は、前記動画コンテンツの画像データから前記代表画像とする画像データを選択し、もしくは前記動画コンテンツから前記代表画像を取得可能な動画再生情報を選択する代表画像選択部と、
該代表画像選択部が選択した画像データ、もしくは該代表画像選択部が選択した前記動画再生情報に基づいて前記動画コンテンツから代表画像を取得することにより、所定の表示手段に表示可能な前記代表画像を作成する表示画像処理部とを有することを特徴とする画像作成装置。
【請求項３】
請求項１または２に記載の画像作成装置において、
前記画像作成部は、前記共通部分の終了直後の画像を前記代表画像として作成することを特徴とする画像作成装置。
【請求項４】
請求項１または２に記載の画像作成装置において、
前記画像作成部は、前記共通部分の開始直前の画像を前記代表画像として作成することを特徴とする画像作成装置。
【請求項５】
請求項１〜４のいずれか１に記載の画像作成装置において、
前記画像作成部は、少なくとも前記共通部分の一部を含む特定期間の画像を前記代表画像として作成することを特徴とする画像作成装置。
【請求項６】
請求項１〜５のいずれか１に記載の画像作成装置において、
前記画像作成部は、前記共通部分の終了から所定期間分後の画像、もしくは前記共通部分の開始から所定期間分前の画像を前記代表画像として作成することを特徴とする画像作成装置。
【請求項７】
請求項１〜６のいずれか１に記載の画像作成装置において、
前記画像作成部が作成した前記代表画像を表示する表示装置を備えることを特徴とする画像作成装置。
【請求項８】
請求項１〜７のいずれか１に記載の画像作成装置において、
前記画像作成部が作成した代表画像を記録する記録装置を備えることを特徴とする画像作成装置。
【請求項９】
動画コンテンツを取得して、該動画コンテンツの代表画像を作成する画像作成方法であって、
複数の動画コンテンツ間の共通部分を探索する共通部分探索ステップと、
該共通部分探索ステップによって探索された共通部分以外の部分から、各動画コンテンツの代表画像を作成する代表画像作成ステップとを有することを特徴とする画像作成方法。
【請求項１０】
請求項１〜８のいずれか１に記載の画像作成装置の機能をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像作成装置、画像作成方法、及びプログラムに関し、より詳細には、動画コンテンツを取得して、その動画コンテンツの代表画像を作成して表示可能とする画像作成装置、画像作成方法、及びプログラムに関する。
【背景技術】
【０００２】
受信した放送番組やＢＤ（blu-ray Disc（登録商標））等の記録媒体や、インターネット等のネットワークから取得した動画コンテンツを再生して出力する機能を有する動画再生装置がある。このような動画再生装置では、例えば、取得した動画コンテンツに含まれる画像を静止画のサムネイルとして出力したり、動画サムネイル（サムネイルを動画により表示するもの）を生成して出力する処理が行われるものがある。
【０００３】
従来、動画コンテンツの静止画または動画をサムネイル画像にして表示させる場合、
その動画コンテンツの先頭付近の静止画、または動画の一部が使用されることが多い。しかしながら、単に動画コンテンツの先頭付近を抽出してサムネイルを生成するだけでは、その動画コンテンツの特徴を常に適切に反映したものにはなるとは限らない。このような問題に対する対策として、その動画コンテンツの特徴を適切に表したサムネイル画像を生成するための技術がいくつか提案されている。
【０００４】
例えば、特許文献１には、映像信号及び音声信号を多重化した動画像データの記録再生を行う際に、映像信号及び音声信号の両方の物理変化量から不要シーンを特定し、特定した不要シーン以外のシーンからサムネイルを作成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１２４２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、毎回同じオープニングが放送される所謂続きもの等の番組を複数の放送回分録画した場合を考える。この場合、録画した番組の先頭付近でサムネイルを作成すると、複数回分録画した番組のいずれの場合にも同じようなサムネイル画像になってしまう。またこのときに、動画サムネイルを作成したとしても、しばらくの間再生しないとどのような内容であるのかをユーザが把握することが難しい。このような放送番組は、放送回が異なる番組であっても登場人物が同じであったり、画像のシチュエーションが似通っており、ユーザとしては、何回目の放送でどのような内容であるかがピンポイントに分かるようなサムネイル画像であって欲しいという要望がある。
【０００７】
このような要望に応えるために、例えば、動画の先頭付近以外の画像を選択することが考えられる。しかしながら、例えば上記特許文献１のように不要シーンを特定し、不要シーン以外からサムネイルを作成する手法では、映像信号及び音声信号の物理変化量を計算して比較する必要があり、処理負荷が大きい。また、動画に含まれるＣＭの部分や変化の乏しい部分などは物理変化量によりある程度省くことができるが、番組の内容が濃く表されているオープニングの映像などは番組ごとにさまざまであり、物理変化量からはこのようなオープニング映像を削除することができないこともある。例えば、連続して放送される番組では、毎回共通のオープニング部分が放送されることも多く、異なる放送回の番組であってもサムネイルが共通となってしまい、ユーザが番組を区別することができなくなる、という課題が生じる。
【０００８】
本発明は、上述のごとき実情に鑑みてなされたもので、異なる動画コンテンツであるにもかかわらず共通の動画像が含まれる動画コンテンツであっても、互いに異なる動画の部分を抽出して代表画像を作成することにより、その代表画像から番組の内容を区別することができるようにした画像作成装置、画像作成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の第１の技術手段は、動画コンテンツを取得して該動画コンテンツの代表画像を作成する画像作成装置であって、複数の動画コンテンツ間の共通部分を探索する共通部分探索部と、該共通部分探索部によって探索された共通部分以外の部分から、各動画コンテンツの代表画像を作成する画像作成部を有することを特徴としたものである。
【００１０】
第２の技術手段は、第１の技術手段において、前記画像作成部が、前記動画コンテンツの画像データから前記代表画像とする画像データを選択し、もしくは前記動画コンテンツから前記代表画像を取得可能な動画再生情報を選択する代表画像選択部と、
該代表画像選択部が選択した画像データ、もしくは該代表画像選択部が選択した前記動画再生情報に基づいて前記動コンテンツから代表画像を取得することにより、所定の表示手段に表示可能な前記代表画像を作成する表示画像処理部とを有することを特徴としたものである。
【００１１】
第３の技術手段は、第１または第２の技術手段において、前記画像作成部は、前記共通部分の終了直後の画像を前記代表画像として作成することを特徴としたものである。
【００１２】
第４の技術手段は、第１または第２の技術手段において、前記画像作成部は、前記共通部分の開始直前の画像を前記代表画像として作成することを特徴としたものである。
【００１３】
第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記画像作成部は、少なくとも前記共通部分の一部を含む特定期間の画像を前記代表画像として作成することを特徴としたものである。
【００１４】
第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記画像作成部は、前記共通部分の終了から所定期間分後の画像、もしくは前記共通部分の開始から所定期間分前の画像を前記代表画像として作成することを特徴としたものである。
【００１５】
第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記画像作成部が作成した前記代表画像を表示する表示装置を備えることを特徴としたものである。
【００１６】
第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記画像作成部が作成した代表画像を記録する記録装置を備えることを特徴としたものである。
【００１７】
第９の技術手段は、動画コンテンツを取得して、該動画コンテンツの代表画像を作成する画像作成方法であって、複数の動画コンテンツ間の共通部分を探索する共通部分探索ステップと、該共通部分探索ステップによって探索された共通部分以外の部分から、各動画コンテンツの代表画像を作成する代表画像作成ステップとを有することを特徴としたものである。
【００１８】
第１０の技術手段は、第１〜第８のいずれか１の技術手段の画像作成装置の機能をコンピュータに実現させるためのプログラムである。
【発明の効果】
【００１９】
本発明によれば、異なる動画コンテンツであるにもかかわらず共通の動画像が含まれる動画コンテンツであっても、互いに異なる動画の部分を抽出して概評画像を作成することにより、その代表画像から番組の内容を区別することができるようにした画像作成装置、画像作成方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明による画像作成装置の実施形態の外観構成例を説明する図である。
【図２】図１の携帯電話端末におけるコンテンツ画像及びコンテンツ情報の表示例を説明するための図である。
【図３】本発明による画像作成装置の一実施形態における機能を説明するためのブロック図である。
【図４】本発明の実施形態に係る携帯電話端末の主要な処理の流れを説明するための図である。
【図５】図４における動画Ａの共通部分の特定処理〜特徴データの抽出処理（ステップＳ１〜Ｓ２）を更に詳しく説明するフローチャートである。
【図６】図４における動画Ａの共通部分の特定処理〜特徴データの抽出処理（ステップＳ１〜Ｓ２）の他の例を更に詳しく説明するフローチャートである。
【図７】図４における動画Ａの共通部分の特定処理〜特徴データの抽出処理（ステップＳ１〜Ｓ２）の他の例を更に詳しく説明するフローチャートである。
【図８】図４における動画Ｂの共通部分の探索処理（ステップＳ３）をさらに説明するフローチャートである。
【図９】代表画像の探索処理例を説明するための図である。
【図１０】本発明による画像作成装置の他の実施形態における機能を説明するためのブロック図である。
【発明を実施するための形態】
【００２１】
本発明に係る画像作成装置の実施形態では、オープニングなどの毎回共通する部分を持つ動画を動画再生装置で複数保持している場合、その共通部分を１つの動画データから特定し、その共通部分の特徴データを抽出する。そして、抽出した特徴データを使って他の動画の共通部分を検索する。そして共通部分以外から代表画像を選択する。選択した代表画像は、サムネイル表示に用いることができる。
【００２２】
例えば、動画Ａ、動画Ｂがあるときに、動画Ａから共通部分の特徴データを抽出し、共通部分以外の部分からサムネイルＡを作成し、抽出した特徴データを一旦保存しておく。動画Ｂに対しては、保存した特徴データ（動画Ａで除外した部分の特徴データ）から動画Ａで除外した部分と同じ特徴を持つＢの部分を探索し、その結果である動画Ｂでの共通部分以外の部分からサムネイルＢを作成する。こうして、動画Ａと動画Ｂとにおいて、共通部分以外の部分からサムネイル表示可能な代表画像を選択することができる。
【００２３】
以下、添付された図面を参照しながら、本発明に係る画像作成装置の実施形態をさらに具体的に説明する。以下の実施形態では、本発明に係る画像作成装置として携帯電話端末を適用した例を説明するが、本発明は、携帯電話端末に限定されることなく、記録媒体に蓄積した、あるいはインターネットやオンデマンドを利用してストリーミングで取得した動画コンテンツを再生して出力する機能を有する各種の動画再生装置に適用することができる。あるいは取得した動画コンテンツの代表画面を動画リストに使用したり、動画フォルダの内容表示等に使用したりするための各種の画像処理装置に適用することができる。
【００２４】
図１は、本発明による画像作成装置の実施形態の外観構成例を説明する図で、携帯電話端末として構成した画像作成装置の一例を示すものである。携帯電話端末１は、スピーカ１１、表示装置１２、タッチパネル１３、記憶装置１４、キー入力装置１５、マイク１６、及び放送受信用アンテナ１７等を備えている。
【００２５】
表示装置１２は、例えば、液晶表示パネル（ＬＣＤ）により構成された表示装置である。また、表示装置１２は携帯電話端末１に付属していてもよいが、出力端子を通じて出力した画像を表示する装置（液晶モニタ、ＴＶ画面等）でもよい。また、記憶装置１４は、携帯電話端末１の本体に内蔵された記憶装置であって、記憶媒体として内蔵のフラッシュメモリや、装脱可能なＳＤカード等を適用することができる。記憶装置１４の記憶媒体には、動画コンテンツのファイルを複数保存させることができる。
【００２６】
キー入力装置１５及びタッチパネル１３は、ユーザによる操作入力を行うための入力デバイスである。例えば、ユーザは、記憶装置１４で記憶した複数の動画コンテンツの情報を一覧表示させるための操作を行うことができる。
【００２７】
また、携帯電話端末１は、放送受信用アンテナ１７により放送波を受信し、選局・復調を行って表示装置１２及びスピーカ１１から出力させる機能を備える。なお携帯電話端末１では、放送波を受信して出力する機能は必須ではなく、この場合、放送波の受信機能に代えて、もしくは放送波の受信機能に加えて、ＢＤレコーダ等の録画機器で録画された動画コンテンツを入力して出力させる機能や、インターネットを通じてダウンロードした動画コンテンツを出力させる機能などを付与したものであってもよい。
【００２８】
図２は、図１の携帯電話端末におけるコンテンツ画像及びコンテンツ情報の表示例を説明するための図である。携帯電話端末１の表示装置１２には、携帯電話端末１で出力（表示・音声出力）が可能なコンテンツの一覧を表示させることができる。この例では、表示装置１２には、所定のユーザ操作に応じて動画コンテンツ一覧表示画面２１を表示させることができる。
【００２９】
動画コンテンツ一覧表示画面２１には、複数（この例では４つ）のコンテンツ画像表示部２２〜２５と、各コンテンツ画像表示部２２〜２５に対応したコンテンツ情報表示部２６〜２９が設定される。コンテンツ画像表示部２２〜２５には、記憶装置１４の記憶媒体に格納されている動画コンテンツ（ｖｉｄｅｏ１〜ｖｉｄｅｏ４）のサムネイル画像が表示される。コンテンツ画像表示部２２〜２５に表示させるサムネイル画像としては、各動画コンテンツに含まれる静止画像であってもよく、動画像のサムネイルであってもよい。この場合、コンテンツ画像表示部２２〜２５には、所謂続きものとして放送される同じ放送番組であっても、異なる放送回の番組であれば、互いに異なるサムネイル画像が表示される。
また、動画コンテンツ一覧表示画面２１には、コンテンツ画像表示部２２〜２５に対応して、その動画コンテンツのタイトル（ｔｉｔｌｅ）や、録画日や放送日などの日付（ｄａｔｅ）、及びその動画コンテンツに付与されたコメント（ｃｏｍｍｅｎｔ）などの情報が表示される。
【００３０】
図３は、本発明による画像作成装置の一実施形態における機能を説明するためのブロック図で、図１に示す携帯電話端末の構成例を示すものである。
携帯電話端末１は、表示装置１２、タッチパネル１３、記憶装置１４、及びキー入力装置１５を備え、さらに携帯電話端末１の各部を制御する制御部３０を備えている。制御部３０は、例えばＣＰＵ（Central Processing Unit）によってその機能が実現される。
記憶装置１４は、動画コンテンツを保存するための記憶媒体を含むもので、記憶媒体としては、上記のようにフラッシュメモリやＳＤカードなどを適用することができる。
【００３１】
制御部３０の入力装置インタフェイス３１は、キー入力装置１５及びタッチパネル１３とのインタフェイスを構成する。また、処理統括部３２は、動画コンテンツの通常再生及びサムネイル再生を行うときの一連の処理を統括する。
記憶装置Ｉ／Ｏインタフェイス３９は、記憶装置１４へのデータの読み書きを管理するインタフェイスで、動画像再生処理部３３、サムネイル再生処理部３４、特徴データ抽出部３５、共通部分特定部３６、共通部分探索部３７、及び代表画像選択部３８からのデータ読み出し要求に応じて、記憶装置１４から要求データを読み出して返信する。
メモリ４３は、各種データやプログラムを記憶する記憶手段であり、例えば、一般的に広く利用されているＤＲＡＭ（Dynamic Random Access Memory）等を使用することができる。
【００３２】
動画像再生処理部３３は、記憶装置１４に記録された動画コンテンツをデコード処理部４０に読み出し、読み出した動画コンテンツから順次動画像データを復号して表示画像処理部４４に送出させる制御を行う。
サムネイル再生処理部３４は、記憶装置１４に記録された動画コンテンツをデコード処理部４０によって読み出して復号し、代表画像選択部３８にて特定した箇所の静止画または動画データを表示画像処理部４４に送出させる制御を行う。
【００３３】
共通部分特定部３６は、複数回にわたって連続して放送される番組の動画コンテンツが複数録画されているときに、その複数の動画コンテンツのうちの１つから、共通部分の開始時刻と終了時刻を特定する。
特徴データ抽出部３５は、共通部分特定部３６で特定した共通部分の動画データから、特徴となるデータを抽出し、メモリ４３に一時保管、あるいは記憶装置１４に記憶する。
【００３４】
共通部分探索部３７は、特徴データ抽出部３５で取得した特徴となるデータを使用し、他の動画コンテンツとの共通部分を探索する。例えば、連続して放送される同じ番組で放送回の異なる番組同士の共通部分を探索する。
代表画像選択部３８は、共通部分特定部３６で特定した共通部分の開始時刻と終了時刻、及び共通部分探索部３７で探索した共通部分の開始時刻と終了時刻を使用して、動画コンテンツの共通部分以外の部分からサムネイル画像（静止画または動画）として表示可能な代表画像、あるいは代表画像を取得するための動画再生情報を選択する。動画再生情報とは、動画コンテンツから代表画像データを取得可能な情報であり、例えば、画像データのフレーム番号や、時刻情報を用いることができる。
【００３５】
デコード処理部４０は、一般的に利用されている動画データ及び音声データの復号処理部で、音声データの復号処理を行う音声処理部４１と、動画データの復号処理を行う動画像復号処理部４２とを有している。
表示画像処理部４４は、代表画像選択部３８で選択した画像データ、あるいは代表画像選択部３８で選択した動画再生情報を元に動画像再生処理部３３から受け取った画像データから代表画像を作成し、表示画面の更新を行う。上記の代表画像選択部３８及び表示画像処理部３８は、本発明の画像作成部に該当するブロックである。
【００３６】
次に上記のごとくの構成を備えた携帯電話端末１によるサムネイル画像の生成処理例を説明する。図４は、本発明の実施形態に係る携帯電話端末の主要な処理の流れを説明するための図である。ここで、携帯電話端末１には、同じ番組で異なる放送回に放送された２つの動画コンテンツ（動画Ａ、動画Ｂとする）を記憶装置１４に保持しているものとする。以降に説明する全ての処理例においても同様とする。
【００３７】
図４において、まず携帯電話端末１の共通部分特定部３６は、動画Ａにおける共通部分の特定を行い（ステップＳ１）、特徴データ抽出部３５は、特定した共通部分から特徴データを抽出する（ステップＳ２）。抽出した特徴データは、メモリ４３に一時保管、あるいは記憶装置１４に記憶される。
ここでいう共通部分とは、他の動画コンテンツ（例えば動画Ｂ）との共通部分を示すもので、最初に動画Ａに対して指定した共通部分と同じ動画データを動画Ｂから検索することで、動画Ａと動画Ｂとの共通部分を検索する。
【００３８】
動画Ａにおける共通部分を特定する方法（ステップＳ１）としては、
ａ）動画Ａを再生しながらユーザに共通部分の最初と最後を指定させる方法
ｂ）動画Ａの再生中にユーザが共通部分を早送りすることにより、早送りした部分の再生時刻から共通部分を特定する方法
ｃ）複数の動画から二つの動画Ａ，Ｂを比較し、一致率の高い箇所を共通部分として特定する方法、等を適宜用いることができる。
動画同士を比較することにより共通部分の特定を行う場合には、一致率の高い箇所の比較データをそのまま特徴データとして保存しておくことが可能である。
【００３９】
また、特徴データの抽出処理（ステップＳ２）では、ステップＳ１で特定した動画Ａの共通部分のなかから特徴データを抽出する。
特徴データとしては、一般に画像比較を行うことができるデータでよい。例えば、
ａ）共通部分の開始点・終了点の画像データそのもの
ｂ）上記画像データの輝度、色差データ
ｃ）Ｈ２６４で圧縮された動画の場合、共通部分の開始点・終了点前後のキーフレーム（Ｉピクチャ、ＩＤＲピクチャ等）の全部あるいは一部分（例えば、画面の中央部の１スライス分など）のデータ
ｄ）共通部分の再生時刻がいつも同じである場合は、開始点または終了点のどちらか片方の時刻のみの特徴データ
ｅ）音声データ
等を用いることができる。
【００４０】
次に、共通部分探索部３７は、ステップＳ２で抽出した動画Ａの共通部分の特徴データを使用して、動画Ｂの共通部分を探索する（ステップＳ３）。ここでは、ステップＳ２で抽出した動画Ａの特徴データと動画Ｂとを比較し、動画Ｂの共通部分を探索する。この動作は、同じ番組の動画コンテンツを複数保持している状態からスタートするので、例えば同じ番組の２回目以降の録画完了した際に自動で動作を開始させるなどの処理が考えられる。
【００４１】
次いで、代表画像選択部３８は、動画コンテンツ一覧表示画面２１（図２参照）に表示させる動画Ａのサムネイル画像として代表画像を選択する（ステップＳ４）。
ここでは、ステップＳ１及びステップＳ３で記録した動画Ａと動画Ｂの共通部分の時間データを使用して、基本的にはその共通部分以外の部分の画像データを選択する。この場合、
ａ）共通部分の終了直後のフレームの画像から代表画像を選択する
ｂ）共通部分の開始前のフレームの画像から代表画像を選択する、等の処理が基本である。
なお、代表画像の選択とは、上記のように、動画コンテンツの共通部分以外の部分からサムネイル画像（静止画または動画）として表示可能な代表画像を選択する処理、あるいは代表画像を取得するための動画再生情報を選択する処理を含む。
【００４２】
また、例えば、共通部分の最初または最後に、その放送回ごとのタイトルが付加されているような場合、その付加されているフレームの画像を代表画像に含ませた方がユーザが動画の内容をより把握しやすい場合も考えられる。その場合、
ｃ）代表画像は共通部分の一部を含ませて作成する
ことも可能である。
さらに、放送番組であれば、共通部分の前後にＣＭが放送されている場合も考えられる。このような場合には、ＣＭを代表画像として選択しないように、
ｄ）共通部分の終了から一定時間分経過したフレームの画像から代表画像を選択する、ことが考えられる。あるいは共通部分の一定時間前のフレームの画像から代表画像を選択するようにしてもよい。
【００４３】
代表画像選択部３８が代表画像を選択すると、選択したフレームの画像をサムネイル画像としてメモリ４３に保存し、サムネイル再生などの処理を行う（ステップＳ５）。ここでは、メモリ４３に保存したサムネイル画像は、動画コンテンツ一覧表示画面２１によりサムネイル表示を行うときに呼び出すことが可能である。また、代表画像として選択した画像のフレーム番号（何枚目か）、あるいはそのフレームの再生時刻をそれぞれ動画のメタデータに保存しておき、サムネイルの再生時にデコードする等の処理を行うようにしてもよい。
【００４４】
次に、上記図１のフローにおける個々の処理例をさらに具体的に説明する。
図５は、図４における動画Ａの共通部分の特定処理〜特徴データの抽出処理（ステップＳ１〜Ｓ２）を更に詳しく説明するフローチャートで、ユーザが指定した再生時刻から共通部分を特定する処理例を示すものである。ここではまず、複数保持している、もしくは複数保持する予定の同じ番組の１つ（動画Ａとする）をユーザが視聴しようとしたものとする（ステップＳ１１）。
【００４５】
携帯電話端末１の制御部３０は、動画Ａについて共通部分の特定を行うかどうかを判別する（ステップＳ１２）。ここでは、共通部分の特定処理を行うか否かを選択させるための表示を行う。例えば、「共通部分の特定を行いますか？」との表示を行い、ユーザに選択させる。
共通部分の特定を行わない場合には、処理を終了する。また、共通部分の特定を行う場合には、さらに共通部分の開始時と終了時を指定するようユーザに要求する（ステップＳ１３）。ここでは、例えば、「共通部分の開始と終了時にボタンを押してください」との表示を行う。
【００４６】
そして、携帯電話端末１では、動画像再生処理部３３によって動画Ａの再生を開始する（ステップＳ１４）。そして、ユーザが共通部分の動画の開始時及び終了時にそれぞれタッチパネル１３等の入力デバイスに対して所定の入力操作を行う（ステップＳ１５）。
特徴データ抽出部３５は、入力操作された開始時及び終了時の再生時刻を元に、共通部分を特定する（ステップＳ１６）。そして動画Ａの共通部分の再生時刻データを動画Ａのメタデータに記録し（ステップＳ１７）、特定した共通部分の特徴データをメモリ４３に記録する（ステップＳ１８）。
【００４７】
上記の例では、ステップＳ１１〜Ｓ１７が動画Ａの共通部分の特定処理（ステップＳ１）に相当し、ステップＳ１８が特徴データの抽出処理（ステップＳ２）に相当する。
【００４８】
図６は、図４における動画Ａの共通部分の特定処理〜特徴データの抽出処理（ステップＳ１〜Ｓ２）の他の例を更に詳しく説明するフローチャートで、ユーザが視聴動作から共通部分を特定する処理例を示すものである。ここではまず、複数保持している、もしくは複数保持する予定の同じ番組コンテンツの１つ（動画Ａとする）をユーザが視聴したものとする（ステップＳ２１）。
【００４９】
携帯電話端末１の制御部３０は、動画Ａについて共通部分の特定を行うか判別する（ステップＳ２２）。ここでは、共通部分の特定処理を行うか否かを選択させるための表示を行う。例えば、「共通部分の特定を行いますか？」との表示を行い、ユーザに選択させる。
共通部分の特定を行わない場合には、処理を終了する。また、共通部分の特定を行う場合には、さらにユーザに共通部分を早送りさせるようユーザに要求する。例えば、「共通部分は早送りしてください」との表示を行う。
【００５０】
そして、携帯電話端末１では、動画像再生処理部３３によって動画Ａの再生を開始する（ステップＳ２４）。そして、ユーザが共通部分の再生箇所で早送りを開始し、共通部分が終了したら早送りを停止する操作を行う（ステップＳ２５）。
特徴データ抽出部３５は、早送りを開始したときの再生時刻と、早送りを終了したときの再生時刻を元に、共通部分を特定する（ステップＳ２６）。そして動画Ａの共通分の再生時刻データを動画Ａのメタデータに記録し（ステップＳ２７）、特定した共通部分の特徴データをメモリ４３に記録する（ステップＳ２８）。
【００５１】
上記の例では、ステップＳ２１〜Ｓ２７が動画Ａの共通部分の特定処理（ステップＳ１）に相当し、ステップＳ２８が特徴データの抽出処理（ステップＳ２）に相当する。
【００５２】
図７は、図４における動画Ａの共通部分の特定処理〜特徴データの抽出処理（ステップＳ１〜Ｓ２）の他の例を更に詳しく説明するフローチャートで、同じ番組の動画データが２つ以上蓄積されたときに、自動で共通部分を特定する処理例を示すものである。ここではまず、携帯電話端末１に同じ番組の動画データが２つ以上（この例では動画Ａ、動画Ｂ）蓄積されたものとする（ステップＳ３１）。
【００５３】
携帯電話端末１の共通部分特定部３６は、動画Ａ、動画Ｂのそれぞれの動画データのうち、キーフレームのデータをデコードする（ステップＳ３２）。ここで言うデータとは、上記の特徴データ抽出部３５により抽出する特徴データの定義と同様の画像比較を行うことができるデータである。そしてデコードしたデータを比較し、一致率の高いフレームを検索する（ステップＳ３３）。ここで言う一致率とは、画像比較によって同じと判断されるかどうかを示す値であり、一致率が高ければ高いほど、比較した画像が同じシーンである可能性が高いということになる。そして、一致率の高いフレームが続く期間を共通部分として特定し、その時刻データを動画Ａ、動画Ｂのそれぞれのメタデータに記憶する（ステップＳ３４）。一致率が高いか否かの比較条件は適宜定めておくことができる。例えば、画像比較するデータを画素データそのもので行う場合を考える。まずキーフレーム間の対応する画素値同士を比較し、所定の閾値を使用して一致しているか否かを画素ごとに判別し、一致率が所定値以上であるときに一致率が高いもの、つまり同じシーンであると判別する、等の処理を行うことができる。ここでの一致率の検索処理は、例えば、上記の特徴データ抽出部３５により抽出する特徴データの定義と同様のデータを用いて実行する画像比較を指している。
そして最後に、共通部分としたキーフレームの最初と最後のフレームのデータを特徴データとし、メモリ４３に記録する（ステップＳ３５）。
【００５４】
上記の例では、ステップＳ３１〜Ｓ３４が動画Ａの共通部分の特定処理（ステップＳ１）に相当し、ステップＳ３５が特徴データの抽出処理（ステップＳ２）に相当する。
なお、本例の処理により動画Ａ，Ｂのみの共通部分を特定する場合には、図４のステップＳ３の検索処理は不要となる。つまり、一致率を判断する処理において、動画Ａの共通部分の特定と、動画Ｂの共通部分の探索とが同時に実行されるからである。動画Ａと動画Ｂから動画Ａの共通部分を特定し、その特徴データを使用して動画Ｂ以外の他の動画データを検索するときに、ステップＳ３の処理が必要となる。
【００５５】
次に、図４のステップＳ３の動画Ｂの共通部分の探索処理について更に説明する。
共通部分の探索処理では、動画Ａの共通部分の特徴データから、動画Ｂの共通部分を特定する。ここでは、ステップＳ２で取得した特徴データと、動画Ｂの動画データとを比較し、動画Ｂの共通部分を特定する。この動作の開始タイミングは、同じ番組を複数蓄積している状態からスタートするので、例えば同じ番組の２回目以降の録画が完了した際に自動で動作させる、などの処理が適用できる。
【００５６】
図８は、図４における動画Ｂの共通部分の探索処理（ステップＳ３）をさらに説明するフローチャートである。まず、携帯電話端末１の共通部分探索部３７は、動画Ａから抽出した特徴データをメモリ４３から読み出す（ステップＳ４１）。そして、共通部分探索部３７は、メモリ４３から読み出した特徴データと動画Ｂのデータとを比較し、一致率の高い箇所を動画Ｂの共通部分として特定する（ステップＳ４２）。特徴データと比較する動画Ｂのデータは、特徴データと同じ形態のデータであり、例えば、特徴データがＩＤＲピクチャの画像データであれば、動画ＢのＩＤＲピクチャデータをデコードして順次比較する。一致率が高いか否かの条件は適宜定めておくことができる。例えば、特徴データ同士の比較結果が所定の閾値以内であるときに一致しているものと判断することができる。そして、特定した動画Ｂの共通部分の開始時及び終了時の再生時刻データを動画Ｂのメタデータに記録する（ステップＳ４３）。
【００５７】
次に、図４のステップＳ４の代表画像の探索処理について更に説明する。ここでは、図４のステップＳ１で特定した動画Ａの共通部分、及びステップＳ３で探索した動画Ｂの共通部分のそれぞれの時間データを使用して、その共通部分以外の部分を選択し、代表画像とする。代表画像は、例えば図２の動画コンテンツ一覧表示画面でコンテンツ画像表示部２２〜２５に表示させるものであり、例えば同じ番組であって放送回が異なる番組のときに、同じ代表画像が選択されると、番組の区別がつかなくなる。このため、番組ごとに内容を把握できるように、共通部分以外から代表画像を選択できるようにする。
【００５８】
図９は、代表画像の探索処理例を説明するための図である。
図９（Ａ）の例では、動画Ａと動画Ｂの共通部分の開始画像をＳ、終了画像をＥとするとき、共通部分Ｓ〜Ｅの終了直後の画像を代表画像Ｒとして選択する。動画コンテンツ一覧表示画面２１のコンテンツ画像表示部２２〜２５に静止画像のサムネイルを用いる場合には、代表画像Ｒを表示させるが、動画サムネイルを用いる場合には、代表画像Ｒを動画サムネイルの開始位置とする。
【００５９】
また、図９（Ｂ）の例では、動画Ａと動画Ｂの共通部分Ｓ〜Ｅの開始前の画像を代表画像Ｒとして選択する。コンテンツ画像表示部に静止画像のサムネイルを用いる場合には、代表画像Ｒを表示させるが、動画サムネイルを用いる場合には、代表画像Ｒは、動画サムネイルの終了位置とする。例えば、共通部分とする放送番組のオープニング前に、今回の放送の内容が一部放送されている場合などでは、共通部分（この場合、オープニング）の開始直前の画像を代表画像Ｒとする方がよい。
【００６０】
図９（Ｃ）の例では、代表画像を動画サムネイルとして表示する場合において、動画Ａと動画Ｂの共通部分Ｓ〜Ｅの画像の少なくとも一部を代表画像に含ませるようにする。この例では、共通部分の開始画像Ｓを、代表画像とする動画サムネイルの終了画像Ｒｅに一致させるようにしている。つまり、共通部分の開始画像Ｓが動画サムネイルに含まれるようにしている。
例えば、動画Ａと動画Ｂを放送番組とするとき、その共通部分の最初あるいは最後に放送回ごとのタイトルが付加されているような場合、タイトルが付加されている画像を代表画像として含ませて選択した方が、ユーザがその動画の内容をより把握しやすい場合も考えられる。このような場合、動画サムネイルとして表示する代表画像には、共通部分の少なくとも一部を含ませて作成するとよい。
【００６１】
図９（Ｄ）の例では、動画Ａと動画Ｂの共通部分Ｓ〜Ｅの終了後、所定時間分経過した画像を代表画像Ｒとして選択する。例えば、共通部分の前後すぐの画像に、放送番組であればＣＭが放送される場合も考えられる。その場合は、共通部分の終了から一定時間分経過した画像を代表画像Ｒとして選択するようにしてもよい。この場合、静止画像のサムネイルを用いる場合には代表画像Ｒを表示させるが、動画サムネイルを用いる場合には、代表画像Ｒを動画サムネイルの開始位置とする。
また、共通部分の前にＣＭが放送される場合を考慮し、共通部分の開始から一定時間分前の画像を代表画像として選択するようにしてもよい。この場合、動画サムネイルを用いる場合には、代表画像を動画サムネイルの終了位置とする。
【００６２】
携帯電話端末１では、以上の図９（Ａ）から図９（Ｄ）の代表画像の選択処理のいずれかを使用する。このときのいずれの選択処理を使用するかは、ユーザによって決定させるようにしてもよく、あるいは、動画データからＣＭを検出するＣＭ自動検出機能を設けて、自動的に決定できるようにしてもよい。ＣＭを検出する機能としては、例えば、本編部がモノラルあるいは二か国語放送である場合に、ステレオ放送に音声が切替えられることでＣＭとして検出する手法や、画面の変化と音声レベルの変動によりＣＭを検出する手法等の従来公知の技術を適用することができる。
【００６３】
選択した代表画像は、サムネイル画像として記録装置１４に保存しておき、動画コンテンツ一覧表示画面２１等にてサムネイル表示を行う際に呼び出すことができる。また、選択した代表画像のフレームの番号（何枚目か）、あるいはそのフレームの再生時刻をそれぞれ動画のメタデータに保存しておき、サムネイル再生時にデコードするようにすることも可能である。
【００６４】
また、上記の処理により得られた共通部分や代表画像のデータを、サムネイル再生以外の形態で利用することもできる。例えば、特定された共通部分の再生時刻データを使用して、動画の通常再生時にその共通部分をスキップさせることができる。
また、選択した代表画像はサムネイル再生に使用するほか、ユーザが保持する動画リストに使用するなどの目的で他の媒体にコピーしたり、動画が格納されているフォルダの内容表示を行うためにフォルダの代表画像として使用することができる。あるいは、携帯電話端末が保持する動画アプリケーションと融合させ、携帯電話端末における待ち受け画面で代表画面をランダム再生させるようにしてもよい。さらに録画終了案内時に録画内容がわかるようなアプリケーションと融合させ、録画終了案内時に代表画面を再生させるようにしてもよい。
【００６５】
また、上記の処理中に得られた共通部分を特定する特徴データを記録装置１４に保存させておくことも可能である。これにより、次に同じ番組を録画した時に特徴データを抽出する必要がなく、また見終わった回の動画データを消してしまっていても、共通部分以外から代表画像を選択することが可能になる。
【００６６】
また、上記の実施例では画像比較で抽出した画像データのみを特徴データとしているが、特徴データに動画Ａの共通部分の開始、終了時刻データを付加しておき、動画Ｂ以降の共通部分探索を行う際に、その時刻データに近い箇所から画像比較を行うことで、共通部分探索のスピード向上を図ることもできる。
【００６７】
また、上記の実施例では、サムネイル表示する動画コンテンツの画像データは、記録装置１４に蓄積された動画データであったが、インターネットやオンデマンド放送を利用してストリーミングで配信される動画コンテンツであっても実施可能である。その場合の構成図を図１０に示す。
【００６８】
図１０は、本発明による画像作成装置の他の実施形態における機能を説明するためのブロック図で、携帯電話端末の他の構成例を示すものである。図１０において、図３と同様の機能を有する部分には、図３と同じ符号が付してある。
第２の表示画像処理部４５は、表示画像処理部４４と同様の機能を有するもので、代表画像データ選択部３８で選択した画像データ、あるいは代表画像選択部３８で選択した動画再生情報を元に動画再生処理部３３から受け取った画像データを選択し、記憶装置Ｉ／Ｏインタフェイス１６に出力する。記憶装置Ｉ／Ｏインタフェイス１６は、外部記憶装置とのインタフェイスを構成するもので、外部装置のへのデータの読み書きを管理する。ここでは、記憶装置Ｉ／Ｏインタフェイス１６は、表示画像処理部４４からのデータ読み書き要求に対して、外部記憶装置からのデータの読み出し、または外部記憶装置に対するデータの書き込み行う。
【００６９】
通信装置４６は、インターネットや携帯電話などの通信網を通じて動画コンテンツをストリーミング受信可能とする装置である。動画コンテンツは、例えば、インターネット上のストリーミングサーバー１７におかれているが、抽出した特徴データや探索した共通部分を特定するための時刻データ(開始、終了時刻)、代表画像の画像データや時刻データは一時的にはメモリ４３に記憶させる。また、一度サムネイル表示させた動画コンテンツに対して２度目以降すばやくサムネイル表示をさせる場合には、上記のデータを外部記憶装置に記憶させておく必要がある。
【００７０】
本発明の画像作成装置で動作するプログラムは、本発明に係る各手段（あるいは各手段の一部）の機能を実現するようにＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。このプログラムは、装置をユーザが使用する際に容易となるように、表示装置用のグラフィカルユーザインタフェース（ＧＵＩ）を備えるようにするとよい。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭに蓄積され、その後、各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。
【００７１】
また、読み出したプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
【００７２】
プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光記録媒体（例えば、ＢＤ（blu-ray Disc），ＤＶＤ，ＭＯ、ＭＤ、ＣＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等のいずれであってもよい。プログラムを市場に流通させる場合には、上記のような可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータからＰＣ等の情報処理装置に転送させるようにすることができる。
【符号の説明】
【００７３】
１…携帯電話端末、１１…スピーカ、１２…表示装置、１３…タッチパネル、１４…記憶装置、１５…キー入力装置、１６…マイク、１７…放送受信用アンテナ、２１…動画コンテンツ一覧表示画面、２２〜２５…コンテンツ画像表示部、２６…コンテンツ情報表示部、３０…制御部、３１…入力装置インタフェイス、３２…処理統括部、３３…動画像再生処理部、３４…サムネイル再生処理部、３５…特徴データ抽出部、３６…共通部分特定部、３７…共通部分探索部、３８…代表画像選択部、３９…記録装置Ｉ／Ｏインタフェイス、４０…デコード処理部、４１…音声処理部、４２…動画像復号処理部、４３…メモリ、４４…表示画像処理部。
【図１】
2011151605.tif 000003
【図２】
2011151605.tif 000004
【図３】
2011151605.tif 000005
【図４】
2011151605.tif 000006
【図５】
2011151605.tif 000007
【図６】
2011151605.tif 000008
【図７】
2011151605.tif 000009
【図８】
2011151605.tif 000010
【図９】
2011151605.tif 000011
【図１０】
2011151605.tif 000012