(57)【要約】  【課題】  撮影した動画像の編集に要する時間を短縮し、かつ、鑑賞用にたえる編集動画像を提供する。  【解決手段】  撮影の際の電源のオン・オフのタイミング等を一区切りとする所定ブロック毎に、動画像情報を時間、画像、音声成分等に成分分けする手段、入力された編集条件に基づき、動画像情報をブロック毎、成分毎に認識し、編集条件に合ったブロックを検出する手段、該検出された各ブロックの成分を結合する手段を具備する。【選択図】        図１
2005039747.tif 000002
【特許請求の範囲】
【請求項１】
動画像情報の自動編集を行う装置であって、動画像情報を所定ブロック毎に成分分けする手段、入力された編集条件に基づき、前記動画像情報をブロック毎、成分毎に認識し、前記編集条件に合ったブロックを検出する手段、前記検出されたブロックの成分を結合する手段を具備することを特徴とする動画像編集装置。
【請求項２】
請求項１記載の動画像編集装置において、前記検出されたブロックのトータル時間が編集条件の所望時間より小さい場合、前記検出されたブロックの前後の少なくとも一方のブロックを抽出し、該抽出したブロックの成分と前記検出されたブロックの成分とを組み合わせることを特徴とする動画像編集装置。
【請求項３】
請求項１記載の動画像編集装置において、前記検出されたブロックのトータル時間が編集条件の所望時間より大きい場合、前記検出されたブロックの成分を一部間引いて残りの部分を結合することを特徴とする動画像編集装置。
【請求項４】
コンピュータを利用して、動画像情報の自動編集を行う方法であって、動画像情報を所定ブロック毎に成分分けするステップと、入力された編集条件に基づき、前記動画像情報をブロック毎、成分毎に認識し、前記編集条件に合ったブロックを検出するステップと、前記検出されたブロックの成分を結合するステップとを有することを特徴とする動画像編集方法。
【請求項５】
請求項４記載の動画像編集方法において、前記検出されたブロックのトータル時間が編集条件の所望時間より小さい場合、前記検出されたブロックの前後の少なくとも一方のブロックを抽出し、該抽出したブロックの成分と前記検出されたブロックの成分とを組み合わせることを特徴とする動画像編集方法。
【請求項６】
請求項４記載の動画像編集方法において、前記検出されたブロックのトータル時間が編集条件の所望時間より大きい場合、前記検出されたブロックの成分を一部間引いて残りの部分を結合することを特徴とする動画像編集方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の動画像編集方法において、編集条件が所望時間のみの場合、全ブロックのトータル時間が前記所望時間になるように、各ブロックを時間配分して成分を切り出し結合することを特徴とする動画像編集方法。
【請求項８】
請求項４乃至７のいずれか１項記載の動画像編集方法において、動画像情報には、撮影の際に電源のオン・オフのタイミングでタイムスタンプが付与されており、前記タイムスタンプに従い、前記動画像情報を前記撮影の際の電源のオン・オフのタイミングを一区切りとしてブロック分割することを特徴とする動画像編集方法。
【請求項９】
請求項４乃至８記載の動画像編集方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項４乃至８記載の動画像編集方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の自動編集に係り、詳しくは、動画像の編集時間の短縮を可能にする動画像編集装置及び方法、そのプログラム並びにプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
動画像の編集作業は、通常、撮影した画像を丹念に見て、そこから必要箇所を選んで編集するため、長時間がかかるものである。しかしながら、多くの場合、長時間を費やした割りには、希望の時間に短かかったり長かったりして、何度も編集作業の繰り返しが必要になり、結局、時間をかけた割には満足するものが得られないなどの理由で、編集自体、煩わしい作業になりがちである。
【０００３】
動画像の自動編集に関連する従来技術としては、例えば、動画コンテンツを各シーン毎に分割して、各シーン毎の代表静止画を選択し、さらには各シーン毎の音声を抽出して編集することで、動画コンテンツの簡便な検索を可能とするものがあるが（例えば、特許文献１）、動画コンテンツが膨大の場合など、長時間かかる編集時間を短縮することができない。また、各シーン毎の代表静止画を編集したサムネイル画像では、観賞にたえないことにもなりかねない。
【特許文献１】特開２００２−３３５４７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上述のような課題を解決するものであり、撮影した動画像の編集に要する時間の短縮を実現することを目的とする。さらに、本発明は、十分観賞にたえうる編集動画像を提供でき、また、個人用のカスタマイズしたマイビデオ等の作製を可能とすることにある。
【課題を解決するための手段】
【０００５】
本発明では、動画像情報を所定ブロック毎に、時間、画像、音声成分などに成分分けし、入力された編集条件に基づき、動画像情報をブロック毎、成分毎に認識し、編集条件に合ったブロックを検出し、該検出された各ブロックの成分を結合して、動画像情報を自動編集する。動画像情報には、撮影の際に電源のオン・オフのタイミングでタイムスタンプかせ付与されている。本発明では、このタイムスタンプを利用し、動画像情報を、撮影の際の電源のオン・オフのタイミングを一区切りとしてブロック分割する。
【発明の効果】
【０００６】
通常、観賞にたえるものにするためには、撮影した動画像の編集作業には長時間を有すが、本発明により、これを短縮することが可能になる。また、本発明では、編集された動画像は、撮影している時点で発生する電源のオンオフ時等を一区切り（ブロック）とする。いくつかのブロックのつなぎ合わせからなるため、十分鑑賞にたえられる。
【０００７】
なお、画面の切り替え時などに効果をいれたい場合は、一旦、本発明により作成したものに、効果を入れればよい。テロップのようなものであれば、音声認識や文字認識で用いたテキストを利用してもよい。また、本発明を利用することにより、１回の撮影した動画像を個人用にカスタマイズしてマイビデオを作製することが可能になる。例えば、学校の運動会の様子を撮影した１本のフイルムから、Ｂ子さんのスポットもいれたマイビデオを作り、さらに、同じフイルムをもとに、Ｃ男さんのスポットをいれたマイビデオができるなど、個人専用の撮影部隊や機材を必要とすることなく、コスト削減したマイビデオの作製が可能になる。
【発明を実施するための最良の形態】
【０００８】
以下に、図面を用いて、本発明の実施の形態を説明する。
【実施例１】
【０００９】
図１は、本発明の動画像編集装置の一実施例を示すシステム構成図である。本システムは動画像情報等蓄積データベース１０、編集要件情報蓄積部２０、処理制御部３０、画像認識処理部４０、音声認識処理部５０及び編集動画像等蓄積データベース６０からなる。実際には、本システムはコンピュータシステムを用いて実現される。動画像情報等蓄積データベース１０は、編集対象の撮影した動画像情報（原動画像情報）を蓄積する原動画像情報蓄積部１１、原動画像情報の時間、画像、音声の各成分をそれぞれブロック（カット）単位に蓄積する時間情報蓄積部１３、画像情報蓄積部１４、音声情報蓄積部１５、及び、これらブロック（カット）毎の時間、画像、音声のインデックス情報を保持するインデックス情報蓄積部１２からなる。編集要件情報蓄積部２０は利用者（ユーザ）のための編集要件情報を保持する。処理制御部３０はＣＰＵ（中央処理装置）であり、各部の動作を制御するとともに動画像の編集処理を実行する。画像認識処理部４０は編集条件に応じて特定人物等の画像を認識する処理ユニット、音声認識処理部５０は同じく編集条件に応じて特定人物等の音声を認識する処理ユニットである。これら画像認識処理部４０及び音声認識処理部５０は既存のものでよく、また、処理制御部３０がその機能を兼ねてもよい。編集動画像等蓄積データベース６０は編集結果の動画像情報等を蓄積する。なお、本システムは、スタンドアロン型でも、あるいはネットワーク上に設置されて多数の利用者で共用してもよい。
【００１０】
図２は本システムの全体的処理フロー図である。以下に、図２にしたがって本システムの動作例を詳しく説明する。
【００１１】
利用者は、編集要件情報蓄積部２０内の編集要件情報を参照して、システムが動画像情報を自動編集する際の条件（特定人物や物など、ターゲット／中心にすえたいもの、希望できあがり時間など）を入力し、編集作業を指示する（ステップ１０１）。例えば、利用者は「Ａさんが写っており、しゃべっている場面を中心に、１０分間のビデオを作成したい」などの条件を入力する。Ａさんと認識する参照物は、撮影した画像、音声、もしくは、テキスト（名札など）の一部から示してもよいし、あらかじめ用意したＡさんの画像や音声、テキストなどを用いてもよい。
【００１２】
図３は、編集要件情報蓄積部２０内の編集要件情報の一例である。例えば、編集したいターゲットとしては、人物、物体（建物、風景、物質など）、音声（人の声、雰囲気の中にある音）、テキスト（文字情報）などがあるが、これらは、撮影した映像の中から参照物として取ってくるのもよいし、そうでなくてもよい。後者の場合、人物や物体やテキストを抽出するために、実物でも写真等の画像でも音声でもよく、音声の場合は、直に発話したものを利用するという意で実物が考えられる。時間は、編集後動画像の希望できあがり時間（以下、希望時間）である。なお、利用者は、希望する編集条件を直接入力することでもよい。
【００１３】
処理制御部３０は、画像認識処理部４０および音声認識処理部５０と協力して、指示された編集条件に従って編集作業を開始する。
【００１４】
まず、処理制御部３０では、動画像情報等蓄積データベース１０の原動画像情報蓄積部１１から編集対象の動画像情報（原動画像情報）を読み込み、所定ブロック（以下、カット）毎に、それぞれ時間、画像、音声の各成分を分割し、それぞれ時間情報蓄積部１３、画像情報蓄積部１４、音声情報蓄積部１５に保持する（ステップ１０２）。この時、カット毎、に分割された時間、画像、音声の各成分のインデックス情報はインデックス情報蓄積部１２に保存しておく。
【００１５】
図４は、処理制御部３０での時間、画像、音声成分の分割処理の様子を示した図である。一般に動画情報には、撮影の際、電源のオン／オフのタイミングでタイムスタンプが付されている。この電源のオン／オフのタイミングを一区切り（カット）として、時間、画像、音声の各成分を分割する。また、カット毎に、その画像、音声の成分ファイルに番号（ファイル番号）をつける。ファイル番号はカット順にインクリメントする。このように分割された時間、画像、音声の各成分が、それぞれ時間情報蓄積部１３、画像情報蓄積部１４、音声情報蓄積部１５に保持されることになる。
【００１６】
図５は、インデックス情報蓄積部１２内のインデックス情報の一例を示した図である。インデックス情報は、上記のように分割された時間、画像、音声の各成分をカット毎に整理して、一覧してわかるようにまとめたものである。情報の種類としては、カット（ブロク）番号、各カットの開始時間、各カットの所要時間、画像ファイル番号、音声ファイル番号などからなり、カット毎にそれぞれのデータの関連が一覧できる。
【００１７】
次に、処理制御部３０は、画像認識処理部４０と音声認識処理部５０に編集条件を送り、画像認識、音声認識を指示する。画像認識処理部４０と音声認識処理部５０は、処理制御部３０を介して、動画像情報等蓄積データベース１０の画像情報蓄積部１４、音声情報蓄積部１５からそれぞれ画像情報や音声情報を読み込み、編集条件にもとづき、各カット毎すなわち分割された画像、音声の成分ファイル毎に、例えば、形態分析による画像認識や声紋による音声認識を行いう（ステップ１０３）。この認識の結果、画像認識処理部４０は、目的の画像が一つあるいは複数のカットに認識できた場合、そのカットのファイル番号を処理制御部３０に通知し、いずれのカットにも目的の画像が認識できなかった場合には、その旨を通知する。同様に音声認識処理部５０でも、目的の音声が認識できた場合は、そのカットのファイル番号を、又、いずれのカットにも目的の音声が認識できなかった場合はその旨を、処理制御部３０に通知する。
【００１８】
処理制御部３０では、画像認識処理部４０及び音声認識処理部５０からの認識結果をチエックし（ステップ１０４）、いずれのカットにも目的とする画像や音声が認識できなかった場合（すなわち、編集条件に合致する画像や音声が含まれるカットが一つもなかった場合）、その旨のメッセージ等を利用者に出力して、処理を終了とする。
【００１９】
一方、目的とする画像や音声の認識できたカットが一つあるいは複数存在した場合、処理制御部３０では、動画像情報等蓄積データベース１０のインデックス情報蓄積部１２を参照して、当該カットのトータルの時間を計算する（ステップ１０５）。そして、編集条件で指示された希望時間（Ａ）と該トータルの時間（Ｂ）を比較し（ステップ１０６）、その大小関係に応じて、例えば、以下のように編集処理を場合分けする。
【００２０】
希望する時間（Ａ）とトータルの時間（Ｂ）がほぼ等しい場合には、動画像情報等蓄積データベース１０の画像情報蓄積部１４および音声情報蓄積部１５からそれぞれ、目的の画像や音声の認識できたカットのファイル番号の画像ファイル、音声ファイルを読出し、ファイル番号順に画像と音声部分を結合することで、希望する時間（Ａ）の動画像を編集する（ステップ１０７）。
【００２１】
また、希望する時間（Ａ）よりトータルの時間（Ｂ）が小さい場合には、まず、動画像情報等蓄積データベース１０のインデックス情報蓄積部１２を参照して、目的の画像や音声が認識できたカットの前及び／又は後のカットを選択する。次に、動画像情報等蓄積データベース１０の画像情報蓄積部１４および音声情報蓄積部１５からそれぞれ、目的の画像や音声の認識できたカット及びその前後等の上記選択されたカットの各ファイル番号の画像ファイル、音声ファイルを読み出す。そして、目的の画像音声が認識できたカットの前及び／又は後の各カットについて、例えば、（Ａ−Ｂ）時間を均等に分配して、それぞれ一部の画像音声を抽出し、これら抽出した画像音声と目的の画像音声が認識できたカットの画像音声とをファイル番号順に結合して、全体として希望の時間（Ａ）となる動画像を編集する(ステップ１０８)。
【００２２】
例えば、５カットに、トータル５分間の目的とする画像、音声が撮影、記録された場面があったという解析結果が得られたとする。編集条件の希望時間が１０分のビデオ作成であった場合、認識された５分間の画像音声部分に加え、例えば、残り時間の５分を単純に分配し、上記５カットの前後に、それぞれ３０秒の画像及び音声をつけたし、こま切れの１０カットを作る。このこま切れの１０カットの画像信号を切り出し、目的（例えば、Ａさん）の画像音声が撮影、記録された場面のある５カットと結合することで、編集の条件どおり、Ａさんが写っており、しゃべっている場面を中心に全編１０分間のビデオが作成される。
【００２３】
また、希望する時間（Ａ）よりトータルの時間（Ｂ）が大の場合には、動画像情報等蓄積データベース１０の画像情報蓄積部１４及び音声情報蓄積部１５からそれぞれ、目的の画像や音声の認識されたカットのファイル番号の画像ファイル、音声ファイルを読み出す。そして、これら各カットについて、例えば、（Ｂ−Ａ）の時間を均等に分配して、それぞれ一部の画像音声を間引き、残りをファイル番号順に結合して、全体として希望の時間（Ａ）となる動画像とする（ステップ１０９）。
【００２４】
最後に、処理制御部３０は、上記のようにして編集された動画像を編集動画像等蓄積データベース６０に出力する（ステップ１１０）。
【００２５】
なお、上記編集処理において、取り出すべき画像や音声、または、テキストなどに条件がなく、できあがり時間にのみ条件がある場合などでは、希望できあがり時間（希望時間）を全カット数で割り、その数の時間だけそれぞれのカットから切り出すことでもよい。また、もちろん、均等に時間配分するのでなく、各カットの所要時間をもとに、その比に合わせて時間を配分するという方法を用いてもよい。
【００２６】
以上、本発明の一実施例を説明したが、図１で示したシステムにおける各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【図面の簡単な説明】
【００２７】
【図１】本発明の動画像編集装置の一実施例のシステム構成図である。
【図２】本発明における処理フローチャートの一例である。
【図３】編集要件情報の一例である。
【図４】時間、画像、音声成分の分割の様子を示す図である。
【図５】インデックスデータの一例を示す図である。
【符号の説明】
【００２８】
１０  動画像情報等蓄積データベース
１１  原動画像情報蓄積部
１２  インデックス情報蓄積部
１３  時間情報蓄積部
１４  画像情報蓄積部
１５  音声情報蓄積部
２０  編集要件情報蓄積部
３０  処理制御部
４０  画像認識処理部
５０  音声認識処理部
６０  編集動画像等蓄積データベース
【図１】
2005039747.tif 000003
【図２】
2005039747.tif 000004
【図３】
2005039747.tif 000005
【図４】
2005039747.tif 000006
【図５】
2005039747.tif 000007