(57)【要約】【課題】従来、コマーシャルカットなどの映像編集は、編集対象の映像に含まれているカットする区間あるいはカットしない区間を、ユーザが手動で１つの区間ごとに指定していた。しかし、ユーザは編集作業に、膨大な手間と時間を取られるという課題があった。【解決手段】視聴時にユーザが操作した内容を記録し、編集時に記録した操作内容を自動的に解析して、編集処理を実行することで、ユーザの視聴操作に沿った編集結果を得ることができる。さらに、映像データのシーン変化などの特徴量を利用して編集情報の補正を行うことで、より高精度の編集結果を得ることができる。さらに、過去の操作内容をテンプレートとして利用することで、未視聴の映像の編集に適用することができる。【選択図】図４
2006211191.tif 000002
【特許請求の範囲】
【請求項１】
映像の視聴時に、ユーザの視聴操作から生成される操作信号から操作内容を抽出する操作内容抽出ステップと、抽出した操作内容のデータを蓄積する操作内容蓄積ステップと、映像の編集時に、前記操作内容蓄積ステップで蓄積された操作内容のデータを解析することによって編集情報を生成する操作データ解析ステップと、前記操作データ解析ステップで生成された編集情報に基づき映像を編集する映像データ編集ステップを有する編集操作補助方法。
【請求項２】
映像の特徴量を抽出する映像特徴抽出ステップと、抽出した映像特徴情報を蓄積する映像特徴情報蓄積ステップと、映像の編集時に、前記映像特徴情報蓄積ステップで蓄積した映像特徴情報に基づいて、前記操作データ解析ステップで生成された編集情報の編集点を自動補正する編集情報補正ステップをさらに有する、請求項１に記載の編集操作補助方法。
【請求項３】
前記操作内容蓄積ステップで蓄積している操作内容のデータを利用して、選ばれた映像の保持する情報と比較し、蓄積している操作内容のデータから自動的に選択して、前記操作データ解析ステップでの編集情報の生成に利用する、操作内容自動選択ステップを、さらに備えたことを特徴とする請求項１または請求項２に記載の編集操作補助方法。
【請求項４】
請求項１から請求項３のいずれかに記載された方法によりデータを編集する編集操作補助装置。
【請求項５】
請求項１から請求項３のいずれかに記載された方法を含むコンピュータを動作させるプログラム。
【請求項６】
請求項５に記載されたプログラムを記録した媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の視聴操作の内容を記録することで、記録した操作の内容に基づいて、映像を編集することに対応した、映像編集に関するものである。
【背景技術】
【０００２】
従来、コマーシャルカットなどの映像編集は、操作を入力するステップと、編集点を入力するステップを備えることによって、編集時に、編集対象の映像に含まれている、カットする区間あるいはカットしない区間を、ユーザが手動で１つの区間ごとに指定していた。（例えば、特許文献１参照。）しかし、ハードディスクレコーダのような、長時間録画が可能な録画装置の登場によって、録画される映像データの量が増加し、ユーザは編集作業に、膨大な手間と時間を取られるという問題があった。さらに、ユーザの通常操作として、録画した映像データは一度視聴してから、気に入った映像データのみを編集して、DVDメディアなどに残すことが多く、映像データの視聴と編集の２度同じ映像を見ることになり、無駄が発生していた。さらに、視聴中にユーザが指定する編集点は、シーンの区切れ目など、ユーザが意図している目標とする編集点からずれていることが多く、誤差が含まれるため、意図している編集点に合わせるためには、映像フレームを１枚ずつ確認して、補正する必要があった。さらに、一度も視聴せず、編集点の情報を作成していない映像に対しては、編集点の情報が無いため、編集を行うことはできなかった。
【特許文献１】特開２００２−１１７６５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
解決しようとする課題は、コマーシャルカットなどの映像編集は、カットする区間あるいはカットしない区間を、ユーザが手動で１つの区間ごとに指定しなければならない点である。また、ユーザが指定した編集点には、誤差が含まれている点である。また、編集点を指定していない映像に対して、編集を自動的に行えない点である。
【課題を解決するための手段】
【０００４】
本発明は、映像の編集時において、ユーザの視聴時の操作内容の記録に基づき、自動的にカットする区間あるいはカットしない区間を特定することを最も主要な特徴とする。また、カットする区間あるいはカットしない区間の補正を自動的に行うことを最も主要な特徴とする。また、編集点の情報が無いときに、過去の操作内容のデータに基づき、自動的に編集を行うことを最も主要な特徴とする。
【発明の効果】
【０００５】
本発明の編集操作補助装置は、映像の視聴時に、例えばリモコンを使ってユーザが操作した視聴操作から送信される操作信号から操作内容を抽出する操作内容抽出手段と、抽出した操作内容のデータを蓄積する操作内容蓄積手段と、映像の編集時に、前記操作内容蓄積手段に蓄積された操作内容のデータを解析することによって、編集情報を自動的に生成する操作データ解析手段と、前記操作データ解析手段で生成された編集情報に基づき映像を編集する映像データ編集手段を備えることで、視聴時にユーザは視聴している映像を後で編集することを意識せずとも、編集時に、ユーザの操作内容に基づいた編集を自動的に行えるという利点がある。
【０００６】
また、映像の特徴量を抽出する映像特徴抽出手段と、抽出した映像特徴情報を蓄積する映像特徴情報蓄積手段と、映像の編集時に、前記映像特徴情報蓄積手段で蓄積した映像特徴情報に基づいて、編集情報の編集点を自動補正する編集情報補正手段をさらに備えることで、ユーザの操作内容に基づいて生成した編集情報を、シーンの変わり目のような、映像の変化点に変更することで、ユーザの操作の誤差を吸収して、ユーザの要望により適合した編集情報に補正することができるという利点がある。
【０００７】
また、前記操作内容蓄積手段で蓄積している操作内容のデータを利用して、選ばれた映像の保持する録画記録の情報と比較し、蓄積している操作内容のデータから自動的に選択して、前記操作データ解析手段の編集情報の生成に利用する、操作内容自動選択手段をさらに備えることで、ユーザがまだ視聴していない映像に対して、ユーザが編集点を入力することなく、編集することができるという利点がある。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照して説明する。
【０００９】
（実施の形態１）
図１は、本発明の実施の形態である編集操作補助装置の構成を示している。本実施形態である編集操作補助装置１１０は、入出力インターフェース部１１１、制御部１１２（操作内容抽出手段、操作データ解析手段、映像データ編集手段、編集情報補正手段、操作内容自動選択手段）、蓄積部１１３（操作内容蓄積手段）により構成されており、操作信号１０１及び出力信号１０２及びネットワーク１０３に接続されている。
【００１０】
入出力インターフェース部１１１は、例えば、TVのリモコン受信やキーボードやマウスやＴＶチューナ入力やネットワークインターフェースボードやコンポジット入出力端子やRGB入出力端子や１３９４入出力端子やUSB入出力端子のような入出力装置であり、操作信号１０１や出力信号１０２やネットワーク１０３の入出力信号と制御部１１２の信号を相互に交換する。
【００１１】
制御部１１２は、演算部１１２ａ、メモリー部１１２ｂにより構成されている。演算部１１２ａは、例えば中央演算装置（ＣＰＵ）のような演算装置であり、各種プログラムを実行するとともに、装置の各部の制御を行う。メモリー部１１２ｂは、例えば、半導体メモリーのような記憶装置であり、演算部１１２ａが実行するプログラムや処理の際に必要となるデータ等を格納している。尚、本構成では、演算部１１２ａ、メモリー部１１２ｂに分けて記載しているが、システムLSIのように２つの機能を備えていても、並列コンピュータのように、複数の演算部やメモリー部を備えていても構わない。
【００１２】
蓄積部１１３は、例えば、ハードディスクや半導体メモリーや光ディスクメディアや磁気メディアのような記憶装置であり、１つだけ備えていても、複数の記憶装置を併用して備えていても構わない。また、蓄積部１１３は、当該編集操作補助装置の、視聴及び編集対象となる映像データを蓄積したり、ユーザの視聴時の操作内容を蓄積したり、編集情報や編集結果の映像データを蓄積する。
【００１３】
尚、本実施の形態の構成では、１台の装置で視聴及び編集の動作を行っているが、例えば、携帯端末で視聴を行い、ホームサーバで編集を行うような、視聴と編集を別々の装置として、ネットワークあるいは記録媒体を介して、視聴時に蓄積された操作内容のデータを編集時に利用する構成であっても構わない。
【００１４】
次に、以上のように構成された実施の形態において、ユーザが映像の視聴を行うときに、ユーザの視聴操作の操作信号から操作内容を抽出し、蓄積部１１３に蓄積する動作を、フロー図２を用いて説明する。
【００１５】
ステップＳ２０１では、操作信号１０１から入力された操作信号を、入出力インターフェース部１１１を介して、制御部１１２内の演算部１１２ａによって検出し、検出した操作信号を演算部１１２ａにてメモリー部１１２ｂを使って、操作内容のデータに変換を行い、蓄積部１１３に蓄積する。
【００１６】
ステップS２０２では、ステップＳ２０１で検出した操作信号に基づき、蓄積部１１３に蓄積されている映像データを読み取り、操作信号に基づいて再生の制御を行い、入出力インターフェース部１１１を介して、映像の出力を行う。
【００１７】
ここで、操作信号とは、例えばTVのリモコンの操作によって生成される信号や、キーボードやマウスの操作によって生成される信号や、他の機器からＴＶのチューナ入力を介して送信される信号や、インターネットを介して送信されてくる再生操作の信号である。
【００１８】
また、操作内容のデータとは、図３のように、少なくとも、データパスなどの視聴対象の映像を特定するための情報と、再生や停止や早送りや巻き戻しや一時停止などの操作コマンドと、フレーム番号や時刻情報などの操作コマンドが実行されたときの映像の位置を特定する情報を含み、さらにユーザが番組を特定するための電子番組情報や録画時刻の情報を含んでいる。また、再生の制御とは、例えば再生や停止や早送りや巻き戻しや一時停止などの映像の再生に関連する操作に対する制御を意味する。
【００１９】
尚、本実施例では、ステップＳ２０１にて操作内容の蓄積を先に実施したが、ステップＳ２０１及びステップＳ２０２は独立して実施することができるため、ステップＳ２０２の再生の制御を先に実施しても、同様の効果を得ることができる。また、同時にステップＳ２０１およびステップＳ２０２を実施しても、同様の効果を得ることができる。
【００２０】
次に、ユーザが映像の編集を行うときに、蓄積部１１３に蓄積した操作内容データを使って、自動的に編集情報を生成し、編集処理を行う動作を、フロー図４を用いて説明する。ステップＳ４０１では、操作信号１０１から入力された編集開始の合図や映像ファイルの選択や編集範囲の指定などユーザからの編集に関する操作信号を、入出力インターフェース部１１１を介して、制御部１１２内の演算部１１２ａによって検出し、編集の対象となる映像に対応する操作内容データを、演算部１１２ａによって蓄積部１１３から読み出す。さらに、読み出した操作内容データを解析することにより、編集情報の生成を行う。ここで、編集情報の生成方法については、操作内容データを利用することで、さまざまな方法で生成することが考えられるが、操作内容と特定の編集ルールを比較することによって、例えば図５に示すように、再生コマンド開始点から別の操作コマンドまでの範囲を選択とし、再生が10秒以下の場合は除外とするというルールに基づくことで、映像データの選択する部分を編集情報として生成することができる。また、映像データの同じ箇所を何度再生したかを操作内容データから検索することで、再生回数の多いところを映像の重要点としてオープニングやタイトルなどの代表の映像として用いることも可能である。また、倍速再生などの速度調節を行った視聴の操作内容データであれば、再生速度の違いや変化により、重要度を算出して、編集情報へ反映することも可能である。
【００２１】
尚、視聴操作は、操作方法にユーザごとの個性が反映されるため、常に不要部分は早送りなどの視聴操作で、飛ばされるとは限らない。このため、コマーシャル検出機能など他の編集補助の機能と組み合わせることで、よりユーザの希望に合った編集結果を得ることも可能である。
【００２２】
ステップＳ４０２では、ステップＳ４０１で生成した編集情報に基づいて、カットやエフェクトなどの映像の編集の処理を行い、入出力インターフェース部１１１を介して、編集結果を出力信号として出力する。ここで、編集結果とは、元になる映像データから別の映像データを作成することや、映像のプレイリストのように、元になる映像の特定部分のみを再生あるいは特殊再生することである。また、特殊再生とは、スローや、エフェクト効果を付けたり、２つの映像を合成して、再生することである。尚、編集処理では、ユーザの期待通りの編集結果となっていることを確認することが、重要な要素であるので、一旦プレビューという形で、元になる映像を使って、特定部分のみの再生あるいは特殊再生を行い、ユーザの確認後に、別の映像データを作成するという手順を踏むことも可能である。また、出力信号とは、編集後の圧縮された映像データや、コンポジット形式やＲＧＢ形式などのＴＶ受信機やパーソナルコンピュータで表示可能な映像信号である。出力信号から、ＴＶ画面へ表示することや、ＤＶＤメディアへの記録を行うことが可能である。また、ネットワーク１０３を介して、他の機器へ編集結果や出力信号を送信することも可能である。
【００２３】
次に、編集対象となる映像の映像特徴情報を利用して、編集情報の編集点を自動的に補正する動作について、フロー図６を用いて説明する。ステップＳ６０１では、前記ステップＳ４０１と同様の動作を行い、編集情報を生成する。ステップＳ６０２では、編集対象となる映像の解析を行った映像特徴情報を、演算部１１２ａによって蓄積部１１３から読み出し、ステップＳ６０１で生成した編集情報の補正を行う。ここで、映像特徴情報とは、映像の画像フレームの前後差から取得するシーン変化量の情報や、映像の音声の音量変化から無音区間として推定した再生位置など、映像の特徴に関する解析情報である。また、映像特徴情報の作成するタイミングは、予め自動的に録画時や視聴時や編集前に検出を行って蓄積部１１３に蓄積することや、編集時に検出することや、ネットワーク１０３を介して別のサーバに蓄積されている映像特徴情報から取得することや、編集対象の映像データの動きベクトルなどの圧縮情報を利用することができる。
【００２４】
また、編集情報の補正とは、さまざまな補正方法が考えられるが、例えば、編集情報の開始点や終了点の特定範囲の付近に、解析情報の変化点の情報があれば、開始点や終了点を変化点に変更することで、映像に合わせた変化点に補正することが可能である。また、コマーシャルの可能性が高い区間に関しては、編集情報から除外することが可能である。また、映像の揺れが激しい箇所や、暗すぎる箇所に関しては、編集情報から除外することが可能である。尚、本実施の形態の例では、映像の特徴量の利用方法について述べているが、ユーザの癖を予め解析することで、操作内容に含まれているユーザ情報から、早送りの開始タイミングや、再生タイミングなどの、操作者の視聴操作の癖を含めた補正も、例えば、ユーザが一定の操作ボタンの遅延が行うことを設定しておくことで、遅延時間だけ、編集情報を変更するなどの補正も、同様の構成で実施することが可能である。
【００２５】
ステップＳ６０３では、前記ステップＳ４０２と同様の動作を行い、編集処理を行う。
【００２６】
次に、蓄積部１１３に蓄積している操作内容データを利用して、ユーザが未視聴の映像
データを編集する動作について、フロー図７を用いて説明する。
【００２７】
ステップＳ７０１では、操作信号１０１から入力された編集開始の合図や映像ファイルの選択や編集範囲の指定などユーザからの編集に関する操作信号を、入出力インターフェース部１１１を介して、制御部１１２内の演算部１１２ａによって検出し、編集の対象となる映像に対応する録画情報を、蓄積部１１３から取得する。また、蓄積部１１３に蓄積されている過去の操作内容データと、前記録画情報とを比較して、類似する操作内容データを選択する。ここで、録画情報とは、少なくとも録画の年月日時分を含む開始時刻と終了時刻とチャンネル番号を含んだ録画されたときの情報であり、録画時に映像データと一緒に蓄積部１１３に蓄積を行うもの、あるいは映像データの中に含まれるものである。
【００２８】
また、操作内容データの選択とは、例えば、同じチャンネルで且つ、同じ録画開始時分で且つ、同じ録画終了時分の操作内容データの中で、一番録画年日に近い操作内容データを選択することである。他にも、１週間単位で検索することで、同じ曜日の操作内容データを選択したり、同じ録画時間の長さの操作内容データを選択したり、録画情報として電子番組情報などの番組名が利用可能な場合は、同じ番組名の操作内容データを選択することが可能である。尚、類似の操作内容データが無い場合は、ユーザに類似の操作内容データがないことを促し、類似の操作内容データをユーザが直接指定することや、視聴を実施することが可能である。
【００２９】
ステップＳ７０２では、ステップＳ７０１で選択した操作内容データを、前記ステップＳ４０１にて視聴した操作内容データの代わりに利用することで、同様の動作を行い、編集情報を生成する。
【００３０】
ステップＳ７０３では、前記ステップＳ４０２と同様の動作を行い、編集処理を行う。
【００３１】
尚、本実施例では、操作内容データは、蓄積部１１３に蓄積されたものを検索しているが、ネットワーク１０３を介して、別の機器に蓄積されている操作内容データを検索しても同様の効果を得ることが可能である。また、前記ステップＳ２０１で取得した操作内容データを、ネットワーク１０３を介して、別の機器に予め蓄積しておくことで、他のユーザと操作内容データを共有することも可能である。尚、本実施例記載のネットワークは、インターネット、無線通信、赤外通信、ホームネットワーク通信などあらゆるネットワークを対象とする。
【産業上の利用可能性】
【００３２】
本発明にかかる編集情報補助装置は、視聴時の操作内容を利用することで、編集時にユーザが編集点を指定せずに、編集処理を行うことが可能になるので、映像編集および映像編集の補助等として有用である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１に於ける編集操作補助装置の構成を示した図
【図２】本発明の実施の形態１に於ける視聴時の編集操作補助装置の流れを示したフロー図
【図３】本発明の実施の形態１に於ける編集操作補助装置の操作内容データの例を示した図
【図４】本発明の実施の形態１に於ける編集時の編集操作補助装置の流れを示したフロー図
【図５】本発明の実施の形態１に於ける編集操作補助装置の編集情報の生成の例を示した図
【図６】本発明の実施の形態１に於ける編集時の補正処理を含む編集操作補助装置の流れを示したフロー図
【図７】本発明の実施の形態１に於ける未視聴映像に対する編集時の編集操作補助装置の流れを示したフロー図
【符号の説明】
【００３４】
１０１    操作信号
１０２    出力信号
１０３    ネットワーク
１１０    編集操作補助装置
１１１    入出力インターフェース部
１１２    制御部（操作内容抽出手段、操作データ解析手段、映像データ編集手段、編集情報補正手段、操作内容自動選択手段）
１１２ａ    演算部
１１２ｂ    メモリー部
１１３    蓄積部（操作内容蓄積手段）
【図１】
2006211191.tif 000003
【図２】
2006211191.tif 000004
【図３】
2006211191.tif 000005
【図４】
2006211191.tif 000006
【図５】
2006211191.tif 000007
【図６】
2006211191.tif 000008
【図７】
2006211191.tif 000009