(57)【要約】【課題】コンテンツからシーンを抽出するためにシーンの分割位置を設定することができるようにする。【解決手段】選択されたコンテンツから映像や音声に関する特徴量を抽出し、その特徴量を用いて、またデフォルトで設定されているルールを適用して、コンテンツの分割位置が計算される。計算された分割位置がユーザに提示される。ユーザは、提示された分割位置のうち、自分の意図に合っている分割位置を確定し、自分の意図と合っていない分割位置は修正する。確定や修正が行われる毎にルールが修正され、その修正されたルールに基づき、再度分割位置が計算されユーザに提示される。このような処理が繰り返されることで、ユーザが意図する分割位置が設定できるルールに修正される。本発明は、コンテンツを記録する記録装置に適用できる。【選択図】図３
2009193286.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツから特徴量を抽出する抽出手段と、
前記抽出手段により抽出された前記特徴量を用いて、前記コンテンツを所定のルールに基づき分割する分割位置を計算する計算手段と、
前記計算手段により計算された前記分割位置を修正する修正手段と、
前記修正手段による修正結果を用いて、前記所定のルールを調整する調整手段と、
前記調整手段により調整された前記所定のルールに基づいて、分割位置を再計算する再計算手段と
を備える情報処理装置。
【請求項２】
前記所定のルールは、前記特徴量に対する重み付けに関するルールである
請求項１に記載の情報処理装置。
【請求項３】
前記抽出手段は、前記コンテンツの映像と音声を解析してそれぞれの特徴量を抽出し、
前記所定のルールは、前記映像を解析して抽出した特徴量と、前記音声を解析して抽出した特徴量に対するそれぞれの重み付けに関するルールである
請求項１に記載の情報処理装置。
【請求項４】
前記修正は、前記分割位置の移動、削除、追加、および確定のうちのいずれかであり、
前記調整手段は、前記修正が行われる毎に調整を行うか、または、複数回行われた後に調整を行う
請求項１に記載の情報処理装置。
【請求項５】
コンテンツから特徴量を抽出し、
抽出された前記特徴量を用いて、前記コンテンツを所定のルールに基づき分割する分割位置を計算し、
計算された前記分割位置を修正し、
その修正結果を用いて、前記所定のルールを調整し、
調整された前記所定のルールに基づいて、分割位置を再計算する
ステップを含む情報処理方法。
【請求項６】
コンテンツから特徴量を抽出し、
抽出された前記特徴量を用いて、前記コンテンツを所定のルールに基づき分割する分割位置を計算し、
計算された前記分割位置を修正し、
その修正結果を用いて、前記所定のルールを調整し、
調整された前記所定のルールに基づいて、分割位置を再計算する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項７】
請求項６に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、所定のコンテンツを複数のシーンに分割するときに、そのシーンの分割を的確に行えるようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、映像コンテンツを検索する場合、キーワードを指定して検索する方法、参照画像または参照映像を与えて一致する部分や類似する部分を含むものを検索する方法、色や動きの激しさなどの情報を指定して検索する方法などが用いられている。また、映像コンテンツ単位で検索する方法や、映像コンテンツを細分化したシーン単位で検索する方法なども提案されている。（例えば、特許文献１参照）
【特許文献１】特開２００４−２２７４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
映像解析技術の向上や、映像コンテンツに対するアノテーション（annotation）サービスの普及などにより、シーン単位でコンテンツに意味付けがなされることが多くなってきた。アノテーションサービスとは、例えば、インターネット上に氾濫するＷｅｂページやマルチメディアコンテンツを、単に視聴するだけでなく、高度に利用したいというユーザの欲求に対して、それらのコンテンツに対して何らかの情報を関連付けて、提供するサービスのことである。このようなアノテーションサービスが普及することにともない、ユーザの求める映像をシーン単位で探し出す手法の精度の向上が望まれる。そのためには、シーンを的確に抽出する必要がある。
【０００４】
また近年、ビデオカメラやビデオレコーダなどの録画機器が普及し、録画機器で撮影された映像や音声を編集するソフトウエアなども普及しつつある。録画機器や編集用ソフトウエアでは、記録されたコンテンツを複数のシーンに分割する機能を有するものがある。そのようなシーンを分割する機能は、例えば、ビデオカメラでの録画時に、一時停止された位置を、シーンの分割位置として設定する。しかしながら、録画時に一時停止した位置が、必ずしも、ユーザが意図する分割位置であり、意味的な区切りと一致している分割位置であるとは限らない。
【０００５】
また例えば、編集用ソフトウエアでは、コンテンツの映像や音声を解析することで、そのコンテンツの特徴を解析し、その解析結果に基づいて、シーンの分割位置を設定する。しかしながら、この場合も、設定された分割位置が、必ずしも、ユーザが意図する分割位置であり、意味的な区切りと一致している分割位置であるとは限らない。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、ユーザが意図する分割位置を、できる限りユーザの手を煩わすことなく設定できるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の情報処理装置は、コンテンツから特徴量を抽出する抽出手段と、前記抽出手段により抽出された前記特徴量を用いて、前記コンテンツを所定のルールに基づき分割する分割位置を計算する計算手段と、前記計算手段により計算された前記分割位置を修正する修正手段と、前記修正手段による修正結果を用いて、前記所定のルールを調整する調整手段と、前記調整手段により調整された前記所定のルールに基づいて、分割位置を再計算する再計算手段とを備える。
【０００８】
前記所定のルールは、前記特徴量に対する重み付けに関するルールであるようにすることができる。
【０００９】
前記抽出手段は、前記コンテンツの映像と音声を解析してそれぞれの特徴量を抽出し、前記所定のルールは、前記映像を解析して抽出した特徴量と、前記音声を解析して抽出した特徴量に対するそれぞれの重み付けに関するルールであるようにすることができる。
【００１０】
前記修正は、前記分割位置の移動、削除、追加、および確定のうちのいずれかであり、前記調整手段は、前記修正が行われる毎に調整を行うか、または、複数回行われた後に調整を行うようにすることができる。
【００１１】
本発明の一側面の情報処理方法は、コンテンツから特徴量を抽出し、抽出された前記特徴量を用いて、前記コンテンツを所定のルールに基づき分割する分割位置を計算し、計算された前記分割位置を修正し、その修正結果を用いて、前記所定のルールを調整し、調整された前記所定のルールに基づいて、分割位置を再計算するステップを含む。
【００１２】
本発明の一側面のプログラムは、コンテンツから特徴量を抽出し、抽出された前記特徴量を用いて、前記コンテンツを所定のルールに基づき分割する分割位置を計算し、計算された前記分割位置を修正し、その修正結果を用いて、前記所定のルールを調整し、調整された前記所定のルールに基づいて、分割位置を再計算するステップを含む処理をコンピュータに実行させる。
【００１３】
本発明の一側面の記録媒体は、前記プログラムが記録されている。
【００１４】
本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、デフォルトのルールで設定された、所定のコンテンツの分割位置が、ユーザにより加えられた編集に応じて、前記ルールが調整され再設定される。
【発明の効果】
【００１５】
本発明の一側面によれば、コンテンツを分割するとき、ユーザが意図する分割位置を設定できる。
【発明を実施するための最良の形態】
【００１６】
以下に、本発明の実施の形態について図面を参照して説明する。
【００１７】
図１は、本発明を適用した情報処理装置の一実施の形態の構成を示す図である。図１に示した情報処理装置は、パーソナルコンピュータなどで構成することができ、コンテンツを編集する装置に適用できるため、以下の説明においては、情報処理装置をパーソナルコンピュータで構成し、編集装置として利用するときを例として説明する。
【００１８】
図１は編集装置１１の構成例を示す図である。図１に示した編集装置１１において、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３は、バス２４により相互に接続されている。
【００１９】
バス２４には、さらに、入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７、ハードディスクや不揮発性のメモリなどよりなる記憶部２８、ネットワークインタフェースなどよりなる通信部２９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア３１を駆動するドライブ３０が接続されている。
【００２０】
図２は、編集装置１１の機能を示す図である。編集装置１１は、コンテンツ入力部５１、特徴量抽出部５２、コンテンツ記憶部５３、コンテンツ再生部５４、分割位置計算部５５、および分割位置編集部５６を含む構成とされている。
【００２１】
コンテンツ入力部５１は、外部の装置、例えば、ビデオカメラなどの録画機器で撮影されたコンテンツや、テレビジョン放送などの番組のコンテンツを取得し、編集装置１１内に取り込む。この場合、コンテンツ入力部５１は、入力部２６や通信部２９を含む構成とされる。またコンテンツ入力部５１は、リムーバブルメディア３１に記録されているコンテンツを読み出すドライブ３０で構成することも可能であり、リムーバブルメディア３１に記録されているコンテンツを読み出すことで、編集装置１１内にコンテンツを取り込む構成とすることも可能である。
【００２２】
特徴量抽出部５２は、コンテンツから特徴量を抽出し、コンテンツ記憶部５３に記憶させる。コンテンツ記憶部５３は、コンテンツと、そのコンテンツから抽出された特徴量を関連付けて記憶する。コンテンツ記憶部５３は、コンテンツを記憶するとき、コンテンツのデータそのものを記憶するようにしても良いし、コンテンツを特定するための情報のみを記憶するようにしても良い。
【００２３】
コンテンツ記憶部５３は、記憶部２８やＲＡＭ２３を含む構成とすることができ、コンテンツ入力部５１を介して入力されたコンテンツと、特徴量抽出部５２により抽出された特徴量を関連付けて記憶する。また、リムーバブルメディア３１を、コンテンツ記憶部５３として用いることも可能である。
【００２４】
コンテンツ再生部５４は、コンテンツ記憶部５３に記憶されているコンテンツを再生する。コンテンツ再生部５４により再生されたコンテンツの映像や音声は、図２では図示されていないディスプレイやスピーカ（図１の出力部２７）に出力されるとともに、分割位置編集部５６にも供給される。
【００２５】
分割位置計算部５５は、コンテンツ記憶部５３に記憶されているコンテンツを複数のシーンに分割するための分割位置（シーンの区切れとなる位置）を計算する。分割位置計算部５５は、コンテンツ記憶部５３に記憶されている、処理対象とされているコンテンツから抽出された特徴量を用いて分割位置を計算する。
【００２６】
分割位置編集部５６は、ユーザからの指示を受ける操作部（不図示）を含む構成とされ、分割位置の編集に係わる処理を実行する。分割位置計算部５５で設定された分割位置が、ユーザの意図する分割位置でない場合、その分割位置を編集できるように構成されており、このユーザからの編集を受付、処理する部分が、分割位置編集部５６である。
【００２７】
編集装置１１の編集処理について、図３のフローチャートを参照して説明する。ステップＳ１１において、処理対象とされるコンテンツが選択される。ステップＳ１２において、選択されたコンテンツから特徴量が既に抽出されているか否かが判断される。ステップＳ１２における判断は、例えば、コンテンツ記憶部５３に、処理対象とされたコンテンツの特徴量が記憶されているか否かを判断することで行われる。
【００２８】
ステップＳ１２において、処理対象とされたコンテンツから特徴量はまだ抽出されていないと判断された場合、ステップＳ１３に処理が進められ、特徴量が抽出される。すなわち、特徴量抽出部５２は、処理対象とされたコンテンツから特徴量を抽出する。この特徴量は、コンテンツの映像や音声が解析されることにより抽出される。抽出された特徴量は、コンテンツと関連付けられてコンテンツ記憶部５３に記憶される。
【００２９】
なお、ステップＳ１３における特徴量の抽出に関する処理は、コンテンツが選択されたときや、後段の分割位置が計算されるときなどに行われるようにしても良いが、それらの処理とは異なる時点で、例えば、コンテンツがコンテンツ記憶部５３に記憶され、その他の処理が行われていないとき、すなわち、処理能力に余裕があるときに、実行されるようにしても良い。
【００３０】
ステップＳ１２において、処理対象とされたコンテンツからは既に特徴量が抽出されていると判断された場合、または、ステップＳ１３において、特徴量が抽出された場合、ステップＳ１４において、分割位置を設定するための計算が行われる。この設定は、分割位置計算部５５が行う。分割位置計算部５５は、処理対象とされているコンテンツから抽出された特徴量を用いて分割位置を設定する。例えば、音声に関する特徴量を参照し、音声の強弱に変化があった位置を分割位置に設定したり、映像に関する特徴量を参照し、被写体の動きの激しさに変化があった位置を分割位置に設定したりする。
【００３１】
分割位置計算部５５は、分割位置を設定するとき、所定のルールを適用する。所定のルールとは、映像から判断される分割位置を重視するか、音声から判断される分割位置を重視するかといったことに関する重み付けのルールである。換言すれば、分割位置計算部５５は、映像からの特徴量と音声からの特徴量を用いて、分割位置を計算し、その計算時に、映像からの特徴量と音声からの特徴量にそれぞれ重み付けを行って、分割位置を計算する。
【００３２】
分割位置計算部５５は、処理対象とされているコンテンツに対して、分割位置を始めて設定する場合、デフォルトのルール（重み付け）を用いて計算を行う。デフォルトのルールを用いるのは、後述するように、ステップＳ１７において、ルールを変更し、再度分割位置の計算を行う場合があるためである。
【００３３】
ステップＳ１４において、分割位置計算部５５により、処理対象とされているコンテンツの分割位置が計算され、設定される。この設定された分割位置は、分割位置としての候補であり、最終的な設定は、ユーザからの指示を受けてからである。すなわち、編集装置１１は、分割位置計算部５５により設定された分割位置を、ユーザに提示し、ユーザが確認を行い、ユーザが確定することで、最終的な分割位置の設定を行うように構成されている。
【００３４】
分割位置編集部５６は、ユーザに、設定された分割位置（候補）を、例えば、出力部２７としてのディスプレイ（不図示）に表示し、ユーザのからの指示により、コンテンツ再生部５４で再生されるコンテンツもディスプレイ上に表示する。これは、ユーザが分割位置の前後の映像や音声を確認できるようにするためである。
【００３５】
ユーザは表示された分割位置としての候補を確認し、自分が意図した位置に分割位置が設定されていれば確定し、自分が意図した位置ではない分割位置が設定されていれば編集する。確定は、例えば、ディスプレイに表示されている画面に設けられている“確定”といったボタンが操作されることで、ユーザから指示され、分割位置編集部５６にその指示が供給されることで行われる。
【００３６】
編集には、分割位置の候補を、ユーザが意図する位置まで動かす編集、候補の削除、追加といった編集が含まれる。例えば、ディスプレイ上に表示された候補を、時間的に前後に移動できるような、例えば、スクロールバー形状の操作領域が設けられ、そのスクロールバーを操作することで、ユーザが、所望の位置に分割位置を移動できる（設定できる）ように構成されている。
【００３７】
また、ディスプレイ上に表示された候補を選択し、その選択した候補を削除するときに操作される“削除”といったボタンや、分割位置の候補を追加するときに操作される“追加”といったボタンも、ディスプレイ上に表示されている画面には設けられている。
【００３８】
ユーザがディスプレイ上に表示されている画面を参照しながら、分割位置の編集を行うと、その編集は、分割位置編集部５６により処理される。
【００３９】
ステップＳ１６において、編集があったか否かが判断される。編集はなかったと判断された場合、図３に示したフローチャートの処理は終了される。一方、ステップＳ１６において、編集があったと判断された場合、ステップＳ１７に処理が進められる。ステップＳ１７において、分割位置の設定ルールが修正される。
【００４０】
上記したように、分割位置の設定に関するルールは、映像や音声から抽出された特徴量に重み付けを行い、分割位置を設定するというルールであったが、その重み付けの値が修正される。例えば、ユーザが編集や確定した分割位置が、音声からの特徴量を映像からの特徴量よりも重み付けを強くした場合に設定される分割位置であると判断される（解析される）ときには、音声からの特徴量が映像からの特徴量よりも重み付けが強くなるようなルールに修正される。このように、ユーザにより確定された分割位置と、編集された分割位置（編集後確定された分割位置）の情報から、分割位置を設定するためのルールが修正される。
【００４１】
ステップＳ１７において、分割位置の設定ルールが修正されると、ステップＳ１４に処理が戻され、それ以降の処理が繰り返される。すなわち、修正されたルールに基づき、再度、分割位置が計算され、分割位置の候補が設定される。この再計算による設定される分割位置は、ユーザにより確定された分割位置は除外されるため、確定された分割位置が動いてしまうようなことはない。また、修正されたルールで再度、分割位置が設定されるため、前の時点で設定された（候補とされた）分割位置が、移動したり、削除されたりする場合もあるし、新たに追加される場合もある。
【００４２】
ステップＳ１４乃至Ｓ１７の処理が繰り返されることにより、ユーザの意図する分割位置の情報が複数取得され、その情報に基づきルールが複数回修正される。ユーザの意図を反映してルールの修正が行われるため、ルールが修正される毎に、ユーザの意図する分割位置を的確に計算できるルールに修正されることになる。よって、全ての分割位置をユーザが設定しなくても、全ての分割位置をユーザが意図した通りに設定することが可能となる。換言すれば、少しの分割位置を確定したり、修正したりするだけで、多くの分割位置は、ユーザの意図する分割位置に、ユーザの手を煩わせることなく設定することが可能となる。よって、ユーザの手間を確実に減らすことが可能となる。
【００４３】
このようにして設定されたルールは、次の時点で処理対象とされたコンテンツに対しても適用されるようにすれば、換言すれば、設定されたルール（修正されたルール）は、次のコンテンツの処理時に、デフォルトのルールとして適用されるようにすれば、学習されたルールを適用して分割位置を設定することが実現できる。そのデフォルトとされたルールは、ユーザの意図を反映したルールであるので、ユーザの手を煩わせることなく、分割位置を設定できるようになる。
【００４４】
このように、編集装置１１側だけで、シーン分割位置を計算するだけでなく、ユーザの意図と異なる分割位置をユーザが修正できるようにすることで、シーン分割に関するアルゴリズム（ルール）が、ユーザの編集意図を学習し、再度、分割位置の候補を提示することにより、より快適で知的な編集インタフェースが実現可能となる。
【００４５】
上述したように、分割位置が計算され、ユーザに提示され、ユーザにより適宜修正が加えられ、分割位置を計算するときのルールが調整されるが、このルールの調整は、ユーザにより、分割位置が１箇所修正される毎に行われるようにしても良いし、分割位置が複数修正される毎に行われるようにしても良い。また、その修正は、移動、削除、追加のみに限定されるようにしても良いし、確定という処理も含まれるようにしても良い。
【００４６】
上述したように、コンテンツから特徴量が抽出されるが、この特徴量の抽出に係わる処理は、ユーザによりコンテンツの分割位置の計算が指示されたときに行われるようにしても良いし、コンテンツが取得された時点、例えば、コンテンツ記憶部５３に記憶された時点で、ユーザの指示がなくても行われ、記憶されるようにしてもよい。
【００４７】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００４８】
例えば、図１に示したように構成される編集装置１１では、ＣＰＵ２１が、例えば、記憶部２８に記憶されているプログラムを、入出力インタフェース２５及びバス２４を介して、ＲＡＭ２３にロードして実行することにより、上述した一連の処理が行われる。
【００４９】
ＣＰＵ２１が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００５０】
そして、プログラムは、リムーバブルメディア３１をドライブ３０に装着することにより、入出力インタフェース２５を介して、記憶部２８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２９で受信し、記憶部２８にインストールすることができる。その他、プログラムは、ＲＯＭ２２や記憶部２８に、あらかじめインストールしておくことができる。
【００５１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００５２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００５３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明を適用した編集装置の一実施の形態の構成を示す図である。
【図２】編集装置の機能を示す図である。
【図３】編集装置の動作を説明するためのフローチャートである。
【符号の説明】
【００５５】
１１  編集装置，  ２１  ＣＰＵ，  ２２  ＲＯＭ，  ２３  ＲＡＭ，  ２４  バス，  ２５  入出力インタフェース，  ２６  入力部，  ２７  出力部，  ２８  記憶部，  ２９  通信部，  ３０  ドライブ，  ３１  リムーバブルメディア，  ５１  コンテンツ入力部，  ５２  特徴量抽出部，  ５３  コンテンツ記憶部，  ５４  コンテンツ再生部，  ５５  分割位置計算部，  ５６  分割位置編集部
【図１】
2009193286.tif 000003
【図２】
2009193286.tif 000004
【図３】
2009193286.tif 000005