(57)【特許請求の範囲】
【請求項１】
時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する情報処理装置であって、
第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、
前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段と、
前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段と、
前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段と
を備え、
前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、
前記特定された前記蓄積量が、予め設定された閾値を超える場合、
前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、
前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、
前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される
情報処理装置。
【請求項２】
前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高い場合、
前記変化情報検出手段は、前記付随情報検出手段が、単位時間あたりに、前記付随情報を検出するために前記蓄積手段から読み出す前記変化情報の量より多い前記変化情報を検出して前記蓄積手段に蓄積させる
請求項１に記載の情報処理装置。
【請求項３】
蓄積量特定手段は、前記蓄積手段に蓄積されている前記特徴量変化情報の量と、予め設定された閾値とを比較して前記蓄積量を特定する
請求項１に記載の情報処理装置。
【請求項４】
蓄積量特定手段は、現在前記蓄積手段に蓄積されている前記特徴量変化情報の量と、所定の時間だけ前に、前記蓄積手段に蓄積されていた前記特徴量変化情報の量とを比較して前記蓄積量を特定する
請求項１に記載の情報処理装置。
【請求項５】
前記時間的に連続する情報は、動画または音声の情報であり、前記動画または音声のメタデータとして前記付随情報を検出する
請求項１に記載の情報処理装置。
【請求項６】
時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する情報処理装置のであって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段とを有し、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出する情報処理装置の情報処理方法において、
前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定し、
前記特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報
検出手段の処理の優先度を決定するステップを含み、
前記特定された前記蓄積量が、予め設定された閾値を超える場合、
前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、
前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、
前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される
情報処理方法。
【請求項７】
時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する処理をコンピュータに行わせるプログラムであって、
コンピュータを、
第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、
前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段と、
前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段と、
前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段と
を備え、
前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、
前記特定された前記蓄積量が、予め設定された閾値を超える場合、
前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、
前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、
前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される情報処理装置として機能させる
プログラム。
【請求項８】
請求項７に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、各種の電子機器において効率的に、所望のデータを抽出することができるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、例えば、HDD（Hard Disk Drive）レコーダの普及などに伴って、大量のコンテンツを録画することが容易になってきている。また、大量に録画されたコンテンツを再生するとき、ユーザが効率的に視聴できるように、例えば、コンテンツの中で予め設定された条件に合致するシーンなどを特定するためのメタデータを検出することも行われている。
【０００３】
例えば、放送されたコンテンツのデータなど、時間的に連続するデータからのメタデータの抽出処理においては、入力されたデータから検出される所定の特徴量などの、時間軸上での変化を検出することが重要となる。例えば、メタデータを抽出するための検出器が、時間軸上で過去のデータを参照して、現在入力されているデータから検出される所定の特徴量などと比較する必要があり、時間的に連続するデータを所定の時間分だけ蓄積するバッファなどが必要となる。
【０００４】
また、表示素子に、画像の全体的な流れを示す複数のスリット状の画像からなる静止画像が表示されると共に、その静止画像を構成する各スリット状の画像にそれぞれ対応させて当該各スリット状の画像に対応する音声データの概要、例えばレベル、種類等が視覚的に表示され、画像および音声の全体的な流れを精度よく認識可能となり、編集作業等を一層効率よく行うことができるようにする技術も提案されている。
【０００５】
【特許文献１】特許第３１５８２９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、過去のデータを参照して、現在入力されているデータから検出される所定の特徴量などと比較する構成の場合、比較の対象となるデータが所定の時間分だけ蓄積されなければ、特徴量の比較の処理を行うことができず、例えば、蓄積に伴う処理の遅延などが発生し、効率的に処理を実行させることが困難となる。
【０００７】
また、例えば、特徴量を検出してメタデータを抽出する処理などは、従来、HDDレコーダなどのいわゆるAV（audio-visual）家電製品に実装される機能として開発が行われてきたが、近年は、画像の録画再生機能を有するパーソナルコンピュータ、ゲーム機なども普及しており、メタデータを抽出する機能を、各種の電子機器への移植する必要性が高まっているが、チューニングの手間が多大なものになってしまう。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、各種の電子機器において効率的に、所望のデータを抽出することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する情報処理装置であって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段と、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段と、前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段とを備え、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される情報処理装置である。
【００１１】
前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高い場合、前記変化情報検出手段は、前記付随情報検出手段が、単位時間あたりに、前記付随情報を検出するために前記蓄積手段から読み出す前記変化情報の量より多い前記変化情報を検出して前記蓄積手段に蓄積させるようにすることができる。
【００１２】
蓄積量特定手段は、前記蓄積手段に蓄積されている前記特徴量変化情報の量と、予め設定された閾値とを比較して前記蓄積量を特定するようにすることができる。
【００１３】
蓄積量特定手段は、現在前記蓄積手段に蓄積されている前記特徴量変化情報の量と、所定の時間だけ前に、前記蓄積手段に蓄積されていた前記特徴量変化情報の量とを比較して前記蓄積量を特定するようにすることができる。
【００１４】
前記時間的に連続する情報は、動画または音声の情報であり、前記動画または音声のメタデータとして前記付随情報を検出するようにすることができる。
【００１５】
本発明の一側面は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する情報処理装置のであって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段とを有し、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出する情報処理装置の情報処理方法において、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定し、前記特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定するステップを含み、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される情報処理方法である。
【００１６】
本発明の一側面は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報を検出する処理をコンピュータに行わせるプログラムであって、コンピュータを、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報を検出する変化情報検出手段と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段と、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段と、前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段とを備え、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される情報処理装置として機能させるプログラムである。
【００１７】
本発明の一側面においては、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報が検出され、前記変化情報検出手段から出力された前記特徴量変化情報が、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積され、蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報が検出され、蓄積された特徴量変化情報の蓄積量が特定され、特定された前記蓄積量に基づいて、前記変化情報検出の処理と、前記付随情報検出の処理の優先度が決定される。また、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される。
【発明の効果】
【００１８】
本発明によれば、各種の電子機器において効率的に、所望のデータを抽出することができる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
本発明の一側面の情報処理装置は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報（例えば、メタデータ）を検出する情報処理装置であって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報（例えば、中間データ）を検出する変化情報検出手段（例えば、図１のローレベル検出部７０）と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段（例えば、図３のバッファ８１）と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段（例えば、図１のハイレベル検出部８０）と、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定する蓄積量特定手段（例えば、図４のバッファ情報取得部１５４）と、前記蓄積量特定手段により特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する優先度決定手段（例えば、図４のタスク優先度管理部１５３）とを備え、前記変化情報検出手段と前記付随情報検出手段は、それぞれ同一の情報処理資源を用いて前記特徴量変化情報、または前記付随情報を検出し、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される。
【００２１】
本発明の一側面の情報処理方法は、時間的に連続して入力される入力データから、前記連続した時間の中で予め設定された条件を満たすデータが供給された時刻に関する付随情報（例えば、メタデータ）を検出する情報処理装置のであって、第１の時間分の時間的に連続して入力された入力データの特徴量に基づいて、時間的に連続する特徴量変化情報（例えば、中間データ）を検出する変化情報検出手段（例えば、図１のローレベル検出部７０）と、前記変化情報検出手段から出力された前記特徴量変化情報を、前記第１の時間より長く、時間的に連続する第２の時間分の前記入力データに対応する前記特徴量変化情報として蓄積する蓄積手段（例えば、図３のバッファ８１）と、前記蓄積手段に蓄積された前記特徴量変化情報を時間的に連続する複数の区間に分割し、１つの区間の前記特徴量変化情報と、他の区間の前記特徴量変化情報とを比較することで、前記付随情報を検出する付随情報検出手段（例えば、図１のハイレベル検出部８０）とを有する情報処理装置の情報処理方法において、前記蓄積手段に蓄積された特徴量変化情報の蓄積量を特定し（例えば、図７のステップＳ１２２の処理）、前記特定された前記蓄積量に基づいて、前記変化情報検出手段の処理と、前記付随情報検出手段の処理の優先度を決定する（例えば、図７のステップＳ１２４とステップＳ１２５の処理）ステップを含み、前記特定された前記蓄積量が、予め設定された閾値を超える場合、前記付随情報検出手段の処理の優先度が、前記変化情報検出手段の処理の優先度より高くなるように前記優先度が決定され、前記特定された前記蓄積量が、予め設定された閾値を超えていない場合、前記変化情報検出手段の処理の優先度が、前記付随情報検出手段の処理の優先度より高くなるように前記優先度が決定される。
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２３】
図１は、本発明の一実施の形態に係るメタデータ抽出装置の構成例を示すブロック図である。このメタデータ抽出装置４０は、入力データとして入力される時間的に連続するデータから、そのデータのメタデータを抽出し、入力データにメタデータが付加されたデータを、出力データとして出力するようになされている。
【００２４】
ここで、入力データは、例えば、動画像、音声などのデータであって、時間的に連続するデータとされ、メタデータは、動画像、音声などのデータの中で予め定められた条件を満たす区間を特定するための情報とされる。入力データは、例えば、動画像と音声により構成されるコンテンツのデータとされ、メタデータは、例えば、そのコンテンツの中のハイライトシーン、テロップが挿入されたシーン、CMなどの区間を特定するための情報とされる。
【００２５】
メタデータ抽出装置４０は、例えば、HDD（Hard Disk Drive）レコーダなどとして構成され、必要に応じてHDDなどに記録されたコンテンツのメタデータを抽出してユーザに提示するようになされている。
【００２６】
図１のメタデータ抽出装置４０は、コントローラ５０、第１階層検出部６０、および出力データ生成部９０により構成されており、この例では、出力データ生成部９０が、第２階層検出部７０、および第３階層検出部８０により構成されている。
【００２７】
すなわち、図１のメタデータ抽出装置４０においては、第１階層、第２階層、および第３階層の３階層の情報の検出が行われるようになされており、本発明では、それぞれ第１階層検出部をベースレベル検出部と、第２階層検出部をローレベル検出部と、第３階層検出部をハイレベル検出部と称することにする。
【００２８】
ベースレベル検出部６０は、入力データそのものから、特徴量を検出するようになされている。ベースレベル検出部６０は、所定のフレーム数に対応する（例えば、１フレーム分の）画像および音声のデータの入力を受け付けて、所定数のフレーム分の画像の輝度のヒストグラムを表す情報、所定数のフレーム分の画像のコントラストを表す情報、画像のエッジ強度を表す情報、音声のレベルを表す情報、音声の周波数成分を表す情報などの特徴量を検出するようになされており、検出された特徴量と、入力データのフレーム位置（時刻）を対応付けたデータを、ベースレベル出力データとして出力データ生成部９０に出力するようになされている。
【００２９】
ベースレベル検出部６０は、例えば、独立したハードウェアなどにより構成され、第１番目のフレームの画像および音声のデータが入力されたとき、第１番目のフレームの画像および音声のデータの特徴量を検出してベースレベル出力データを出力し、第２番目のフレームの画像および音声のデータが入力されたとき、第２番目のフレームの画像および音声のデータの特徴量を検出してベースレベル出力データを出力するようになされている。
【００３０】
出力データ生成部９０は、ベースレベル検出部６０から供給されたベースレベル出力データに基づいて出力データを生成するようになされており、例えば、内部にプロセッサやメモリなどを有する構成とされ、プログラムなどのソフトウェアをプロセッサが実行することにより、ローレベル検出部７０とハイレベル検出部８０がそれぞれ所定の処理を実行するようになされている。
【００３１】
ローレベル検出部７０は、ベースレベル検出部６０から出力されたベースレベル出力データに基づいて、例えば、コンテンツの中でのカットチェンジまたはショットチェンジが発生したか、テロップが検出されたかなどの情報、または画像の動きベクトル、音声の特徴などを表す情報を中間データとして検出し、検出された中間データと、入力データの区間とを対応付けたデータを、ローレベル出力データとしてハイレベル検出部８０に出力するようになされている。
【００３２】
ローレベル検出部７０は、例えば数秒分の時間的に連続する入力データに対応するベースレベル出力データを蓄積可能なバッファを有する構成とされ、例えば、バッファに蓄積されたベースレベル出力データと、現在入力されているベースレベル出力データとを比較することで、中間データを検出してローレベル出力データを出力するようになされている。
【００３３】
ハイレベル検出部８０は、ローレベル検出部７０から出力されたローレベル出力データに基づいて、例えば、そのコンテンツの中のハイライトシーン、テロップが挿入されたシーン、CMなどの区間を特定するための情報をメタデータとして検出し、検出されたメタデータと、入力データの区間とを対応付けたデータを、ハイレベル出力データとして出力するようになされている。すなわち、ハイレベル出力データが、メタデータ抽出装置４０の出力データとなる。
【００３４】
ハイレベル検出部８０は、例えば、数分の時間的に連続する入力データに対応するローレベル出力データを蓄積可能なバッファを有する構成とされ、バッファに蓄積されたローレベル出力データのうちの所定の区間と他の区間とを比較することで、またはバッファに蓄積されたローレベル出力データと、現在入力されているローレベル出力データとを比較することで、メタデータを検出してハイレベル出力データを出力するようになされている。
【００３５】
コントローラ５０は、例えば、プロセッサやメモリを有する構成とされ、プログラムなどのソフトウェアをプロセッサが実行することにより、各種の制御信号を生成し、それらの制御信号をベースレベル検出部６０または出力データ生成部９０に供給することで、メタデータ抽出装置４０の各部を制御する。
【００３６】
図２は、ベースレベル検出部６０により検出される特徴量、ローレベル検出部７０により検出される中間データ、ハイレベル検出部８０により検出されるメタデータの例を示す図である。
【００３７】
同図のデータ１０１は、特徴量として検出されるデータの例を示している。この例では、データ１０１には、それぞれ１フレーム分の画像のデータから検出された、画像の輝度のヒストグラム、画像のコントラスト、画像にテロップが含まれているか否か、画像のエッジ強度、その画像から得られるサムネイル画像（例えば、縮小画像）、画像の動きベクトル、などの情報が含まれている。
【００３８】
また、データ１０１には、それぞれ１フレーム分の音声のデータから検出された、音声レベルが０であったか否か（無音検出）、音声に含まれる各周波数成分の強度（オーディオスペクトル）などの情報が含まれている。
【００３９】
そして、１フレーム分の特徴量として検出されたデータ１０１がコンテンツのデータ数秒分、すなわち数十フレーム分蓄積され、その蓄積されたデータ１０１に基づいて、データ１０２が中間データとして検出される。
【００４０】
例えば、データ１０１に含まれるヒストグラムの情報に基づいて、データ１０２に含まれるショットチェンジまたはカットチェンジがあったか否かを表す情報が生成され、データ１０１に含まれるヒストグラムの情報、コントラストの情報、エッジの情報および動きベクトルの情報に基づいて、データ１０２に含まれるテロップが検出されたか否かを表す情報が生成される。
【００４１】
この例では、データ１０２には、この他、数十フレーム分の画像のヒストグラム、画像の動きベクトル、数十フレーム分の音の分散、音量、音の分類を表す情報が含まれている。
【００４２】
このように中間データとして検出されるデータ１０２は、数十フレーム分（数秒）の時間的に連続するコンテンツのデータに対応したデータとされる。
【００４３】
さらに、数十フレーム分の中間データとして検出されたデータ１０２がコンテンツのデータ数分に対応する分蓄積され、その蓄積されたデータ１０２に基づいて、データ１０３がメタデータとして検出される。
【００４４】
例えば、データ１０２に含まれるショットチェンジ検出およびカットチェンジ検出の情報、動きベクトル、音の分散などの情報に基づいて、データ１０３に含まれるシーンチェンジがあったか否かを表す情報が生成され、データ１０２に含まれるテロップ検出、動きベクトルなどの情報に基づいてデータ１０３に含まれるテロップシーンであるか否かを表す情報が生成される。
【００４５】
この例では、データ１０３には、この他、シーンを特定する番号などのシーンID、CMが検出されたか否かを表す情報、シーンの盛り上がり（ハイライトシーンであるか否か）、音の分類を表す情報などが含まれている。
【００４６】
このようにメタデータとして検出されるデータ１０３は、数分の時間的に連続するコンテンツのデータに対応したデータとされる。
【００４７】
このようなメタデータに基づいて、予め設定された条件に合致するシーン（例えば、数分の時間的に連続する区間）を検索することで、例えば、CMと番組が切り替わるとき、番組内のコーナーが切り替わるとき、ドラマや映画などの場面が切り替わるときなどを検索して再生するなど、録画されたコンテンツを効率的に視聴することができる。
【００４８】
なお、図２に示したデータ１０１乃至データ１０３は、あくまで特徴量、中間データ、およびメタデータの例を示すものであって、ベースレベル検出部６０、ローレベル検出部７０、およびハイレベル検出部８０により検出されるそれぞれのデータにおいて、必ずしも上述した情報が全て含まれる必要はないし、また、上述した情報以外の情報が含まれてもよい。
【００４９】
図３は、メタデータ抽出装置４０によるメタデータの検出を説明する図である。同図に示されるように、入力データを構成する画像のデータと音声のデータは、最初にベースレベル検出部６０のバッファ６１に供給されて蓄積される。そして、ベースレベル検出部６０の解析部６２が、バッファ６１に蓄積された、例えば、１フレーム分の画像または音声のデータを解析し、特徴量を検出してデータ１０１を出力する。
【００５０】
ベースレベル検出部６０から出力されたデータ１０１は、ベースレベル出力データとして、ローレベル検出部７０のバッファ７１に蓄積される。そして、ローレベル検出部７０の解析部７２が、バッファ７１に蓄積された数十フレーム分のベースレベル出力データを解析し、中間データを検出してデータ１０２を出力する。
【００５１】
ローレベル検出部７０から出力されたデータ１０２は、ローレベル出力データとして、ハイレベル検出部８０のバッファ８１に蓄積される。そして、ハイレベル検出部８０の解析部８２が、バッファ８１に蓄積された数分分のローレベル出力データを解析し、メタデータを検出してデータ１０３を出力する。
【００５２】
上述したように、ローレベル検出部７０とハイレベル検出部８０は、出力データ生成部９０内に構成されている。すなわち、解析部７２と解析部８２は、それぞれ、例えば、ソフトウェアにより実現される機能ブロックとされ、解析部７２と解析部８２のそれぞれによるデータの解析の処理は、例えば、同一のプロセッサとメモリを用いて実行される、異なる２つのタスクとして管理される。
【００５３】
従って、例えば、解析部７２の処理にかかる負荷が大きくなると、相対的に解析部８２の処理にかかる負荷を小さくしなければならず、逆に解析部８２の処理にかかる負荷が大きくなると、相対的に解析部７２の処理にかかる負荷を小さくしなければならない。このように、ローレベル検出部７０とハイレベル検出部８０の負荷のバランスをコントローラ５０が制御するようになされている。
【００５４】
コントローラ５０は、ローレベル検出部７０とハイレベル検出部８０の負荷のバランスを、例えば、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度により制御するようになされている。すなわち、ローレベル検出部７０の処理の優先度が高い場合、例えば、同一のプロセッサとメモリを用いて実行される２つのタスクの中で解析部７２の処理に対応するタスクが優先的に実行されるようになり、ハイレベル検出部８０の処理の優先度が高い場合、例えば、同一のプロセッサとメモリを用いて実行される２つのタスクの中で解析部８２の処理に対応するタスクが優先的に実行されるようになる。
【００５５】
図４は、コントローラ５０に実装されるソフトウェアの機能的構成例を示すブロック図である。
【００５６】
同図に示されるローレベル検出処理監視部１５１は、ローレベル検出部７０の処理の実行状態を監視する。例えば、ローレベル検出処理監視部１５１は、バッファ７１に蓄積されたベースレベル出力データの量を特定し、また、解析部７２の処理に対応するタスクの優先度を制御する。
【００５７】
ハイレベル検出処理監視部１５２は、ハイレベル検出部８０の処理の実行状態を監視する。例えば、ハイレベル検出処理監視部１５２は、バッファ８１に蓄積されたローレベル出力データの量を特定し、また、解析部８２の処理に対応するタスクの優先度を制御する。
【００５８】
ハイレベル検出処理監視部１５２により特定された、バッファ８１に蓄積されたローレベル出力データの量に関する情報は、バッファ情報取得部１５４に供給されるようになされている。
【００５９】
タスク優先度管理部１５３は、例えば、予め設定された時間間隔で、バッファ情報取得部１５４に、バッファ情報の取得要求を出力し、バッファ情報取得部１５４からバッファ８１に蓄積されたローレベル出力データの量に関する情報を取得する。そして、タスク優先度管理部１５３は、バッファ８１に蓄積されたローレベル出力データの量に関する情報に基づいて、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を決定する。
【００６０】
上述したように、ハイレベル検出部８０は、例えば、バッファ８１に、数分の時間的に連続する入力データに対応するローレベル出力データを蓄積し、蓄積されたローレベル出力データのうちの所定の区間と他の区間とを比較することで、またはバッファ８１に蓄積されたローレベル出力データと、現在入力されているローレベル出力データとを比較することで、メタデータを検出する。従って、バッファ８１に充分な量のローレベル出力データが蓄積されなければ、ハイレベル検出部８０の処理を実行することはできない。
【００６１】
そこで、タスク優先度管理部１５３は、バッファ８１に充分な量のローレベル出力データが蓄積されたか否かを判定し、充分な量のローレベル出力データが蓄積されたと判定された場合、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に高く設定し、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に低く設定する。
【００６２】
一方、充分な量のローレベル出力データがまだ蓄積されていないと判定された場合、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に高く設定し、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に低く設定する。
【００６３】
タスク優先度管理部１５３は、設定すべきローレベル検出部７０の処理の優先度の情報を、ローレベル検出処理監視部１５１に出力し、ローレベル検出処理監視部１５１は、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に高く、または低く設定してタスクを実行させる。
【００６４】
また、タスク優先度管理部１５３は、設定すべきハイレベル検出部８０の処理の優先度の情報を、ハイレベル検出処理監視部１５２に出力し、ハイレベル検出処理監視部１５２は、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に高く、または低く設定してタスクを実行させる。
【００６５】
このようにすることで、ローレベル検出部７０の処理の優先度とハイレベル検出部８０の処理の優先度は、それぞれ時間の経過とともに、例えば、図５に示されるように変化する。
【００６６】
図５において、図中上側のグラフは、縦軸がバッファ８１に蓄積されたローレベル出力データの蓄積量、横軸が時間とされ、時間の経過に伴って変化するローレベル出力データの蓄積量を線２０１で示したものである。また、図５において、図中下側のグラフは、縦軸が処理の優先度、横軸が時間とされ、時間の経過に伴って変化するローレベル検出部７０の処理の優先度を線２１１で示し、時間の経過に伴って変化するハイレベル検出部８０の処理の優先度を点線２１２で示したものである。
【００６７】
ここでは、バッファ８１に蓄積されたローレベル出力データの蓄積量が閾値ｋを超えた場合、ハイレベル検出部８０の処理の優先度が相対的に高く設定され、バッファ８１に蓄積されたローレベル出力データの蓄積量が閾値ｋを超えていない場合、ハイレベル検出部８０の処理の優先度が相対的に低く設定されるものとする。
【００６８】
線２０１で示されるように、処理開始直後（時間軸０）の時点から、時刻t1までの間、バッファ８１に蓄積されたローレベル出力データの蓄積量は序々に増えるが閾値ｋには至らない。この間、線２１１が図中点線２１２より高い位置に位置しており、ローレベル検出部７０の処理の優先度が相対的に高く設定されており、ハイレベル検出部８０の処理の優先度が相対的に低く設定されている。
【００６９】
時刻t1を過ぎ、バッファ８１に蓄積されたローレベル出力データの蓄積量（線２０１）が閾値ｋを超えると、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようになされ、図中では、線２１１と点線２１２が交差し、点線２１２が図中線２１１より高い位置に位置するようになる。
【００７０】
時刻t1を過ぎると、ハイレベル検出部８０の処理が優先的に実行されて、バッファ８１に蓄積されたローレベル出力データが読み出されてメタデータが検出されていくが、その間ローレベル検出部７０の処理の優先度は低くなり、例えば、中間データの検出に要する時間が長くなるので、バッファ８１に蓄積されたローレベル出力データの蓄積量（線２０１）も減っていくことになる。すなわち、ハイレベル検出部８０の処理が優先的に実行された場合、ローレベル検出部７０の処理により、単位時間あたりに、バッファ８１に蓄積されていくローレベル出力データのデータ量よりも、ハイレベル検出部８０の処理により、単位時間あたりに、バッファ８１から読み出されるローレベルデータのデータ量が多くなる。
【００７１】
そして、時刻ｔ２において、バッファ８１に蓄積されたローレベル出力データの蓄積量（線２０１）は、再び閾値ｋを下回ることになる。
【００７２】
時刻t2を過ぎると、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようになされ、図中では、線２１１と点線２１２が再び交差し、線２１１が図中点線２１２より高い位置に位置するようになる。今度は、ローレベル検出部７０の処理が優先的に実行され、ローレベル検出部７０の処理により、単位時間あたりに、バッファ８１に蓄積されていくローレベル出力データのデータ量よりも、ハイレベル検出部８０の処理により、単位時間あたりに、バッファ８１から読み出されるローレベルデータのデータ量が少なくなる。従って、バッファ８１に蓄積されたローレベル出力データの蓄積量が増えていくことになる。
【００７３】
同様に、時刻t3、時刻t4でもバッファ８１に蓄積されたローレベル出力データの蓄積量が閾値ｋを超えるかまたは下回るので、やはりローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようになされ、図中では、線２１１と点線２１２が交差する。
【００７４】
このようにすることで、ローレベル検出部７０とハイレベル検出部８０の負荷のバランスが適切に制御され、プロセッサやメモリなどの資源の効率的な利用が可能となり、迅速にメタデータを抽出することができる。
【００７５】
次に、図６のフローチャートを参照して、コントローラ５０により実行される検出制御処理の例について説明する。
【００７６】
最初に、ステップＳ１０１において、タスク優先度管理部１５３は、検出制御処理を実行する必要があるか否かを判定する。例えば、コンテンツの録画が行われ、メタデータ抽出装置４０によりコンテンツのメタデータの抽出を行う必要がある場合、ステップＳ１０１では、検出制御処理を実行する必要があると判定され、処理は、ステップＳ１０２に進む。
【００７７】
ステップＳ１０２において、タスク優先度管理部１５３は、図７を参照して後述する優先順位判定処理を実行する。これにより、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度がそれぞれ判定される。
【００７８】
ステップＳ１０３において、タスク優先度管理部１５３は、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を再設定する必要があるか否かを判定する。ここでは、ステップＳ１０２の処理結果に基づいて、例えば、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようにする必要があるか否かが判定される。
【００７９】
なお、メタデータ抽出装置４０において、初期設定としてローレベル検出部７０の処理は、相対的な優先度が高く設定されており、ハイレベル検出部８０の処理は、相対的な優先度が低く設定されているものとする。
【００８０】
ステップＳ１０３において、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を再設定する必要があると判定された場合、処理は、ステップＳ１０４に進む。
【００８１】
ステップＳ１０４において、タスク優先度管理部１５３は、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を再設定する。このとき、タスク優先度管理部１５３から出力された情報に基づいて、ローレベル検出処理監視部１５１は、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に高く、または低く設定して、そのタスクを実行させ、ハイレベル検出処理監視部１５２は、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に高く、または低く設定して、そのタスクを実行させる。
【００８２】
ステップＳ１０４の処理の後、またはステップＳ１０３において、ローレベル検出部７０の処理とハイレベル検出部８０の処理の優先度を再設定する必要がないと判定された場合、処理は、ステップＳ１０１に戻り、それ以後の処理が繰り返し実行される。
【００８３】
そして、例えば、メタデータ抽出装置４０によりコンテンツのメタデータの抽出が終了するなどして、ステップＳ１０１で検出制御処理を実行する必要がないと判定された場合、処理は終了する。
【００８４】
次に、図７のフローチャートを参照して、図６のステップＳ１０２の優先順位判定処理の詳細な例について説明する。
【００８５】
ステップＳ１２１において、タスク優先度管理部１５３は、バッファ情報を取得する。このとき、タスク優先度管理部１５３は、バッファ情報取得部１５４に、バッファ情報の取得要求を出力し、バッファ情報取得部１５４からバッファ８１に蓄積されたローレベル出力データの量に関する情報をバッファ情報として取得する。
【００８６】
ステップＳ１２２において、タスク優先度管理部１５３は、図８または図９を参照して後述する蓄積量分析処理を実行する。これにより、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルが特定される。
【００８７】
ここで、図８のフローチャートを参照して、図７のステップＳ１２２の蓄積量分析処理の詳細な例について説明する。
【００８８】
ステップＳ１４１において、タスク優先度管理部１５３は、ステップＳ１２１で取得したバッファ情報に含まれるバッファ８１に蓄積されたローレベル出力データの量の値が、予め設定された閾値ｋを超えているか否かを判定する。
【００８９】
ステップＳ１４１において、バッファ８１に蓄積されたローレベル出力データの量の値が閾値ｋを超えていないと判定された場合、処理は、ステップＳ１４２に進み、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルを表す蓄積レベルは、「低」と特定される。
【００９０】
一方、ステップＳ１４１において、バッファ８１に蓄積されたローレベル出力データの量の値が閾値ｋを超えていると判定された場合、処理は、ステップＳ１４３に進み、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルを表す蓄積レベルは、「高」と特定される。
【００９１】
ここでは、１つの閾値ｋに基づいて蓄積レベルが判定される例について説明したが、例えば、閾値k1と、閾値k1より低い閾値k2とを設定し、閾値k1を超えた場合、蓄積レベルが「高」と特定され、閾値k2を下回った場合、蓄積レベルが「低」と特定されるようにしてもよい。
【００９２】
あるいはまた、バッファ８１に蓄積されたローレベル出力データの量の値そのものを閾値と比較するのではなく、バッファ８１に蓄積されたローレベル出力データの量の増減（差分）を閾値と比較することにより、蓄積レベルが特定されるようにしてもよい。図９は、図７のステップＳ１２２の蓄積量分析処理の別の詳細な例について説明するフローチャートであって、バッファ８１に蓄積されたローレベル出力データの量の増減に基づいて蓄積レベルを判定する場合の例を説明するフローチャートである。
【００９３】
ステップＳ１６１において、タスク優先度管理部１５３は、今回（直前の）ステップＳ１２１で取得したバッファ情報に含まれるバッファ８１に蓄積されたローレベル出力データの量の値と、前回ステップＳ１２１取得したバッファ情報に含まれるバッファ８１に蓄積されたローレベル出力データの量の値とを比較し、それぞれの値の差分を演算する。
【００９４】
ステップＳ１６２において、タスク優先度管理部１５３は、ステップＳ１６１の処理の結果得られた差分値が、予め設定された閾値ｓを超えているか否かを判定する。
【００９５】
ステップＳ１６２において、バッファ８１に蓄積されたローレベル出力データの量の値が閾値ｓを超えていないと判定された場合、処理は、ステップＳ１６３に進み、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルを表す蓄積レベルは、「低」と特定される。
【００９６】
一方、ステップＳ１６２において、バッファ８１に蓄積されたローレベル出力データの量の値が閾値ｓを超えていると判定された場合、処理は、ステップＳ１６４に進み、バッファ８１に蓄積されたローレベル出力データのデータ量のレベルを表す蓄積レベルは、「高」と特定される。
【００９７】
ここでは、１つの閾値ｓに基づいて蓄積レベルが判定される例について説明したが、例えば、閾値ｓ1と、閾値ｓ1より低い閾値ｓ2とを設定し、閾値ｓ1を超えた場合、蓄積レベルが「高」と特定され、閾値ｓ2を下回った場合、蓄積レベルが「低」と特定されるようにしてもよい。
【００９８】
さらに、時間当たりの差分の大小により蓄積レベルが判定されるようにすることも可能である。例えば、ステップＳ１６２では、前回のバッファ情報取得時からの経過時間とバッファ８１に蓄積されたローレベル出力データの量の値の差分値に基づいて得られる直線の傾き（微分値）が閾値を超えているか否かが判定されるようにしてもよい。
【００９９】
また、ここでは、タスク優先度管理部１５３がバッファ８１に蓄積されたローレベル出力データの量の値の差分値を演算する例について説明したが、例えば、バッファ情報取得部１５４が定期的に差分値を演算して、バッファ情報の取得要求に応じて、タスク優先度管理部１５３に、差分値を供給するようにしてもよい。
【０１００】
図７に戻って、ステップＳ１２２の処理の後、処理は、ステップＳ１２３に進み、タスク優先度管理部１５３は、ステップＳ１２２の処理の結果特定された蓄積レベルを判定する。
【０１０１】
ステップＳ１２３において、蓄積レベルが「低」であると判定された場合、処理は、ステップＳ１２４に進み、タスク優先度管理部１５３は、ローレベル検出部７０の処理を優先するように制御する。一方、ステップＳ１２３において、蓄積レベルが「高」であると判定された場合、処理は、ステップＳ１２５に進み、タスク優先度管理部１５３は、ハイレベル検出部８０の処理を優先するように制御する。
【０１０２】
これにより、図６のステップＳ１０３の処理を経て、現在のローレベル検出部７０の処理の優先度とハイレベル検出部８０の処理の優先度とを変更する必要があるか否か、すなわちそれぞれの処理の相対的優先度を逆転させる必要があるか否かが判定され、その結果、ローレベル検出処理監視部１５１が、ローレベル検出部７０の処理の優先度、すなわち解析部７２の処理に対応するタスクの優先度を相対的に高く、または低く設定して、そのタスクを実行させ、ハイレベル検出処理監視部１５２が、ハイレベル検出部８０の処理の優先度、すなわち解析部８２の処理に対応するタスクの優先度を相対的に高く、または低く設定して、そのタスクを実行させる。
【０１０３】
ここでは、ステップＳ１２４またはステップＳ１２５において、それぞれローレベル検出部７０の処理、またはハイレベル検出部８０の処理を優先する例について説明したが、例えば、ステップＳ１２４またはステップＳ１２５では、ローレベル検出部７０の処理の相対的な優先度と、ハイレベル検出部８０の処理の相対的な優先度が逆転されるようにする必要があるか否かが特定されるようにしてもよい。
【０１０４】
このようにして、出力データ生成部９０に含まれるローレベル検出部７０、およびハイレベル検出部８０による中間データの検出、およびメタデータの検出が制御される。
【０１０５】
このようにすることで、ローレベル検出部７０とハイレベル検出部８０の負荷のバランスが適切に制御され、プロセッサやメモリなどの資源の効率的な利用が可能となり、迅速にメタデータを抽出することができる。
【０１０６】
また、このようにすることで、出力データ生成部９０を、例えば、汎用のマイコンなどに所定のソフトウェアなどを実装することで構成することも可能となる。すなわち、同一のプロセッサとメモリを用いてローレベル検出部７０の処理、およびハイレベル検出部８０の処理の両方を効率よく実行することが可能となる。
【０１０７】
従って、メタデータの抽出の機能を、HDDレコーダなどの専用のAV（audio-visual）家電製品に実装するだけでなく、例えば、画像の録画再生機能を有するパーソナルコンピュータ、ゲーム機などの各種の電子機器に実装または移植することも容易となる。
【０１０８】
以上においては、メタデータ抽出装置４０の、ベースレベル検出部６０、ローレベル検出部７０、およびハイレベル検出部８０において、入力データが３階層に分けられて解析されてメタデータが抽出されるように構成される例について説明したが、例えば、ベースレベル検出部６０と、ローレベル検出部７０のみにおいて解析が行われるようにしてもよい。
【０１０９】
この場合、ローレベル検出部７０から出力されるローレベル出力データがメタデータ抽出装置４０の出力データとなる。
【０１１０】
さらに、例えば、メタデータ抽出装置４０が、ローレベル検出部７０、ハイレベル検出部８０、およびコントローラ５０のみから構成されるようにしてもよい。すなわち出力データ生成部９０とコントローラ５０のみからメタデータ抽出装置４０が構成されるようにしてもよい。
【０１１１】
この場合、入力データは、直接、ローレベル検出部７０に入力されることとなる。すなわち、例えば、ローレベル検出部７０が、入力データの特徴量などを検出し、さらに、検出された特徴量に基づいて中間データを検出することになる。
【０１１２】
出力データ生成部９０とコントローラ５０のみからメタデータ抽出装置４０が構成される場合において、例えば、さらに、出力データ生成部９０とコントローラ５０とを一体化し、メタデータ抽出装置４０がコントローラ５０のみから構成されるようにしてもよい。すなわち、ベースレベル検出部６０、または出力データ生成部９０として専用のハードウェア等を設けずに、特徴量の検出、中間データの検出、およびメタデータの検出の処理を、すべてソフトウェアにより実行するようにし、例えば、汎用のコンピュータなどでメタデータ抽出装置４０を構成することもできる。
【０１１３】
あるいはまた、ハイレベル検出部８０の処理によりメタデータが検出された後、そのメタデータが別のバッファに蓄積され、蓄積されたメタデータに基づいて、さらに別の検出部により別のメタデータが抽出されるようにしてもよい。
【０１１４】
この場合、バッファ８１と別のバッファのデータの蓄積量がさらに比較されて、ハイレベル検出部８０の処理と別の検出部の処理との優先度が相対的に高くまたは低く設定されるようにすればよい。
【０１１５】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１０に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。
【０１１６】
図１０において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１７】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
【０１１８】
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１１９】
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０１２０】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。
【０１２１】
なお、この記録媒体は、図１０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。
【０１２２】
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１２３】
【図１】本発明の一実施の形態に係るメタデータ抽出装置の構成例を示すブロック図である。
【図２】図１のベースレベル検出部により検出される特徴量、ローレベル検出部により検出される中間データ、ハイレベル検出部により検出されるメタデータの例を示す図である。
【図３】図１のメタデータ抽出装置によるメタデータの検出を説明する図である。
【図４】図１のコントローラに実装されるソフトウェアの機能的構成例を示すブロック図である。
【図５】時間の経過に伴って変化するデータの蓄積量と処理の優先度を示すグラフである。
【図６】検出制御処理の例を説明するフローチャートである。
【図７】優先順位判定処理の例を説明するフローチャートである。
【図８】蓄積量分析処理の例を説明するフローチャートである。
【図９】蓄積量分析処理の別の例を説明するフローチャートである。
【図１０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２４】
４０  メタデータ抽出装置，  ５０  コントローラ，  ６０  ベースレベル検出部，  ６１  バッファ，  ６２  解析部，  ７０  ローレベル検出部，  ７１  バッファ，  ７２  解析部，  ８０  ハイレベル検出部，８１  バッファ，  ８２  解析部，  １５１  ローレベル検出処理監視部，  １５２  ハイレベル検出処理監視部，  １５３  タスク優先度管理部，  １５４  バッファ情報取得部
【図１】
0004895125.tif 000002
【図２】
0004895125.tif 000003
【図３】
0004895125.tif 000004
【図４】
0004895125.tif 000005
【図５】
0004895125.tif 000006
【図６】
0004895125.tif 000007
【図７】
0004895125.tif 000008
【図８】
0004895125.tif 000009
【図９】
0004895125.tif 000010
【図１０】
0004895125.tif 000011