(57)【要約】【課題】特徴抽出部と同期部との間の帯域が十分に確保できない場合であっても、特徴抽出部が同期部に特徴量を受け渡すことが可能な、新規かつ改良された技術を提供する。【解決手段】音特徴抽出部１０および画特徴抽出部２０は、コンテンツの特徴量を抽出する特徴抽出部と、特徴量を圧縮する圧縮処理部と、圧縮した特徴量にタイムスタンプを付与したデータを生成するタイムスタンプ付与部と、データをバス４０に出力するデータ出力部と、をそれぞれ有する。同期部３０は、データの入力を受け付けるデータ入力部と、圧縮処理部が圧縮した特徴量を展開して各特徴量を得る展開処理部と、各データに含まれるタイムスタンプを用いて、各特徴量の同期をとる同期処理部と、を有する。【選択図】図１
2010021872.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツの特徴量を抽出する特徴抽出処理部と、
前記特徴抽出処理部が抽出した特徴量を圧縮する圧縮処理部と、
前記圧縮処理部が圧縮した特徴量にタイムスタンプを付与したデータを生成するタイムスタンプ付与部と、
前記タイムスタンプ付与部が生成したデータをバスに出力するデータ出力部と、
をそれぞれ有する、第１特徴抽出部および第２特徴抽出部と、
前記第１特徴抽出部および前記第２特徴抽出部のそれぞれが出力したデータの入力を受け付けるデータ入力部と、
前記データ入力部が入力を受け付けた各データに含まれる、前記圧縮処理部が圧縮した特徴量を展開して各特徴量を得る展開処理部と、
前記データ入力部が入力を受け付けた各データに含まれる前記タイムスタンプを用いて、前記展開処理部が得た前記各特徴量の同期をとる同期処理部と、
を有する、同期部と、
を備える、特徴抽出装置。
【請求項２】
コンテンツの特徴量を抽出する特徴抽出処理部と、
バスの使用量を監視するバス使用量監視部と、
前記バス使用量監視部が監視した前記バスの使用量をもとに、前記バスが混んでいるか否かを判定するバス使用量判定部と、
前記バス使用量判定部が、前記バスが混んでいると判定した場合には、前記特徴抽出処理部が抽出した特徴量を圧縮するとともに、当該圧縮した特徴量に当該特徴量を圧縮した旨を示す値を設定した圧縮フラグを付与したデータを出力し、前記バス使用量判定部が、前記バスが混んでいないと判定した場合には、当該特徴量に当該特徴量を圧縮していない旨を示す値を設定した圧縮フラグを付与したデータを出力する圧縮処理部と、
前記圧縮処理部が出力したデータにタイムスタンプを付与したデータを生成するタイムスタンプ付与部と、
前記タイムスタンプ付与部が生成したデータを前記バスに出力するデータ出力部と、
をそれぞれ有する、第１特徴抽出部および第２特徴抽出部と、
前記第１特徴抽出部および前記第２特徴抽出部のそれぞれが出力したデータの入力を受け付けるデータ入力部と、
前記データ入力部が入力を受け付けた各データに含まれる前記圧縮フラグを判定する圧縮フラグ判定部と、
前記圧縮フラグ判定部が前記圧縮フラグに特徴量を圧縮した旨を示す値が設定されていると判定した場合には、当該圧縮した特徴量を展開して特徴量を得る展開処理部と、
前記データ入力部が入力を受け付けた各データに含まれる前記タイムスタンプを用いて、前記データ入力部が入力を受け付けたデータに含まれる特徴量または前記展開処理部が得た特徴量の同期をとる同期処理部と、
を有する、同期部と、
を備える、特徴抽出装置。
【請求項３】
前記同期部は、
データを破棄する破棄処理部と、
前記データ入力部が入力を受け付けた各データに含まれる前記タイムスタンプを用いて、当該入力を受け付ける処理が遅延しているか否かを判定し、当該入力を受け付ける処理が遅延していると判定した場合には、前記破棄処理部を介して、当該入力を受け付ける処理が遅延していると判定したデータを破棄するタイムスタンプ判定部と、
をさらに有する、請求項１または請求項２に記載の特徴抽出装置。
【請求項４】
前記第１特徴抽出部は、
前記第１特徴抽出部のリソースの使用量を監視するリソース使用量監視部と、
前記リソース使用量監視部が監視した前記リソースの使用量をもとに、前記リソースに対する負荷が軽いか否かを判定し、当該リソースに対する負荷が軽くないと判定した場合には、前記特徴抽出処理部にコンテンツの特徴量の抽出を継続して実行させるリソース使用量判定部と、
をさらに有する、請求項３に記載の特徴抽出装置。
【請求項５】
前記第１特徴抽出部は、
前記第１特徴抽出部のリソースの使用量を監視するリソース使用量監視部と、
前記リソース使用量監視部が監視した前記リソースの使用量をもとに、前記リソースに対する負荷が軽いか否かを判定し、当該リソースに対する負荷が軽くないと判定した場合には、前記データ出力部を介して、タイムスタンプを出力するリソース使用量判定部と、
をさらに有する、請求項３に記載の特徴抽出装置。
【請求項６】
前記同期部は、
前記同期部のリソースの使用量を監視するリソース使用量監視部と、
前記リソース使用量監視部が監視した前記リソースの使用量をもとに、前記リソースに対する負荷が軽いか否かを判定し、当該リソースに対する負荷が軽くないと判定した場合には、前記破棄処理部を介して、前記データ入力部が入力を受け付けたデータを破棄するリソース使用量判定部と、
をさらに有する、請求項３に記載の特徴抽出装置。
【請求項７】
特徴抽出処理部が、コンテンツの特徴量を抽出するステップと、
圧縮処理部が、前記特徴抽出処理部が抽出した特徴量を圧縮するステップと、
タイムスタンプ付与部が、前記圧縮処理部が圧縮した特徴量にタイムスタンプを付与したデータを生成するステップと、
データ出力部が、前記タイムスタンプ付与部が生成したデータをバスに出力するステップと、
を、第１特徴抽出部および第２特徴抽出部のそれぞれにおいて実行し、
データ入力部が、前記第１特徴抽出部および前記第２特徴抽出部のそれぞれが出力したデータの入力を受け付けるステップと、
展開処理部が、前記データ入力部が入力を受け付けた各データに含まれる、前記圧縮処理部が圧縮した特徴量を展開して各特徴量を得るステップと、
同期処理部が、前記データ入力部が入力を受け付けた各データに含まれる前記タイムスタンプを用いて、前記展開処理部が得た前記各特徴量の同期をとるステップと、
を、同期部において実行する、特徴抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴抽出装置および特徴抽出方法に関する。詳しくは、コンテンツから抽出した特徴量の同期をとる技術に関する。
【背景技術】
【０００２】
従来、コンテンツから特徴量を抽出する特徴抽出処理を行うＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などの特徴抽出装置においては、異なる複数のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの処理部で処理を行っていた。処理としては、画像の処理、音声の処理などが想定される。異なる複数のＣＰＵには、例えば、コンテンツから音声に係る特徴量を抽出する音特徴抽出ＣＰＵなどの音特徴抽出部、コンテンツから画像に係る特徴量を抽出する画特徴抽出ＣＰＵなどの画特徴抽出部などが存在する。また、各特徴抽出部から出力される特徴量の同期をとる同期ＣＰＵなどの同期部などが存在する。コンテンツの映像を音声再生と同期させる技術については、例えば、特許文献１に開示されている。
【０００３】
ここで、音特徴抽出部は、音声に係る特徴量を抽出し、タイムスタンプを付与して出力する。また、画特徴抽出部は、画像に係る特徴量を抽出し、タイムスタンプを付与して出力する。同期部は、各特徴抽出部から出力されたタイムスタンプを用いて、音声に係る特徴量と画像に係る特徴量との同期をとる。
【０００４】
画像のヒストグラム算出処理など、処理が単純で、かつ、処理対象が膨大な場合には、特徴抽出処理の一部は、ハードウェアで実現される場合もある。この場合、画特徴抽出部はハードウェアとソフトウェアとで画像に係る特徴抽出を行い、その結果を統合して同期部に送信する。この場合には、画特徴抽出部が複数存在することとなる。
【０００５】
【特許文献１】特表２００４−５２１３８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特徴抽出を実行する契機は主に録画時であり、チップコストを考慮して、エンコーダ、デコーダなどと特徴抽出部とが一体となった形で１チップ化されることが多い。そのため、特徴抽出部の処理を重視して特徴抽出装置内のバス（内部バス）が設計されるとは限らない。よって、特徴抽出以外の処理が発生すると、内部バスの帯域の多くが、特徴抽出以外の処理に利用されてしまうこととなる。この場合、特徴抽出部と同期部との間の帯域が十分に確保できず、特徴抽出部が同期部に特徴量を受け渡すことができなくなってしまうケースが考えられるという問題があった。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、特徴抽出部と同期部との間の帯域が十分に確保できない場合であっても、特徴抽出部が同期部に特徴量を受け渡すことが可能な、新規かつ改良された技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明のある観点によれば、コンテンツの特徴量を抽出する特徴抽出処理部と、特徴抽出処理部が抽出した特徴量を圧縮する圧縮処理部と、圧縮処理部が圧縮した特徴量にタイムスタンプを付与したデータを生成するタイムスタンプ付与部と、タイムスタンプ付与部が生成したデータをバスに出力するデータ出力部と、をそれぞれ有する、第１特徴抽出部および第２特徴抽出部と、第１特徴抽出部および第２特徴抽出部のそれぞれが出力したデータの入力を受け付けるデータ入力部と、データ入力部が入力を受け付けた各データに含まれる、圧縮処理部が圧縮した特徴量を展開して各特徴量を得る展開処理部と、データ入力部が入力を受け付けた各データに含まれるタイムスタンプを用いて、展開処理部が得た各特徴量の同期をとる同期処理部と、を有する、同期部と、を備える、特徴抽出装置が提供される。
【０００９】
また、上記課題を解決するために、本発明の別の観点によれば、コンテンツの特徴量を抽出する特徴抽出処理部と、バスの使用量を監視するバス使用量監視部と、バス使用量監視部が監視したバスの使用量をもとに、バスが混んでいるか否かを判定するバス使用量判定部と、バス使用量判定部が、バスが混んでいると判定した場合には、特徴抽出処理部が抽出した特徴量を圧縮するとともに、圧縮した特徴量に特徴量を圧縮した旨を示す値を設定した圧縮フラグを付与したデータを出力し、バス使用量判定部が、バスが混んでいないと判定した場合には、特徴量に特徴量を圧縮していない旨を示す値を設定した圧縮フラグを付与したデータを出力する圧縮処理部と、圧縮処理部が出力したデータにタイムスタンプを付与したデータを生成するタイムスタンプ付与部と、タイムスタンプ付与部が生成したデータをバスに出力するデータ出力部と、をそれぞれ有する、第１特徴抽出部および第２特徴抽出部と、第１特徴抽出部および第２特徴抽出部のそれぞれが出力したデータの入力を受け付けるデータ入力部と、データ入力部が入力を受け付けた各データに含まれる圧縮フラグを判定する圧縮フラグ判定部と、圧縮フラグ判定部が圧縮フラグに特徴量を圧縮した旨を示す値が設定されていると判定した場合には、圧縮した特徴量を展開して特徴量を得る展開処理部と、データ入力部が入力を受け付けた各データに含まれるタイムスタンプを用いて、データ入力部が入力を受け付けたデータに含まれる特徴量または展開処理部が得た特徴量の同期をとる同期処理部と、を有する、同期部と、を備える、特徴抽出装置が提供される。
【００１０】
また、上記した同期部は、データを破棄する破棄処理部と、データ入力部が入力を受け付けた各データに含まれるタイムスタンプを用いて、入力を受け付ける処理が遅延しているか否かを判定し、入力を受け付ける処理が遅延していると判定した場合には、破棄処理部を介して、入力を受け付ける処理が遅延していると判定したデータを破棄するタイムスタンプ判定部と、をさらに有することとしてもよい。
【００１１】
また、上記した第１特徴抽出部は、第１特徴抽出部のリソースの使用量を監視するリソース使用量監視部と、リソース使用量監視部が監視したリソースの使用量をもとに、リソースに対する負荷が軽いか否かを判定し、リソースに対する負荷が軽くないと判定した場合には、特徴抽出処理部にコンテンツの特徴量の抽出を継続して実行させるリソース使用量判定部と、をさらに有することとしてもよい。
【００１２】
また、上記した第１特徴抽出部は、第１特徴抽出部のリソースの使用量を監視するリソース使用量監視部と、リソース使用量監視部が監視したリソースの使用量をもとに、リソースに対する負荷が軽いか否かを判定し、リソースに対する負荷が軽くないと判定した場合には、データ出力部を介して、タイムスタンプを出力するリソース使用量判定部と、をさらに有することとしてもよい。
【００１３】
また、上記した同期部は、同期部のリソースの使用量を監視するリソース使用量監視部と、リソース使用量監視部が監視したリソースの使用量をもとに、リソースに対する負荷が軽いか否かを判定し、リソースに対する負荷が軽くないと判定した場合には、破棄処理部を介して、データ入力部が入力を受け付けたデータを破棄するリソース使用量判定部と、をさらに有することとしてもよい。
【発明の効果】
【００１４】
本発明によれば、特徴抽出部と同期部との間の帯域が十分に確保できない場合であっても、特徴抽出部が同期部に特徴量を受け渡すことが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
《特徴抽出装置の構成について》
先ず、本実施形態に係る特徴抽出装置の構成について説明する。
【００１７】
図１は、本実施形態に係る特徴抽出装置の構成を示す図である。図１に示すように、特徴抽出装置１は、音特徴抽出部１０と、画特徴抽出部２０と、同期部３０とを備える。また、特徴抽出装置１は、特徴抽出以外の処理を行う主体となる処理部９０を備える。音特徴抽出部１０、画特徴抽出部２０、同期部３０および処理部９０は、特徴抽出装置１の内部バスであるバス４０を介して接続されている。なお、本実施形態においては、特徴抽出装置１が、コンテンツから特徴量を抽出する特徴抽出部の例として、音特徴抽出部１０と画特徴抽出部２０とを備えることとするが、これに限定されることはない。特徴抽出装置１は、特徴抽出部を少なくとも２つ（第１特徴抽出部および第２特徴抽出部）備えていればよい。
【００１８】
ここで、コンテンツとしては、例えば、音声情報および画像情報を組み合わせたもの等が考えられるが、特に限定されるものではない。
【００１９】
特徴量とは、コンテンツの特徴の大きさを示すものであり、特に限定されるものではない。コンテンツが音声情報であれば、例えば、音声の大きさ等、コンテンツが画像情報であれば、例えば、画像の輝度の大きさ等が特徴量となり得る。
【００２０】
《音特徴抽出部の構成について》
続いて、本実施形態に係る音特徴抽出部の構成について説明する。
【００２１】
図２は、本実施形態に係る音特徴抽出部の構成を示す図である。音特徴抽出部１０は、例えば、ＣＰＵによって構成され、特徴抽出装置１内のメモリ（不図示）に記憶されたプログラムを実行することによって、音特徴抽出部１０内に示された各構成が有する機能が実現される。
【００２２】
図２に示すように、音特徴抽出部１０は、データ入力部１１０と、音特徴抽出処理部１２０と、圧縮処理部１７０と、タイムスタンプ付与部１８０と、データ出力部１９０とを有する。
【００２３】
データ入力部１１０は、バス４０を介して、データの入力を受け付ける機能を有するものである。データ入力部１１０が入力を受け付けるデータには、コンテンツ等がある。
【００２４】
音特徴抽出処理部１２０は、コンテンツから音声に係る特徴量を抽出する機能を有するものである。音特徴抽出処理部１２０は、特徴抽出部の一例であり、抽出する特徴量の種類は音声に係る特徴量に限定されるものではない。
【００２５】
圧縮処理部１７０は、音特徴抽出部１０が抽出した特徴量を圧縮する機能を有するものである。圧縮形式の種類には様々なものがあり、特に限定されるものではない。
【００２６】
タイムスタンプ付与部１８０は、圧縮処理部１７０が圧縮した特徴量にタイムスタンプを付与したデータを生成する機能を有するものである。タイムスタンプは、現在の時刻を示す値である。タイムスタンプ付与部１８０は、時計機能を有するブロックから現在の時刻を取得することが可能であるとする。時計機能を有するブロックは、特徴抽出装置１に内蔵されていてもよいし、特徴抽出装置１の外部に備えられていてもよい。
【００２７】
データ出力部１９０は、タイムスタンプ付与部１８０が生成したデータをバス４０に出力する機能を有するものである。圧縮処理部１７０が特徴量を圧縮することによって、データ出力部１９０から出力されるデータの転送速度を、例えば、２７．９ｋＢ／ｓから６．９７５ｋＢ／ｓに低下させることができる。
【００２８】
図２に示すように、音特徴抽出部１０は、バス使用量監視部１５０と、バス使用量判定部１６０とをさらに備えていてもよい。
【００２９】
バス使用量監視部１５０は、バス４０の使用量を監視する機能を有する。バス使用量監視部１５０がバス４０の使用量を監視するタイミングは、特に限定されるものではない。バス使用量監視部１５０は、例えば、所定の時間ごとにバス４０の使用量を監視することとしてもよいし、バス使用量判定部１６０から指示があったときにバス４０の使用量を取得するようにしてもよい。
【００３０】
バス使用量判定部１６０は、バス使用量監視部１５０が監視したバス４０の使用量をもとに、バス４０が混んでいるか否かを判定する機能を有する。バス使用量判定部１６０が、バス４０が混んでいるか否かを判定する技術については、特に限定されるものではない。バス使用量判定部１６０は、例えば、バス４０の使用量の閾値を保持しており、閾値とバス４０の使用量とを比較して、バス４０の使用量が閾値を超えている場合にバス４０が混んでいると判定することとすればよい。また、バス４０の使用量が閾値を超えていない場合にバス４０が混んでいないと判定することとすればよい。
【００３１】
音特徴抽出部１０がバス使用量監視部１５０およびバス使用量判定部１６０を有する場合に、圧縮処理部１７０は、バス使用量判定部１６０が、バス４０が混んでいると判定した場合には、音特徴抽出処理部１２０が抽出した特徴量を圧縮する。それとともに、圧縮処理部１７０は、圧縮した特徴量に特徴量を圧縮した旨を示す値を設定した圧縮フラグを付与したデータを出力する。圧縮処理部１７０は、バス使用量判定部１６０が、バス４０が混んでいないと判定した場合には、特徴量に特徴量を圧縮していない旨を示す値を設定した圧縮フラグを付与したデータを出力する。
【００３２】
音特徴抽出部１０がバス使用量監視部１５０およびバス使用量判定部１６０を有する場合に、タイムスタンプ付与部１８０は、圧縮処理部１７０が出力したデータ（圧縮された特徴量）にタイムスタンプを付与したデータを生成する。
【００３３】
図２に示すように、音特徴抽出部１０は、リソース使用量監視部１３０と、リソース使用量判定部１４０とをさらに備えていてもよい。
【００３４】
リソース使用量監視部１３０は、リソースの使用量を監視する機能を有するものである。ここで、リソースは、例えば、音特徴抽出部１０のことである。リソース使用量監視部１３０がリソースの使用量を監視するタイミングは、特に限定されるものではない。リソース使用量監視部１３０は、例えば、所定の時間ごとにリソースの使用量を監視することとしてもよいし、リソース使用量判定部１４０から指示があったときにリソースを取得するようにしてもよい。
【００３５】
リソース使用量判定部１４０は、リソース使用量監視部１３０が監視したリソースの使用量をもとに、リソースに対する負荷が軽いか否かを判定する機能を有するものである。リソース使用量判定部１４０が、リソースに対する負荷が軽いか否かを判定する技術については、特に限定されるものではない。リソース使用量判定部１４０は、例えば、リソースの使用量の閾値を保持しており、閾値とリソースの使用量とを比較して、リソースの使用量が閾値を超えている場合にリソースに対する負荷が軽くないと判定することとすればよい。また、リソースの使用量が閾値を超えていない場合にリソースに対する負荷が軽いと判定することとすればよい。
【００３６】
リソース使用量判定部１４０は、リソースに対する負荷が軽くないと判定した場合には、例えば、音特徴抽出処理部１２０にコンテンツの特徴量の抽出を継続して実行させる。
【００３７】
このような構成によって、音特徴抽出部１０は、リソースに対する負荷が軽くないと判定した場合に、バス使用量監視部１５０、バス使用量判定部１６０、圧縮処理部１７０、タイムスタンプ付与部１８０、データ出力部１９０等に対する負荷を軽減できる。したがって、今後の処理において処理遅延が生じる可能性を低減することが可能となる。
【００３８】
リソース使用量判定部１４０は、リソースに対する負荷が軽くないと判定した場合には、例えば、データ入力部１１０を介して、タイムスタンプを出力することとしてもよい。
【００３９】
このような構成によって、音特徴抽出部１０は、リソースに対する負荷が軽くないと判定した場合に、バス使用量監視部１５０、バス使用量判定部１６０、圧縮処理部１７０等に対する負荷を軽減できる。したがって、今後の処理において処理遅延が生じる可能性を低減することが可能となる。また、タイムスタンプを出力することで、同期部３０において、特徴量の同期をとる処理を中断させることがなくなるという利点がある。
【００４０】
《画特徴抽出部の構成について》
続いて、本実施形態に係る画特徴抽出部の構成について説明する。
【００４１】
図３は、本実施形態に係る画特徴抽出部の構成を示す図である。画特徴抽出部２０は、例えば、ＣＰＵによって構成され、特徴抽出装置１内のメモリ（不図示）に記憶されたプログラムを実行することによって、画特徴抽出部２０内に示された各構成が有する機能が実現される。
【００４２】
図３に示すように、画特徴抽出部２０は、音特徴抽出処理部１２０の代わりに画特徴抽出処理部２２０を有する点において、音特徴抽出部１０と異なる。圧縮処理部１７０が特徴量を圧縮することによって、データ出力部１９０から出力されるデータの転送速度を、例えば、３１８．０ｋＢ／ｓから７９．５ｋＢ／ｓに低下させることができる。
【００４３】
画特徴抽出処理部２２０は、コンテンツから画像に係る特徴量を抽出する機能を有するものである。画特徴抽出処理部２２０は、特徴抽出部の一例であり、抽出する特徴量の種類は画像に係る特徴量に限定されるものではない。
【００４４】
《同期部の構成について》
続いて、本実施形態に係る同期部の構成について説明する。
【００４５】
図４は、本実施形態に係る同期部の構成を示す図である。同期部３０は、例えば、ＣＰＵによって構成され、特徴抽出装置１内のメモリ（不図示）に記憶されたプログラムを実行することによって、同期部３０内に示された各構成が有する機能が実現される。
【００４６】
図４に示すように、同期部３０は、データ入力部３１０と、展開処理部３５０と、同期処理部３６０と、データ出力部１９０とを有する。
【００４７】
データ入力部３１０は、音特徴抽出部１０および画特徴抽出部２０のそれぞれが出力したデータの入力を受け付ける機能を有する。
【００４８】
展開処理部３５０は、データ入力部３１０が入力を受け付けた各データに含まれる、圧縮処理部１７０（音特徴抽出部１０の圧縮処理部１７０および画特徴抽出部２０の圧縮処理部１７０）が圧縮した特徴量を展開して各特徴量を得る機能を有する。展開形式は、特徴量を圧縮した際の圧縮形式に対応した形式である。
【００４９】
同期処理部３６０は、同期処理部３６０が入力を受け付けた各データに含まれるタイムスタンプを用いて、展開処理部３５０が得た各特徴量の同期をとる機能を有する。同期をとる際には、同期処理部３６０が入力を受け付けた各データに含まれるタイムスタンプ同士が一致する特徴量の対応付けを行う。
【００５０】
このような構成によって、特徴抽出部（音特徴抽出部１０または画特徴抽出部２０）が特徴量を圧縮し、同期部３０が圧縮された特徴量を展開することができる。したがって、特徴抽出部と同期部３０との間の帯域が十分に確保できない場合であっても、特徴抽出部が同期部３０に特徴量を受け渡すことが可能となる。
【００５１】
図４に示すように、同期部３０は、圧縮フラグ判定部３２０をさらに備えていてもよい。
【００５２】
圧縮フラグ判定部３２０は、データ入力部３１０が入力を受け付けた各データに含まれる圧縮フラグを判定する機能を有する。
【００５３】
同期部３０が圧縮フラグ判定部３２０を有する場合に、圧縮フラグ判定部３２０が圧縮フラグに特徴量を圧縮した旨を示す値が設定されていると判定した場合には、展開処理部３５０は、圧縮した特徴量を展開して特徴量を得る。
【００５４】
同期部３０が圧縮フラグ判定部３２０を有する場合に、同期処理部３６０は、データ入力部３１０が入力を受け付けた各データに含まれるタイムスタンプを用いて、データ入力部３１０が入力を受け付けたデータに含まれる特徴量または展開処理部３５０が得た特徴量の同期をとる。
【００５５】
このような構成によって、特徴抽出部（音特徴抽出部１０または画特徴抽出部２０）は、バス４０が混んでいる場合に、圧縮した特徴量をバス４０に出力することで、バス４０に対する負荷を軽減できる。また、特徴抽出部は、バス４０が混んでいない場合に、特徴量を圧縮しないでバス４０に出力することで、特徴抽出部の圧縮処理部１７０と展開処理部３５０に対する負荷を軽減することができる。したがって、今後の処理において処理遅延が生じる可能性を低減することが可能となる。
【００５６】
図４に示すように、同期部３０は、破棄処理部３４０と、タイムスタンプ判定部３３０とをさらに備えていてもよい。
【００５７】
破棄処理部３４０は、データを破棄する機能を有するものである。
【００５８】
タイムスタンプ判定部３３０は、データ入力部３１０が入力を受け付けた各データに含まれるタイムスタンプを用いて、データの入力を受け付ける処理が遅延しているか否かを判定する機能を有するものである。タイムスタンプ判定部３３０は、データの入力を受け付ける処理が遅延していると判定した場合には、破棄処理部３４０を介して、データの入力を受け付ける処理が遅延していると判定したデータを破棄する。
【００５９】
タイムスタンプ判定部３３０が、データの入力を受け付ける処理が遅延しているか否かを判定する技術については、特に限定されるものではない。タイムスタンプ判定部３３０は、例えば、遅延時間の閾値を保持しており、現在の時刻からデータ入力部３１０が入力を受け付けた各データに含まれるタイムスタンプが示す時刻を減算することによって差分を算出すればよい。そして、閾値と算出した差分とを比較して、算出した差分が閾値を超えている場合にデータの入力を受け付ける処理が遅延していると判定することとすればよい。また、算出した差分が閾値を超えていない場合にデータの入力を受け付ける処理が遅延していないと判定することとすればよい。閾値は１つであってもよいし、複数あってもよい。例えば、閾値が２つ（値の大きい第１閾値および値の小さい第２閾値）存在する場合には、算出した差分が、第１閾値を超えた場合に、データの入力を受け付ける処理が非常に遅延していると判定すればよい。また、算出した差分が、第２閾値を超えた場合に、データの入力を受け付ける処理が遅延していると判定すればよい。
【００６０】
タイムスタンプ判定部３３０は、時計機能を有するブロックから現在の時刻を取得することが可能であるとする。時計機能を有するブロックは、特徴抽出装置１に内蔵されていてもよいし、特徴抽出装置１の外部に備えられていてもよい。
【００６１】
このような構成によって、同期部３０は、データの入力を受け付ける処理が遅延している場合に、同期部３０は、展開処理部３５０、同期処理部３６０およびデータ出力部３７０に対する負荷を軽減できる。したがって、今後の処理において処理遅延が生じる可能性を低減することが可能となる。
【００６２】
なお、特徴量は、コンテンツそのものではないので、一時的に特徴量の破棄が生じたとしても、コンテンツそのものが失われた場合と比較して、ユーザの利便性は低下しないことが想定される。例えば、特徴量が破棄されることで、オートチャプタが適切に打たれない事態が生じる可能性等があるが、コンテンツそのものが失われた場合と比較するとユーザの利便性は低下しないと想定される。
【００６３】
図４に示すように、同期部３０は、リソース使用量監視部３８０と、リソース使用量判定部３９０とをさらに備えていてもよい。
【００６４】
リソース使用量監視部３８０は、リソースの使用量を監視する機能を有するものである。ここで、リソースは、例えば、同期部３０のことである。その他について、音特徴抽出部１０が有するリソース使用量監視部１３０と同一の機能を有するため、詳細な説明は省略する。
【００６５】
リソース使用量判定部３９０は、リソース使用量監視部３８０が監視したリソースの使用量をもとに、リソースに対する負荷が軽いか否かを判定する機能を有するものである。リソース使用量判定部３９０が、リソースに対する負荷が軽いか否かを判定する技術については、音特徴抽出部１０が有するリソース使用量監視部１３０と同一の技術が想定されるため、詳細な説明は省略する。
【００６６】
リソース使用量判定部３９０は、リソースに対する負荷が軽くないと判定した場合には、破棄処理部３４０を介して、データ入力部３１０が入力を受け付けたデータを破棄する。
【００６７】
このような構成によって、同期部３０は、リソースに対する負荷が軽くないと判定した場合に、圧縮フラグ判定部３２０、タイムスタンプ判定部３３０、展開処理部３５０、同期処理部３６０、データ出力部３７０等に対する負荷を軽減できる。したがって、今後の処理において処理遅延が生じる可能性を低減することが可能となる。
【００６８】
《データの構造について》
続いて、本実施形態に係る同期部が入力を受け付けるデータの構造について説明する。
【００６９】
図５は、本実施形態に係る同期部が入力を受け付けるデータの構造を示す図である。図５に示すように、同期部３０が入力を受け付けるデータは、タイムスタンプ６１と、圧縮フラグ６２と、特徴量６３とを含むものである。特徴量６３が圧縮されていない場合には、圧縮フラグ６２に、特徴量を圧縮していない旨を示す値が設定されている。特徴量６３が圧縮されている場合には、圧縮フラグ６２に、特徴量を圧縮している旨を示す値が設定されている。
【００７０】
《特徴抽出部が実行する処理について》
続いて、特徴抽出部が実行する処理について説明する。
【００７１】
図６は、本実施形態に係る特徴抽出部（音特徴抽出部１０および画特徴抽出部２０）が実行する処理の流れを示すフローチャートである。
【００７２】
特徴抽出部は、コンテンツから特徴量を抽出し（ステップＳ１０１）、特徴抽出部に対する負荷が軽いか否かを判定する（ステップＳ１０２）。特徴抽出部は、負荷が軽くないと判定した場合には（ステップＳ１０２で［ＮＯ］）、ステップＳ１０１に戻る。
【００７３】
特徴抽出部は、負荷が軽いと判定した場合には（ステップＳ１０２で［ＹＥＳ］）、内部バス（バス４０）が混んでいるか否かを判定する（ステップＳ１０３）。特徴抽出部は、内部バス（バス４０）が混んでいると判定した場合には（ステップＳ１０３で［ＹＥＳ］）、特徴量を圧縮して（ステップＳ１０４）、ステップＳ１０５に進む。特徴抽出部は、特徴量を圧縮するとともに、特徴量を圧縮している旨を示す値が設定された圧縮フラグ６２を特徴量に付与する。
【００７４】
特徴抽出部は、タイムスタンプを付与して（ステップＳ１０５）、データを生成し、生成したデータを、内部バス（バス４０）に出力する（ステップＳ１０６）。出力されたデータは、同期部３０に入力される。特徴抽出部は、ステップＳ１０１に戻り、処理を繰り返す。
【００７５】
《同期部が実行する処理について》
続いて、同期部が実行する処理について説明する。
【００７６】
図７は、本実施形態に係る同期部が実行する処理の流れを示すフローチャートである。
【００７７】
同期部３０は、特徴抽出部から出力されたデータの入力を受け付けると（ステップＳ２０１）、同期部３０に対する負荷が軽いか否かを判定する（ステップＳ２０２）。同期部３０は、負荷が軽くないと判定した場合には（ステップＳ２０２で［ＮＯ］）、入力を受け付けたデータを破棄して（ステップＳ２０３）、ステップＳ２０１に戻る。
【００７８】
同期部３０は、負荷が軽いと判定した場合には（ステップＳ２０２で［ＹＥＳ］）、処理が非常に遅延しているか否かを判定する（ステップＳ２０４）。同期部３０は、処理が非常に遅延していると判定した場合には（ステップＳ２０４で「ＹＥＳ」）、入力を受け付けたデータを破棄して（ステップＳ２０５）、ステップＳ２０１に戻る。
【００７９】
同期部３０は、処理が非常に遅延してはいないと判定した場合には（ステップＳ２０４で「ＮＯ」）、特徴量が圧縮されているか否かを判定する（ステップＳ２０６）。特徴量が圧縮されているか否かの判定は、特徴量に付与されている圧縮フラグを参照することによって可能となる。同期部３０は、特徴量が圧縮されていないと判定した場合には（ステップＳ２０６で「ＮＯ」）、ステップＳ２１０に進む。
【００８０】
同期部３０は、特徴量が圧縮されていると判定した場合には（ステップＳ２０６で「ＹＥＳ」）、処理が遅延しているか否かを判定する（ステップＳ２０７）。同期部３０は、処理が遅延していると判定した場合には（ステップＳ２０７で「ＹＥＳ」）、入力を受け付けたデータを破棄して（ステップＳ２０８）、ステップＳ２０１に戻る。同期部３０は、処理が遅延していないと判定した場合には（ステップＳ２０７で「ＮＯ」）、圧縮された特徴量を展開して（ステップＳ２０９）、タイムスタンプを用いて、特徴量の同期をとる同期処理を行う（ステップＳ２１０）。同期部３０は、ステップＳ２０１に戻り、処理を繰り返す。
【００８１】
《本実施形態の変形例について》
上記では、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８２】
上記したように、画像のヒストグラム算出処理など、処理が単純で、かつ、処理対象が膨大な場合には、特徴抽出処理の一部は、ハードウェアで実現される場合もある。この場合、画特徴抽出部はハードウェアとソフトウェアとで画像に係る特徴抽出を行い、その結果を統合して同期部に送信する。ハードウェアとＣＰＵとのスループットを向上させるためには、あらかじめハードウェアで圧縮された特徴量と、タイムスタンプとがハードウェア上に用意されていることとしてもよい。
【図面の簡単な説明】
【００８３】
【図１】本実施形態に係る特徴抽出装置の構成を示す図である。
【図２】本実施形態に係る音特徴抽出部の構成を示す図である。
【図３】本実施形態に係る画特徴抽出部の構成を示す図である。
【図４】本実施形態に係る同期部の構成を示す図である。
【図５】本実施形態に係る同期部が入力を受け付けるデータの構造を示す図である。
【図６】本実施形態に係る特徴抽出部が実行する処理の流れを示すフローチャートである。
【図７】本実施形態に係る同期部が実行する処理の流れを示すフローチャートである。
【符号の説明】
【００８４】
１      特徴抽出装置
１０    音特徴抽出部
２０    画特徴抽出部
３０    同期部
４０    バス
６１    タイムスタンプ
６２    圧縮フラグ
６３    特徴量
９０    処理部
１１０  データ入力部
１２０  音特徴抽出処理部
１３０  リソース使用量監視部
１４０  リソース使用量判定部
１５０  バス使用量監視部
１６０  バス使用量判定部
１７０  圧縮処理部
１８０  タイムスタンプ付与部
１９０  データ出力部
２２０  画特徴抽出処理部
３１０  データ入力部
３２０  圧縮フラグ判定部
３３０  タイムスタンプ判定部
３４０  破棄処理部
３５０  展開処理部
３６０  同期処理部
３７０  データ出力部
３８０  リソース使用量監視部
３９０  リソース使用量判定部
【図１】
2010021872.tif 000003
【図２】
2010021872.tif 000004
【図３】
2010021872.tif 000005
【図４】
2010021872.tif 000006
【図５】
2010021872.tif 000007
【図６】
2010021872.tif 000008
【図７】
2010021872.tif 000009