(57)【要約】【課題】  全ての記録対象や記録環境に対応した検出用閥値や検出用パターンを作成することなく、かつ、多くのコストを要することなく新しい記録環境や記録対象にも対応可能とする。【解決手段】  検出用パターン作成部１３は、入力された過去のデータパターンを元に検出用パターンを作成し、それを用いて特徴箇所の抽出を行う。特徴箇所を検出するためのデータとして、記録データ自身を用いる方法と、参考データを用いる方法とがある。検出に際し、特徴箇所検出部１４は、過去のデータパターンから検出用パターンを作成し、この検出用パターンとマッチするものは通常のデータパターンと認識し、マッチしないデータパターンは特徴箇所のデータパターンであるものと認識する。そして、特徴箇所のデータパターンが検出された箇所には、マーキング部１５において索引付けを行う。【選択図】      図１
2005250758.tif 000002
【特許請求の範囲】
【請求項１】
記録された連続データから特徴箇所を検出して索引付けを行う索引付けシステムであって、
前記連続データを、細分化された複数の入力データパターンに分割して前処理を実行するパターン化処理部と、
蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成する検出用パターン作成部と、
前記検出用パターンを元に、前記入力データパターンから特徴箇所のデータパターンを検出する特徴箇所検出部と、
前記特徴箇所として検出されたデータパターンに該当する記録箇所に索引付けを行うマーキング部と、
を備えたことを特徴とする索引付けシステム。
【請求項２】
連続データを記録しながら特徴箇所を検出して索引付けを行う索引付け記録システムであって、
前記連続データを、細分化された複数の入力データパターンに分割して前処理を実行するパターン化処理部と、
蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成する検出用パターン作成部と、
前記検出用パターンを元に、前記入力データパターンから特徴箇所のデータパターンを検出する特徴箇所検出部と、
前記連続データの記録時、前記特徴箇所として検出されたデータパターンに該当する記録箇所に索引付けを行うマーキング部と、
を備えたことを特徴とする索引付け記録システム。
【請求項３】
前記マーキング部は、
前記特徴箇所と判別された部分のみ記録することを特徴とする請求項２に記載の索引付け記録システム。
【請求項４】
記録の対象となる連続データとは別に、特徴箇所検出に有効な連続データを参考データとして取得し、当該取得された参考データから特徴箇所を検出し、その箇所に該当する連続データヘの索引付けを行う索引付けシステムであって、
前記記録された参考データを、細分化された複数の入力データパターンに分割し、前処理を行うパターン化部と、
蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成する検出用パターン作成部と、
前記検出用パターンを元に、前記入力データパターンから特徴箇所のデータパターンを検出する特徴箇所検出部と、
前記特徴箇所として判別されたデータパターンに該当する、前記記録された連続データの箇所に索引付けを行うマーキング部と、
を備えたことを特徴とする索引付けシステム。
【請求項５】
記録の対象となる連続データとは別に、特徴箇所検出に有効な連続データを参考データとして取得し、当該取得された参考データから特徴箇所を検出し、その箇所に該当する連続データヘの索引付けを行う索引付け記録システムであって、
前記記録された参考データを、細分化された複数の入力データパターンに分割し、前処理を行うパターン化部と、
蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成する検出用パターン作成部と、
前記検出用パターンを元に、前記入力データパターンから特徴箇所のデータパターンを検出する特徴箇所検出部と、
前記連続データ記録時に前記参考データからリアルタイムに特徴箇所を検出し、前記連続データ索引付けを行うマーキング部と、
を備えたことを特徴とする索引付け記録システム。
【請求項６】
前記マーキング部は、
前記特徴箇所と判別された部分のみを記録することを特徴とする請求項５に記載の索引付け記録システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、動画像や音声データ、医療用生体センサデータ等、連続データから特徴箇所を検出して索引付けを行う、索引付けおよびその記録システムに関する。
【背景技術】
【０００２】
記録媒体の大容量化や各種周辺機器の普及により、連続するデータを長時間に渡って記録することが容易に行うことができるようになってきた。しかしながら、このような長時間の連続データに関し、索引を付与せずに利用するのは非常に不便であり、このため、効率的に利用するための索引付けの技術が重要になっている。
【０００３】
索引付け方法として従来から多数提案がなされている。例えば、データ記録時に記録者が索引付けを行う方法がある。具体的に、記録者が映像信号や音楽信号を専用のビデオカメラで記録しながら、重要と思われる場面をメモリカードに記録する方法であり、重要と思われる場面の記録時に、記録者が専用ビデオカメラに装備した索引付け用スイッチを押すことで、その静止画、タイムコード、スイッチ番号をメモリカードに記録し、検索を容易にするものである（例えば、特許文献１参照）。
【０００４】
また、予め用意した検出用閾値や検出用パターンを用いて検出や索引付けを行う方法がある。具体的には、動画データと音声データを有するＡＶデータの検索システムであり、場面中の音量があらかじめ設定した閾値を越えた際に索引付けするものである（例えば、特許文献２参照）。更には、記録環境や記録対象に応じて複数の検出用閾値や検出用パターンを用意する方法がある。具体的には、映像情報から特徴シーンを抽出するものであり、映像情報からシーン毎に検出した特微量を、ジャンルに応じた検出用閾値で評価することにより検出を効率化するもの（例えば、特許文献３参照）等々である。
【特許文献１】特開平１１−１２７４１０号公報
【特許文献２】特開平８−１６６１０号公報
【特許文献３】特開２００３−２８３９９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した特許文献１に開示された技術によれば、記録者が意識的に索引付け操作を行う必要があるが、記録者が自らの体験を記録する場合などで、記録者が記録以外の動作に集中したい場合には操作が困難である。また、記録時に操作者が存在しない場合や、記録者が記録状況を意識しない医療用生体センサデータ測定時などにも、索引付けを行うことができなかった。
また、特許文献２に開示された、予め検出用閾値や検索用パターンを用意する方式によれば上記した問題は解決されるものの、記録するデータ形式や分野に関する専門知識が必要であり、実施準備に多くのコストを要する。その上、あらゆる記録環境、あらゆる記録対象に対して有効な検出用閾値や検索用パターンを作成することが不可能であり、対応できる記録環境や記録対象の範囲に限界が生じるという問題がある。
【０００６】
この問題を解決するために特許文献３に開示された技術は有用であるが、記録する対象や記録を行う環境に応じて検出用閾値や検索用パターンを用意しなければならないため、その分、準備にかかるコストが大きくなる。また既に検出用閾値や検出用パターンが用意されていないような新しい環境に移動した場合などには、適切な特徴箇所の検出を行えないという問題がある。さらに、検出用閾値や検出用パターンが複数用意できてもその切り替えは手動で行う必要があり、徐々に環境が変化するような場合等にも効率的な特徴箇所の検出が行えないなどの問題があった。
【０００７】
本発明は上記諸々の事情に鑑みてなされたものであり、全ての記録対象や記録環境に対応した検出用閥値や検出用パターンを作成することなく、かつ、多くのコストを要することなく新しい記録環境や記録対象にも対応可能な、索引付けおよびその記録システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記した課題を解決するために本発明は、記録された連続データから特徴箇所を検出して索引付けを行う索引付けシステムであって、前記連続データを、細分化された複数の入力データパターンに分割して前処理を実行するパターン化処理部と、蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成する検出用パターン作成部と、前記検出用パターンを元に、前記入力データパターンから特徴箇所のデータパターンを検出する特徴箇所検出部と、前記特徴箇所として検出されたデータパターンに該当する記録箇所に索引付けを行うマーキング部と、を備えたことを特徴とする。
【０００９】
また、本発明は、連続データを記録しながら特徴箇所を検出して索引付けを行う索引付け記録システムであって、前記連続データを、細分化された複数の入力データパターンに分割して前処理を実行するパターン化処理部と、蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成する検出用パターン作成部と、前記検出用パターンを元に、前記入力データパターンから特徴箇所のデータパターンを検出する特徴箇所検出部と、前記連続データの記録時、前記特徴箇所として検出されたデータパターンに該当する記録箇所に索引付けを行うマーキング部と、を備えたことを特徴とする。
【００１０】
また、本発明において、前記マーキング部は、前記特徴箇所と判別された部分のみ記録することを特徴とする。
【００１１】
また、本発明は、記録の対象となる連続データとは別に、特徴箇所検出に有効な連続データを参考データとして取得し、当該取得された参考データから特徴箇所を検出し、その箇所に該当する連続データヘの索引付けを行う索引付けシステムであって、前記記録された参考データを、細分化された複数の入力データパターンに分割し、前処理を行うパターン化部と、蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成する検出用パターン作成部と、前記検出用パターンを元に、前記入力データパターンから特徴箇所のデータパターンを検出する特徴箇所検出部と、前記特徴箇所として判別されたデータパターンに該当する、前記記録された連続データの箇所に索引付けを行うマーキング部と、を備えたことを特徴とする。
【００１２】
また、本発明は、記録の対象となる連続データとは別に、特徴箇所検出に有効な連続データを参考データとして取得し、当該取得された参考データから特徴箇所を検出し、その箇所に該当する連続データヘの索引付けを行う索引付け記録システムであって、前記記録された参考データを、細分化された複数の入力データパターンに分割し、前処理を行うパターン化部と、蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成する検出用パターン作成部と、前記検出用パターンを元に、前記入力データパターンから特徴箇所のデータパターンを検出する特徴箇所検出部と、前記連続データ記録時に前記参考データからリアルタイムに特徴箇所を検出し、前記連続データ索引付けを行うマーキング部と、を備えたことを特徴とする。
【００１３】
また、本発明において、前記マーキング部は、前記特徴箇所と判別された部分のみを記録することを特徴とする。
【００１４】
上記構成において、検出用パターン作成部は、入力された過去のデータパターンを元に検出用パターンを作成し、それを用いて特徴箇所の抽出を行う。特徴箇所を検出するためのデータとして、記録データ自身を用いる方法と、参考データを用いる方法とがある。
検出に際し、特徴箇所検出部は、過去のデータパターンから作成した検出用パターンを用いる。検出用パターンとしては、その検出用パターンにマッチしたものを特徴箇所のデータパターンとし、マッチしないものを通常のデータパターンとするような検出用パターンも、逆に、その検出用パターンにマッチしたものを通常のデータパターンとし、マッチしないものを特徴箇所のデータパターンとするような検出用パターンも利用可能である。
そして、特徴箇所のデータパターンが検出された箇所には、マーキング部において索引付けを行う。
本発明システムの動作開始時には既知のデータパターンが無いため、いかなるデータパターンが入力されても特徴箇所のデータパターンであると判定してしまう。
しかし時間が経過して既知のデータパターンが十分に蓄積されると、それら既知のデータパターンから作成された検出用パターンにマッチするものは通常のデータパターンであると認識されるようになる。
既知のデータパターンはパターンデータベース部に蓄積されており、データを記録する環境が変わった場合、パターンデータベース部において古いデータパターンを廃棄する等の管理を行うことにより、古い環境のデータパターンが徐々に消滅し、変わりに新しい環境のデータパターンが蓄積されていく。このようにして、徐々に新しい環境に応じたパターンデータベースが完成し、新しい環境に対応した索引付けが行われるようになる。
【発明の効果】
【００１５】
本発明によれば、全ての記録対象や記録環境に対応した検出用閥値や検出用パターンを作成することなく、かつ、多くのコストを要することなく新しい記録環境や記録対象にも対応可能な、索引付けおよびその記録システムを提供することができる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明の索引付けシステムの一実施形態を示すブロック図である。図１において、本実施形態の索引付けシステムは、記録された連続データから特徴箇所を検出して索引付けを行う索引付けシステムであって、パターン化処理部１１と、パターンデータベース部１２と、検出用パターン作成部１３と、特徴箇所検出部１４と、マーキング部１５で構成される。
パターン化処理部１１は、連続データを、細分化された複数の入力データパターンに分割して前処理（単純化処理）を実行し、特徴箇所検出部１４へ引き渡す。また、パターンデータベース部１２は、過去の入力データパターンをデータパターン記憶装置１２１に蓄積して管理する機能を持つ。
検出用パターン作成部１３は、データパターン記憶装置１２１に蓄積された過去の入力データパターンを元に、特徴箇所を検出する検出用パターンを作成し、パターンデータベース部１２へ供給する。また、特徴箇所検出部１４は、入力データパターンを必要に応じてパターンデータベース部１２へ供給する。マーキング部１５は、特徴箇所として検出されたデータパターンに該当する記録箇所に索引付けを行う機能を持つ。
【００１７】
図２に、本発明における索引付けシステムの基本動作の流れが示されている。以下、図２に示すフローチャートを参照しながら図１に示す索引付けシステムの動作について説明する。
連続データ１０は、記録された連続データであり、本発明システムでは、この連続データ１０に対する索引付けを行う。連続データ１０としては、映像データ、音声データ、映像と音声の複合データ、医療用センサデータ等、複数のデータが考えられるが、以下では医療用センサデータの場合を例に挙げて説明を行う。
あらかじめ連続データ１０として記録された医療用センサデータは、パターン化処理部１１において、データ分割処理（Ｓ２１）、前処理としての単純化処理（Ｓ２２）が行なわれ、複数個のパターン（１周期分ごとの心電データや、一定時間における脈拍数の変化等）に分割（パターン化）される。この際、データパターンに対してタイムスタンプや開始時点からのフレーム数等の属性情報を付与することも可能であり、ここでは、タイムスタンプを属性情報としてデータパターンに付与する場合を考える。
【００１８】
ここで作成されたデータパターンは特徴箇所検出部１４へ順次送られ、特徴箇所検出部１４で特徴箇所のデータパターンか否かが判定される（Ｓ２３）。この判定には検出用パターン作成部１３で作成された検出用パターンとの比較を用いるが、マッチする場合を通常と判別するような検出用パターンも、マッチする場合を特徴箇所と判別するような検出用パターンも利用可能である。また、この比較には過去のデータパターンとの完全一致だけでなく、誤差を許容するパターンマッチング等、高度なパターンマッチングを利用することも可能である。本実施形態では、検出用パターンとマッチした場合を通常のデータパターン、マッチしない場合を特徴箇所のデータパターンと判別する例を扱う。
本実施形態において、検出用パターンとマッチしない場合、すなわちそのデータパターンが特徴箇所のデータパターンであると判別された場合、特徴箇所検出部１４では該当データパターンのタイムスタンプをマーキング部１５に通知する。それにより記録データの該当箇所に索引付けが行われる（Ｓ２５）。本実施形態では、連続データ自身に索引付けの処理を行う方式を示しているが、別途外部データにマーキング箇所を記録することも可能である。
【００１９】
特徴箇所検出部１４で判別処理が実行されると、データパターンはパターンデータベース部１２においてデータパターン記憶装置１２１へ追加登録され、もしくは情報更新が行われる（Ｓ２４）。データパターン記憶装置１２１の内部に該当するデータパターンが存在する場合は新規に登録が行われ、すでに登録されている場合には最新の登録済みデータパターン時刻の更新処理等が行われる。
ここで、例えば、パターンデータベース部１２のデータパターン管理において同一データパターンのカウントを行っていれば、すでに登録されているデータパターンと同一のものに対してはカウントアップを行い、検出用パターンの作成に、その統計を利用することも可能である。また、新規のデータパターン登録時、古いデータパターンを削除する等の処理も可能である。
【００２０】
図３は、本発明の索引付け記録システムの一実施形態を示すブロック図である。ここでは、本発明システムに外部接続される連続データ入力装置１０から入力される連続データがシステム外部のデータ記憶装置２０に索引付けされながら記録される例を示す。但し、本実施形態以外にも、連続データ入力装置１０がデータ記憶装置２０と一体である場合や、本発明システムがデータ記憶装置２０と一体である場合、すべてが一体化されている場合等もここに示す実施形態に含まれるものとする。
連続データ入力装置１０としては、ビデオなどの映像入力装置や、音声入力、医療センサデータ等が考えられるが、ここでは、ビデオカメラを用いて映像入力を行う場合を示す。なお、図３以降において、図１と同じ番号が付されたブロックは、図１に示すそれと同じであり、重複を回避する意味で詳細な説明は省略し、その差異についてのみ説明する。
【００２１】
図３に示す索引付け記録システムにおいて、連続データ入力装置１０（ビデオカメラ）から入力された画像はパターン化処理部１１においてデータ分割、単純化等の処理が行われるが、ここでは、例えば、ビデオの画像フレーム単位に分割され、そのフレームを１０×１０ピクセルのモザイク画像へと単純化するような例が考えられる。このデータパターンは、特徴箇所検出部１４において特徴箇所のデータパターンか否かが判別され、そこで特徴箇所のデータパターンであると判断された場合には、マーキング部１５で索引付けが行なわれると共に外部のデータ記憶装置２０に記録される。
なお、上記した実施形態によれば、すべてのデータに対して索引付けを行いながら記録を行うが、マーキング処理部１５において索引付けを行う箇所のみ記録を行っても良い。
【００２２】
図４は、本発明における索引付けシステムの他の実施形態を示すブロック図である。ここでは、連続データ１０（映像データ等）と同時に記録された参考データ３０（生体センサデータ）が記録されており、その参考データ３０に基づいて記録データヘの索引付けが行なわれる。
ここでは、図１に示す実施形態と同様の処理を参考データに対して行い、検出された特徴箇所に該当する記録データ部分に対して索引付けを行う。当然、記録データに直接索引付けを行う以外にも、別の記録装置にそのタイムスタンプ等を記録することで、記録データヘの索引付けを行うことも可能である。
【００２３】
図５は、本発明における索引付け記録システムの他の実施形態を示すブロック図である。図４に示す索引付けシステムでは、連続データと同時に、特徴箇所検出に使用する参考データを保存しておく例を示したが、ここでは、記録時に参考データから特徴箇所を検出し、連続データに索引付けを行いながら記録を行うケースを示す。
具体的に、映像入力と同時に、参考データとして音声データを入力し（参考データ入力装置３０）、その特徴箇所検出を行うことにより、索引付けを行いながら映像をデータ記憶装置２０に記録するシステムを例として示している。ここでは、本発明システムを用いて音声データの特徴箇所検出を行い、その特徴箇所を映像データの特徴箇所として索引付けしながら記録している。
なお、ここでは、特徴箇所以外の連続データも記録されているが、特徴箇所についてのみ記録を行っても良い。
【００２４】
以上説明のように本発明は、検出用パターンを事前に用意せず、入力された過去のデータパターンを元に検出用パターンを作成し、それを用いて特徴箇所の抽出を行うものである。上記したように、特徴箇所を検出するためのデータとして、記録データ自身を用いる方法と、参考データを用いる方法とがある。検出に際し、本発明システムは、過去のデータパターンから検出用パターンを作成し、この検出用パターンとマッチするものは通常のデータパターンと認識し、マッチしないデータパターンは特徴箇所のデータパターンであるものと認識する。そして、特徴箇所のデータパターンが検出された箇所には、マーキング部１５において索引付けを行う。
【００２５】
本発明システムの動作開始時には既知のデータパターンが無いため、いかなるデータパターンが入力されても特徴箇所のデータパターンであると判定してしまう。しかし時間が経過して既知のデータパターンが十分に蓄積されると、それら既知のデータパターンから作成された検出用パターンにマッチするものは通常のデータパターンであると認識されるようになる。既知のデータパターンはパターンデータベース部１２に蓄積されており、データを記録する環境が変わった場合、パターンデータベース部１２において古いデータパターンを廃棄する等の管理を行うことにより、古い環境のデータパターンが徐々に消滅し、変わりに新しい環境のデータパターンが蓄積されていく。このようにして、徐々に新しい環境に応じたパターンデータベースが完成し、新しい環境に対応した索引付けが行われるようになる。
このことにより、全ての記録対象や記録環境に対応した検出用閥値や検出用パターンを作成することなく、かつ、多くのコストを要することなく新しい記録環境や記録対象にも対応可能な、索引付けおよびその記録システムを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の索引付けシステムの一実施形態を示すブロック図である。
【図２】図１に示す実施形態の基本動作を示すフローチャートである。
【図３】本発明の索引付け記録システムの一実施形態を示すブロック図である。
【図４】本発明の索引付けシステムの他の実施形態を示すブロック図である。
【図５】本発明の索引付け記録システムの他の実施形態を示すブロック図である。
【符号の説明】
【００２７】
１０…連続データ（入力装置）、１１…パターン化処理部、１２…パターンデータベース部、１３…検出用パターン作成部、１４…特徴箇所検出部、１５…マーキング部、２０…データ記憶装置、３０…参考データ入力装置、１２１…データパターン記憶装置
【図１】
2005250758.tif 000003
【図２】
2005250758.tif 000004
【図３】
2005250758.tif 000005
【図４】
2005250758.tif 000006
【図５】
2005250758.tif 000007