(57)【要約】【課題】  人間の記憶と想起を補助するためのウェアラブル機器を実現する。【解決手段】  カメラ、マイク等を含む情報収集部でユーザが無意識な状態であっても情報を常に取り込み、それら情報の内容や変化を画像の輝度情報や音圧情報などをもとに認識する。想起時には輝度情報や音圧情報により識別処理された情報をもとに要なファイルを検索し、読出・表示制御部が格納情報を読み出し表示することで人間の想起をサポートする。【選択図】  図１
2005094170.tif 000002
【特許請求の範囲】
【請求項１】
磁気ディスク装置と、少なくとも映像情報収集のためのカメラ及び音情報収集のためのマイクを含むセンサ部と、このセンサ部から入力された入力情報の各々を各情報対応に定められた時間長で区切ってユニット化するユニット化手段と、カメラ及びマイクからの映像情報及び音情報の前記ユニット情報ごとに映像を分割した部分毎の輝度情報をもとにその認識処理を行って認識結果を識別子として出力する映像・音認識手段と、この認識手段により設定された識別子、及び当該ユニット情報がセンサ部から入力された時刻を表す記録時刻を含むヘッダを前記ユニット情報に付して記録情報ユニットを生成する合成手段と、この合成手段により生成された記録情報ユニットを磁気ディスク装置に格納する記録制御手段と、磁気ディスク装置に格納された記録情報を読み出して表示手段に表示する読出・表示制御手段とを備えたことを特徴とする記憶システム。
【請求項２】
磁気ディスク装置と、少なくとも映像情報収集のためのカメラ及び音情報収集のためのマイクを含むセンサ部と、このセンサ部から入力された入力情報の各々を各情報対応に定められた時間長で区切ってユニット化するユニット化手段と、カメラ及びマイクからの映像情報及び音情報の前記ユニット情報ごとに音情報をもとにその認識処理を行って認識結果を識別子として出力する映像・音認識手段と、この認識手段により設定された識別子、及び当該ユニット情報がセンサ部から入力された時刻を表す記録時刻を含むヘッダを前記ユニット情報に付して記録情報ユニットを生成する合成手段と、この合成手段により生成された記録情報ユニットを磁気ディスク装置に格納する記録制御手段と、磁気ディスク装置に格納された記録情報を読み出して表示手段に表示する読出・表示制御手段とを備えたことを特徴とする記憶システム。
【請求項３】
磁気ディスク装置と、少なくとも映像情報収集のためのカメラ及び音情報収集のためのマイクと骨伝導センサなどを含むセンサ部と、このセンサ部から入力された入力情報の各々を各情報対応に定められた時間長で区切ってユニット化するユニット化手段と、カメラ及びマイクからの映像情報及び音情報の前記ユニット情報ごとに映像を分割した部分毎の輝度情報もしくは音圧情報に加え、骨伝導センサを含む他のセンサ情報をもとにその認識処理を行って認識結果を識別子として出力する映像・音認識手段と、この認識手段により設定された識別子、及び当該ユニット情報がセンサ部から入力された時刻を表す記録時刻を含むヘッダを前記ユニット情報に付して記録情報ユニットを生成する合成手段と、この合成手段により生成された記録情報ユニットを磁気ディスク装置に格納する記録制御手段と、磁気ディスク装置に格納された記録情報を読み出して表示手段に表示する読出・表示制御手段とを備えたことを特徴とする記憶システム。
【請求項４】
請求項１に記載の記憶システムにおいて、記録及び読み出し制御を前記輝度情報処理を利用して行う手段を備えたことを特徴とする記憶システム。
【請求項５】
請求項２に記載の記憶システムにおいて、記録及び読み出し制御を前記音情報処理を利用して行う手段を備えたことを特徴とする記憶システム。
【請求項６】
請求項１乃至３のいずれか１項に記載の記憶システムにおいて、センサ部には振動センサ、骨伝導センサ、位置センサ、心拍センサ、湿度センサを含むことを特徴とする記憶システム。
【請求項７】
請求項１乃至３のいずれか１項に記載の記憶システムにおいて、記録情報に設定された識別子をもとに検索を行うことを特徴とする記憶システム。
【請求項８】
請求項１乃至３のいずれか１項に記載の記憶システムにおいて、情報取り込み時の認識処理を情報取り込みと別の時刻に行うことを特徴とする記憶システム。
【請求項９】
磁気ディスク装置と、少なくとも映像情報収集のためのカメラ及び音情報収集のためのマイクを含むセンサ部と、このセンサ部から入力された入力情報の各々を各情報対応に定められた時間長で区切ってユニット化するユニット化手段と、情報取り込み時に、リアルタイムにカメラ及びマイクからの映像情報及び音情報の前記ユニット情報ごとに映像を分割した部分毎の輝度情報をもとにその認識処理を行って認識結果を識別子として出力する映像・音認識手段と、この認識手段により設定された識別子、及び当該ユニット情報がセンサ部から入力された時刻を表す記録時刻を含むヘッダを前記ユニット情報に付して記録情報ユニットを生成する合成手段と、この合成手段により生成された記録情報ユニットを磁気ディスク装置に格納する記録制御手段と、磁気ディスク装置に格納された記録情報を読み出して表示手段に表示する読出・表示制御手段とを備えたことを特徴とする記憶システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の記憶の補助を行う記憶システムに関し、特に磁気ディスク装置を用いた記憶と想起の機能を併せ持った記憶システムに関する。
【背景技術】
【０００２】
人間の記憶を補助する装置として、従来よりカメラやテープレコーダー、映写機、ビデオレコーダー、ボイスレコーダー、さらに種々のドキュメントを記録し、再生するシステムとしてのパーソナルコンピュータ（ＰＣ）や携帯情報端末（ＰＤＡ等）などが使用されてきた。これらの機器は、使用者の見たもの、聞いたものを記録媒体に記録し、必要なときに再生することにより、最初に得た情報をありのままに再現できるものである。これらの機器は全て、使用者が意識して「記録」のための操作をすることにより、記録が開始されるものである。
【０００３】
マイケル・I・ポズナーによれば人間の記憶は、過去の情景等の文脈により定位される事象の記憶である「エピソード記憶」や、事象や語彙に関する一般的知識である「意味記憶」、日常的に実際に起きている出来事の想起である「短期記憶」など、記憶に種々の階層があることを示している（非特許文献１参照。）。
【０００４】
そして、本人が意識をする、しないにかかわらず、大抵の場合、目で見た光景、耳で聞いた音は短期的または長期的にせよ本人の脳に記憶される。この記憶された内容に対して、どのような処理がなされて階層分けがされるのかは、認知科学や大脳生理学の分野でもまだ明確には解明されていない。しかし、それぞれの記憶に対して少しずつ異なる処理や記憶位置が存在することは分かっている。
【０００５】
この人間の記憶動作を機械によって補助するには、視聴覚機能及び記憶機能を備えたウエアラブル（身に付けられる）機器が必須となってくる。この「人間の記憶能力の補助」に関連した従来技術を以下で考察する。
【０００６】
まず第１に、ウエアラブル機器の例として、作業者が電子マニュアルを見ながら作業を行うことを想定して、腰に着けるコンピュータ本体と、頭に付ける小型ディスプレイなどで構成されたウエアラブル機器がある。この例の主たる目的は、ハンズフリー（手を使わないこと）であり、入力は音声によることなどが記載されている。従ってこの例では「人間の記憶の補助」というよりも作業能率向上のための機器という性格のものになる（例えば、特許文献１参照。）。
【０００７】
第２に、外部よりカメラやマイクなどのセンサからの入力データに対して何らかの処理を行う場合、入力データ内容を認識し、処理できる形式に変換することが必要となる。
例えばマイクより入力された人間の会話音声を音声認識し、データベース化する方法がある（例えば、特許文献２参照。）。
また音声パターンをあらかじめ登録されたパターンとマッチングさせる方法もある（例えば、特許文献３参照。）。
また、カメラ等で取り込んだ画像を切り出し、文字や記号情報、形状などを認識してあらかじめ決められているパターンにマッチングさせる方法がある（例えば、特許文献４参照。）。
さらに、静止映像中に動的パターンが発生する等、定常状態と異なる画像パターンが生じた場合にそれを認識し、インデックスを付ける方法がある（例えば、特許文献５参照。）。
また収集したマルチメディア情報を一旦記憶装置に記憶し、必要なときに取り出して文字認識、音声認識、顔認識、話者認識を行い、個人を特定するなどの操作を行う機器がある（例えば、特許文献６参照。）。
【０００８】
第３に、「記憶」という動作そのものの形態を見てみると、前述のように従来の録音、録画、データ記録機器は、入力されたデータそのものを「記録」するだけであったものが、その後多少認識の結果を考慮して、前述の認識結果を入力データと対応させて記録媒体に記録するものへと進化して、例えば特許文献７に示されたような形となる。この方法を活用すれば、入力データが大量に存在する場合でも、所望の情報に容易にアクセスできるかもしれない。しかしデータの量が増加すればするほど、検索キーワードも複雑化し、アクセスに時間がよりかかるであろうことが想定される。
【０００９】
第４に記憶情報の想起過程について見てみる。人間の脳による想起では、何か手がかりになる情報−例えば日時、場所、会話相手の名前、会話のキーワード、そのとき目に入った光景−などから所望の情報を抜き出す。そして何度も想起された情報の記憶はさらに強固となり、想起スピードも速くなる。これは想起−情報再生の回数に応じて、情報の格納状態が変化しているからだといえる。これに類似の処理がパーソナルコンピュータ（ＰＣ）のオペレーションズシステム（ＯＳ）であるウインドウズで行われている。即ち、タスクモニタという再生状況監視プログラムを走らせて、データの再生を監視し、再生回数を順位付けして、回数の多いアプリケーションプログラムに関しては、磁気ディスク上での情報の再配置に対応するようになっている。
【００１０】
また想起の過程においては、当時の状況や、当然そうあるべき状況−たとえば夜の屋外であれば暗いとか、人混みの中であれば騒々しいといった知見を手がかりとして情報を検索することも考えられる。これを可能とするのは、例えば画像を認識するセンサが明るさの変化を判断する、もしくは音を認識するセンサが音圧の変化を判断する、などの技術が基本となっており、これらは以下のような例に示されている。
【００１１】
画像に時間的変化が現れた場合にメモリへの記録を開始する例が監視カメラなどに応用されている（例えば、特許文献８参照。）。
特に画面の所定の位置を所定の時間間隔にて監視し、輝度の変化が異常と判断されると記録媒体への記録モードを変更する例がある（例えば、特許文献９参照）。
画像情報と併せて音情報を監視することにより、異常音発生方向にカメラを向ける監視カメラの例がある（例えば、特許文献１０参照。）。
【００１２】
【非特許文献１】Michael I.Posner,Foundations of Congnitive Science,1989
【００１３】
【特許文献１】米国特許第５，３０５，２４４号公報
【特許文献２】特開２００１−９２８３８号公報
【特許文献３】特開２０００−２３６４９４号公報
【特許文献４】特開平７−３２２１８４、特開２０００−１５２１４５
【特許文献５】特開平１０−８４５２５号公報
【特許文献６】特開２００１−９２８３８号公報
【特許文献７】特開２０００−１５２１４５号公報
【特許文献８】特開平７−１９３７８１号公報
【特許文献９】特開平８−２０５１３３号公報
【特許文献１０】特開平１０−６３９６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
以上で考察したように、外部状況を映像や音声などの形で検知して取り込み、それに何らかの認識処理を加え、認識処理情報とともに記憶装置に記憶し、必要なときにはその認識処理情報をたよりに検索して再生することは、個々の機能を組み合わせれば可能である。しかしこれだけでは、「人間の記憶の補助」を担うにはほど遠い。以下にその課題を挙げる。
【００１５】
まず、外部情報を取り込む時の無意識性の問題がある。ビデオカメラのように意識的に記録することが前提の機器であれば、常に必要な情報は確実に取り込める。しかし前述のように、人間の脳は無意識な記憶も一時的に保持していることを見てもわかるように、むしろ思い出したいのは無意識に記憶した無意識情報であるともいえる。そしてその無意識情報こそ「人間の記憶能力の補助」の能力を存分に発揮できる対象であろう。無意識情報を取り込むためには、情報取り込みセンサや記憶装置は常に稼動していなければならない。そして、常に情報を記録するということは、記憶装置として膨大な記憶容量のものを用意するか、他の何等かの対策を必要とする。ここで前述の特許文献１に開示されたハンズフリーのウエアラブル機器は、人間の能力の補助を行うために常に身に付けていることは便利かもしれないが、本発明の趣旨に従うと常に稼動状態でなければ全く意味がない。さらに、人間の脳の処理能力では、何かを思い出している最中には別のことを記憶することはなかなか困難かもしれないが、記憶の補助を行う機器としては、以前の事象を想起処理している最中にも中断することなく現在の記憶処理は継続しておきたい。
【００１６】
次に入力データに対する認識情報の取り扱いに関してである。入力データに対して認識処理を行い認識情報が付与されることは、後々検索して再生する際に便利であることは述べたが、情報量そのものが膨大なものになると、認識情報だけでも膨大となる。ここで生じてくる問題は、検索に時間がかかることと、検索結果も場合によっては膨大となり、所望の情報がなかなか取り出せない、という点である。
【００１７】
本発明は以上の点に鑑みなされたものであって、人間の記憶の補助を行う機器として、センサ、メモリ、表示装置を備え、使用者が無意識な状態であっても情報を常に取り込み、取り込んだ情報は映像、音声その他を認識処理後格納（記憶）し、必要なときに容易に検索し再生（想起）できるような記憶システムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の記憶システムは、磁気ディスク装置などのメモリと、少なくとも映像情報収集のためのカメラを含むセンサ部と、このセンサ部から入力された入力情報の各々を各情報対応に定められた時間長で区切ってユニット化するユニット化手段と、このユニット化手段により区切られたユニット情報の各々についてその状態または状態変化を画像センサの輝度または輝度変化に対応したイベントを検出する手段と、検出したイベントに対してイベントの内容を示す識別子を設定する手段と、この識別子設定手段により設定された識別子、前記イベント検出手段により検出されたイベントの有無を示すイベント情報、及び当該ユニット情報がセンサ部から入力された時刻を表す記録時刻を含むヘッダを前記ユニット情報に付して記録情報ユニットを生成する合成手段と、この合成手段により生成された記録情報ユニットを磁気ディスク装置などのメモリに格納する記録制御手段と、磁気ディスク装置などのメモリに格納された記録情報を読み出して表示手段に表示する読出・表示制御手段とを備える。
【００１９】
更に本発明の記憶システムは、磁気ディスク装置などのメモリと、少なくとも音情報収集のためのマイクを含むセンサ部と、このセンサ部から入力された入力情報の各々を各情報対応に定められた時間長で区切ってユニット化するユニット化手段と、このユニット化手段により区切られたユニット情報の各々についてその状態または状態変化をマイクにて検出した音圧または音圧変化に対応したイベントを検出する手段と、検出したイベントに対してイベントの内容を示す識別子を設定する手段と、この識別子設定手段により設定された識別子、前記イベント検出手段により検出されたイベントの有無を示すイベント情報、及び当該ユニット情報がセンサ部から入力された時刻を表す記録時刻を含むヘッダを前記ユニット情報に付して記録情報ユニットを生成する合成手段と、この合成手段により生成された記録情報ユニットを磁気ディスク装置などのメモリに格納する記録制御手段と、磁気ディスク装置などのメモリに格納された記録情報を読み出して表示手段に表示する読出・表示制御手段とを備える。
【００２０】
更に本発明の記憶システムは、上記識別子設定の手段として、イベント内容認識の正確さを向上するために、映像と音との検出結果を組み合わせて、それぞれの条件が一致したときに検出したイベントに対してイベントの内容を示す識別子を設定する手段と、この識別子設定手段により設定された識別子、前記イベント検出手段により検出されたイベントの有無を示すイベント情報、及び当該ユニット情報がセンサ部から入力された時刻を表す記録時刻を含むヘッダを前記ユニット情報に付して記録情報ユニットを生成する合成手段と、この合成手段により生成された記録情報ユニットを磁気ディスク装置などのメモリに格納する記録制御手段と、磁気ディスク装置などのメモリに格納された記録情報を読み出して表示手段に表示する読出・表示制御手段とを備える。
【００２１】
更に本発明の記憶システムは、上記識別子設定の手段として、イベント内容認識の正確さを向上するために、映像・音検出とは違うさらに別のセンサを設け、映像または音より認識される情報と前記別センサとの認識情報を照合して、それぞれの条件が一致したときに検出したイベントに対してイベントの内容を示す識別子を設定する手段と、この識別子設定手段により設定された識別子、前記イベント検出手段により検出されたイベントの有無を示すイベント情報、及び当該ユニット情報がセンサ部から入力された時刻を表す記録時刻を含むヘッダを前記ユニット情報に付して記録情報ユニットを生成する合成手段と、この合成手段により生成された記録情報ユニットを磁気ディスク装置などのメモリに格納する記録制御手段と、磁気ディスク装置などのメモリに格納された記録情報を読み出して表示手段に表示する読出・表示制御手段とを備える。
【００２２】
更に本発明の記憶システムは、上記画像の状態または状態変化検出手段を備え、画像センサの画素毎の輝度情報変化のパターンに対応して予め用意してある入力コマンドを実行させ、この入力コマンドにより記憶システム装着者からの意思伝達を行う手段、すなわち本システムの動作制御等を行う手段を備える。
【００２３】
更に本発明の記憶システムは、上記音の状態または状態変化検出手段を備え、マイクロフォンからの入力音情報変化のパターンに対応して予め用意してある入力コマンドを実行させ、この入力コマンドにより記憶システム装着者からの意思伝達を行う手段、すなわち本システムの動作制御等を行う手段を備える。
【発明の効果】
【００２４】
本発明によると、人間の記憶の補助を行うウェアラブル機器として、センサ、メモリ等を備え、ユーザが無意識な状態であっても情報を常に取り込み、取り込んだ情報は映像、音声その他を認識処理後格納（記憶）し、必要なときに容易に検索でき再生（想起）できる記憶システムを提供することが可能となる。
【００２５】
以上から、本発明の記憶システムにより、人間の記憶の補助を行う機器を提供でき、情報化社会の進展に果たす役割は大きい。
【発明を実施するための最良の形態】
【００２６】
以下に説明する本発明の実施例は、人間の記憶の補助を行う機器を提供するものであって、使用者の外部の状況をカメラ（ムービー）、マイク、ＧＰＳ、温度センサ、振動センサなどのセンサ類により取り込み、映像の状態または状態変化を検出して認識処理を加えた後、認識情報を付与して記憶装置に記憶する機能を備えた記憶システムである。映像情報の認識は、予め用意してあるイベントパターン情報の中から上記状態または状態変化に対応するイベントパターンを抽出し、識別子を付与するものである。
【００２７】
以下、本発明の実施例を図面を参照して説明する。
【００２８】
図１は、以上の考え方を実現するための本発明の記憶システムの記憶過程と想起過程の構成例を機能ブロック図で示したものである。まず、記憶過程１では、外部の情報を収集するためのセンサ（カメラ、マイク、振動センサ、温度センサ、ＧＰＳ等）などで構成された情報収集部３に記録コマンド４が与えられると一連の記憶動作が開始される。通常、本発明の記憶装置は常時記憶状態であるので、記録コマンド４は使用中は常に送出されている。情報収集部３からの入力情報Ａは、合成部５にそのまま送られるとともに、映像認識部７、音・音声認識部８及びイベント認識部９から成る認識部６にてそれぞれ認識処理され、これらの認識処理の結果はいずれも識別子ａとして出力される。このうち映像認識部７では、入力された画像情報から一定時間ごと、例えば１／４秒ごとに１枚の静止画ファイルを取り出し、もしくは入力画像ファイル全てを取り出し、静止画ファイルを構成する画素毎の輝度情報を検出してその静止画毎にパターンを認識し、その識別子をテキスト等として出力する。これら認識処理はあらかじめ内蔵されているイベントンテーブル１１を使用して行われる。音・音声認識部８では、人の会話などの音圧レベルを連続時間モニタし、同時に取り込んでいる画像ファイル毎に音圧レベルの変化値もしくは予め設定されている閾値に対する偏差を検出してパターンを認識し、その識別子情報を出力する。これら認識処理は予め内蔵されているイベントンテーブル１１を使用して行われる。イベントパターンテーブル１１には識別パターンが納められており、それぞれの識別パターンには識別子が対応して付けられる。尚、映像や音はそれぞれ単独にその認識結果の識別子を与えるのみならず、映像と音とが融合した情報に対しても、イベントパターンテーブルは情報を持っており、対応する識別子を与える。合成部５では、入力情報の生データに時刻歴情報や認識結果の識別子ａをヘッダとして付加した記録情報ユニットを生成する。記録制御部１２は、合成部５で生成された記録情報ユニットを、その重要度に応じた記録方式で情報記録部１３へ格納するとともに、ヘッダ部分の情報を記録制御情報として記録制御情報テーブル１４へ格納する。
【００２９】
次に想起過程２では、再生コマンド１５が使用者の意志などにより発行されると、読出・表示制御部１６の制御により情報記録部１３から再生情報が読み出されて再生情報表示部１７に表示され、ユーザの記憶想起をサポートする。記録情報管理部１８は、情報記録部１３に格納された情報ユニットの各々について上記の再生・表示回数と記録制御情報テーブル１４の内容に基づく情報ユニットの記録方式変更、消去などの指示を記録制御部１２に出して記録情報の管理を行う。この場合、情報記録部１３の空きスペースの大きさを考慮した管理が望ましい。
【００３０】
以下、図１に示した機能ブロックを実現するハードウェア構成と詳細な動作について述べる。
【００３１】
図２は、図１の記憶システムのハードウェア構成例を示すブロック図で、記憶システム本体としてのホスト装置２０１と、センサ部２０３と、表示装置２０４と、操作器２０５と、スロット２０６を介して取り外し可能な磁気ディスク装置２０２とから構成されている。尚、２０２は光ディスク、半導体メモリ等でもよい。
/  ホスト装置２０１は、ホストＣＰＵ２１０と、バスコントローラ２１１と、ＲＡＭ２１２、ＲＯＭ２１３と、磁気ティスク装置とのＨＤインタフェース２１４と、センサ部や操作器の情報を取り込む入力インタフェース２１５と、表示制御を行うグラフィックスコントローラ等を含む出力インタフェース２１６とを備えている。なお、この他に、他の情報処理機器との情報のやり取りを行うネットワークコントローラなどを備え、その情報を読み出したり記録するための入出力装置があっても良い。ホストＣＰＵ２１０は、予め設定されたプログラムに従い命令を実行する。バスコントローラ２１１は、ホストＣＰＵ２１０や、ＲＡＭ２１２、ＲＯＭ２１３、ＨＤインタフェース２１４間のデータ転送を制御する。ＨＤインタフェース２１４は、外部記憶装置（本例では磁気ディスク装置２０２）側のインタフェースとＲＡＭ２１２との間のデータ転送を制御する。
【００３２】
一方、磁気ディスク装置２０２は、図３に示したように、インタフェース３０１と、ディスクコントローラ３０２と、ディスクCＰＵ３０３と、ＲＡＭ３０４と、信号処理部３０５と、サーボコントローラ３０６と、ＨＤＡ（ヘッドディスクアクセンブリ）部３０７から構成されている。ディスクＣＰＵ３０３は、磁気ディスク装置２０２全体のデータ処理を制御する。ディスクコントローラ３０２は、インタフェース３０１とＲＡＭ３０４との間、並びに信号処理部３０５とＲＡＭ３０４との間のデータ転送を制御する。ＨＤＡ部３０７は、データを格納する磁気記録媒体や、その記録媒体を回転駆動するスピンドルモータや、記録／再生のための磁気ヘッドや、磁気ヘッドを支持するアクチュエータ等から構成されている。サーボコントローラ３０６は、前記スピンドルモータや、ボイスコイルモータの制御を行う。
【００３３】
図４は、磁気ディスク装置２０２のハードウェア構成を斜視図で示したものである。この磁気ディスク装置は、ホスト装置に着脱可能な構造になっており、磁気ディスク４０１、記録／再生ヘッドが一体となった磁気ヘッド４０２、磁気ディスク４０１を固定し回転する手段であるスピンドル４０３、磁気ヘッド４０２
を磁気ディスク４０１上の半径方向へ移動させる手段であるアクチュエータ４０４、これらを搭載するためのベース４０５とカバー４０６、情報の記録／再生やアクチュエータを介してのヘッドの移動、スピンドルモータの回転、外部とのデータの入出力などを行うための、ＣＰＵ３０３等から成る回路４０７、そして外部とのデータの出入り口となるコネクタ４０８とから構成される。本装置は携帯して使用できるために、磁気ディスクの径が２．５インチ（１インチは２．５４センチメートル）以下の磁気ディスク装置が望ましく、さらに望ましくはディスク径１．０インチ以下の装置がよい。
【００３４】
図５は図１で説明した映像認識部における状態あるいは状態変化（シーンチェンジ）の認識原理を示したものである。例えば図５（ａ）のように画面を１６のセルに分割した場合を想定する。ここでセルの分割数は最低４分割以上何分割でもよい。図５（ｂ）のように特定の時間ｔｉ毎に静止画像ファイルを認識用に取り出し、予め設定されている閾値を基準に図５（ｃ）のような二値化による輝度認識を経て、図５（ｄ）のようにセル毎に二値化情報へと変換される。ここで図５（ｃ）は説明の便宜上記載した図であり、実際には設定された閾値に従って、図５（ｂ）から（ｄ）への変換が行われると考えて良い。
【００３５】
図６は図５にて説明したシーンチェンジ処理の流れを示したものである。始めに時間ｔｉ毎に入力映像からの画像ファイルを選択６０１し、時刻ｔｉの画像ファイルを入力６０２する。次に画像内を分割したセル毎の輝度Ｌｊｋを予め設定された輝度閾値Ｌｔｈと比較６０３し、閾値よりも大きければ１を（６０４）、小さければ０を（６０５）返して次のセルLＪ＋１ ｋ＋１への判断で順次移ることで、画面全体の輝度マトリックスを生成する。以上が輝度情報に基づく画像認識処理の一例である。一つの画像認識処理が終了すると、次の時刻ｔｉ＋１画像ファイル処理に移行する。
【００３６】
上記で得られた時刻ｔｉの画像輝度認識マトリックスは、図１で説明したイベントパターンテーブル１１と比較することにより、予めイベントパターンテーブル１１内に内蔵された識別パターンに最も近いものが選択される。この認識処理は以下のように行われる。
【００３７】
時刻ｔｉの画像輝度認識マトリックスを以下のように表す。
【００３８】
｛ｘ(ti)k｜k＝１．．．Ｎ｝      …（数１）
一方イベントパターンテーブル１１に内蔵された識別パターンマトリックスは以下のように示される。
【００３９】
｛ｒ(ｎ)j｜j＝１．．．Ｎ｝      …（数２）
ここでｎはイベントパターンテーブル１１に内蔵されている識別パターン数を表す。時刻ｔｉの画像輝度認識マトリックスと識別パターンマトリックスとの照合は以下の係数ρを基準として実行する。
【００４０】
【数３】
2005094170.tif 000003
【００４１】
ここでｘm、ｒmはそれぞれのマトリックスの要素を標本とする平均値、σｘ、σｒは標準偏差である。ρは０〜１の値をとり、１に近いほど照合結果が良好とする。この認識処理の流れを図にて説明する。
【００４２】
図７は映像情報の輝度変化をもとに認識処理を行う流れを示したものである。イベントパターンテーブル１１に内蔵されたｎ個の識別パターンマトリックスをｎ＝１（７０１）から順に、時刻ｔｉの画像輝度認識マトリックスとの間にて係数ρを比較する（７０２）。すなわちイベントパターンテーブル１１の全ての識別パターンマトリックスを比較してρがより大きくなる識別パターンマトリックスを抽出（７０３）し、ｎ番目まで繰り返す（７０４）。最終的にρの一番大きい識別パターンマトリックスを抽出し、そのマトリックスに対応する識別子Ｔａｇ（ｋ）を時刻ｔｉの画像ファイルに付与する。以上により、予め設定された輝度の閾値を基準として、映像情報の認識をすることが可能となる。
【００４３】
図８は図１で説明した音認識部における状態あるいは状態変化（サウンドチェンジ）の認識原理を示したものである。例えば図８（ａ）のように時刻ｔ毎に画像ファイルが取り込まれる。それぞれの画像ファイルに対応して音ファイルが作成される。このときの音ファイルはその音圧レベルを常にモニタしており、図８（ｂ）に示すように場面（シーン）の変化に対応して変化する。今ユーザ（装着者）が静かな廊下から騒々しいパーティ会場に入っていくことを想定する。時刻ｔｃに音圧閾値Ｓｔｈを超えたとすると、そのときの時刻ｔｉの画像ファイルに識別子Ｓｉを付与する。以上のように、前述のシーンチェンジと同様、サウンドチェンジにおいても、予め設定された閾値を基準としてイベントの有無を認識することが可能である。
【００４４】
前述の画像、音認識処理方法は基本的なものであり、これをもとにいくつかのバリエーションを展開することが可能である。まず輝度の閾値は１レベルである必要はなく、２レベル以上複数レベル持つことも可能である。この場合、画像輝度認識マトリックスや識別パターンマトリックスの各要素も３値以上の値をとることになる。同様に音の場合にも複数の音圧の閾値を設定することができる。
【００４５】
また、映像もしくは音の変化情報は、時間のファクターを導入することによりさらに詳細に取得することができる。例えば短時間に輝度が変化したのか長い時間に徐々に変化したのかで、部屋が消灯するなどの短時間のシーンチェンジなのか、明るさの異なる部屋に徒歩で入室するなどのやや時間の長いシーンチェンジなのかを区別することが可能となる。
【００４６】
イベントパターンテーブル１１には様々な輝度、音のパターン、及びその変化パターンが数百〜数万通りまたはそれ以上収納されており、それぞれに識別子が対応している。この識別子には、「明るい部屋への入室シーン」「プレゼンテーションのスクリーンを見るシーン」など実生活に関係の深い内容も多く含まれ、後に想起過程でイベントを想起する手がかりとなる。さらに映像と音のイベントパターンを組み合わせて、「明るいパーティールームへの入室シーン」などの想起方法も可能である。すなわち明るいシーンにチェンジする際に音圧も大きい値に変化する場合に、複数の識別子をこのイベントに組み合わせる方法である。
【００４７】
図９は上記の組み合わせを更に応用した例について示したものである。図９（ａ）は図２のホスト装置２０１に接続されるセンサ部２０３の具体例を示す。前述のカメラ９０１、マイク９０２の他に、振動（骨伝導）センサ９０３、ＧＰＳセンサ９０４、心拍センサ９０５、温度センサ９０６、他、図示はしないが湿度センサ、圧力センサ、気圧センサ、匂いセンサ等あらゆるセンサの装着が可能である。図９（ｂ）はカメラ９０１による輝度のモニタと振動センサ９０３の組み合わせ処理の例を説明するものである。この例では、振動センサ９０３は腕などに取り付ける骨伝導センサであり、この２つのセンサ組み合わせによりユーザ（装着者）の意思をコマンド入力として反映するものとする。図９（ｂ）にはカメラ９０１による輝度検出値（例えば全セルの輝度検出値の平均値）と腕に取り付けた骨伝導センサの時系列信号データの一例を示した。回りの明るさが明るくなり輝度の閾値Ｌｔｈを超える条件のときに、指で机を叩くなどの操作で振動を与え、骨伝導センサの検出値がｔｉｎｔ間に３回Ｖｔｈを超えた。この条件において、このシステムにおいては「詳細映像・音声記録開始」のコマンドとして割り当てられているため、通常のＱＶＧＡ画像モードから、高精細モードへ記録解像度を高める操作として働き、情報取り込みモードが変更される。以上は複数のセンサ検出結果をコマンド入力に応用する例である。
【００４８】
図１０はコマンド入力の別の例を示したものである。前述の画像輝度認識処理の機能を応用し、画面内の輝度変化のバリエーションに対応してコマンドを割り当てるというものである。図１０（ａ）はカメラ部を手で規定時間覆うことにより、入力コマンドとするものである。以下図１０（ｂ）〜（ｃ）は画面の左右方向に、図１０（ｄ）〜（ｅ）は画面の上下方向に手を規定時間で動かすことにより、それぞれコマンドに適用するものである。コマンドとしては、例えば「情報収集停止」「再開」「解像度変更」「マーキング」等である。
【図面の簡単な説明】
【００４９】
【図１】本発明による記憶システムの構成例を示す機能ブロック図である。
【図２】図１に示した記憶システムのハードウェア構成例を示すブロック図である。
【図３】磁気ディスク装置の内部構成を示すブロック図である。
【図４】磁気ディスク装置の斜視図である。
【図５】本発明による記憶システムの映像認識部における状態あるいは状態変化（シーンチェンジ）の認識原理を示したものである。
【図６】本発明による記憶システムのシーンチェンジ処理の流れを示したものである。
【図７】本発明による記憶システムの映像情報の輝度変化をもとに認識処理を行う流れを示したものである。
【図８】本発明による記憶システムの音認識部における状態あるいは状態変化（サウンドチェンジ）の認識原理を示したものである。
【図９】本発明による記憶システムのセンサ食い合わせによる認識処理の例を示したものである。
【図１０】本発明による記憶システムのコマンド入力の別の例を示したものである。
【符号の説明】
【００５０】
１…記憶過程、２…想起過程、３…情報収集部、４…記録コマンド、５…合成部、６…認識部、７…音・音声認識部、８…形状・色認識部、１１…イベントパターンテーブル、１２…記録制御部、１３…情報記録部、１４…記録制御情報テーブル、１５…再生コマンド、１４…再生情報表示部、１６…読出・表示制御部、１７…再生情報表示部、１８…記録情報管理部、２０１…ホスト装置、２０２…磁気ディスク装置、２０３…センサ、２０４…表示装置、２０５…操作器、２０６…スロット、２１０…ホストＣＰＵ、２１１…バスコントローラ、２１２…ＲＡＭ、２１３…ＲＯＭ、２１４…ＨＤインタフェース、２１５…入力インタフェース、２１６…出力インタフェース、３０１…インタフェース、３０２…ディスクコントローラ、３０３…ディスクＣＰＵ、３０４…ＲＡＭ、３０５…信号処理部、３０６…サーボコントローラ、３０７…ＨＤＡ部、４０１…磁気ディスク、４０２…磁気ヘッド、４０３…スピンドル、４０４…アクチュエータ、４０５…ベース、４０６…カバー、４０７…回路、４０８…コネクタ。
【図１】
2005094170.tif 000004
【図２】
2005094170.tif 000005
【図３】
2005094170.tif 000006
【図４】
2005094170.tif 000007
【図５】
2005094170.tif 000008
【図６】
2005094170.tif 000009
【図７】
2005094170.tif 000010
【図８】
2005094170.tif 000011
【図９】
2005094170.tif 000012
【図１０】
2005094170.tif 000013