(57)【要約】【課題】身体及び発声の微動を指摘することができる微動検出通知装置、方法及びプログラムを提供する。【解決手段】身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する映像情報解析部１２と、エッジ部分について所定値以上の移動変化の微動を検出し、その警告情報を映像情報に付加する映像微動検出部１３と、発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出する音声情報解析部１２と、平均レベル及び平均語数に対する微動を検出し、その警告情報を音声情報に付加する音声微動検出に１４と、解析された映像情報及び音声情報を蓄積する音声映像情報データベース１７と、映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する警告録生成部１９とを有する。【選択図】      図２
2004318661.tif 000002
【特許請求の範囲】
【請求項１】
端末と通信可能な微動検出通知装置であって、
前記端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する映像微動検出手段と、
前記端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出する音声情報解析手段と、
前記平均レベルに対して所定レベル以上のレベル変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する音声微動検出手段と、
解析された前記映像情報及び前記音声情報を蓄積する音声映像情報蓄積手段と、
前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する警告録生成手段と
を有することを特徴とする微動検出通知装置。
【請求項２】
端末と通信可能な微動検出通知装置であって、
前記端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する映像微動検出手段と、
前記端末から受信した発声の音声情報について、音声認識処理により前記音声フレーム毎の平均語数を検出する音声情報解析手段と、
前記平均語数に対して所定語数以上の語数変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する音声微動検出手段と、
解析された前記映像情報及び前記音声情報を蓄積する音声映像情報蓄積手段と、
前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する警告録生成手段と
を有することを特徴とする微動検出通知装置。
【請求項３】
端末と通信可能な微動検出通知装置であって、
前記端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する映像微動検出手段と、
前記端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出し、音声認識処理により前記音声フレーム毎の平均語数を検出する音声情報解析手段と、
前記平均レベルに対して所定レベル以上のレベル変化の微動を検出し、前記平均語数に対して所定語数以上の語数変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する音声微動検出手段と、
解析された前記映像情報及び前記音声情報を蓄積する音声映像情報蓄積手段と、
前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する警告録生成手段と
を有することを特徴とする微動検出通知装置。
【請求項４】
前記映像情報について、前記微動が検出された前記身体の候補領域に応じた前記警告情報を蓄積する映像警告情報蓄積手段と、
前記音声情報について、前記レベル変化及び／又は前記語数変化に応じた前記警告情報を蓄積する音声警告情報蓄積手段とを更に有し、
前記映像微動検出手段は、前記映像警告情報蓄積手段を用いて、前記映像情報に付加する前記警告情報を取得し、
前記音声微動検出手段は、前記音声警告情報蓄積手段を用いて、前記音声情報に付加する前記警告情報を取得する
ことを特徴とする請求項１から３のいずれか１項に記載の微動検出通知装置。
【請求項５】
端末と、該端末と通信可能な装置とにおける微動検出通知方法であって、
前記端末が、利用者における身体の映像情報及び発声の音声情報を前記装置へ送信する第１のステップと、
前記装置が、映像情報解析手段を用いて、前記身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出し、映像微動検出手段を用いて、前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する第２のステップと、
前記装置が、音声情報解析手段を用いて、前記発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出し、音声微動検出手段を用いて、前記平均レベルに対して所定レベル以上のレベル変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する第３のステップと、
解析された前記映像情報及び前記音声情報を音声映像情報蓄積手段に蓄積する第４のステップと、
前記装置が、警告録生成手段を用いて、前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する第５のステップと
を有することを特徴とする微動検出通知方法。
【請求項６】
端末と、該端末と通信可能な装置とにおける微動検出通知方法であって、
前記端末が、利用者における身体の映像情報及び発声の音声情報を前記装置へ送信する第１のステップと、
前記装置が、映像情報解析手段を用いて、前記身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出し、映像微動検出手段を用いて、前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する第２のステップと、
前記装置が、音声情報解析手段を用いて、前記発声の音声情報について、音声認識処理により前記音声フレーム毎の平均語数を検出し、音声微動検出手段を用いて、前記平均語数に対して所定語数以上の語数変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する第３のステップと、
解析された前記映像情報及び前記音声情報を音声映像情報蓄積手段に蓄積する第４のステップと、
前記装置が、警告録生成手段を用いて、前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する第５のステップと
を有することを特徴とする微動検出通知方法。
【請求項７】
端末と、該端末と通信可能な装置とにおける微動検出通知方法であって、
前記端末が、利用者における身体の映像情報及び発声の音声情報を前記装置へ送信する第１のステップと、
前記装置が、映像情報解析手段を用いて、前記身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出し、映像微動検出手段を用いて、前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する第２のステップと、
前記装置が、音声情報解析手段を用いて、前記発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出し、音声認識処理により前記音声フレーム毎の平均語数を検出し、音声微動検出手段を用いて、前記平均レベルに対して所定レベル以上のレベル変化の微動を検出し、前記平均語数に対して所定語数以上の語数変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する第３のステップと、
解析された前記映像情報及び前記音声情報を音声映像情報蓄積手段に蓄積する第４のステップと、
前記装置が、警告録生成手段を用いて、前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する第５のステップと
を有することを特徴とする微動検出通知方法。
【請求項８】
前記映像情報について、前記微動が検出された前記身体の候補領域に応じた前記警告情報を蓄積する映像警告情報蓄積手段と、
前記音声情報について、前記レベル変化及び／又は前記語数変化に応じた前記警告情報を蓄積する音声警告情報蓄積手段とを更に有し、
前記第２のステップについて、前記映像微動検出手段は、前記映像警告情報蓄積手段を用いて、前記映像情報に付加する前記警告情報を取得し、
前記第３のステップについて、前記音声微動検出手段は、前記音声警告情報蓄積手段を用いて、前記音声情報に付加する前記警告情報を取得する
ことを特徴とする請求項５から７のいずれか１項に記載の微動検出通知方法。
【請求項９】
端末と通信可能な装置における微動検出通知プログラムであって、
前記端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する映像微動検出手段と、
前記端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出する音声情報解析手段と、
前記平均レベルに対して所定レベル以上のレベル変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する音声微動検出手段と、
解析された前記映像情報及び前記音声情報を蓄積する音声映像情報蓄積手段と、
前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する警告録生成手段と
してコンピュータを機能させることを特徴とする微動検出通知プログラム。
【請求項１０】
端末と通信可能な装置における微動検出通知プログラムであって、
前記端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する映像微動検出手段と、
前記端末から受信した発声の音声情報について、音声認識処理により前記音声フレーム毎の平均語数を検出する音声情報解析手段と、
前記平均語数に対して所定語数以上の語数変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する音声微動検出手段と、
解析された前記映像情報及び前記音声情報を蓄積する音声映像情報蓄積手段と、
前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する警告録生成手段と
してコンピュータを機能させることを特徴とする微動検出通知プログラム。
【請求項１１】
端末と通信可能な装置における微動検出通知プログラムであって、
前記端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、前記身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
前記エッジ部分について所定値以上の移動変化の微動を検出し、該微動が発生した旨の警告情報を前記映像情報に付加する映像微動検出手段と、
前記端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出し、音声認識処理により前記音声フレーム毎の平均語数を検出する音声情報解析手段と、
前記平均レベルに対して所定レベル以上のレベル変化の微動を検出し、前記平均語数に対して所定語数以上の語数変化の微動を検出し、該微動が発生した旨の警告情報を前記音声情報に付加する音声微動検出手段と、
解析された前記映像情報及び前記音声情報を蓄積する音声映像情報蓄積手段と、
前記映像情報及び前記音声情報と、それに付加された前記警告情報とからなる警告録情報を、前記端末へ送信する警告録生成手段と
してコンピュータを機能させることを特徴とする微動検出通知プログラム。
【請求項１２】
前記映像情報について、前記微動が検出された前記身体の候補領域に応じた前記警告情報を蓄積する映像警告情報蓄積手段と、
前記音声情報について、前記レベル変化及び／又は前記語数変化に応じた前記警告情報を蓄積する音声警告情報蓄積手段とを更に機能させ、
前記映像微動検出手段は、前記映像警告情報蓄積手段を用いて、前記映像情報に付加する前記警告情報を取得し、
前記音声微動検出手段は、前記音声警告情報蓄積手段を用いて、前記音声情報に付加する前記警告情報を取得するようにコンピュータを機能させることを特徴とする請求項９から１１のいずれか１項に記載の微動検出通知プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、微動検出通知装置、方法及びプログラムに関する。特に、利用者の身体及び発声の微動を検出するものに関する。
【０００２】
【従来の技術】
従来より、視線の変化を測定することにより、コンピュータを操作する装置がある（例えば特許文献１参照）。この装置は、利用者が、三角形の枠を有する眼鏡又は眼鏡フレームを装着する必要がある。特に、視線の測定精度が低下した場合に、自動的に補正を行うことができることを特徴としたものである。
【０００３】
また、顔画像の特徴点を抽出することにより、光源の位置、色等の周囲条件や、眼鏡等によって生じる雑音に対しても認識率を高めることができる装置もある（例えば特許文献２参照）。この装置は、顔部品の候補領域毎に二値化処理を行って蓄積し、顔画像に対する個人の特定精度を高めることができる。
【０００４】
【特許文献１】
特開２０００−２３１４４７号公報
【特許文献２】
特許第２９７３６７６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、前述した従来の技術のように、身体の特定部分について正確な測定を必要としないけれども、身体又は発声の微動を客観的判断基準で把握したいとする用途も多い。例えば、消費者金融事業者等に備えられる非直接対面型接待システムについては、対面者の身体及び発声の微動によって不審者か否かの１次的な判断をするという用途がある。特に、顧客の微妙な感情の揺れに伴って、目をキョロキョロさせる仕草、顔を落ち着きなく動かす仕草又は声の微妙な震えが現れた場合、これを感知し、営業者に警告情報として指摘することは有効である。また、例えば、対話練習支援装置（特願２００３−１００２９６参照）のように、利用者自身にその対話状況における客観的判断を提供することも有効である。
【０００６】
そこで、本発明は、身体及び発声の微動を検出し、その微動に基づく警告を通知することができる微動検出通知装置、方法及びプログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の微動検出通知装置によれば、
端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する映像微動検出手段と、
端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出する音声情報解析手段と、
平均レベルに対して所定レベル以上のレベル変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する音声微動検出手段と、
解析された映像情報及び音声情報を蓄積する音声映像情報蓄積手段と、
映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する警告録生成手段と
を有することを特徴とする。
【０００８】
また、本発明の微動検出通知装置によれば、
端末と通信可能な微動検出通知装置であって、
端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する映像微動検出手段と、
端末から受信した発声の音声情報について、音声認識処理により音声フレーム毎の平均語数を検出する音声情報解析手段と、
平均語数に対して所定語数以上の語数変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する音声微動検出手段と、
解析された映像情報及び音声情報を蓄積する音声映像情報蓄積手段と、
映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する警告録生成手段と
を有することを特徴とする。
【０００９】
更に、本発明の微動検出通知装置によれば、
端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する映像微動検出手段と、
端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出し、音声認識処理により音声フレーム毎の平均語数を検出する音声情報解析手段と、
平均レベルに対して所定レベル以上のレベル変化の微動を検出し、平均語数に対して所定語数以上の語数変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する音声微動検出手段と、
解析された映像情報及び音声情報を蓄積する音声映像情報蓄積手段と、
映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する警告録生成手段と
を有することを特徴とする。
【００１０】
本発明の微動検出通知装置における他の実施形態によれば、
映像情報について、微動が検出された身体の候補領域に応じた警告情報を蓄積する映像警告情報蓄積手段と、
音声情報について、レベル変化及び／又は語数変化に応じた警告情報を蓄積する音声警告情報蓄積手段とを更に有し、
映像微動検出手段は、映像警告情報蓄積手段を用いて、映像情報に付加する警告情報を取得し、
音声微動検出手段は、音声警告情報蓄積手段を用いて、音声情報に付加する警告情報を取得することも好ましい。
【００１１】
本発明の微動検出通知方法によれば、
端末が、利用者における身体の映像情報及び発声の音声情報を装置へ送信する第１のステップと、
装置が、映像情報解析手段を用いて、身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出し、映像微動検出手段を用いて、エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する第２のステップと、
装置が、音声情報解析手段を用いて、発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出し、音声微動検出手段を用いて、平均レベルに対して所定レベル以上のレベル変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する第３のステップと、
解析された映像情報及び音声情報を音声映像情報蓄積手段に蓄積する第４のステップと、
装置が、警告録生成手段を用いて、映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する第５のステップと
を有することを特徴とする。
【００１２】
また、本発明の微動検出通知方法によれば、
端末が、利用者における身体の映像情報及び発声の音声情報を装置へ送信する第１のステップと、
装置が、映像情報解析手段を用いて、身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出し、映像微動検出手段を用いて、エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する第２のステップと、
装置が、音声情報解析手段を用いて、発声の音声情報について、音声認識処理により音声フレーム毎の平均語数を検出し、音声微動検出手段を用いて、平均語数に対して所定語数以上の語数変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する第３のステップと、
解析された映像情報及び音声情報を音声映像情報蓄積手段に蓄積する第４のステップと、
装置が、警告録生成手段を用いて、映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する第５のステップと
を有することを特徴とする。
【００１３】
更に、本発明の微動検出通知方法によれば、
端末が、利用者における身体の映像情報及び発声の音声情報を装置へ送信する第１のステップと、
装置が、映像情報解析手段を用いて、身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出し、映像微動検出手段を用いて、エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する第２のステップと、
装置が、音声情報解析手段を用いて、発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出し、音声認識処理により音声フレーム毎の平均語数を検出し、音声微動検出手段を用いて、平均レベルに対して所定レベル以上のレベル変化の微動を検出し、平均語数に対して所定語数以上の語数変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する第３のステップと、
解析された映像情報及び音声情報を音声映像情報蓄積手段に蓄積する第４のステップと、
装置が、警告録生成手段を用いて、映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する第５のステップと
を有することを特徴とする。
【００１４】
本発明の微動検出通知方法における他の実施形態よれば、
映像情報について、微動が検出された身体の候補領域に応じた警告情報を蓄積する映像警告情報蓄積手段と、
音声情報について、レベル変化及び／又は語数変化に応じた警告情報を蓄積する音声警告情報蓄積手段とを更に有し、
第２のステップについて、映像微動検出手段は、映像警告情報蓄積手段を用いて、映像情報に付加する警告情報を取得し、
第３のステップについて、音声微動検出手段は、音声警告情報蓄積手段を用いて、音声情報に付加する警告情報を取得することも好ましい。
【００１５】
本発明の微動検出通知プログラムによれば、
端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する映像微動検出手段と、
端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出する音声情報解析手段と、
平均レベルに対して所定レベル以上のレベル変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する音声微動検出手段と、
解析された映像情報及び音声情報を蓄積する音声映像情報蓄積手段と、
映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する警告録生成手段と
してコンピュータを機能させることを特徴とする。
【００１６】
また、本発明の微動検出通知プログラムによれば、
端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する映像微動検出手段と、
端末から受信した発声の音声情報について、音声認識処理により音声フレーム毎の平均語数を検出する音声情報解析手段と、
平均語数に対して所定語数以上の語数変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する音声微動検出手段と、
解析された映像情報及び音声情報を蓄積する音声映像情報蓄積手段と、
映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する警告録生成手段と
してコンピュータを機能させることを特徴とする。
【００１７】
更に、本発明の微動検出通知プログラムによれば、
端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する映像情報解析手段と、
エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する映像微動検出手段と、
端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出し、音声認識処理により音声フレーム毎の平均語数を検出する音声情報解析手段と、
平均レベルに対して所定レベル以上のレベル変化の微動を検出し、平均語数に対して所定語数以上の語数変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する音声微動検出手段と、
解析された映像情報及び音声情報を蓄積する音声映像情報蓄積手段と、
映像情報及び音声情報と、それに付加された警告情報とからなる警告録情報を、端末へ送信する警告録生成手段と
してコンピュータを機能させることを特徴とする。
【００１８】
本発明の微動検出通知プログラムにおける他の実施形態よれば、
映像情報について、微動が検出された身体の候補領域に応じた警告情報を蓄積する映像警告情報蓄積手段と、
音声情報について、レベル変化及び／又は語数変化に応じた警告情報を蓄積する音声警告情報蓄積手段とを更に機能させ、
映像微動検出手段は、映像警告情報蓄積手段を用いて、映像情報に付加する警告情報を取得し、
音声微動検出手段は、音声警告情報蓄積手段を用いて、音声情報に付加する警告情報を取得するようにコンピュータを機能させることも好ましい。
【００１９】
【発明の実施の形態】
以下で、図面を用いて、本発明の実施の形態を説明する。
【００２０】
図１は、本発明におけるシステム構成図である。
【００２１】
図１によれば、本発明における微動検出通知装置１と、利用者の端末２及び３とが、インターネット４を介して接続されている。端末２には、利用者の音声情報を取得するマイク２１と、利用者の映像情報を取得するビデオカメラ２２とが備えられている。端末２は、これら音声映像情報を微動検出通知装置１へ送信する。この音声映像情報には、リアルタイムに個別に送信するものと、ファイル形式で一括して送信するものとがある。
【００２２】
微動検出通知装置１は、端末２から音声映像情報を受信すると同時に、リアルタイムにその警告録情報を送信することができる。例えば、端末２は、消費者金融システムにおける顧客の身体の映像情報及び発声の音声情報を取得して微動検出通知サーバ１へ送信するものであり、端末３は、映像を介して非直接的に対応する窓口営業者のところに設置されたものである。これにより、端末３を操作する営業者が、顧客の身体及び発声における不審な微動を把握することができる。尚、端末２から全ての音声映像情報を受信した後で、端末２又は端末３からの警告要求メッセージを受信し、それに対応する警告録情報を送信するものであってもよい。
【００２３】
図２は、本発明における微動検出通知装置１の機能構成図である。
【００２４】
図２の微動検出通知装置１によれば、情報成分分離部１０と、映像情報解析部１１と、音声情報解析部１２と、映像微動検出部１３と、音声微動検出部１４と、映像警告情報蓄積部１５と、音声警告情報蓄積部１６と、音声映像情報データベース１７と、警告要求受信部１８と、警告録生成部１９と、通信インタフェース１Ａとを有する。
【００２５】
インターネット４には、通信インタフェース１Ａを介して接続される。
【００２６】
情報成分分離部１０は、端末２から受信した音声映像情報について、映像情報と音声情報とに分離する。
【００２７】
映像情報解析部１１は、端末から受信した身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する。身体の候補領域とは、微動を生じる目及び口を指定することができる。これは、例えば、前述した特許文献２によって実現できる。また、エッジ部を含むブロックに対して細かく量子化することができるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）技術によれば、容易にエッジ部分を抽出することができる。尚、ＭＰＥＧとは、映像情報及び音声情報等をそれぞれオブジェクトとして扱い、そのオブジェクト毎に最適な符号化を行う動画像圧縮規格である。
【００２８】
映像微動検出部１３は、エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する。所定値は、予め閾値を指定したものである。更に、映像微動検出部１３は、映像警告情報蓄積部１５を用いて、その微動に応じて通知すべき警告情報を取得し、その警告情報を映像情報に付加する。
【００２９】
映像警告情報蓄積部１５は、映像情報について、微動が検出された身体の候補領域に応じた警告情報を蓄積したものである。例えば、以下のようなデータを蓄積する。
【００３０】
【表１】
2004318661.tif 000003
【００３１】
音声情報解析部１２は、端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出するものである。通常、男性は４３ｄＢ程度であり、女性は４０ｄＢ程度である。また、音声情報解析部１２は、音声認識処理により音声フレーム毎の平均語数を検出するものであってもよい。更に、これら音声フレーム毎の平均レベルと平均語数との両方を検出するものであることは特に好ましい。例えば、最も聞き易い早さは１分間に３００文字程度である。
【００３２】
音声微動検出部１４は、平均レベルに対して所定レベル以上のレベル変化の微動を検出する。ここで、検出された平均レベルが４２ｄＢであり、所定レベルが１ｄＢであったならば、４３ｄＢ以上又は４１ｄＢ以下に変化した場合に、微動として検出する。また、平均語数に対して所定語数以上の語数変化の微動を検出する。ここで、平均語数が３１０文字／分であり、所定語数が２０文字であったならば、３３０文字／分以上又は２９０文字／分以下に変化した場合に、微動として検出する。そして、音声微動検出部１４は、音声警告情報蓄積部１６から、これら微動に応じて通知すべき警告情報を取得し、その警告情報を音声情報に付加する。
【００３３】
音声警告情報蓄積部１６は、音声情報について、レベル変化及び／又は語数変化に応じた警告情報を蓄積したものである。例えば、以下のようなデータを蓄積する。
【００３４】
【表２】
2004318661.tif 000004
【００３５】
尚、音声微動解析部は、音声認識処理により平均語数を検出することができるが、この音声認識処理を用いて、顧客の微妙な感情の揺れに伴う用語を検出することもできる。例えば、慌てた場合等に使われるであろう発声「えっ！」や、口癖のように使われる発声「えっと、」のような促音便を検出し、その顧客の感情の揺れを警告情報として指摘することができる。
【００３６】
解析され且つ警告情報が付加された音声情報及び映像情報は、音声映像情報データベース１７に蓄積される。このように蓄積しておくことにより、利用者が用いる端末からの要求に備えることができる。特に、蓄積した各種メディア情報を閲覧する目的と、解析処理の精度の向上に用いるデータとして利用する目的とがある。
【００３７】
警告要求受信部１８は、端末から、解析結果についての警告要求メッセージを受信する。その旨が、警告録生成部１９及び音声映像情報データベース１７に通知される。これにより、警告録生成部１９は、要求された音声映像情報とそれに付加された警告情報とを、音声映像情報データベース１７から取得することができる。
【００３８】
警告録生成部１９は、リアルタイムな警告録情報を必要とする利用者の端末に対しては、映像微動検出部１３及び音声微動検出部１４から出力された映像情報及び音声情報を、直ぐに端末へ送信する。また、端末からの要求に応じる場合には、音声映像情報データベース１７から受信した音声映像情報と、それに付加された警告情報とを、要求元の端末へ送信する。また、このとき、警告録生成部１９は、その音声映像情報と警告情報とを、ＨＴＭＬ形式のＡＶ（Ａｕｄｉｏ  ａｎｄ  Ｖｉｓｕａｌ）情報として生成し、その警告録情報を警告要求メッセージを送信した端末へ返送する。
【００３９】
図３は、本発明による微動検出通知装置と端末との間のシーケンス図である。
【００４０】
（Ｓ３１）端末２は、マイク２１によって取得した顧客の音声情報と、ビデオカメラ２２によって取得した顧客の映像情報とを、微動検出通知装置１へ送信する。音声映像情報は、リアルタイムに個別に送信されるものであってもよいし、ファイル形式で一括して送信されるものであってもよい。
（Ｓ３２）微動検出通知装置１は、警告録情報を、営業者が操作する端末３へ送信する。警告録情報は、利用者の音声映像情報と警告情報とが含まれる。端末３は、映像情報とその警告情報とをブラウザによって表示し、音声情報はスピーカによって出力される。これにより、営業者は、顧客の様子を見ながら、その時点の警告情報として表された客観的な判断を把握することができる。
【００４１】
図４は、本発明におけるフローチャートである。
【００４２】
（Ｓ４１）端末から音声映像情報を受信する。
（Ｓ４２）その音声映像情報を、音声情報と映像情報との成分毎に分離する。
（Ｓ４３）身体の映像情報について、所定時間の画像フレーム毎に、身体の候補領域におけるエッジ部分を検出する。
（Ｓ４４）エッジ部分について所定値以上の移動変化の微動を検出し、その微動が発生した旨の警告情報を映像情報に付加する。この警告情報は、その微動に対して、映像警告情報蓄積部１５から取得されたものである。
（Ｓ４５）警告情報を付加した映像情報は、音声映像情報データベース１７に蓄積される。
（Ｓ４６）端末から受信した発声の音声情報について、所定時間の音声フレーム毎の平均レベルを検出する。また、音声認識処理により音声フレーム毎の平均語数を検出する。
（Ｓ４７）平均レベルに対して所定レベル以上のレベル変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する。また、平均語数に対して所定語数以上の語数変化の微動を検出し、その微動が発生した旨の警告情報を音声情報に付加する。この警告情報は、その微動に対して、音声警告情報蓄積部１６から取得されたものである。
（Ｓ４８）警告情報を付加した音声情報は、音声映像情報データベース１７に蓄積される。
（Ｓ４９）警告情報が付加された映像情報と音声映像とから、ＨＴＭＬ形式の警告録を生成する。
【００４３】
本発明の微動検出通知装置における各手段は、計算機に内蔵された記録媒体を用い、ＣＰＵ等の制御手段を用いて実行可能である。また、計算機読み取り可能なプログラムをＣＤ等の記録媒体若しくは通信回線を介してインストールして当該計算機に実行させることもできる。これらプログラムは、主に、インターネットに接続された装置の一機能として、当該装置に搭載されるプログラムによって実現されてもよい。もちろん、これら機能は、搭載されるプログラムによっても実現され、Ｐｅｅｒ−ｔｏ−Ｐｅｅｒ型で利用することもできる。
【００４４】
【発明の効果】
以上詳細に説明したように、本発明の微動検出通知装置、方法及びプログラムによれば、身体及び発声の微動を指摘することができる。
【００４５】
消費者金融事業者等の非直接対面型接待通信の場合、現在は、カスタマセンタ等に集中的に人員を配置しコスト削減を図っているが、最終的な判断は、数値データによる与信の結果と、カスタマセンタに配置された人による人相や行為の判断により、貸与額が決められている。本発明によれば、超高速回線特有の超高精細画像による人相等の判断を実施したりして、更に、目をきょろきょろさせる仕草や、顔を落ち着きなく動かす仕草を画像解析により検知したり、声の微妙な震えを音声解析により検知することにより、不審者か否かの１次振り分けを行い、金融事業者等のコスト削減を図ることがあげられる。１次振り分けの際、精度をよくするために、初体験のものと数回利用経験があるものでは、徴動作や微震等も影響をうけるため、蓄積した映像と音声等のメディアの情報は、閾値の公正化のために利用する。また、音楽のリズムを踏むような体の動きは、単一的なリズムであるため、不審者の微動作とは異なると考えられるが、これも蓄積した映像と音声メディアの情報により、閾値の公正化のために利用する。
【００４６】
また、先に出願した対話練習支援装置についての発明に利用した場合、微妙な感情の揺れが身体の微動作や声の微震として現れた場合、これを感知するので、指導の幅を広げることが可能になる。
【００４７】
その他の例として、映像と音声からなる通信会議システムにおいて、ユーザからの要望が高い、背景画面を消す技術にも用いることができる。現在、外国語学校等で利用されている映像と音声からなる通信会議システムを利用したサービスでは、受講者のバックに写る家庭の像が映し出されるため、事前に部屋を整頓するなどが必要で、これが、利用頻度の向上のブレーキになっている。そこで、本発明の一部を逆に利用することにより、顔を微妙に動かすことにより、顔の輸郭内の部分を残し、その輪郭外に写る背景像を消すことが可能になる。このようにして、本特許の技術の利用範囲は、極めて大きいと考えられる。
【図面の簡単な説明】
【図１】本発明におけるシステム構成図である。
【図２】本発明における微動検出通知装置１の機能構成図である。
【図３】本発明による微動検出通知装置と端末との間のシーケンス図である。
【図４】本発明におけるフローチャートである。
【符号の説明】
１  微動検出通知サーバ
１０  情報成分分離部
１１  映像情報解析部
１２  音声情報解析部
１３  映像微動検出部
１４  音声微動検出部
１５  映像警告情報蓄積部
１６  音声警告情報蓄積部
１７  音声映像情報データベース
１８  警告警告要求受信部
１９  警告録生成部
２、３  端末
２１  マイク
２２  ビデオカメラ
２３  スピーカ
４  インターネット
【図１】
2004318661.tif 000005
【図２】
2004318661.tif 000006
【図３】
2004318661.tif 000007
【図４】
2004318661.tif 000008