(57)【要約】【課題】  プログラム、情報処理装置および画像処理装置を提供すること。【解決手段】  本プログラムは、コンピュータを、分析対象の音響信号から抽出された音響特徴に基づいて、入力音響特徴パターンを生成する音響特徴生成手段２１４、正常音を表現する基準音響特徴パターンの各状態の継続時間長を更新する更新手段２２２、基準音響特徴パターンおよび継続時間長に基づいて、入力音響特徴パターンと基準音響特徴パターンとの類似性を評価する指標値を算出する算出手段２１６、および算出された指標値に基づいて、分析対象の音響信号が正常音であるかを判定する判定手段２１８として機能させるためのプログラムである。【選択図】  図２
2016176706.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを、
分析対象の音響信号から抽出された音響特徴に基づいて、入力音響特徴パターンを生成する音響特徴生成手段、
正常音を表現する基準音響特徴パターンの各状態の継続時間長を更新する更新手段、
前記基準音響特徴パターンおよび前記継続時間長に基づいて、前記入力音響特徴パターンと前記基準音響特徴パターンとの類似性を評価する指標値を算出する算出手段、および
算出された前記指標値に基づいて、前記分析対象の音響信号が正常音であるかを判定する判定手段
として機能させるためのプログラム。
【請求項２】
前記更新手段は、分析対象となる装置の使用状況に応じた修正率に基づいて各状態の継続時間長を更新し、前記判定手段は、更新された継続時間長に基づいて算出された指標値が基準を満たしていない場合に、前記分析対象の音響信号が異常音であると判定する、請求項１に記載のプログラム。
【請求項３】
前記更新手段は、前記判定手段により前記分析対象の音響信号が正常音ではないと判定された場合に、規定回数を上限として、各状態の継続時間長の更新を繰り返し、前記判定手段は、前記規定回数に達し、かつ、更新された継続時間長に基づいて再算出された指標値が基準を満たしていない場合に、前記分析対象の音響信号が異常音であると判定する、請求項１に記載のプログラム。
【請求項４】
前記更新手段は、前記判定手段により前記分析対象の音響信号が正常音であると判定された場合に、最新の継続時間長を保存する、請求項３に記載のプログラム。
【請求項５】
コンピュータを、さらに、
前記判定手段により前記分析対象の音響信号が異常音であると判定された場合に、異常の確認を求める通知を行う通知手段、
前記通知に対する異常が認められたか否かの入力を受け付ける受付手段、および
前記受付手段により異常が認められない旨の入力が受け付けられた場合に、前記算出手段による指標値の算出に際しての継続時間長に対する制限を緩和する制限緩和手段
としてさらに機能させるためのプログラムである、請求項１〜４のいずれか１項に記載のプログラム。
【請求項６】
前記算出手段は、継続時間長制御が適用された状態遷移モデルに基づいて、前記指標値を算出する、請求項１〜５のいずれか１項に記載のプログラム。
【請求項７】
分析対象の装置に設けられた採音手段からの分析対象の音響信号から抽出された音響特徴に基づいて、入力音響特徴パターンを生成する音響特徴生成手段と、
正常音を表現する基準音響特徴パターンの各状態の継続時間長を更新する更新手段と、
前記基準音響特徴パターンおよび前記継続時間長に基づいて、前記入力音響特徴パターンと前記基準音響特徴パターンとの類似性を評価する指標値を算出する算出手段と、
算出された前記指標値に基づいて、前記分析対象の音響信号が正常音であるかを判定する判定手段と
を含む、情報処理装置。
【請求項８】
前記情報処理装置は、前記分析対象の装置に通信路を介して接続されているか、または、前記分析対象の装置に組み込まれている、請求項７に記載の情報処理装置。
【請求項９】
当該画像処理装置に設けられる採音手段からの音響信号の入力を受ける入力手段と、
前記入力手段に入力される音響信号から音響特徴を抽出し、入力音響特徴パターンを生成する音響特徴生成手段と、
正常音を表現する基準音響特徴パターンの各状態の継続時間長を更新する更新手段と、
前記基準音響特徴パターンおよび前記継続時間長に基づいて、前記入力音響特徴パターンと前記基準音響特徴パターンとの類似性を評価する指標値を算出する算出手段と、
算出された前記指標値に基づいて、前記入力される音響信号が正常音であるかを判定する判定手段と
を含む、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報処理装置および画像処理装置に関する。
【背景技術】
【０００２】
従来より、画像処理装置等の装置の内部にマイクを設置し、マイクにより集音した音響信号データを解析して、装置の駆動機構の異常を検知する技術が知られている。
【０００３】
例えば、特開２０１０−５４５５８号公報（特許文献１）は、集音手段によって画像形成部の音を集音し、集音した音に基づいて異常の有無を判断することにより、故障の予兆を正確に捕らえることを目的とした技術を開示する。特許文献１は、媒体上に画像を形成する画像形成装置であって、画像を形成する画像形成部の音を集音する集音手段と、集音手段が集音した音に基づき画像形成部の状態を判断する状態判断手段を備えた画像形成装置を開示する。
【０００４】
しかしながら、従来技術の故障検知システムでは、経時による音響特徴の変化が想定されておらず、環境変化に応じて適応的に検知できない点で充分ではなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、精度よく装置の駆動機構の異常を検知することができる、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では、上記課題を解決するために、下記特徴を有するプログラムを提供する。本プログラムは、コンピュータを、分析対象の音響信号から抽出された音響特徴に基づき、入力音響特徴パターンを生成する音響特徴生成手段、正常音を表現する基準音響特徴パターンの各状態の継続時間長を更新する更新手段、上記基準音響特徴パターンおよび継続時間長に基づいて、上記入力音響特徴パターンと上記基準音響特徴パターンとの類似性を評価する指標値を算出する算出手段、および、算出された指標値に基づいて、上記分析対象の音響信号が正常音であるかを判定する判定手段として機能させるためのプログラムである。
【発明の効果】
【０００７】
上記構成により、経精度よく装置の駆動機構の異常を検知することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態において異常診断の対象となる複合機の機構構成図。
【図２】第１の実施形態による異常診断装置の機能ブロックを示す図。
【図３】第１の実施形態における異常診断装置が実行する、異常診断準備処理を示すフローチャート。
【図４】第１の実施形態による異常診断装置が用いる、使用時間に応じた継続時間長の修正率を表すグラフ。
【図５】第１の実施形態における異常診断装置が実行する、異常診断処理を示すフローチャート。
【図６】第２の実施形態における異常診断装置が実行する、異常診断処理を示すフローチャート。
【図７】第３の実施形態において表示される異常確認画面を例示する図。
【図８】第３の実施形態における異常診断装置が実行するユーザ判断フィードバック処理を示すフローチャート。
【図９】本実施形態による異常診断装置のハードウェア構成図。
【発明を実施するための形態】
【０００９】
以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、情報処理装置として、分析対象である複合機にネットワークを介して接続され、複合機の内部に設けられたマイクからの音響データを受信し、受信した音響データに基づいて複合機での駆動機構の異常を診断する異常診断装置を一例として説明する。
【００１０】
以下、図１を参照しながら、異常診断の対象となる複合機１００の概略構成について説明する。図１は、本実施形態における複合機１００の機構構成を示す。図１に示す複合機１００は、自動原稿送り装置（ＡＤＦ：Auto Document Feeder）１０１と、コンタクトガラス１０６と、画像読取ユニット１５０と、画像形成ユニット１５７と、転写・定着ユニット１３０とを含む。ＡＤＦ１０１は、原稿台１０２にセットされた原稿を、原稿セット検知センサ１０７により検知し、原稿束一番上方にセットされたものから順次、給送ローラ１０３および給送ベルト１０４によってコンタクトガラス１０６上の所定位置へ搬送する。給送ベルト１０４および排送ローラ１０５により、画像読取りされた原稿が排出される。
【００１１】
画像読取ユニット１５０は、露光ランプ１５１から光を放射させ、コンタクトガラス１０６上の原稿により反射された反射光を、第１ミラー１５２、第２ミラー１５５および第３ミラー１５６により反射させ、レンズ光学系１５３を経由させて、ＣＣＤ（Charge Coupled Device）イメージセンサ１５４へ導き、画像読取りを行う。画像形成ユニット１５７は、内部にレーザダイオードおよびモータ駆動で定速回転するポリゴンミラーを備えるレーザ出力ユニット１５８を備える。画像形成ユニット１５７は、レーザ出力ユニット１５８から光ビームを放射させ、放射された光ビームを、結像レンズ光学系１５９およびミラー１６０を経由させて、感光体ドラム１１５へ照射し、感光体ドラム１１５を像状露光し、静電潜像を形成する。
【００１２】
形成された静電潜像は、感光体ドラム１１５が回動するにつれて現像ユニット１２７へと搬送され、現像剤により現像される。そして、感光体ドラム１１５上に現像剤像が担持され、感光体ドラム１１５の回動につれて、現像剤像が転写・定着ユニット１３０へと搬送される。転写部材は、それぞれ各給紙ユニット１１１〜１１３により給紙され、縦搬送ユニット１１４により感光体ドラム１１５に当接する位置まで搬送される。感光体ドラム１１５上の現像剤像が、搬送ベルト１１６に静電吸着された転写部材に転写され、転写後、転写部材上に画像が形成される。形成された画像は、定着ユニット１１７により定着され、定着後の印刷物は、排紙ユニット１１８により、排紙トレイ１１９上に排紙される。また両面印刷を行なう場合、分離爪１７２を上側にセットすることにより、印刷物は、排紙トレイ１１９上に導かれずに、両面印刷用給紙ユニット１７１に一旦ストックされ、分離爪１７２が切り替えられた後、裏面に画像を転写するために再給紙され、排紙トレイ１１９上に排紙される。
【００１３】
説明する実施形態において、複合機１００は、搬送系や給紙系などの駆動機構の異常を検知するために、モータやギアなどの駆動音を採音するマイクなどの採音手段を内部の所定位置に備えている。複合機１００内部のマイクにより採音された音響信号データは、複合機１００が備えるネットワーク・インタフェース・カードなどを介して、外部の異常診断装置に送信される。異常診断装置は、例えば、パーソナル・コンピュータやワークステーションやサーバなどの汎用コンピュータを用いて構成され、異常診断を行うためのソフトウェアを実装する。異常診断装置は、複合機１００からの音響データを受信し、解析を行って、複合機１００内部で発生している異常音を検出し、故障や故障の予兆を検知する。
【００１４】
説明する実施形態では、異常診断装置は、入力される音響信号データに基づく音響特徴を、事前に定義された駆動機構の正常音を表現した音響特徴と照合し、異常音を検出する。しかしながら、正常音の音響特徴は、複合機１００の使用状況に応じて、例えば経年によって、変化する可能性がある。そのため、事前に定義された正常音を表現した音響特徴を固定的に使用した場合、使用状況に追随することができず、本来は正常であるにもかかわらず異常音であると誤判定してしまう可能性がある。
【００１５】
そこで、説明する実施形態では、異常音を検出するための音響モデルに継続時間長制御が適用されたモデル、より具体的には、継続時間制御型状態遷移（Duration based State Transition；ＤＳＴ）モデルを採用する。そして、この正常音を表現する音響特徴パターンにおける各状態の継続時間長を、使用状況等に応じて更新する構成を採用する。これにより、複合機１００の使用状況に応じた正常音の変化を考慮して異常の判断を行うことが可能となり、精度よく駆動機構の異常を検知できるようになる。
【００１６】
以下、図２〜図５を参照しながら、第１の実施形態による異常診断装置が有する、複合機を対象とした異常診断機能について説明する。図２は、第１の実施形態による異常診断装置２１０の機能ブロック２００を示す図である。図２に示す機能ブロック２００は、複合機１００の内部に設置されるマイク２０２と、複合機１００に対してネットワークを介して接続される異常診断装置２１０上に構成される機能部２１２〜２２４とを含み構成される。
【００１７】
異常診断装置２１０は、より詳細には、音響信号入力部２１２と、音響特徴抽出部２１４と、認識部２１６と、判定部２１８と、基準パターン格納部２２０と、継続時間長更新部２２２と、継続時間長格納部２２４とを含み構成される。
【００１８】
音響信号入力部２１２は、複合機１００内に設置されたマイク２０２からの音響信号データの入力を受けて、音響特徴抽出部２１４へ入力する。音響特徴抽出部２１４は、入力された音響信号データから音響特徴を抽出し、認識部２１６での認識処理で用いる音響特徴のパターン（以下、入力される分析対象の音響信号データから生成された音響特徴のパターンを入力パターンと参照する。）を生成する。音響特徴抽出部２１４は、本実施形態における音響特徴生成手段を構成し、入力パターンは、本実施形態における入力音響特徴パターンを構成する。
【００１９】
特定の実施形態では、音響特徴量としては、周波数情報を用いることができる。音響特徴抽出部２１４は、所定のインターバル（例えば数十ｍｓ）および窓関数を用いて、入力音響信号データを短時間フーリエ変換（Short-Term Fourier Transform；ＳＴＦＴ）により解析し、周波数情報に変換する。なお、説明する実施形態では、音響特徴量として周波数情報を用いるが、音響特徴量としては、特に限定されるものではない。例えば、メル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficient）、ＬＰＣケプストラム係数（Linear Predictive Coding Cepstrum Coefficient）など如何なる音響特徴量を採用することができる。
【００２０】
また、説明する実施形態では、複合機１００内に設置されたマイク２０２からの音響信号データが異常診断装置２１０に入力されるものとするが、これに限定されるものではない。他の実施形態では、マイク２０２の音響信号データから複合機１００内で音響特徴が抽出され、音響特徴データが異常診断装置２１０に入力されてもよい。
【００２１】
認識部２１６は、音響特徴抽出部２１４で抽出された入力パターンを、事前登録された駆動機構の正常音を表現する音響特徴のパターン（以下、入力パターンと照合される基準となる音響特徴のパターンを基準パターンと参照する。）と照合し、正常音と類似しているかどうかを指標する指標値（類似度）を算出する。基準パターン格納部２２０は、上述した認識部２１６が用いる基準パターンを格納する。基準パターンは、予め学習されたものであり、工場出荷時などに基準パターン格納部２２０に保存される。基準パターンは、本実施形態における基準音響特徴パターンを構成する。判定部２１８は、算出された指標値を所定の閾値と比較して、入力音響信号データが正常音であるか異常音であるかを判定する。
【００２２】
図２に示す機能ブロック２００は、さらに、操作部２０４を含み構成することができる。判定部２１８による正常音であるか異常音であるかの判定結果は、操作部２０４のディスプレイ装置に表示することができる。操作部２０４は、異常診断結果を参照するユーザがアクセスするものであり、例えば、異常診断装置２１０が備えるディスプレイ装置および入力装置、異常診断装置２１０にリモートアクセスする端末が備えるディスプレイ装置および入力装置、または複合機１００の操作パネルのディスプレイ装置および入力装置により提供される。
【００２３】
上述したように、説明する実施形態では、異常音を検出するための音響モデルとして、継続時間制御型状態遷移（ＤＳＴ）モデルを採用する。ＤＳＴモデルの詳細は、例えば、非特許文献１（室井  哲也，米山  正秀、”継続時間制御型状態遷移モデルを用いた単語音声認識”、電子通信学会論文誌、Ｖｏｌ．７２  Ｄ−ＩＩ、１９８９年１月）を参照することができる。以下、継続時間長を制御した音響モデルとして、上記非特許文献に示されている継続時間制御型状態遷移モデルを用いる場合を一例として説明する。
【００２４】
ＤＳＴモデルは、下記漸化式（１）によって、未知の入力パターンおよび基準パターン間の距離を計算するモデルである。
【００２５】
【数１】
2016176706.tif 000003
【００２６】
上記式（１）中、Ｄ（ｉ，ｊ）は、入力された音響信号データの入力開始フレームからｉフレーム目までを、基準パターンの第１状態から第ｊ状態に割り当てたときの距離を表す。Ｄ（Ｉ，Ｊ）は、Ｉが入力された音響信号データの終了フレームの番号であり、Ｊが基準パターンの最終状態の番号であるとして、入力された音響信号データと基準パターンとの間の距離になる。ｘｉは、入力された音響信号データに基づく入力パターンの第ｉフレームの特徴ベクトルを表し、ｙｊは、基準パターンの第ｊ状態の特徴ベクトルを表す。Ｂ（ｊ）は、マッチングパスの形状を記憶し、最初に第ｊ状態に遷移したフレーム番号を保持する。このため、上記式（１）中の｛ｉ−Ｂ（ｊ−１）｝は、入力された音響信号データが第ｊ状態に滞留したフレーム数となる。上記式（１）中、Ｌ（ｊ）は、基準パターンの第ｊ状態の継続時間長を表す。上記式（１）中、ｗｊは、継続時間長制御の強さを規定するパラメータであり、ｗｊが大きい値であるほど継続時間制御の制限が厳しくなり、ｗｊが小さな値であるほど、継続時間制御の制限が緩和される。
【００２７】
認識部２１６は、基準パターン（ｙ１，ｙ２…ｙＪ）および基準パターンの各状態ｊ（ｊ＝１，…，Ｊ）の継続時間長Ｌ（ｊ）に基づいて、入力パターン（ｘ１，ｘ２，…ｘＩ）と基準パターン（ｙ１，ｙ２…ｙＪ）との類似性を評価する指標値を算出する。認識部２１６は、本実施形態における算出手段を構成する。基準パターンの各状態ｊの継続時間長Ｌ（ｊ）は、継続時間長格納部２２４に予め格納されている。ここに格納される継続時間長Ｌ（ｊ）は、基準パターンと同様に予め学習されたものであり、工場出荷時などに継続時間長格納部２２４に保存される。
【００２８】
継続時間長更新部２２２は、継続時間長格納部２２４から、事前に格納されている継続時間長Ｌ（ｊ）を読み出し、認識処理の開始前に、認識部２１６に渡す。説明する実施形態では、継続時間長更新部２２２は、正常音を表現する基準パターンの各状態の継続時間長Ｌ（ｊ）を、複合機１００の使用時間（工場出荷後の使用開始時点から通算して計時された経過時間をいう。）に応じた修正率に基づいて更新する。そして、継続時間長更新部２２２は、更新された継続時間長Ｌ（ｊ）’を、認識部２１６に渡す。認識部２１６は、渡された更新された継続時間長Ｌ（ｊ）’を用いて認識処理を行うことになる。そして、説明する実施形態において、判定部２１８は、更新された継続時間長Ｌ（ｊ）’に基づいて算出された指標値が基準を満たしていない場合には、入力される音響信号データが異常音であると判定する。
【００２９】
図３は、第１の実施形態における異常診断装置２１０が実行する異常診断準備処理を示すフローチャートである。図３に示す処理は、例えば、異常診断を行うタイミングが到来したことに応じて、あるいは、ユーザからの異常診断の指示が行われたことに応答して、異常診断処理を開始する前に、ステップＳ１００から開始される。
【００３０】
ステップＳ１０１では、認識部２１６は、基準パターン格納部２２０から、正常音の基準パターンを読込む。ステップＳ１０２では、継続時間長更新部２２２は、継続時間長格納部２２４から、正常音の基準パターンの各状態ｊの継続時間長Ｌ（ｊ）を読出す。ステップＳ１０３では、継続時間長更新部２２２は、使用時間に応じた修正率で、各状態ｊの継続時間長Ｌ（ｊ）を修正し、更新する。
【００３１】
図４は、第１の実施形態による異常診断装置２１０が用いる、使用時間に応じた継続時間長の修正率を表すグラフである。図４に示すグラフは、複合機１００の使用時間を横軸とし、修正率を縦軸とし、使用時間Ｔに対し修正率Ｓ（Ｔ）を与える関数を表している。原点は、工場出荷時点を表す。説明する実施形態において、継続時間長更新部２２２は、図４に示すグラフに表される関数をテーブル化したデータを保持しており、下記式（２）に示すように、使用時間Ｔから得られた修正率Ｓ（Ｔ）を、継続時間長格納部２２４に格納された元の継続時間長Ｌ（ｊ）に乗算することにより、更新された継続時間長Ｌ（ｊ）’を算出する。
【００３２】
【数２】
2016176706.tif 000004
【００３３】
上述した関数は、例えば複合機１００の提供元で事前に定義されたものであり、図４に示す具体的な関数形に限定されるものではない。また、説明する実施形態では、便宜上、各状態ｊの継続時間長Ｌ（ｊ）に対して一律に修正率Ｓ（Ｔ）を乗算するものとして説明するが、これに限定されるものではない。他の実施形態では、状態毎に関数を準備し、状態毎に適した修正率Ｓｊ（Ｔ）を乗算することとしてもよい。
【００３４】
再び図３を参照すると、ステップＳ１０４では、認識部２１６は、継続時間長更新部２２２から、更新された各状態ｊの継続時間長Ｌ（ｊ）’を受け取り、ステップＳ１０５で本処理を終了する。認識部２１６は、以降、上述したように更新された継続時間長Ｌ（ｊ）’を用いて、認識処理を実行する。
【００３５】
図３に示す処理フローにより、認識部２１６に基準パターンおよび継続時間長が設定され、以降、図５に示す処理により異常診断処理が行われる。図５は、第１の実施形態における異常診断装置２１０が実行する異常診断処理を示すフローチャートである。図５に示す処理は、例えば図３に示す処理が完了したことに応じて、ステップＳ２００から開始される。
【００３６】
ステップＳ２０１では、音響特徴抽出部２１４は、入力された音響信号データから音響特徴を抽出し、入力パターンを生成する。ステップＳ２０２では、認識部２１６は、正常音の基準パターンおよび更新された継続時間長Ｌ（ｊ）’に基づいて、入力パターンと、基準パターンとの類似度（典型的には、上記式（１）で算出される距離の逆数）を計算する。ステップＳ２０３では、算出された類似度と事前定義された閾値との比較結果に応じて、処理が分岐される。
【００３７】
ステップＳ２０３で、算出された類似度が、所定の閾値以上であると判定された場合（ＹＥＳ）は、ステップＳ２０４へ処理が分岐される。この場合、基準パターンと入力パターンとが充分に類似性を有しているということであるので、ステップＳ２０４では、判定部２１８が、正常音であると判定し、ステップＳ２０６で本処理を終了させる。
【００３８】
これに対して、ステップＳ２０３で、算出された類似度が、所定の閾値未満であると判定された場合（ＮＯ）は、ステップＳ２０５へ処理が分岐される。この場合、基準パターンと入力特徴パターンとが充分に類似性を有しているとは言えない。このため、ステップＳ２０５では、判定部２１８が、異常音であると判定し、ステップＳ２０６で本処理を終了させる。
【００３９】
上述したように、状態の継続時間を考慮するＤＳＴモデルを用いて、入力音響信号データに基づく入力パターンと、事前準備された基準パターンとのパターンマッチングが行われ、その結果として得られる距離の逆数が類似度として算出される。そして、算出された類似度に基づいて、入力音響信号が正常であるか異常であるかが判定される。
【００４０】
上述した第１の実施形態では、複合機１００の使用時間に応じて、初期値として継続時間長格納部２２４に格納された継続時間長が適宜更新された上で認識処理が行われる。このため、複合機１００の使用状況に応じた正常音の変化を考慮することができ、ひいては、駆動機構の異常を精度よく検知することが可能となる。特に、正常音の継続時間長が経時により変動したことにより、本来正常と判定してもよいにもかかわらず異常であると判定されるような誤判定を防止することが可能となる。
【００４１】
以上説明した第１の実施形態では、使用時間から修正率が計算されて、計算された修正率に応じて基準パターンの各状態の継続時間長が修正される。以下、異常診断装置２１０が、所定の継続時間長に基づく判定を行いながら、正常ではないと判定された場合に、継続時間長を更新した上で再度認識処理をし直して異常診断を行う第２の実施形態について、図２および図６を参照しながら説明する。なお、第２の実施形態は、第１の実施形態と同様な構成を備えるので、以下、相違点を中心に説明する。
【００４２】
図２に示す機能ブロック２００は、第２の実施形態による異常診断装置２１０の構成も表している。第１の実施形態では、継続時間長更新部２２２は、認識処理を開始する前に、継続時間長Ｌ（ｊ）の更新を行っている。これに対して、第２の実施形態による継続時間長更新部２２２は、判定部２１８により音響信号データが正常音ではないと判定された場合には、規定回数Ｍを上限として、継続時間長Ｌ（ｊ）の更新を繰り返し実行する。継続時間長更新部２２２は、更新された継続時間長Ｌ（ｊ）ｍ（ｍ＝１〜Ｍ）を認識部２１６へ渡し、認識部２１６により再入力した音響信号に対する認識処理を行わせる。継続時間長更新部２２２は、判定部２１８により正常音であると判定された場合には、最新の継続時間長Ｌ（ｊ）ｍを継続時間長格納部２２４に保存する。これにより、修正された継続時間長を、以降の異常診断処理で用いることが可能となり、認識の精度を上げることができる。
【００４３】
第２の実施形態による認識部２１６は、規定回数Ｍを上限として、初期値の継続時間長または継続時間長更新部２２２により更新された現在の継続時間長に基づいて類似度を算出する。認識部２１６は、判定部２１８により算出された類似度が所定の基準を満たさず、正常音ではないと判定された場合には、再度、音響信号の入力を行い、認識処理を繰り返す。第２の実施形態による判定部２１８は、規定回数Ｍに達する前に、再算出された類似度が基準を満たした場合には、入力される音響信号が正常音であると判定する。これに対して、規定回数Ｍに達し、かつ、更新された継続時間長Ｌ（ｊ）Ｍに基づいて再算出された類似度が基準を満たしていない場合には、判定部２１８は、入力される音響信号が異常音であると判定する。
【００４４】
図６は、第２の実施形態における異常診断装置２１０が実行する異常診断処理を示すフローチャートである。図６に示す処理は、異常診断を行うタイミングが到来したことに応じて、あるいは、ユーザからの異常診断の指示が行われたことに応答して、ステップＳ３００から開始される。
【００４５】
ステップＳ３０１では、音響特徴抽出部２１４は、入力された音響信号データから音響特徴を抽出し、入力パターンを生成する。ステップＳ３０２では、認識部２１６は、正常音の基準パターンおよび現在の継続時間長Ｌ（ｊ）ｍに基づいて、入力パターンと、基準パターンとの類似度を計算する。ステップＳ３０３では、算出された類似度と事前定義された閾値との比較結果に応じて、処理が分岐される。
【００４６】
ステップＳ３０３で、算出された類似度が、所定の閾値以上であると判定された場合（ＹＥＳ）は、ステップＳ３０４へ処理が分岐される。この場合、基準パターンと入力パターンとが充分に類似性を有しているので、ステップＳ３０４では、判定部２１８が、正常音であると判定する。ステップＳ３０５では、継続時間長更新部２２２は、現在の継続時間長Ｌ（ｊ）ｍを継続時間長格納部２２４に保存し、ステップＳ３０９で本処理を終了させる。
【００４７】
これに対して、ステップＳ３０３で、算出された類似度が、所定の閾値未満であると判定された場合（ＮＯ）は、ステップＳ３０６へ処理が分岐される。ステップＳ３０６では、判定部２１８が正常音ではないと判定し、継続時間長更新部２２２が継続時間長を更新する。例えば、従前使用した継続時間長の値をより大きい値に更新される。ステップＳ３０７では、更新回数が、規定回数に達しているか否かを判定する。ステップＳ３０７で、規定回数に達していないと判定された場合（ＮＯ）は、ステップＳ３０１へ処理をループさせて、更新された継続時間長を用いて再度の音響信号データの入力および認識処理を行わせる。これに対して、ステップＳ３０７で、規定回数に達していると判定された場合（ＹＥＳ）は、ステップＳ３０８へ処理を分岐させる。ステップＳ３０８では、判定部２１８は、異常音であると判定し、ステップＳ３０９で、本処理を終了させる。
【００４８】
上述した規定回数は、予め決めている回数であり、最大でこの規定回数まで音響信号データの正常か異常かの判定が繰り返されることになる。
【００４９】
上述した第２の実施形態による異常診断装置２１０において、最初の音響信号データの入力の際に正常であると判定されなかった場合は、基準パターンの継続時間長Ｌ（ｊ）が大きい値に更新されてから、再入力した音響信号データに対する判定が行われる。２回目の入力に対して、上記式（１）において、｛ｉ−Ｂ（ｊ−１）｝の値が大きくなっても、これに対して修正された継続時間長Ｌ（ｊ）ｍも大きな値となっているため、入力パターンと標準パターンのマッチング時に継続時間の違いによってこれらの間の距離が大きくなってしまうという不都合が生じるのを防止することができる。最大でも規定回数分繰り返すことによって、経時により正常音の継続時間長が多少変化しても、その変化に対応して正しい判定を行うことが可能となる。また、その際には、変化に適した修正率を与える関数が不明であってもよい。
【００５０】
なお、上述した実施形態では、従前使用した継続時間長の値をより大きい値に更新するものとしたが、これに限定されるものではない。他の実施形態では、従前使用した継続時間長の値をより小さな値に更新してもよいし、さらに他の実施形態では、繰り返しの回数ごとに、継続時間長の更新を、継続時間長が長くなるよう修正したり、短くなるよう修正したりするなど異なる更新を行ってもよい。
【００５１】
以上説明した第１の実施形態および第２の実施形態では、基準パターンの各状態の継続時間長を修正するものであった。以下、継続時間長に加えて、ＤＳＴモデルにおける継続時間長に対する制限を変化させる第３の実施形態について、図２、図７および図８を参照しながら説明する。なお、第３の実施形態は、第１の実施形態および第２の実施形態と同様な構成を備えるので、以下、相違点を中心に説明する。
【００５２】
図２に示す機能ブロック２００は、第３の実施形態による異常診断装置２１０の構成も表している。第３の実施形態においても、判定部２１８は、第１の実施形態または第２の実施形態と同様に、算出された類似度が閾値以上か否かにより正常音であるか異常音であるかを判定することになる。しかしながら、第３の実施形態では、判定部２１８により異常と判定された場合は、正常であるか異常であるかの最終的な判断をユーザに委ね、ユーザによる最終判断が「正常」である場合は、上述したＤＳＴモデルにおける継続時間長に対する制限を緩和して、入力音響信号の認識を行うように構成される。
【００５３】
第３の実施形態によるによる操作部２０４は、判定部２１８により音響信号データが異常音であると判定された場合に、ユーザに対し実際に異常が認められているか否かの確認を求める通知を行う。第３の実施形態による操作部２０４は、さらに、ユーザからの、上述した通知に対する異常が認められたか否かの入力を受け付ける。操作部２０４は、第３の実施形態における通知手段および受付手段を構成する。
【００５４】
図７は、第３の実施形態において表示される異常確認画面３００を例示する。図７に示す異常確認画面３００は、機器に異常が認められるかの確認を求めるメッセージと、異常が認められる旨のユーザからの指示を受け付ける「はい」ボタン３０２と、異常が認められない旨のユーザからの指示を受け付ける「いいえ」ボタン３０４とを含む。
【００５５】
そして、図７に示すような表示を行いユーザの最終的な判断に応じて、第３の実施形態による認識部２１６は、認識処理を切り替える。より具体的には、認識部２１６は、判定部２１８により異常音であると判定されたにもかかわらず、操作部２０４が異常が認められない旨のユーザからの入力を受け付けた場合には、認識処理による類似度の算出に際しての継続時間長に対する制限を緩和する。認識部２１６は、第３の実施形態における制限緩和手段を構成する。
【００５６】
図８は、第３の実施形態における異常診断装置２１０が実行するユーザ判断フィードバック処理を示すフローチャートである。図８に示す処理は、判定部２１８による異常音であるとの判定結果が得られる毎に、ステップＳ４００から開始される。
【００５７】
ステップＳ４０１では、認識部２１６は、操作部２０４に対するユーザからの判断結果を取得する。ステップＳ４０２では、認識部２１６は、判断結果に応じて処理を分岐させる。
【００５８】
ステップＳ４０２で、ユーザによる判断結果が「正常」であった場合（ＹＥＳ）は、ステップＳ４０３へ処理を分岐させる。ステップＳ４０３では、認識部２１６は、以降の認識部２１６の認識処理において、上述した式（１）におけるｗｊの値を小さくして、入力される音響信号に対する認識を行うようにし、ステップＳ４０４で、本処理を終了させる。この結果、入力パターンと基準パターンとのマッチングの際に継続時間の差（｛ｉ−Ｂ（ｊ−１）｝−Ｌ（ｊ））によって、入力パターンと基準パターンとの間の距離が大きくなってしまうという不都合が生じることを防止することができる。
【００５９】
これに対して、ステップＳ４０２で、ユーザによる判断結果が「異常」であった場合（ＮＯ）は、ステップＳ４０４へ直接処理を分岐させ、本処理を終了させる。この場合、異常音であるとの判定結果が確定することになる。
【００６０】
上述した第３の実施形態による異常診断装置２１０においては、異常であるか否かの最終的な判断が、例えば、複合機１００のメンテナンスを行うサービスマンや、ユーザ側の管理者などのユーザに委ねられる。ユーザに最終判断してもらうことで、その後の認識処理で正常音を異常音と誤判定することを防止することができる。
【００６１】
以下、図９を参照しながら、本実施形態による異常診断装置２１０のハードウェア構成について説明する。図９は、本実施形態による異常診断装置２１０のハードウェア構成を示す図である。本実施形態による異常診断装置２１０は、デスクトップ型のパーソナル・コンピュータ、ワークステーションなどの汎用コンピュータ１０などとして構成されている。図９に示すコンピュータ１０は、ＣＰＵ（Central Processing Unit）１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担うサウスブリッジ１６とを含む。
【００６２】
ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ（Random Access Memory）１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、映像出力インタフェースを介してディスプレイ４０に接続される。
【００６３】
サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）１３９４ポート２６、ＵＳＢ（Universal Serial Bus）ポート２８、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、コンピュータ１０を制御するためのＯＳ、上述した機能部を実現するための制御プログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、異常診断装置２１０をＬＡＮに接続させるインタフェース機器である。
【００６４】
ＵＳＢポート２８には、キーボード４２およびマウス４４などの入力装置が接続されてもよく、当該異常診断装置２１０の操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による異常診断装置２１０を構成するコンピュータ１０は、補助記憶装置３０から制御プログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。
【００６５】
以上説明したように、上述した実施形態によれば、経時による音響特徴の変化を正常音の継続時間長の変化という形で織り込み、精度よく異常を検知することができる、プログラム、情報処理装置および画像処理装置を提供することができる。
【００６６】
上記構成によれば、経時での環境変化に対応して異常検知のための音響特徴（正常音の継続時間長）を適切に更新することにより、異常診断の精度を向上させることができる。
【００６７】
なお、上述した実施形態では、分析対象である複合機１００にネットワークなどの通信路を介して接続され、複合機１００の内部に設けられたマイク２０２からの音響データを受信し、受信した音響データに基づいて複合機１００での異常を診断する異常診断装置２１０を一例として説明した。しかしながら、異常診断装置２１０は、これに限定されるものではない。例えば、異常診断装置２１０は、分析対処である複合機１００の内部に組み込まれた回路装置またはコンピュータとして実装されてもよい。あるいは、異常診断装置２１０は、インターネットを介して接続されるサーバ装置として実装されてもよい。また、分析対象となる装置も複合機１００に限定されるものではなく、複写機、印刷機、製本機、スキャナ、ファクシミリなどの駆動機構を備える種々の画像処理装置であってもよい。
【００６８】
なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。
【００６９】
これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【００７０】
１００…複合機、１０１…ＡＤＦ、１０６…コンタクトガラス、１５０…画像読取ユニット、１５７…画像形成ユニット、１３０…転写・定着ユニット、１０２…原稿台、１０３…給送ローラ、１０４…給送ベルト、１０５…排送ローラ、１０７…原稿セット検知センサ、１５１…露光ランプ、１５２…第１ミラー、１５５…第２ミラー、１５６…第３ミラー、１５３…レンズ光学系、１５４…ＣＣＤイメージセンサ、１５８…レーザ出力ユニット、１５９…結像レンズ光学系、１６０…ミラー、１２７…現像ユニット、１１５…感光体ドラム、１３０…転写・定着ユニット、１０８…給紙カセット、１１１…給紙ユニット、１１４…縦搬送ユニット、１１６…搬送ベルト、１１７…定着ユニット、１１８…排紙ユニット、１１９…排紙トレイ、１７２…分離爪、１７１…両面印刷用給紙ユニット、２００…機能ブロック、２０２…マイク、２１０…異常診断装置、２１２…音響信号入力部、２１４…音響特徴抽出部、２１６…認識部、２１８…判定部、２２０…基準パターン格納部、２２２…継続時間長更新部、２２４…継続時間長格納部、２０４…操作部、３００…異常確認画面、３０２…「はい」ボタン、３０４…「いいえ」ボタン、１０…コンピュータ、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、４０…ディスプレイ、４２…キーボード、４４…マウス
【先行技術文献】
【特許文献】
【００７１】
【特許文献１】特開２０１０−５４５５８号公報
【非特許文献】
【００７２】
【非特許文献１】室井  哲也，米山  正秀、”継続時間制御型状態遷移モデルを用いた単語音声認識”、電子通信学会論文誌、Ｖｏｌ．７２  Ｄ−ＩＩ、１９８９年１月
【図１】
2016176706.tif 000005
【図２】
2016176706.tif 000006
【図３】
2016176706.tif 000007
【図４】
2016176706.tif 000008
【図５】
2016176706.tif 000009
【図６】
2016176706.tif 000010
【図７】
2016176706.tif 000011
【図８】
2016176706.tif 000012
【図９】
2016176706.tif 000013