(57)【要約】【課題】画像処理装置の記憶手段に記憶されている音以外の音であって、画像処理装置外で発生する音も判定に用いることができる音情報処理装置を提供する。【解決手段】音情報処理装置の音取得手段は、音を取得し、記憶手段は、音を種類毎に記憶し、受信手段は、通信回線を介して、管理装置から画像処理装置外で発生する音を受信し、判定手段は、前記音取得手段によって取得された音について、前記記憶手段に記憶された音と前記受信手段によって受信された音から音の種類を判定する。【選択図】図１
2020044824.tif 000002
【特許請求の範囲】
【請求項１】
音を取得する音取得手段と、
音を種類毎に記憶する記憶手段と、
通信回線を介して、管理装置から画像処理装置外で発生する音を受信する受信手段と、
前記音取得手段によって取得された音について、前記記憶手段に記憶された音と前記受信手段によって受信された音から音の種類を判定する判定手段
を有する画像処理装置内の音情報処理装置。
【請求項２】
前記記憶手段が記憶する音の種類として、少なくとも画像処理装置の正常音、異常音を含み、
前記判定手段は、前記音取得手段によって取得された音が、正常音、異常音、その他の音のいずれの音であるかを判定し、
前記正常音とは、画像処理装置が正常に動作している場合に発生する音であり、
前記異常音とは、画像処理装置が正常には動作していない場合に発生する音である、
請求項１に記載の音情報処理装置。
【請求項３】
前記受信手段が通信回線を介して受信する音は、画像処理装置内の音ではなく、該画像処理装置外から発生する音であり、既に判明している音である環境音であり、
前記判定手段は、前記その他の音が環境音でもない場合は、不明音であると判定する、
請求項２に記載の音情報処理装置。
【請求項４】
前記受信手段は、前記画像処理装置が設置されている位置に応じた音を受信する、
請求項１に記載の音情報処理装置。
【請求項５】
前記画像処理装置が設置されている位置には、建物内の階数を含み、
前記階数が予め定められた階数より高い又は以上である場合は、前記受信手段が受信する音に、建物外の環境音を含まない、
請求項４に記載の音情報処理装置。
【請求項６】
請求項３に記載の音情報処理装置と管理装置による音情報処理システムであって、
前記音情報処理装置は、前記判定手段によって不明音であると判定された場合は、該不明音を前記管理装置に送信する送信手段
をさらに有し、
前記管理装置は、
通信回線を介して、前記音情報処理装置に音を送信する送信手段と、
前記音情報処理装置から音を受信する受信手段と、
前記受信手段によって受信された音が予め定められた条件を満たす場合は、該音を異常音として判定する判定手段
を有し、
前記送信手段は、前記判定手段によって異常音と判定された音を前記音情報処理装置に送信する、
音情報処理システム。
【請求項７】
前記予め定められた条件として、前記受信された音が予め定められた特徴を有しており、該予め定められた特徴を有している音が、他の音情報処理装置からも送信された回数が予め定められた回数より多い又は以上であることとする、
請求項６に記載の音情報処理システム。
【請求項８】
前記管理装置の送信手段は、前記画像処理装置が設置されている位置に応じた音を送信する、
請求項６に記載の音情報処理システム。
【請求項９】
前記画像処理装置が設置されている位置には、建物内の階数を含み、
前記階数が予め定められた階数より高い又は以上である場合は、前記管理装置の送信手段が送信する音に、建物外の環境音を含ませない、
請求項８に記載の音情報処理システム。
【請求項１０】
音を取得する音取得手段と、
音を種類毎に記憶する記憶手段を有する画像処理装置内のコンピュータを、
通信回線を介して、管理装置から音を受信する受信手段と、
前記音取得手段によって取得された音について、前記記憶手段に記憶された音と前記受信手段によって受信された音から音の種類を判定する判定手段
として機能させるための音情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音情報処理装置、音情報処理システム及び音情報処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、装置のばらつきや設置環境などの状況に応じた異常の診断（検出や予測）の精度を向上させつつ、新たな異常現象も学習しながら診断を可能することを課題とし、画像形成装置の動作時の音特性を収集する集音手段と、集音した音データを記憶している音データ記憶手段と、当該画像形成装置の保守作業の実績を入力する保守実績入力手段と、入力された保守実績を記憶する保守実績記憶手段と、保守実績記憶手段と音データ記憶手段に記憶されているデータから必要な保守作業を予測するための演算処理を行なう演算処理手段と、演算処理手段によって得られた結果を外部に出力する出力手段を備えたことが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０９００７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理装置の異常を診断（検出、予測を含めてもよい）するのに、その画像処理装置から発生する音を取得して判定することが行われている。この音を取得する場合に際して、画像処理装置内で発生する音だけでなく、画像処理装置外で発生する音も取得してしまうことになる。
一方、画像処理装置内で発生する音は、予め画像処理装置の記憶手段に記憶させておくことができるが、画像処理装置外で発生する音は、その画像処理装置の設置場所によって異なるため、予め用意しておくことは困難である。
本発明は、画像処理装置の記憶手段に記憶されている音以外の音であって、画像処理装置外で発生する音も判定に用いることができる音情報処理装置、音情報処理システム及び音情報処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、音を取得する音取得手段と、音を種類毎に記憶する記憶手段と、通信回線を介して、管理装置から画像処理装置外で発生する音を受信する受信手段と、前記音取得手段によって取得された音について、前記記憶手段に記憶された音と前記受信手段によって受信された音から音の種類を判定する判定手段を有する画像処理装置内の音情報処理装置である。
【０００６】
請求項２の発明は、前記記憶手段が記憶する音の種類として、少なくとも画像処理装置の正常音、異常音を含み、前記判定手段は、前記音取得手段によって取得された音が、正常音、異常音、その他の音のいずれの音であるかを判定し、前記正常音とは、画像処理装置が正常に動作している場合に発生する音であり、前記異常音とは、画像処理装置が正常には動作していない場合に発生する音である、請求項１に記載の音情報処理装置である。
【０００７】
請求項３の発明は、前記受信手段が通信回線を介して受信する音は、画像処理装置内の音ではなく、該画像処理装置外から発生する音であり、既に判明している音である環境音であり、前記判定手段は、前記その他の音が環境音でもない場合は、不明音であると判定する、請求項２に記載の音情報処理装置である。
【０００８】
請求項４の発明は、前記受信手段は、前記画像処理装置が設置されている位置に応じた音を受信する、請求項１に記載の音情報処理装置である。
【０００９】
請求項５の発明は、前記画像処理装置が設置されている位置には、建物内の階数を含み、前記階数が予め定められた階数より高い又は以上である場合は、前記受信手段が受信する音に、建物外の環境音を含まない、請求項４に記載の音情報処理装置である。
【００１０】
請求項６の発明は、請求項３に記載の音情報処理装置と管理装置による音情報処理システムであって、前記音情報処理装置は、前記判定手段によって不明音であると判定された場合は、該不明音を前記管理装置に送信する送信手段をさらに有し、前記管理装置は、通信回線を介して、前記音情報処理装置に音を送信する送信手段と、前記音情報処理装置から音を受信する受信手段と、前記受信手段によって受信された音が予め定められた条件を満たす場合は、該音を異常音として判定する判定手段を有し、前記送信手段は、前記判定手段によって異常音と判定された音を前記音情報処理装置に送信する、音情報処理システムである。
【００１１】
請求項７の発明は、前記予め定められた条件として、前記受信された音が予め定められた特徴を有しており、該予め定められた特徴を有している音が、他の音情報処理装置からも送信された回数が予め定められた回数より多い又は以上であることとする、請求項６に記載の音情報処理システムである。
【００１２】
請求項８の発明は、前記管理装置の送信手段は、前記画像処理装置が設置されている位置に応じた音を送信する、請求項６に記載の音情報処理システムである。
【００１３】
請求項９の発明は、前記画像処理装置が設置されている位置には、建物内の階数を含み、前記階数が予め定められた階数より高い又は以上である場合は、前記管理装置の送信手段が送信する音に、建物外の環境音を含ませない、請求項８に記載の音情報処理システムである。
【００１４】
請求項１０の発明は、音を取得する音取得手段と、音を種類毎に記憶する記憶手段を有する画像処理装置内のコンピュータを、通信回線を介して、管理装置から音を受信する受信手段と、前記音取得手段によって取得された音について、前記記憶手段に記憶された音と前記受信手段によって受信された音から音の種類を判定する判定手段として機能させるための音情報処理プログラムである。
【発明の効果】
【００１５】
請求項１の音情報処理装置によれば、画像処理装置の記憶手段に記憶されている音以外の音であって、画像処理装置外で発生する音も判定に用いることができる。
【００１６】
請求項２の音情報処理装置によれば、取得した音が、正常音、異常音、その他の音のいずれの音であるかを判定することができる。
【００１７】
請求項３の音情報処理装置によれば、その他の音を、環境音又は不明音のいずれであるかを判定することができる。
【００１８】
請求項４の音情報処理装置によれば、画像処理装置が設置されている位置に関係なく、環境音を受信した場合に比較して、環境音の容量を少なくすることができる。
【００１９】
請求項５の音情報処理装置によれば、建物外の環境音を含める場合に比較して、環境音の容量を少なくすることができる。
【００２０】
請求項６の音情報処理システムによれば、管理装置は、音情報処理装置から新たな異常音を収集することができる。
【００２１】
請求項７の音情報処理システムによれば、他の音情報処理装置から送信されなかった音を異常音と判定してしまう場合に比較して、正確に異常音を判定することができる。
【００２２】
請求項８の音情報処理システムによれば、画像処理装置が設置されている位置に関係なく、環境音を送信した場合に比較して、送信する環境音の容量を少なくすることができる。
【００２３】
請求項９の音情報処理システムによれば、建物外の環境音を含める場合に比較して、送信する環境音の容量を少なくすることができる。
【００２４】
請求項１０の音情報処理プログラムによれば、画像処理装置の記憶手段に記憶されている音以外の音であって、画像処理装置外で発生する音も判定に用いることができる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態の構成例についての概念的なモジュール構成図である。
【図２】本実施の形態を利用したシステム構成例を示す説明図である。
【図３】本実施の形態による処理例を示すフローチャートである。
【図４】本実施の形態による処理例を示すフローチャートである。
【図５】本実施の形態による処理例を示すフローチャートである。
【図６】画像処理装置・設置場所管理テーブルのデータ構造例を示す説明図である。
【図７】本実施の形態による処理例を示すフローチャートである。
【図８】本実施の形態による処理例を示すフローチャートである。
【図９】本実施の形態による処理例を示すフローチャートである。
【図１０】本実施の形態による処理例を示すフローチャートである。
【図１１】本実施の形態による処理例を示すフローチャートである。
【図１２】本実施の形態による処理例を示すフローチャートである。
【図１３】本実施の形態による処理例を示すフローチャートである。
【図１４】本実施の形態による処理例を示すフローチャートである。
【図１５】本実施の形態による処理例を示すフローチャートである。
【図１６】本実施の形態による処理例を示すフローチャートである。
【図１７】本実施の形態による処理例を示すフローチャートである。
【図１８】本実施の形態による処理例を示すフローチャートである。
【図１９】本実施の形態による処理例を示すフローチャートである。
【図２０】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係、ログイン等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。また、「Ａ、Ｂ、Ｃ」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その１つのみを選んでいる場合（例えば、Ａのみ）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
【００２７】
本実施の形態である画像処理装置１００（音情報処理モジュール１２０）と管理装置１５０の音情報処理システムは、音取得モジュール１２５が取得した音（音データともいう）を判定する機能を有しており、図１の例に示すように、画像処理装置１００（音情報処理モジュール１２０）と管理装置１５０は、通信回線１９０によって接続されている。
画像処理装置１００として、例えば、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）等がある。
【００２８】
画像処理装置１００（以下、機器ともいう）の動作時の異常、故障等の検知、予兆等を行う場合、
（１）動作時に発生している音は、正常音か異常音か画像処理装置１００の動作音以外の音か
（２）異常音が発生している場合、何処から発生しているのか
（３）異常音のレベルがどの程度で、すでに故障状態なのか又は故障はしていないが故障する可能性が高い状態なのか
等を判定する必要がある。画像処理装置１００間の動作音のバラツキや周辺の環境音の有無によって判定基準を状況によって複数作成する必要がある。
このような場合に、画像処理装置１００の設置場所ごとにそれぞれ個別に判定基準を作成することで対応は可能であるが、事前に想定した状況以外では、異常・故障等の検知が行えない。
そこで、本実施の形態の音情報処理システムは、画像処理装置１００のバラツキや設置環境などの状況に応じた異常の診断（検出、予測）の精度を向上させつつ、新たな異常を学習し診断を可能とする。特に、前記（１）について、画像処理装置１００の動作音以外の音として、その画像処理装置１００に固有の環境音を設定できるようにしている。
【００２９】
音について、以下のように定義する。
正常音とは、画像処理装置１００が正常に動作している場合に発生する音である。
異常音とは、画像処理装置１００が正常には動作していない場合に発生する音である。「画像処理装置１００が正常に動作していない場合」として、例えば、画像処理装置１００で故障が発生している場合に発生する音である。
環境音とは、画像処理装置１００内の音ではなく、その画像処理装置１００外から発生する音であり、既に判明している音である。例えば、話し声、足音、工事、自動車の音等が該当する。
不明音とは、音取得モジュール１２５が取得した音ではあるが、正常音でなく、異常音でもなく、環境音でもない音である。
【００３０】
画像処理装置１００は、画像形成モジュール１０５、画像読込モジュール１１０、全体制御モジュール１１５、音情報処理モジュール１２０を有している。
画像形成モジュール１０５は、印刷ジョブにしたがって、画像読込モジュール１１０が読み取った画像又はファックス通信によって受信した画像を、用紙に印刷する。いわゆるプリント機能を有している。
画像読込モジュール１１０は、原稿の画像を読み込む。いわゆるスキャン機能を有している。
全体制御モジュール１１５は、画像処理装置１００全体を制御するものである。
【００３１】
音情報処理モジュール１２０は、音取得モジュール１２５、記憶モジュール１３０、通信モジュール１３５、判定モジュール１４０、制御モジュール１４５を有している。
音取得モジュール１２５は、音を取得（採取、録音ともいう）する。具体的には、音取得モジュール１２５として、マイクがある。例えば、音取得モジュール１２５は、画像処理装置１００内に設置されていてもよいし、操作者（修理担当者等を含む）が所有しているマイク付き携帯通信端末（例えば、スマートフォン等）であってもよい。その場合、音取得モジュール１２５が取得する音は、画像処理装置１００が発生する音を少なくとも含み、場合によっては画像処理装置１００外の音（環境音）を含むことがある。音取得モジュール１２５は、１つであってもよいし、複数あってもよい。
【００３２】
記憶モジュール１３０は、音を種類毎に記憶する。具体的には、記憶モジュール１３０として、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等がある。ここで「音の種類」は、判定モジュール１４０が判定し得る音であって、具体的には、正常音、異常音、環境音、不明音がある。記憶モジュール１３０が記憶する音の種類として、これらのうちの１つ以上としてもよい。例えば、記憶モジュール１３０は、正常音、異常音、環境音の３つの種類毎に音を記憶していてもよい。
また、記憶モジュール１３０が記憶する音（通信モジュール１３５が受信又は送信する音を含めてもよい）として、音そのものを表すデータの他、音の特徴データであってもよい。「音の特徴」として、音の物理的特徴（例えば、振幅、周波数、位相、ＦＦＴ結果等）であってもよいし、この他に、ＣＮＮ等の機械学習によって学習された特徴（学習モデルを含む）がある。
また、記憶モジュール１３０が記憶する音の種類として、少なくとも画像処理装置１００の正常音、異常音を含むようにしてもよい。
【００３３】
通信モジュール１３５は、通信回線１９０を介して管理装置１５０の通信モジュール１５５と接続されている。通信モジュール１３５は、通信回線１９０を介して、管理装置１５０から画像処理装置１００外で発生する音を受信する。受信した音を、記憶モジュール１３０に記憶させてもよい。
また、通信モジュール１３５が通信回線１９０を介して受信する音は、画像処理装置１００内の音ではなく、その画像処理装置１００外から発生する音であり、既に判明している音である環境音としてもよい。
また、通信モジュール１３５は、判定モジュール１４０によって不明音であると判定された場合は、その不明音を管理装置１５０に送信するようにしてもよい。
また、通信モジュール１３５は、画像処理装置１００が設置されている位置に応じた音を受信するようにしてもよい。ここで、画像処理装置１００が設置されている位置には、建物内の階数を含み、その階数が予め定められた階数より高い又は以上である場合は、通信モジュール１３５が受信する音に、建物外の環境音を含まないようにしてもよい。これは、受信した音から、建物外の環境音を削除するようにしてもよいし、管理装置１５０の通信モジュール１５５が送信する音には、建物外の環境音が含まれないようにしてもよい。
【００３４】
判定モジュール１４０は、音取得モジュール１２５によって取得された音について、記憶モジュール１３０に記憶された音と通信モジュール１３５によって受信された音から音の種類を判定する。なお、「通信モジュール１３５によって受信された音」は、通信モジュール１３５によって受信された音であればよく、記憶モジュール１３０に記憶されていてもよい。ただし、通信モジュール１３５によって受信された音であることが判別できるように記憶されている。具体的には、画像処理装置１００外で発生する音として判別できるものであればよい。
また、判定モジュール１４０は、音取得モジュール１２５によって取得された音が、正常音、異常音、その他の音のいずれの音であるかを判定するようにしてもよい。
また、判定モジュール１４０は、その他の音が環境音でもない場合は、不明音であると判定するようにしてもよい。この場合、判定モジュール１４０は、音取得モジュール１２５によって取得された音を、正常音、異常音、環境音、不明音のいずれかと判定することになる。
【００３５】
制御モジュール１４５は、判定モジュール１４０によって不明音であると判定された場合は、その不明音を記憶モジュール１３０に記憶させるように制御する。もちろんのことながら、記憶モジュール１３０に記憶させる音として、音そのものの他に、前述の音の物理的特徴であってもよいし、さらに、発生場所（画像処理装置１００の設置位置）を含めてもよい。
【００３６】
管理装置１５０は、通信モジュール１５５、判定モジュール１６０、記憶モジュール１６５を有している。管理装置１５０は、画像処理装置１００を保守管理する装置（サーバーを含む）である。
通信モジュール１５５は、通信回線１９０を介して画像処理装置１００（音情報処理モジュール１２０）の通信モジュール１３５と接続されている。通信モジュール１５５は、通信回線１９０を介して、画像処理装置１００内の音情報処理モジュール１２０に音を送信する。
また、通信モジュール１５５は、音情報処理モジュール１２０から音を受信する。
そして、通信モジュール１５５は、判定モジュール１６０によって異常音と判定された音を音情報処理モジュール１２０に送信する。
また、通信モジュール１５５は、画像処理装置１００が設置されている位置に応じた音を送信するようにしてもよい。ここで「画像処理装置１００が設置されている位置」には、建物内の階数を含み、その階数が予め定められた階数より高い又は以上である場合は、通信モジュール１５５が送信する音に、建物外の環境音を含ませないようにしてもよい。
【００３７】
判定モジュール１６０は、通信モジュール１５５によって受信された音が予め定められた条件を満たす場合は、その音を異常音として判定する。ここで「予め定められた条件」として、通信モジュール１５５によって受信された音が予め定められた特徴を有しており、その予め定められた特徴を有している音が、他の音情報処理モジュール１２０からも送信された回数が予め定められた回数より多い又は以上であることとしてもよい。
【００３８】
記憶モジュール１６５は、画像処理装置１００毎に、その画像処理装置１００の正常音、異常音、環境音を記憶している。また、画像処理装置１００の設置場所等の情報を記憶していてもよい。
【００３９】
図２は、本実施の形態を利用したシステム構成例を示す説明図である。
画像処理装置１００Ａ、画像処理装置１００Ｂ、画像処理装置１００Ｃ、画像処理装置１００Ｄ、管理装置１５０は、通信回線１９０を介してそれぞれ接続されている。各画像処理装置１００は、音情報処理モジュール１２０を有している。通信回線１９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、画像処理装置１００による機能は、クラウドサービスとして実現してもよい。
【００４０】
本実施の形態以外（いわゆる従来技術）では、画像処理装置１００に該当する複合機等の異常・正常動作の判定を行うための予測式の構築が人手による動作音データと保守実績の対応付けを前提としている。このため、異常音の発生時に必ず人手での音声データと保守実績の対応付けが必要になるため抜け漏れが発生する可能性がある。
また、保守実績は、ユーザー、管理者（複合機等のエンジニア等）が行うため実績の判定が作業者に依存し、同じ音データでも作業者によって保守実績が変わる可能性があるため判定基準が正常に作成されない可能性がある。
動作音データと保守実績が一定数蓄積でされなければ判定式の構築ができないため、複合機等の設置場所の変更など周辺環境に変化が有った場合には最初から判定式の構築が必要になる。
そこで、本実施の形態では、異常音、正常音、環境音の判定基準を作成するために、例えば、機械学習／ディープラーニングを適用し、判定基準の作成と動作音の判定を行う。
【００４１】
より詳細に説明する。本実施の形態では、異常の可能性があるか否かを判定する基準の作成と、異常の可能性がある場合には、判定結果を用いて異常個所の特定をする判定基準の作成を行う。なお、この説明（以下の（Ａ１）〜（Ａ１０）の説明）は、本実施の形態の理解を容易にすることを目的とするものであり、この説明を用いて限定解釈することは意図していない。そして、この説明部分のみを用いて、特許を受けようとする発明が発明の詳細な説明に記載したものであること（特許法第３６条第６項第１号）の判断を行うべきではないことは当然である。
（Ａ１）一つ又は複数の音取得モジュール１２５が取得した画像処理装置１００の動作音から正常音、異常音、環境音を示す特徴量を学習する。ここで、特徴量パラメータの作成は、機械学習／ディープラーニングを用いて行う。
（Ａ２）ニューラルネットワークの構成は、それぞれ独立したニューラルネットワークで構成され、接続は自由に切り替えることができる。
【００４２】
（Ａ３）機械学習／ディープラーニングで特徴量パラメータを作成する場合の学習データは、以下のように生成する。
・事前に画像処理装置１００の動作音を取得する。
・ディープラーニングでは大量の学習用データを必要とするため、擬似的に学習データを作成し、画像処理装置１００のメカ構成から理想的な動作音を作成する。
（Ａ４）正常音、異常音の判定に機械学習／ディープラーニングで得られた特徴量パラメータを使用する。
【００４３】
（Ａ５）録音された機器の動作音は、（Ａ４）で判定された結果とともに、機械学習／ディープラーニングの学習用データとして追加学習を実施し、特徴量パラメータを更新する。
（Ａ６）動作音は、正常音、異常音、そして、正常音、異常音の判定ができない不明音に区別し、不明音は管理装置１５０上での詳細解析を行い、その解析後、追加学習のデータとして用いる。
【００４４】
（Ａ７）ユーザーが明確に画像処理装置１００の動作音以外の環境音と認識できるものはユーザーからの申告により環境音として保存し、学習データとして使用する。
（Ａ８）特徴量パラメータの追加学習は。画像処理装置１００内部、又は、管理装置１５０上で実施することができる。
【００４５】
（Ａ９）管理装置１５０上で追加学習を実施する場合は、取得された画像処理装置１００機器データを通信モジュール１３５を用いて管理装置１５０に送信、又は、通信モジュール１３５が無い場合はローカルのメディア経由で管理装置１５０にコピーする。
（Ａ１０）管理装置１５０上で追加学習を実施する場合は、複数の画像処理装置１００から送信又はコピーされたデータを使用し、追加学習をすることができるため、判定の精度を向上させることができる。
【００４６】
画像処理装置１００（一般的には、複数の画像処理装置１００）と管理装置１５０による音情報処理システムは、図３の例に示す処理を行う。図３は、本実施の形態による処理例を示すフローチャートである。
ステップＳ３０２では、音データの取得・蓄積を行う。
ステップＳ３０４では、予測式に基づく判断を行う。
ステップＳ３０６では、診断結果を出力する。
ステップＳ３０８では、保守実績データを蓄積する。
ステップＳ３１０では、データベースを構築する。
ステップＳ３１２では、保守内容別の予測式を構築する。
そして、音データを取得する毎に、ステップＳ３０２〜ステップＳ３１２のステップを繰り返し、予測式の精度を向上させる。
【００４７】
図４は、本実施の形態（画像処理装置１００）による処理例を示すフローチャートである。
ステップＳ４０２では、画像処理装置１００のＩＤ又は画像処理装置１００の設置位置とともに音データ送信依頼を管理装置１５０に送信する。
ステップＳ４０４では、管理装置１５０から環境音を受信する。
【００４８】
ステップＳ４０６では、音を採取する。
ステップＳ４０８では、ステップＳ４０６で採取した音の判定（Ａ）を行い、正常音の場合はステップＳ４１０へ進み、異常音の場合はステップＳ４１２へ進み、その他の場合（正常音でもなく、異常音でもない場合）はステップＳ４１４へ進む。正常音であるか異常音であるかの判定は、記憶モジュール１３０内に予め記憶されている音データを用いて判定する。
【００４９】
ステップＳ４１０では、画像処理装置１００における処理を続行する。例えば、画像形成モジュール１０５による印刷処理、画像読込モジュール１１０による画像読み取り処理等を行う。
ステップＳ４１２では、エラー処理を行う。異常音が発生しているので、エラー処理として、例えば、処理を中止し、エラーメッセージを表示すること、管理装置１５０へ異常音が発生したことを通知すること等を行う。
【００５０】
ステップＳ４１４では、音判定（Ｂ）を行い、環境音の場合はステップＳ４１６へ進み、不明音の場合はステップＳ４１８へ進む。環境音であるか否かの判定は、ステップＳ４０４で受信した環境音を用いればよい。
ステップＳ４１６では、対象としている音は環境音（画像処理装置１００の動作音以外の音）であるので、画像処理装置１００における処理を続行する。例えば、画像形成モジュール１０５による印刷処理、画像読込モジュール１１０による画像読み取り処理等を行う。
【００５１】
ステップＳ４１８では、記憶モジュール１３０に不明音を記憶する。
ステップＳ４２０では、その音データを管理装置１５０へ送信する。送信するタイミングは、予め定められた日時（例えば、毎日２３時等）であってもよいし、不明音が発生した都度であってもよいし、ユーザーによる指示があったときであってもよい。
【００５２】
図５は、本実施の形態（管理装置１５０）による処理例を示すフローチャートである。図４の例に示したフローチャートのステップＳ４０２に対応する処理例を示すものである。
ステップＳ５０２では、画像処理装置１００からの送信依頼を受信する。
ステップＳ５０４では、画像処理装置１００の設置位置に応じた環境音をその画像処理装置１００に送信する。
【００５３】
管理装置１５０では、例えば、画像処理装置・設置場所管理テーブル６００を用いて、画像処理装置１００の設置場所を管理する。図６は、画像処理装置・設置場所管理テーブル６００のデータ構造例を示す説明図である。画像処理装置・設置場所管理テーブル６００は、画像処理装置のＩＤ欄６１０、設置場所欄６２０、設置階数欄６３０を有している。画像処理装置のＩＤ欄６１０は、本実施の形態において、画像処理装置１００を一意に識別するための情報（画像処理装置のＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を記憶している。設置場所欄６２０は、その画像処理装置１００の設置場所を記憶している。設置階数欄６３０は、その画像処理装置１００の設置階数を記憶している。
例えば、画像処理装置１００のＩＤ：Ａ０００１は、設置場所が「神奈川県横浜市…」であり、設置階数が「７階」であることを示している。
また、画像処理装置・設置場所管理テーブル６００の各行に、その設置場所（及び設置階数）に応じた環境音のデータを対応付けるようにしてもよい。
【００５４】
図７は、本実施の形態（管理装置１５０）による処理例を示すフローチャートである。
ステップＳ７０２では、画像処理装置１００からの送信依頼を受信する。
ステップＳ７０４では、画像処理装置１００が設置されている設置階数が「階数＜Ａ」であるか否かを判断し、「階数＜Ａ」の場合はステップＳ７０４へ進み、それ以外の場合はステップＳ７０８へ進む。ここで「Ａ」は、予め定められた閾値の階数であり、例えば、５階等であってもよい。
ステップＳ７０６では、画像処理装置１００の設置位置に応じた環境音をその画像処理装置１００に送信する。
ステップＳ７０８では、一般的なオフィス環境における環境音をその画像処理装置１００に送信する。つまり、送信する環境音として、建物外の環境音は含めないようにしている。
【００５５】
図８は、本実施の形態（管理装置１５０）による処理例を示すフローチャートである。正常音と異常音は、画像処理装置１００の設置前（例えば、開発／生産段階等）で動作音を採取した音データを使用して機械学習を実施する。
ステップＳ８０２では、正常音・異常音を採取する。もちろんのことながら、教師データとして用いる場合は、人間が予め正常音であるか異常音であるかを判定している。
ステップＳ８０４では、採取音を用いた機械学習を行う。
ステップＳ８０６では、学習済データを取得する。
ステップＳ８０８では、取得データを画像処理装置１００へ搭載する。つまり、正常音・異常音については、記憶モジュール１３０に初期値データとして記憶させる。
【００５６】
図９は、本実施の形態（画像処理装置１００と管理装置１５０）による処理例を示すフローチャートである。画像処理装置１００の設置後に、その設置環境に合わせたキャリブレーションを実施する処理である。つまり、設置場所の環境音を採取し、管理装置１５０上（又は、画像処理装置１００内部）で機械学習を実施する。環境音として学習した音は正常音と同様の扱いになる（つまり、異常音ではなく、不明音でもない）。
ステップＳ９０２では、環境音を採取する。例えば、既に設置された画像処理装置１００（音取得モジュール１２５）によって、画像処理装置１００が処理を行っていない状態（例えば、待機状態等）で環境音を採取し、その環境音を管理装置１５０に送信すればよい。
ステップＳ９０４では、管理装置１５０は、採取音を用いた機械学習を行う。
ステップＳ９０６では、学習済データを取得する。例えば、管理装置１５０から機械学習済みのデータ（学習モデル）を受信する。
ステップＳ９０８では、画像処理装置１００は、学習済の環境音データと搭載済データ（図８の例で示したフローチャートによって搭載されている正常音・異常音のデータ）とのマージを行う。なお、マージは、採取した音を、正常音、異常音、環境音、その他である不明音のいずれかであると判定できるようにするための処理である。
【００５７】
画像処理装置１００の設置後、採取した動作音に対して、事前に正常音と異常音を判定する機械学習したデータと設置後に環境音を判定する機械学習したデータを使用して、正常音、異常音、環境音の判定を行う。
【００５８】
図１０は、本実施の形態による処理例を示すフローチャートである。この処理では、音の判定後、採取した音と判定結果を用いて、画像処理装置１００内部（又は、管理装置１５０上）で機械学習の再学習を行い、判定精度を向上させる。
ステップＳ１００２では、画像処理装置１００の音（動作音）を採取する。
ステップＳ１００４では、機械学習を用いて、採取した音の判定を行う。
ステップＳ１００６では、採取した音と判定結果を用いた再学習を行う。
ステップＳ１００８では、搭載済データとマージを行う。
【００５９】
機械学習を用いた判定の結果で正常音、異常音、環境音に分別できない動作音は、不明音として扱う。
【００６０】
管理装置１５０に動作音を送信し、管理装置１５０によって、以下に示すように、不明音の解析を行う。
まず、開発、製造段階で採取した正常音又は擬似的に作成した理想的な動作音と比較を行い、差分を抽出し、その抽出した差分の音の解析を行う。
管理装置１５０に記録された又は通信回線１９０を介して取得した環境音のデータベース（人の声、自動車のエンジン音、自動車のロードのノイズ、電車のモーター音、電車の走行音、工事用重機音等）と比較し、差分の音が環境音か環境音ではないかを解析する。
環境音ではない場合、新規の異常音として判定し、画像処理装置１００の構成（モーターの種類、ギアの種類、ローラーの種類等）と動作音の特性（周波数構成、周期、音量等）から既存の異常音の発生箇所以外で異常音が発生する可能性のある箇所の特定を行う。例えば、理論的に（又は、事前に計測することによって）、各箇所における動作音の特性（周波数構成、周期、音量等）が判明しているので、それ（例えば、理論的な動作音の特性との合致度）を用いて、箇所の特定を行えばよい。
画像処理装置１００が不明音として管理装置１５０に動作音を送信する際に、設置場所の環境情報（設置場所（住所）、動作音の記録日時など）をあわせて送信する。
不明音の解析結果から設置場所の環境別の環境音データベースを作成する（幹線道路沿い、線路沿い、繁華街、住宅街等）。
新規に画像処理装置１００を設置する場合には、事前に学習済みの環境音データベースにある設置場所にもっとも近い学習データを事前にダウンロードすることで、その画像処理装置１００の設置後の環境音の学習なしで精度の高い異常音の検知を行うことができるようになる。
不明音として管理装置１５０に送信された動作音は、詳細な解析を開始する前に、これまでに不明音として管理装置１５０に送信され解析されたデータと比較し、類似する音があれば詳細解析はせずに類似音の解析結果を使用するようにしてもよい。
【００６１】
図１１は、本実施の形態による処理例を示すフローチャートである。管理装置１５０で新たに機械学習を実施したデータを、画像処理装置１００内部にダウンロードすることで、最新の判定基準を用いた正常音と異常音（さらに、環境音を含めてもよい）の判定が可能となる。
ステップＳ１１０２では、画像処理装置１００の動作音を取得する。
ステップＳ１１０４では、機械学習を用いた採取音の判定を行う。
ステップＳ１１０６では、不明音を判定する。
ステップＳ１１０８では、採取音を管理装置１５０に送信する。
ステップＳ１１１０では、管理装置１５０上で不明音を解析する。
ステップＳ１１１２では、採取音と解析結果を再学習する。なお、この再学習で用いる音データとして、受信された音データが予め定められた特徴を有しており、その予め定められた特徴を有している音データが、複数の画像処理装置１００から送信されており、その送信された回数が予め定められた回数より多い又は以上であることとしてもよい。
ステップＳ１１１４では、学習済データを画像処理装置１００の音情報処理モジュール１２０に送信する。
ステップＳ１１１６では、搭載済データとマージを行う。
【００６２】
画像処理装置１００の設置後、画像処理装置１００内の異常音の判定処理を、図１２の例に示すフローチャートの処理を行うようにしてもよい。
ステップＳ１２０２では、画像処理装置１００を設置する。
ステップＳ１２０４では、画像処理装置１００は、管理装置１５０に対して、新規学習データの問い合せを行い、新規学習データがある場合はステップＳ１２０８へ進み、新規学習データがない場合はステップＳ１２０６へ進む。
【００６３】
ステップＳ１２０６では、画像処理装置１００は、周辺環境音の採取、学習を行い、環境音の学習データを作成する。
ステップＳ１２０８では、画像処理装置１００は、管理装置１５０からダウンロードする。
【００６４】
ステップＳ１２１０では、画像処理装置１００は、異常音／環境音の学習データを更新する。
ステップＳ１２１２では、画像処理装置１００は、正常音／異常音／環境音の学習データをマージする。
【００６５】
ステップＳ１２１４では、画像処理装置１００は、動作音判定を行い、正常音の場合は処理を続行し、異常音の場合はステップＳ１２１６へ進み、不明音の場合はステップＳ１２１８へ進む。
ステップＳ１２１６では、画像処理装置１００は、ユーザー／担当者へ通知し、ステップＳ１２１４へ戻る。
ステップＳ１２１８では、画像処理装置１００は、不明音を管理装置１５０に送信し、ステップＳ１２０４へ戻る。
【００６６】
図１３は、本実施の形態による処理例を示すフローチャートである。管理装置１５０での学習処理例を示すものである。
ステップＳ１３０２では、管理装置１５０は、不明音を画像処理装置１００の音情報処理モジュール１２０から受信する。
ステップＳ１３０４では、管理装置１５０は、不明音を解析する。
【００６７】
ステップＳ１３０６では、管理装置１５０は、異常音／環境音の学習データを更新する。
ステップＳ１３０８では、管理装置１５０は、ダウンロードデータを作成する。
【００６８】
図１４、図１５に示すフローチャートは、学習フェーズ（１）における処理例を示すものである。
図１４は、本実施の形態による処理例を示すフローチャートであり、正常音と異常音を示す特徴量の学習（つまり、異常の有無の判定）処理を行う。この処理は、主に、開発／生産時に事前実施されるものである。また、同じ機種における画像処理装置１００で共通の特徴量となる。
ステップＳ１４０２では、学習用動作音データ（正常音／異常音）を収集する。
ステップＳ１４０４では、音声処理を行う。
ステップＳ１４０６では、ニューラルネットワークを作成する。
ステップＳ１４０８では、機械学習による学習を実行する。
ステップＳ１４１０では、ニューラルネットワークパラメータを生成する。
ステップＳ１４１２では、機械学習による推論を実行する。
【００６９】
図１５は、本実施の形態による処理例を示すフローチャートであり、環境に依存する周辺環境音の学習（つまり、環境音の判定）処理を行う。この処理は、主に、画像処理装置１００の設置後に実施されるものである。また、画像処理装置１００の設置後の周辺環境を含めた画像処理装置１００固有の特徴量となる。
ステップＳ１５０２では、学習用動作音データ（環境音）を収集する。
ステップＳ１５０４では、音声処理を行う。
ステップＳ１５０６では、ニューラルネットワークモデルを作成する。
ステップＳ１５０８では、機械学習による学習を実行する。
ステップＳ１５１０では、ニューラルネットワークパラメータを生成する。
ステップＳ１５１２では、機械学習による推論を実行する。
【００７０】
図１６、図１７に示すフローチャートは、判定フェーズ（１）における処理例を示すものである。この処理は、画像処理装置１００の設置後に実施されるものである。
図１６は、本実施の形態による処理例を示すフローチャートである。図１４の例に示すフローチャートによって学習されたニューラルネットワークモデルを用いる処理である。
ステップＳ１６０２では、動作音データ（未知の動作音）を取得する。
ステップＳ１６０４では、音声処理を行う。
ステップＳ１６０６では、ＡｕｔｏＥｎｃｏｄｅｒ推論処理を行う。
ステップＳ１６０８では、正常音・異常音判定を行う。
【００７１】
図１７は、本実施の形態による処理例を示すフローチャートである。図１５の例に示すフローチャートによって学習されたニューラルネットワークモデルを用いる処理である。
ステップＳ１７０２では、動作音データ（未知の動作音）を取得する。
ステップＳ１７０４では、音声処理を行う。
ステップＳ１７０６では、ＡｕｔｏＥｎｃｏｄｅｒ推論処理を行う。
ステップＳ１７０８では、環境音判定を行う。
なお、図１６、図１７の例に示す処理によって、正常音、異常音、環境音のいずれでもないと判定された音が不明音となる。
【００７２】
図１８は、本実施の形態による処理例を示すフローチャートである。学習フェーズ（２）における処理例を示すものである。つまり、図１６、図１７の例に示す処理結果を受けて、異常音の発生箇所を示す特徴量の学習処理（異常発生箇所の判定処理）である。具体的には、新たに異常音と判定された音データのみを使用して異常箇所の学習を行う。
ステップＳ１８０２では、正常音／異常音の判定結果を取得する。
ステップＳ１８０４では、異常音を抽出する。
ステップＳ１８０６では、ニューラルネットワークモデルを作成する。
ステップＳ１８０８では、機械学習による学習を実行する。
ステップＳ１８１０では、ニューラルネットワークパラメータを生成する。
ステップＳ１８１２では、機械学習による推論を実行する。
【００７３】
図１９は、本実施の形態による処理例を示すフローチャートである。判定フェーズ（２）における処理例を示すものである。つまり、図１８の例に示す学習結果を受けて、異常音の発生箇所を判定するものである。
ステップＳ１９０２では、正常音／異常音の判定結果を取得する。
ステップＳ１９０４では、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）推論処理を行う。
ステップＳ１９０６では、異常音の発生箇所を特定し、未知の異常音（不明音）の場合はステップＳ１９０８へ進み、既知の異常音の場合はステップＳ１９１０へ進む。
ステップＳ１９０８では、異常音（不明音）の発生を通知する。
ステップＳ１９１０では、発生箇所をユーザーに通知する。
【００７４】
図２０を参照して、本実施の形態の画像処理装置１００（音情報処理モジュール１２０）、管理装置１５０のハードウェア構成例について説明する。図２０に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部２０１７と、プリンタ等のデータ出力部２０１８を備えたハードウェア構成例を示している。
【００７５】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２００１は、前述の実施の形態において説明した各種のモジュール、すなわち、全体制御モジュール１１５、通信モジュール１３５、判定モジュール１４０、制御モジュール１４５、通信モジュール１５５、判定モジュール１６０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【００７６】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２００２は、ＣＰＵ２００１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２００３は、ＣＰＵ２００１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス２００４により相互に接続されている。
【００７７】
ホストバス２００４は、ブリッジ２００５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス２００６に接続されている。
【００７８】
キーボード２００８、マウス等のポインティングデバイス２００９は、操作者により操作されるデバイスである。ディスプレイ２０１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。また、ポインティングデバイス２００９とディスプレイ２０１０の両方の機能を備えているタッチスクリーン等であってもよい。その場合、キーボードの機能の実現について、キーボード２００８のように物理的に接続しなくても、画面（タッチスクリーン）上にソフトウェアでキーボード（いわゆるソフトウェアキーボード、スクリーンキーボード等ともいわれる）を描画して、キーボードの機能を実現するようにしてもよい。
【００７９】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２０１１は、ハードディスク（フラッシュ・メモリ等であってもよい）を内蔵し、ハードディスクを駆動し、ＣＰＵ２００１によって実行するプログラムや情報を記録又は再生させる。ＨＤＤ２０１１は、記憶モジュール１３０、記憶モジュール１６５等としての機能を実現させる。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。
【００８０】
ドライブ２０１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２０１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２００７、外部バス２００６、ブリッジ２００５、及びホストバス２００４を介して接続されているＲＡＭ２００３に供給する。なお、リムーバブル記録媒体２０１３も、データ記録領域として利用可能である。
【００８１】
接続ポート２０１４は、外部接続機器２０１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２０１４は、インタフェース２００７、及び外部バス２００６、ブリッジ２００５、ホストバス２００４等を介してＣＰＵ２００１等に接続されている。通信部２０１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部２０１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２０１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００８２】
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図２０に示す画像処理装置１００、管理装置１５０のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２０に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）や再構成可能な集積回路（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ：ＦＰＧＡ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図２０に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機などに組み込まれていてもよい。
【００８３】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【００８４】
１００…画像処理装置
１０５…画像形成モジュール
１１０…画像読込モジュール
１１５…全体制御モジュール
１２０…音情報処理モジュール
１２５…音取得モジュール
１３０…記憶モジュール
１３５…通信モジュール
１４０…判定モジュール
１４５…制御モジュール
１５０…管理装置
１５５…通信モジュール
１６０…判定モジュール
１６５…記憶モジュール
１９０…通信回線
【図１】
2020044824.tif 000003
【図２】
2020044824.tif 000004
【図３】
2020044824.tif 000005
【図４】
2020044824.tif 000006
【図５】
2020044824.tif 000007
【図６】
2020044824.tif 000008
【図７】
2020044824.tif 000009
【図８】
2020044824.tif 000010
【図９】
2020044824.tif 000011
【図１０】
2020044824.tif 000012
【図１１】
2020044824.tif 000013
【図１２】
2020044824.tif 000014
【図１３】
2020044824.tif 000015
【図１４】
2020044824.tif 000016
【図１５】
2020044824.tif 000017
【図１６】
2020044824.tif 000018
【図１７】
2020044824.tif 000019
【図１８】
2020044824.tif 000020
【図１９】
2020044824.tif 000021
【図２０】
2020044824.tif 000022