(57)【要約】【課題】音の出力に応じた操作シナリオの決定を可能とすること。【解決手段】音に対応した操作シナリオを決定する装置は、表示装置に表示されている音量ミキサーの画像を所定間隔ごとに取得する取得部と、前記画像に基づいて音の出力を検知すると、前記所定間隔ごとに取得される前記画像に基づいて音量の変動を特定し、予め登録されている複数の音量ミキサーの変動パターンの中から前記変動に対応する第１の変動パターンを特定する特定部と、前記第１の変動パターンに対応付けられている操作シナリオを実行対象として決定する決定部と、を有する。【選択図】図１２
2020160753.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に表示されている音量ミキサーの画像を所定間隔ごとに取得する取得部と、
前記画像に基づいて音の出力を検知すると、前記所定間隔ごとに取得される前記画像に基づいて音量の変動を特定し、予め登録されている複数の音量ミキサーの変動パターンの中から前記変動に対応する第１の変動パターンを特定する特定部と、
前記第１の変動パターンに対応付けられている操作シナリオを実行対象として決定する決定部と、
を有することを特徴とする音に対応した操作シナリオを決定する装置。
【請求項２】
前記特定部は、前記音量の変動について、前記複数の音量ミキサーの変動パターンのそれぞれとの複数のタイミングにおける音量の差分を特定し、前記音量ミキサーの変動パターンごとの前記差分の合計に基づいて、前記複数の音量ミキサーの変動パターンの中から前記第１の変動パターンを特定する、
ことを特徴とする請求項１記載の装置。
【請求項３】
前記特定部は、複数の前記第１の変動パターンが特定された場合に、前記音量の変動についての前記各所定間隔における音量の変化の傾向と、それぞれの前記第１の変動パターンの前記各所定間隔における音量の変化の傾向とに基づいて、前記複数の変動パターンの中から１つの第１の変動パターンを特定する、
ことを特徴とする請求項２記載の装置。
【請求項４】
表示装置に表示されている音量ミキサーの画像を所定間隔ごとに取得し、
前記画像に基づいて音の出力を検知すると、前記所定間隔ごとに取得される前記画像に基づいて音量の変動を特定し、予め登録されている複数の音量ミキサーの変動パターンの中から前記変動に対応する第１の変動パターンを特定し、
前記第１の変動パターンに対応付けられている操作シナリオを実行対象として決定する、
処理をコンピュータが実行することを特徴とする音に対応した操作シナリオを決定する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音に対応した操作シナリオを決定する装置及び方法に関する。
【背景技術】
【０００２】
端末において発生する何らかの事象に対する対処として行われる作業に際し、当該端末の画面に対してオペレータによって行われる操作手順を操作シナリオとして記録し、当該端末又は他の端末において同様の事象が発生した場合に、当該操作シナリオを自動実行する技術が有る。斯かる技術によれば、各端末にオペレータを配置しなくても、事象に応じた操作手順を自動実行することができ、事象に対する作業の効率化を図ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／０３９２５４号
【特許文献２】特開２００５−１９０１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
アラーム等の事象が発生した場合、端末は鳴動音を出力する。また、アラーム等の事象の種類に応じて鳴動音の出力パターンが異なる。したがって、鳴動音が出力される事象については、鳴動音の出力の検知することで、実行対象とする操作シナリオを決定できれば便利である。しかし、鳴動音の出力の検知のために、マイク等、音に対応した機器等を改めて各端末に設置するのは経済的ではない。
【０００５】
そこで、一側面では、本発明は、音の出力に応じた操作シナリオの決定を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
一つの態様では、音に対応した操作シナリオを決定する装置は、表示装置に表示されている音量ミキサーの画像を所定間隔ごとに取得する取得部と、前記画像に基づいて音の出力を検知すると、前記所定間隔ごとに取得される前記画像に基づいて音量の変動を特定し、予め登録されている複数の音量ミキサーの変動パターンの中から前記変動に対応する第１の変動パターンを特定する特定部と、前記第１の変動パターンに対応付けられている操作シナリオを実行対象として決定する決定部と、を有する。
【発明の効果】
【０００７】
一側面として、音の出力に応じた操作シナリオの決定を可能とすることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態のシステム構成例を示す図である。
【図２】本発明の実施の形態におけるサーバ１０のハードウェア構成例を示す図である。
【図３】本発明の実施の形態におけるサーバ１０の機能構成例を示す図である。
【図４】端末ＤＢ１２１の構成例を示す図である。
【図５】サーバ１０が実行する処理手順の一例を説明するためのフローチャートである。
【図６】画像ＤＢ１２２の構成例を示す図である。
【図７】各音量に対応する音量画像の一例を示す図である。
【図８】音量ミキサーのキャプチャ画像の一例を示す図である。
【図９】０．５秒間隔で８回取得された音量ミキサーのキャプチャ画像の一例を示す図である。
【図１０】パターンＤＢ１２３の構成例を示す図である。
【図１１】鳴動音パターン情報を説明するための図である。
【図１２】第１特定処理を説明するための図である。
【図１３】第２特定処理を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態のシステム構成例を示す図である。図１において、サーバ１０は、１以上のクライアント端末２０とＬＡＮ（Local  Area  Network）等のネットワークを介して接続される。
【００１０】
本実施の形態において、サーバ１０は、各クライアント端末２０における鳴動音の出力の有無を監視する１以上のコンピュータである。サーバ１０は、鳴動音を出力したクライアント端末２０に対し、当該鳴動音の出力に応じて実行すべき操作シナリオを決定すると共に、当該操作シナリオを実行する。なお、操作シナリオとは、クライアント端末２０において発生する何らかの事象に対する対処として行われる作業に際し、当該クライアント端末２０の画面に対してオペレータによって行われる操作手順を記録したデータをいう。但し、操作シナリオは、自動的に記録されたものでなくてもよい。例えば、或る事象に対して行われるべき操作手順がプログラミングと同じ要領でユーザによって記述されてもよい。
【００１１】
クライアント端末２０は、例えば、ＰＣ（Personal  Computer）等である。
【００１２】
図２は、本発明の実施の形態におけるサーバ１０のハードウェア構成例を示す図である。図２のサーバ１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
【００１３】
サーバ１０での処理を実現するプログラムは、記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００１４】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従ってサーバ１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
【００１５】
なお、記録媒体１０１の一例としては、ＣＤ−ＲＯＭ、ＤＶＤディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１０２の一例としては、ＨＤＤ（Hard  Disk  Drive）又はフラッシュメモリ等が挙げられる。記録媒体１０１及び補助記憶装置１０２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。
【００１６】
図３は、本発明の実施の形態におけるサーバ１０の機能構成例を示す図である。図３において、サーバ１０は、画像取得部１１、パターン特定部１２及びシナリオ実行部１３等を有する。これら各部は、サーバ１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。サーバ１０は、また、端末ＤＢ１２１、画像ＤＢ１２２及びパターンＤＢ１２３等のデータベース（記憶部）を利用する。これら各データベース（記憶部）は、例えば、補助記憶装置１０２、又はサーバ１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
【００１７】
画像取得部１１は、端末ＤＢ１２１に識別情報（ＩＰアドレス）が登録されている各クライアント端末２０から、当該クライアント端末２０の表示装置において表示されている音量ミキサーのキャプチャ画像を定期的（所定間隔ごと）に取得する。
【００１８】
図４は、端末ＤＢ１２１の構成例を示す図である。図４に示されるように、端末ＤＢ１２１には、各クライアント端末２０の端末名及びＩＰアドレスが記憶されている。画像取得部１１は、端末ＤＢ１２１に記憶されているＩＰアドレスに基づいて、各クライアント端末２０との通信を行い、各クライアント端末２０からキャプチャ画像を取得することができる。
【００１９】
具体的には、画像取得部１１は、まず、第１の周期で当該キャプチャ画像を繰り返し取得する。画像取得部１１は、取得されたキャプチャ画像に基づいて、クライアント端末２０において鳴動音が出力されていることを検知すると、音量ミキサーのキャプチャ画像を第２の周期（本実施の形態では、０．５秒）で所定回数（本実施の形態では、８回）だけ取得する。第２の周期は、第１の周期と同じでもよいが、第１の周期の方が第２の周期より短くてもよい。第１の周期が短いほど、鳴動音の出力を即時的に検知できるからである。以下、クライアント端末２０において鳴動音が出力されていることが検知された後の画像取得部１１によるキャプチャ画像の取得周期（第２の周期）を、単に「取得周期」という。なお、キャプチャ画像に基づく鳴動音の出力の検知は、画像ＤＢ１２２において音量別に記憶されている、音量ミキサーの画像と、キャプチャ画像との比較に基づいて行われる。また、鳴動音としては、例えば、クライアント端末２０のオペレーションシステムか発生させる鳴動音、Ｗｅｂ操作に伴う鳴動音、及びクライアント端末２０のアプリケーションからの要求による発生する鳴動音等が一例として挙げられる。
【００２０】
パターン特定部１２は、取得周期ごとのタイミングで取得されたキャプチャ画像に基づいて、鳴動音の音量の変動を特定し、パターンＤＢ１２３に予め登録されている複数の鳴動音の変動パターン（以下、「鳴動音パターン」という。）の中から当該変動に対応する鳴動音パターンを特定する。
【００２１】
シナリオ実行部１３は、パターン特定部１２によって特定された鳴動音パターンに関連付けられてパターンＤＢ１２３に記憶されている操作シナリオを実行対象として決定し、当該操作シナリオを実行する。
【００２２】
以下、サーバ１０が実行する処理手順について説明する。図５は、サーバ１０が実行する処理手順の一例を説明するためのフローチャートである。図５の処理手順は、端末ＤＢ１２１に登録されている各クライアント端末２０に対して並行して実行される。図５では、或る一つのクライアント端末２０について説明する。なお、図５の処理手順が実行される前に、クライアント端末２０において音量ミキサーが表示されている必要がある。又は、図５の処理手順の開始時に、サーバ１０からクライアント端末２０に対して音量ミキサーの表示命令が送信され、クライアント端末２０が当該表示命令に応じて音量ミキサーを表示してもよい。
【００２３】
ステップＳ１０１において、画像取得部１１は、各音量に対応した音量ミキサーの画像データ（以下、「音量画像」という。）を画像ＤＢ１２２から取得する。
【００２４】
図６は、画像ＤＢ１２２の構成例を示す図である。図６に示されるように、画像ＤＢ１２２には、０〜１０の１１段階の音量ごとに、画像ファイル名が記憶されている。画像ファイル名は、対応する音量が出力される際の音量画像を格納したファイルのファイル名である。
【００２５】
例えば、図７は、各音量に対応する音量画像の一例を示す図である。図７には、音量０から音量１０のそれぞれに対応する音量画像の例が示されている（但し、音量３〜音量８については便宜上、省略されている。）。ステップＳ１０１では、図７に示されるような各音量画像が取得される。
【００２６】
続いて、画像取得部１１は、クライアント端末２０において表示されている音量ミキサーについて画像キャプチャを実行し、当該音量ミキサーのキャプチャ画像を取得する（Ｓ１０２）。
【００２７】
図８は、音量ミキサーのキャプチャ画像の一例を示す図である。図８において、（１）は、音が出力されていない場合のキャプチャ画像を示す。（２）は、音が出力されている場合のキャプチャ画像を示す。なお、厳密には、クライアント端末２０において表示されている画面全体について画像キャプチャが実行され、当該画面全体から音量ミキサーの部分が切り出されることで、音量ミキサーのキャプチャ画像が取得されてもよい。
【００２８】
続いて、画像取得部１１は、取得したキャプチャ画像に基づいて、クライアント端末２０において鳴動音が出力されているか否かを判定する（Ｓ１０３）。具体的には、パターン特定部１２は、当該キャプチャ画像と音量０の音量画像とを比較して、差分が有れば鳴動音が出力されていると判定し、差分が無ければ鳴動音が出力されていないと判定する。
【００２９】
差分が無い場合（鳴動音が出力されていないと判定した場合）（Ｓ１０３でＮｏ）、画像取得部１１は、例えば、１００ミリ秒待機後にステップＳ１０２を繰り返す。すなわち、１００ミリ秒間隔で、鳴動音の出力の有無が確認される。
【００３０】
差分が有る場合（鳴動音が出力されていると判定した場合）（Ｓ１０３でＹｅｓ）、画像取得部１１は、取得周期分だけ待機後、クライアント端末２０に表示されている音量ミキサーの画像キャプチャを当該取得周期で定期的に実行し、当該音量ミキサーのキャプチャ画像を取得する（Ｓ１０４）。ここで、取得周期は、後述されるパターンＤＢ１２３における鳴動音のサンプリング周期Ｔ（０．５秒）と同じである。また、本実施の形態では、ステップＳ１０２において最後に取得されたキャプチャ画像と合わせて８個のキャプチャ画像が必要とされる。したがって、ステップＳ１０４では、７個のキャプチャ画像が取得される。その結果、０．５秒間隔で８個のキャプチャ画像が取得される。
【００３１】
図９は、０．５秒間隔で８回取得された音量ミキサーのキャプチャ画像の一例を示す図である。図９において、１回目のキャプチャ画像は、ステップＳ１０２において取得され、ステップＳ１０３において鳴動音が出力されていると判定されたキャプチャ画像である。すなわち、図９において、ａ秒は、ステップＳ１０３において鳴動音が出力されていると判定されたキャプチャ画像が、ステップＳ１０２において取得されたタイミングである。２回目から８回目のキャプチャ画像は、ステップＳ１０４において取得されたキャプチャ画像である。
【００３２】
続いて、パターン特定部１２は、各キャプチャ画像について、各音量画像の中から差分が最小である音量画像を特定することで、各キャプチャ画像が取得されたタイミングにおける音量を特定する（Ｓ１０５）。例えば、図９において「１回目（ａ秒）」のキャプチャ画像の場合、図７における音量６の画像との差分が最小であるため、当該キャプチャ画像について音量６が特定される。なお、「差分が最小である」とは、例えば、音量を示す部分の画素の相違数が最小であることをいう。
【００３３】
続いて、パターン特定部１２は、パターンＤＢ１２３に登録されている全ての鳴動音パターン情報をパターンＤＢ１２３から取得する（Ｓ１０６）。
【００３４】
図１０は、パターンＤＢ１２３の構成例を示す図である。図１０に示されるように、パターンＤＢ１２３には、ユーザが検出対象としたい（すなわち、シナリオの実行の契機としたい）鳴動音の変動パターン（以下、「鳴動音パターン」という。）ごとに、鳴動音パターン情報が記憶されている。鳴動音パターン情報は、サンプリング周期Ｔごとにサンプリング回数Ｎのタイミングで、各タイミングにおけるミキサー音量を示す情報である。なお、本実施の形態では、Ｔ＝０．５、Ｎ＝８である。
【００３５】
図１１は、鳴動音パターン情報を説明するための図である。図１１には、（１）に鳴動音パターン１が示され、（２）に鳴動音パターン２が示されている。（１）及び（２）において、台形の波形は、鳴動音の音量の変動（時間の経過に応じた変化）を示す。また、Ｘ軸方向にサンプリング周期Ｔ（０．５秒間隔）ごとに配置された破線の垂線は、鳴動音パターン情報の音量のサンプリングのタイミングを示す。当該垂線と台形との交点のＹ座標は、各サンプリングタイミングでの音量を示す。なお、パターンＤＢ１２３に登録される鳴動音パターン情報の音量のサンプリング周期Ｔの起点ｂは、最初の鳴動に対応する波形の中央の時点とされる。
【００３６】
（１）の鳴動音パターン１については、０．５秒間隔の周期での音量が（１）に示されているように、「６、０、６、０、６、０、６、０」である。したがって、この数値の配列が鳴動音パターン情報としてパターンＤＢ１２３（図１０）に登録されている。なお、鳴動音パターン１は、０．５秒間隔で短いビープ音が出力される鳴動音パターンである。
【００３７】
（２）の鳴動音パターン２については、０．５秒間隔の周期での音量が（２）に示されているように、「６、０、６、６、０、６、０、６」である。したがって、この数値の配列が鳴動音パターン情報としてパターンＤＢ１２３（図１０）に登録されている。なお、鳴動音パターン２は、短いビープ音と長いビープ音とが０．５秒間隔で交互に繰り返される鳴動音パターンである。
【００３８】
なお、本実施の形態では、Ｔ＝０．５、Ｎ＝８の例を示すが、サンプリング周期Ｔは、例えば、５０ｍ秒から０．５秒の範囲で変更されてもよい。また、サンプリング回数Ｎは、例えば、３回〜３０回の範囲で変更されてもよい。なお、パターンＤＢ１２３において、各鳴動音パターン情報は、対処シナリオに対応付けられて記憶されている。対処シナリオは、対応する鳴動音パターン情報が示す鳴動音パターンが検出された際に実行されるべき操作シナリオを示す。
【００３９】
なお、ステップＳ１０４におけるキャプチャ画像の取得間隔（取得周期）はサンプリング周期Ｔに従い、取得回数はサンプリング回数Ｎに従う。すなわち、ステップＳ１０４におけるキャプチャ画像の取得間隔及び取得回数は、パターンＤＢ１２３における鳴動音パターン情報のサンプリング周期Ｔ及びサンプリング回数Ｎに依存する。
【００４０】
続いて、パターン特定部１２は、取得された鳴動音パターン情報のうちの一つの鳴動音パターン情報について、当該鳴動音パターン情報に含まれる８回のタイミングのそれぞれごとに、当該タイミングの順番に対応するキャプチャ画像に関して特定された音量との差分（絶対値）を計算し、各差分の合計値（以下、「差分合計」という。）を計算する（Ｓ１０７）。
【００４１】
続いて、パターン特定部１２は、全ての鳴動音パターン情報について差分合計を計算したか否かを判定する。差分合計を計算していない鳴動音パターン情報が有る場合（Ｓ１０８でＮｏ）、パターン特定部１２は、当該鳴動音パターン情報についてステップＳ１０７を繰り返す。
【００４２】
全ての鳴動音パターン情報について差分合計の計算が完了すると（Ｓ１０８でＹｅｓ）、パターン特定部１２は、鳴動音パターン情報ごとに計算された差分合計に基づいて、クライアント端末２０における鳴動音の変動に対応する鳴動音パターン情報を特定するための処理（以下、「第１特定処理」という。）を実行する。
【００４３】
図１２は、第１特定処理を説明するための図である。図１２において上段のグラフは、クライアント端末２０における実際の鳴動音の音量の変動を示す。また、Ｘ軸方向に一定間隔（０．５秒間隔）で配置された破線の垂線は、キャプチャ画像の取得周期ごとのタイミングを示す。
【００４４】
本実施の形態では、キャプチャ画像について特定される音量が０でないことが検知された時点ａが当該取得周期の起点とされる。したがって、図１１とは異なり、当該取得周期の起点は、必ずしも最初の波形の中央の時点とはならない。そのために、図１２では、取得周期ごとのタイミングにおける音量は、必ずしも、実際の鳴動における最大音量ではない。
【００４５】
図１２のテーブルＴ１の１行目は、クライアント端末２０における鳴動音に関して、キャプチャ画像の取得周期における８回の音量（以下、「実際の取得値」という。）である。上述したように、当該取得周期における各タイミングの音量は、必ずしも実際の鳴動における最大音量ではないため、実際の取得値は、「１、０、１、０、１、０、１、０」と小さな値となっている。
【００４６】
テーブルＴ１の２行目には、実際の取得値と図１１（１）に示した鳴動音パターン１との各タイミングにおける差分（絶対値）、及び差分合計が示されている。テーブルＴ１の３行目は、実際の取得値と図１１（２）に示した鳴動音パターン２との各タイミングにおける差分（絶対値）、及び差分合計が示されている。
【００４７】
第１特定処理において、パターン特定部１２は、差分合計が最小である鳴動音パターンに係る鳴動音パターン情報を、クライアント端末２０における鳴動音の変動に対応する鳴動音パターン情報として特定する。但し、単に、差分合計が最小である鳴動音パターン情報が特定されてしまうと、当該差分合計が大きい場合であっても（すなわち、実際の取得値が、全ての鳴動音パターン情報にも実際には合致しない場合）であっても、いずれかの鳴動音パターン情報が特定されてしまう。そこで、本実施の形態では、差分合計に対して上限（閾値α）が設定される。すなわち、差分合計が閾値α以下であることが、クライアント端末２０における鳴動音の変動に対応する鳴動音パターン情報として特定される条件とされる。テーブルＴ１の右端の列には、差分合計が閾値α以下であるか（○）否か（×）が示されている。
【００４８】
このように鳴動音パターン情報を特定するために、ステップＳ１０９以降が実行される。
【００４９】
ステップＳ１０９において、パターン特定部１２は、鳴動音パターン情報ごとに計算された差分合計のうちの最小値を特定する（Ｓ１０９）。続いて、パターン特定部１２は、当該最小値が閾値α（例えば、２５）以下であるか否かを判定する（Ｓ１１０）。当該最小値が閾値αを超える場合（Ｓ１１０でＮｏ）、クライアント端末２０における音の出力（鳴動）は、シナリオに関連付いたいずれの鳴動音パターンにも該当しないため、ステップＳ１０１へ戻る。
【００５０】
一方、当該最小値が閾値α以下である場合（Ｓ１１０でＹｅｓ）、パターン特定部１２は、当該最小値に係る鳴動音パターン情報が複数であるか否かを判定する（Ｓ１１１）。すなわち、実際の取得値は、必ずしも各鳴動の最大音量ではなく（各鳴動の波形に対して取得周期ごとのタイミングがずれている可能性が有り）、かつ、音量ミキサーの音量は、１０段階に量子化されている。したがって、第１特定処理では、複数の鳴動音パターン情報が特定される可能性が有る。
【００５１】
最小値に係る鳴動音パターン情報が一つである場合（Ｓ１１１でＮｏ）、ステップＳ１１３へ進む。一方、最小値に係る鳴動音パターン情報が複数である場合（Ｓ１１１でＹｅｓ）、パターン特定部１２は、第２特定処理を実行することで、当該複数の鳴動音パターン情報の中から一つの鳴動音パターン情報を特定する（Ｓ１１２）。
【００５２】
図１３は、第２特定処理を説明するための図である。図１３において、最上段のグラフの意味は、図１２における上段のグラフの意味と同じである。但し、図１３では、第１特定処理では一意に鳴動音パターン情報が特定されない例を説明するために、クライアント端末２０における実際の鳴動音の音量の変動（実際の取得値）が図１３とは異なる。
【００５３】
図１３のテーブルＴ２ａは、図１２のテーブルＴ１と同じ意味を有する。但し、図１３では、図１２と実際の取得値が異なる。具体的には、図１３において、実際の取得値は、「２、３、５、２、３、３、３、４」である。したがって、各タイミングにおける鳴動音パターン１との差分及び当該差分の合計、各タイミングにおける鳴動音パターン２との差分及び当該差分の合計も図１２のテーブルＴ１とは異なる。具体的には、図１３のテーブルＴ２ａでは、鳴動音パターン１の差分合計と鳴動音パターン２の差分合計とが一致している。したがって、第１特定処理では、鳴動音パターン１と鳴動音パターン２とについて優劣を判定することができない。
【００５４】
そこで、第２特定処理において、パターン特定部１２は、テーブルＴ２ｂに示されるように、第１特定処理において差分合計が最小となった各鳴動音パターン情報（以下、「対象鳴動音パターン情報」という。）と、実際の取得値とのそれぞれについて、各タイミングの音量から直後のタイミングの音量を差し引いた値を求めることで、各サンプリング周期Ｔ（又は各取得周期）の区間における音量の変化の傾向（増加傾向又は減少傾向）を求める。以下、音量の変化の傾向を示す値を、便宜上、「傾き」という。
【００５５】
具体的には、テーブルＴ２ｂの１行目は、鳴動音パターン１についての各区間の傾きを示す。２行目は、鳴動音パターン２についての各区間の傾きを示す。３行目は、実際の取得値についての各区間の傾きを示す。本実施の形態では、サンプリング回数Ｎは８であるため、各タイミングの区間は、７区間となる。したがって、これら各行には７つの傾きが含まれている。１番目の区間の値は、１番目の音量から２番目の音量を差し引いた値である。すなわち、Ｎ番目の区間の値は、Ｎ番目の音量からＮ＋１番目の音量を差し引いた値である。実際の取得値を例とすると、１番目の音量は２であり、２番目の音量は３である。したがって、１番目の区間の傾きは、２−３＝−１となる。なお、符号がマイナス（負）であることは、増加傾向（右上がり）を示し、符号がプラス（正）であることは、減少傾向（右下がり）を示す。
【００５６】
パターン特定部１２は、各対象鳴動音パターン情報の傾きと、実際の取得値の傾きとを区間ごとに比較し、比較結果をテーブルＴ２ｃに示されるルールに照らして、区間ごとに各対象鳴動音パターン情報に対してポイント（１点）を付与するか否かを判定する。
【００５７】
具体的には。テーブルＴ２ｃには、ルール１〜ルール４の４つのルールが示されている。各ルールは、条件及びポイントの付与先を含む。条件は、対象鳴動音パターン情報群の区間ごとの傾きに対する条件である。ポイントの付与先は、条件が満たされる区間においてポイントが付与される対象鳴動音パターン情報を示す項目である。なお、ポイントの付与先において、ｚは、実際の取得値に関する各区間の傾きを示す。
【００５８】
例えば、ルール１の条件は、「全てが同符号」である。この条件は、対象鳴動音パターン情報群の全ての傾きが同符号（正又は負）である区間において満たされる。当該区間におけるポイントの付与先は、ｚの符号と同じ側となる。すなわち、対象鳴動音パターン情報群の全ての傾きがｚと同符号であれば、対象鳴動音パターン情報群の全てに対してポイントが付与され、そうでなければ、いずれの対象鳴動音パターン情報にもポイントは付与されない。テーブルＴ２ｂにおいては、１番目及び２番目の区間がルール１の条件を満たす。但し、１番目の区間において、鳴動音パターン１及び鳴動音パターン２のいずれもがポイントの付与先に該当しない。一方、２番目の区間において、鳴動音パターン１及び鳴動音パターン２の双方が、ｚと同符号である。したがって、２番目の区間については、ルール１に基づいて鳴動音パターン１及び鳴動音パターン２の双方にポイントが付与される。
【００５９】
ルール２の条件は、「正負が混在」である。この条件は、いずれか１以上の対象鳴動音パターン情報の傾きが正であり、他の対象鳴動音パターン情報が負である区間において満たされる。当該区間におけるポイントの付与先は、ｚの符号と同じ側となる。すなわち、ｚが正であれば、当該区間の傾きが正である対象鳴動音パターン情報に対してポイントが付与され、ｚが負であれば、当該区間の傾きが負である対象鳴動音パターン情報に対してポイントが付与される。但し、ｚが０である場合には、全ての対象鳴動音パターン情報に対してポイントが付与される。テーブルＴ２ｂにおいては、４番目、５番目、６番目及び７番目の区間が、ルール２の条件を満たす。したがって、これら区間については、ルール２のポイントの付与先に該当する鳴動音パターン情報に対してポイントが付与される。
【００６０】
ルール３の条件は、「０以外と０が混在」である。この条件は、いずれか１以上の対象鳴動音パターン情報の傾きが０であり、それ以外の対象鳴動音パターン情報の傾きが正又は負である区間において満たされる。当該区間におけるポイントの付与先は、ｚの符号と同じ側である。テーブルＴ２ｂにおいては、３番目の区間がルール３の条件を満たす。当該区間において、ｚと同符号は鳴動音パターン１である。したがって、当該区間については、鳴動音パターン１に対してポイントが付与される。
【００６１】
ルール４の条件は、「全てが同値」である。この条件は、全ての対象鳴動音パターン情報の傾きが同じである区間において満たされる。当該区間におけるポイントの付与先は、全ての対象鳴動音パターン情報である。テーブルＴ２ｂにおいては、１番目及び２番目の区間がルール４の条件を満たす。但し、２番目の区間については、ルール２が既に適用されている。すなわち、テーブルＴ２ｃにおいて、上位のルールの方が優先される。したがって、１番目の区間については、ルール１に基づいて鳴動音パターン１及び鳴動音パターン２の双方にポイントが付与される。
【００６２】
ルールの適用が完了すると、パターン特定部１２は、対象鳴動音パターン情報ごとにポイントの合計を計算し、当該合計が最大である鳴動音パターン情報を、クライアント端末２０における鳴動音の変動に対応する鳴動音パターン情報として特定する。テーブルＴ２ｂにおいて、ポイントの合計に基づく判定結果は、「１（６）＞２（５）」とされている。これは、鳴動音パターン１についての合計ポイント６が、鳴動音パターン２についての合計ポイント５より大きいこと、すなわち、鳴動音パターン１が特定されることを示す。
【００６３】
ステップＳ１１１でＮｏの場合、又はステップＳ１１２に続いて、シナリオ実行部１３は、パターン特定部１２によって特定された鳴動音パターン情報に関連付けられてパターンＤＢ１２３に記憶されている対処シナリオを実行対象として決定する（Ｓ１１３）。続いて、シナリオ実行部１３は、当該対処シナリオを呼び出す（実行する）（Ｓ１１４）。なお、シナリオ実行部１３は、対処シナリオに記述されている操作手順に応じた命令をクライアント端末２０に送信する。クライアント端末２０は、当該命令に応じた操作を実現するための処理を実行する。
【００６４】
上述したように、本実施の形態によれば、音の出力に応じた操作シナリオの決定を可能とすることができる。具体的には、クライアント端末２０から定期的（周期的）に取得されるキャプチャ画像群に基づいて、クライアント端末２０における鳴動音パターンが特定され、特定された鳴動音パターンに応じた対処シナリオが実行対象として決定される。その結果、マイク等、音に対応した機器等を改めて各クライアント端末２０に設置せずとも、音の出力に応じた対処（操作シナリオ）の決定を可能とすることができる。
【００６５】
なお、クライアント端末２０は、例えば、各種機器（例えば、ネットワーク機器等）の監視に利用される端末であってもよい。例えば、クライアント端末２０は、監視対象の機器において障害が発生した際に、鳴動音にて当該障害の発生を通知する。運用者は、当該通知に応じて適切な対処（保守者へのメール通知等）を行う。このような作業に対して、本実施の形態が適用されれば、当該鳴動音の出力を自動的に検知することができ、当該鳴動音に応じた対処が定義された操作シナリオを自動的に実行することができる。
【００６６】
なお、上記では、サーバ１０が図５に示した処理手順を実行する例を示したが、各クライアント端末２０が図５に示した処理手順を実行してもよい。すなわち、各クライアント端末２０が、図３に示した機能構成を有してもよい。
【００６７】
なお、本実施の形態において、サーバ１０は、操作シナリオを決定する装置の一例である。画像取得部１１は、取得部の一例である。パターン特定部１２は、特定部の一例である。シナリオ実行部１３は、決定部の一例である。鳴動音パターンは、音量ミキサーの変動パターンの一例である。
【００６８】
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００６９】
以上の説明に関し、更に以下の項を開示する。
（付記１）
表示装置に表示されている音量ミキサーの画像を所定間隔ごとに取得する取得部と、
前記画像に基づいて音の出力を検知すると、前記所定間隔ごとに取得される前記画像に基づいて音量の変動を特定し、予め登録されている複数の音量ミキサーの変動パターンの中から前記変動に対応する第１の変動パターンを特定する特定部と、
前記第１の変動パターンに対応付けられている操作シナリオを実行対象として決定する決定部と、
を有することを特徴とする音に対応した操作シナリオを決定する装置。
（付記２）
前記特定部は、前記音量の変動について、前記複数の音量ミキサーの変動パターンのそれぞれとの複数のタイミングにおける音量の差分を特定し、前記音量ミキサーの変動パターンごとの前記差分の合計に基づいて、前記複数の音量ミキサーの変動パターンの中から前記第１の変動パターンを特定する、
ことを特徴とする付記１記載の装置。
（付記３）
前記特定部は、複数の前記第１の変動パターンが特定された場合に、前記音量の変動についての前記各所定間隔における音量の変化の傾向と、それぞれの前記第１の変動パターンの前記各所定間隔における音量の変化の傾向とに基づいて、前記複数の変動パターンの中から１つの第１の変動パターンを特定する、
ことを特徴とする付記２記載の装置。
（付記４）
表示装置に表示されている音量ミキサーの画像を所定間隔ごとに取得し、
前記画像に基づいて音の出力を検知すると、前記所定間隔ごとに取得される前記画像に基づいて音量の変動を特定し、予め登録されている複数の音量ミキサーの変動パターンの中から前記変動に対応する第１の変動パターンを特定し、
前記第１の変動パターンに対応付けられている操作シナリオを実行対象として決定する、
処理をコンピュータが実行することを特徴とする音に対応した操作シナリオを決定する方法。
（付記５）
前記第１の変動パターンを特定する処理は、前記音量の変動について、前記複数の音量ミキサーの変動パターンのそれぞれとの複数のタイミングにおける音量の差分を特定し、前記音量ミキサーの変動パターンごとの前記差分の合計に基づいて、前記複数の音量ミキサーの変動パターンの中から前記第１の変動パターンを特定する、
ことを特徴とする付記４記載の方法。
（付記６）
前記第１の変動パターンを特定する処理は、複数の前記第１の変動パターンが特定された場合に、前記音量の変動についての前記各所定間隔における音量の変化の傾向と、それぞれの前記第１の変動パターンの前記各所定間隔における音量の変化の傾向とに基づいて、前記複数の変動パターンの中から１つの第１の変動パターンを特定する、
ことを特徴とする付記５記載の方法。
【符号の説明】
【００７０】
１０          サーバ
１１          画像取得部
１２          パターン特定部
１３          シナリオ実行部
２０          クライアント端末
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
１２１        端末ＤＢ
１２２        画像ＤＢ
１２３        パターンＤＢ
Ｂ            バス
【図１】
2020160753.tif 000003
【図２】
2020160753.tif 000004
【図３】
2020160753.tif 000005
【図４】
2020160753.tif 000006
【図５】
2020160753.tif 000007
【図６】
2020160753.tif 000008
【図７】
2020160753.tif 000009
【図８】
2020160753.tif 000010
【図９】
2020160753.tif 000011
【図１０】
2020160753.tif 000012
【図１１】
2020160753.tif 000013
【図１２】
2020160753.tif 000014
【図１３】
2020160753.tif 000015