(57)【要約】【課題】空間共分散行列の推定精度を向上させ、雑音抑圧性能を向上させる雑音抑圧装置等を提供する。【解決手段】雑音抑圧装置は、雑音は何れの方向から到来するか不明であるものとし、所定の方向から到来する、抑圧する対象ではない音信号である目的信号が観測信号に含まれているか否かを判定する雑音区間検出部と、目的信号が含まれなくなったと雑音区間検出部が判定した時点より後の時間に得られた観測信号である後観測信号を用いて、後観測信号に含まれる音が発せられた方向から発せられる音を強調しないようにビームパターンを更新する雑音抑圧更新部と、を含む。【選択図】図２
2020148899.tif 000002
【特許請求の範囲】
【請求項１】
雑音は何れの方向から到来するか不明であるものとし、所定の方向から到来する、抑圧する対象ではない音信号である目的信号が観測信号に含まれているか否かを判定する雑音区間検出部と、
前記目的信号が含まれなくなったと前記雑音区間検出部が判定した時点より後の時間に得られた観測信号である後観測信号を用いて、前記後観測信号に含まれる音が発せられた方向から発せられる音を強調しないようにビームパターンを更新する雑音抑圧更新部と、を含む、
雑音抑圧装置。
【請求項２】
観測信号に含まれる、目的音源の方向から到来する音を強調して、目的方向強調信号を得る方向強調部と、
前記目的方向強調信号から雑音区間を検出する雑音区間検出部と、
前記雑音区間の開始時刻後の時間に得られた観測信号である後観測信号を用いて、雑音空間共分散行列を計算する空間共分散行列計算部と、
前記雑音空間共分散行列を用いて、前記後観測信号に含まれる音が発せられた方向から発せられる音を抑圧する雑音抑圧部と、を含む、
雑音抑圧装置。
【請求項３】
請求項２の雑音抑圧装置であって、
前記雑音区間検出部は、前記目的方向強調信号に対して音声区間検出処理を行い、音声区間から非音声区間に切り替わった時点から一定時間、非音声区間を維持した場合に、前記一定時間の経過後の時刻を雑音区間の開始時刻として検出する、
雑音抑圧装置。
【請求項４】
請求項２または請求項３の雑音抑圧装置であって、
前記雑音抑圧部は、
前記観測信号と所定の雑音下目的信号空間共分散行列と前記雑音空間共分散行列とを基に雑音抑圧フィルタを計算する雑音抑圧更新部と、
前記雑音抑圧フィルタを前記観測信号に適用する抑圧部とを含む、
雑音抑圧装置。
【請求項５】
雑音は何れの方向から到来するか不明であるものとし、所定の方向から到来する、抑圧する対象ではない音信号である目的信号が観測信号に含まれているか否かを判定する雑音区間検出ステップと、
前記目的信号が含まれなくなったと前記雑音区間検出ステップが判定した時点より後の時間に得られた観測信号である後観測信号を用いて、前記後観測信号に含まれる音が発せられた方向から発せられる音を強調しないようにビームパターンを更新する雑音抑圧更新ステップと、を含む、
雑音抑圧方法。
【請求項６】
観測信号に含まれる、目的音源の方向から到来する音を強調して、目的方向強調信号を得る方向強調ステップと、
前記目的方向強調信号から雑音区間を検出する雑音区間検出ステップと、
前記雑音区間の開始時刻後の時間に得られた観測信号である後観測信号を用いて、雑音空間共分散行列を計算する空間共分散行列計算ステップと、
前記雑音空間共分散行列を用いて、前記後観測信号に含まれる音が発せられた方向から発せられる音を抑圧する雑音抑圧ステップと、を含む、
雑音抑圧方法。
【請求項７】
請求項１から請求項４の何れかの雑音抑圧装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目的音源が発した音(以下「目的音」ともいう)と、背景雑音とが混在する環境において、複数のマイクロホンで収録された観測信号から、雑音を抑圧し、目的音のみを抽出する雑音抑圧装置、その方法、およびプログラムに関する。
【背景技術】
【０００２】
雑音抑圧技術の従来技術として非特許文献１が知られている。
【０００３】
図１を用いて、非特許文献１を説明する。
【０００４】
空間共分散計算部１１は、観測信号を入力とし、時間周波数点ごとに目的音声と雑音のどちらが優勢であるかを表す時間周波数マスクを計算する。次に、空間共分散計算部１１は、時間周波数マスクを用いて、目的音声が優勢な時間周波数点の観測信号の特徴量を計算する。空間共分散計算部１１は、計算した特徴量に基づき、目的音声と雑音の両方を含む観測信号の空間共分散行列である雑音下目的信号空間共分散行列を計算する。また、空間共分散計算部１１は、時間周波数マスクを用いて、雑音が優勢な時間周波数点の観測信号の特徴量を計算する。空間共分散計算部１１は、計算した特徴量に基づき、雑音のみを含む観測信号の空間共分散行列である雑音空間共分散行列を計算する。
【０００５】
そして、雑音抑圧部１３は、観測信号と雑音下目的信号空間共分散行列と雑音空間共分散行列とを基に雑音抑圧フィルタを計算し、計算した雑音抑圧フィルタを観測信号に適用することで、目的音声に対応する信号（以下、「目的信号」ともいう）を推定する。
【０００６】
マスク計算の方法としては、観測信号の空間特徴量クラスタリングに基づく方法（例えば、非特許文献１を参照）、ディープニューラルネットワーク（DNN）に基づく方法（例えば、非特許文献２を参照）等が知られている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Takuya Higuchi, Nobutaka Ito, Takuya Yoshioka, Tomohiro Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise", ICASSP 2016, pp. 5210-5214, 2016.
【非特許文献２】Jahn Heymann, Lukas Drude, Reinhold Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming", ICASSP 2016, pp. 196-200, 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術では、目的信号が存在する区間の観測信号を用いて雑音下目的信号空間共分散行列を計算し、雑音に対応する信号（以下、「雑音信号」ともいう）のみが存在する区間の観測信号を用いて雑音空間共分散行列を計算する必要がある。
【０００９】
しかしながら、観測信号だけではどの区間に目的信号が存在し、どの区間に雑音信号のみが存在するか、という情報が得られない。そのため、空間共分散行列の計算精度が低下し、結果として雑音抑圧性能が劣化してしまう、という課題が存在する。
【００１０】
本発明は、目的音源の方向（以下、「目的方向」ともいう）が既知であるという条件下で、目的方向から発せられる音を強調した信号から発話区間を検出することで、雑音信号のみが存在する区間の検出精度を向上させ、空間共分散行列の推定精度を向上させ、雑音抑圧性能を向上させる雑音抑圧装置、その方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明の一態様によれば、雑音抑圧装置は、雑音は何れの方向から到来するか不明であるものとし、所定の方向から到来する、抑圧する対象ではない音信号である目的信号が観測信号に含まれているか否かを判定する雑音区間検出部と、目的信号が含まれなくなったと雑音区間検出部が判定した時点より後の時間に得られた観測信号である後観測信号を用いて、後観測信号に含まれる音が発せられた方向から発せられる音を強調しないようにビームパターンを更新する雑音抑圧更新部と、を含む。
【００１２】
上記の課題を解決するために、本発明の他の態様によれば、雑音抑圧装置は、観測信号に含まれる、目的音源の方向から到来する音を強調して、目的方向強調信号を得る方向強調部と、目的方向強調信号から雑音区間を検出する雑音区間検出部と、雑音区間の開始時刻後の時間に得られた観測信号である後観測信号を用いて、雑音空間共分散行列を計算する空間共分散行列計算部と、雑音空間共分散行列を用いて、後観測信号に含まれる音が発せられた方向から発せられる音を抑圧する雑音抑圧部と、を含む。
【発明の効果】
【００１３】
本発明によれば、空間共分散行列の推定精度を向上させ、雑音抑圧性能を向上させるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】従来技術に係る雑音抑圧装置の機能ブロック図。
【図２】第一実施形態に係る雑音抑圧装置の機能ブロック図。
【図３】第一実施形態に係る雑音抑圧装置の処理フローの例を示す図。
【図４】観測信号のパワーと、目的方向強調信号のパワーと、目的信号のパワーの例を示す図。
【図５】第一実施形態の動作イメージを示す図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１６】
＜第一実施形態のポイント＞
目的方向が既知である条件下で、目的方向から到来する音を強調した信号（以下「目的方向強調信号」ともいう）から発話区間を検出することで、雑音区間の検出精度が向上する。
【００１７】
そして、高精度に検出された雑音区間を用いることで、雑音抑圧処理に必要な雑音空間共分散行列の推定精度が向上する。
【００１８】
例えば、以下の処理１．〜３．により雑音を抑圧する。
１．“既知の目的方向から到来する音を強調するような”フィルタ（以下、目的方向強調フィルタともいう）を設計し、目的方向強調フィルタを観測信号に適用することで、目的方向強調信号が得る。結果として、すこしだけ目的音声が強調され、雑音が抑えられた信号を得る。
２．目的方向強調信号のパワーを閾値処理し、既知の目的方向から音が到来していない区間であると判定されたら、その区間で収音した音が到来した方向を強調しないように、フィルタ（以下、雑音抑圧フィルタともいう）を更新する。既知の目的方向から音が到来したら、雑音抑圧フィルタの更新を停止する。
３．観測信号への雑音抑圧フィルタの適用（乗算）は常時実施する。
このような処理１．〜３．を継続的に行うことで雑音抑圧フィルタがどんどん更新されていき、雑音抑圧の精度が改善されていく。
【００１９】
以下、上述の処理１．〜３．を実現するための雑音抑圧装置について説明する。
【００２０】
＜第一実施形態＞
図２第一実施形態に係る雑音抑圧装置の機能ブロック図を、図３はその処理フローを示す。
【００２１】
雑音抑圧装置は、方向強調部１１０、雑音区間検出部１２０、空間共分散行列計算部１３０及び雑音抑圧部１４０を含む。
【００２２】
雑音抑圧装置は、観測信号と目的方向情報とを入力とし、観測信号に含まれる雑音を抑圧して、目的信号を抽出し、出力する。なお、観測信号は、収音手段（例えば複数のマイクロホンからなるマイクロホンアレー）で観測した音響信号である。収音手段の出力信号をそのまま入力としてもよいし、何らかの記憶装置に記憶された出力信号を読み出して入力としてもよいし、収音手段の出力信号に対して何らかの処理を行ったものを入力としてもよい。
【００２３】
なお、本実施形態では、前提条件として、収音手段（例えばマイクロホンアレー）に対する目的音源の方向（目的方向）が既知であることとする。また、雑音は何れの方向から到来するか不明であることとする。本実施形態では、目的方向情報に収音手段に対する目的方向を示す情報が含まれる。本実施形態では、目的音源を話者(以下「目的話者」ともいう)とし、目的音を目的話者が発話した音声（以下「目的音声」ともいう）とし、目的信号を目的音声に対応する信号とする。ただし、これらに限定されるものではなく、目的音源は話者に限らず楽器などの音源や再生装置等の何らかの音源であってもよく、目的音は音声に限らず音声以外の音であってもよい。
【００２４】
雑音抑圧装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。雑音抑圧装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。雑音抑圧装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。雑音抑圧装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。雑音抑圧装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも雑音抑圧装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、雑音抑圧装置の外部に備える構成としてもよい。
【００２５】
以下、各部について説明する。
【００２６】
＜方向強調部１１０＞
方向強調部１１０は、観測信号と目的方向情報とを入力とし、ビームフォーミング処理等により、目的方向情報に基づき、観測信号に含まれる、目的方向から到来する音を強調して、目的方向強調信号を得（Ｓ１１０）、出力する。なお、ビームフォーミング技術として遅延和アレーや適応型アレー等が考えられるが、どのようなビームフォーミング技術を用いてもよい。例えば、非特許文献１のビームフォーミング技術を用いることができる。
【００２７】
図４は観測信号のパワーと、目的方向強調信号のパワーの例を示す。
【００２８】
＜雑音区間検出部１２０＞
雑音区間検出部１２０は、目的方向強調信号を入力とし、目的方向強調信号から雑音区間を検出し（Ｓ１２０）、雑音区間検出情報を出力する。雑音区間検出情報は、ある時刻の目的方向強調信号が、雑音区間か、否かを示す情報である。例えば、フレーム毎に雑音区間検出処理行う場合には、フレーム毎に雑音区間ではない区間に含まれることを示す情報（例えば１）、または、雑音区間に含まれることを示す情報（例えば０）を出力する。また、例えば、雑音区間ではない区間または／および雑音区間の開始時間または／および終了時間と、雑音区間ではない区間または／および雑音区間の長さを示す情報を雑音区間検出情報としてもよい。例えば、雑音区間ではない区間の開始時刻と雑音区間ではない区間の長さを示す情報とが分かれば、雑音区間ではない区間が判明し、雑音区間ではない区間以外の時間を雑音区間と判断することができる。
【００２９】
例えば、雑音区間検出部１２０は、目的方向強調信号に音声区間検出(Voice Activity Detection, VAD)処理を行い、音声区間か非音声区間かを判定する。なお、音声区間検出技術として、どのような音声区間検出技術を用いてもよい。雑音区間検出部１２０は、音声区間から非音声区間に切り替わった時点（例えば、雑音区間検出情報が音声区間に含まれることを示す１から音声区間に含まれないことを示す０に変化した時点)から一定時間、非音声区間を維持した場合に、一定時間経過後を雑音区間開始とみなし、雑音区間検出情報を出力する。なお、一定時間を0とし、音声区間から非音声区間に切り替わった時点から雑音区間開始とみなしてもよい。なお、VAD技術として様々な技術が考えられるが、どのようなVAD技術を用いてもよい。図４の例では、音声区間から非音声区間に切り替わった時点は時刻t0であり、一定時間をTとし、時刻t0+Tを雑音区間の開始時刻としている。
【００３０】
雑音区間の観測信号には目的信号が含まれていないため、雑音区間検出部１２０は、目的信号が観測信号に含まれているか否かを判定し、判定結果である雑音区間検出情報を出力しているとも言える。目的信号は、前述の通り、目的音に対応する信号（目的信号）であり、所定の方向（目的方向）から到来する、抑圧する対象ではない音信号である。
【００３１】
＜空間共分散行列計算部１３０＞
空間共分散行列計算部１３０は、観測信号と雑音区間検出情報とを入力とし、雑音区間の開始時刻後の時間に得られた観測信号(以下「後観測信号」ともいう)を用いて、雑音空間共分散行列を計算し（Ｓ１３０）、出力する。従来技術の空間共分散行列計算部と同等の処理だが、雑音の空間共分散行列のみを更新している。なお、雑音区間以外の観測信号は、雑音空間共分散行列を計算する際に用いず、後観測信号のみを用いて雑音空間共分散行列を計算し、更新する。
【００３２】
例えば、空間共分散行列計算部１３０は、雑音区間ではない区間には待機状態であり、雑音区間の開始時刻後、後観測信号の特徴量の計算を開始する。空間共分散行列計算部１３０は、再度雑音区間ではない区間に移行した場合には再度待機状態となる構成としてもよい。
【００３３】
空間共分散行列計算部１３０は、計算した特徴量に基づき、雑音のみを含む後観測信号の空間共分散行列である雑音空間共分散行列を計算する。例えば、非特許文献１の方法により雑音空間共分散行列を計算する。例えば、周波数を表すインデックスをｆとし、時間を表すインデックスをｔとし、m=1,2,…,Mとし、M個のマイクロホンからなるマイクロホンアレーのm番目のマイクで観測された観測信号の時間周波数成分をyf,t,mとし、M個のマイクロホンで観測された観測信号の時間周波数成分のベクトルをyf,t=[yf,t,1,yf,t,2,…,yf,t,M]とし、雑音区間検出情報をλtとすると、以下のように雑音空間共分散行列Rf(n)を計算する。
【００３４】
【数１】
2020148899.tif 000003
【００３５】
ただし、上付きのHはエルミート行列を表し、上付きの(n)は雑音用であること示すための添字である。雑音区間検出情報λtは時刻tが雑音区間ではない区間に含まれる場合１、雑音区間に含まれる場合０である。
【００３６】
＜雑音抑圧部１４０＞
雑音抑圧部１４０は、観測信号と雑音空間共分散行列を入力とし、従来技術と同様の方法で雑音を抑圧し（Ｓ１４０）、目的信号を出力する。
【００３７】
例えば、雑音抑圧部１４０の雑音抑圧更新部１４１は、観測信号と雑音下目的信号空間共分散行列と雑音空間共分散行列とを基に雑音抑圧フィルタを計算する（Ｓ１４１）。なお、雑音下目的信号空間共分散行列は所定のもの（プリセットされたもの）を用い、雑音空間共分散行列は逐次空間共分散行列計算部１３０で更新された値を用いるものとする。例えば、非特許文献１の方法により雑音抑圧フィルタを計算する。例えば、雑音下目的信号空間共分散行列（プリセットされたもの）をRf(s+n)とし、(雑音下ではない)目的信号空間共分散行列をRf(s)とし、ステアリングベクトルをaとすると、以下のように雑音抑圧フィルタwfを計算する。
【００３８】
【数２】
2020148899.tif 000004
【数３】
2020148899.tif 000005
【００３９】
ただし、ステアリングベクトルaは、目的信号空間共分散行列Rの最大固有値を与える固有ベクトルとして求めてもよいし、マイク間の到達時間差から求めてもよい。例えば、到達時間差から求める場合は以下のように表される。
【００４０】
【数４】
2020148899.tif 000006
【００４１】
ただし、θは目的方向を、dはマイクロホン間の距離を、cは音速を表す。
【００４２】
空間共分散行列計算部１３０では、後観測信号を用いて雑音空間共分散行列を更新するため、観測信号に目的信号が含まれなくなったと雑音区間検出部１２０が判定した時点（雑音区間の開始時点）を基準とし、雑音抑圧部１４０の雑音抑圧更新部１４１は、この基準より後の時間に得られた観測信号である後観測信号を用いて、後観測信号に含まれる音が発せられた方向から発せられる音を強調しないようにビームパターン（雑音抑圧フィルタのフィルタ係数）を更新する。
【００４３】
雑音抑圧部１４０の抑圧部１４２は、計算した雑音抑圧フィルタを観測信号に適用することで、観測信号に含まれる雑音を抑圧して（Ｓ１４２）、目的信号を推定し、出力する。例えば、以下のように目的信号^sf,tを推定する。
^sf,t=wHf,tyf,t
【００４４】
雑音抑圧フィルタは後観測信号を用いて更新されるため、後観測信号に含まれる音が発せられた方向から発せられる音を抑圧することができる。図４では、時刻t0+T以降に雑音空間共分散行列が更新され、目的信号が精度良く推定されていることが分かる。
【００４５】
このような構成とすることで、雑音抑圧部１４０は、雑音空間共分散行列を用いて、観測信号から、後観測信号に含まれる音が発せられた方向から発せられる音（雑音）を抑圧する。
【００４６】
図５は第一実施形態の動作イメージを示す。
【００４７】
ビームパターン２０Ａは動作直後のビームパターンを示す。ＴＶ２２の音声に基づく雑音が存在するが、雑音の特性を反映できていないため、雑音抑圧性能は高くない。目的話者２１の発話が終了し、音声区間から非音声区間に切り替わった時点から一定時間、非音声区間を維持した場合に、一定時間経過後を雑音区間開始とみなし、雑音空間共分散行列の更新を開始する。更新された雑音空間共分散行列に基づき雑音抑圧フィルタを更新し、ＴＶの音声に基づく雑音の特性を反映したビームパターン２０Ｂを形成する。しかし、ビームパターン２０Ｂは掃除機２３から発せられる新たな雑音の特性を反映できていない。雑音区間が継続する場合には、雑音抑圧装置は、雑音空間共分散行列の更新を継続し、更新された雑音空間共分散行列に基づき雑音抑圧フィルタを更新し、ＴＶ２２の音声に基づく雑音と、掃除機２３から発せられる新たな雑音との特性を反映したビームパターン２０Ｃを形成する。
【００４８】
＜効果＞
以上の構成により、空間共分散行列の推定精度を向上させ、雑音抑圧性能を向上させる。雑音空間共分散行列が更新され始めると、雑音抑圧性能が向上し、より目的方向の音声を強調することができるようになる。本実施形態では、観測信号から雑音区間を抜き出すことができるため、雑音の空間特性を精緻に推定することができる。さらに、推定した雑音の空間特性に基づいて、空間共分散行列を推定することで、音声強調処理の性能を向上させることができる。推定した雑音の空間特性を用いて、音声認識エンジンの音響モデルに利用環境の雑音特性を適応学習させることで、ユーザ利用環境下での音声認識性能を向上させることができる。
【００４９】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００５０】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００５１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００５２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００５３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５４】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2020148899.tif 000007
【図２】
2020148899.tif 000008
【図３】
2020148899.tif 000009
【図４】
2020148899.tif 000010
【図５】
2020148899.tif 000011