(57)【要約】【課題】指定された方向にフォーカスしたアンビソニック信号を生成することができる音場信号推定装置を提供する。【解決手段】Sを任意の自然数とし、球面マイクロホンアレーの収音信号が予め想定したS方向から到来するS個の平面波に分解されると仮定した場合の平面波の各波面の振幅と位相を表すS次元のスパースな複素数ベクトルを計算するスパース波面分解部と、予め定めたフォーカス方向に基づいて定まるターゲットとなる平面波の各波面の振幅と位相を表すターゲットベクトルを複素数ベクトルから抽出するターゲット波面抽出部と、ターゲットベクトルと、４つの仮想マイクロホンの仮想の３次元位置に基づいて、４つの仮想マイクロホンの出力信号を生成する仮想マイク信号生成部と、出力信号に基づいて、４つのアンビソニック信号を生成するアンビソニック信号生成部を含む。【選択図】図１
2019213109.tif 000002
【特許請求の範囲】
【請求項１】
Sを任意の自然数とし、球面マイクロホンアレーの収音信号が予め想定したS方向から到来するS個の平面波に分解されると仮定した場合の前記平面波の各波面の振幅と位相を表すS次元のスパースな複素数ベクトルを計算するスパース波面分解部と、
予め定めたフォーカス方向に基づいて定まるターゲットとなる平面波の各波面の振幅と位相を表すターゲットベクトルを前記複素数ベクトルから抽出するターゲット波面抽出部と、
前記ターゲットベクトルと、４つの仮想マイクロホンの仮想の３次元位置に基づいて、４つの前記仮想マイクロホンの出力信号を生成する仮想マイク信号生成部と、
前記出力信号に基づいて、４つのアンビソニック信号を生成するアンビソニック信号生成部を含む
音場信号推定装置。
【請求項２】
請求項１に記載の音場信号推定装置であって、
前記仮想マイク信号生成部は、
前記ターゲットベクトルと４つの仮想マイクロホンの仮想の３次元位置に基づいて生成する第１の項と、前記複素数ベクトルのうち前記ターゲットベクトルとして抽出されなかったベクトルであるターゲット外ベクトルと４つの仮想マイクロホンの仮想の３次元位置と１よりも小さい重み係数に基づいて生成する第２の項により、４つの前記仮想マイクロホンの出力信号を生成する
音場信号推定装置。
【請求項３】
Sを任意の自然数とし、球面マイクロホンアレーの収音信号が予め想定したS方向から到来するS個の平面波に分解されると仮定した場合の前記平面波の各波面の振幅と位相を表すS次元のスパースな複素数ベクトルを計算するスパース波面分解部と、
予め定めたフォーカス方向に基づいて定まるターゲットとなる平面波の各波面の振幅と位相を表すターゲットベクトルを前記複素数ベクトルから抽出するターゲット波面抽出部と、
前記ターゲットベクトルに基づいて仮想の球面マイクロホンアレーの出力信号を生成する仮想球面マイク信号生成部と、
前記仮想の球面マイクロホンアレーの出力信号を球調和関数領域へ変換し、高次アンビソニック信号を生成する高次アンビソニック信号生成部を含む
音場信号推定装置。
【請求項４】
請求項３に記載の音場信号推定装置であって、
前記仮想球面マイク信号生成部は、
前記ターゲットベクトルに基づいて生成する第１の項と、前記複素数ベクトルのうち、前記ターゲットベクトルとして抽出されなかったベクトルであるターゲット外ベクトルと１よりも小さい重み係数に基づいて生成する第２の項により、仮想の球面マイクロホンアレーの出力信号を生成する
音場信号推定装置。
【請求項５】
請求項１から４の何れかに記載の音場信号推定装置であって、
前記スパース波面分解部は、
時間のパラメータを含む最適化問題に基づき、複数時刻の球面マイクロホンアレーの収音信号の全てが再現されるように、複数時刻のS次元のスパースな複素数ベクトルを計算する
音場信号推定装置。
【請求項６】
音場信号推定装置が実行する音場信号推定方法であって、
Sを任意の自然数とし、球面マイクロホンアレーの収音信号が予め想定したS方向から到来するS個の平面波に分解されると仮定した場合の前記平面波の各波面の振幅と位相を表すS次元のスパースな複素数ベクトルを計算するステップと、
予め定めたフォーカス方向に基づいて定まるターゲットとなる平面波の各波面の振幅と位相を表すターゲットベクトルを前記複素数ベクトルから抽出するステップと、
前記ターゲットベクトルと、４つの仮想マイクロホンの仮想の３次元位置に基づいて、４つの前記仮想マイクロホンの出力信号を生成するステップと、
前記出力信号に基づいて、４つのアンビソニック信号を生成するステップを含む
音場信号推定方法。
【請求項７】
音場信号推定装置が実行する音場信号推定方法であって、
Sを任意の自然数とし、球面マイクロホンアレーの収音信号が予め想定したS方向から到来するS個の平面波に分解されると仮定した場合の前記平面波の各波面の振幅と位相を表すS次元のスパースな複素数ベクトルを計算するステップと、
予め定めたフォーカス方向に基づいて定まるターゲットとなる平面波の各波面の振幅と位相を表すターゲットベクトルを前記複素数ベクトルから抽出するステップと、
前記ターゲットベクトルに基づいて仮想の球面マイクロホンアレーの出力信号を生成するステップと、
前記仮想の球面マイクロホンアレーの出力信号を球調和関数領域へ変換し、高次アンビソニック信号を生成するステップを含む
音場信号推定方法。
【請求項８】
コンピュータを請求項１から５の何れかに記載の音場信号推定装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音場推定技術に関し、特に球面マイクロホンアレーを用いて収音した収音信号から再生装置向けの音場信号を推定する音場信号推定装置、音場信号推定方法、プログラムに関する。
【背景技術】
【０００２】
近年、オーディオ再生に使われるチャネル数およびスピーカ数は、臨場感をより高めるために、2から、5.1へ、さらには22.1へと増加している。このような多チャネル再生システムに共通に使用する信号フォーマットとして、アンビソニックがよく使われる（非特許文献１）。
【０００３】
アンビソニック信号を実際の収音信号から求める方法として、球面マイクロホンアレーを用いる方法が示されている（非特許文献２）。この方法では、球面マイクロホンアレーを音場に配置し、アレー上の複数マイクロホンで収音する。そしてこのマルチチャネル収音信号をアンビソニック信号に変換する。アンビソニック信号はアンビソニックデコーダによりデコードされて、複数スピーカから再生される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】西村竜一、「特集：立体音響技術  ５章  アンビソニックス」、映像情報メディア学会誌、vol.68、No.8、pp.616-620、(2014)
【非特許文献２】S. Moreau, J. Daniel, and S. Bertet, “3D Sound Field Recording with Higher Order Ambisonics - Objective Measurements and Validation of a 4th Order Spherical Microphone Array,” 120th AES convention, May, 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
通常、音場は複数の音源から放射された音波で構成される。従来のアンビソニック信号生成方法では、どの音源からの音波も均等に扱ってアンビソニック信号を生成する。しかし実際には、受聴者にとっての各音源の重要性は均等ではない。たとえば、音声に映像が組み合わされる場合、映像でフォーカスしている対象物は音源として重要だが、それ以外の音源からの音は、重要性が低い場合がある。
【０００６】
そこで本発明は、指定された方向にフォーカスしたアンビソニック信号を生成することができる音場信号推定装置、音場信号推定方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の音場信号推定装置は、スパース波面分解部と、ターゲット波面抽出部と、仮想マイク信号生成部と、アンビソニック信号生成部を含む。
【０００８】
スパース波面分解部は、Sを任意の自然数とし、球面マイクロホンアレーの収音信号が予め想定したS方向から到来するS個の平面波に分解されると仮定した場合の平面波の各波面の振幅と位相を表すS次元のスパースな複素数ベクトルを計算する。ターゲット波面抽出部は、予め定めたフォーカス方向に基づいて定まるターゲットとなる平面波の各波面の振幅と位相を表すターゲットベクトルを複素数ベクトルから抽出する。仮想マイク信号生成部は、ターゲットベクトルと、４つの仮想マイクロホンの仮想の３次元位置に基づいて、４つの仮想マイクロホンの出力信号を生成する。アンビソニック信号生成部は、出力信号に基づいて、４つのアンビソニック信号を生成する。
【発明の効果】
【０００９】
本発明の音場信号推定装置によれば、指定された方向にフォーカスしたアンビソニック信号を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１およびその変形例の音場信号推定装置の構成を示すブロック図。
【図２】実施例１およびその変形例の音場信号推定装置の動作を示すフローチャート。
【図３】４つの仮想マイクロホンの仮想の３次元位置を示す図。
【図４】実施例２およびその変形例の音場信号推定装置の構成を示すブロック図。
【図５】実施例２およびその変形例の音場信号推定装置の動作を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００１２】
以下、図１を参照して本実施例の音場信号推定装置の構成を説明する。同図に示すように、本実施例の音場信号推定装置１００は、短時間フーリエ変換部１１０と、分解抽出変換部１２０と、短時間逆フーリエ変換部１９０を含み、分解抽出変換部１２０は、スパース波面分解部１２１と、ターゲット波面抽出部１２３と、仮想マイク信号生成部１２６と、アンビソニック信号生成部１２８を含む。本実施例の音場信号推定装置１００は、球面マイクロホンアレー９０１の収音信号から再生用のアンビソニック信号を推定する装置である。通常、球面マイクロホンアレー９０１には剛球型が用いられる。以下、図２を参照して各構成要件の動作を説明する。
【００１３】
≪短時間フーリエ変換部１１０≫
短時間フーリエ変換部１１０は、球面マイクロホンアレー９０１が収音した収音信号を周波数領域に変換する（Ｓ１１０）。
【００１４】
≪分解抽出変換部１２０≫
分解抽出変換部１２０は、周波数領域に変換された収音信号の信号処理を実行する（Ｓ１２０）。以下、ステップＳ１２０の詳細について説明する。
＜スパース波面分解部１２１＞
スパース波面分解部１２１は、Sを任意の自然数とし、球面マイクロホンアレー９０１の収音信号が予め想定したS方向から到来するS個の平面波に分解されると仮定した場合の平面波の各波面の振幅と位相を表すS次元のスパースな複素数ベクトルを計算する（Ｓ１２１）。
【００１５】
スパース波面分解部１２１が実行する具体的な処理を説明する。はじめに、剛球型球面マイクロホンアレー９０１の半径をrとして、この球面マイクロホンアレー９０１に、波数kの平面波が方向Ωs=(θs φs)から入射する状況を考える。波数kは、周波数＝音速×kである。θsはelevation angleであり、φsはazimuth angleである。
【００１６】
半径rの球上のΩ'の音圧は
【００１７】
【数１】
2019213109.tif 000003
【００１８】
で与えられる。ただし
【００１９】
【数２】
2019213109.tif 000004
【００２０】
である。ここでjl(  )はオーダーｌの球ベッセル関数であり、j'l(  )は関数jl(  )の微分を意味する。hl(1)(kr)はオーダーｌの第１種球ハンケル関数である。またPl(cosΘΩs,Ω')は、ｌ次のルジャンドル多項式であり、ΘΩs,Ω'は方向Ωsと方向Ω'のなす角度である。
【００２１】
球面上のM個のマイクロホンの各位置がΩ'm(1≦m≦M)で与えられる場合に、方向Ωsからの入射波に対するM個のマイクロホンの応答はベクトル形式で
【００２２】
【数３】
2019213109.tif 000005
【００２３】
とかける。
【００２４】
ここで、入射波は予め想定したS方向（Sは数百から数千）から到来するS個の平面波であると仮定した場合、波数kにおけるM個のマイクロホン信号p^1(k)〜p^M(k)と各平面波との関係は次の式で記述される。
【００２５】
【数４】
2019213109.tif 000006
【００２６】
ここで右辺のa(k)はS次元の複素数ベクトルであり、S個の平面波の各波面の振幅と位相の情報からなる。この複素数ベクトルが疎（スパース）、すなわちごく一部の成分だけが０以外の値をとる、と仮定できるとき、数十個のマイクロホン信号からでも、各波面の振幅と位相からなるベクトルa(k)を求めることができる。
【００２７】
スパース波面分解部１２１は、以下の最適化問題を解いて、スパースな複素数ベクトルa(k)を計算する（Ｓ１２１）。
【００２８】
【数５】
2019213109.tif 000007
【００２９】
ただし||a||1はベクトルaのＬ１ノルムを取ることを意味し、
【００３０】
【数６】
2019213109.tif 000008
【００３１】
である。D(k)を辞書行列と呼ぶ。この形式の問題はsquare-root LASSOと呼ばれる。式中のパラメータλは参考非特許文献１の方法によりD(k)から決定できる（参考非特許文献１：Florentina Bunea; Johannes Lederer; Yiyuan She, The Group Square-Root Lasso: Theoretical Properties and Fast Algorithms, IEEE Transactions on Information Theory
Year: 2014, Volume: 60, Issue: 2, Pages: 1313 - 1325.）。
【００３２】
＜ターゲット波面抽出部１２３＞
ターゲット波面抽出部１２３は、予め定めたフォーカス方向に基づいて定まるターゲットとなる平面波の各波面の振幅と位相を表すターゲットベクトルを複素数ベクトルから抽出する（Ｓ１２３）。
【００３３】
ターゲット波面抽出部１２３が実行する具体的な処理を説明する。ターゲット波面抽出部１２３は、予め定めたフォーカスする方向Ω''（フォーカス方向）に基づき、ターゲットとなる平面波を抽出する。具体的には、ターゲットとなる平面波の各波面の振幅と位相を表すターゲットベクトルを前述した複素数ベクトルa(k)から抽出する。例えばターゲット波面抽出部１２３は、予め想定したS個の方向から、フォーカス方向Ω''との差がδ以下になる方向を全て抽出する。δとしては例えば1〜30°等の値を設定することが考えられる。抽出されたインデックスの個数をS'、各インデックスをb(1)〜b(S')とする。
【００３４】
このとき、抽出された方向の平面波からなるマイクロホン信号は、
【００３５】
【数７】
2019213109.tif 000009
【００３６】
と推定できる。なお、p(Ωb(s'))はターゲットとなる平面波に対するM個のマイクロホンの応答、ab(s')(k)はターゲットベクトルである。
＜仮想マイク信号生成部１２６＞
仮想マイク信号生成部１２６は、ターゲットベクトルと、４つの仮想マイクロホンの仮想の３次元位置に基づいて、４つの仮想マイクロホンの出力信号を生成する（Ｓ１２６）。
【００３７】
仮想マイク信号生成部１２６が実行する具体的な処理を説明する。仮想マイク信号生成部１２６は、平面波分解の結果a(k)と上記のインデックスb(s')、すなわちターゲットベクトルab(s')(k)から、仮想マイクロホンの収音信号（出力信号）を求める。図３に示すように、アンビソニック収音用に４つの仮想マイクロホン（o,x,y,z）を使用し、各仮想マイクロホンの仮想の３次元位置がベクトルro、rx、ry、rzで与えられるとする。このとき、仮想マイク信号生成部１２６は、各仮想マイクロホンの出力信号po(k)、px(k)、py(k)、pz(k)を、ターゲットベクトルab(s')(k)と、４つの仮想マイクロホンの仮想の３次元位置ro、rx、ry、rzに基づいて、下式のように生成する。
【００３８】
【数８】
2019213109.tif 000010
【００３９】
ただし、
【００４０】
【数９】
2019213109.tif 000011
である。
【００４１】
＜アンビソニック信号生成部１２８＞
アンビソニック信号生成部１２８は、出力信号に基づいて、４つのアンビソニック信号を生成する（Ｓ１２８）。
【００４２】
アンビソニック信号生成部１２８が実行する具体的な処理を説明する。アンビソニック信号生成部１２８は、各仮想マイクロホンの出力信号po(k)、px(k)、py(k)、pz(k)から０次および１次のアンビソニック信号を求める。具体的には4つのアンビソニック信号qo(k)、qx(k)、qy(k)、qz(k)を
qo(k)=po(k)
qx(k)=px(k)-po(k)
qy(k)=py(k)-po(k)
qz(k)=pz(k)-po(k)
で求める。
【００４３】
≪短時間逆フーリエ変換部１９０≫
短時間逆フーリエ変換部１９０は、処理済みの周波数領域の信号を時間領域に変換する（Ｓ１９０）。
【００４４】
［変形例１］
以下、実施例１を変形した変形例１の音場信号推定装置１００Ａについて説明する。実施例１の音場信号推定装置１００は、フォーカス方向の平面波を取り出し、その他の方向の平面波を除去する。一方、本変形例の音場信号推定装置１００Ａは、その他の方向の平面波を除去する代わりに残存させ、ターゲット方向成分を強調する。本変形例の音場信号推定装置１００Ａは、実施例１における仮想マイク信号生成部１２６を仮想マイク信号生成部１２６Ａに代替した構成となっている。
【００４５】
仮想マイク信号生成部１２６Ａは、ターゲットベクトルと４つの仮想マイクロホンの仮想の３次元位置に基づいて生成する第１の項と、複素数ベクトルのうちターゲットベクトルとして抽出されなかったベクトルであるターゲット外ベクトルと４つの仮想マイクロホンの仮想の３次元位置と１よりも小さい重み係数に基づいて生成する第２の項により、４つの仮想マイクロホンの出力信号を生成する（Ｓ１２６Ａ）。
【００４６】
具体的には、ステップＳ１２３で抽出されなかったインデックスの個数をS''、各インデックスをbn(1)〜bn(S'')とし、ターゲット外ベクトルをabn(s'')(k)とする。仮想マイク信号生成部１２６Ａは、重み係数α＜１をもちいて、各仮想マイクロホンの出力信号po(k)、px(k)、py(k)、pz(k)を下式のように生成する。
【００４７】
【数１０】
2019213109.tif 000012
【００４８】
上式の第１項は、ターゲットベクトルab(s')(k)と、４つの仮想マイクロホンの仮想の３次元位置ro、rx、ry、rzに基づく項であり、上式の第２項は、ターゲット外ベクトルabn(s'')(k)と４つの仮想マイクロホンの仮想の３次元位置ro、rx、ry、rzと１よりも小さい重み係数αに基づく項である。この４チャネル信号にステップＳ１２８を実行することにより、その他方向の成分がα（＜１）倍されたアンビソニック信号が得られる。
【００４９】
＜変形例２＞
以下、実施例１を変形した変形例２の音場信号推定装置１００Ｂについて説明する。実施例１では、球面マイクロホンアレー９０１の各マイクロホンの収音信号をある時刻に注目した単一のベクトルとした。一方、本変形例では、各収音信号を複数の時刻についての複数本のベクトル、すなわち複数時刻の各収音信号を使用する場合をあつかう。複数時刻の各収音信号を入力とすることで、音場の平面波分解をより精度よく求めることが可能となる。本変形例の音場信号推定装置１００Ｂは、実施例１におけるスパース波面分解部１２１をスパース波面分解部１２１Ｂに代替した構成となっている。
【００５０】
スパース波面分解部１２１Ｂは、時間のパラメータを含む最適化問題に基づき、複数時刻の球面マイクロホンアレーの収音信号の全てが再現されるように、複数時刻のS次元のスパースな複素数ベクトルを計算する（Ｓ１２１Ｂ）。
【００５１】
具体的には、時刻tにおける球面マイクロホンアレー９０１の収音信号ベクトルを
【００５２】
【数１１】
2019213109.tif 000013
【００５３】
として、T本の収音信号ベクトルp^(k,1)…p^(k,T)が与えられたとする。このとき時刻tにおける複素数ベクトルを
【００５４】
【数１２】
2019213109.tif 000014
【００５５】
として、
A(k)=[a(k,1)…a(k,T)]
を、スパース波面分解部１２１Ｂにおいて求めることを考える。この問題は複数本のベクトルをまとめて行列化すると、次の時間のパラメータを含む最適化問題の形で表現できる。
A(k)=argmin||[p^(k,1)…p^(k,T)]-D(k)A(k)||F+λ||A(k)||1,2
ただし||A||Fは行列Aのフロベニウスノルムをとることを意味する。また||A(k)||1,2は行列Aの混合ノルム、
||A(k)||1,2=ΣSs=1||[as(k,1)…as(k,T)]||1
を意味する。このノルムは、行列A(k)の各横ベクトルのL1ノルムの総和になる。
【００５６】
音場信号推定装置１００Ｂは、時間のパラメータを含み、行列で表現された上述の最適化問題を解いて得られたA(k)に基づき、各時刻においてステップＳ１２３、Ｓ１２６、Ｓ１２８を実行することにより、各時刻におけるアンビソニック信号を求める。
【実施例２】
【００５７】
実施例１では、球面マイクロホンアレーの出力信号から、０次と１次のアンビソニック信号を求める方法を示した。実施例２では、球面マイクロホンアレーの出力信号から、２次以上の高次アンビソニック信号を求める。以下、図４を参照して本実施例の音場信号推定装置の構成を説明する。同図に示すように、本実施例の音場信号推定装置２００は、短時間フーリエ変換部１１０と、分解抽出変換部２２０と、短時間逆フーリエ変換部１９０を含み、分解抽出変換部２２０は、スパース波面分解部１２１と、ターゲット波面抽出部１２３と、仮想球面マイク信号生成部１２７と、高次アンビソニック信号生成部１２９を含む。実施例１における仮想マイク信号生成部１２６が、本実施例において仮想球面マイク信号生成部１２７に、実施例１におけるアンビソニック信号生成部１２８が、本実施例において高次アンビソニック信号生成部１２９に、それぞれ置き換わっている。
【００５８】
以下、図５を参照して、実施例１と異なる構成要件である仮想球面マイク信号生成部１２７、高次アンビソニック信号生成部１２９の動作を説明する。
【００５９】
＜仮想球面マイク信号生成部１２７＞
仮想球面マイク信号生成部１２７は、ターゲットベクトルに基づいて仮想の球面マイクロホンアレーの出力信号を生成する（Ｓ１２７）。あるいは、仮想球面マイク信号生成部１２７は、ターゲットベクトルに基づいて生成する第１の項と、複素数ベクトルのうち、ターゲットベクトルとして抽出されなかったベクトルであるターゲット外ベクトルと１よりも小さい重み係数に基づいて生成する第２の項により、仮想の球面マイクロホンアレーの出力信号を生成する（Ｓ１２７）。
【００６０】
前述したように、ステップＳ１２３では、平面波分解の結果a(k)のうち、フォーカス方向に含まれるインデックスb(1)〜b(S')（すなわちターゲットベクトルab(s')(k)）と、フォーカス方向に含まれないインデックスbn(1)〜bn(S'')（すなわちターゲット外ベクトルabn(s'')(k)）が抽出される。仮想球面マイク信号生成部１２７は、フォーカス方向の平面波成分からなる球面マイクロホン信号を、
【００６１】
【数１３】
2019213109.tif 000015
【００６２】
と推定する。仮想球面マイク信号生成部１２７は、フォーカス外の平面波成分からなる球面マイクロホン信号を
【００６３】
【数１４】
2019213109.tif 000016
【００６４】
と推定する。
【００６５】
仮想球面マイク信号生成部１２７は、仮想の球面マイクロホンアレーの出力信号を
【００６６】
【数１５】
2019213109.tif 000017
【００６７】
として出力する（ただしα＜１）。出力された仮想の球面マイクロホンアレーの出力信号に後述するステップＳ１２９を実行することで、非フォーカス成分が一部残留する高次アンビソニック信号を得ることができる。上の式でα＝０にしてステップＳ１２９を実行すれば、特定方向にフォーカスされた高次アンビソニック信号が得られる。
＜高次アンビソニック信号生成部１２９＞
高次アンビソニック信号生成部１２９は、仮想の球面マイクロホンアレーの出力信号を球調和関数領域へ変換し、高次アンビソニック信号を生成する（Ｓ１２９）。
【００６８】
高次アンビソニック信号生成部１２９は、非特許文献２の方法をそのまま用いる。非特許文献２では、周波数領域の球面マイクロホンアレーの収音信号を球調和関数領域へ変換し、処理することで、高次アンビソニック信号を生成する手法が提案されている。
【００６９】
なお実施例２についても、実施例１の変形例２と同様に、複数時刻の各収音信号を使用することが可能である。
【００７０】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００７１】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００７２】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００７３】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００７４】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００７５】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００７６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７７】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００７８】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019213109.tif 000018
【図２】
2019213109.tif 000019
【図３】
2019213109.tif 000020
【図４】
2019213109.tif 000021
【図５】
2019213109.tif 000022