(57)【要約】【課題】一つの端末から入力した会議音声を処理し会議内容を聞く人に対してより高品質な音声を提供すること。【解決手段】会議音声入力端末に入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析手段と、前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知手段と、前記発声者通知手段によって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得手段と、選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御手段と、を備えた会議音声処理装置。【選択図】  図１
2018174408.tif 000002
【特許請求の範囲】
【請求項１】
会議音声入力端末から入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析手段と、
前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知手段と、
前記発声者通知手段によって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得手段と、
選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御手段と、
を備えた会議音声処理装置。
【請求項２】
前記ユーザ端末は、表示手段を有する通信端末であり、
前記発声者通知手段は、前記ユーザ端末に対して、前記入力音声データから抽出された少なくとも二人の発声者を識別する識別画像を表示させる請求項１に記載の会議音声処理装置。
【請求項３】
前記ユーザ端末は、音声出力手段を有する電話端末であり、
前記発声者通知手段は、前記ユーザ端末に対して、前記入力音声データから抽出された少なくとも二人の発声者を識別する識別音声を出力させる請求項１に記載の会議音声処理装置。
【請求項４】
前記会議音声分析手段は、声紋分析処理を加えることにより、個人音声データを抽出する請求項１、２または３に記載の会議音声処理装置。
【請求項５】
前記発声者通知手段は、声紋と発声者識別情報とを対応付ける声紋データベースを参照することにより、発声者識別情報を出力する請求項４に記載の会議音声処理装置。
【請求項６】
会議音声分析手段は、音源方向分析処理を加えることにより、個人音声データを抽出する請求項１、２または３に記載の会議音声処理装置。
【請求項７】
前記音声制御手段は、選択された前記発声者に対応する個人音声データを制御し、選択されていない発声者に対応する個人音声データと混合して前記ユーザ端末に出力する請求項１乃至６のいずれか１項に記載の会議音声処理装置。
【請求項８】
前記音声制御手段は、選択された前記発声者に対応する個人音声データを抑圧して前記ユーザ端末に出力する請求項１乃至７のいずれか１項に記載の会議音声処理装置。
【請求項９】
前記音声制御手段は、前記選択指示に応じた前記発声者に対応する個人音声データの音量を制御して前記ユーザ端末に出力する請求項１乃至８のいずれか１項に記載の会議音声処理装置。
【請求項１０】
会議音声を入力するマイクと、
入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析手段と、
前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知手段と、
前記発声者通知手段によって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得手段と、
選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御手段と、
を備えた会議音声処理装置。
【請求項１１】
会議音声入力端末から入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析ステップと、
前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知ステップと、
前記発声者通知ステップによって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得ステップと、
選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御ステップと、
を含む会議音声処理方法。
【請求項１２】
会議音声入力端末から入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析ステップと、
前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知ステップと、
前記発声者通知ステップによって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得ステップと、
選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御ステップと、
をコンピュータに実行させる会議音声処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、複数の端末のマイクで集音した複数の参加者の音声を通信処理部で受信し、特定された端末以外から入力した音声の音量を低減または遮断する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０４６８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、一つの端末で集音した複数人の音声から特定の音を制御することができなかった。
【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
会議音声入力端末から入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析手段と、
前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知手段と、
前記発声者通知手段によって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得手段と、
選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御手段と、
を備えた会議音声処理装置である。
【０００７】
上記目的を達成するため、本発明に係る他の装置は、
会議音声を入力するマイクと、
入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析手段と、
前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知手段と、
前記発声者通知手段によって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得手段と、
選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御手段と、
を備えた会議音声処理装置である。
【０００８】
上記目的を達成するため、本発明に係る方法は、
会議音声入力端末から入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析ステップと、
前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知ステップと、
前記発声者通知ステップによって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得ステップと、
選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御ステップと、
を含む会議音声処理方法である。
【０００９】
上記目的を達成するため、本発明に係るプログラムは、
会議音声入力端末から入力した入力音声データから、少なくとも二人の発声者の個人音声データを抽出する会議音声分析ステップと、
前記入力音声データに含まれた前記少なくとも二人の発声者をユーザ端末に通知する発声者通知ステップと、
前記発声者通知ステップによって通知された前記少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示を前記ユーザ端末から取得する指示取得ステップと、
選択された前記発声者に対応する個人音声データを制御して前記ユーザ端末に出力する音声制御ステップと、
をコンピュータに実行させる会議音声処理プログラムである。
【発明の効果】
【００１０】
本発明によれば、一つの端末から入力した会議音声を処理し会議内容を聞く人に対してより高品質な音声を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る会議音声処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る会議音声処理装置の効果を説明するための図である。
【図３】本発明の第２実施形態に係る会議音声処理装置の効果を説明するための図である。
【図４】本発明の第２実施形態に係る会議音声処理装置の機能構成を示すブロック図である。
【図５】本発明の第２実施形態に係る会議音声処理システムに含まれるユーザ端末の表示画面例を示す図である。
【図６】本発明の第２実施形態に係る会議音声処理装置で用いられる発声者データベースの構成を示す図である。
【図７】本発明の第２実施形態に係る会議音声処理装置での処理の流れを示すフローチャートである。
【図８】本発明の第２実施形態に係る会議音声処理装置での処理の流れを示すフローチャートである。
【図９】本発明の第３実施形態に係る会議音声処理装置の機能構成を示すブロック図である。
【図１０】本発明の第４実施形態に係る会議音声処理装置の機能構成を示すブロック図である。
【図１１】本発明の第５実施形態に係る会議音声処理システムに含まれるユーザ端末の表示画面例を示す図である。
【図１２】本発明の第６実施形態に係る会議音声処理システムに含まれるユーザ端末の表示画面例を示す図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１３】
［第１実施形態］
本発明の第１実施形態としての会議音声処理装置１００について、図１を用いて説明する。会議音声処理装置１００は、会議音声分析部１０１と発声者通知部１０２と指示取得部１０３と音声制御部１０４とを含む。
【００１４】
会議音声分析部１０１は、会議音声入力端末１１０から入力した入力音声データ１１１から、少なくとも二人の発声者１３１〜１３３の個人音声データを抽出する。
【００１５】
発声者通知部１０２は、入力音声データ１１１に含まれる少なくとも二人の発声者１３１〜１３３をユーザ端末１２０に通知する。
【００１６】
指示取得部１０３は、発声者通知部１０２によって通知された少なくとも二人の発声者１３１〜１３３に含まれる、少なくとも一人の発声者１３３の選択指示をユーザ端末１２０から取得する。
【００１７】
音声制御部１０４は、選択された発声者１３３に対応する個人音声データを制御してユーザ端末に出力する。
【００１８】
以上の構成によれば、一つの端末から入力した会議音声に含まれる発声者を選択して音声データを制御できるので、会議内容を聞く人に対して、より高品質な音声を提供できる。なお、会議音声分析部１０１は、声紋分析によって発声者を特定・分離してもよいし、マイクアレイ等を用いた音源方向分析処理によって発声者を特定・分離してもよい。
【００１９】
［第２実施形態］
次に本発明の第２実施形態に係る会議音声処理装置について、図２を用いて説明する。図２は、本実施形態に係る会議音声処理装置２００の利用方法を説明するための図である。
【００２０】
複数の会議参加者が発声者２３１として、会議音声入力端末２１０に対して音声を入力しつつ、会議を行なっている。一方、ユーザ２２１は、例えばスマートフォンなどの通信端末としてのユーザ端末２２０を利用して、離れた場所で会議内容を聞いており、必要に応じて発言をしている。
【００２１】
例えば、もし会議音声処理装置２００が何ら処理を行なわなければ、会議音声入力端末２１０の近くのテーブルで発言をしている発声者２３２、２３３の音声を会議音声入力端末２１０が拾ってしまい、ユーザ２２１が発声者２３１の音声を聞き取りにくい状況があった。
【００２２】
これに対し、本実施形態では、図３に示すとおり、会議音声処理装置２００は、入力音声データ２１１から、ユーザ２２１にとって不要な発声者２３２、２３３の音声を排除して、ユーザ２２１に対して、より高品質な会議音声２２２を提供する。
【００２３】
図４は、会議音声処理装置２００を含む会議システム４００の機能構成を示す図である。
【００２４】
会議音声入力端末２１０は、マイク４１２を備えており、複数の発声者２３１〜２３３が発声した音声を入力して、入力音声データ４１１として、会議音声処理装置２００に送信する。
【００２５】
会議音声処理装置２００は、会議音声分析部４０１と発声者通知部４０２と指示取得部４０３と音声制御部４０４と発声者データベース４０５とを含み、ユーザ端末２２０との間で情報通信を行なう。ユーザ端末２２０は、表示部４２１、操作入力部４２２および音声出力部４２３を含む。
【００２６】
会議音声分析部４０１は、会議音声入力端末２１０から入力した入力音声データ４１１に対して声紋分析処理を加え、少なくとも二人の発声者２３１〜２３３の個人音声データを抽出する。
【００２７】
発声者通知部４０２は、入力音声データ４１１に含まれる少なくとも二人の発声者２３１〜２３３をユーザ端末２２０に通知する。ユーザ端末２２０は、表示部４２１において、発声者２３１〜２３３を示す識別画像を表示する。発声者通知部４０２は、一定期間ごとに、発声者を通知し、ユーザ端末２２０は、表示部４２１における識別画像を随時更新する。これにより一定期間以上発声しない発声者については表示されなくなる。一度認識された発声者の声紋情報は、声紋データベースとしての発声者データベース４０５に登録される。
【００２８】
ユーザ端末２２０における表示画面例を図５に示す。図５に示すように、表示部４２１においては、発声者を示す識別画像として、丸型のアイコン５０１〜５０４が示されている。アイコン５０２〜５０４の周りにあるトゲ５２１〜５４１は、発声状況を示しており、音量が大きいほど、大きく突き出たトゲが表示される。音量の表現はこれに限定されるものではなく、音量によってアイコンが震えたり、アイコンの色が変わったりしてもよい。アイコン５０１〜５０４内部には、発声者識別情報として発声者の氏名（発声者データベース４０５を参照しても声紋照合できなかった場合には、匿名）が示される。図５の表示では、Ａさんがほとんど発声しておらず、Ｂさん、Ｃさん、Ｄさんが発声していることが示されている。特にＣさんが大きな声で話している。この状態で、ユーザ２２１がＤさんのアイコン５０４をタップすると、アイコン５０４がグレーアウトする。
【００２９】
このとき、図４において、ユーザ端末２２０の操作入力部４２２としてのタッチパネルを介して、指示取得部４０３が、発声者の選択と音声抑圧の指示を取得したことになる。指示取得部４０３は、その発声者の選択と音声抑圧の指示を音声制御部４０４に送る。
【００３０】
音声制御部４０４は、選択された発声者に対応する個人音声データを制御してユーザ端末２２０の音声出力部４２３に出力する。入力音声データ４１１のうち、選択された発声者（ここではＤさん）に対応する個人音声データを抑圧してユーザ端末２２０の音声出力部４２３に出力する。抑圧すべきとして選択された発声者の識別情報は、発声者データベース４０５に登録される。
【００３１】
図６は、発声者データベース４０５の内容を示す図である。図６に示すとおり、発声者データベース４０５は、複数の声紋情報と個人情報とを関連付けて登録可能であり、会議音声分析部４０１は発声者データベース４０５を参照することにより、会議参加者の声紋情報をあらかじめ抽出することもできる。その場合、発声者通知部４０２は、ユーザ端末２２０に対して「会議参加者ではない発声者の音声が混入しています。この発声者の音声をカットしますか？」といったメッセージを表示した上で、ユーザの指示を仰いでもよい。
【００３２】
図７は、会議音声処理装置２００における音声分析処理の流れを示すフローチャートである。まず、ステップＳ７０１において、会議音声入力端末２１０から会議開始通知を取得すると、ステップＳ７０３において、会議音声の入力を開始する。次に、ステップＳ７０５では、会議音声（入力音声データ４１１）に声紋分析処理を加え、発声者の個人音声データを抽出する。
【００３３】
次にステップＳ７０７に進むと、発声者通知部４０２は、入力音声データ４１１に含まれる少なくとも二人の発声者の識別情報（元々発声者データベース４０５に声紋情報と対応付けて登録されていたＩＤまたは新規ＩＤ）をユーザ端末２２０に通知する。さらに、ステップＳ７０９では、発声者データベース４０５に対して、発声者の声紋情報とその発声者が参加中と思われる会議ＩＤを登録する。既に声紋情報が登録されている発声者については、その発声者が参加中と思われる会議ＩＤのみを登録する。ここでの会議ＩＤは、会議音声入力端末２１０にあらかじめ紐付けられた会議ＩＤである。
【００３４】
ステップＳ７１１で一定時間の経過を判定すると、ステップＳ７０３に戻り、会議音声の入力、分析、発声者通知および発声者登録の処理を繰り返す。
【００３５】
図８は、会議音声処理装置２００における音声制御処理の流れを示すフローチャートである。
【００３６】
ステップＳ８０１において、指示取得部４０３は、発声者通知部４０２によって通知された少なくとも二人の発声者に含まれる、少なくとも一人の発声者の選択指示をユーザ端末２２０から取得する。
【００３７】
ステップＳ８０３において、音声制御部４０４は、選択された発声者の個人音声データの抑圧処理を行なう。さらに、ステップＳ８０５において、指示取得部４０３は、発声者データベース４０５に、音声を抑圧すべき発声者を通知する。発声者データベース４０５は、音声を抑圧すべきと通知された発声者について、参加会議ＩＤをnullに変更する（例えば図６における発声者ＣＣＣ）。
【００３８】
さらにステップＳ８０７に進むと、抑圧処理が加えられた音声データをユーザ端末２２０に出力する。
【００３９】
以上の構成によれば、一つの端末から入力した会議音声に含まれる発声者を選択して音声データを制御できるので、会議内容を聞く人に対して、より高品質な音声を提供できる。
【００４０】
［第３実施形態］
次に本発明の第３実施形態に係る会議音声処理装置について、図９を用いて説明する。図９は、本実施形態に係る会議音声処理装置９００の機能構成を説明するための図である。本実施形態に係る会議音声処理装置９００は、上記第２実施形態と比べると、マイクを有し、会議の場で用いられる点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００４１】
会議音声処理装置９００は、例えばユーザが所有しているスマートフォンであり、会議の場に置かれる。会議音声処理装置９００は、マイク９０６の他、会議音声分析部９０１と発声者通知部９０２と指示取得部９０３と音声制御部９０４と発声者データベース９０５とを含み、ユーザ端末２２０との間でネットワークを介した情報通信を行なう。
【００４２】
マイク９０６で取得した発声者２３１〜２３３の音声が混合された音声データは、会議音声分析部９０１に送られる。会議音声分析部９０１は、マイク９０６から入力した入力音声データに対して声紋分析処理を加え、少なくとも二人の発声者２３１〜２３３の個人音声データを抽出する。
【００４３】
発声者通知部９０２は、入力音声データ４１１に含まれる少なくとも二人の発声者２３１〜２３３をユーザ端末２２０に通知する。ユーザ端末２２０は、表示部４２１において、発声者２３１〜２３３を示す識別画像を表示する。発声者通知部９０２は、一定期間ごとに、発声者を通知し、ユーザ端末２２０は、表示部４２１における識別画像を随時更新する。これにより一定期間以上発声しない発声者については表示されなくなる。一度認識された発声者の声紋情報は、発声者データベース９０５に登録される。
【００４４】
ユーザ端末２２０の操作入力部４２２を介して、指示取得部９０３が、発声者の選択と音声抑圧の指示を取得すると、その発声者の選択と音声抑圧の指示を音声制御部４０４に送る。
【００４５】
音声制御部４０４は、選択された発声者に対応する個人音声データを抑圧して制御後会議音声としてユーザ端末２２０の音声出力部４２３に出力する。
【００４６】
会議音声分析部９０１と発声者通知部９０２と指示取得部９０３と音声制御部９０４とは、会議音声処理装置９００にダウンロードされたアプリケーションを実行することで実現可能である。
【００４７】
以上、本実施形態によれば、簡易な構成で、会議内容を聞く人に対して、より高品質な音声を提供できる。
【００４８】
［第４実施形態］
次に本発明の第４実施形態に係る会議音声処理装置について、図１０を用いて説明する。図１０は、本実施形態に係る会議音声処理装置１０００の機能構成を説明するための図である。本実施形態に係る会議音声処理装置１０００は、上記第２実施形態と比べると、発声者通知部１００２が、音声によって音声出力端末１０２０に対して発声者を通知する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００４９】
ここでの音声出力端末１０２０は、表示部を有さない固定電話などの電話端末であるが、その場合、発声者通知部１００２が識別音声で発声者を通知することにより、音声出力端末１０２０から抑圧したい発声者の特定が可能となる。例えば、発声者ごとの個人音声データを再生して、「最初に再生された発声者の音量を小さくしたい場合は１を、２番目に再々された発声者の音量を小さくしたい場合は２をダイヤルして下さい」などといったメッセージを出力してもよい。また、発声者データベース４０５から発声者が特定された場合は、例えば、「○山□男さんの音量を小さくしたい場合は１を」などとメッセージ中に発声者情報を出力してもよい。
【００５０】
［第５実施形態］
次に本発明の第５実施形態に係る会議音声処理装置について、図１１を用いて説明する。図１１は、本実施形態に係る会議音声処理装置がユーザ端末２２０に表示させる画面例を示す図である。本実施形態に係る会議音声処理装置は、上記第２実施形態と比べると、指示取得部が、発声者ごとに音声出力したい音量を取得する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００５１】
図１１に示すとおり、表示部４２１においては、発声者を示す識別画像として、丸型のアイコン５０１〜５０４が示されている。この状態で、ユーザ２２１がＢさんのアイコン５０４をタップすると、音量調整バー１１０１が重畳表示され、音量の指示を受け付ける。音声制御部４０４は、指示取得部４０３が取得した音量で個人音声データを合成して、ユーザ端末２２０に出力する。
【００５２】
上記構成によれば、会議中、特定の発声者の声を他の発声者の声に比べて大きく聞くことが可能となる。
【００５３】
［第６実施形態］
次に本発明の第５実施形態に係る会議音声処理装置について、図１２を用いて説明する。図１２は、本実施形態に係る会議音声処理装置がユーザ端末１２２０に表示させる画面例を示す図である。本実施形態に係る会議音声処理装置は、上記第２実施形態と比べると、会議の映像を取得し、その会議の映像に重畳させて、発声者識別画像を表示させる点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００５４】
図１２に示すとおり、表示部１２４１においては、会議の映像に重畳させて、発声者を示す識別画像（丸型のアイコン１２０１〜１２０９）が示されている。会議の映像に含まれる人物については、その人物画像に重ねてアイコン１２０１〜１２０７を表示する。映像に含まれない人物が発声していると判断すれば、画像右隅に、別途、アイコン１２０８、１２０９を表示させる。このように、映像に映っていない人物についても、選択可能な構成となっている。この状態で、ユーザ２２１がＥさんのアイコン１２０２およびＨさんのアイコン１２０８をタップすると、ＥさんおよびＨさんが発声した音声の抑圧指示となる。音声制御部４０４は、指示取得部４０３が取得した発声者（Ｅさん）の個人音声データを抑圧して、会議音声データを生成して、ユーザ端末２２０に出力する。
【００５５】
上記構成によれば、よりユーザフレンドリーなＵＩをユーザに提供することができ、特定の発声者の声を容易に抑圧することが可能となる。
【００５６】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００５７】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【図１】
2018174408.tif 000003
【図２】
2018174408.tif 000004
【図３】
2018174408.tif 000005
【図４】
2018174408.tif 000006
【図５】
2018174408.tif 000007
【図６】
2018174408.tif 000008
【図７】
2018174408.tif 000009
【図８】
2018174408.tif 000010
【図９】
2018174408.tif 000011
【図１０】
2018174408.tif 000012
【図１１】
2018174408.tif 000013
【図１２】
2018174408.tif 000014