(57)【特許請求の範囲】
【請求項１】
通信ネットワークを介して接続され第１〜第ｎの順番（但しｎは２以上の整数）が設定された複数の実演収録装置と、上記通信ネットワークを介して上記各実演収録装置と通信可能に接続された実演管理装置からなり、リハーサルと実演が行われる実演システムであって、
上記各実演収録装置は、
上記通信ネットワークに接続された他の装置からの各種信号を受信する受信手段と、
上記受信手段で受信された信号もしくは所定の同期情報に基づいて実演ガイド出力を行う出力手段と、
上記実演ガイド出力に応じて実演された内容を実演信号として収録する収録手段と、
上記収録手段で収録された実演信号と、上記受信手段で受信された他の実演信号のミキシング処理を行うことのできるミキシング手段と、
上記収録手段で収録された実演信号、もしくは上記ミキシング手段でミキシング処理された実演信号を、同期情報とともに、上記通信ネットワークに接続された他の装置に送信する送信手段と、
を備え、
各実演収録装置について第１〜第ｎの順番（但しｎは２以上の整数）が設定され、
上記実演管理装置は、
同期情報に基づいて複数の実演信号の同期補正処理を行う同期補正手段と、
上記同期補正手段で同期補正処理された複数の実演信号をミキシング処理するミキシング手段と、
上記第１の実演収録装置に対して同期情報を送信する同期情報送信手段と、
を備え、
第１の順番に設定された実演収録装置は、上記送信手段により、上記収録手段で収録された実演信号を上記同期情報とともに、第２の順番に設定された実演収録装置に送信し、
第２〜第ｎの順番に設定された１又は複数の各実演収録装置は、直前の順番の実演収録装置から送信されてきた実演信号に基づいて上記出力手段が実演ガイド出力を行ない、
先頭である第１の順番及び終端である第ｎの順番ではない、中間の順番に設定された１又は複数の実演収録装置が存在する場合は、その中間の順番の１又は複数の各実演収録装置は、上記収録手段で収録された実演信号と上記受信手段で受信された直前の順番の実演収録装置からの実演信号を上記ミキシング手段でミキシング処理し、上記送信手段により、ミキシング処理された実演信号を同期情報とともに次の順番に設定された実演収録装置に対して送信し、
上記第１〜第ｎの順番に設定された上記各実演収録装置は、上記送信手段により、上記収録手段で収録された実演信号を上記同期情報とともに、上記実演管理装置に送信し、
上記実演管理装置は、上記各実演収録装置からの実演信号について上記同期補正手段で同期補正処理を行った後、上記ミキシング手段でミキシング処理することで、全ての実演収録装置で収録された実演信号をミキシングした完成実演信号を得るようにするとともに、
上記各実演収録装置は、上記収録手段で収録された実演信号について、上記ミキシング手段でのミキシング処理の際のミキシング係数を与えるミキシング係数手段を有し、
上記実演管理装置は、上記各実演収録装置に対して、上記ミキシング係数手段の係数値を設定する設定制御信号を送信する係数設定手段を有し、
上記リハーサル時に、同期補正処理及びミキシング係数設定が行われる
実演システム。
【請求項２】
通信ネットワークを介して接続され、第１〜第ｎの順番（但しｎは２以上の整数）が設定された複数の実演収録装置と、上記通信ネットワークを介して上記各実演収録装置と通信可能に接続された実演管理装置とによって行われる、ネットワークを介した実演方法として、
第１の順番に設定された実演収録装置が、収録した実演信号を同期情報とともに、第２の順番に設定された実演収録装置に送信し、
第２〜第ｎの順番に設定された１又は複数の各実演収録装置は、直前の順番の実演収録装置から送信されてきた実演信号に基づいて実演ガイド出力を行ない、
先頭である第１の順番及び終端である第ｎの順番ではない、中間の順番に設定された１又は複数の実演収録装置が存在する場合は、その中間の順番の１又は複数の各実演収録装置は、収録した実演信号と、受信された直前の順番の実演収録装置からの実演信号をミキシング処理した実演信号を同期情報とともに次の順番に設定された実演収録装置に対して送信し、
第１〜第ｎの順番に設定された上記各実演収録装置は、収録した実演信号を同期情報とともに、上記実演管理装置に送信し、
上記実演管理装置は、上記各実演収録装置からの実演信号について上記同期情報に基づく同期補正処理を行った後、ミキシング処理することで、全ての実演収録装置で収録された実演信号をミキシングした完成実演信号を得るようにし、
上記各実演収録装置は、上記収録された実演信号について、上記ミキシング処理の際のミキシング係数を与え、
上記実演管理装置は、上記各実演収録装置に対して、上記ミキシング係数値を設定する設定制御信号を送信するとともに、第１の実演収録装置に対して同期情報を送信する
ネットワークを介した実演方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、離れた場所にいる複数の実演者の実演内容（例えば演奏等）をネットワーク通信を介して合成（ミキシング）し、実演内容を完成させる実演システム及び実演方法に関し、また実演システムを構成する実演収録装置、実演管理装置に関するものである。
【０００２】
【従来の技術】
近年のインターネットや衛星通信などの通信ネットワークの発展に伴って、ネットワークの多様な利用形態が開発されている。例えば音楽演奏の分野では、それぞれ遠隔地にいる複数の実演者（以下、パフォーマともいう）が同時に演奏を行い、収録した各演奏音をネットワークを介してリアルタイムにミックスして、合奏音を形成するようなことも想定されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、各パフォーマ間で同期させたリアルタイムの演奏をネットワークを介して実現しようとする場合は、ネットワークの伝送容量の限界や、伝送時に発生する時間遅延により各パフォーマの演奏音についての同期がとれないなどの問題から、ネットワークを介した複数パフォーマによるライブ演奏等の実現は非常に困難となっている。
【０００４】
【課題を解決するための手段】
そこで本発明は、ネットワークを介した実演システム、実演方法として、伝送する情報量を少なくすることで伝送容量の問題を解決し、さらに伝送時の遅延に対する適切な同期処理がとれるようにすることで、ネットワークを介した複数パフォーマによるライブ演奏等を容易に実現できるようにすることを目的とする。
【０００５】
このため本発明の実演システムは、通信ネットワークを介して接続され第１〜第ｎの順番（但しｎは２以上の整数）が設定された複数の実演収録装置と、上記通信ネットワークを介して上記各実演収録装置と通信可能に接続された実演管理装置からなる実演システムであって、上記各実演収録装置は、上記通信ネットワークに接続された他の装置からの各種信号を受信する受信手段と、上記受信手段で受信された信号もしくは所定の同期情報に基づいて実演ガイド出力を行う出力手段と、上記実演ガイド出力に応じて実演された内容を実演信号として収録する収録手段と、上記収録手段で収録された実演信号と、上記受信手段で受信された他の実演信号のミキシング処理を行うことのできるミキシング手段と、上記収録手段で収録された実演信号、もしくは上記ミキシング手段でミキシング処理された実演信号を、同期情報とともに、上記通信ネットワークに接続された他の装置に送信する送信手段と、を備え、各実演収録装置について第１〜第ｎの順番（但しｎは２以上の整数）が設定され、上記実演管理装置は、同期情報に基づいて複数の実演信号の同期補正処理を行う同期補正手段と、上記同期補正手段で同期補正処理された複数の実演信号をミキシング処理するミキシング手段と、上記第１の実演収録装置に対して同期情報を送信する同期情報送信手段と、を備え、第１の順番に設定された実演収録装置は、上記送信手段により、上記収録手段で収録された実演信号を上記同期情報とともに、第２の順番に設定された実演収録装置に送信し、第２〜第ｎの順番に設定された１又は複数の各実演収録装置は、直前の順番の実演収録装置から送信されてきた実演信号に基づいて上記出力手段が実演ガイド出力を行ない、先頭である第１の順番及び終端である第ｎの順番ではない、中間の順番に設定された１又は複数の実演収録装置が存在する場合は、その中間の順番の１又は複数の各実演収録装置は、上記収録手段で収録された実演信号と上記受信手段で受信された直前の順番の実演収録装置からの実演信号を上記ミキシング手段でミキシング処理し、上記送信手段により、ミキシング処理された実演信号を同期情報とともに次の順番に設定された実演収録装置に対して送信し、上記第１〜第ｎの順番に設定された上記各実演収録装置は、上記送信手段により、上記収録手段で収録された実演信号を上記同期情報とともに、上記実演管理装置に送信し、上記実演管理装置は、上記各実演収録装置からの実演信号について上記同期補正手段で同期補正処理を行った後、上記ミキシング手段でミキシング処理することで、全ての実演収録装置で収録された実演信号をミキシングした完成実演信号を得るようにするとともに、上記各実演収録装置は、上記収録手段で収録された実演信号について、上記ミキシング手段でのミキシング処理の際のミキシング係数を与えるミキシング係数手段を有し、上記実演管理装置は、上記各実演収録装置に対して、上記ミキシング係数手段の係数値を設定する設定制御信号を送信する係数設定手段を有し、上記リハーサル時に、同期補正処理及びミキシング係数設定が行われる。
【０００９】
また上記通信ネットワークを介して上記各実演収録装置と通信可能に接続される実演管理装置には、所定の実演収録装置に対して同期情報を送信する同期情報送信手段を有するようにする。
或いは、上記実演収録装置が、同期情報を発生する同期情報発生手段を備えるようにする。
【００１３】
また本発明のネットワークを介した実演方法は、通信ネットワークを介して接続され、第１〜第ｎの順番（但しｎは２以上の整数）が設定された複数の実演収録装置と、上記通信ネットワークを介して上記各実演収録装置と通信可能に接続された実演管理装置とによって行われる、ネットワークを介した実演方法として、第１の順番に設定された実演収録装置が、収録した実演信号を同期情報とともに、第２の順番に設定された実演収録装置に送信し、第２〜第ｎの順番に設定された１又は複数の各実演収録装置は、直前の順番の実演収録装置から送信されてきた実演信号に基づいて実演ガイド出力を行ない、先頭である第１の順番及び終端である第ｎの順番ではない、中間の順番に設定された１又は複数の実演収録装置が存在する場合は、その中間の順番の１又は複数の各実演収録装置は、収録した実演信号と、受信された直前の順番の実演収録装置からの実演信号をミキシング処理した実演信号を同期情報とともに次の順番に設定された実演収録装置に対して送信し、第１〜第ｎの順番に設定された上記各実演収録装置は、収録した実演信号を同期情報とともに、上記実演管理装置に送信し、記実演管理装置は、上記各実演収録装置からの実演信号について上記同期情報に基づく同期補正処理を行った後、ミキシング処理することで、全ての実演収録装置で収録された実演信号をミキシングした完成実演信号を得るようにし、上記各実演収録装置は、上記収録された実演信号について、上記ミキシング処理の際のミキシング係数を与え、上記実演管理装置は、上記各実演収録装置に対して、上記ミキシング係数値を設定する設定制御信号を送信するとともに、第１の実演収録装置に対して同期情報を送信し、上記リハーサル時に、同期補正処理及びミキシング係数設定が行われる。
【００１４】
以上のような本発明によれば、パフォーマの実演を収録する各実演収録装置は、ネットワーク上で数珠つなぎ状に順番に、次の実演収録装置に対して収録した（或いはミキシングした）オーディオデータ等の実演信号と同期情報を送信していくものとなる。そして各実演収録装置では、それより前の順番の全ての実演収録装置からのミキシングされた実演信号を再生して実演のためのガイドとすることができる。
また終端（第ｎ）の実演収録装置では、それより前の順番の全ての実演収録装置で収録されミキシングされた実演信号に、その実演収録装置で収録した実演信号をミキシングすることで、最終的に例えば合奏音などとして完成された完成実演信号を得ることができる。
或いは、各実演収録装置からの実演信号を実演管理装置において同期補正した上でミキシングすることで、完成実演信号を得ることができる。
ここで、各実演収録装置から次の実演収録装置へは、それまでの実演収録装置での実演信号がミキシングされた実演信号として伝送されるため、後段の実演収録装置にいくほど伝送信号量が増えるということはない。つまり必要な伝送容量が拡大しない。また、同期情報も実演信号とともに各実演収録装置間に数珠繋ぎ状に伝送されていき、各装置では同期情報に基づいて抽出された実演信号が再生され、また上記抽出された実演信号が収録された実演信号とミキシングされるため、ネットワーク伝送路での時間遅延の影響のないミキシングができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を、遠隔地に居る複数の演奏者（パフォーマ）の各演奏音をネットワークを介してミキシングしていって、合奏によるライブ演奏を実現する例を挙げて説明する。説明は次の順序で行う。
１．システム構成
２．パフォーマサイトの構成
３．ミキサーサイトの構成
４．システム動作
４−１  リハーサル時の動作
４−２  ミキシング係数設定時の動作
４−３  実演時の動作
５．各種変形例
【００１６】
１．システム構成
図１に本例の実演システムのシステム構成を示す。
本例の実演システムは、ネットワークＮＷに接続され、相互に通信可能な機器により実現される各種サイトにより形成される。例えば各種サイトはネットワーク通信機能を備えた汎用コンピュータ装置や、各サイトとして後述する動作を実行するために必要な機能を備えた専用装置により実現できる。
そして本例の実演システムの場合は、少なくとも複数のパフォーマサイトＰ（Ｐ１〜Ｐｎ）及びミキサーサイトＭとしての役割を持つサイトが必要とされる。
また配信サイトＤにより、不特定多数もしくは特定のエンドユーザＥＵに対して実演内容、即ちライブ演奏音による音楽コンテンツを配信できるものとしている。
【００１７】
ネットワークＮＷは、例えばインターネット等の公衆回線網を利用した通信ネットワークである。もちろん専用回線、衛星通信回線網、光ファイバー網などの各種の通信回線網を適用できる。
【００１８】
パフォーマサイトＰ（Ｐ１〜Ｐｎ）は、それぞれパフォーマが実演する実演内容を収録する機能を備えるサイトであり、即ち本発明の実演収録装置に相当する。このパフォーマサイトＰを形成する端末の装置構成としては、図２で後述する構成がハードウエアもしくはソフトウエアにより用意される必要がある。
例えば１つのパフォーマサイトには一人（もしくは複数人でもよいが）のパフォーマが居て、楽器演奏や歌唱等の実演を行うものとされる。そして各パフォーマサイトＰ１〜Ｐｎによって各パフォーマの実演内容がオーディオデータ形態などの実演信号として収録され、その各実演信号がミキシングされることで、例えばバンド演奏形態の音楽が生成されるものである。
【００１９】
また各パフォーマサイトＰ１〜Ｐｎは、実際のライブ演奏の際に数珠繋ぎ状に通信を行うための順番が設定される。例えば先頭のパフォーマサイトＰ１〜終端のパフォーマサイトＰｎまでの順番が設定される。
なお、その順番は各パフォーマサイトとしての装置に固有の順番ではなく、ライブ演奏の実行に際して適宜フレキシブルに設定されるものであればよい。例えば前回先頭となったパフォーマサイトＰ１が、今回は終端のパフォーマサイトとされるようにしてもよい。なお説明上は、パフォーマサイトＰ１〜Ｐｎが、その付記する「１」〜「ｎ」のとおりの順番に設定されているものとする。
また実演システムとして必要なパフォーマサイトＰ１〜Ｐｎの数は、最低２つとなる（ｎ＝２）。
【００２０】
ミキサーサイトＭは、各パフォーマサイトＰ１〜Ｐｎに対しての制御を行い、収録された各実演信号が適切にミキシングされるようにするサイトであり、本発明の実演管理装置に相当する。
ミキサーサイトＭには後述する図３の構成が必要とされ、これらの構成がソフトウエア又はハードウエアにより用意されるものとなる。
【００２１】
配信サイトＤは、各パフォーマサイトＰ１〜Ｐｎで実演されミキシングされた音楽、つまり例えばバンド形態のライブ演奏として完成された音楽等を受信し、その音楽等のデータをエンドユーザＥＵに配信するサイトである。いわゆる音楽サーバ等の機能を持つサイトとなる。
配信サイトＤは、パフォーマサイトＰ１〜Ｐｎ及びミキサーサイトＭによって生成された音楽等を、リアルタイムでエンドユーザＥＵに配信するようにしてもよいし、生成された音楽を一旦データベース等に格納し、後の時点で配信してもよい。また或いは光ディスク、半導体メモリカード等の記録媒体に記録して、エンドユーザＥＵに販売／提供するようにしてもよい。
【００２２】
２．パフォーマサイトの構成
本例のパフォーマサイトＰ（Ｐ１〜Ｐｎ）の端末装置構成としては、図２に示す構成がハードウエアもしくはソフトウエアにより用意される。
なお、図２の装置内の構成においては、各ブロックでやりとりされる各種信号のラインを示しているが、これはあくまでも装置内で転送される各信号を、その種別に応じて模式的に示したものに過ぎず、実際のブロック間の伝送線路構造に相当するものではない。例えば装置内は各ブロックがいわゆるバス接続されて信号が伝送されるようにしてもよいし、またソフトウエア構成のブロックの場合は、装置内メモリに格納された必要な信号を必要に応じて読み込むような形態でもよい。（後述するミキサーサイトＭの構成を示す図３も同様）
また、この図２及び後述する図３は、機能的なブロックとして示しているものであるが、各ブロックがそれぞれハードウエアにより形成されてもよいし、図示するブロックの全部又は一部がソフトウエア構成とされてもよく、その場合は実際のハードウエア構成としてはＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェースなどが形成されることになる。
【００２３】
受信部１０はネットワークＮＷを介して当該パフォーマサイトＰに送信されてくる各種情報を受信する。ネットワークＮＷを介した情報の通信は、所定のパケットデータ方式で行われるものとする。
【００２４】
アンパケット処理部１１は、受信部１０で受信したパケットデータ方式の情報についてアンパケット処理を行い、必要な情報を抽出する。
また本例の場合は、後述するように各パフォーマサイトＰで収録されたオーディオデータ等の実演信号とともに同期情報としてタイムコードｔｃがネットワークＮＷ上で送受信されるものとしているが、アンパケット処理部１１では、タイムコードｔｃに同期した状態で受信したオーディオデータが出力されるようにする同期補正処理を行うようにもしている。
【００２５】
再生部１２は、パフォーマＰＭに対して演奏のガイドとなる音声を再生する部位としている。
この再生部１２には、タイムコードｔｃが供給される場合や、オーディオデータとしての実演信号ｓｄｍ又はｓｄｋが供給される場合がある。
上記したように各パフォーマサイトＰ１〜Ｐｎは順番が設定されるが、再生部１２に供給される信号がタイムコードｔｃ、実演信号ｓｄｍ、ｓｄｋのいずれとなるかは、各パフォーマサイトＰの順番によって異なるものとなる。
【００２６】
詳しくは後述するが、例えば先頭のパフォーマサイトＰ１の場合は、再生部１２にはミキサーサイトＭから送信されてきたタイムコードｔｃが供給される。再生部１２では、タイムコードｔｃが供給された場合は、そのタイムコードｔｃに同期してクリック音（リズム／テンポのガイド音）等をスピーカ等から再生出力する。もちろんその場合に、単純なクリック音でなく、曲の雰囲気に応じたリズムパターンやメロディの進行がわかるようなメロディガイド音をタイムコードｔｃに基づいて出力できるようにしてもよい。
【００２７】
またオーディオデータとしての実演信号ｓｄｍは、或るパフォーマサイトＰよりも前の順番の複数のパフォーマサイトのそれぞれで収録され、ミキシングされたオーディオデータを示しており、一方、実演信号ｓｄｋは、或るパフォーマサイトＰで収録され後述するミキシング／パン係数部１５でミキシング係数が与えられたオーディオデータを示している。つまり実演信号ｓｄｋは１つのパフォーマサイトＰで収録されてミキシング係数が与えられたオーディオデータ、実演信号ｓｄｍは２つ以上のパフォーマサイトＰで収録されたオーディオデータがミキシングされたオーディオデータとしている。
順番が２番目以降とされたパフォーマサイトＰでは、これら実演信号ｓｄｍ又はｓｄｋが再生部１２に供給されることとなるが、その場合は、再生部１２はその実演信号ｓｄｍ又はｓｄｋとしてのオーディオデータ（例えばＰＣＭリニアオーディオデータ）について、Ｄ／Ａ変換処理、増幅処理等を行って再生音声をスピーカ等から出力する。
【００２８】
再生部１２から出力される、これらのクリック音や前のパフォーマサイトＰの実演音声は、当該パフォーマサイトＰのパフォーマＰＭが演奏するためのガイド音声となる。
つまり各パフォーマサイトＰでは、パフォーマＰＭはクリック音や前のパフォーマサイトＰの実演音声に合わせて自分の楽器を演奏したり歌唱を行うものとなる。
【００２９】
表示部１３は、パフォーマＰＭに対して映像的なガイドを表示出力するために設けられている。
例えばライブ演奏を行う曲の楽譜がパフォーマＰＭに対して表示される。この表示部１３に対しては受信したタイムコードｔｃが供給され、表示部１３はタイムコードｔｃに基づいて、楽譜上での現在の演奏位置を提示するようにする。再生部１２でタイムコードｔｃに基づいたクリック音等が再生出力されている場合は、当然楽譜上の現在位置の表示と再生音声が同期されるものとなる。また再生部１２で実演信号ｓｄｍ、ｓｄｋの再生が行われる場合も、上記アンパケット処理の際にタイムコードｔｃと実演信号ｓｄｍ、ｓｄｋは同期処理されるため、再生音と楽譜上の現在位置の表示とは同期される。
従って各パフォーマＰＭは、再生音や楽譜表示に基づいて、他のパフォーマＰＭの演奏に合わせて自分の演奏ができるものとなる。
なお、表示される楽譜データ自体は、予めミキサーサイトＭから送信されて（或いはパッケージメディアにより送付されて）保存されるようにしてもよいし、パフォーマサイトＰにおいて独自に用意するものであってもよい。
【００３０】
収録部１４はマイクロフォンシステム、ＭＩＤＩ音源システム、ライン入力システムや、Ａ／Ｄ変換器などを備え、パフォーマＰＭによって演奏又は歌唱された内容を２チャンネルのデジタルオーディオデータとして収録できるシステムにより構成される。
そして収録部１４で収録されたパフォーマＰＭの演奏内容は、ステレオ２チャンネルのオーディオデータとしての実演信号ｓｄとして出力される。なお、実演信号ｓｄとは、説明上、収録部１４から出力された段階の信号を示すものとしている。
【００３１】
ミキシング／パン係数部１５は、２チャンネルオーディオデータとしての実演信号ｓｄについて、後段のステレオミックス部１６での他の実演信号とミキシングする際の係数を与え、実演信号ｓｄｋとして出力する。ここでいうミキシング係数とは、オーディオレベル及びステレオＬ、Ｒチャンネルでの定位（パンニング）を設定する係数とする。
実演信号ｓｄに対して、所要のオーディオレベルとするための係数演算が行われることで、他の実演信号ｓｄｋ、ｓｄｍとミキシングする際のミキシングバランスが適切に設定される。またパンニング係数演算が行われることで当該実演信号ｓｄの２チャンネルステレオにおける定位が設定されることになる。
このミキシング／パン係数部１５における係数値は、ミキサーサイトＭから送信されてくる係数制御信号ｍｓにより設定される。但し、パフォーマＰＭもしくは当該パフォーマサイトＰの操作者が手動設定できるようにしてもよい。
【００３２】
ステレオミックス部１６は、上記ミキシング／パン係数部１５でミキシング係数が与えられたステレオ２チャンネルの実演信号ｓｄｋと、他のパフォーマサイトＰより送信されてきたステレオ２チャンネルの実演信号ｓｄｋ又はｓｄｍとを、ミキシングして、ミキシングされたステレオ２チャンネルの実演信号ｓｄｍを出力する。
【００３３】
パケット処理部１７は、当該パフォーマサイトＰからネットワークＮＷを介して他のサイトへ送信するデータのパケット化処理を行う。
送信するオーディオデータとしては、実演信号ｓｄ又はｓｄｋ又はｓｄｍと、タイムコードｔｃとなる。パケット化の際には、２チャンネルのストリームデータである実演信号ｓｄ又はｓｄｋ又はｓｄｍと、タイムコードｔｃを同期化するようにする。
パケットデータフォーマットは多様な例が考えられるが、いずれにしても実演信号ｓｄ又はｓｄｋ又はｓｄｍとしてのデータストリームのタイミングと、タイムコードｔｃとしての各タイムコード値が対応づけられる形態であればよい。
【００３４】
送信部１８は、パケット処理部１７でパケット化されたデータをネットワークＮＷを介して送信する。
即ち上述した２チャンネルのオーディオストリームデータとタイムコードを他のパフォーマサイトＰに送信したり、ミキサーサイトＭや他のパフォーマサイトＰとの間で必要な各種制御情報の送信を行う。
【００３５】
３．ミキサーサイトの構成
図３は、上記図２と同様に機能ブロックとしてのミキサーサイトＭの構成を示している。
本例のミキサーサイトＭは、各パフォーマサイトＰにおいてパフォーマＰＭの演奏の基準となるタイミングを提供する機能と、ミキシング係数を設定制御する機能、及び各パフォーマサイトＰにおいて収録された実演信号ｓｄをミキシングして再生する機能を備える。
【００３６】
パケット処理部３２は、当該ミキサーサイトＭからネットワークＮＷを介して他のサイトへ送信するデータのパケット化処理を行う。
送信部３１は、パケット処理部３２でパケット化されたデータをネットワークＮＷを介して他のサイトに送信する。
【００３７】
各パフォーマサイトＰにおける演奏タイミングを設定するための機能として、タイムコード発生部３３が設けられる。
タイムコード発生部３３は、演奏実行時において、ストリームデータ的にタイムコードｔｃを発生させる。このタイムコードｔｃは、パケット処理部３２でパケット化され、送信部３１により先頭のパフォーマサイトＰ１のみに対して送信されることになる。
【００３８】
受信部３６は、ネットワークＮＷを介して当該ミキサーサイトＭに送信されてくる各種情報を受信する。アンパケット処理部３７は、受信部３６で受信したパケットデータ方式の情報についてアンパケット処理を行い、必要な情報を抽出する。
【００３９】
また本例の場合は、後述するように各パフォーマサイトＰで収録されたオーディオデータ等の実演信号Ｓｄと同期情報としてタイムコードｔｃが、ミキサーサイトＭに対して送信されてくる場合がある。つまり複数のパフォーマサイトＰが、それぞれタイムコードｔｃと同期化された実演信号ｓｄを、ミキサーサイトＭに送信してくる。
この場合、各パフォーマサイトＰからの各実演信号ｓｄは、それぞれネットワーク伝送により発生する時間遅延を持って、ミキサーサイトＭに受信される。換言すれば各パフォーマサイトＰの演奏音が、それぞれ個別に、時間遅延を有してミキサーサイトＭに供給される。ところが各実演信号ｓｄは、それぞれ各パフォーマサイトＰからの送信時にタイムコードｔｃとの同期化がおこなわれているため、各実演信号ｓｄについてのタイムコードｔｃを用いて、各実演信号ｓｄの時間差を補正することができる。
このような処理が、バッファリング／同期補正部３８で行われる。具体的には、各パフォーマサイトＰ１〜Ｐｎからの各実演信号ｓｄ１〜ｓｄｎをそれぞれバッファリングし、それぞれに対応するタイムコードｔｃ１〜ｔｃｎを一致させるタイミングで、各実演信号ｓｄ１〜ｓｄｎを出力する。
これにより、各パフォーマサイトＰ１〜Ｐｎからの各実演信号ｓｄ１〜ｓｄｎを、それぞれ時間遅延のない同期したタイミングで出力できる。
【００４０】
ミキシング再生部３５は、上記のように同期補正された各パフォーマサイトＰ１〜Ｐｎからの各実演信号ｓｄ１〜ｓｄｎが供給され、これらをミキシングする。ミキシング操作はミキシングエンジニアＭＭが行う。つまりミキシングエンジニアＭＭが各実演信号ｓｄについて設定操作したミキシングレベルやパンニング状態に基づいて、各実演信号ｓｄがミキシングされ、各パフォーマＰＭの合奏音声としてのオーディオデータが得られる。
さらにミキシング再生部３５は、ミキシングしたオーディオデータについての再生処理を行い、スピーカ等から出力する。従ってミキシングエンジニアＭＭは、再生音声を聞きながら、最適なミキシングレベル、パンニング状態を調節する作業を行うことができる。
【００４１】
ミキシング係数設定部３４は、各パフォーマサイトＰ１〜Ｐｎのそれぞれに対して指示するミキシング係数の設定制御信号ｍｓを発生する。
各パフォーマサイトＰ１〜Ｐｎに指示するミキシング係数は、ミキシング再生部３５においてミキシングエンジニアが最適なミキシング状態とした際のミキシング係数とすればよい。つまり最適なミキシング状態とされた際の各実演信号ｓｄ１〜ｓｄｎのそれぞれについてのミキシングレベル及びパンニング状態が、各パフォーマサイトＰ１〜Ｐｎにおいて実演信号ｓｄｋとして得られるようにミキシング／パン係数部１５の係数値を設定するように、各パフォーマサイトＰ１〜Ｐｎに対するミキシング係数ｍｓが生成されればよい。
【００４２】
４．システム動作
４−１  リハーサル時の動作
以上のようなパフォーマサイトＰ１〜Ｐｎ、及びミキサーサイトＭにより構成される実演システムの動作について説明していく。
本例の場合、ライブ演奏の実演が行われる準備として、リハーサル段階の通信、及びミキシング係数設定段階の通信が行われる。
ここではまずリハーサル段階の動作について説明する。なお、リハーサル段階の動作としては、図４，図５をそれぞれ参照して、２つの通信動作例を説明する。
【００４３】
なお、以降説明する図４〜図８の各図は、各サイト間で通信される信号経路を示すものとしている。また、上述したパフォーマサイトＰ及びミキサーサイトＭの機能ブロックのうちで、受信部１０、３６、送信部１８、３１、パケット処理部１７、３２、アンパケット処理部１１、３７、バッファリング／同期補正部３８は、図示を省略しており、これらのブロックで上述した同期化又は同期補正が行われる信号経路については、同期処理２０、同期補正処理２１又は４０としてのブロックで表現するものとしている。
【００４４】
また、説明の簡略化のため、パフォーマサイトＰの数をＰ１〜Ｐ３の３つとし、それぞれを先頭パフォーマサイトＰ１、中間パフォーマサイトＰ２、終端パフォーマサイトＰ３とも呼ぶこととする。そして、先頭パフォーマサイトＰ１のパフォーマＰＭ１はドラム奏者、中間パフォーマサイトＰ２のパフォーマＰＭ２はベース奏者、終端パフォーマサイトＰ３のパフォーマＰＭ３はボーカル（歌唱者）とし、ドラム、ベース、ボーカルによる演奏が行われる例とする。
【００４５】
なお実際のシステムは、パフォーマサイトＰの数は２以上であればよく、またそのパフォーマサイトＰの数は、パフォーマＰＭの数などに応じて実演時毎に決められればよい（パフォーマサイトＰの数はシステムとして固定的なものではない）。そして、２つのパフォーマサイトＰで実演を行う場合は、以下説明していく中間パフォーマサイトが存在しないものと考えればよい。また４以上のパフォーマサイトＰで実演を行う場合は、中間パフォーマサイトの動作を行うパフォーマサイトＰが複数になると考えればよい。
【００４６】
＜リハーサル時の通信動作例１＞
図４にリハーサル時の通信動作例１を示す。
リハーサル時には、ミキサーサイトＭがタイムコード発生部３３からタイムコードｔｃを発生させ、先頭パフォーマサイトＰ１に送信する。
【００４７】
先頭パフォーマサイトＰ１では、受信されたタイムコードｔｃに基づいて、再生部１２がクリック音等の演奏ガイド音を再生出力させるとともに、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
そして先頭パフォーマサイトＰ１のパフォーマＰＭ１は、クリック音や楽譜表示に合わせてドラム演奏を行う。
【００４８】
この先頭パフォーマサイトＰ１において、パフォーマＰＭ１のドラム演奏音は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ１として出力される。
この実演信号ｓｄ１は、受信されているタイムコードｔｃと同期化処理２０が行われて、共にミキサーサイトＭに送信される。
また先頭パフォーマサイトＰ１は、タイムコードｔｃを中間パフォーマサイトＰ２に送信する。
【００４９】
中間パフォーマサイトＰ２では、受信されたタイムコードｔｃに基づいて、再生部１２がクリック音等の演奏ガイド音を再生出力させるとともに、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
そして中間パフォーマサイトＰ２のパフォーマＰＭ２は、クリック音や楽譜表示に合わせてベース演奏を行う。
なお、ネットワーク伝送の際の遅延により、中間パフォーマサイトＰ２において受信されるタイムコードｔｃは、先頭パフォーマサイトＰ１において受信されるタイムコードｔｃに対して時間遅延が発生しているものとなる。従って、パフォーマＰＭ１のドラム演奏とパフォーマＰＭ２のベース演奏は、その時間遅延分だけずれたタイミングで行われる。
【００５０】
この中間パフォーマサイトＰ２において、パフォーマＰＭ２のベース演奏音は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ２として出力される。
この実演信号ｓｄ２は、受信されているタイムコードｔｃと同期化処理２０が行われて、共にミキサーサイトＭに送信される。
また中間パフォーマサイトＰ２は、タイムコードｔｃを終端パフォーマサイトＰ３に送信する。
【００５１】
終端パフォーマサイトＰ３では、受信されたタイムコードｔｃに基づいて、再生部１２がクリック音等の演奏ガイド音を再生出力させるとともに、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
そして終端パフォーマサイトＰ３のパフォーマＰＭ３は、クリック音や楽譜表示に合わせて歌唱を行う。
なお、この場合もネットワーク伝送の際の遅延により、終端パフォーマサイトＰ３において受信されるタイムコードｔｃは、先頭パフォーマサイトＰ１において受信されるタイムコードｔｃ、及び中間パフォーマサイトＰ２において受信されるタイムコードｔｃのそれぞれに対して時間遅延が発生しているものとなる。従って、パフォーマＰＭ３の歌唱も、パフォーマＰＭ１のドラム演奏やパフォーマＰＭ２のベース演奏と、その時間遅延分だけずれたタイミングで行われる。
【００５２】
この終端パフォーマサイトＰ３において、パフォーマＰＭ３の歌唱音声は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ３として出力される。
この実演信号ｓｄ３は、受信されているタイムコードｔｃと同期化処理２０が行われて、共にミキサーサイトＭに送信される。
【００５３】
以上の各パフォーマサイトＰ１〜Ｐ３の動作により、ミキサーサイトＭには、先頭パフォーマサイトＰ１からの実演信号ｓｄ１とタイムコードｔｃ、中間パフォーマサイトＰ２からの実演信号ｓｄ２とタイムコードｔｃ、終端パフォーマサイトＰ３の実演信号ｓｄ３とタイムコードｔｃが送信されてくる。
ただし、ネットワーク伝送時に発生する遅延により、実演信号ｓｄ１、ｓｄ２、ｓｄ３は、多少タイミングのずれたものとなっている。つまり終端パフォーマサイトＰ３にいくほど遅れが大きくなる。
そこで、各実演信号ｓｄ１、ｓｄ２、ｓｄ３とともに送信されてくるタイムコードｔｃを基準にして、同期補正処理４０が行われる。つまり各実演信号ｓｄ１、ｓｄ２、ｓｄ３が、それぞれタイムコードｔｃが一致するタイミングでミキシング再生部３５に供給されるようにする。
これにより、ミキシング再生部３５では、ネットワーク伝送に伴う時間ずれのない状態で、各実演信号ｓｄ１、ｓｄ２、ｓｄ３をミキシング処理することができる。そしてミキシングエンジニアＭＭは、ミキシングされた後の再生音、つまりドラム演奏音、ベース演奏音、歌唱音がミックスされた音声を聞きながらミキシング再生部３５を操作して、最適なミキシング状態を得る作業を行うことになる。
最適なミキシング状態が得られた時点で、次のミキシング係数設定段階に移る。
【００５４】
＜リハーサル時の通信動作例２＞
リハーサル時の通信動作としては、図５のような例も考えられる。
上記図４の動作例の場合は、各パフォーマＰＭ１〜ＰＭ３の全てが、タイムコードｔｃに基づくクリック音を頼りに演奏することになる。これはパフォーマによっては演奏しずらいものとなる場合がある。例えばドラム奏者の場合は、クリック音を頼りに演奏することがさほど困難とならないが、特にリード楽器奏者や歌唱者などは、実際の他者の演奏音が聞けることが好ましい。
リハーサル時であることを考えれば、図４の動作方式でも問題ないが、リハーサル時の演奏を本番の実演時の状態に近づけるには、以下のようにすることが望ましい。つまり先頭パフォーマサイトＰ１のパフォーマＰＭ１以外のパフォーマＰＭは、それより前の順番のパフォーマＰＭの演奏音をモニタリングできるようにするものである。
【００５５】
この場合も図５に示すようにリハーサル時には、ミキサーサイトＭがタイムコード発生部３３からタイムコードｔｃを発生させ、先頭パフォーマサイトＰ１に送信する。
先頭パフォーマサイトＰ１では、受信されたタイムコードｔｃに基づいて、再生部１２がクリック音等の演奏ガイド音を再生出力させるとともに、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
そして先頭パフォーマサイトＰ１のパフォーマＰＭ１は、クリック音や楽譜表示に合わせてドラム演奏を行う。
【００５６】
この先頭パフォーマサイトＰ１において、パフォーマＰＭ１のドラム演奏音は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ１として出力される。
この実演信号ｓｄ１は、受信されているタイムコードｔｃと同期化処理２０が行われて、共にミキサーサイトＭに送信される。
また収録された実演信号ｓｄ１は、ミキシング／パン係数部１５でミキシング係数処理された実演信号ｓｄｋ１とされ、この実演信号ｓｄｋ１は、受信されているタイムコードｔｃとの同期化処理２０が行われて中間パフォーマサイトＰ２に送信される。
【００５７】
なお、この場合のミキシング係数は暫定的なものでよく、例えば先頭パフォーマサイトＰ１のパフォーマＰＭ１又はオペレータが任意に設定すればよい。
或いは、ミキサーサイトＭが、後述するミキシング係数設定時のようにミキシング係数制御信号ｍｓを各パフォーマサイトＰに送信し、暫定的な（リハーサル用の）ミキシング係数を設定させるようにしてもよい。
【００５８】
中間パフォーマサイトＰ２では、先頭パフォーマサイトＰ１から送信されてきた実演信号ｓｄｋ１及びタイムコードｔｃについて同期補正処理２１を行う。つまり実演信号ｓｄｋ１をタイムコードｔｃに合わせたリアルタイムのストリームデータとして抽出する。そしてその実演信号ｓｄｋ１を再生部３５に供給し、再生部２５において実演信号ｓｄｋ１（つまりドラム演奏音）を再生させる。
また受信されたタイムコードｔｃに基づいて、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
【００５９】
この中間パフォーマサイトＰ２のパフォーマＰＭ２は、ドラム演奏音と楽譜表示に合わせてベース演奏を行う。
なお、ネットワーク伝送の際の遅延により、中間パフォーマサイトＰ２において受信されるタイムコードｔｃ及び実演信号ｓｄｋ１は、先頭パフォーマサイトＰ１において受信されるタイムコードｔｃに対して時間遅延が発生しているものとなる。従って、中間パフォーマサイトＰ２で再生されるドラム演奏音は、先頭パフォーマサイトＰ１での実際のドラム演奏タイミングより多少遅れたものとなる。しかしながらパフォーマＰＭ２のベース演奏は、あくまでも再生される（遅延を持った）ドラム演奏音に合わせて行われる。
【００６０】
この中間パフォーマサイトＰ２において、パフォーマＰＭ２のベース演奏音は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ２として出力される。
この実演信号ｓｄ２は、受信されているタイムコードｔｃと同期化処理２０が行われて、共にミキサーサイトＭに送信される。
また収録された実演信号ｓｄ１は、ミキシング／パン係数部１５で、上記同様に任意のミキシング係数で演算処理された実演信号ｓｄｋ２とされ、さらにこの実演信号ｓｄｋ２は、ステレオミックス部１６で、受信されている実演信号ｓｄｋ１とミキシングされて実演信号ｓｄｍ１２（ドラム演奏音＋ベース演奏音）として出力される。そして実演信号ｓｄｍ１２は、受信されているタイムコードｔｃとの同期化処理２０が行われて終端パフォーマサイトＰ３に送信される。
【００６１】
終端パフォーマサイトＰ３では、中間パフォーマサイトＰ２から送信されてきた実演信号ｓｄｍ１２及びタイムコードｔｃについて同期補正処理２１を行う。つまり実演信号ｓｄｍ１２をタイムコードｔｃに合わせたリアルタイムのストリームデータとして抽出する。そしてその実演信号ｓｄｍ１２を再生部３５に供給し、再生部２５において実演信号ｓｄｍ１２（つまりドラム演奏音とベース演奏音がミックスされた音）を再生させる。
また受信されたタイムコードｔｃに基づいて、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
【００６２】
そして終端パフォーマサイトＰ３のパフォーマＰＭ３は、ドラム及びベースの演奏音や楽譜表示に合わせて歌唱を行う。
なお、この場合もネットワーク伝送の際の遅延により、終端パフォーマサイトＰ３において再生される演奏音及びタイムコードｔｃは、先頭及び中間パフォーマサイトＰ１、Ｐ２での実際の演奏タイミングから遅れたものとなっている。しかしながらボーカル歌唱は、あくまでも再生される（遅延を持った）ドラム及びベース演奏音に合わせて行われる。
【００６３】
この終端パフォーマサイトＰ３において、パフォーマＰＭ３の歌唱音声は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ３として出力される。
この実演信号ｓｄ３は、受信されているタイムコードｔｃと同期化処理２０が行われて、共にミキサーサイトＭに送信される。
【００６４】
以上の各パフォーマサイトＰ１〜Ｐ３の動作により、ミキサーサイトＭには、先頭パフォーマサイトＰ１からの実演信号ｓｄ１とタイムコードｔｃ、中間パフォーマサイトＰ２からの実演信号ｓｄ２とタイムコードｔｃ、終端パフォーマサイトＰ３の実演信号ｓｄ３とタイムコードｔｃが送信されてくる。
この場合、ミキサーサイトＭの動作は上記図４の場合と同様であるため詳細な説明は省略するが、上記のようなネットワーク伝送時の遅延により時間ずれを持って送信されてくる各実演信号ｓｄ１、ｓｄ２、ｓｄ３を、各タイムコードｔｃを基準にして同期補正処理４０を行ない、ミキシング再生部３５に供給する。
ミキシング再生部３５では、ネットワーク伝送に伴う時間ずれのない状態で、各実演信号ｓｄ１、ｓｄ２、ｓｄ３をミキシング処理する。そしてミキシングエンジニアＭＭは、ミキシングされた後の再生音を聞きながら最適なミキシング状態を得る作業を行うことになる。最適なミキシング状態が得られた時点で、次のミキシング係数設定段階に移る。
【００６５】
４−２  ミキシング係数設定時の動作
ミキシング係数を設定する際の通信状態を図６に示す。
上記の図４又は図５の通信動作によりミキサーサイトＭでは、各パフォーマＰＭによる実演信号ｓｄ１、ｓｄ２、ｓｄ３のミキシング状態をミキシングエンジニアＭＭが最適と考える状態、即ち各実演信号ｓｄ１、ｓｄ２、ｓｄ３のミキシングレベル及び定位を設定できるが、続いて、実際に各パフォーマサイトＰ１〜Ｐ３で、同様の最適なミキシング状態が得られるようにする。
【００６６】
このためミキサーサイトＭでは、ミキシング再生部３５において最適ミキシング状態における、各実演信号ｓｄ１、ｓｄ２、ｓｄ３についてのミキシング係数をミキシング係数設定部３４に伝え、ミキシング係数設定部３４は、各パフォーマサイトＰ１〜Ｐ３に対する係数制御信号ｍｓ１、ｍｓ２、ｍｓ３を生成する。
即ち先頭パフォーマサイトＰ１に対する係数制御信号ｍｓ１として、ミキシング再生部３５で実演信号ｓｄ１に与えられているミキシング係数が、先頭パフォーマサイトＰ１のミキシング／パン係数部１５でも与えられるようにする係数制御信号ｍｓ１を生成する。
また中間パフォーマサイトＰ２に対する係数制御信号ｍｓ２として、ミキシング再生部３５で実演信号ｓｄ２に与えられているミキシング係数が、中間パフォーマサイトＰ２のミキシング／パン係数部１５でも与えられるようにする係数制御信号ｍｓ２を生成する。
さらに終端パフォーマサイトＰ３に対する係数制御信号ｍｓ３として、ミキシング再生部３５で実演信号ｓｄ３に与えられているミキシング係数が、終端パフォーマサイトＰ３のミキシング／パン係数部１５でも与えられるようにする係数制御信号ｍｓ３を生成する。
【００６７】
そしてミキサーサイトＭは、これら係数制御信号ｍｓ１、ｍｓ２、ｍｓ３を、それぞれ各パフォーマサイトＰ１、Ｐ２、Ｐ３に送信する。
各パフォーマサイトＰ１、Ｐ２、Ｐ３では、それぞれ係数制御信号ｍｓ１、ｍｓ２、ｍｓ３によって、ミキシング／パン係数部１５での乗算係数が設定されることになる。
この係数設定が完了した時点で、本番の実演の準備が完了したことになる。
【００６８】
４−３  実演時の動作
上記のリハーサル及びミキシング係数設定を終えた後に行われる、ライブ演奏の実演時の通信状態として、図７，図８の２つの例を説明する。
【００６９】
＜実演時の通信動作例１＞
まず図７の通信動作例を説明する。
実演開始とともに、図７に示すように、ミキサーサイトＭがタイムコード発生部３３からタイムコードｔｃを発生させ、先頭パフォーマサイトＰ１に送信する。
先頭パフォーマサイトＰ１では、受信されたタイムコードｔｃに基づいて、再生部１２がクリック音等の演奏ガイド音を再生出力させるとともに、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
そして先頭パフォーマサイトＰ１のパフォーマＰＭ１は、クリック音や楽譜表示に合わせてドラム演奏を行う。
【００７０】
この先頭パフォーマサイトＰ１において、パフォーマＰＭ１のドラム演奏音は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ１として出力される。
この実演信号ｓｄ１は、ミキシング／パン係数部１５でミキシング係数の乗算が行われ、実演信号ｓｄｋ１として出力される。この場合のミキシング係数は、上記ミキシング係数設定時に設定された、ドラム演奏音についての最適ミキシング状態を得る係数値である。
そしてこの実演信号ｓｄｋ１は、受信されているタイムコードｔｃと同期化処理２０が行われて中間パフォーマサイトＰ２に送信される。
【００７１】
中間パフォーマサイトＰ２では、先頭パフォーマサイトＰ１から送信されてきた実演信号ｓｄｋ１及びタイムコードｔｃについて同期補正処理２１を行う。つまり実演信号ｓｄｋ１をタイムコードｔｃに合わせたリアルタイムのストリームデータとして抽出する。そしてその実演信号ｓｄｋ１を再生部３５に供給し、再生部２５において実演信号ｓｄｋ１（ドラム演奏音）を再生させる。
また受信されたタイムコードｔｃに基づいて、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
【００７２】
この中間パフォーマサイトＰ２のパフォーマＰＭ２は、ドラム演奏音と楽譜表示に合わせてベース演奏を行う。
中間パフォーマサイトＰ２において、パフォーマＰＭ２のベース演奏音は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ２として出力される。
そして収録された実演信号ｓｄ２は、ミキシング／パン係数部１５で、上述のミキシング係数設定段階で設定された、ベース演奏音についての最適なミキシング係数で演算処理された実演信号ｓｄｋ２とされる。さらにこの実演信号ｓｄｋ２は、ステレオミックス部１６で、受信されている実演信号ｓｄｋ１とミキシングされて実演信号ｓｄｍ１２（ドラム演奏音＋ベース演奏音）として出力される。そして実演信号ｓｄｍ１２は、受信されているタイムコードｔｃとの同期化処理２０が行われて終端パフォーマサイトＰ３に送信される。
【００７３】
終端パフォーマサイトＰ３では、中間パフォーマサイトＰ２から送信されてきた実演信号ｓｄｍ１２及びタイムコードｔｃについて同期補正処理２１を行う。つまり実演信号ｓｄｍ１２をタイムコードｔｃに合わせたリアルタイムのストリームデータとして抽出する。そしてその実演信号ｓｄｍ１２を再生部３５に供給し、再生部２５において実演信号ｓｄｍ１２（ドラム演奏音とベース演奏音がミックスされた音）を再生させる。
また受信されたタイムコードｔｃに基づいて、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
【００７４】
そして終端パフォーマサイトＰ３のパフォーマＰＭ３は、ドラム及びベースの演奏音や楽譜表示に合わせて歌唱を行う。
この終端パフォーマサイトＰ３において、パフォーマＰＭ３の歌唱音声は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ３として出力される。
そして収録された実演信号ｓｄ３は、ミキシング／パン係数部１５で、上述のミキシング係数設定段階で設定された、ボーカル音声についての最適なミキシング係数で演算処理された実演信号ｓｄｋ３とされる。さらにこの実演信号ｓｄｋ３は、ステレオミックス部１６で、受信されている実演信号ｓｄｍ１２とミキシングされて実演信号ｓｄｍ１２３（ドラム演奏音＋ベース演奏音＋歌唱音）とされる。
【００７５】
この実演信号ｓｄｍ１２３は、各パフォーマサイトＰ１〜Ｐ３のそれぞれで実演された音声が、そえぞれ最適なレベル及びステレオ定位状態でミキシングされた、２チャンネルのオーディオストリームデータである。即ち３人のパフォーマＰＭ１，ＰＭ２，ＰＭ３の演奏音声がミックスされたバンド演奏音として完成されたオーディオデータである。
従って、この終端パフォーマサイトＰ３で得られる実演信号ｓｄｍ１２３は、完成音データとして配信サイトＤに送信され、エンドユーザＥＵに対する配信コンテンツとして扱われるものとなる。
【００７６】
このような通信動作によれば、ネットワーク通信の際の信号遅延の影響がない状態で、最終的な合奏音（実演信号ｓｄｍ１２３）を得ることができる。即ち、各パフォーマサイトＰ１〜Ｐ３への数珠繋ぎ状の送信の際には、信号遅延は発生し、従って、各パフォーマＰＭ１，ＰＭ２，ＰＭ３の演奏自体を時間的にみれば多少ずれたものとなるが、パフォーマサイトＰ２、Ｐ３のステレオミックス部１６でミキシングされる各実演信号は、時間ずれが発生しないものとなる。即ち例えばパフォーマＰＭ２は、あくまで受信されたタイミングでの実演信号ｓｄｋ１（ドラム演奏音）に合わせてベース演奏を行い、そのドラム演奏音としての実演信号ｓｄｋ１と、ベース演奏音としての実演信号ｓｄｋ２がステレオミックス部１６でミキシングされるものであるため、ネットワーク伝送時の遅延の影響を受けない。終端パフォーマサイトＰ３の場合も同様であり、実演信号ｓｄｍ１２と実演信号ｓｄｋ３は時間ずれなくミキシングされる。このため、終端パフォーマサイトＰ３からの完成実演信号ｓｄｍ１２３は、通信時の遅延の影響のないミキシングデータとなる。
【００７７】
また、上記リハーサル段階及びミキシング係数設定段階の動作により、各パフォーマサイトＰ１〜Ｐ３のミキシング／パン係数部１５の係数値は最適状態に設定されているため、完成実演信号ｓｄｍ１２３は、リハーサル段階でミキシングエンジニアＭＭが最適と判断したミキシング状態のデータとなっており、各楽器の音量バランスや定位状態が、予期しない不適切な状態となることはない。
【００７８】
また、各パフォーマサイトＰ１〜Ｐ３間の通信は、どの時点でも２チャンネルのオーディオデータストリームとタイムコードｔｃを含むパケットデータであるため、データ容量が拡大するものではない。つまり、順番にミキシングしながら次のパフォーマサイトＰにデータ送信するため、チャンネル数が順に拡大していって終端パフォーマサイトＰ３に近づくほど伝送データ容量が多くなるといったことはない。従ってネットワーク通信に対して多大な伝送容量を要求しない、通信トラフィックの少ないシステムとすることができ、実現は容易なものとなる。
【００７９】
さらに、２番目以降のパフォーマサイトＰのパフォーマＰＭは、それより前の順番のパフォーマサイトＰのパフォーマＰＭの演奏音を聴きながら実際の演奏を行うことになる。これにより各パフォーマＰＭの演奏のしやすさが向上されると共に、他のパフォーマＰＭの演奏の「ノリ」を感じながら演奏できるために、実際に同一場所で同時に演奏している状態に近い演奏を行うことができる。これは完成実演信号ｓｄｍ１２３として、「ノリ」や「グルーブ感」のある合奏音声を提供できるものとなり、エンドユーザＥＵに対して、ライブ感のある演奏音を提供できる。
【００８０】
そしてこのようなライブ演奏が、各パフォーマＰＭの居場所が離れていても実現できるため、多様な実演コンテンツを提供できる。例えば国内と海外のミュージシャンによる同時演奏なども容易に実現できる。
【００８１】
＜実演時の通信動作例２＞
次に図８で実演時の他の通信動作例を説明する。
この場合も実演開始とともに、図８に示すように、ミキサーサイトＭがタイムコード発生部３３からタイムコードｔｃを発生させ、先頭パフォーマサイトＰ１に送信する。
先頭パフォーマサイトＰ１では、受信されたタイムコードｔｃに基づいて、再生部１２がクリック音等の演奏ガイド音を再生出力させるとともに、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
そして先頭パフォーマサイトＰ１のパフォーマＰＭ１は、クリック音や楽譜表示に合わせてドラム演奏を行う。
【００８２】
この先頭パフォーマサイトＰ１において、パフォーマＰＭ１のドラム演奏音は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ１として出力される。
この実演信号ｓｄ１は、ミキシング／パン係数部１５で、ミキシング係数設定時に設定された最適ミキシング状態を得るミキシング係数の乗算が行われ、実演信号ｓｄｋ１として出力される。
そしてこの実演信号ｓｄｋ１は、受信されているタイムコードｔｃと同期化処理２０が行われて中間パフォーマサイトＰ２に送信される。
また、収録部１４で収録された実演信号ｓｄ１は、受信されているタイムコードｔｃと同期化処理２０が行われてミキサーサイトＭに送信される。
【００８３】
中間パフォーマサイトＰ２では、先頭パフォーマサイトＰ１から送信されてきた実演信号ｓｄｋ１及びタイムコードｔｃについて同期補正処理２１を行う。つまり実演信号ｓｄｋ１をタイムコードｔｃに合わせたリアルタイムのストリームデータとして抽出する。そしてその実演信号ｓｄｋ１を再生部３５に供給し、再生部２５において実演信号ｓｄｋ１（ドラム演奏音）を再生させる。
また受信されたタイムコードｔｃに基づいて、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
【００８４】
この中間パフォーマサイトＰ２のパフォーマＰＭ２は、ドラム演奏音と楽譜表示に合わせてベース演奏を行う。
中間パフォーマサイトＰ２において、パフォーマＰＭ２のベース演奏音は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ２として出力される。
そして収録された実演信号ｓｄ２は、ミキシング／パン係数部１５で、上述のミキシング係数設定段階で設定された最適なミキシング係数で演算処理された実演信号ｓｄｋ２とされる。さらにこの実演信号ｓｄｋ２は、ステレオミックス部１６で、受信されている実演信号ｓｄｋ１とミキシングされて実演信号ｓｄｍ１２（ドラム演奏音＋ベース演奏音）として出力される。そして実演信号ｓｄｍ１２は、受信されているタイムコードｔｃとの同期化処理２０が行われて終端パフォーマサイトＰ３に送信される。
また、収録部１４で収録された実演信号ｓｄ２は、受信されているタイムコードｔｃと同期化処理２０が行われてミキサーサイトＭに送信される。
【００８５】
終端パフォーマサイトＰ３では、中間パフォーマサイトＰ２から送信されてきた実演信号ｓｄｍ１２及びタイムコードｔｃについて同期補正処理２１を行う。つまり実演信号ｓｄｍ１２をタイムコードｔｃに合わせたリアルタイムのストリームデータとして抽出する。そしてその実演信号ｓｄｍ１２を再生部３５に供給し、再生部２５において実演信号ｓｄｍ１２（ドラム演奏音とベース演奏音がミックスされた音）を再生させる。
また受信されたタイムコードｔｃに基づいて、表示部１３で表示されている楽譜画像上で進行位置の表示を行う。
【００８６】
そして終端パフォーマサイトＰ３のパフォーマＰＭ３は、ドラム及びベースの演奏音や楽譜表示に合わせて歌唱を行う。
この終端パフォーマサイトＰ３において、パフォーマＰＭ３の歌唱音声は収録部１４により２チャンネルのオーディオデータとして収録され、実演信号ｓｄ３として出力される。
収録部１４で収録された実演信号ｓｄ３は、受信されているタイムコードｔｃと同期化処理２０が行われてミキサーサイトＭに送信される。
【００８７】
以上の各パフォーマサイトＰ１〜Ｐ３の動作により、ミキサーサイトＭには、先頭パフォーマサイトＰ１からの実演信号ｓｄ１とタイムコードｔｃ、中間パフォーマサイトＰ２からの実演信号ｓｄ２とタイムコードｔｃ、終端パフォーマサイトＰ３の実演信号ｓｄ３とタイムコードｔｃが送信されてくる。
ただし上述したリハーサル段階の場合と同様に、ネットワーク伝送時に発生する遅延により、実演信号ｓｄ１、ｓｄ２、ｓｄ３は、多少タイミングのずれたものとなっている。
そこでミキサーサイトＭでは、各実演信号ｓｄ１、ｓｄ２、ｓｄ３とともに送信されてくるタイムコードｔｃを基準にして、上述したリハーサル段階と同様に同期補正処理４０を行なう。
そしてミキシング再生部３５では、ネットワーク伝送に伴う時間ずれのない状態で、各実演信号ｓｄ１、ｓｄ２、ｓｄ３のミキシング処理が行われる。このときの各実演信号ｓｄ１、ｓｄ２、ｓｄ３に対するミキシング係数は、上記リハーサル時にミキシングエンジニアＭＭが最適状態に設定した際のミキシング係数なる。
そしてミキシング再生部３５でミキシングされたデータは、完成実演信号ｓｄｍ１２３（ドラム演奏音＋ベース演奏音＋歌唱音）とされて、配信サイトＤに送信され、エンドユーザＥＵに対する配信コンテンツとして扱われるものとなる。る。
【００８８】
この例の場合は、最終的な完成実演信号ｓｄｍ１２３を得るためのミキシングはミキサーサイトＭで行われる点が上記図７の例と異なる。
また、パフォーマサイトＰ１、Ｐ２のミキシング／パン係数部１５で行われる係数乗算や、中間パフォーマサイトＰ２のステレオミックス部１６で行われるミキシングは、後段のパフォーマサイトＰにおいて再生部３５で再生される音声のミキシング状態を最適化するという意味合いを持つものとなる。
【００８９】
この図８の動作例が実施される場合も、上記図７の動作例について説明した効果と同様の効果を得ることができる。
また、この図８の動作例の場合は、最終的な完成実演信号ｓｄｍ１２３のミキシングがミキサーサイトＭで行われることで、ある程度フレキシブルなミキシングが可能となる。例えば実演中にミキシングエンジニアＭＭがミキシング状態を変更するようなことも可能となる。
【００９０】
また、この図８の場合は、各パフォーマサイトＰのミキシング／パン係数部１５の係数乗算は、完成実演信号ｓｄｍ１２３を得るミキシングのための係数乗算ではなく、後段のパフォーマＰＭのモニタリング再生音声を適切にするためのものであるため、必ずしもミキサーサイトＭから厳密に設定する必要はない。例えば上記ミキシング係数設定段階の動作を省略し、各パフォーマサイトＰに係数設定を委ねるようにしてもよい。
【００９１】
５．各種変形例
本発明は上記した例以外にも、各種の例が考えられる。以下、各種変形例について述べていく。
【００９２】
まずパフォーマサイトＰの構成としては、図９のような例も考えられる。
即ち、パフォーマサイトＰにおいてタイムコード発生部４０を備えるようにする例である。
この場合、リハーサル時及び実演時において、先頭パフォーマサイトＰ１のみがタイムコード発生部４０からタイムコードｔｃを発生させ、再生部３５及び表示部１３に供給する。そして再生部３５ではタイムコードｔｃに基づいてクリック音等を発生させ、また表示部１３で楽譜画像上での進行を表示する。
他の動作は上述した例と同様となる。
そしてこのようにタイムコード発生部４０を備えたパフォーマサイトＰを先頭パフォーマサイトＰ１とする場合は、ミキサーサイトＭではリハーサル時及び実演時に先頭パフォーマサイトＰ１に対してタイムコードｔｃを送信する必要はなくなる。或いはミキサーサイトＭにタイムコード発生部３３を設ける必要がなくなる。
【００９３】
また図９の例では、パフォーマサイトＰにエフェクト部４１を設けるようにしている。エフェクト部４１は、収録部１４から出力される実演信号ｓｄに対して、リバーブ、コンプレッサー、エコー、イコライジングなどの音響エフェクト処理を行う。
即ちエフェクト部４１を設けることで、パフォーマサイトＰ毎に、実演信号ｓｄに対して任意の音響エフェクトを与えることができるようにした例である。
【００９４】
なお図示するようにエフェクト部４１における各種エフェクトの係数を設定するエフェクト係数制御信号ｍｓｅを、ミキサーサイトＭから供給し、各パフォーマサイトＰでのエフェクト状態を設定できるようにしてもよい。例えば上述したミキシング係数設定段階において、エフェクト係数も設定できるようにする。
このようにすることで、ミキサーサイトＭで各実演信号ｓｄに対するエフェクト状態を制御でき、最適なエフェクト状態で各実演信号ｓｄがミキシングされた実演信号（又は完成実演信号）ｓｄｍを得ることができるようになる。
また、ミキシング後の実演信号ｓｄｍに対してエフェクト処理を行うことができるように構成したり、或いはミキサーサイトＭのミキシング再生部３５において各実演信号ｓｄに対するエフェクト処理を実行できるようにすることも当然考えられる。
【００９５】
また図９の例では、収録部１４で収録した実演信号ｓｄを再生部１２にも供給するようにしている。パフォーマＰＭにとっては、自分の演奏した音を適度な音量バランスでモニタリングできることが好適である。
このため、実演信号ｓｄを再生部１２に供給し、再生部で実演信号ｓｄを、受信された他の実演信号ｓｄｋ、ｓｄｍ等と所定のバランスでミキシングして再生出力できるようにすることが、演奏のしやすさを向上させるものとなる。
【００９６】
また上記した実施の形態では、各パフォーマサイトＰに順番に送信されたり、又はミキサーサイトＭに送信される実演信号ｓｄ又はｓｄｋ又はｓｄｍは、例えばリニアＰＣＭデータとしたが、例えば所定の圧縮エンコードを施して送信するようにしてもよい。例えばパケット処理部１７の前段に圧縮エンコード部を設ける。もちろんこの場合は、受信時には圧縮処理に対する伸張処理を行うこととなり、各パフォーマサイトＰやミキサーサイトＭにおいては、アンパケット処理部１１、３７の後段に、圧縮デコード部を設けるものとなる。圧縮方式としては、例えばＡＴＲＡＣ方式、ＡＴＲＡＣ３方式、ＭＰＥＧオーディオ方式など、各種のものが考えられる。
通信時にデータ圧縮を行うことによりネットワークＮＷでの伝送速度の向上を実現できる。
【００９７】
また実施の形態では、ミキサーサイトＭ及び複数のパフォーマサイトＰにより実演システムが構成されるものとしたが、１つの（例えば先頭となる）パフォーマサイトＰがミキサーサイトＭの機能を兼ね備えるようにしたり、或いはミキサーサイトＭの機能を不要とする例も考えられる。
例えば図９のように少なくとも先頭パフォーマサイトＰ１がタイムコード発生部４０を備えるようにし、またミキシング係数設定はあくまでも各パフォーマサイトＰにおいて行われるようにするならば、ミキサーサイトＭとしてのサイトは不要となる。
【００９８】
またミキサーサイトＭ及び各パフォーマサイトＰの間で、オペレータ同士が音声連絡を取るような通信系（伝送チャンネル）が別途設けられるようにすることも考えられる。その場合は、各パフォーマサイトＰにおいて適切なミキシング係数等の指示も行うことができ、上記ミキシング係数設定段階の動作を、各パフォーマサイトＰのオペレータ操作により実行することもできる。
【００９９】
また、各パフォーマサイトＰにおけるミキシング係数（或いはエフェクト係数）の設定は、例えば曲の演奏を通して一定ではなく、演奏している曲の進行に合わせて変化されるようにすることもできる。例えばミキシング／パン係数部１５に、タイムコードｔｃに基づいて曲進行中にミキシング係数が自動的に変化されるような設定を行うようにすることも考えられる。
【０１００】
実施の形態の説明では、タイムコードｔｃにより、演奏のガイド音の発生、楽譜表示制御、同期化、同期補正が行われるようにしたが、同期情報となるタイムコードｔｃの形式はどのようなものでもよい。
またパフォーマサイトＰの再生部１２には、タイムコードｔｃではなく、タイムコードｔｃと同期したクリック音等の実際の音声信号が供給されるようにしてもよい。また、表示部１３にはタイムコードｔｃは供給されないようにし、表示部１３では単に楽譜表示が行われるのみとしてもよい。
また実演信号ｓｄ、ｓｄｋ、ｓｄｍをタイムコードｔｃと同期化して送信することになるが、通信方式はタイムコードｔｃと実演信号ｓｄ等との同期を保ちながら通信できる通信方式であればどのようなものでもよく、物理条件や通信プロトコルは限定されない。
さらに、通信される実演信号ｓｄ等は、２チャンネルデータとしたが、１チャンネル（モノラル）或いは３チャンネル以上としてもよい。
【０１０１】
また、図４，図５のリハーサル時、及び図８の実演時の例では、各パフォーマサイトＰは収録部１４からの実演信号ｓｄをミキサーサイトＭに送信しているが、ミキシング／パン係数部１５でミキシング係数を与えた実演信号ｓｄをミキサーサイトＭに送信するようにしてもよい。
【０１０２】
また本例の実演システムにおいて演奏を行うパフォーマＰＭの全部又は一部は実際の人間に限られず、ＭＩＤＩシステム音源その他の自動演奏装置がパフォーマＰＭに相当するものとして設置されてもかまわない。
【０１０３】
また本例の実演システムは、直接的にエンドユーザＥＵに提供するライブ演奏のみでなく、レコーディング用途としても有効である。即ち各演奏者が遠隔地にいても、いわゆる一発録音（同時演奏）に近いライブ感を持ってバンド演奏等を収録できるため、例えば図７で示した完成実演信号を録音することで、新たなレコーディング形態を実現できる。
また図８のような通信方式の場合は、ミキサーサイトＭにおいてミキシング再生部３５に代えてマルチトラックレコーダを設置すれば、各演奏者にライブ感のある一発録音方式の演奏を実行させながら、各演奏音（実演信号）を異なるトラックにレコーディングしていくことができる。つまり、録音スタジオに各演奏者を集めてレコーディングを行う場合と同等のレコーディングを、演奏者を録音スタジオに集めること無しに実現できる。
【０１０４】
また実施の形態は、バンド形態やオーケストラ形態での音楽コンテンツを生成する例に基づいて説明してきたが、音楽だけでなく他の分野にも本発明の実演システムは適用できる。
例えば映画、演劇、ドラマなどをリアルタイムで制作していくシステムなどとしても好適である。
例えば先頭パフォーマサイトＰ１で背景画像の撮影収録を行い、次のパフォーマサイトＰ２で効果音等の収録を行い、次のパフォーマサイトＰ３で１又は複数の演技者が演技を行なっている画像を収録するなどすることで、各スタッフが遠隔地にいても、演劇実演を行うことができる。
もちろん映像データをミキシングする場合は、映像データをタイムコードｔｃに同期化させて通信するようにする。
【０１０５】
【発明の効果】
以上の説明から理解されるように本発明によれば、数珠繋ぎ状に順番が設定された各実演収録装置において、或る実演収録装置から次の実演収録装置へは、それまでの全実演収録装置での実演信号がミキシングされた実演信号が伝送されるため、後段の実演収録装置にいくほど伝送信号量が増えるということはなく、つまり必要な伝送容量が拡大させずに多数の実演収録装置により、多数のパフォーマの実演内容を伝送できる。さらに同期情報も実演信号とともに各実演収録装置間に数珠繋ぎ状に伝送されていき、各装置では同期情報により実演信号の同期がとられることにより、ネットワーク伝送路での時間遅延を含んだ状態で各実演信号を時間ずれなくミキシングしていくことができる。
そして終端（第ｎ）の実演収録装置で、それより前の順番の全ての実演収録装置で収録されミキシングされた実演信号に、その実演収録装置で収録した実演信号をミキシングすることで、最終的に例えば合奏音などとして完成された完成実演信号を得ることができる。或いは、各実演収録装置からの実演信号を実演管理装置において同期補正した上でミキシングすることで、完成実演信号を得ることができる。
これらのことから、ネットワーク伝送における伝送容量や時間遅延という問題を解決して、ネットワークを介した複数パフォーマによるライブ演奏等を容易に実現でき、例えばライブ演奏等としての完成実演信号も容易に得ることができるという効果がある。
【０１０６】
また、各パフォーマの全てが例えばクリック音などのガイド音を頼りに演奏するなどのものとは異なり、各パフォーマは、自分の実演収録装置より前の実演収録装置の実演信号の再生音等をガイドとして実演を行うことができるため、前の実演収録装置のパフォーマのノリに合わせた演奏を行うことなどが可能となり、パフォーマにとって演奏しやすいものとなる。従って、より実際のライブ演奏に近い演奏が可能となるという効果もある。実演を視聴するエンドユーザから見れば、よりライブ感のある、ノリのよい実演を楽しむことができる。
【０１０７】
また実演管理装置により、実演収録装置の収録手段で収録された実演信号についてのミキシング係数を設定するようにすることで、各実演収録装置において適正にミキシングされた実演信号をパフォーマのガイド音声として再生でき、また完成実演信号として適正なミキシング状態とすることができる。
またこのとき、実演管理装置は、同期情報に基づいて各実演収録装置から実演信号の同期補正処理を行なってミキシング処理し、ミキシング処理された実演信号を再生することで、ミキシング状態を確認できるため、各実演収録装置に対して適切なミキシング係数を設定できるものとなる。
【図面の簡単な説明】
【図１】本発明の実施の形態の実演システムのシステム構成のブロック図である。
【図２】実施の形態のパフォーマサイトの構成のブロック図である。
【図３】実施の形態のミキサーサイトの構成のブロック図である。
【図４】実施の形態のリハーサル時の伝送状態例の説明図である。
【図５】実施の形態のリハーサル時の他の伝送状態例の説明図である。
【図６】実施の形態のミキシング係数設定時の伝送状態例の説明図である。
【図７】実施の形態の実演時の伝送状態例の説明図である。
【図８】実施の形態の実演時の他の伝送状態例の説明図である。
【図９】実施の形態のパフォーマサイトの他の構成のブロック図である。
【符号の説明】
１０  受信部、１１  アンパケット処理部、１２  再生部、１３  表示部、１４  収録部、１５  ミキシング／パン係数部、１６  ステレオミックス部、１７パケット処理部、１８  送信部、３１  送信部、３２  パケット処理部、３３，４０  タイムコード発生部、３４  ミキシング係数設定部、３５  ミキシング再生部、３６  受信部、３７  アンパケット処理部、３８  バファリング／同期補正部、４１  エフェクト部、Ｐ，Ｐ１〜Ｐｎ  パフォーマサイト、Ｍ  ミキサーサイト、ＮＷ  ネットワーク、Ｄ  配信サイト、ＰＭ  パフォーマ、ＭＭ  ミキシングエンジニア
【図１】
0004423790.tif 000002
【図２】
0004423790.tif 000003
【図３】
0004423790.tif 000004
【図４】
0004423790.tif 000005
【図５】
0004423790.tif 000006
【図６】
0004423790.tif 000007
【図７】
0004423790.tif 000008
【図８】
0004423790.tif 000009
【図９】
0004423790.tif 000010