(57)【特許請求の範囲】
【請求項１】
送信装置により所望のコンテンツを所定のネットワークを通じて受信再生装置に送信しまたは所定の記録媒体を介して運搬する情報通信システムであって、
前記送信装置は、
前記コンテンツに関する元音声情報、または、前記コンテンツに関する元動画像情報及び元音声情報の双方を個別の要素に分解する手段であって、元音声情報については音源ごとに個別の要素に分解する分解手段と、
前記分解手段で分解された個別の要素の種別を認識する認識手段と、
前記認識手段での認識結果としての要素の種別を記号化して送信データを生成する送信データ生成部と、
前記送信データ生成部で生成された前記送信データを所定のネットワークを通じて前記受信再生装置へ送信する送信側データ通信部、及び／または前記送信データ生成部で生成された前記送信データを所定の記録媒体に記録するデータ記録手段と
を備え、
前記受信再生装置は、前記送信データを前記ネットワークを通じて受信しまたは前記送信装置から運搬された前記記録媒体から読み出し、当該送信データに基づいて、所定のデータベース内に予め格納された代替素材を読み出し、これらの代替素材を合成して音声、または、動画像及び音声の双方を再生するようにされたことを特徴とする情報通信システム。
【請求項２】
送信装置により所望のコンテンツを所定のネットワークを通じて受信再生装置に送信しまたは所定の記録媒体を介して運搬する情報通信システムであって、
前記送信装置は、
前記コンテンツに関する元動画像情報を単数または複数の背景画像及び単数または複数のオブジェクトに画像分解する画像分解部と、
前記画像分解部で画像分解された前記背景画像及び前記オブジェクトのそれぞれについて画像認識を行う画像認識部と、
前記コンテンツに関する元音声情報のなかから少なくとも主要な音声を抽出分解する音声分解部と、
前記音声分解部で音声分解された個々の音声データについて音声認識する音声認識部と、
前記画像認識部での認識結果及び前記音声認識部での音声認識結果に基づいて前記各背景画像、前記各オブジェクト及び前記各音声データを個別に記号化して送信データを生成する送信データ生成部と、
前記送信データ生成部で生成された前記送信データを所定のネットワークを通じて前記受信再生装置へ送信する送信側データ通信部、及び／または前記送信データ生成部で生成された前記送信データを所定の記録媒体に記録するデータ記録手段と
を備え、
前記受信再生装置は、前記送信データを前記ネットワークを通じて受信しまたは前記送信装置から運搬された前記記録媒体から読み出し、当該送信データに基づいて、所定の画像音声素材データベース内に予め格納された代替素材を読み出し、これらの代替素材を合成して動画像及び音声を再生するようにされたことを特徴とする情報通信システム。
【請求項３】
請求項２に記載の情報通信システムであって、
前記送信装置は、前記送信データ生成部で生成された送信データを編集する編集部をさらに備える情報通信システム。
【請求項４】
請求項２または請求項３に記載の情報通信システムであって、
前記受信再生装置の前記画像音声素材データベースは、前記送信データ中の前記背景画像、前記オブジェクト及び前記音声データの少なくとも一部について同一の前記送信データの情報に対応してそれぞれ複数種類の前記代替素材が用意され、
前記受信再生装置は、当該受信再生装置で動画像及び音声を再生する際に、複数種類の前記代替素材の中から選択して前記背景画像、前記オブジェクト及び前記音声データの前記少なくとも一部については、前記画像認識部での認識結果あるいは前記音声認識部での音声認識結果と意味内容は同じでありながら、前記元画像情報あるいは前記元音声情報とは表現態様の異なる前記代替素材を用いることが可能とされたことを特徴とする情報通信システム。
【請求項５】
請求項３に記載の情報通信システムであって、前記情報通信システムは、前記送信装置により所望のコンテンツを前記所定のネットワークを通じて前記受信再生装置に送信するシステムであり、
前記受信再生装置は、当該受信再生装置で動画像及び音声を再生する際に、前記背景画像及び前記オブジェクトの少なくとも一部を変更または削除するための要求を所定の入力装置を通じて入力することが可能とされ、
前記送信装置の前記編集部は、前記受信再生装置の前記入力装置で入力された要求を前記所定のネットワークを通じて受信し、当該要求を反映して前記送信データ生成部で前記送信データを生成するようにしたことを特徴とする情報通信システム。
【請求項６】
請求項２ないし請求項５のいずれかに記載の情報通信システムであって、
前記音声データの少なくとも一部は、前記背景画像または前記オブジェクトに対応付けられたリンク音声として認識されて、前記送信データ生成部で記号化される際にその対応付けについてのデータが含められて前記送信データが生成され、
前記受信再生装置は、前記リンク音声の再生時に、前記背景画像または前記オブジェクトの再生に対応づけられるようにされたことを特徴とする情報通信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、情報通信システムに関する。
【０００２】
【従来の技術】
近年の通信技術の発展に伴って、通信による様々な情報の提供サービスが試みられている。例えば一般公衆電話回線等を利用したインターネットを通じたディジタルコンテンツの提供もそのひとつである。
【０００３】
このようなディジタルコンテンツには、文字情報の他、音声情報や静止画及び動画を含む画像情報があり、例えば動画像である画像情報に合わせて音声情報が変化するような様々な組み合わせにより多様な情報提供を行うことが可能となっている。
【０００４】
【発明が解決しようとする課題】
ところで、インターネット等の一般公衆電話回線等のネットワークを通じて上記の多様な情報を提供する場合、ネットワークのデータ伝送速度の制限により、送受信される画像情報の画質及び音声情報の音質の向上は制約を受けてしまう。
【０００５】
通信によりリアルタイムで動画像を送受信する技術例としては、例えばＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１によって国際標準化が進められている超低ビットレートに適したＭＰＥＧ−４と呼ばれるディジタル動画像符号化方式が提案されている。このＭＰＥＧ−４は、６４ｋｂｐｓ以下の低ビットレートの動画像圧縮に適しており、ファイルサイズを抑え、オンラインでのストリーム再生や動画ファイルの転送を容易にできるものである。したがって、ＩＳＤＮ程度の回線速度があれば、これを受信した側でコマ落ちの少ない動画像として再生することが可能である。
【０００６】
しかしながら、このＭＰＥＧ−４は、非可逆の圧縮方式であり、その圧縮率を極めて高くすることによって低ビットレート向きのデータに圧縮しているため、これを復号化して再生したときには相当な画質の劣化が生じる。具体的には、動画像の再生画質は、ＭＰＥＧ−１及びＭＰＥＧ−２に比べると大幅に劣化してしまう。また、音声情報の音質劣化についても、これを非可逆の圧縮方式で送受信する限り、同様の問題が発生する。例えば、ディジタルコンテンツにおいて人間が聴いて十分に高音質と感じる音声は、サンプリング周波数が４４．１ｋＨｚまたは音声の再生周波数帯域の上限が２０ｋＨｚ前後で約６万５千階調（１６ビット）以上であると言われている。しかしながら、現行の非可逆の圧縮方式でリアルタイムに音声情報を送信する技術では、このような高音質のリアルタイム再生を行うことはできない。
【０００７】
あるいは、これらの情報を、ＣＤ−ＲＯＭやＩＣカード等の所定の記録メディア（記録媒体）を通じて送信することも考えられるが、この場合であっても、その記録メディアのデータ容量には限界があり、かかるデータ容量の制限内でしか情報を送信することができないという問題がある。
【０００８】
そこで、この発明の課題は、動画像情報や音声情報を含むディジタルコンテンツを送受信する場合に、受信先での再生時に画質及び音質を高い水準に保持できる情報通信システムを提供することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、送信装置により所望のコンテンツを所定のネットワークを通じて受信再生装置に送信しまたは所定の記録媒体を介して運搬する情報通信システムであって、前記送信装置は、前記コンテンツに関する元音声情報、または、前記コンテンツに関する元動画像情報及び元音声情報の双方を個別の要素に分解する手段であって、元音声情報については音源ごとに個別の要素に分解する分解手段と、前記分解手段で分解された個別の要素の種別を認識する認識手段と、前記認識手段での認識結果としての要素の種別を記号化して送信データを生成する送信データ生成部と、前記送信データ生成部で生成された前記送信データを所定のネットワークを通じて前記受信再生装置へ送信する送信側データ通信部、及び／または前記送信データ生成部で生成された前記送信データを所定の記録媒体に記録するデータ記録手段とを備え、前記受信再生装置は、前記送信データを前記ネットワークを通じて受信しまたは前記送信装置から運搬された前記記録媒体から読み出し、当該送信データに基づいて、所定のデータベース内に予め格納された代替素材を読み出し、これらの代替素材を合成して音声、または、動画像及び音声の双方を再生するようにされたものである。
【００１０】
請求項２に記載の発明は、送信装置により所望のコンテンツを所定のネットワークを通じて受信再生装置に送信しまたは所定の記録媒体を介して運搬する情報通信システムであって、前記送信装置は、前記コンテンツに関する元動画像情報を単数または複数の背景画像及び単数または複数のオブジェクトに画像分解する画像分解部と、前記画像分解部で画像分解された前記背景画像及び前記オブジェクトのそれぞれについて画像認識を行う画像認識部と、前記コンテンツに関する元音声情報のなかから少なくとも主要な音声を抽出分解する音声分解部と、前記音声分解部で音声分解された個々の音声データについて音声認識する音声認識部と、前記画像認識部での認識結果及び前記音声認識部での音声認識結果に基づいて前記各背景画像、前記各オブジェクト及び前記各音声データを個別に記号化して送信データを生成する送信データ生成部と、前記送信データ生成部で生成された前記送信データを所定のネットワークを通じて前記受信再生装置へ送信する送信側データ通信部、及び／または前記送信データ生成部で生成された前記送信データを所定の記録媒体に記録するデータ記録手段とを備え、前記受信再生装置は、前記送信データを前記ネットワークを通じて受信しまたは前記送信装置から運搬された前記記録媒体から読み出し、当該送信データに基づいて、所定の画像音声素材データベース内に予め格納された代替素材を読み出し、これらの代替素材を合成して動画像及び音声を再生するようにされたものである。
【００１１】
請求項３に記載の発明は、前記送信装置は、前記送信データ生成部で生成された送信データを編集する編集部をさらに備えるものである。
【００１２】
請求項４に記載の発明は、前記受信再生装置の前記画像音声素材データベースは、前記送信データ中の前記背景画像、前記オブジェクト及び前記音声データの少なくとも一部について同一の前記送信データの情報に対応してそれぞれ複数種類の前記代替素材が用意され、前記受信再生装置は、当該受信再生装置で動画像及び音声を再生する際に、複数種類の前記代替素材の中から選択して前記背景画像、前記オブジェクト及び前記音声データの前記少なくとも一部については、前記画像認識部での認識結果あるいは前記音声認識部での音声認識結果と意味内容は同じでありながら、前記元画像情報あるいは前記元音声情報とは表現態様の異なる前記代替素材を用いることが可能とされたものである。
【００１３】
請求項５に記載の発明は、前記情報通信システムは、前記送信装置により所望のコンテンツを前記所定のネットワークを通じて前記受信再生装置に送信するシステムであり、前記受信再生装置は、当該受信再生装置で動画像及び音声を再生する際に、前記背景画像及び前記オブジェクトの少なくとも一部を変更または削除するための要求を所定の入力装置を通じて入力することが可能とされ、前記送信装置の前記編集部は、前記受信再生装置の前記入力装置で入力された要求を前記所定のネットワークを通じて受信し、当該要求を反映して前記送信データ生成部で前記送信データを生成するようにしたものである。
【００１４】
請求項６に記載の発明は、前記音声データの少なくとも一部は、前記背景画像または前記オブジェクトに対応付けられたリンク音声として認識されて、前記送信データ生成部で記号化される際にその対応付けについてのデータが含められて前記送信データが生成され、前記受信再生装置は、前記リンク音声の再生時に、前記背景画像または前記オブジェクトの再生に対応づけられるようにされたものである。
【００１５】
尚、この明細書において、「コンテンツ」とは、画像及び／または音声等の種々の情報が制作者の意図をもって所定のレイアウトまたは所定のタイミングで編集された編集物をいい、また、「モチーフ」とは、各画像の形状、模様及び色彩や音声の音色、音程、和音、音声出現タイミング及びリズム等の種々の形態をいうものとする。
【００１６】
【発明の実施の形態】
＜原理＞
ディジタル情報の提供サービスのなかには、送信元に保有している動画像情報及び音声情報の元情報と意味内容が同等のものであれば、受信先で再生を行った際にその動画像及び音声のモチーフが異なっていても差し支えない場合がある。むしろ、受信先のユーザの好みにより、元情報の動画像の画風等と異なる画風等に変更したいという場合さえある。このような場合は、元情報（動画像情報及び音声情報）のモチーフの完全同一性は重視されずにこの同一性の擬制が許容される一方、画質及び音質は高水準にしたいという要望がある。
【００１７】
例えば、図１のように、海を題材とするイメージ映像を送受信したい場合に、仮に元情報としての動画像（以下「元動画像」と称す）が実写映像であり、この元動画像内に含まれる空、海及び浜辺の風景を第一背景画像１とし、海の水平線の上部に位置する夕日を第二背景画像２とし、浜辺を左から右に向かって走る男性を第一オブジェクト３とし、空を右から左に向かって飛ぶカモメを第二オブジェクト４とした場合、これらの背景画像１，２及びオブジェクト３，４の位置関係及びその動きが受信側で高画質に再生されるならば、これらのモチーフが図２のように変更されても差し支えない場合がある。
【００１８】
また、音声情報についても同様である。例えば、図１に示した動画像情報の第一背景画像１（空、海及び浜辺の風景）に対応して波の音（第一背景音声）と風の音（第二背景音声）が聞こえ、また第一オブジェクト３（走る男性）の動きに沿って（リンクして）口笛（第一リンク音声）の音が左から右に移動し、さらに第二オブジェクト４（飛ぶカモメ）の動きに沿って（リンクして）カモメの鳴き声（第二リンク音声）の音が右から左に移動するような場合、これらの音声のそれぞれのモチーフの完全同一性は重視されずその擬制が許容される一方、音質については高音質の再生を行いたい場合がある。
【００１９】
このような場合において、この実施の形態の情報通信システムでは、動画像情報及び音声情報を含む元情報の各背景画像１，２中の移動物としての各オブジェクト３，４及びこれに付随する各リンク音声を所定の動き検出等の画像分解技術及び音声分解技術で抽出し、ここで抽出された各オブジェクト３，４及びリンク音声と、残りの各背景画像１，２及び各背景音声とをそれぞれ画像認識及び音声認識して記号化した後、この記号化された記号データのみをネットワークを通じて送受信するようにし、受信側では、受信した記号データに基づいて、情報格納装置内に予め用意しておいたモチーフの画像情報及び音声情報を呼び出し、これらを合成して再生（図２の例を参照）するようにしている。
【００２０】
以下、この情報通信システムを詳述する。
【００２１】
＜構成＞
この情報通信システムは、図３の如く、ディジタルコンテンツを所定のネットワーク１０から受信して動画像情報１３及び音声１４として再生する受信再生装置１１と、ディジタルコンテンツとしての元動画像情報１５及び元音声情報１６を準備し且つネットワーク１０を通じて受信再生装置１１へ送信する送信装置１２とを備える。
【００２２】
送信装置１２は、図４の如く、元動画像情報１５を背景画像及びオブジェクトに画像分解する画像分解部２１と、画像分解部２１で画像分解された背景画像及びオブジェクトのそれぞれについて画像認識を行う画像認識部２２と、元音声情報１６のなかから主要な音声を抽出して分解する音声分解部２３と、この音声分解部２３で音声分解された個々の音声データについて音声認識する音声認識部２４と、画像認識部２２での認識結果及び音声認識部２４での音声認識結果に基づいて送信データを生成する送信データ生成部２５と、送信データ生成部２５で生成された送信データを編集する編集部２６と、送信データ生成部２５で生成され編集部２６で編集された送信データを含む種々の情報についてネットワーク１０を通じて通信を行うデータ通信部２７と、このデータ通信部２７及びネットワーク１０を通じて受信再生装置１１から所望の要求があった際にその要求を認識する要求認識部２８とを備える。
【００２３】
画像分解部２１は、画像の周波数空間における高域フィルタを用いて画像中の各部分のエッジを抽出して領域抽出を行う領域抽出機能と、動画像中の各部分が時系列的に移動した際にＭＰＥＧ等で使用される動き補償の方法を使用して画像中の各部分の動きを抽出する動き抽出（モーションディテクト）機能とを有し、動画像中で動いているオブジェクトを抽出するとともに、抽出されたオブジェクトを除いた部分を背景として、その背景をさらにいくつかの背景画像に分解するようになっている。尚、複数の合成された複合画像から個別のオブジェクト及び背景画像を抽出することが困難な場合もあり得るため、その場合には、元動画像情報１５として複数のオブジェクト及び背景画像をいくつかのチャンネルに分けて用意しておき、これらの各チャンネルのオブジェクト及び背景画像を画像分解部２１において要素認識するようにしてもよい。
【００２４】
画像認識部２２は、図５の如く、画像分解部２１で分解された各部分（背景画像及びオブジェクト）毎に、その特徴抽出３１を行って所定の標準パターンに対してパターンマッチング３２をし、その結果を送信データ生成部２５に出力するようになっている。ここで、パターンマッチング３２を行う場合は、音声認識部２４で認識された音声の種類との間で関連づけを行うことが望ましいため、この関連づけ作業を状況参照３３のブロックにて実行するようになっている。
【００２５】
音声分解部２３は、図６の如く、元音声情報１６のエンベロープを検出するエンベロープフォロワ４１と、エンベロープフォロワ４１からの出力信号を帯域毎に分割してそれぞれのピークを検出するピーク検出部４２と、ピーク検出部４２でのピーク検出結果からピッチ抽出を行うピッチ抽出ブロック４３と、このピッチ抽出ブロック４３で抽出された通過帯域を有するディジタルフィルタ４４とを備え、特に、ピーク検出部４２においてピーク検出される帯域として抽出したい音声の帯域（例えば人間の肉声等）を設定しておけば、波音、風の音、カモメの鳴き声及び口笛等の所望の音声を個別に抽出することが可能となる。尚、複数の合成された複合音声から個別の音声を抽出することが困難な場合もあり得るため、その場合には、元音声情報１６として複数の音声データをいくつかのチャンネルに分けて用意しておき、これらの各チャンネルの音声を音声分解部２３においてそれぞれ異なる音声として分解認識するようにしてもよい。
【００２６】
音声認識部２４は、図７の如く、音声認識のための前処理を行うデータ前処理ブロック５１と、この前処理されたデータに基づいて音声認識を行う認識部５２とを備える。
【００２７】
データ前処理ブロック５１は、音声分解部２３で分解抽出された各音声データのエンベロープを検出するエンベロープフォロワ５５と、エンベロープフォロワ５５からの出力信号のピッチを平坦化して音量レベルを調整するレベル調整部５６とを備え、認識部５２での音声認識精度を向上するように前調整する。
【００２８】
認識部５２は、ケプストラム変換や隠れマルコフ変換等の所定の変換処理を行う変換部５７と、変換部５７で変換されたデータについて音声の種類（波音や風の音等）を特定するとともに当該音声が人間の話す言語である場合に文字列に変換する音素片抽出部５８とを備え、特に音素片抽出部５８には音素片データベース（ＤＢ）５９が接続され、この音素片ＤＢ５９に基づいて音声の種類の特定または文字列の生成を行うようになっている。また、この認識部５２は、認識した音声の時系列的な移動を認識する機能を有しており、この移動情報に基づいて、画像認識部２２でパターンマッチング３２を行った各背景画像またはオブジェクトとの間で関連づけを行い、これをリンク音声として認識するようになっている。例えば、認識部５２で移動している音声があったときに、その移動している旨を画像認識部２２の状況参照３３のブロックに送信することで、動画像情報中のオブジェクトとの関連付けを行うことが可能であり、また音声が静止状態にある場合は、動画像情報中の背景画像との関連づけを行うことが可能となる。
【００２９】
尚、この認識部５２は、データ前処理ブロック５１から与えられた音声データがバックグラウンドミュージック（ＢＧＭ）等の音楽である場合には、そのメロディ、ハーモニー及びリズムを検出し、その検出結果に基づいて当該音楽をディジタルデータとしてのＭＩＤＩデータに変換する機能をも有しており、これにより、記号化されたデータの他、ＭＩＤＩデータをも併せて送信するようになっている。尚、音楽のなかからメロディ、ハーモニー及びリズムを検出することが困難な場合もあり得るため、その場合には、元音声情報１６として各音色のＭＩＤＩデータをいくつかのチャンネルに分けて用意しておき、これらをそのまま用いるようにしてもよい。
【００３０】
送信データ生成部２５は、画像認識部２２での認識結果及び音声認識部２４での音声認識結果に基づいて送信データを生成するものであり、所定のデータベース６１内のデータを参照しながら各背景画像、各オブジェクト、各リンク音声及び各背景音声の記号化を行う。特に、動画像情報中の各オブジェクトまたは背景画像と音声情報中の個々の音声データとが関連づけられている場合に、これらをひとつの状況データとしてまとめて認識するようになっている。ここで、生成されたデータの例を次の表１に示す。
【００３１】
【表１】
0003634687.tif 000002
【００３２】
ここで、表１中の時刻欄は各背景画像またはオブジェクトが元動画像情報において出現または新たな動作を開始した時刻を示している。また、表１中の画像欄は背景画像またはオブジェクトの種類を示す種類コードを示しており、例えば「ＳＵＮ０００」は夕日を、「ＢＯＹ００８」は走る少年を、「ＢＲＤ４２５」は飛ぶカモメをそれぞれ意味する。さらに、表１中の左側のアクション欄は当該背景画像またはオブジェクトの動作を示す動作コードであり、「ＡＣＴ０００」は「ＳＵＮ０００（夕日）」が画面の中央部付近で赤みを帯びながら下降していく旨を、「ＭＯＶ１０４」は「ＢＯＹ００８（走る少年）」が画面下部分で左から右に向けて移動する旨を、「ＭＯＶ２０３」は「ＢＲＤ４２５（飛ぶカモメ）」が画面上部を右から左に向けて移動する旨をそれぞれ示している。さらにまた、表１中の音声欄は音声の種類を示しており、「ＢＧＭ０１０」はバックグラウンドミュージック（ＢＧＭ）としての爽やかな音楽を、「ＳＮＧ４０８」は口笛を、「ＢＲＤ４４３」はカモメの鳴き声をそれぞれ意味している。そして、右側のアクション欄は、音声欄に記述された種類の音声の動きを示しており、「０」は静止状態を、「ＬＩＮＫ−Ｃ３」は表１中の最上行から３行目の「ＢＯＹ００８（走る少年）」の動きにリンクするリンク音声である旨を、「ＬＩＮＫ−Ｃ４」は最上行から４行目の「ＢＲＤ４２５（飛ぶカモメ）」の動きにリンクするリンク音声である旨をそれぞれ意味している。
【００３３】
尚、この表１では、例えば「ＳＵＮ０００」などの種類コードを中心に画像や音声を表現しているが、実際に関連づけや受信再生装置１１（後述参照）での代替画像の採択の際により詳細な情報が必要になる場合もある。このような場合には、種類コードに付随して、その種類コードで特定された要素の状態情報（例えば、「形状」、「形容」、「状況」等）を種類コードのサブセット（階層情報）として用意するなどしておけば、受信再生装置１１での再生時に、より目的に合致した形で再生処理を行うことが可能となる。例えば、種類コードとして「ＳＵＮ０００」の太陽を特定した場合に、「形状」として「丸い」旨、「形容」として「赤い」旨、「状況」として「低い位置」にある旨をそれぞれコード指定した情報を生成する場合に、例えば、「ＳＵＮ０００」の情報を太陽から月に変更し、「形容」を「赤い」から「黄色い」に変更するなど、細やかな変更処理が容易になる。尚、これらのコードの内容は、原則として受信再生装置１１内に保存されているものと同様のものが使用される。ただし、受信再生装置１１内に存在しない新しい情報を送信する必要が生じた場合には、その情報をコードと共に送信することも可能である。この場合、かかる新たな情報とコードとを、送信データの内部にまたは送信データの外部に関連づけて送信すればよい。
【００３４】
また、この送信データ生成部２５は、音声認識部２４からＭＩＤＩデータが与えられた場合には、このＭＩＤＩデータを上記の記号化されたデータに加えて送信データに含める機能を有している。
【００３５】
尚、この送信データ生成部２５は、後述する編集部２６での編集結果により、記号化して生成した送信データを変更する機能と、要求認識部２８からの信号に基づいて記号化して生成した送信データを変更する機能とをも有している。これにより、編集部２６での編集結果や要求認識部２８からの信号に基づいて、例えば上記の「ＢＧＭ０１０」で表されるバックグラウンドミュージック（ＢＧＭ）を省略するなどの個別の調整を行うことが可能となる。
【００３６】
編集部２６は、送信データ生成部２５で記号化されて生成された送信データに基づいて、所定のモニタ６２に実際に動画像及び音声を再現し、これを見ながらキーボード及びマウス等の所定の入力部６３を用いて送信データの変更及び削除等を行うようになっている。
【００３７】
データ通信部２７は、送信データ生成部２５で生成され編集部２６で編集された送信データを含む種々の情報についてネットワーク１０を通じて受信再生装置１１へ送信する機能と、ネットワーク１０を通じて受信再生装置１１から与えられた要求信号を受信する機能とを有している。
【００３８】
要求認識部２８は、データ通信部２７及びネットワーク１０を通じて受信再生装置１１から要求信号が与えられたときにその要求を認識するもので、例えばバックグラウンドミュージック（ＢＧＭ）を省略するなどの要求を送信データ生成部２５に伝達するようになっている。
【００３９】
受信再生装置１１は、上記の表１に示したように記号化された送信データを受信し、これに基づいて、コンテンツデータベース（ＤＢ）７１、アクションルールデータベース（ＤＢ）７２及び画像音声素材データベース（ＤＢ）７３内に予め格納された代替素材を読み出し、これらの代替素材を合成して動画像１３及び音声１４として再生するようになっている。
【００４０】
具体的に、この受信再生装置１１は、ネットワーク１０を通じて送信装置１２との間の通信を行うデータ通信部７５と、ネットワーク１０及びデータ通信部７５を通じて送信装置１２から与えられた送信データ（表１参照）に基づいてコンテンツデータベース７１内に格納されたコンテンツの種類（画像であるか、音声であるか、文字であるか、あるいは音楽（ＭＩＤＩデータ）であるか等）を特定するとともに、アクションルールデータベース７２に格納された情報を参照して各オブジェクト等の動き（例えば左から右に移動している等）を置き換える置換処理部７６と、置換処理部７６で置き換えられた結果に基づいてデータ伸長すべきデータがあればデータ伸長を行うデータ伸長部７７と、置換処理部７６からの信号に基づいて各オブジェクト等の動きを算出するアクション算出部７８と、アクション算出部７８からの信号を画像音声素材データベース７３内の代替素材に照合して各画像及び音声の素材を決定してレイヤーとして合成するデータ合成部７９と、計時手段としての制御タイマー８０と、制御タイマー８０での計時に基づいてデータ合成部７９からの出力画像及び出力音声の同期をとるためのシーケンサ８１と、シーケンサ８１からの出力に基づいて動画像を再生する映像再生制御装置８２と、映像再生制御装置８２から出力された映像を最終的に合成する映像合成機８３と、シーケンサ８１からの出力に基づいて音声波形の合成を行うシンセサイザ８４と、シンセサイザ８４からの出力に基づいて音声合成を行う音声ミキサ８５と、この受信再生装置１１全体の制御を司る中央制御部８７と、中央制御部８７からの信号に基づいて送信装置１２に対する要求を発行する要求部８８とを備える。尚、シンセサイザ８４は主としてＭＩＤＩデータの再生等を行うものであるが、例えば、音声情報としてＷａｖｅデータやＭＰ３データ等を使用する場合は、これらのデータをシンセサイザ８４を回避してシーケンサ８１から音声ミキサ８５へ直接送信するようになっている。
【００４１】
ここで、中央制御部８７は、所定の入力装置８９での入力に基づいて、受信再生装置１１を使用するユーザーの希望事項を認識し、データ合成部７９での画風（例えば実写風であるか、漫画風であるか、あるいは、クラシック風であるか、現代ポップ風であるか等）、あるいは、バックグラウンドミュージック（ＢＧＭ）が必要でない等の各種の設定を変更する機能を有しており、これらの情報は、要求部８８を通じて送信装置１２へ送信するようになっている。また、中央制御部８７は、ディジタルコンテンツを受信再生する用途（例えば、業務用であるか、私用であるか等）についての情報や、使用している環境（例えば、使用しているモデムやＩＳＤＮ等の通信速度）についての情報等の種々の情報を要求部８８を通じて送信装置１２送信する機能を有している。
【００４２】
ここで、素材データベース７３内の画像素材としては、静止画であってもよいが、各オブジェクトの表現で動きのあるものを表示したい場合を考慮して、複数の静止画を順次表示して動きある動画像を表示するアニメーション画像であってもよい。この場合、ＪＰＥＧやアニメーションＧＩＦのような圧縮された画像素材を使用しても差し支えない。また、音声素材としても、ＭＩＤＩデータ、Ｗａｖｅデータ及びＭＰ３データのように、どのようなデータ形式のものを採用しても差し支えない。尚、例えばＭＰ３データを使用する場合は、これらの圧縮されたデータを伸長するための伸長回路（図示せず）を素材データベース７３の内外に設置しておくことが望ましい。
【００４３】
また、素材データベース７３内の代替素材（画像素材及び音声素材）としては、それぞれ記号化された内容に対して１種類だけでなく、例えば、実写風、漫画風、クラシック風及び現代ポップ風のように、様々なユーザの好みの多様化を考慮して、それぞれの記号化された内容に対して多数のモチーフを用意しておく。
【００４４】
尚、上記した各構成要素は、例えば、専用の回路構成にてハードウェアとして構成されてもよく、あるいは、ＣＰＵを使用して所定のソフトウェアプログラムにしたがって動作する機能要素として実現しても良い。
【００４５】
＜動作＞
上記構成の情報通信システムの動作を説明する。
【００４６】
まず、送信装置１２側では、図４の如く、画像分解部２１において、元動画像情報１５を背景画像及びオブジェクトに画像分解する。この際、画像分解部２１は、画像の周波数空間における高域フィルタを用いて画像中の各部分のエッジを抽出して領域抽出を行いつつ、動き抽出（モーションディテクト）機能により動画像中の各部分の動きを抽出してオブジェクトを抽出するとともに、抽出されたオブジェクトを除いた部分を背景として、その背景をエッジ検出によりさらにいくつかの背景画像に分解する。尚、各オブジェクト及び背景画像が予め別々のチャンネルに分けて容易されている場合は、画像分解部２１でそれぞれの要素認識を行うようにすればよい。
【００４７】
例えば、図１のように、海に沈みゆく夕日を題材とするイメージ映像であって、浜辺を左端から右に向かって少年が口笛を吹きながら走っており、空をカモメが右端から左に向かって飛んでいる元動画像情報１５がある場合、画像分解部２１は、この元動画像内に含まれる空、海及び浜辺の風景を第一背景画像１とし、海の水平線の上部に位置する夕日を第二背景画像２とし、浜辺を左から右に向かって走る男性を第一オブジェクト３とし、空を右から左に向かって飛ぶカモメを第二オブジェクト４とする。
【００４８】
次に、画像分解部２１で画像分解された背景画像１，２及びオブジェクト３，４のそれぞれについて画像認識部２２により画像認識を行う。この際、図５の如く、画像認識部２２は、画像分解部２１で分解された各部分（背景画像１，２及びオブジェクト３，４）毎に、その特徴抽出３１を行って所定の標準パターンに対してパターンマッチング３２をし、その結果を送信データ生成部２５に出力するようになっている。
【００４９】
これにより、例えば図１の元動画像情報１５については、第一背景画像１が空、海及び浜辺の風景であり、第二背景画像２が海の水平線の上部に位置する夕日であり、第一オブジェクト３が浜辺を左から右に向かって走る少年であり、第二オブジェクト４が空を右から左に向かって飛ぶカモメである旨が認識される。
【００５０】
尚、この画像認識の際、後述の音声認識部２４で認識された音声の種類との間で関連づけを状況参照３３のブロックにて行うようにする。
【００５１】
これらの画像分解及び画像認識と併行して、音声分解部２３により元音声情報１６のなかから主要な音声を抽出して分解する。この際、音声分解部２３は、図６の如く、エンベロープフォロワ４１により元音声情報１６のエンベロープを検出し、エンベロープフォロワ４１からの出力信号をピーク検出部４２で帯域毎に分割してそれぞれのピークを検出する。そして、ピーク検出部４２でのピーク検出結果からピッチ抽出ブロック４３がピッチ抽出を行い、ディジタルフィルタ４４を通過させる。この際、ピーク検出部４２においてピーク検出される帯域として抽出したい音声の帯域（例えば人間の肉声等）を設定しておき、波音、風の音、カモメの鳴き声及び口笛等の所望の音声を個別に抽出する。尚、各音声要素が予め別々のチャンネルに分けて容易されている場合は、音声分解部２３でそれぞれの要素認識を行ってこれらを分解すればよい。
【００５２】
この音声分解部２３で音声分解された個々の音声データは、音声認識部２４で音声認識される。
【００５３】
この際、音声認識部２４のデータ前処理ブロック５１では、図７の如く、音声分解部２３で分解抽出された各音声データのエンベロープをエンベロープフォロワ５５で検出し、エンベロープフォロワ５５からの出力信号のピッチをレベル調整部５６で平坦化して音量レベルを調整する。その後、認識部５２の変換部５７においてケプストラム変換や隠れマルコフ変換等の所定の変換処理を行い、次に音素片抽出部５８が、音素片ＤＢ５９に基づいて、変換部５７で変換されたデータについて音声の種類（波音や風の音等）を特定するとともに当該音声が人間の話す言語である場合にその言語の文字列の生成を行う。
【００５４】
また、この認識部５２では、例えば口笛の音声が左から右に向かって移動するような場合に、この認識した音声の時系列的な移動を認識しておき、この移動情報に基づいて、画像認識部２２でパターンマッチング３２を行った各背景画像またはオブジェクトとの間で関連づけを行い、これをリンク音声として認識する。
【００５５】
尚、この認識部５２は、データ前処理ブロック５１から与えられた音声データがバックグラウンドミュージック（ＢＧＭ）等の音楽である場合には、そのメロディ、ハーモニー及びリズムを検出し、その検出結果に基づいて当該音楽をディジタルデータとしてのＭＩＤＩデータに変換しておく。これにより、記号化されたデータの他、ＭＩＤＩデータをも併せて送信することが可能となる。
【００５６】
そして、画像認識部２２での認識結果及び音声認識部２４での音声認識結果は、送信データ生成部２５に送信され、これらに基づいて送信データが生成される。即ち、送信データ生成部２５では、所定のデータベース６１内のデータを参照しながら各背景画像、各オブジェクト、各リンク音声及び各背景音声の記号化を行い、上記した表１のようなデータ列としての送信データを生成する。特に、動画像情報中の各オブジェクトまたは背景画像と音声情報中の個々の音声データとが関連づけられている場合に、これらをひとつの状況データとしてまとめて認識するようにする。尚、表１中の各データの意味は上述したとおりである。
【００５７】
また、この送信データ生成部２５は、音声認識部２４からＭＩＤＩデータが与えられた場合には、このＭＩＤＩデータを上記の記号化されたデータに加えて送信データに含めるようにする。
【００５８】
ここで、作業者が編集部２６で送信データの変更及び削除等を行った場合は、これに従って送信データが変更される。また、データ通信部２７及びネットワーク１０を通じて受信再生装置１１から要求信号が与えられたときには、要求認識部２８によりその要求を認識し、その要求を反映した送信データが生成される。これにより、例えばバックグラウンドミュージック（ＢＧＭ）を省略するなどの要求に応じて、表１中の「ＢＧＭ０１０」で表されるバックグラウンドミュージック（ＢＧＭ）を省略するなどの個別の調整を行う。
【００５９】
このように生成された送信データは、データ通信部２７からネットワーク１０を通じて受信再生装置１１へ送信される。
【００６０】
受信再生装置１１では、上記の表１に示したように記号化された送信データをデータ通信部７５で受信する。そして、置換処理部７６は、データ通信部７５で受信された送信データを読み取り、コンテンツデータベース７１内に格納されたコンテンツの種類（画像であるか、音声であるか、文字であるか、あるいは音楽（ＭＩＤＩデータ）であるか等）を特定するとともに、アクションルールデータベース７２に格納された情報を参照して各オブジェクト等の動き（例えば左から右に移動している等）を置き換える。
【００６１】
この置換処理部７６で置き換えられた結果に基づいて、データ伸長部７７は、データ伸長すべきデータがあればデータ伸長を行う。そして、アクション算出部７８は、置換処理部７６からの信号に基づいて各オブジェクト等の動きを算出する。データ合成部７９は、アクション算出部７８からの信号を画像音声素材データベース７３内の代替素材に照合して各画像及び音声の素材を決定してレイヤーとして合成する。
【００６２】
そして、シーケンサ８１により、制御タイマー８０での計時に基づいてデータ合成部７９からの出力画像及び出力音声の同期をとりながら、映像再生制御装置８２で動画像を再生し、映像合成機８３で最終的な画像のレイヤー合成を行ってこれを所定のモニタ装置（図示しない）に出力するとともに、ＭＩＤＩデータの場合はシンセサイザ８４で音声波形の合成を行って、音声ミキサ８５で音声合成を行いこれを出力する。尚、音声情報としてＷａｖｅデータやＭＰ３データ等を使用する場合は、これらのデータをシンセサイザ８４を回避してシーケンサ８１から音声ミキサ８５へ直接送信して再生を行う。
【００６３】
ここで、受信再生装置１１側のユーザが、その要望を所定の入力装置８９で入力した場合、中央制御部８７はそのユーザーの要望を認識し、動画像１３及び音声１４の合成に反映させる。
【００６４】
例えば、元動画像情報１５と同一のモチーフの画像素材が画像音声素材データベース（ＤＢ）７３内に予め格納されている場合であって、ユーザがそのままのモチーフを維持するように指定した場合は、図３中の符号１８の如く、送信装置１２で用意した元動画像情報１５と殆ど同一の動画像１３を受信再生装置１１で再生することができる。このことは、音声１４についても同様であり、ユーザが音声についてそのままのモチーフを維持するように指定した場合は、送信装置１２で用意した元音声情報１６と殆ど同一の音声１４を受信再生装置１１で再生することができる。
【００６５】
また、図１のように、元動画像情報１５が実写風である場合に、ユーザが受信再生装置１１において漫画風の再生を希望する場合は、このユーザが入力装置８９を通じてその旨を中央制御部８７に伝達する。この場合、データ合成部７９は、中央制御部８７からの指令に従って、画像音声素材データベース７３内から読み出す各画像素材として、実写風のものを選択せずに漫画風のものを選択して読み出すようにする。これらの画像素材をデータ合成部７９で合成した結果は図３中の符号１９及び図２のようになる。この場合、図２の如く、空、海及び浜辺の風景である第一背景画像１、海の水平線の上部に位置する夕日である第二背景画像２、浜辺を左から右に向かって走る少年である第一オブジェクト３、空を右から左に向かって飛ぶカモメである第二オブジェクト４の全てにおいて、意味内容は同一であってもモチーフが元動画像情報１５とは全く異なっており、これにより、ユーザの希望の画風に容易に変更することが可能となる。さらに、例えばユーザ自身の実写画像を画像音声素材データベース７３内に用意しておけば、受信再生装置１１での動画像１３の再生時に、自分自身をモチーフにした動画像１３を楽しむことができる。
【００６６】
ここで、表１の例などのように、一部のデータを他のデータにリンクさせる場合（例えば、音声データとしてのリンク音声をオブジェクトに対応させる場合）は、動画像と音声とが同期して動くなど、極めて自然な状態の対応づけが行われて再生されるため、高水準なディジタルコンテンツ提供サービスを行うことができる。
【００６７】
また音声１４についても同様に、様々なモチーフを変更して楽しむことが可能である。例えば、送信装置１２から与えられてきたＭＩＤＩデータをバックグラウンドミュージックとすることに代えて、画像音声素材データベース７３内に予め格納されていた全く異なる音楽をバックグラウンドミュージックとしてもよい。これらは、ユーザが入力装置８９に入力するだけで容易に変更できる。したがって、ユーザの好みに応じたディジタルコンテンツを容易に提供することが可能となる。
【００６８】
以上の動作において、ネットワーク１０を通じて送信装置１２から受信再生装置１１に与えられるデータは、表１に示したような記号化された送信データが中心となっており、ＭＰＥＧ等の動画像そのものや、ＷＡＶＥデータまたはＭＰ３等の音声データそのものの通信を行う必要がないため、例えば、モデムを使用した一般公衆電話回線やＩＳＤＮ等を使用してインターネット上で通信を行うような場合でも、回線容量の限界により送信装置１２から送信した情報の受信再生装置１１側でのレスポンスの悪化を大幅に低減でき、極めて良好な通信レスポンスのディジタルコンテンツ提供サービスを実施することが可能となる。具体的には、元動画像情報１５及び元音声情報１６の情報量が数メガバイトであるような場合に、これをそのままネットワーク１０を通じて送信すると通信時間が極めて長くなってしまい、リアルタイムの通信を行うことが不可能であるのに対し、この実施の形態では、この数メガバイトの情報量を数１０バイトまで縮小して置き換えることができ、情報量が数１０万分の１以上の圧縮効果を得ることができ、ネットワーク１０に負荷をかけずに通信することが可能となる。
【００６９】
しかも、受信再生装置１１の画像音声素材データベース７３内の代替素材として高解像度の画像素材と高音質の音声素材を用意しておけば、上述のようにレスポンスの悪化を招かずに、極めて良好な画質で優れた音質のディジタルコンテンツを再生することが可能となる。
【００７０】
尚、ディジタルコンテンツの編集は、図４のように送信装置１２内の編集部２６でも可能であるため、いわゆる常連のユーザが常に背景画像やバックグラウンドミュージックを省略するよう要求している場合などでは、予めそのユーザに対して背景画像やバックグラウンドミュージックを省略するよう編集部２６で編集することも可能である。
【００７１】
また、背景画像やバックグラウンドミュージックがコンテンツにとって必須でない場合もあるため、各ユーザが低速のモデムを使用していることが要求認識部２８で認識できた場合には、これに基づいて編集部２６が自動的に背景画像やバックグラウンドミュージックを省略するように送信データ生成部２５に指令するようにしてもよい。
【００７２】
さらに、送信装置１２内の編集部２６や受信再生装置１１内での中央制御部８７により、例えばクラシック調の画風を表現する際には、全体的に茶色っぽい深みのある色彩に統一するなどの色彩調整を行うようにしても良い。
【００７３】
尚、上記実施の形態では、受信再生装置１１の画像音声素材データベース７３において、全ての背景画像、全てのオブジェクト及び全ての音声データについて、異なるモチーフを予め用意し、これらの全てをユーザの希望に応じて変更できるようにしていたが、背景画像、オブジェクト及び音声データの一部についてのみユーザの希望に応じて変更できるようにしても差し支えない。この場合、背景画像、オブジェクト及び音声データの３つのカテゴリーのうちのいずれかひとつまたはふたつのカテゴリーのみを変更できるようにしてもよいし、あるいは、それぞれのカテゴリーについて一部の情報（背景画像、オブジェクト及び音声データ）のみを変更できるようにしてもよい。
【００７４】
また、上記実施の形態では、一般公衆電話回線等のネットワーク１０を通じて送信データを送信装置１２から受信再生装置１１に与えていたが、ＣＤ−ＲＯＭやＩＣカード等の記録メディア（記録媒体）を通じて送信データを受信再生装置１１に与えるようにしても良い。この場合、送信装置１２には、これらの記録媒体に送信データを記録するための記録装置（記録手段）を設置する必要があり、また受信再生装置１１側においても、これらの記録媒体から送信データを読み込むドライブ装置が必要となることは言うまでもない。このように、記録媒体を使用する場合であっても、元動画像情報１５や元音声情報１６等をそのままの状態で送信する場合に比べて、送信データその記録媒体のデータ容量の制限を受けずに済むという利点がある。尚、このように所定の記録メディアを使用する場合は、受信再生装置１１側からユーザの要望を送信装置１２に送信することが困難であるため、ネットワーク１０を通じて通信と併用するすることが望ましい。
【００７５】
【発明の効果】
請求項１及び請求項２に記載の発明によれば、送信装置の画像分解部で元動画像情報を各背景画像及び各オブジェクト毎に分解するとともに、元音声情報の少なくとも主要な音声を音声分解部で抽出分解するなど、所定の分解手段によりコンテンツの要素分解を行い、それぞれ画像認識及び音声認識を行った後、その内容に応じて記号化して送信データを生成して受信再生装置に送信するようにし、受信再生装置側では、送信されてきた送信データに基づいて例えば所定の画像音声素材データベース内に予め格納された代替素材を読み出し、これらの代替素材を合成して動画像及び音声を再生するようにしているので、ネットワークまたは記録媒体を通じて送信装置から受信再生装置に与えられる記号化された送信データは、ＭＰＥＧ等の動画像そのものや、ＷＡＶＥデータまたはＭＰ３等の音声データそのものに比べて遙かに少量のデータになり、例えば、モデムを使用した一般公衆電話回線やＩＳＤＮ等を使用してインターネット上で通信を行うような場合でも、回線容量の限界により送信装置から送信した情報の受信再生装置側でのレスポンスの悪化を大幅に低減でき、極めて良好な通信レスポンスのコンテンツ提供サービスを実施することが可能となる。あるいは、記録媒体を通じて送信データを送信する場合であっても、その記録媒体のデータ容量の制限を受けずにすむという利点がある。
【００７６】
請求項３に記載の発明によれば、送信装置の編集部において、受信再生装置へ送信すべき送信データを編集することが可能となっているため、例えば受信再生装置側のユーザの希望に応じて、またはネットワークの通信速度等の様々な環境等に応じて、送信装置側でコンテンツの内容を変更することが可能となる。
【００７７】
請求項４に記載の発明によれば、ユーザの希望により、意味内容は同じでありながら元動画像情報及び元音声情報とは表現態様の異なる動画像及び音声を再生したり、一部の背景画像、オブジェクト及び音声を省略することが容易に可能となり、ユーザの希望に応じたコンテンツの提供を通信の負荷が増大することなく容易に実行することが可能となる。
【００７８】
請求項５に記載の発明によれば、ユーザの希望をネットワーク経由で受信して送信装置から送信される送信データに反映させることができるので、ネットワークに流れる送信データにユーザが希望しない無駄なデータが含まれるのを防止でき、効率のよい通信を実行することが可能となる。
【００７９】
請求項６に記載の発明によれば、音声データの少なくとも一部が、背景画像またはオブジェクトに対応付けられたリンク音声として認識されて、送信データ生成部で記号化される際にその対応付けについてのデータが含められて送信データが生成され、受信再生装置は、リンク音声の再生時に、背景画像またはオブジェクトの再生に対応づけられるようにしているので、例えば、動画像中のオブジェクトとリンク音声とが同期して動くなど、極めて自然な状態の対応づけが行われて再生されるため、高水準なコンテンツ提供サービスを行うことができる。
【図面の簡単な説明】
【図１】送信装置内に用意された元動画像情報の一例を示す図である。
【図２】受信再生装置で再生する動画像の一例を示す図である。
【図３】この発明の一の実施の形態に係る情報通信システムの全体構成を示すブロック図である。
【図４】この発明の一の実施の形態に係る情報通信システムの送信装置を示すブロック図である。
【図５】画像認識部を示すブロック図である。
【図６】音声分解部を示すブロック図である。
【図７】音声認識部を示すブロック図である。
【図８】この発明の一の実施の形態に係る情報通信システムの受信再生装置を示すブロック図である。
【符号の説明】
１，２  背景画像
３，４  オブジェクト
１０  ネットワーク
１１  受信再生装置
１２  送信装置
１３  動画像
１４  音声
１５  元動画像情報
１６  元音声情報
２１  画像分解部
２２  画像認識部
２３  音声分解部
２４  音声認識部
２５  送信データ生成部
２６  編集部
２７  データ通信部
２８  要求認識部
３１  特徴抽出
３２  パターンマッチング
３３  状況参照
４１  エンベロープフォロワ
４２  ピーク検出部
４３  ピッチ抽出ブロック
４４  ディジタルフィルタ
５１  データ前処理ブロック
５２  認識部
５５  エンベロープフォロワ
５６  レベル調整部
５７  変換部
５８  音素片抽出部
６２  モニタ
６３  入力部
７３  画像音声素材データベース
７５  データ通信部
７６  置換処理部
７７  データ伸長部
７８  アクション算出部
７９  データ合成部
８０  制御タイマー
８１  シーケンサ
８２  映像再生制御装置
８３  映像合成機
８４  シンセサイザ
８５  音声ミキサ
８７  中央制御部
８８  要求部
８９  入力装置
【図１】
0003634687.tif 000003
【図２】
0003634687.tif 000004
【図３】
0003634687.tif 000005
【図４】
0003634687.tif 000006
【図５】
0003634687.tif 000007
【図６】
0003634687.tif 000008
【図７】
0003634687.tif 000009
【図８】
0003634687.tif 000010