(57)【要約】音声符号データのフォーマットを変更せず、制御用情報の別伝送路または伝送量増加を必要とせずに、受信側で得られる情報を利用して送信側から受信側への通信を制御する。相手側から自通信機への通信の制御に用いられるべき情報であって、自通信機側で得られる制御情報を相手側に送るべき通信データに埋め込む制御情報埋め込み手段を備える第１の通信機と、第１の通信機から送られる制御情報を用いて、第１の通信機側への通信を制御する通信制御手段を備える第２の通信機とによってシステムを構成する。
2004039037.tif 000002
【特許請求の範囲】
【請求項１】
相互に通信回線を介して接続される複数の通信機によって構成される双方向通信システムにおける通信機において、
送信側からの通信の制御に用いられるべき情報であって、受信側で得られる制御情報を、前記通信回線を介して該送信側に送るべき通信データに埋め込む制御情報埋め込み手段を備えることを特徴とする双方向通信システムにおける通信機。
【請求項２】
前記受信側で得られる制御情報が、前記送信側から受信側への通信回線の状態を示す情報であることを特徴とする請求項１記載の双方向通信システムにおける通信機。
【請求項３】
前記送信側から受信側への通信における主たる通信データの中に任意の他のデータを埋め込んで通信が行われている時、該通信のエラーを検出するエラー検出手段を更に備え、
前記通信回線の状態によって通信エラーが検出された時、前記制御情報埋め込み手段が該エラー検出情報を前記制御情報として埋め込むことを特徴とする請求項２記載の双方向通信システムにおける通信機。
【請求項４】
前記通信データのエラーが検出される以前の、前記任意の他のデータの受信量を監視する正常データ受信量監視手段を更に備え、
該通信データエラー検出の時点で、前記制御情報埋め込み手段が、前記エラー検出情報に加えて、更に該正常データ受信量を埋め込むことを特徴とする請求項３記載の双方向通信システムにおける通信機。
【請求項５】
前記双方向通信システムが、ＣＥＬＰ（コード・エキサイテッド・リニア・プレディクション）符号化方式を用いる音声通信システムであり、音声符号データに他の任意のデータを埋め込む時、フレーム内で埋め込みの有無を判定するために用いられる判定パラメータ、判定のための閾値、およびフレーム内でのデータ埋め込み対象パラメータを、送信側と受信側とで合意してデータ埋め込みを行うことを特徴とする請求項１記載の双方向通信システムにおける通信機。
【請求項６】
前記送信側に送るべき通信データの主体の中にさらに任意の他のデータを埋め込んで通信を行っている状態で、前記送信側からの通信の制御に用いられるべき制御情報が得られた時、前記制御情報埋め込み手段が該任意の他のデータよりも該制御情報を優先させて埋め込むことを特徴とする請求項１記載の双方向通信システムにおける通信機。
【請求項７】
相互に通信回線を介して接続される複数の通信機によって構成される双方向通信システムにおいて、
通信相手側から自通信機への通信の制御に用いられるべき情報であって、自通信機側で得られる制御情報を、該通信相手側に送るべき通信データに埋め込む制御情報埋め込み手段を備える第１の通信機と、
該第１の通信機から通信データに埋め込まれて送られる制御情報を用いて、該第１の通信機側への通信を制御する通信制御手段を備える第２の通信機とによって構成されることを特徴とする双方向通信システム。
【請求項８】
前記第２の通信機から第１の通信機への通信における主たる通信データの中に任意の他のデータが埋め込まれて通信が行われている時、該第１の通信機が該通信のエラーを検出するエラー検出手段を更に備えると共に、該通信エラーが検出された時、前記制御情報埋め込み手段が、前記制御情報として該エラー検出情報を埋め込み、
該第２の通信機が、第１の通信機から送られた該エラー検出情報に対応して、前記任意の他のデータの埋め込みの再実行を制御する埋め込み再実行制御手段を更に備えることを特徴とする請求項７記載の双方向通信システム。
【請求項９】
前記第１の通信機が、前記第２の通信機から送られる主たる通信データの中に埋め込まれた任意の他のデータの正常受信量を監視する正常データ受信量監視手段を更に備えると共に、前記通信エラーが検出された時、前記制御情報埋め込み手段が前記制御情報としてエラー検出情報に加えて、エラー検出以前の正常データ受信量を示す情報を埋め込み、
前記第２の通信機側の埋め込み再実行制御手段が、該正常データ受信量によって示される部分を除いて、前記任意のデータの埋め込み再実行を制御することを特徴とする請求項８記載の双方向通信システム。
【請求項１０】
相互に通信回線を介して接続される複数の通信機によって構成される双方向通信システムにおける通信制御方法において、
第１の通信機側で、第２の通信機側からの通信の制御に用いられるべき情報であって、受信側として得られる制御情報を、該第２の通信機側に送るべき通信データに埋め込み、
第２の通信機側で、第１の通信機側から送られた制御情報を用いて、第１の通信機側への通信を制御することを特徴とする双方向通信システムにおける通信制御方法。
【発明の詳細な説明】
【技術分野】  本発明は双方向通信システムに係わり、更に詳しくは、例えば双方向のパケット音声伝送システムなどにおいて、音声符号化データに任意の他のデータを埋め込んで通信を行っている場合に、送信側から受信側への通信の制御に用いられる情報であって、受信側で得られる制御情報を任意の他のデータの代わりに埋め込んで送信側に送り、送信側においてその制御情報を用いて通信の制御を行う双方向通信システム、システム内の通信機、および通信制御方法に関する。
【背景技術】  近年のコンピュータやインターネットの普及に伴って、マルチメディアコンテンツ（静止画、動画、オーディオ、および音声など）に特殊なデータを埋め込む電子透かし技術が注目されている。このような技術は、コンテンツにその作成者や販売者などの名前を埋め込んで、不正コピーやデータの改ざんなどを防止する著作権保護を目的とすることが多いが、その他にもコンテンツに関連する情報や付加情報を埋め込んで、コンテンツ利用時における利用者の利便性を高めることを目的としても用いられる。
ＩＰ（インターネット・プロトコル）ネットワークを使って、音声データを送受信する技術としてのＶｏＩＰ（ボイス・オーバーＩＰ）などの音声通信の分野でも、音声データに対して任意のデータを埋め込んで伝送するシステムが用いられている。図１８はそのようなデータ埋め込み技術が適用された音声通信システムの従来例を示す。
図１８において、音声コーデック（符号器）５０はユーザ１からの入力音声を音声符号に符号化するにあたって、音声以外の任意のデータ系列を音声符号に埋め込んで、通信相手側に伝送する。この時音声符号のフォーマットを変えずにデータの埋め込みを行うことができれば、音声符号の情報量は増加しない。
復号器５１は、伝送された音声符号から埋め込まれた任意のデータ系列を抽出すると共に、通常の復号処理によって再生音声をユーザ２に対して出力する。この時、データ埋め込みが再生音声の品質にほとんど影響がないように行われていれば、再生音声の音質は埋め込みを行わない場合とほとんど差が生じない。以上の構成によって、データの伝送量を増加させることなく、音声とは別に任意のデータを伝送することが可能となる。またデータが埋め込まれていることを知らない第３者にとっては、通常の音声通信としか認識されないことになる。
また、音声通信システムでは、伝送効率や、音声品質の向上のために様々な技術が用いられる。その中の１つとして、受信側で得られる情報を利用して、送信側での伝送制御を行う手法がある。例えば伝送路（通信回線）の状況に応じて伝送する情報量を適応的に切り替えるというような方法が用いられる。図１９はこのような伝送制御を行う音声通信システムの第１の従来例を示す。図１９では簡単のために、Ａ側からＢ側への通信の制御のために用いられるべき制御情報が、Ｂ側でＢ側情報として得られる場合を説明しているが、逆の場合もあることは当然である。
図１９においてＢ側では、Ａ側から受信した音声データの情報から伝送路の状況、例えばＶｏＩＰでは伝送パケットのヘッダ情報から伝送路の遅延、ゆらぎ、誤り率などの情報を得ることができる。この伝送路情報は、制御データ回線を介してＡ側に伝送され、Ａ側では伝送制御部５２によって伝送の制御に使用される。
例えば伝送路の負荷が大きい場合には伝送量を下げることにより、音質が劣化しても音声回線の確保を優先させ、負荷が小さい時には伝送量を上げて十分な音声品質を確保するというように適応的な伝送制御を行うことが可能となる。
図２０はこのような伝送制御を行う双方向音声通信システムの第２の従来例を示す。同図においては、Ｂ側情報は図１９のように専用の制御データ回線を介してＡ側に送られるのではなく、多重回線を用いて音声データと共に多重部５３によって多重化されて送られ、Ａ側では分離部５４によって分離されて、伝送制御に用いられる。
データの埋め込みに関する従来技術として、次のような４つの文献がある。まず文献１では、１画面分の画像情報に他の種類の情報を埋め込んで圧縮符号化する画像符号化装置が開示されている。すなわち離散コサイン変換によって生成された変換係数のうちで、交流成分で所定の規準を満たす変換係数の下位の桁を、他の情報から切り出した部分情報で置き換える技術が開示されている。
文献２では、ディジタル音声データの下位ｎビットに文字情報、画像情報などを符号化したデータを構成するビットを埋め込んで、通信を行う音声通信方法が開示されている。
文献３では、無線の音声チャネルを対象として、本発明の実施形態においても後述する適応符号帳、および固定符号帳に対するゲインを０にセットして、一方、または両方の符号帳の出力に割り当てられたビットで非音声情報を送る技術が開示されている。
文献４では、後述するＣＥＬＰ（コード・エキサイテッド・リニア・プレディクション）符号化方式を対象として、送信側と受信側とで共有される特定の鍵を使用した電子透かし技術が開示されている。
文献１）特開２０００−２８７２０９「画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法」
文献２）特開平９−２１４６３６号公報「データ埋め込み音声通信方法及び装置」
文献３）特開２０００−２０９６６３「音声チャネル上で非音声情報を送信する方法」
文献４）特開平１１−２７２２９９号公報「音声符号化時の透かしビットの埋込方法」
以上に述べた従来技術における問題点について説明する。まず図１９、および図２０で説明した従来例においては、受信側から送信側に制御用情報を伝送するためには専用の制御データ回線を用意するか、音声情報との多重化伝送が必要となる。このように他の伝送路を確保したり、音声情報とは別に制御用情報を伝送するための伝送量の増加を考慮しなければならないという問題点があった。
次に文献１や文献２では、画像データ内や音声データ内の他のデータの埋め込み位置などの埋め込みパラメータを送受信側であらかじめ定義し、データの埋め込みおよび抽出を行うことになるが、このようなデータの埋め込み位置、例えば文献２ではｎの値を変化させる場合には、例えば送信側から変化後の値を制御用のパラメータとして送る必要があるが伝送路の状態によってそのようなデータが消失した場合には、受信側では受信した音声符号のどの位置にデータが埋め込まれているかを正確に判定することができなくなるという問題点があった。
特に過去のフレームの状態が現在のフレームの状態に影響するような場合には伝送パラメータが正常値に戻るのに時間を要する。音声データについては音質劣化の極端な悪化を防止する誤り隠蔽技術も適用可能であるが伝送パラメータや埋め込みデータそのものについては大きな問題となる。
また文献２および文献３では、例えばｎの値の大小などによって音声信号の劣化が生じるという問題点があった。文献４においても鍵の盗用によってデータの改ざんなどが可能となるという問題点の他に、固定符号帳のパルスの位置に対応してデータの埋め込みの有無が確率的に制御されるために、データ埋め込みによる音質劣化が生ずる可能性が高いという問題点がある。
本発明の課題は、上述の問題点に鑑み、音声符号データのフォーマットはそのままで、制御用情報を伝送する伝送路を別に確保することなく、また制御用情報の伝送による伝送量を増加させることなく、受信側で得られる情報を利用して送信側から受信側への通信の制御を行うことである。
また本発明の課題は、伝送路の状態によって通信エラーが生じた場合にも、埋め込みデータの再送を行うことによって埋め込みデータの消失を防止することである。
【発明の開示】
本発明の通信機は、双方向通信システム、すなわち通信回線を介して相互に接続される複数の通信機から成るシステムを構成するものであり、少なくとも制御情報埋め込み手段を備える。
制御情報埋め込み手段は、送信側からの通信の制御に用いられるべき情報であって、受信側で得られる制御情報を、通信回線を介して送信側に送るべき通信データに埋め込むものであり、例えば制御情報として送信側から受信側への通信回線の状態を示す情報を埋め込む。
本発明の双方向通信システムにおいては、少なくとも第１の通信機と第２の通信機とが通信回線によって接続される。第１の通信機は第２の通信機から自通信機への通信の制御に用いられるべき情報であって、自通信機側で得られる制御情報を、第２の通信機側に送るべき通信データに埋め込む制御情報埋め込み手段を備え、第２の通信機は送られた制御情報を用いて自通信機から第１の通信機への通信を制御する通信制御手段を備える。
また本発明の通信制御方法においては、第１の通信機側で、第２の通信機側からの通信の制御に用いられるべき情報であって、受信側として得られる制御情報を第２の通信機側に送るべき通信データに埋め込み、第２の通信機側で、送られた制御情報を用いて第１の通信機側への通信を制御する方法が用いられる。
【図面の簡単な説明】  図１は、本発明の原理構成ブロック図である。
図２は、本発明の双方向通信システムの第１の基本的な構成例を示すブロック図である。
図３は、本発明の双方向通信システムの第２の基本的な構成例を示すブロック図である。
図４は、ＣＥＬＰ音声符号化方式の符号化処理の説明図である。
図５は、ＣＥＬＰ音声符号化方式の復号処理の説明図である。
図６は、本実施形態における音声符号の標準フォーマットを示す図である。
図７は、代数符号帳におけるパルスの位置を示す図である。
図８は、本実施形態においてデータが埋め込まれた音声符号フォーマットを示す図である。
図９は、図８における制御用コードの説明図である。
図１０は、双方向通信システムの第１の実施形態を示す構成ブロック図である。
図１１は、埋め込み制御部の処理フローチャートである。
図１２は、エラー検出以前の抽出制御部の処理フローチャートである。
図１３は、エラー検出以後の抽出制御部の処理フローチャートである。
図１４は、データ抽出部の処理フローチャートである。
図１５は、双方向通信システムの第２の実施形態の構成ブロック図である。
図１６は、双方向通信システムの第３の実施形態の構成ブロック図である。
図１７は、埋め込みデータ制御部の機能的な構成を示すブロック図である。
図１８は、従来の音声通信システムにおけるデータ埋め込み技術の適用の説明図である。
図１９は、制御用データを伝送する双方向通信システムの第１の従来例を示す図である。
図２０は、制御用データを伝送する双方向通信システムの第２の従来例を示す図である。
【発明を実施するための最良の形態】  図１は本発明の双方向通信システムの原理的な構成ブロック図である。同図において（第１）の通信機１は制御情報埋め込み手段３を備え、（第２）の通信機２は通信制御手段４を備える。
制御情報埋め込み手段３は、通信相手側としての通信機２から自通信機１への通信の制御に用いられるべき情報であって、通信機１側で得られる制御情報を、通信機２側に送るべき通信データに埋め込むものであり、通信制御手段４は通信機１から通信データに埋め込まれて送られる制御情報を用いて通信機２から通信機１への通信を制御するものである。
発明の実施の形態においては、図１の通信機２から通信機１への通信における主たる通信データの中に任意のデータが埋め込まれて通信が行われている時、通信機１が通信エラーを検出するエラー検出手段を更に備え、通信エラーが検出された時、制御情報埋め込み手段３が制御情報としてエラー検出情報を埋め込み、通信機２が通信機１から送られたエラー検出情報に対応して、任意の他のデータの埋め込みの再実行を制御する埋め込み再実行制御手段を更に備えることもでき、また通信機１が通信機２から送られる主たる通信データの中に埋め込まれた任意の他のデータの正常受信量を監視する抽出データ監視手段を更に備え、通信エラーが検出された時、制御情報埋め込み手段３がエラー検出情報に加えてエラー検出以前のデータ正常受信量を示す情報を埋め込み、通信機２側の埋め込み再実行制御手段がデータ正常受信量によって示される部分を除いて、任意のデータの埋め込み再実行を制御することもできる。
また本発明において、双方向通信システムにおける通信機１は少なくとも前述の制御情報埋め込み手段３を備える。実施の形態においては、制御情報埋め込み手段３によって埋め込まれる制御情報は送信側から受信側への伝送路（通信回線）の状態を示す情報であることもできる。
また実施の形態において通信機１は、送信側から受信側への通信において主たる通信のデータの中に任意の他のデータが埋め込まれて通信が行われている時、通信のエラーを検出するエラー検出手段を更に備え、伝送路の状態によって通信エラーが検出された時、制御情報埋め込み手段３がエラー検出情報を制御情報として埋め込むこともできる。また受信機１が通信データのエラーが検出される以前の任意の他のデータの正常受信量を監視する正常データ受信量監視手段を更に備え、通信データエラーの検出時点で、制御情報埋め込み手段３がエラー検出情報に加えて更に正常データ受信量を埋め込むこともできる。
更に実施の形態においては双方向通信システムがＣＥＬＰ（コード・エキサイテッド・リニア・プレディクション）符号化方式を用いる音声通信システムであって、音声符号データに他の任意のデータを埋め込む時、音声符号データ内で埋め込みの有無を判定するために用いられる判定パラメータ、判定のための閾値、および音声符号データ内のデータ埋め込み対象パラメータを、送信側と受信側とで合意して埋め込みを行うこともできる。
実施の形態において、受信側から送信側への通信における主たる通信データの中に任意の他のデータを埋め込んで通信を行っている状態で送信側からの通信の制御に用いられるべき制御情報が受信側で得られた時、制御情報埋め込み手段３がその任意の他のデータよりも制御情報を優先させて埋め込むこともできる。
また本発明の通信制御方法においては、第１の通信機側で、第２の通信機側からの通信の制御に用いられるべき情報であって、第１の通信機側で得られる制御情報を、第２の通信機側に送るべき通信データに埋め込み、第２の通信機側で、第１の通信機側から通信データに埋め込まれて送られた制御情報を用いて、第１の通信機側への通信を制御する通信制御方法が用いられる。
以上のように本発明によれば、送信側から受信側への通信の制御に用いられるべき情報であって、受信側で得られる制御情報が、受信側から送信側への通信データに埋め込まれて送信側に送られ、通信の制御に用いられる。
図２は本発明の実施形態における双方向通信システムの第１の基本構成を示すブロック図である。同図において、Ａ側の通信機１１ａとＢ側の通信機１１ｂとの間で、双方向通信、例えば音声通信が行われる。
同図において通信機１１ａから通信機１１ｂに向けて行われる通信、すなわち音声データ回線を介した音声符号の伝送の制御のために、Ｂ側で得られる情報が使用されるものとする。Ｂ側の音声コーデック（符号器）１２ｂによって符号化された入力音声に対して、データ埋め込み部１４によって、Ｂ側で得られた情報が埋め込まれ、音声データ回線を介してＡ側の通信機１１ａに送られる。このＢ側情報の埋め込みにおいては、後述するようにＣＥＬＰ（コード・エキサイテッド・リニア・プレデクション）方式を用いたデータ埋め込みが使用される。
通信機１１ａ側では、データ抽出部１５ａによってＢ側から送られてきた音声符号からＢ側情報、すなわちＢ側で得られ、Ａ側からＢ側への通信の制御に用いられるべきＢ側情報が抽出され、抽出後の音声データは音声コーデック（復号器）１３ａによって復号され、出力音声として出力される。
Ｂ側情報は伝送制御部１６に与えられ、伝送制御部１６からの伝送制御信号として、音声コーデック（符号器）１２ａから出力される音声符号のＢ側への伝送制御のために使用され、Ｂ側情報によって制御された音声符号は音声データ回線を介してＢ側の音声コーデック（復号器）１３ｂに与えられ、復号後のデータが出力音声として出力される。
図３は本実施形態における通信システムの第２の基本構成を示すブロック図である。同図においては、図２と異なり、Ａ側の通信機１１ａの内部のデータ埋め込み部１４ａによって音声コーデック（符号器）１２ａの出力としての音声符号データに伝送制御部１６を介して与えられる任意のデータ、例えば音声とは異なるメディアのデータが埋め込まれ、埋め込み後の音声符号データが音声データ回線を介してＢ側に送られる。
Ｂ側では、データ抽出部１５ｂによって音声符号データから埋め込まれた任意のデータが抽出され、抽出データとしてＢ側で使用される。
前述のようにＡ側で音声符号データに埋め込まれた任意のデータが消失した場合には、例えばその再送が必要となる。従って通信エラーが検出された場合、例えば伝送パケットのヘッダに格納されているシーケンス番号の抜けが検出された場合には、その検出結果は誤り情報として、Ｂ側の通信機１１ｂ内のデータ埋め込み部１４ｂに、図２におけるＢ側情報に相当する情報として与えられ、図２におけると同様に音声符号データに埋め込まれてＡ側に送られ、その誤り情報がデータ抽出部１５ａによって抽出されて伝送制御部１６に与えられ、伝送制御部１６によって任意のデータの埋め込み、すなわち再送が制御されて、任意のデータは音声符号データに埋め込まれてＢ側に再び伝送される。
図２，図３においては、Ｂ側で得られる情報が、Ａ側からＢ側への通信における制御情報として用いられる場合を説明したが、ここで行われる通信は双方向通信であり、逆にＡ側で得られる情報であって、Ｂ側からＡ側への通信の制御のために用いられるＡ側情報が音声符号データに埋め込まれてＡ側からＢ側に送られることも当然可能である。
本発明の実施形態について更に説明する前に、本実施形態で使用されるデータの埋め込み方法について、図４〜図９を用いて説明する。
データの埋め込み方法としては様々な方法が提案されているが、ここでは国際標準化機関であるＩＴＵ−Ｔ（国際電信連合、電信電話標準化部門）の定めるＧ．７２９などの音声符号化技術や、移動体通信の分野における３ＧＰＰ（第３世代パートナーシップ・プロジェクト）が定めるＡＭＲ（アダプティブ・マルチ・レート）などの音声符号化技術のベースアルゴリズムであるＣＥＬＰ方式に対してデータ埋め込みを行う方法について説明する。
この方法の特徴は、第１に符号化データのフォーマットを変更することなく任意のデータの埋め込みが可能であり、第２に再生音質への影響を小さくおさえながら任意のデータを埋め込むことが可能であり、第３に再生音質への影響を予測しつつ埋め込みデータ量を調整可能であり、第４にＣＥＬＰ方式をベースとする幅広い方式に適用可能であることである。
図４はＣＥＬＰ音声符号化方式の送信側処理、すなわち符号化処理の説明図である。ＣＥＬＰは人間の音声生成モデルを用いた分析によって、入力音声からパラメータを抽出し、そのパラメータを伝送する技術である。まず入力音声から、ＬＰＣ分析部３０によってＬＰＣ（線形予測係数）が抽出される。この係数は人間の発声における声道特性を、全極型の線形フィルタで近似した係数である。この係数はＬＳＰ変換および量子化部３１によって周波数特性を表すパラメータとしてのＬＳＰ（線スペクトル対）などに変換されて量子化された後に、受信側に伝送される。
次に音源信号に対するパラメータが抽出される。すなわち複数の候補が符号帳として用意され、音源として最適な系列（符号語）が選択され、選択された符号語はその格納場所を表すインデックスとして伝送される。符号帳は、周期（ピッチ）を表現するための適応符号帳３４と、雑音系列を表現するための固定符号帳３５の２種類で構成されている。また各符号語の振幅調整のための利得（ゲイン）も量子化され、パラメータとして転送される。
図５はＣＥＬＰ音声符号化方式の受信側処理、すなわち復号処理の説明図である。この復号処理では音声生成系を擬似する処理が行われる。すなわち送信側から送られたインデックスによって、適応符号帳４３と固定符号帳４４内の符号語が選択され、この符号語と利得の情報を用いて音源信号Ｒが生成され、送信側から送られたＬＳＰの変換結果としてのＬＰＣを用いる合成フィルタ４１によって音声が再生される。このようにＣＥＬＰ方式によって符号化された伝送パラメータは音声生成系の特徴パラメータと対応し、この伝送パラメータを使用することによって、次式によって再生音声が求められることになる。
Ｓｒｐ＝ＨＲ＝Ｈ（ｇｐＰ＋ｇｃＣ）
ここで、Ｓｒｐ：再生音声、Ｒ：音源信号、Ｈ：合成フィルタ、ｇｐ：適応符号語利得、Ｐ：適応符号語、ｇｃ：固定符号語利得、Ｃ：固定符号語
このように音源信号としての２種類の符号語、すなわちピッチに対応する適応符号語と、雑音に対応する固定符号語に対するそれぞれの利得が、各符号語の再生音声に対する寄与の程度を示すファクタとなる。すなわち利得が小さい場合には、対応する符号語の寄与の程度が小さくなる。
そこでこの利得（ゲイン）を判定パラメータとして利用し、ある閾値以下となる場合には対応する符号語の寄与の程度が小さいと判断して、符号語に対するインデックスに代わって任意のデータを埋め込むことができる。これによりデータ埋め込みの影響を小さくおさえることが可能となり、更に閾値を制御することによって、再生音質への影響を予測しつつ、埋め込みデータ量を調整することができる。
閾値の初期値のみを送信受信の双方であらかじめ定義しておけば、閾値としての判定パラメータ、および埋め込み対象パラメータとしてのインデックス、または任意のデータを使用することにより、埋め込みデータの書き込み／読み出しが可能となる。また任意のデータとして制御コードなどを定義しておくことによって、閾値の変更なども可能となり、別経路での制御情報の伝送などを行うことなく、埋め込みデータ伝送量の調整も可能である。
このようにＣＥＬＰ方式を基礎とすることによって、音声符号フォーマットを変更することなく、任意のデータの音声符号データへの埋め込みが可能となる。すなわち通信システムにおける基本方式を損なうことなく、またユーザに知られることなく、ＩＤや他のメディアの情報を音声情報に埋め込んで伝送することができる。また利得、適応／固定符号帳など、ＣＥＬＰに共通したパラメータを利用することによって、幅広い方式に適用することが可能となる。
図６〜図９は、本実施形態におけるデータ埋め込みのための音声符号フォーマットの説明図である。本実施形態においては、前述の雑音に対する固定符号帳として代数符号長を使用することにし、図６は音声符号フォーマットの標準形式を示す。同図は任意データの埋め込みを行わない場合を示し、音声符号には適応符号帳のインデックスとゲインに加えて、代数符号帳のインデックスとゲインが格納され、代数符号帳インデックスは埋め込み対象パラメータ、すなわち任意データの埋め込みが可能な領域として用いられ、代数符号帳ゲインは埋め込み判定パラメータ、すなわち閾値と比較されるべきパラメータの格納領域として用いられる。
ここで代数符号帳について図７を用いて更に説明する。代数符号帳は、音源信号に含まれる雑音成分の量子化に用いられるものであり、振幅が１、または−１の複数のパルスから構成される。図７はＧ．７２９で採用されている代数符号帳におけるパルスの位置を示す。Ｇ．７２９ではフレーム長８０サンプル（１０ｍｓ）が、２つのサブフレーム４０サンプル（５ｍｓ）に分割され、雑音成分の量子化が行われる。そして１サブフレームあたり、４本のパルスが配置される。
図７においてパルス系統０〜３は４本のパルスを示し、各パルスに対応して４０サンプルのうちでパルスを配置することが可能なパルスの位置が示されている。
代数符号帳の検索においては、このパルスの位置と振幅（符号）の組合せの中から、再生領域で入力音声との誤差電力が最も小さくなる組合せが決定され、そのパルスの位置の情報と符号情報とが、代数符号帳インデックスとして受信側に伝送される。
Ｇ．７２９の場合には、パルス系統０〜２のそれぞれのパルスの位置（８箇所）を３ビット、パルス系統３のパルスの位置（１６箇所）を４ビット、４つの各パルスの符号（−１、または１）を１ビットで量子化する。従ってサブフレーム毎の代数符号のビット数は１７ビットとなり、フレーム毎に３４ビットの代数符号が出力される。
図８は、代数符号帳インデックスの代わりに任意のデータが埋め込まれた場合のフレームフォーマットである。埋め込み判定パラメータとしての代数符号帳ゲインがあらかじめ定められた閾値以下の場合に、図６の埋め込み対象パラメータとしての代数符号帳インデックスの位置に任意のデータが埋め込まれる。
前述のように、埋め込み対象パラメータとしての代数符号帳インデックスのビット数は１フレームあたり３４ビットであるが、これを一般的にＭビットとすると、そのＭＳＢの１ビットの内容によって埋め込みデータが、例えば他のメディアの任意のデータであるか、あるいは通信機相互間で通信制御のために用いられるべき制御用コードであるかが区別される。ＭＳＢを“０”にセットすることによって、残りの（Ｍ−１）ビットは任意のデータであることが示され、またＭＳＢを“１”にセットすることにより、残りの（Ｍ−１）ビットが制御用コードであることが示される。
図９は、図８における制御用コードの内容の例の説明図である。前述のように、
埋め込み対象パラメータＭビットのＭＳＢ１ビットを除く（Ｍ−１）ビットは、制御用コードの格納領域として用いられるが、例えばそのうち更にＭＳＢ側の３ビットが制御種別認識データ、残りの（Ｍ−４）ビットが制御データの格納のために用いられる。
本実施形態では、制御種別認識データの種類として埋め込み開始、埋め込み終了、埋め込み停止、埋め込み再送開始、および誤り検出情報の少なくとも５つを用いることにし、その区別のために制御種別認識データ３ビットが用いられる。
受信側のデータ抽出部では、この制御種別認識データを参照することによって、制御の内容を認識することができる。誤り検出情報の場合には、後述のように例えば制御データの部分に正常受信データ量などの情報が格納されて伝送される。制御データとして特別なデータが必要ない場合には、制御データとして任意のビット系列、例えばランダムビット系列が格納されて伝送される。
続いて本発明における通信システムの実施形態について更に詳細に説明する。図１０は双方向通信システムの第１の実施形態の構成ブロック図である。第１の実施形態として、図３におけると同様に、Ａ側からＢ側に対して音声符号に対して任意の埋め込みデータが埋め込まれて伝送されている時、伝送路誤りによって通信エラーが生じ、それがＢ側において検出されて、誤り情報としてＢ側からＡ側に送られる音声符号データに埋め込まれて、Ａ側に伝送され、Ａ側において任意の埋め込みデータのＢ側への再送が埋め込みデータの最初から行われる実施形態を説明する。
なお本発明の実施形態のすべてにおいては、Ｂ側からＡ側に対しても任意の埋め込みデータが音声データに埋め込まれて伝送されている状態で誤り検出情報などの制御用コードを送る必要が生じたときには、任意のデータよりも制御用コードが優先されて、前述の代数符号帳インデックスの格納領域に埋め込まれて伝送される。
図１０において、データ抽出部１５ａ，１５ｂは、図３と異なり送信側から音声符号データが送られる音声データ回線に直接接続されてはいないが、その作用は基本的に同じである。抽出制御部１７ｂは、Ａ側から送られる音声符号データに埋め込まれている、例えば任意の埋め込みデータの抽出を制御するものであり、
後述の図１１で説明するようにスイッチＳ２の開閉を制御して、データ抽出部１５ｂによるデータ抽出を制御する。また抽出制御部１７ａは、例えばＢ側から音声符号データに埋め込まれて伝送される誤り情報のデータ抽出部１５ａによる抽出を制御するものである。
誤り検出部１８は、Ａ側から送られた音声符号データから伝送路誤りによる通信エラーを検出する。この誤り検出方法としては、前述のようにパケットのシーケンス番号の抜けを検出したり、あるいは例えば音声符号データに付加されている誤り検出コードのビット誤りの検出を行うなど、任意の方法を使用することができる。
誤りが検出された場合、誤り検出部１８は抽出制御部１７ｂと埋め込み制御部１９ｂとに誤り検出信号を出力し、抽出制御部１７ｂはスイッチＳ２を開いてデータ抽出部１５ｂによるデータ抽出を停止させると共に、埋め込み制御部１９ｂによってスイッチＳ３を閉じさせ、埋め込みデータ制御部２０ｂの出力する誤り情報が、データ埋め込み部１４ｂによって音声符号データに埋め込まれ、Ａ側に伝送される。
Ａ側では、伝送されてきた音声符号データからデータ抽出部１５ａによって誤り情報が抽出され、抽出された誤り情報は埋め込みデータ制御部２０ａに与えられ、埋め込みデータ制御部２０ａは任意の埋め込みデータの再送を制御する。
図１１は図１０における埋め込み制御部１９ａ，１９ｂの処理フローチャートである。同図において入力フレームに対する処理が開始されると、ステップＳ１で音声ＣＯＤＥＣ（符号器）から入力された音声符号データから代数符号帳ゲインの値が抽出され、ステップＳ２でそのゲインの値が閾値未満であるか否かが判定され、閾値未満である場合にはステップＳ３でスイッチＳ１、またはＳ３が閉じられて、そのフレームに対する処理を終了する。またステップＳ２でゲインが閾値以上である場合には、ステップＳ４でスイッチＳ１、またはＳ３が開けられて、そのフレームに対する処理を終了する。
図１２、および図１３は抽出制御部１７ａ，１７ｂの処理フローチャートであり、図１２は通信エラーが検出される以前の処理を、図１３は検出以後の処理を示す。
図１２において処理が開始されると、ステップＳ６、およびＳ７で、図１１におけると同様に代数符号帳のゲインが抽出され、閾値と比較される。ゲインが閾値未満である場合には、ステップＳ８で誤り検出信号が誤り検出部１８から受信されているか否かが判定され、受信されていない場合にはステップＳ９でスイッチＳ２、またはＳ４が閉じられてそのフレームに対する処理を終了し、ステップＳ７でゲインが閾値の値以上である場合、またはステップＳ８で誤り検出信号が受信されている場合には、ステップＳ１０でスイッチＳ２、またはＳ４が開けられて、そのフレームに対する処理を終了する。なお誤り検出部１８による誤りの検出は、データ抽出部によるデータ抽出、および音声復号器によるデータ復号の前に行われるものとする。
図１３において処理が開始されると、ステップＳ６，Ｓ７の処理が行われ、ゲインの値が閾値未満である場合にはステップＳ１１で代数符号帳インデックス、すなわち図８で説明した埋め込み対象パラメータとしての埋め込みデータが抽出され、ステップＳ１２でのその埋め込みデータに図９で説明した埋め込み再送開始の制御用コードが含まれているか否かが判定され、含まれている場合にはステップＳ９でスイッチＳ２、またはＳ４が閉じられて、そのフレームに対する処理を終了する。
またステップＳ７でゲインの値が閾値以上である場合、およびステップＳ１２で埋め込みデータに埋め込み再送開始の制御用コードが含まれていない場合には、ステップＳ１０でスイッチＳ２、またはＳ４が開けられて、そのフレームに対する処理を終了する。すなわち誤りが検出された後には、ゲインが閾値未満であっても、埋め込み再送開始の制御用コードが検出されるまでは、データ抽出部によるデータの抽出は行われない。
図１４はデータ抽出部１５ａ，１５ｂの処理フローチャートである。同図において処理が開始されると、ステップＳ１５で代数符号帳インデックスに相当する埋め込みデータが抽出され、ステップＳ１６でそのＭＳＢ側の１ビットの値が“０”であるか否かが判定され、“０”である場合にはステップＳ１７で任意の抽出データに対する処理が行われて処理を終了する。またＭＳＢ側の１ビットの値が“１”である場合には、ステップＳ１８で制御用コードに対する処理が行われて処理を終了する。
図１５は双方向通信システムの第２の実施形態の構成ブロック図である。同図を図１０の第１の実施形態と比較すると、Ｂ側にデータ抽出部１５ｂに接続された抽出データ監視部２１が備えられている点が基本的に異なっている。この抽出データ監視部２１は、図９で説明したように、制御用コードとして埋め込み開始を示すコードが埋め込まれたデータがＡ側から伝送された時点以後に、データ抽出部１５ｂによって抽出された抽出データ量、すなわち正常データ受信量を監視するものであり、誤り検出部１８によって通信エラーが検出された時点で、その正常データ受信量を埋め込みデータ制御部２０ｂに出力する。埋め込みデータ制御部２０ｂは、図１０で説明した誤り検出のみを示す誤り情報にこの正常データ受信量を付け加え、この正常データ受信量が図９の制御データとして格納されてデータ埋め込みが行われ、Ａ側への伝送が行われる。
Ａ側では、データ抽出部１５ａによって抽出された誤り情報の内部の正常データ受信量が埋め込みデータ制御部２０ａに与えられ、埋め込みデータ制御部２０ａは、埋め込みデータのうちでＢ側ですでに正常に受信されたデータを除いて埋め込みデータの再送を制御する。これによって、第１の実施形態としての図１０におけると異なってＢ側ですでに正常に受信されている埋め込みデータの再送を省略することができる。
本実施形態においては、１フレームあたり前述のように３３ビットまでの範囲で任意データの埋め込みが行われるために、１つの埋め込みデータが大量のデータである場合には、多数のフレームにデータが分割されて埋め込まれることになるが、このように埋め込みデータの再送においてＢ側で正常に受信されたデータを除いて再送を行うことが可能となる。なお埋め込みデータ制御部２０ａによる処理については、次の第３の実施形態と関連させて説明する。
図１６は双方向通信システムの第３の実施形態の構成ブロック図である。この第３の実施形態においては、本来通信が双方向のものであることに関連して、図１５までの説明において任意データの埋め込みがＡ側からＢ側への音声符号データに対してのみ行われるものとする、簡単化された説明と異なり、Ｂ側からＡ側に伝送される音声符号データに対しても任意のデータの埋め込みが行われる場合のシステム構成を示す。
従って図１６において、Ａ側にも誤り検出部１８ａ、および抽出データ監視部２１ａが備えられる。Ｂ側からＡ側への通信において伝送路誤りなどによる通信エラーが監視される場合について説明すると、そのエラーは誤り検出部１８ａによって検出され、その検出時点までＡ側で抽出されたデータ量すなわちＡ側正常データ受信量が、埋め込みデータ制御部２０ａによる制御によって、誤り検出を示す誤り情報と共に、データ埋め込み部１４ａによって音声符号データに埋め込まれ、Ｂ側に伝送される。
Ｂ側では、データ抽出部１５ｂによって抽出されたＡ側誤り情報の内部のＡ側正常データ受信量を用いて、Ａ側での誤り検出以前に正常に受信されたデータを除いて、埋め込みデータの再送が埋め込みデータ制御部２０ｂによって制御される。なお図１５において抽出データ監視部２１から埋め込みデータ制御部２０ｂに出力される正常データ受信量は、図１６ではＢ側正常データ受信量に相当し、またデータ抽出部１５ａから埋め込みデータ制御部２０ａに出力される誤り情報はＢ側誤り情報に相当する。
図１７は埋め込みデータ制御部の動作を示す機能的な構成ブロック図である。同図において、通常の任意データの埋め込みの場合にはスイッチＳが端子ｂ側に閉じられ、埋め込みデータ読み込み部２２によって読み込まれた任意データがデータ埋め込み部に出力される。埋め込みデータ読み込み部２２は埋め込みデータのうちの３３ビットを読み込み、前述のようにＭＳＢ側に１ビットの、任意データと制御用コードとを識別するための識別情報、ここでは“０”を追加して、３４ビットのビット系列を出力する。
制御用コード生成部２３は、必要に応じて制御コードを生成し、出力制御部２４に対して制御コード出力通知を送り、これに対応して出力制御部２４によってスイッチＳが端子ａ側に切り替えられ、制御用コードがデータ埋め込み部に出力される。
例えば埋め込みデータが埋め込みデータ制御部２０ａに最初に与えられた時、あるいは埋め込みデータの埋め込みが終了した時には、埋め込みデータ読み込み部２２から制御用コード生成部２３に対してデータ有無の通知が与えられる。制御用コード生成部２３はこの通知に対応して、前述の埋め込み開始、または埋め込み終了の制御種別認識データを含む制御用コードを生成して、データ埋め込み部に出力する。すなわち制御の内容に応じて、例えばランダムビット系列を含む３３ビットの制御コードを生成し、ＭＳＢ側に１ビットの認識情報として“１”を追加し、３４ビットのビット系列を出力する。
図１６において、Ａ側正常データ受信量が抽出データ監視部２１ａから埋め込みデータ制御部２０ａに与えられると、図１７の制御用コード生成部２３によって図９の制御データの部分にＡ側正常データ受信量が格納された制御用コードが作成され、データ埋め込み部１４ａに出力され、音声符号データに埋め込まれてＢ側に伝送され、Ｂ側のデータ抽出部１５ｂによって抽出されてＡ側誤り情報として用いられる。
図１７のＢ側誤り情報処理部２５に与えられるＢ側誤り情報は、図１６のデータ抽出部１５ａから与えられるものであり、Ｂ側での正常データ受信量の情報を含んでいる。Ｂ側誤り情報処理部２５は、この受信データ量を埋め込みデータ読み込み部２２に出力すると共に、制御用コード生成部２３に対して誤り通知を出力する。
制御用コード生成部２３は、図９の埋め込み再送開始の制御種別認識データを含む制御用コードを作成し、これをデータ埋め込み部に出力する。埋め込みデータ読み込み部２２は、Ｂ側誤り情報処理部２５から通知された、Ｂ側で正常に受信されたデータ量を読み込みデータの最初から除いて、データ読み込みを開始し、Ｂ側に対して埋め込み再送開始コードが埋め込まれて制御用コードが伝送された後にスイッチＳが端子ｂ側に切り替えられ、読み込まれたデータがデータ埋め込み部に出力されて、音声符号データへのデータ埋め込みが再開される。
以上においては、ＣＥＬＰ方式を用いた双方向音声通信システムにおいてデータ埋め込みによる通信システムの制御について詳細に説明したが、本発明はＣＥＬＰ方式に限定されることなく、また音声通信システムに限定されることなく、各種の双方向通信システムにおいて適用可能であることは当然である。
以上詳細に説明したように本発明によれば、送信側からの通信の制御用の情報を、通信データのフォーマットを変更することなく通信データに埋め込んで伝送することが可能となり、制御用情報を伝送するための異なる伝送路の必要がなく、また制御用情報を伝送することによる通信データの伝送量を増加させることなく、受信側で得られる情報を利用して送信側の通信制御を行うことが可能となる。
また受信側で通信エラーを検出することにより埋め込みデータの再送を行うことも、更にエラー検出以前に正常に受信されたデータを除いて埋め込みデータの再送を行うことも可能となり、双方向通信システムにおける通信の実用性の向上に寄与するところが大きい。
【産業上の利用可能性】  本発明は、通信そのものを業務とする通信産業のみに限定されることなく、例えば本支店間、工場相互間など、双方向通信システムを用いた通信を利用するあらゆる産業において利用可能である。
【図１】
2004039037.tif 000003
【図２】
2004039037.tif 000004
【図３】
2004039037.tif 000005
【図４】
2004039037.tif 000006
【図５】
2004039037.tif 000007
【図６】
2004039037.tif 000008
【図７】
2004039037.tif 000009
【図８】
2004039037.tif 000010
【図９】
2004039037.tif 000011
【図１０】
2004039037.tif 000012
【図１１】
2004039037.tif 000013
【図１２】
2004039037.tif 000014
【図１３】
2004039037.tif 000015
【図１４】
2004039037.tif 000016
【図１５】
2004039037.tif 000017
【図１６】
2004039037.tif 000018
【図１７】
2004039037.tif 000019
【図１８】
2004039037.tif 000020
【図１９】
2004039037.tif 000021
【図２０】
2004039037.tif 000022
【国際調査報告】
2004039037.tif 000023
2004039037.tif 000024
2004039037.tif 000025
2004039037.tif 000026