(57)【特許請求の範囲】
【請求項１】
入力された音声を符号化して音声符号化データを出力する送話部と、
背景音符号化データを保持する背景音記憶部と、
前記送話部からの前記音声符号化データと前記背景音記憶部に保持された背景音符号化データとをデジタル多重化して多重化データを出力する多重部と、
前記多重化データを伝送路に出力する伝送路インタフェース部とを有し、
前記多重化部は、通信相手の装置が音声と背景音とを独立に復号化する機能を有する場合に、前記音声符号化データと前記背景音符号化データとをデジタル多重化して多重化データを前記伝送路インタフェース部に出力し、
通信相手の装置が音声と背景音とを独立に復号化する機能を有しない場合に、前記音声符号化データのみを前記伝送路インタフェース部に出力することを特徴とする通信装置。
【請求項２】
請求項１に記載の通信装置において、
前記背景音符号化データを復号化して背景音再生信号を出力する背景音再生部と、
前記伝送路インタフェース部で受信した音声符号化データを復号化して前記背景音再生信号と重ねて受話器に出力する受話部とを有することを特徴とする通信装置。
【請求項３】
請求項１又は２に記載の通信装置において、
前記背景音記憶部は複数の背景音を保持し、ユーザから選択された背景音の背景音符号化データを出力することを特徴とする通信装置。
【請求項４】
多重化データを受信する伝送路インタフェース部と、
前記伝送路インタフェース部で受信した多重化データから音声符号化データと第１の背景音符号化データとを分離して出力する多重分離部と、
第２の背景音符号化データを記憶する記憶部と、
入力されるデータを前記多重分離部から出力された前記第１の背景音符号化データまたは前記記憶部に保持された前記第２の背景音符号化データの何れかに切り替えるスイッチを有し、該切り替えに従って入力されたデータを復号化して背景音再生信号を出力する背景音再生部と、
前記多重分離部から出力された前記音声符号化データを復号化して前記背景音再生部から出力された前記背景音再生信号と重ねて受話器に出力する受話部とを有し、
前記背景音再生部は、前記出力する背景音再生信号の増幅利得を制御する増幅回路を含むことを特徴とする通信装置。
【請求項５】
請求項４に記載の通信装置において、
ユーザの背景音再生不要との指示に従って、前記第２の背景音符号化データを破棄することを特徴とする通信装置。
【請求項６】
多重化データを伝送路に入出力する伝送路インタフェース部と、
入力された音声を音声符号化して音声符号化データを出力する送話部と、
背景音符号化データを保持する背景音記憶部と、
前記送話部からの前記音声符号化データと前記背景音記憶部に保持された背景音符号化データとをデジタル多重化して多重化データを出力する多重部と、
前記伝送路インタフェース部で受信した多重化データを多重分離して声符号化データと背景音符号化データとを出力する多重分離部と、
前記背景音符号化データを復号化して背景音再生信号を出力する背景音再生部と、
前記音声符号化データを復号化して前記背景音再生信号と重ねて受話器に出力する受話部とを有し、
前記多重化部は、通信相手の装置が音声と背景音とを独立に復号化する機能を有する場合に、前記音声符号化データと前記背景音符号化データとをデジタル多重化して多重化データを前記伝送路インタフェース部に出力し、
通信相手の装置が音声と背景音とを独立に復号化する機能を有しない場合に、前記音声符号化データのみを前記伝送路インタフェース部に出力することを特徴とする通信装置。
【請求項７】
請求項４乃至６のいずれかの一に記載の通信装置において、
前記伝送路インタフェース部は通信相手の通信装置に対して前記背景音の送信を行わないことを要求する信号を出力することを特徴とする通信装置。
【発明の詳細な説明】
【０００１】
【発明の属する分野】
本発明は、携帯電話機やPHSなどデジタル通信回線を通信路として音声を送受信するための通信装置に関する。
【０００２】
【従来の技術】
従来の携帯電話やPHSなどのデジタル通信回線を用いて日常的な通話が行われているが、電話機から聞こえるのは互いの通話音声のみである。通話音声のみによる会話ではどうしても会話内容が事務的になり易い。雰囲気のある会話を実現するために、通話音声と背景音とを重ねて電話で送信することで、背景音を通話者間で共有するための発明がこれまでに幾つかなされてきた。
【０００３】
例えば、特開平１１−１９１７９６には、音声と背景音のアナログ波形を重ね合わせて送信する方法が示されている。
【０００４】
【発明が解決しようとする課題】
しかし、上記従来技術では、背景音の音量レベルや背景音そのものが受信者にとって好ましいものでない場合に、受信側で背景音の音量を調整したり、背景音だけを中止することができない。よって送信側は背景音の音量をどの値に設定すればよいか判断に迷うという問題があった。また背景音を送るか送らないかの決定権は常に送信側にあるために、受信側で最初から背景音の受信を拒絶することができないという問題があった。
【０００５】
また、通常の電話機では伝送される信号が帯域制限されているために、背景音信号も帯域制限されることにより音質が劣化する問題があった。
【０００６】
また、これまでの発明を従来の携帯電話機によって実現する場合、背景音送信側では通話音声と背景音とが重ね合わせられたアナログ波形を音声符号化して送信する必要があり、背景音受信側では前記音声符号化データを音声復号化して再生する必要がある。携帯電話機に採用されている音声符号化方式は、音声特有の性質を利用して圧縮効果を高めているため、背景音のような音声以外の符号化には適していない。従って従来の携帯電話機により、従来の背景音を共有するための発明を実現する場合、背景音の品質が損なわれてしまうという問題があった。
【０００７】
本発明の目的は、上記の事情により鑑みなされるものであり、通話中の会話を楽しくし、雰囲気を盛り上げるための通信装置を提供しようとするものである。また従来の技術では実現できなかった、双方の装置で背景音の音量を独立に調整する手段を提供し、なおかつ背景音の品質の向上を図ることを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の通信装置では、背景音送信部が、送話器からの送話音声を符号化したデータと背景音の符号化データとをデジタル多重化して送信する手段を備えることを特徴とする。このような特徴により、音声と背景音は符号化されたままでデジタル多重データとして送信されるため、通話音声と背景音の品質が損なわれない。
【０００９】
さらに、本発明の通信装置では、背景音送信側が前記背景音の符号化データを復号化して音量を制御して受話音に重ねる手段を備える。これにより、背景音送信側では、送信した背景音と受話音声とを重ねた音を聞くことができるため、通話相手と同じ背景音を聞くことができる。また送信する背景音データは符号化データのみであるため、送信側で背景音を好ましい音量に調整しても、受信側の背景音の音量には影響しない。したがって送信側では受信側の音環境を意識せずに、背景音の音量を自身の環境に適したレベルに調整することができる。
【００１０】
また、本発明の通信装置では、音声と背景音が多重化されたデータを受信し、この多重化データから複数の音データを抽出し、該音データを別々に復号化し、音量を制御し、加算して一つの音として出力する手段を備える。これにより、受信側では音声符号化データと背景音符号化データとを独立に復号化することが可能であるため、受話音声と背景音の品質が損なわれることなく重ねられて、受話器から聞くことができる。また背景音と受話音声とを独立に音量制御するため、受信側では背景音を好みの音量に調整することができる。
【００１１】
さらに、本発明の通信装置では、背景音を送信する側から背景音を受信する側に対して、
受信側が音声と背景音を独立に復号化する手段を備えるか否かを判別することを特徴としている。そして受信側が前記手段を備える場合には背景音を多重化して送信し、受信側が前記手段を備えない場合には背景音を多重化せずに、音声符号化データのみを送ることを特徴としている。このような特徴により、受信端末側が音声と背景音の多重分離手段を備えていない場合に、送話音声と背景音とを多重化したデータを送ってしまうことで、受信側で正しく再生できない問題を回避することが可能である。
【００１２】
また、本発明の通信装置では、背景音を受信する側が背景音を送信する側に対して、受信側に背景音を送信することの拒否、あるいは現在送信されている背景音の送信の中止を要求することを特徴としている。この特徴により、受信端末側で背景音を必要としない場合に、受信側の主導により背景音を中止することが可能となるので、不要な背景音を再生することを防ぐことができる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００１４】
図１３は、本発明の実施形態１における背景音送信用の通信装置である携帯電話機（以降、背景音送信端末と記す）の構成を示すブロック図である。図７は、本発明の実施形態１における背景音受信用の通信装置である携帯電話機（以降、背景音受信端末と記す）の構成を示すブロック図である。図１３および図７で示す携帯電話機は、デジタル無線回線を通信路とし、図１３は通話音声符号化データと背景音符号化データを多重化したデータを送信、図７は前記多重化データを受信できる通信装置である。
【００１５】
本実施形態１の携帯電話機は、通常の音声のみによる会話を行うための通常モード、背景音送受信のための手続きを行う制御モード、背景音を送信するための背景音送信モード、および背景音を受信するための受信モードとのいずれかのモードで動作する。すなわち、通常の会話を行っている状態である通話モードから、背景音送信端末が背景音送信モード、背景音受信端末が背景音受信モードとなり、背景音送信端末から背景音受信端末に対して背景音と音声を多重化したデータが送信される。逆方向で背景音は送信されない。これらの動作モードの流れについては後で詳しく述べる。
【００１６】
次に背景音送信端末の背景音送信モード、および背景音受信端末の背景音受信モードにおける動作について詳細を説明する。
【００１７】
まず図１３を参照して、背景音送信端末の背景音送信モードにおける詳細な動作を説明する。図１３において、２０aは伝送路インタフェース部、２１aは制御部、２３aは多重部、２５は背景音記憶部、２６aは受話部、２７は送話部、２８は通信制御部である。このように構成される背景音送信装置について、その機能、動作等を説明する。
【００１８】
送話部２７では送話者の音声が入力され、デジタル的に音声符号化された後、音声符号化データＤ３を出力する。一方、背景音記憶部２５では送信する背景音が選択され、背景音符号化データＤ４を出力する。音声符号化データＤ３と背景音符号化データＤ４は多重部２３aに入力される。多重部２３aでは、Ｄ３とＤ４がデジタル多重化された後、多重データＤ２を出力する。伝送路インタフェース部２０aでは、多重データＤ２を入力し、無線伝送路に出力するとともに、受信したデータＤ７を出力して受話部２６へ入力し、受話音声を再生させる。伝送路インタフェース部２０aでは、これらの機能に加え、通信制御信号を抽出して通信制御部２８a に入力し、後に示す通信チャネル確立のためのプロトコルの処理を行う。制御部２１aは上記の動作を実現するよう、制御信号を出力する。制御信号の詳細については後に詳しく述べる。
【００１９】
背景音記憶部２５は、多数の背景音符号化データを保持し、使用者の選択に応じて背景音符号化データＤ４を出力する。背景音記憶部２５の詳細な構成および動作を、図２を参照して説明する。図２は背景音記憶部２５の詳細な構成を示している。図２には、背景音符号化データの保持手段として、内部メモリ１、外部メモリ２、外部音入力端子３を例として示している。これらの背景音符号化データの保持手段で保持される背景音の符号化方式としては、MIDIや着メロ、PCM、MPEG1 Audioなどが挙げられるが、本発明では特に限定しない。外部音入力端子３は、CDやMD、パソコンなどが保持する符号化データを背景音符号化データとして取り込むための端子である。背景音選択回路４では、制御部２１aからの制御信号に従い、上記の背景音符号化データ保持手段の一つを選択して、背景音符号化データＤ４を出力する。
【００２０】
受話部２６aは、通話相手の受話音声符号化データＤ７を復号化し、受話器から受話音声を出力する。受話部２６aの詳細な構成および動作を、図３を参照して説明する。図３は受話部２６aの詳細な構成を示している。受話部２６aに入力される受話音声符号化データＤ７は、音声復号化器１５で復号化され、ＤＡ変換器１５aによってアナログ信号に変換され、増幅回路１４で増幅され、受話器１３から受話音声が出力される。増幅回路１４における利得は、制御部２１からの制御信号によって設定される。
【００２１】
送話部２７は、送話器に入力される使用者の送話音声を音声符号化し、音声符号化データＤ３を出力する。送話部２７の詳細な構成および動作を、図４を参照して説明する。図４は送話部２７の詳細な構成を示している。使用者が発する音声は送話器５において電気信号に変換され、増幅部６で増幅される。増幅部６における利得は、制御部２１aからの制御信号により設定される。増幅部６で増幅された音声信号は、AD変換器７aでデジタル信号に変換され、音声符号化器７において音声符号化される。音声符号化器７における音声符号化方式としては、ITU-T(International Telecommunication Union - Telecommunication standardization sector) で定められるG.723.1やG.729などが挙げられるが、本発明では特に限定しない。音声符号化器７が出力する音声符号化データはＤ３として送話部２７から出力される。
【００２２】
多重部２３aは、音声符号化データＤ３と背景音符号化データＤ４をデジタル多重化し、多重化データＤ２を出力する。多重部２３aの構成を、図５を参照して説明する。図５は多重部２３aの概念的な構成を示している。図５における制御部は、後述する多重化テーブルなどの情報に従い、データの入力元をＤ３，Ｄ４，プロトコル信号生成部のいずれかへ切り替える。図５におけるプロトコル信号生成部は、後述するシーケンス番号やCRC，ヘッダ部などのプロトコル信号を生成する。
【００２３】
多重部２３aにおける処理の詳細を、図６を参照して説明する。図６は多重部２３aにおけるデータの流れを概念的に示している。図６では、デジタル多重化方式として、ITU-T H.223を用いたときの一例を示している。以下の説明では、H.223に記されるシンボル名をそのまま引用する。
【００２４】
多重部２３aに入力される音声符号化データＤ3は、AL2-SDU（８２）と呼ばれるパケットで受けられる。AL2-SDUは論理チャネルで音声やオーディオデータを送るためのパケットであり、通常、AL2-SDUは一つのフレームデータである。このAL2-SDUにシーケンス番号（８１）とCRC（Cyclic Redundancy Check）の検査ビット（８３）が付加されて、AL2-PDU（８７）と呼ばれるパケットで受けられる。同様に、多重部２３aに入力される背景音符号化データD4はAL2-SDU（８５）として受けられ、このAL2-SDUにシーケンス番号（８４）とCRCの検査ビット（８６）が付加され、AL2-PDU（８８）で受けられる。次に、AL2-PDU（８７）はMUX-SDU（９０）と呼ばれるパケットで、AL2-PDU（８８）はMUX-SDU（９１）でそれぞれ受けられる。MUX-SDU（９０）は分割されずに、ヘッダ部（８９）が先頭に付加されてMUX-PDU（９４）として受けられる。同様に、MUX-SDU（９２）は分割されずに、ヘッダ部（９１）が先頭に付加されてMUX-PDU（９６）として受けられる。通常、H.223では音声データは分割不可能なAL2-SDUとして受けるため、前記MUX-SDUは分割されない。ヘッダ部８９およびヘッダ部９１には、制御部２１aが発する多重化制御信号によって送られるH.223多重化テーブルの番号が含まれている。H.223多重化テーブルには、MUX-PDUに音声符号化データが何バイト、背景音符号化データが何バイト含まれているか、というような多重化に関する情報が含まれている。MUX-PDU（９４）およびMUX-PDU（９６）は、図６に示すように、同期フラグ９３、９５、９７に挟まれるような形で、多重化データＤ2として出力される。同期フラグは、後述する多重分離化の際にMUX-PDUの先頭と末尾の位置を同定するための特定のビットパターンデータである。
【００２５】
以上のような構成の背景音送信端末の、背景音送信モードにおいて背景音を送信する流れを、図１３を参照してまとめる。通信制御部２８aにおいて、後述する背景音送受信のための通信チャネルが確立された後、送話部２７から出力される送話音声符号化データＤ３と、背景音記憶部２５から出力される背景音符号化データＤ４とが多重部２３aに入力され、送話音声と背景音の多重化データＤ２が伝送路インタフェース部２０aにおいて変調され、相手端末へ送信される。一方、伝送路インタフェース部２０aにおいて復調された受話音声符号化データＤ７は、受話部２６aにおいて復号化および増幅されて、受話音として出力される。
【００２６】
以上に述べたように、本発明の実施形態１における背景音送信端末では、送話音声と背景音とはそれぞれ独立に符号化されたデジタルデータとして多重化されて送信されるため、送話音声と背景音の品質の劣化が生じず、より雰囲気のある会話を楽しむことができる。
【００２７】
次に図７を参照して、背景音受信端末の背景音受信モードにおける詳細な動作を説明する。図７において、２０bは伝送路インタフェース部、２１bは制御部、２２bは多重部、２４bは背景音再生部、２６は受話部、２７は送話部、２８bは通信制御部である。このように構成される背景音受信装置について、その機能、動作等を説明する。なお送話部２７は、前記背景音送信端末における送話部２７（図４）と同じ機能を持つため、説明を省略する。
【００２８】
伝送路インタフェース部２０bでは、受信した多重化データＤ１を出力するとともに、送話部２７で生成された送話音声符号化データを無線伝送路に出力する。伝送路インタフェース部２０bでは、これらの機能に加え、通信制御信号を抽出して通信制御部２８bに入力し、後に示す通信チャネル確立のためのプロトコルの処理を行う。制御部２１bは上記の動作を実現するよう、制御信号を出力する。制御信号の詳細については後に詳しく述べる。多重分離部２２bでは、多重化データＤ１を多重分離して、受話音声符号化データＤ７と背景音符号化データＤ６を出力する。Ｄ６は背景音再生部２４bに入力されて復号化され、背景音再生信号Ｄ８が出力され、受話部２６へ入力される。受話部２６では、受話音声符号化データＤ７を復号化し、背景音信号Ｄ８と重ねた後、受話器から音が出力される。
【００２９】
多重分離部２２bは、受信した多重化データＤ１を、受話音声符号化データＤ７と背景音符号化データＤ６とに分離し、それぞれを出力する。多重分離部２２bの構成を、図８を参照して説明する。図８は多重部２２bの概念的な構成を示している。図８におけるプロトコル信号解析部は、後述するシーケンス番号やCRC，ヘッダ部などのプロトコル信号を読み取り、制御部に送る。図８における制御部は、プロトコル信号解析部から送られるヘッダ情報や多重化テーブルなどの情報に従い、データの出力先を、Ｄ７，Ｄ６，プロトコル信号解析部に切り替える。
【００３０】
多重分離部２２bにおける処理の詳細を、図９を参照して説明する。図９は多重分離部２２bにおけるデータの流れを概念的に示している。図９では、デジタル多重化方式として図６と同様、ITU-T H.223を用いたときの一例を示している。以下の説明では、H.223に記されるシンボル名をそのまま引用する。
【００３１】
多重分離部２２bへ入力される多重化データＤ１は、図９に示すように、同期フラグ１１３、１１５、１１７にMUX-PDU（１１４および１１６）が挟まれる形となっている。同期フラグは特定のビットパターンデータであり、H.223では"01111110"と規定されている。多重分離部では、入力されるデータＤ１に対し常に同期フラグパターンの検出を行い、MUX-PDUを抽出する。MUX-PDU（１１４）の先頭からヘッダ部１０９を読み込み、ここに含まれる多重化テーブルエントリ番号を参照してMUX-SDU（１１０）を抽出する。前述のようにH.223では通常、音声データは分割不可能な論理チャネルによって送信されるので、一つのMUX-PDU（１１４）から、ただ一つのMUX-SDU（１１０）が取り出される。MUX-SDU（１１０）はAL2-PDU（１０７）に受けられ、シーケンス番号（１０１）とAL2-SDU（１０２）とCRC検査ビット（１０３）に分けられる。シーケンス番号（１０１）は、パケット損失の検出に用いられる。CRC検査ビット（１０３）はAL2-PDU内の誤り検出に用いられる。抽出されたAL2-SDU（１０２）は音声符号化データＤ７として、ＣＲＣ誤り検出情報とともに出力される。もしもCRCにより誤りが検出された場合でも、抽出された音声符号化データＤ６はそのまま出力される。CRCによる誤り検出情報は受話部２６において、誤り耐性を強化するために用いることも可能である。同様の処理を、MUX-PDU（１１６）についても行い、抽出した背景音符号化データＤ６が出力される。
【００３２】
また、使用者の意図により、背景音を再生したくない場合には、制御部２１bから送られる多重化制御信号の指示により、分離した背景音符号化データＤ６を破棄することができる。
【００３３】
背景音再生部２４bの詳細な構成を図１０に示す。背景音再生部２４bは、音源回路１１、ＤＡ変換器１１a、増幅回路１２で構成される。背景音再生部２４bに入力される背景音符号化データＤ６は、音源回路１１において復号化され、ＤＡ変換器１１aにてアナログ信号に変換されて、増幅回路１２において増幅されて、背景音信号データＤ８として出力される。増幅回路１２における増幅利得は、制御部２１bから送られる音量制御信号により設定される。
【００３４】
受話部２６の詳細な構成を図１１に示す。受話部２６は、上述の背景音送信装置の受話部２６aに、背景音信号Ｄ８の入力手段と加算手段１６とを加えた構成から成る。図１１において、音声符号化器１５、ＤＡ変換器１５a、増幅回路１４、受話器１３、入力音声符号化データＤ７は図３の受話部２６aと同じ機能を持つため、図３と同じ番号を記している。Ｄ７が復号化・増幅される過程は受話器２６aと同様である。受話部２６が持つ前述の受話部２６aと異なる機能は、背景音信号Ｄ８と、増幅回路１４から出力される音声信号とが加算手段１６において重ねられ、受話器１３から出力される点である。この機能により、背景音受信装置における受話部２６では、受話音声と背景音とを重ね合わせた音が出力される。
【００３５】
以上のような構成の背景音受信装置における背景音受信の流れを、図７を参照してまとめると、通信制御部２８bにおいて、前述の、背景音送受信のための通信チャネルが確立される。この受信チャネルの確立後、前述の背景音送信装置から送信される多重化信号は、伝送路インタフェース部２０bにおいて多重化データＤ１に復調される。Ｄ１は多重分離部２２bにおいて、受話音声符号化データＤ７と、背景音符号化データＤ６とに多重分離される。Ｄ６は背景音再生部において復号化および増幅されて、背景音信号Ｄ８が受話部２６に送られる。受話部２６では、受話音声符号化データＤ７が復号化および増幅され、背景音信号Ｄ８と重ねられ、受話音と背景音とが重ねられた音が出力される。一方、送話部２７が出力する送話音声符号化データＤ３はそのまま伝送路インタフェース部２０bに送られ、２０bで変調されて相手側に送信される。
【００３６】
上述のように、本発明の実施形態１における背景音受信端末では、受信した多重化データを受話音声符号化データと背景音符号化データとに多重分離し、受話音声と背景音とをそれぞれ独立に復号化および音量調整する。音声と背景音とが別々に復号化されるため、受話音声と背景音の品質の劣化が少ない。また、音声と背景音とを別々に音量調整できるので、受信側で周囲の環境に応じて背景音を好みの音量に調整することができる。また、受信側で背景音が不要な場合には、容易に背景音符号化データを破棄できるので、不必要な背景音の出力を防ぐことができる。
【００３７】
実施形態１の背景音送信端末と背景音受信端末を用いて、互いに通話している状態から背景音を送受信するまでの流れ、および背景音の送受信を中止して通常の会話の状態に戻るまでの流れを、図１２を参照して説明する。
【００３８】
背景音を共有する以前は、通話者双方の携帯電話機の間に通常の通信チャネルが確立されており、この通話チャネルを介して音声符号化データが送受信されることで、通常の会話が行われている（Ｓ３０）。この状態を通常モードと呼ぶことにする。
【００３９】
次に背景音送信端末から背景音を送信するための手続き要求を、相手側である背景音受信端末に送信する（Ｓ３１）。この背景音送信要求メッセージの形態は使用している携帯電話機の通信方式に依存する。すなわち通常の音声チャネル以外に、通話者間で情報を送受信できるチャネルを確保することができない場合には、通常の音声チャネルを通じて手続き要求を送信する。
【００４０】
一方、通常の音声チャネル以外に、通話者間で情報をやり取りできるチャネルを確保できる場合には、音声チャネルとは別のチャネルを通じてメッセージを送信する。
【００４１】
本実施形態では前者の通信方式による一例を説明する。本実施形態では、あるユニークな周波数パターンの音響信号により、背景音受信要求メッセージＳ３１とこれに対する応答メッセージＳ３２、および拒否メッセージ（図示せず）を定義する。背景音送信端末は、Ｓ３１を音声符号化して、通常の音声チャネルへ送信し、相手の端末からの応答メッセージＳ３２を待つ。背景音送信端末は、通常の音声チャネルからの音声符号化データを復号化した後に、常に応答メッセージＳ３２と拒否メッセージとのマッチングをとり、Ｓ３２を検出すると、背景音受信要求が背景音受信端末で受け付けられたと判断し、自身は制御モードに入る。
【００４２】
もしも応答メッセージＳ３２が受信されない場合の処理を説明する。ここでＳ３２が受信されないときとは、(1)拒否メッセージと受信したとき、(2)Ｓ３２以外の信号（相手の音声等）を受信したとき、(3)所定の時間を過ぎたとき、のことを表す。もしも、Ｓ３２が受信されない場合には、再びＳ３１を送信する。この再送信を、Ｓ３２を受信するまで所定の最大回数だけ行う。Ｓ３１の再送信を最大回数繰り返してもＳ３２が受信されない場合は、相手の端末が本実施形態の機能を備えていないと判断して背景音の送信を中止し、通常モードに戻る。
【００４３】
また、上述した相手端末からのメッセージ待ちの状態において、拒否メッセージの受信を検出した場合には、背景音の送信を中止し通常モードに戻る。
【００４４】
一方、背景音受信端末は、通常の音声チャネルからの音声符号化データを復号化した後に、常に背景音受信要求メッセージＳ３１とのマッチングをとり、メッセージＳ３１を検出すると、応答メッセージと定義される音響信号Ｓ３２（以下、単に応答メッセージと記す）を音声符号化して背景音送信端末へ送信し、制御モードに入る。
【００４５】
制御モードにおいては、通話音声符号化データと背景音符号化データの多重通信を行うために必要な情報パラメータの設定Ｓ３３を行う。このようなマルチメディア多重通信のための制御プロトコルの標準として例えば、ITU-T H.245がある。また、移動体通信のような伝送誤りの発生し易い通信環境を想定したマルチメディア多重化プロトコルの標準として、ITU-T H.223がある。本実施形態の携帯電話機では、制御モードにおいてH.245の定めるメッセージ交換により、H.223方式による多重化通信のためのパラメータ設定Ｓ３３を行う。Ｓ３３では、マスター・スレーブの決定、端末通信能力交換、H.223多重化テーブルの交換、およびH.223論理チャネルのオープンなどを、H.245メッセージ交換により行う。H.223多重化テーブルとは、H.223多重化データの構成に関する情報であり、H.223ではこの多重化テーブルを参照して、複数の情報源からのデータの多重化および多重分離化を行う。本実施形態では、論理チャネルは、音声符号化データチャネル（片方向）、および背景音符号化データチャネル（片方向）との二つが設定される。
【００４６】
制御モードにおける上述のメッセージ交換S３３により、背景音送信端末は、相手端末が本実施形態の機能を備えているかどうかを判別することができる。よって相手端末が本実施形態の機能を備えていない場合に背景音を多重化して送信してしまい、相手端末との通信が破綻してしまうことを防ぐことが可能となる。また相手端末の受信能力を取得することができるため、受信能力に応じて多重化パラメータを設定することが可能である。
【００４７】
制御モードにおける、上述のメッセージ交換Ｓ３３が完了すると、背景音送信端末は背景音送信モードに、背景音受信端末は背景音受信モードに入る。この段階で背景音送信端末は音声符号化データと背景音符号化データとの多重化データを送信することができる状態Ｓ３４となる。
【００４８】
背景音を送受信しながら通話している状態Ｓ３４から、背景音送受信を終了するための流れを説明する。背景音送受信の終了の要求は、背景音送信端末と背景音受信端末のどちらから発せられてもよい。以下では背景音送受信の終了要求を送る側の端末を終了要求端末と記して説明する。ただし図１２では、背景音送信端末が終了要求端末である場合のメッセージの流れを示している。
【００４９】
前述の背景音送受信を開始するときのメッセージＳ３１などと同様、あるユニークな周波数パターンの音響信号により、終了要求メッセージＳ３５とこれに対する応答メッセージＳ３６とを定義する。双方の端末は、受話音声符号化データを復号化した後、常に終了要求メッセージＳ３５とのマッチングをとり、メッセージＳ３５を検出できる状態で動作する。終了要求端末はＳ３５を、後述するように、送話部２７において音声符号化し、送話音声データとして送信し、相手端末からの応答メッセージＳ３６を待つ。すなわち終了要求端末は、後述する方法により受話音声符号化データを復号化した後に、常にＳ３６とのマッチングをとり、Ｓ３６を検出できる状態に入る。一方、Ｓ３５の受信を検出した、相手端末は、応答メッセージと定義される音響信号Ｓ３６を、後述する方法により音声符号化して終了要求端末へ送信し、通常モードに入る。
【００５０】
終了要求端末がＳ３６の受信を検出すると、終了要求が背景音受信端末で受け付けられたと判断し、自身は通話モードに入る。
【００５１】
上に述べた、背景音を送受信しながら通話している状態Ｓ３４から、背景音送受信を終了するための流れにおいて、メッセージＳ３５は背景音受信端末から送信してもよい。この場合、上述の背景音受信端末と背景音送信端末の処理は逆転する。
【００５２】
上に述べたような流れにより、実施形態１による携帯電話機では、通話しながら背景音データの送受信を行うことができる。
【００５３】
図１は、本発明の実施形態２における背景音送受信用の通信装置である携帯電話機の構成を示すブロック図である。図１で示す携帯電話機は、実施形態１の背景音送信装置の機能と背景音受信装置の機能を併せた構成を持ち、通話音声符号化データと背景音符号化データを多重化したデータを送受信できる通信装置である。
【００５４】
実施形態２の携帯電話機２台を用いて、互いに通話している状態から背景音を送受信するまでの流れ、および背景音の送受信を中止して通常の会話の状態に戻るまでの流れは、実子形態１における流れと同じである。実施形態２の携帯電話機は、背景音送信モードでも背景音受信モードでも動作するが、一方が背景音送信モードであれば他方は必ず背景音受信モードで動作する。
【００５５】
次に、図１を参照して、本発明の実施形態２における背景音送受信用の携帯電話機の詳細を説明する。図１において、２０は伝送路インタフェース部、２１は制御部、２２は多重分離部、２３は多重部、２４は背景音再生部、２５は背景音記憶部、２６は受話部、２７は送話部、２８は通信制御部である。以下、各部の詳細な動作を説明する。
【００５６】
伝送路インタフェース部２０は、実施形態１と同様に受信信号の復調および送信信号の変調を行う。ただし背景音送信モードのときには実施形態１の背景音送信端末における伝送路インタフェース部２０aとして、背景音受信モードのときには実施形態１の背景音受信端末における伝送路インタフェース部２０bとして機能する。
【００５７】
制御部２１は、使用者の操作および通信制御部２８からの制御信号に従い、実施形態２の携帯電話を構成する各部に制御信号を送る。各部に送られる制御信号の説明は、各部の詳細を説明する際に行う。
【００５８】
通信制御部２８は、実施形態１における図１２で説明したような、背景音送受信のための通信チャネルを確立するためのメッセージ交換を行う。背景音送信端末である場合には実施形態１の通信制御部２８aとして、背景音受信端末である場合には実施形態１の通信制御部２８bとして機能する。
【００５９】
送話部２７は、実施形態１の背景音送信端末（または背景音受信端末）における送話部２７と同じ機能を持つ。
【００６０】
受話部２６は、実施形態１の背景音受信端末における受話部２６と同じ機能を持つ。
【００６１】
背景音記憶部２５は、実施形態１の背景音送信端末における背景音記憶部２５と同じ機能を持つ。ただし、背景音送信モードのときには、ユーザの指示により選択された背景音符号化データＤ４は、多重部２３と背景音再生部２４との双方へ出力される。
【００６２】
背景音再生部２４の詳細な構成を図１４に示す。図１４において、音源回路１１、ＤＡ変換器１１a、増幅回路１２、入力背景音符号化データＤ６、出力される背景音信号Ｄ８は、実施形態１の背景音再生部２４bで示されるものと同じである。実施形態２における背景音再生部２４では新たに、入力切替えスイッチＳＷ１が構成に加えられ、このＳＷ１により背景音符号化データの入力がＤ６かＤ４に切り替えられる。背景音受信モードでは、多重分離部２２において、受信した多重化データから分離される背景音符号化データＤ６が入力となる。背景音送信モードでは、背景音再生部２５から送られる背景音符号化データＤ４が入力となる。この入力の切り替えは、制御部２１から送られる制御信号によって指示される。
【００６３】
多重部２３は、背景音送信モードのときには、実施形態１の背景音送信端末における多重部２３aとして機能する。すなわち送話音声符号化データＤ３と背景音符号化データＤ４との多重化データを出力Ｄ２として伝送路インタフェース部２０へ出力する。一方、背景音受信モードのときには、実施形態１の背景音受信端末と同様、送話部２７が出力する送話音声符号化データＤ３をそのままＤ２として出力する。多重部２３の処理の詳細を、図１５を参照して説明する。図１５において、８１から９７で示される各部の機能は、図６に示される、実施形態１の多重部２３aの部分とそれぞれ同じである。多重部２３では、ＳＷ１０とＳＷ２０が新たに構成に加えられ、ＳＷ１０により入力音声符号化データＤ３の入力先を、ＳＷ２０により出力データＤ２をそれぞれ切り替える。ＳＷ１０、ＳＷ２０の切り替えは、制御部２１から送られる制御信号により指示される。すなわち背景音送信モードのときには、ＳＷ１０は端子Ｔ１２に、ＳＷ２０は端子Ｔ２１にそれぞれ接続される。この接続状態により背景音送信モードのときには、送話音声符号化データＤ３と背景音符号化データＤ４とが実施形態１の多重部２３aと同じ流れで多重化され、多重化データＤ２が出力される。一方、背景音受信モードのときには、ＳＷ１０は端子Ｔ１１に、ＳＷ２０は端子Ｔ２２にそれぞれ接続される。この接続状態により背景音受信モードのときには、送話音声符号化データＤ３は、実施形態１の背景音受信端末（図７）と同様、多重分離されずにそのままＤ２として出力される。
【００６４】
多重分離部２２は、背景音受信モードのときには、実施形態１の背景音受信端末における多重部２２bとして機能する。すなわち伝送路インタフェース部２０から送られる多重化データＤ１を受話音声符号化データＤ７と背景音符号化データＤ６とに多重分離化し、それぞれを出力する。一方、背景音送信モードのときには、実施形態１の背景音送信端末と同様、伝送路インタフェース部２０から送られる受話音声符号化データＤ１をそのままＤ７として出力する。多重分離部２２の処理の詳細を、図１６を参照して説明する。図１６において、１０１から１１７で示される各部の機能は、図９に示される、実施形態１の多重分離部２２bの部分とそれぞれ同じである。多重分離部２２では、ＳＷ３０とＳＷ４０が新たに構成に加えられ、ＳＷ３０により出力音声符号化データＤ７を、ＳＷ４０により入力データＤ６の入力先をそれぞれ切り替える。ＳＷ３０、ＳＷ４０の切り替えは、制御部２１から送られる制御信号により指示される。すなわち背景音受信モードのときには、ＳＷ３０は端子Ｔ３２に、ＳＷ４０は端子Ｔ４１にそれぞれ接続される。この接続状態により背景音受信モードのときには、多重化データＤ１は実施形態１の多重分離部２２bと同じ流れで多重分離化され、受話音声符号化データＤ７と背景音符号化データＤ６とが出力される。一方、背景音送信モードのときには、ＳＷ３０は端子Ｔ３１に、ＳＷ４０は端子Ｔ４２にそれぞれ接続される。この接続状態により背景音送信モードのときには、送話音声符号化データＤ３は、実施形態１の背景音送信端末（図１３）と同様、何も多重されずにそのままＤ７として出力される。
【００６５】
以上に説明した各部により構成される、実施形態２の携帯電話機２台により背景音を共有する際の処理の流れを、図１を参照してまとめる。双方の端末における通信制御部２８の間で、図１２で説明したようなメッセージ交換が行われ、背景音送受信のための通信チャネルが確立される。このチャネルの確立後、一方は背景音送信モードで、他方は背景音受信モードで動作する。以下、それぞれのモードにおける動作をまとめる。
【００６６】
背景音送信モードでは、送話部２７において、使用者の話し声が音声符号化されたデータＤ３が出力される。また背景音記憶部２５において、使用者が選択した背景音の符号化データＤ４が出力される。Ｄ３とＤ４は多重部２３においてデジタル多重化され、Ｄ２として出力される。Ｄ２は伝送路インタフェース部２０において変調されて送信される。
【００６７】
また背景音送信モードでは、受信信号は伝送路インタフェース部２０で復調され、受信データＤ１が多重分離部２２へ送られる。多重分離部２２では、Ｄ１は何も処理されずにそのまま音声符号化データＤ７として出力され、受話部２６へ送られる。また背景音記憶部２５から出力されるＤ４は、背景音再生部２４に送られて復号化され、背景音信号Ｄ８が受話部２６へ送られる。音声符号化データＤ７は、受話部２６において復号化および音量制御され、さらに背景音信号Ｄ８と重ねられて受話器から出力される。
【００６８】
以上に述べたように本発明の実施形態２の携帯電話を用いて背景音を送信すると、送話音声と背景音とをそれぞれ独立に符号化し、多重化して送信するため、送話音声と背景音の品質の劣化が生じない。また、送信する背景音は復号化され、適正な音量に調整されて、受話音声と重ねられて受話器から出力されるので、使用者は通話相手と同じ背景音を聞くことができる。また自身の端末で音量を調整しても相手端末における音量には影響を与えないため、相手の音環境を気にかけずに音量を調整できる。
【００６９】
背景音受信モードでは、送話部２７において、使用者の話し声が音声符号化されたデータＤ３が出力され、多重部２３へ送られる。多重部２３では、Ｄ３は何も処理されずそのまま音声符号化データＤ２として出力される。Ｄ２は伝送路インタフェース部２０において変調されて送信される。
【００７０】
また背景音受信モードでは、受信信号は伝送路インタフェース部２０で復調され、受信データＤ１が多重分離部２２へ送られる。多重分離部２２では、受信した多重化データＤ１は、受話音声符号化データＤ７と背景音符号化データＤ６とに多重分離化されて、それぞれ出力される。Ｄ６は背景音再生部２４に送られて復号化され、背景音信号Ｄ８が受話部２６へ送られる。受話音声符号化データＤ７は、受話部２６において復号化および音量制御され、さらに背景音信号Ｄ８と重ねられて受話器から出力される。
【００７１】
上述のように、本発明の実施形態２における背景音受信端末では、受信した多重化データを受話音声符号化データと背景音符号化データとに多重分離し、受話音声と背景音とをそれぞれ独立に復号化および音量調整する。音声と背景音とが別々に復号化されるため、受話音声と背景音の品質の劣化が少ない。また、音声と背景音とを別々に音量調整できるので、受信側で周囲の環境に応じて背景音を好みの音量に調整することができる。また、受信側で背景音が不要な場合には、容易に背景音符号化データを破棄できるので、不必要な背景音の出力を防ぐことができる。
【００７２】
本発明の実施形態１または実施形態２の携帯電話機では、通話状態から背景音を送信するための制御モードに入る操作、背景音を選択する操作、背景音を好みの音量に調整する操作、背景音送信を終了する操作、相手端末からの背景音受信要求に応答する操作が、簡単にボタン押下やダイヤルなどにより実現できる。本発明の実施形態２の携帯電話機では、現在のモード（通常モード／制御モード／背景音送信モード／背景音受信モード）や、現在の背景音の音量設定が一目でわかるような表示を行うことができる。以下に、図１７および図１８を用いて、本発明の実施形態２による携帯電話機の操作例を説明する。
【００７３】
図１７は、本発明の実施形態２による携帯電話機の外観正面図である。Ｂ１は音関連ボタン、Ｂ２はクリアボタン、Ｂ３は実行ボタン、Ｂ４は上下左右の矢印ボタンの組、Ｂ５は表示部、Ｂ６は数字ボタンの組である。図１８は、表示部Ｂ５の画面例（Ｍ１からＭ１２）を示した図である。
【００７４】
通常モードでの通話中には、画面Ｍ１１が表示されている。この状態で音関連ボタンＢ１を押下すると、表示部Ｂ５には音関連メニュー画面Ｍ１が表示される。Ｍ１の中から[背景音選択]の項目を数字ボタンＢ６や矢印ボタンＢ４の押下により選び、実行ボタンＢ３を押下すると、次に背景音選択リスト画面Ｍ２が表示される。このリストから、送信したい背景音を数字ボタンＢ６や矢印ボタンＢ４の押下により選択して、実行ボタンＢ３を押下すると、背景音が選択され、次に選択した背景音を送信するかどうかを確認するためのダイアログ画面Ｍ３が表示される。Ｍ３で[YES]を選択すると、背景音を送信するための制御モードに入り、画面Ｍ４が表示される。後は受信端末からの応答があり、メッセージ交換Ｓ３３が終了すると、自動的に背景音送信モードに入り、表示部Ｂ５には背景音送信モード画面Ｍ５が表示され、背景音を共有しながら通話することができる。この状態で例えば背景音量を調整するためには、前記と同様に、音関連ボタンＢ１を押下し、音関連メニュー画面Ｍ１を表示する。Ｍ１の中から[音量調整]の項目を数字ボタンＢ６や矢印ボタンＢ４の押下により選択し、実行ボタンＢ３を押下すると、音量調整メニュー画面Ｍ６が表示される。Ｍ６の中から[背景音]を選択し、実行ボタンＢ３を押下すると、音量調整画面Ｍ７が表示される。Ｍ７では、通話音と背景音との音量の段階を表す棒状の図が並べて表示されている。矢印ボタンＢ４の左右ボタンの押下により、音量調整する音（通話音か背景音）を選択し、矢印ボタンＢ４の上下ボタンの押下により棒の長さを調整すると、この棒の長さに応じて、選択された音の音量が調整される。背景音送信モードで通話中に、背景音を停止したい場合には、前記と同様に、音関連ボタンＢ１を押下し、音関連メニュー画面Ｍ１を表示する。Ｍ１の中から[背景音停止]の項目を数字ボタンＢ６や矢印ボタンＢ４の押下により選択し、実行ボタンＢ３を押下すると、背景音停止のためのメッセージ交換（Ｓ３５、Ｓ３６）が行われ、画面Ｍ１２が表示される。前記メッセージ交換（Ｓ３５、Ｓ３６）が終了すると、背景音の送信は停止されて通常モードに戻り、画面Ｍ１１が表示される。
【００７５】
一方、通常モードで通話中（画面Ｍ１１が表示されている状態）で、相手側が、前述した背景音送信操作を行うことで背景音の受信を要求してきたとき、背景音受信側の表示部Ｂ５には、メッセージ画面Ｍ８が表示される。Ｍ８では、背景音受信要求を受け入れるか否かの判断を使用者に促す。Ｍ８で[YES]を選択して背景音受信要求を受け入れると、背景音を受信するための制御モードに入り、画面Ｍ９が表示される。この後、制御モードにおけるメッセージ交換Ｓ３３が終了すると、背景音受信モードに入り、表示部Ｂ５には背景音受信モード画面Ｍ１０が表示される。
【００７６】
本発明の実施形態３は、３種類以上の音声符号化データまたは音響符号化データを送受信することのできる携帯電話機である。実施形態３は、実施形態１または実施形態２の変形例として、音声・音響コーデックを３種類以上追加し、３種類以上の論理チャネルの多重化および多重分離を行うことで実現できる。
【００７７】
本発明の実施形態４は、実施形態１または実施形態２の変形例として、背景音を受信する機能を備える携帯電話機において、受信した背景音符号化データを内部または外部メモリ等に記憶する手段が追加された携帯電話機である。この実施形態においては著作権保護機構を付加してもよい。
【００７８】
本発明の実施形態５は、実施形態２の変形例として、背景音再生部２４および受話部２６におけるＤＡ変換器、送話部２５におけるＡＤ変換器と、各部の増幅回路の位置とを交換した携帯電話機である。実施形態５では、それぞれの増幅回路はＰＣＭ（Pulse Code Modulation）データの量子化値を制御する機能を持つ。
【００７９】
本発明の実施形態６は、実施形態１または実施形態２の変形例として、多重部２３（又は多重部２３a）、および多重分離部２２（又は２２a）における多重化方式に、別の多重化方式を採用したものである。例えば、誤り耐性を強化したH.223 Annex A/B/C/Dを多重化方式として用いることができる。
【００８０】
また本発明の実施形態として、携帯電話機以外の通信機器、例えば有線電話やトランシーバ、無線ＬＡＮ等、であってもよい。
【００８１】
【発明の効果】
本発明によれば、送話音声の符号化データと背景音の符号化データとをデジタル多重化して送受信するため、通話音声と背景音の質品質の劣化が軽減され、より雰囲気のある通話を楽しむことができる。また、送受信側双方で、通話音声と背景音の音量調整を独立に行うことができるので、双方が通話相手の周囲の環境を気にすることなく、背景音の音量を好みのレベルに調整することができる。また受信側で背景音が不要な場合には、背景音データの破棄も容易に行うことができ、不必要な背景音を出力することを防ぐことができる。さらに、背景音を送信する側が、相手端末に背景音が多重化された音声データを多重分離する機能が備えられているかどうかを、送信前に判別することができるため、受信側端末が前記機能を備えていない場合に、背景音が多重化された音声データを送信してしまい、通話が破綻してしまう問題を未然に防ぐことができる。このように本発明では背景音を共有するための通信機器において、従来の技術に比べ、優れた音質と操作性を実現することができ、ユーザーに対してこれまでにない楽しい通話環境を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態２による携帯電話機の構成を示すブロック図。
【図２】本発明の実施形態１による背景音送信用の携帯電話機における背景音記憶部の詳細な構成を示すブロック図。
【図３】本発明の実施形態１による背景音送信用の携帯電話機における受話部の詳細な構成を示すブロック図。
【図４】本発明の実施形態１による携帯電話機における送話部の詳細な構成を示すブロック図。
【図５】本発明の実施形態１による背景音送信用の携帯電話機における多重部の概念的な構成を示すブロック図。
【図６】本発明の実施形態１による背景音送信用の携帯電話機における多重部の詳細な処理を示すブロック図。
【図７】本発明の実施形態１による背景音受信用の携帯電話機の構成を示すブロック図。
【図８】本発明の実施形態１による背景音受信用の携帯電話機における多重分離部の概念的な構成を示すブロック図。
【図９】本発明の実施形態１による背景音受信用の携帯電話機における多重分離部の詳細な処理を示すブロック図。
【図１０】本発明の実施形態１による背景音受信用の携帯電話機における背景音再生部の詳細な構成を示すブロック図。
【図１１】本発明の実施形態１による背景音受信用の携帯電話機における受話部の詳細な構成を示すブロック図。
【図１２】本発明の実施形態１による携帯電話機における背景音送受信の開始、終了手順を示すシーケンス図。
【図１３】本発明の実施形態１による背景音送信用の携帯電話機の構成を示すブロック図。
【図１４】本発明の実施形態２による携帯電話機における背景音再生部の詳細な構成を示すブロック図。
【図１５】本発明の実施形態２による背景音送信用の携帯電話機における多重部の詳細な処理を示すブロック図。
【図１６】本発明の実施形態２による背景音受信用の携帯電話機における多重分離部の詳細な処理を示すブロック図。
【図１７】本発明の実施形態２による携帯電話機の外観正面図。
【図１８】本発明の実施形態２による携帯電話機の画面表示の例を示す画面図。
【符号の説明】
２０、２０a、２０b  ・・・  伝送路インタフェース部
２１、２１a、２１b  ・・・  制御部
２２、２２b  ・・・  多重分離部
２３、２３a  ・・・  多重部
２４、２４b  ・・・  背景音再生部
２５  ・・・  背景音記憶部
２６、２６a  ・・・  受話部
２７  ・・・  送話部
２８、２８a、２８b  ・・・  通信制御部
Ｄ１  ・・・  受信多重化データ
Ｄ２  ・・・  送信多重化データ
Ｄ３  ・・・  送話音声符号化データ
Ｄ４  ・・・  記憶されている背景音符号化データ
Ｄ６  ・・・  受信した背景音符号化データ
Ｄ７  ・・・  受話音声符号化データ
Ｄ８  ・・・  アナログ背景音信号。
【図１】
0003912003.tif 000002
【図２】
0003912003.tif 000003
【図３】
0003912003.tif 000004
【図４】
0003912003.tif 000005
【図５】
0003912003.tif 000006
【図６】
0003912003.tif 000007
【図７】
0003912003.tif 000008
【図８】
0003912003.tif 000009
【図９】
0003912003.tif 000010
【図１０】
0003912003.tif 000011
【図１１】
0003912003.tif 000012
【図１２】
0003912003.tif 000013
【図１３】
0003912003.tif 000014
【図１４】
0003912003.tif 000015
【図１５】
0003912003.tif 000016
【図１６】
0003912003.tif 000017
【図１７】
0003912003.tif 000018
【図１８】
0003912003.tif 000019