(57)【要約】【課題】通話の妨げになることを防止するか、又は、通話を盛り上げることができることを目的とする。【解決手段】携帯電話機は、受信音声信号、又は、送信音声信号に合成するための音響信号を受信音声信号と合成して出力するか、又は音響信号を送信音声信号と合成して、通話相手の電話機に送信する。携帯電話機は、受信音声信号及び／又は送信音声信号の音量を時系列に従って計測する受信側分析部１９／送信側分析部２５と、計測された、受信音声信号及び／又は送信音声信号の音量に基づいて、送信音声信号及び／又は受信音声信号に合成する音響信号の音量を制御する音響情報処理部２０とを有する。【選択図】          図２
2004343443.tif 000002
【特許請求の範囲】
【請求項１】
通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する携帯通信装置であって、
前記受信音声信号及び／又は前記送信音声信号に基づいて、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号を制御する制御手段を有することを特徴とする携帯通信装置。
【請求項２】
前記受信音声信号及び／又は前記送信音声信号の音量を時系列に従って、計測する計測手段を有し、
前記制御手段は、前記計測手段により計測された、前記受信音声信号及び／又は前記送信音声信号の音量に基づいて、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号の音量を制御することを特徴とする請求項１に記載の携帯通信装置。
【請求項３】
前記受信音声信号及び／又は前記送信音声信号の音量に基づいて所定の関係式に従って算出される第１音量値と、前記受信音声信号及び／又は前記送信音声信号に合成する音響信号の実際の音量値である第２音量値とが対応づけられた対応テーブルを記憶する記憶手段と、
前記計測手段により計測された、前記受信音声信号及び／又は前記送信音声信号の音量に基づいて、前記所定の関係式に従って、第１音量値を算出し、算出された第１音量値と、前記対応テーブルとに基づいて、前記第１音量値に対応する第２音量値を取得する取得手段とを有し、
前記制御手段は、前記取得手段により取得された第２音量値となるように、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号の音量を制御することを特徴とする請求項２に記載の携帯通信装置。
【請求項４】
前記受信音声信号及び／又は前記送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段を有し、
前記制御手段は、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報に基づいて、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号のテンポを制御することを特徴とする請求項１に記載の携帯通信装置。
【請求項５】
通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する携帯通信装置であって、
複数の音響信号を記憶する記憶手段と、
前記受信音声信号及び／又は前記送信音声信号に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択する選択手段と、
前記受信音声信号又は前記送信音声信号と、前記所定の音響信号とを合成する合成手段とを有することを特徴とする携帯通信装置。
【請求項６】
通話相手の通信装置との間で、前記受信音声信号又は前記送信音声信号の送受信を開始してから現在までの時間である通話時間を計測する計測手段を有し、
前記選択手段は、前記計測手段により計測された通話時間に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することを特徴とする請求項５に記載の携帯通信装置。
【請求項７】
各通話時間と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、
前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された通話時間に対応する音響信号を、前記所定の音響信号として選択することを特徴とする請求項６に記載の携帯通信装置。
【請求項８】
前記受信音声信号及び／又は前記送信音声信号における無音声が連続する時間である無音時間を計測する計測手段を有し、
前記選択手段は、前記計測手段により計測された無音時間に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することを特徴とする請求項５に記載の携帯通信装置。
【請求項９】
各無音時間と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、
前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された無音時間に対応する音響信号を、前記所定の音響信号として、選択することを特徴とする請求項８に記載の携帯通信装置。
【請求項１０】
前記受信音声信号及び／又は前記送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段を有し、
前記選択手段は、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することを特徴とする請求項５に記載の携帯通信装置。
【請求項１１】
各テンポに関する情報と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、
前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報に対応する音響信号を、前記所定の音響信号として、選択することを特徴とする請求項１０に記載の携帯通信装置。
【請求項１２】
前記対応テーブルを記憶する記憶装置から、前記対応テーブルを取得する取得手段と、
前記取得手段により取得された前記対応テーブルを、前記記憶手段に記憶させる記憶制御手段とを有することを特徴とする請求項３に記載の携帯通信装置。
【請求項１３】
前記対応テーブルに含まれる情報を入力するための入力手段と、
前記入力手段により入力された前記対応テーブルに含まれる情報に基づいて、前記記憶手段に記憶されている対応テーブルの書き換えを行う書き換え手段とを有することを特徴とする請求項３，７、９、１１、１２に記載の携帯通信装置。
【請求項１４】
通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する通信方法であって、
前記受信音声信号及び／又は前記送信音声信号に基づいて、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号を制御することを特徴とする通信方法。
【請求項１５】
通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する通信方法であって、
複数の音響信号を記憶手段に記憶するステップと、
前記受信音声信号及び／又は前記送信音声信号に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択するステップと、
前記受信音声信号又は前記送信音声信号と、前記所定の音響信号とを合成するステップとを有することを特徴とする通信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯通信装置、通信方法に関する。
【０００２】
【従来の技術】
現在、提供されている第３世代のデジタル携帯電話システムは、動画像の伝送が可能な広帯域な信号伝送が可能である。しかし、音声の伝送に関するシステムは、相手に聴取させる音声の明瞭度を可能な限り向上させることを目的に設計されている。また、音声通話伝送時には可能な限り発話者の周囲の雑音（これを背景雑音という）を除去・抑制する音声信号処理技術（ノイズキャンセリング技術）が適用されている。このため、音声や楽曲の忠実な再現は難しいものの、繁華街や自動車や列車の車中といった喧噪な場所において、携帯電話を利用した場合においても比較的明瞭な音声通話が可能である。
【０００３】
従来、「効果音付加型通話システム」においては、以下のような通話システムが提案されている（特許文献１参照）。この従来技術では、発呼者と被呼者との通話に、第３の話者としての効果音サーバを加えて、効果音サーバから効果音を提供することにより、通常の通話に効果音が挿入される。これにより、通話している２者の話し声だけでなく、変化に富んだ内容が通話に含まれるので、ユーザの電話による会話がより盛り上がることになる。これによると、電話機の送話口から効果音を送信する手法に比べて、電話機側で事前に音源を用意する必要がなく、音源としての選択範囲も広くなる。また、楽曲も通信により任意のものが取得可能となっている。
【０００４】
また、従来においては、携帯電話機による音声通話において、ユーザの希望する効果音を、希望するタイミングで送出するようにした移動体通信装置が提案されている（特許文献２参照）。この従来技術では、携帯電話機のパネル面に設けられた、効果音送出ボタンを操作することにより、記憶装置から読み出された効果音データと、音声データとが、効果音ミキサーで合成して送信される。このため、会話の途中で、ユーザによる任意のタイミングで、適宜効果音が挿入されるので、効果音の送出のために会話が中断することがない。また、ユーザが所定のテンキーの操作をすることにより、操作されたテンキーに対応するアドレス（記憶部内のアドレス）から、効果音データが読み出される。この結果、簡単な操作で種々の効果音の送出が可能となる。
【０００５】
【特許文献１】
特開２００２−２７１４９４号公報
【０００６】
【特許文献２】
特開２００２−５１１１６号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来技術には、次のような問題があった。音声通話伝送に関するシステムにおいては、相手に聴取させるための音声の明瞭度を可能な限り向上させるように設計されている。このため、従来では、会話以外の音響、例えば歌声や楽曲、自然音（鳥や虫の鳴き声や水の流れる音など）の背景音、効果音の伝送は考慮されていなかった。このため、これらの音響は、受話者側には歪んで聞こえたり、雑音のように聞こえてしまうことがあった。さらにノイズキャンセリング技術の適用により、発話者の所在する場所の背景雑音を消去もしくは抑制しているので、喧噪な場所においても比較的明瞭な音声通話が可能となる。ところが、会話を楽しもうとして通話を行う場合、発話者の音響的な周辺状況と、受話者の音響的な周辺状況とのミスマッチが顕著となり、会話が単調なものとなったり、或いは会話を継続させること自体が難しくなったりするといった状況が発生していた。
【０００８】
即ち、上述した従来技術では、送信音声信号や受信音声信号に合成するための音響信号（効果音や背景音などの信号）は、送信音声信号や受信音声信号にかかわらず、一定のものであったり、音響信号の音量やテンポは一定であった。このため、通話中の送信音声信号や受信音声信号の変化に応じて、音響信号を変化させることにより、通話の妨げになることを防止したり、通話を盛り上げるということができなかった。
【０００９】
本発明は、以上のような問題点を解決するためになされたものであり、通話中の送信音声信号及び／又は受信音声信号の変化に応じて、音響信号を変化させることにより、通話の妨げになることを防止するか、又は、通話を盛り上げることができる携帯通信装置、通信方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の携帯電話機は、通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する際に、前記受信音声信号及び／又は前記送信音声信号に基づいて、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号を制御する制御手段を有することを特徴とするものである。
【００１１】
このため、通話中の送信音声信号及び／又は受信音声信号の変化に応じて、音響信号を変化させるような制御が可能となる。そして、例えば、以下のような音量の制御が行われることにより、音響信号が通話の妨げになることが防止されたり、通話を盛り上げることが可能となる。
【００１２】
本発明の携帯電話機は、上記発明において、前記受信音声信号及び／又は前記送信音声信号の音量を時系列に従って、計測する計測手段を有し、前記制御手段は、前記計測手段により計測された、前記受信音声信号及び／又は前記送信音声信号の音量に基づいて、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号の音量を制御することもできる。
【００１３】
この制御の具体的な一例として、例えば、本発明の携帯電話機は、前記受信音声信号及び／又は前記送信音声信号の音量に基づいて所定の関係式に従って算出される第１音量値と、前記受信音声信号及び／又は前記送信音声信号に合成する音響信号の実際の音量値である第２音量値とが対応づけられた対応テーブルを記憶する記憶手段と、前記計測手段により計測された、前記受信音声信号及び／又は前記送信音声信号の音量に基づいて、前記所定の関係式に従って、第１音量値を算出し、算出された第１音量値と、前記対応テーブルとに基づいて、前記第１音量値に対応する第２音量値を取得する取得手段とを有し、前記制御手段は、前記取得手段により取得された第２音量値となるように、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号の音量を制御するようにしてもよい。
【００１４】
この結果、例えば、通話相手から送られてきた受信音声信号の音量や、通話相手に送信する送信音声信号の音量が高い場合、上記受信音声信号に合成するための音響信号や、送信音声信号に合成するための音響信号の音量が高くなるように制御することができる。また、例えば、通話相手から送られてきた受信音声信号の音量や、通話相手に送信する送信音声信号の音量が低い場合、上記受信音声信号に合成するため音響信号や、送信音声信号に合成するための音響信号の音量が低くなるように制御することができる。
【００１５】
これにより、例えば、通話に関する音声信号（送信音声信号、受信音声信号）が変化しても、通話に関する音声信号が優先して、出力されたり、通話相手の携帯電話機１に送信されるので、通話の妨げになるという事態が防止される。
【００１６】
また、例えば、通話相手から送られてきた受信音声信号の音量と、通話相手に送信する送信音声信号の音量とのうち、大きい方の音量値に基づいて、送信音声信号、受信音声信号に合成するための音響信号の音量を制御することも可能である。これにより、例えば、通話に関する音声信号（送信音声信号、受信音声信号）が変化しても、音量が大きな音声信号に基づいて、上記音響信号の音量が制御されるので、例えば、盛り上がっている方の音声信号が優先して出力されたり、通話相手の携帯電話機１に送信されることが可能になる。この結果、通話を盛り上げることが可能となる。
【００１７】
また、本発明は、例えば、以下のようなテンポの制御が行われることにより、音響信号が通話の妨げになることが防止されたり、通話を盛り上げることが可能となる。
【００１８】
本発明の携帯電話機は、上記発明において、前記受信音声信号及び／又は前記送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段を有し、前記制御手段は、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報に基づいて、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号のテンポを制御することもできる。
【００１９】
この結果、例えば、通話相手から送られてきた受信音声信号のテンポや、通話相手に送信する送信音声信号のテンポに合うように、上記受信音声信号に合成するため音響信号や、送信音声信号に合成するための音響信号のテンポを制御することができる。
【００２０】
これにより、通話に関する音声信号のテンポと異なるテンポの音響信号が合成されてしまうような状態がないので、通話の妨げになるという事態が防止される。また、例えば、通話に関する音声信号のテンポに従ったテンポの音響信号が合成されるので、通話を盛り上げることが可能となる。
【００２１】
また、本発明は、通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する携帯通信装置であって、複数の音響信号を記憶する記憶手段と、前記受信音声信号及び／又は前記送信音声信号に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択する選択手段と、前記受信音声信号又は前記送信音声信号と、前記所定の音響信号とを合成する合成手段とを有することを特徴とするものである。
【００２２】
このため、通話中の送信音声信号及び／又は受信音声信号の変化に応じて、選択される音響信号が変化することになる。この結果、通話中の送信音声信号及び／又は受信音声信号の変化に応じて、音響信号を変化させることが可能となる。
【００２３】
そして、例えば、以下のような選択が行われることにより、通話を盛り上げることが可能となる。
【００２４】
本発明は、上記発明において、通話相手の通信装置との間で、前記受信音声信号又は前記送信音声信号の送受信を開始してから現在までの時間である通話時間を計測する計測手段を有し、前記選択手段は、前記計測手段により計測された通話時間に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することもできる。
【００２５】
この選択の具体的な一例として、本発明は、上記発明において、各通話時間と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された通話時間に対応する音響信号を、前記所定の音響信号として選択するようにしてもよい。
【００２６】
このため、例えば、各通話時間が経過するごとに、別の音響信号が選択されて、送信音声信号及び／又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機に送信される。この結果、長い通話となってしまい、通話が単調なものとなってしまっても、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【００２７】
また、例えば、以下のような選択が行われることにより、通話を盛り上げることが可能となる。
【００２８】
本発明は、上記発明において、前記受信音声信号及び／又は前記送信音声信号における無音声が連続する時間である無音時間を計測する計測手段を有し、前記選択手段は、前記計測手段により計測された無音時間に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することもできる。
【００２９】
この選択の具体的な一例として、本発明は、上記発明において、各無音時間と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された無音時間に対応する音響信号を、前記所定の音響信号として、選択するようにしてもよい。
【００３０】
このため、例えば、各無音時間が経過するごとに、別の音響信号が選択されて、送信音声信号及び／又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機１に送信される。この結果、会話が盛り上がらないため、話者の一方又は双方が、声を出さない状態が長く続いても、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【００３１】
また、例えば、以下のような選択が行われることにより、通話を盛り上げることが可能となる。
【００３２】
本発明は、上記発明において、前記受信音声信号及び／又は前記送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段を有し、前記選択手段は、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することもできる。
【００３３】
この選択の具体的な一例として、本発明は、上記発明において、各テンポに関する情報と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報に対応する音響信号を、前記所定の音響信号として、選択するようにしてもよい。
【００３４】
このため、例えば、受信音声信号のテンポ又は送信音声信号のテンポに基づいて、別の音響信号が選択されて、送信音声信号及び／又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機１に送信される。この結果、話者の一方又は双方の通話のテンポが変わった場合、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【００３５】
また、本発明の携帯電話機は、上記発明において、前記対応テーブルを記憶する記憶装置から、前記対応テーブルを取得する取得手段と、前記取得手段により取得された前記対応テーブルを、前記記憶手段に記憶させる記憶制御手段とを有することを特徴とするものである。このため、携帯電話機のユーザは、自分で対応テーブルを作成する手間が省けるので、ユーザの手間を軽減することができる。
【００３６】
また、本発明の携帯電話機は、上記発明において、前記対応テーブルに含まれる情報を入力するための入力手段と、前記入力手段により入力された前記対応テーブルに含まれる情報に基づいて、前記記憶手段に記憶されている対応テーブルの書き換えを行う書き換え手段とを有することを特徴とするものである。このため、音響信号の変更があった場合や、音響信号に対応する情報が変化したような場合でも、速やかに対応できる。
【００３７】
また、本発明は、通信方法としても実現できる。この場合、本発明は、通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する通信方法であって、前記受信音声信号及び／又は前記送信音声信号に基づいて、前記送信音声信号及び／又は前記受信音声信号に合成する音響信号を制御することを特徴とするものである。
【００３８】
また、本発明は、通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する通信方法であって、複数の音響信号を記憶手段に記憶するステップと、  前記受信音声信号及び／又は前記送信音声信号に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択するステップと、前記受信音声信号又は前記送信音声信号と、前記所定の音響信号とを合成するステップとを有することを特徴とするものである。
【００３９】
【発明の実施の形態】
実施の形態１
図１は、本実施の形態の通信システムの構成を示す図である。通信システムは、携帯電話機１（携帯通信装置）と、携帯電話機１と無線通信を行う基地局４と、基地局４と接続されている交換装置５と、交換装置５と公衆ネットワーク（ＩＰ通信ネットワークともいう、例えば、インターネット）を介して接続される情報提供サーバ装置６とを有する。ここで、基地局４と、交換装置５とは、デジタル携帯電話ネットワーク部を構成する。
【００４０】
なお、本実施の形態では、携帯通信装置として、携帯電話機１（例えば、移動電話機）を例にして説明するが、これに限定されるわけでない。例えば、携帯通信装置として、携帯端末装置（音声及び画像のやりとりを２者間で、できる装置）であってもよい。
【００４１】
携帯電話機１は、通話相手の携帯電話機１（通信装置）から受信する音声信号である受信音声信号、又は、通話相手の携帯電話機１に送信する音声信号である送信音声信号に合成するための音響信号を、受信音声信号と合成して出力するか、又は上記音響信号を上記送信音声信号と合成して、通話相手の携帯電話機１に送信する携帯通信装置である。
【００４２】
ここでいう音響信号とは、例えば、通話者の音声信号に付加される信号のことであり、例えば、音楽、自然音（鳥の鳴き声、川の流れる音）などの音声信号のことであり、いわゆる効果音信号や、背景音信号のことである。
【００４３】
図２は、本実施の形態の携帯電話機１の構成を示す図である。携帯電話機１は、無線受信部１１と、無線送信部１２と、通信制御部１３とを有する。無線受信部１１は、基地局４から送信されてきた各種のデータを無線通信を介して、受信する。具体的には、無線受信部１１は、基地局４との間で設定された無線通信経路から送信されてきた無線信号を復調し、デジタルビット列信号を生成する。
【００４４】
無線送信部１２は、基地局４に対して、各種のデータを無線通信を介して、送信する。具体的には、無線送信部１２は、多重化部３０などから出力されたデジタルビット列信号を変調し、変調したデジタルビット列信号を無線信号として、無線通信経路を介して、基地局４に送信する。
【００４５】
また、通信制御部１３と無線受信部１１と無線送信部１２とは、無線インターネット接続通信機能を有する。この機能について、以下に詳細に説明する。通信制御部１３は、無線送信部１２及び無線受信部１１と、情報提供サーバ装置６との間の通信経路の設定処理を行う。この設定処理により、無線送信部１２及び無線受信部１１は、情報提供サーバ装置６との間で、データ通信を行うことができる。例えば、無線送信部１２は、複数の音響情報、複数の対応テーブルのリスト情報（又は、サービスメニュー情報）の要求を、デジタル携帯電話ネットワーク部及び公衆ネットワークに設定された通信経路を介して、情報提供サーバ装置６に送信する。対応テーブルの説明は、後述する。
【００４６】
情報提供サーバ装置６は、上記要求に基づいて、上述したリスト情報を、デジタル携帯電話ネットワーク部及び公衆ネットワークに設定された通信経路を介して、無線受信部１１に送信する。無線送信部１２は、所定の音響情報、所定の対応テーブルの要求を、上記通信経路を介して、情報提供サーバ装置６に送信する。情報提供サーバ装置６は、上記所定の音響情報、所定の対応テーブルの要求に基づいて、上記所定の音響情報、所定の対応テーブルを、上記通信経路、無線受信部１１を介して、通信制御部１３に送信する。通信制御部１３は、上記所定の音響情報、所定の対応テーブルを、記憶制御部１４に送ると、記憶制御部１４は、所定の音響情報、所定の対応テーブルを、記憶部１５に記憶させる。
【００４７】
本実施の形態では、一例として、記憶部１５には、後述する１つの対応テーブルと、複数の音響信号とが記憶されている場合の説明が行われる。
【００４８】
なお、例えば、ユーザ（例えば、携帯電話機１の所有者）がディスプレイ部１８に表示された表示に基づいて、入力部３１（キーボードなど）を用いて所定の入力操作を行うことにより、上記リスト情報の要求、所定の音響情報、対応テーブルの選択が行われる。
【００４９】
また、通信制御部１３は、無線送信部１２及び無線受信部１１と、通話相手の携帯電話機１との間の通信経路の設定処理を行う。この設定処理により、無線送信部１２及び無線受信部１１は、通話相手の携帯電話機１との間で、データ通信を行うことができる。これにより、通信制御部１３と無線受信部１１と無線送信部１２とは、デジタル携帯電話ネットワーク部に設定された通信経路を介して、通話信号の発信や着信を行うことができる。
【００５０】
なお、無線送信部１２及び無線受信部１１と、通話相手の携帯電話機１との間の通信経路の設定処理の際には、例えば、ディスプレイ部１８に表示された表示に基づいて、ユーザが入力部３１（キーボードなど）を用いて所定の入力操作を行う。
【００５１】
例えば、携帯電話機１のユーザが、入力部３１を用いて、通話相手の携帯電話機１の電話番号を入力した後、オフフックボタンを押すと、呼設定信号が、通話相手の携帯電話機１に送信される。通話相手の携帯電話機１が、呼設定信号を取得すると、応答信号をユーザの携帯電話機１に送信する。ユーザの携帯電話機１が上記応答信号を取得すると、ユーザの携帯電話機１と通話相手の携帯電話機１との間における通信経路が設定され、通話状態に移行する。また、例えば、携帯電話機１のユーザが、入力部３１を用いて、通話中において、オンフックボタンを押すと、切断信号が、通話相手の携帯電話機１に送信される。通話相手の携帯電話機１が、切断信号を取得すると、応答信号をユーザの携帯電話機１に送信する。ユーザの携帯電話機１が上記応答信号を取得すると、ユーザの携帯電話機１と通話相手の携帯電話機１との間における通信経路の設定が解除され、通話状態が終了する。
【００５２】
通信制御部１３は、ユーザの携帯電話機１と、通話相手の携帯電話機１との間の通信経路が設定され、通話状態であるか否かを監視する。そして、通信制御部１３は、携帯電話機１と通話相手の携帯電話機１との間で、通話状態である場合には、音響情報処理部２０、受信側重畳部２１、受信側分析部１９、送信側分析部２５、送信側重畳部２６が動作するように制御し、通話状態でない場合には、音響情報処理部２０、受信側重畳部２１、受信側分析部１９、送信側分析部２５、送信側重畳部２６が動作しないように、制御する。
【００５３】
また、携帯電話機１は、記憶制御部１４と記憶部１５とを有する。記憶制御部１４は、対応テーブル及び音響情報を記憶する情報提供サーバ装置６（記憶装置）から、対応テーブル、音響情報を取得する取得手段でもある。具体的には、記憶制御部１４は、情報提供サーバ装置６から通信制御部１３を介して送られてきた、対応テーブルと複数の音響情報とを、取得する。
【００５４】
記憶制御部１４は、通信制御部１３から送信されてきた対応テーブル、複数の音響情報を記憶部１５に記憶させる。また、記憶制御部１４は、記憶部１５に記憶されている各音響情報のアドレス情報（記憶部１５内のアドレス情報）を管理している。そして、音響情報処理部２０から、所定のアドレス情報に記憶されている音響情報の要求信号を取得すると、記憶制御部１４は、上記要求信号に基づいて、記憶部１５の上記所定のアドレス情報に記憶されている音響情報を取得し、音響情報処理部２０に送る。
【００５５】
記憶部１５には、対応テーブルと、複数の音響情報とが記憶されている。対応テーブルの一例は、以下のとおりである。対応テーブルにおいては、受信音声信号及び／又は送信音声信号の音量に基づいて所定の関係式に従って算出される第１音量値と、受信音声信号及び／又は送信音声信号に合成する音響信号の実際の音量値である第２音量値とが対応づけられている。図３は、対応テーブルの一例を示す図である。
【００５６】
分離化部１６は、無線受信部１１から出力されたデジタルビット列信号を取得すると、上記デジタルビット列信号に基づいて、符号化された音声信号（以下、受信音声信号）と、符号化された画像信号（以下、受信画像信号）とに分離する。そして、分離化部１６は、符号化された受信音声信号を音声信号復号化部１８に出力する。また、分離化部１６は、符号化された受信画像信号を画像信号復号化部１７に出力する。
【００５７】
画像信号復号化部１７は、分離化部１６から送られてきた受信画像信号を取得すると、受信画像信号の復号化処理を行う。そして、画像信号復号化部１７は、復号化された受信画像信号をディスプレイ部１８に出力する。
【００５８】
ディスプレイ部１８は、復号化された受信画像信号を取得すると、ユーザに対して、受信画像信号に基づいた画像を表示する。
【００５９】
音声信号復号化部１８は、符号化された受信音声信号を取得すると、受信音声信号の復号化処理を行う。そして、音声信号復号化部１８は、復号化された受信音声信号を受信側分析部１９に出力する。
【００６０】
受信側分析部１９は、携帯電話機１が、通話相手の携帯電話機１との間で、通話状態でない場合、復号化された受信音声信号をそのまま受信側重畳部２１に出力する。一方、受信側分析部１９は、携帯電話機１が、通話相手の携帯電話機１との間で、通話状態である場合、以下の処理を行う。即ち、受信側分析部１９は、送られてきた受信音声信号に基づいて、分析処理を行う。ここでは、受信側分析部１９は、受信音声信号の音量を時系列に従って、計測する。即ち、受信側分析部１９は、受信音声信号の音量を時系列に従って、計測する計測手段である。
【００６１】
受信側分析部１９による計測処理の具体的な説明の一例は、以下のとおりである。受信側分析部１９は、送られてきた受信音声信号の音量値を、所定時間間隔Ｔごとに、計測する。例えば、受信側分析部１９は、時間ｔ１から所定時間Ｔの間の受信音声信号の音量の平均値を、時間ｔ１から所定時間Ｔの間の受信音声信号の音量値として、計測する。そして、受信側分析部１９は、時間ｔ１から所定時間Ｔの間の受信音声信号の音量値ｘ１（ｄＢ）、時間ｔ１＋Ｔから所定時間Ｔの間の受信音声信号の音量値ｘ２（ｄＢ）、．．のように計測していく。受信側分析部１９は、計測した音量値（例えば、音量値ｘ１）と、上記音量値と対応する所定時間（例えば、Ｔ）分の受信音声信号（例えば、音量値ｘ１に対応する、時間ｔ１から所定時間Ｔの間の受信音声信号）と、を受信側重畳部２１に出力する。受信側重畳部２１は、計測された音量値に対応する、所定時間分の受信音声信号をいったん保持する。そして、受信側重畳部２１は、計測された音量値を音響情報処理部２０に送る。
【００６２】
音響情報処理部２０は、受信音声信号に基づいて、受信音声信号に合成する音響信号を制御する制御手段である。具体的には、例えば、音響情報処理部２０は、受信側分析部１９により計測された、受信音声信号の音量に基づいて、受信音声信号に合成する音響信号の音量を制御する。
【００６３】
音響情報処理部２０による制御機能の説明の一例は、以下のとおりである。例えば、音響情報処理部２０は、受信側分析部１９により計測された、受信音声信号の音量に基づいて、所定の関係式に従って、第１音量値を算出し、算出された第１音量値と、上記対応テーブルとに基づいて、第１音量値に対応する第２音量値を取得する取得手段でもある。そして、音響情報処理部２０は、取得した第２音量値となるように、受信音声信号に合成する音響信号の音量を制御する。
【００６４】
音響情報処理部２０による処理の詳細な説明は、以下のとおりである。音響情報処理部２０は、記憶制御部１４を介して、記憶部１５から、対応テーブルを取得する。また、音響情報処理部２０は、記憶制御部１４を介して、記憶部１５から、所定の音響情報を取得する。そして、音響情報処理部２０は、計測された音量値と、所定の関係式とに基づいて、第１音量値を算出する。
【００６５】
ここで、所定の関係式の設定の仕方により、音響信号を優先したり、通話音声信号を優先したり、音響信号と通話音声信号とを両方、適度に優先させることができる。
【００６６】
ここで、音響情報処理部２０による第１音量値の算出方法の一例を以下に説明する。例えば、受信音声信号の音量値が音量値ｂ１と計測され、後述する送信音声信号の音量値が音量値ａ１と計測された場合、音響情報処理部２０は、以下に示す（１）式の所定の関係式に基づいて、第１音量値ｚを算出する。
【００６７】
ｚ＝０＊ａ１＋ｎ＊ｂ１．．．．．．．．．（１）
ここで、ｎは、重み付け係数である。この重み付け係数の値は、特に限定されない。通信システムの設定上要求された値であってもよいし、適当な比例係数（例えば、１／２）であってもよい。
【００６８】
そして、音響情報処理部２０は、上記対応テーブルを参照して、算出された第１音量値に対応する第２音量値を取得する。例えば、音響情報処理部２０は、第１音量値として、音量値Ｂ（ｄＢ）を算出した場合、図３に示す対応テーブルを参照して、第１音量値Ｂに対応する第２音量値ｂ（ｄＢ）を取得する。
【００６９】
そして、音響情報処理部２０は、所定時間（Ｔ）分の所定の音響信号の音量を、第２音量値となるように、制御する。そして、音量が制御された所定の音響信号（所定時間分の所定の音響信号）は、受信側重畳部２１に送られる。
【００７０】
受信側重畳部２１は、所定時間（Ｔ）分の受信音声信号と、音量が制御された所定の音響信号（所定時間（Ｔ）分の所定の音響信号）とを合成する。受信音声信号と、所定の音響信号とが合成された信号である合成信号は、スピーカ部２２に出力される。スピーカ部２２は、合成信号の増幅処理を行った後、ユーザに対して、増幅処理された音声信号を出力する。
【００７１】
マイク部２３には、ユーザの音声が入力される。マイク部２３は、入力されたユーザの音声に基づいて、音声信号をノイズキャンセリング部２４に出力する。
【００７２】
ノイズキャンセリング部２４は、音声信号のうち、周辺雑音に関する信号の除去や抑制処理を行う。ノイズキャンセリング部２４は、除去や抑制処理が施された音声信号（以下、送信音声信号という）を送信側分析部２５に送る。
【００７３】
送信側分析部２５は、携帯電話機１が、通話相手の携帯電話機１との間で、通話状態でない場合、送信音声信号をそのまま送信側重畳部２６に出力する。一方、送信側分析部２５は、携帯電話機１が、通話相手の携帯電話機１との間で、通話状態である場合、以下の処理を行う。即ち、送信側分析部２５は、送られてきた送信音声信号に基づいて、分析処理を行う。ここでは、送信側分析部２５は、送信音声信号の音量を時系列に従って、計測する。即ち、送信側分析部２５は、送信音声信号の音量を時系列に従って、計測する計測手段である。
【００７４】
送信側分析部２５による計測処理の具体的な説明の一例は、以下のとおりである。送信側分析部２５は、送られてきた送信音声信号の音量値を、所定時間間隔Ｔごとに、計測する。例えば、送信側分析部２５は、時間ｔ１から所定時間Ｔの間の送信音声信号の音量の平均値を、時間ｔ１から所定時間Ｔの間の送信音声信号の音量値として、計測する。そして、送信側分析部２５は、時間ｔ１から所定時間Ｔの間の送信音声信号の音量値ｘ１（ｄＢ）、時間ｔ１＋Ｔから所定時間Ｔの間の送信音声信号の音量値ｘ２（ｄＢ）、．．のように計測していく。送信側分析部２５は、計測した音量値（例えば、音量値ｘ１）と、上記音量値と対応する所定時間（例えば、Ｔ）分の送信音声信号（例えば、音量値ｘ１に対応する、時間ｔ１から所定時間Ｔの間の送信音声信号）と、を送信側重畳部２６に出力する。
【００７５】
送信側重畳部２６は、計測された音量値に対応する、所定時間分の送信音声信号をいったん保持する。そして、送信側重畳部２６は、計測された音量値を音響情報処理部２０に送る。
【００７６】
音響情報処理部２０は、送信音声信号に基づいて、送信音声信号に合成する音響信号を制御する制御手段でもある。具体的には、例えば、音響情報処理部２０は、送信側分析部２５により計測された、送信音声信号の音量に基づいて、送信音声信号に合成する音響信号の音量を制御する。
【００７７】
音響情報処理部２０による制御機能の詳細な説明の一例は、以下のとおりである。例えば、音響情報処理部２０は、送信側分析部２５により計測された、送信音声信号の音量に基づいて、所定の関係式に従って、第１音量値を算出し、算出された第１音量値と、上記対応テーブルとに基づいて、第１音量値に対応する第２音量値を取得する取得手段でもある。そして、音響情報処理部２０は、取得した第２音量値となるように、送信音声信号に合成する音響信号の音量を制御する。
【００７８】
音響情報処理部２０による処理の詳細な説明は、以下のとおりである。音響情報処理部２０は、記憶制御部１４を介して、記憶部１５から、対応テーブルを取得する。また、音響情報処理部２０は、記憶制御部１４を介して、記憶部１５から、所定の音響情報を取得する。そして、音響情報処理部２０は、計測された音量値と、所定の関係式とに基づいて、第１音量値を算出する。
【００７９】
ここで、音響情報処理部２０による第１音量値の算出方法の一例を以下に説明する。例えば、受信音声信号の音量値が音量値ｂ１と計測され、送信音声信号の音量値が音量値ａ１と計測された場合、音響情報処理部２０は、以下に示す（２）式の所定の関係式に基づいて、第１音量値ｚを算出する。
【００８０】
ｚ＝ｍ＊ａ１＋０＊ｂ１．．．．．．．．．（２）
ここで、ｍは、重み付け係数である。この重み付け係数の値は、特に限定されない。通信システムの設定上要求された値であってもよいし、適当な比例係数（例えば、１／２）であってもよい。
【００８１】
そして、音響情報処理部２０は、上記対応テーブルを参照して、算出された第１音量値に対応する第２音量値を取得する。
【００８２】
そして、音響情報処理部２０は、所定時間（Ｔ）分の所定の音響信号の音量を、第２音量値となるように、制御する。そして、音量が制御された所定の音響信号（所定時間分の所定の音響信号）は、送信側重畳部２６に送られる。
【００８３】
送信側重畳部２６は、所定時間（Ｔ）分の送信音声信号と、音量が制御された所定の音響信号（所定時間（Ｔ）分の所定の音響信号）とを合成する。送信音声信号と、所定の音響信号とが合成された信号である合成信号は、音声信号符号化部２７に送られる。
【００８４】
音声信号符号化部２７は、送られてきた合成信号の符号化処理を行う。符号化された合成信号（以下、送信合成音声信号という）は、多重化部３０に出力される。
【００８５】
また、携帯電話機１は、撮影部２８を有する。撮影部２８は、ユーザによる所定の操作に基づいて、各種の画像を撮影する。撮影部２８により撮影された画像を示す信号である画像信号（送信画像信号という）は、画像信号符号化部２９に送られる。
【００８６】
画像信号符号化部２９は、撮影部２８から送られた送信画像信号の符号化処理を行う。画像信号符号化部２９は、符号化処理を行った送信画像信号を多重化部３０に送る。
【００８７】
多重化部３０は、音声信号符号化部２７から送られてきた送信合成音声信号と、画像信号符号化部２９から送られてきた送信画像信号との多重化処理を行うことにより、送信デジタルビット列信号を生成する。そして、多重化部３０は、送信デジタルビット列信号を無線送信部１２に出力する。無線送信部１２は、送信デジタルビット列信号を、無線通信、基地局４などを介して、通話相手の携帯電話機１に送信する。
【００８８】
なお、上述した画像信号は、静止画像信号であっても、動画像信号であってもよい。
【００８９】
（通信方法）
先ず、通信制御部１３は、ユーザの携帯電話機１と、ユーザの通話相手の携帯電話機１との間の通信経路が設定され、通話状態であることを認識する。すると、通信制御部１３は、音響情報処理部２０、受信側重畳部２１、受信側分析部１９、送信側分析部２５、送信側重畳部２６が動作するように指示する指示信号を送る。これにより、各部が動作可能な状態に設定される。また、予め、ユーザは、入力部３１を用いて、所定の音響信号を特定する情報を入力する。すると、入力された所定の音響信号を特定する情報は、音響情報処理部２０に送られる。図４は、上記通信方法の説明を補足するための概念図である。
【００９０】
（１）通話相手の携帯電話機１から、受信音声信号を受信し出力する処理
図５は、上記処理を説明するためのフローチャート図である。先ず、無線受信部１１には、通話相手の携帯電話機１から、基地局４、交換装置５、基地局４を介して、無線信号が送信される。無線受信部１１は、受信デジタルビット列信号を分離化部１６に送る（Ｓ１０）。分離化部１６は、無線受信部１１から出力された受信デジタルビット列信号を取得すると、受信デジタルビット列信号を、符号化された受信音声信号と、符号化された受信画像信号とに分離する（Ｓ２０）。分離化部１６は、符号化された受信音声信号を音声信号復号化部１８に送るとともに、符号化された受信画像信号を画像信号復号化部１７に送る。
【００９１】
画像信号復号化部１７は、符号化された受信画像信号を取得すると、受信画像信号の復号化処理を行う（Ｓ３０）。そして、画像信号復号化部１７は、復号化された受信画像信号をディスプレイ部１８に出力する。ディスプレイ部１８は、復号化された受信画像を、ユーザに対して表示する（Ｓ４０）。
【００９２】
また、Ｓ３０，Ｓ４０の処理と並行して以下の処理が行われる。音声信号復号化部１８は、符号化された受信音声信号を取得すると、上記受信音声信号の復号化処理を行う（Ｓ５０）。そして、音声信号復号化部１８は、復号化された受信音声信号を受信側分析部１９に出力する。
【００９３】
受信側分析部１９は、送られてきた受信音声信号の音量値を、所定時間間隔Ｔごとに、計測する（Ｓ６０）。例えば、受信側分析部１９は、時間ｔ１から所定時間Ｔの間の受信音声信号の音量の平均値を計測する。そして、受信側分析部１９は、時間ｔ１から所定時間Ｔの間の受信音声信号の音量値ｘ１（ｄＢ）、時間ｔ１＋Ｔから所定時間Ｔの間の受信音声信号の音量値ｘ２（ｄＢ）、．．のように計測する。受信側分析部１９は、計測した音量値と、所定時間（Ｔ）分の受信音声信号とを受信側重畳部２１に出力する。
【００９４】
受信側重畳部２１は、所定時間（Ｔ）分の受信音声信号をいったん保持する（Ｓ７０）。そして、受信側重畳部２１は、計測された音量値を音響情報処理部２０に送る。音響情報処理部２０は、記憶制御部１４を介して、対応テーブルと、上記所定の音響情報を取得する。そして、音響情報処理部２０は、計測された音量値と、所定の関係式とに基づいて、第１音量値を算出する（Ｓ８０）。この第１音量値の算出処理の詳細な説明は、上述したとおりである。
【００９５】
そして、音響情報処理部２０は、上記対応テーブルを参照して、算出された第１音量値に対応する第２音量値を取得する（Ｓ９０）。そして、音響情報処理部２０は、所定時間（Ｔ）分の所定の音響信号の音量を、第２音量値となるように、制御する（Ｓ１００）。そして、音量が制御された所定の音響信号（所定時間（Ｔ）分の所定の音響信号）は、受信側重畳部２１に送られる。
【００９６】
受信側重畳部２１は、所定時間（Ｔ）分の受信音声信号と、音量が制御された所定の音響信号（所定時間（Ｔ）分の所定の音響信号）とを合成する（Ｓ１１０）。受信音声信号と、所定の音響信号とが合成された信号である合成信号は、スピーカ部２２に出力される（Ｓ１２０）。
【００９７】
（２）通話相手の携帯電話機１に、送信音声信号を送信する処理
図６は、上記処理を説明するためのフローチャート図である。マイク部２３には、ユーザの音声が入力される。マイク部２３は、入力されたユーザの音声に基づいて、音声信号をノイズキャンセリング部２４に出力する（Ｓ１３０）。
【００９８】
ノイズキャンセリング部２４は、音声信号のうち、周辺雑音に関する信号の除去や抑制処理を行う（Ｓ１４０）。そして、ノイズキャンセリング部２４は、送信音声信号を送信側分析部２５に送る。
【００９９】
送信側分析部２５は、送られてきた送信音声信号の音量値を、所定時間間隔Ｔごとに、計測する（Ｓ１５０）。この処理の具体的な説明は、ステップＳ６０の場合と同じである。送信側分析部２５は、計測した音量値と、所定時間（Ｔ）分の送信音声信号とを送信側重畳部２６に出力する。
【０１００】
送信側重畳部２６は、所定時間（Ｔ）分の送信音声信号をいったん保持する（Ｓ１６０）。そして、送信側重畳部２６は、計測された音量値を音響情報処理部２０に送る。音響情報処理部２０は、記憶制御部１４を介して、対応テーブルと、所定の音響情報を取得する。そして、音響情報処理部２０は、計測された音量値と、所定の関係式とに基づいて、第１音量値を算出する（Ｓ１７０）。この第１音量値の算出処理の詳細な説明は、上述したとおりである。
【０１０１】
そして、音響情報処理部２０は、上記対応テーブルを参照して、算出された第１音量値に対応する第２音量値を取得する（Ｓ１８０）。そして、音響情報処理部２０は、所定時間（Ｔ）分の所定の音響信号の音量を、第２音量値となるように、制御する（Ｓ１９０）。そして、音量が制御された所定の音響信号（所定時間（Ｔ）分の所定の音響信号）は、送信側重畳部２６に送られる。
【０１０２】
送信側重畳部２６は、所定時間（Ｔ）分の送信音声信号と、音量が制御された所定の音響信号（所定時間（Ｔ）分の所定の音響信号）とを合成する（Ｓ２００）。送信音声信号と、所定の音響信号とが合成された信号である合成信号は、音声信号符号化部２７に送られる。
【０１０３】
音声信号符号化部２７は、送られてきた合成信号の符号化処理を行う（Ｓ２１０）。符号化された合成信号は、多重化部３０に出力される。その後、Ｓ２４０の処理が行われる。
【０１０４】
また、Ｓ１３０からＳ２１０までの処理と並行して、以下のＳ２２０、Ｓ２３０の処理が行われる。撮影部２８は、ユーザによる所定の操作に基づいて、各種の画像を撮影する（Ｓ２２０）。撮影部２８により撮影された画像を示す信号（送信画像信号）は、画像信号符号化部２９に送られる。画像信号符号化部２９は、送信画像信号の符号化処理を行う（Ｓ２３０）。画像信号符号化部２９は、符号化処理を行った送信画像信号を多重化部３０に送る。その後、Ｓ２４０の処理が行われる。
【０１０５】
多重化部３０は、音声信号符号化部２７から送られてきた合成信号と、画像信号符号化部２９から送られてきた送信画像信号との多重化処理を行うことにより、送信デジタルビット列信号を生成する（Ｓ２４０）。そして、多重化部３０は、送信デジタルビット列信号を含む無線信号を無線送信部１２に出力する。無線送信部１２は、無線信号を、基地局４、交換装置５、通話相手の携帯電話機１と無線通信を行う基地局４を介して、通話相手の携帯電話機１に送信する（Ｓ２５０）。
【０１０６】
なお、本実施の形態では、一例として、記憶部１５には、後述する１つの対応テーブルと、複数の音響信号とが記憶されている場合の説明が行われたが、記憶部１５には、複数の対応テーブルが記憶されても良い。そして、音響情報処理部２０は、複数の対応テーブルのうち、本実施の形態の機能を実現する対応テーブルを選択して取得するようにしてもよい。
【０１０７】
（作用効果）
本実施の形態の携帯電話機１は、受信音声信号及び／又は送信音声信号に基づいて、送信音声信号及び／又は受信音声信号に合成する音響信号を制御する音響情報処理部２０（制御手段）を有する。このため、通話中の送信音声信号及び／又は受信音声信号の変化に応じて、音響信号を変化させるような制御が可能となる。そして、例えば、以下のような制御が行われることにより、音響信号が通話の妨げになることが防止されたり、通話を盛り上げることが可能となる。
【０１０８】
このような制御として、例えば、音量の制御がある。携帯電話機１は、受信音声信号及び／又は送信音声信号の音量を時系列に従って、計測する受信側分析部１９／送信側分析部２５を有する。そして、音響情報処理部２０は、計測された、受信音声信号及び／又は送信音声信号の音量に基づいて、送信音声信号及び／又は受信音声信号に合成する音響信号の音量を制御することができる。
【０１０９】
音響情報処理部２０による音量制御の一例は、以下のとおりである。携帯電話機１は、受信音声信号及び／又は送信音声信号の音量に基づいて所定の関係式に従って算出される第１音量値と、受信音声信号及び／又は送信音声信号に合成する音響信号の実際の音量値である第２音量値とが対応づけられた対応テーブルを記憶する記憶部１５を有する。そして、音響情報処理部２０は、計測された、受信音声信号及び／又は送信音声信号の音量に基づいて、所定の関係式に従って、第１音量値を算出し、算出された第１音量値と、対応テーブルとに基づいて、第１音量値に対応する第２音量値を取得する。そして、音響情報処理部２０は、取得した第２音量値となるように、送信音声信号及び／又は受信音声信号に合成する音響信号の音量を制御する。
【０１１０】
この結果、例えば、通話相手から送られてきた受信音声信号の音量や、通話相手に送信する送信音声信号の音量が高い場合、上記受信音声信号に合成するための音響信号や、送信音声信号に合成するための音響信号の音量が高くなるように制御することができる。また、例えば、通話相手から送られてきた受信音声信号の音量や、通話相手に送信する送信音声信号の音量が低い場合、上記受信音声信号に合成するため音響信号や、送信音声信号に合成するための音響信号の音量が低くなるように制御することができる。
【０１１１】
これにより、例えば、通話に関する音声信号（送信音声信号、受信音声信号）が変化しても、通話に関する音声信号が優先して、出力されたり、通話相手の携帯電話機１に送信されるので、通話の妨げになるという事態が防止される。
【０１１２】
また、例えば、通話相手から送られてきた受信音声信号の音量と、通話相手に送信する送信音声信号の音量とのうち、大きい方の音量値に基づいて、送信音声信号、受信音声信号に合成するための音響信号の音量を制御することも可能である。これにより、例えば、通話に関する音声信号（送信音声信号、受信音声信号）が変化しても、音量が大きな音声信号に基づいて、上記音響信号の音量が制御されるので、例えば、盛り上がっている方の音声信号が優先して出力されたり、通話相手の携帯電話機１に送信されることが可能になる。この結果、通話を盛り上げることが可能となる。
【０１１３】
また、本実施の形態の記憶制御部１４は、対応テーブルを記憶する記憶装置（例えば、情報提供サーバ装置６）から、対応テーブルを取得し、取得した対応テーブルを、記憶部１５に記憶させる。このため、携帯電話機１のユーザは、自分で対応テーブルを作成する手間が省けるので、ユーザの手間を軽減することができる。
【０１１４】
また、特開２００２−２７１４９４号公報に示される「効果音付加型通話システム」では、発呼者が被呼者に接続する際には、事前に発呼者が効果音サーバに発信し、効果音の選択等に必要な操作を行い、その後、実際に会話を行う被呼者の電話番号を入力し相手と接続しなければならない。このため、通話を開始するまでの操作が煩雑であり、かつ発呼者が被呼者への通話料金以外に効果音サーバへの通話料金を負担しなければならなかった。本実施の形態を用いれば、そのような事態が解消される。
【０１１５】
また、特開２００２−５１１１６号公報に示される「移動体通信装置」では、効果音の挿入を携帯電話機１内部にて行っており、テンキーに対応して種々の効果音を送出できるものの、実際に使用可能な効果音の種類及び数量は、携帯電話機１の記憶装置内に予め記憶されたものに限られる。本実施の形態では、記憶制御部１４は、対応テーブル、音響信号を記憶する記憶装置から、対応テーブル、音響信号を取得し、取得した対応テーブル、音響信号を、記憶部１５に記憶させる。このため、特開２００２−５１１１６号公報のように、実際に使用可能な効果音の種類及び数量は、携帯電話機１の記憶装置内に予め記憶されたものに限られることはない。
【０１１６】
また、特開２００２−５１１１６号公報の技術では、効果音の挿入を行う効果音ミキサーは、単純に発話者の音声出力と、レシーバー（スピーカ）入力に配置してあるため、マイクからの混入した発話者の背景音と混じってしまうが、本実施の形態では、携帯電話機１の内部で、発話者の音声と、音響信号とを合成しているので、そのような事態は避けられる。
【０１１７】
また、本実施の形態の携帯電話機１は、広帯域な情報伝送が可能なデジタル携帯電話機１に適用が可能である。特に、本実施の形態の携帯電話機１は、音声及び動画像の伝送が行われるＴＶ電話機能を有するデジタル携帯電話機１に適用が可能である。
【０１１８】
（実施の形態１の変更例１）
（１）また、上述した実施の形態では、受信音声信号に合成する所定の音響信号の音量の制御と、送信音声信号に合成する所定の音響信号の音量の制御とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号の音量の制御と、送信音声信号に合成する所定の音響信号の音量の制御とのうち、いずれか一方の制御のみが行われるようにしてもよい。
【０１１９】
そして、例えば、受信音声信号（又は送信音声信号）に合成する所定の音響信号の音量の制御のみが行われる場合、送信音声信号（又は受信音声信号）に合成する所定の音響信号は、一定の音量のままであってもよい。
【０１２０】
送信音声信号に合成する所定の音響信号の音量の制御のみが行われる場合、上述した所定の関係式（１）により、ユーザの音声が優先され、通話中において、ユーザの音声が優先して通話相手に送信される効果が得られる。
【０１２１】
一方、受信音声信号に合成する所定の音響信号の音量の制御のみが行われる場合、上述した所定の関係式（２）により、通話相手の音声が優先され、通話中において、通話相手の音声が優先して出力される効果が得られる。
【０１２２】
また、上述した所定の関係式（１）により、第１音量値が算出され、対応テーブルに基づいて、第２音量値が取得された場合、この取得された第２音量値に基づいて、受信音声信号に合成する所定の音響信号の音量の制御と、送信音声信号に合成する所定の音響信号に音量の制御とが行われるようにしてもよい。この場合にも、ユーザの音声が優先され、通話中において、ユーザの音声が優先して通話相手に送信される効果が得られる。
【０１２３】
また、上述した所定の関係式（２）により、第１音量値が算出され、対応テーブルに基づいて、第２音量値が取得された場合、この取得された第２音量値に基づいて、受信音声信号に合成する所定の音響信号の音量の制御と、送信音声信号に合成する所定の音響信号に音量の制御とが行われるようにしてもよい。この場合にも、通話相手の音声が優先され、通話中において、通話相手の音声が優先して出力される効果が得られる。
【０１２４】
（２）なお、音響情報処理部２０による第１音量値の算出方法は、上述した実施の形態で示す方法以外に、以下のように変更されてもよい。
【０１２５】
例えば、受信側分析部１９は、受信音声信号の音量値（例えば、時間ｔ１から所定時間Ｔの間の受信音声信号の音量の平均値）を音量値ｂ１と計測し、送信側分析部２５は、送信音声信号の音量値（例えば、時間ｔ１から所定時間Ｔの間の送信音声信号の音量の平均値）を音量値ａ１と計測した場合、音響情報処理部２０は、以下に示す（３）式の所定の関係式に基づいて、第１音量値ｚを算出する。
【０１２６】
ｚ＝ｍａｘ（ａ１，ｂ１）．．．．．．．．．（３）
ここで、ｍａｘ（ａ１，ｂ１）は、音量値ａ１と音量値ｂ１とのうち、大きな音量値（最大の音量値）を示す。
【０１２７】
この場合には、例えば、通話に関する音声信号（送信音声信号、受信音声信号）が変化しても、音量が大きな音声信号に基づいて、音響信号の音量が制御されるので、盛り上がっている方の音声信号が優先して出力されたり、通話相手の携帯電話機１に送信されるので、通話を盛り上げることが可能となる。
【０１２８】
そして、音響情報処理部２０は、対応テーブルを参照して、第１音量値に対応する第２音量値を取得する。この第２音量値は、所定時間分の受信音声信号に合成する所定の音響信号の音量の制御処理と、所定時間分の送信音声信号に合成する所定の音響信号の音量の制御処理とに用いられる。
【０１２９】
そして、所定時間分の受信音声信号に合成する所定の音響信号の音量の制御処理、所定時間分の受信音声信号と所定の音響信号との合成処理、所定時間分の送信音声信号に合成する所定の音響信号の音量の制御処理、所定時間分の送信音声信号と所定の音響信号との合成処理、は上述した実施の形態と同様にして行われる。
【０１３０】
（３）また、音響情報処理部２０による第１音量値の算出方法は、以下のように変更されてもよい。例えば、受信側分析部１９は、受信音声信号の音量値（例えば、時間ｔ１から所定時間Ｔの間の受信音声信号の音量の平均値）を音量値ｂ１と計測し、送信側分析部２５は、送信音声信号の音量値（例えば、時間ｔ１から所定時間Ｔの間の送信音声信号の音量の平均値）を音量値ａ１と計測した場合、音響情報処理部２０は、以下に示す（４）式の所定の関係式に基づいて、第１音量値ｚを算出する。
【０１３１】
ｚ＝ｍ＊ａ１＋ｎ＊ｂ１．．．．．．．．．（４）
ここで、ｍ、ｎは重み付け係数である。この重み付け係数の値は、特に限定されない。通信システムの設定上要求された値であってもよいし、適当な比例係数（例えば、１／２）であってもよい。
【０１３２】
この場合には、ユーザの音声が適度に優先され、通話中において、ユーザの音声が適度に優先して通話相手に送信される効果が得られるとともに、通信相手の音声が適度に優先され、通話中において、通信相手の音声が適度に優先して出力される効果が得られる。その後の処理は、上述した実施の形態１の変更例１の（２）の説明の場合と同じである。
【０１３３】
（実施の形態１の変更例２）
上述した実施の形態１、その変更例１では、音響情報処理部２０は、第１音量値を算出した後、対応テーブルを参照して、第１音量値に対応する第２音量値を算出していたが、これに限定されず、例えば、以下のような式（５）を用いた方法で、第２音量値ｙが算出されてもよい。
【０１３４】
ｙ＝ｐ／ｚ＋α１、ｙ≦α２．．．．．．．．．（５）
ここで、ｐは重み付け係数であり、その値は特に限定されない。また、α１は、音量値の下限値であり、α２は、音量値の上限値である。
【０１３５】
（実施の形態１の変更例３）
上述した実施の形態１は、以下のように変更されてもよい。  受信側分析部１９は、受信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段である。また、送信側分析部２５は、送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段でもある。
【０１３６】
音響情報処理部２０は、計測された、所定時間内の受信音声信号及び／又は送信音声信号のテンポに関する情報に基づいて、送信音声信号及び／又は受信音声信号に合成する音響信号のテンポを制御する制御手段でもある。
【０１３７】
また、記憶部１５には、例えば、各テンポに関する情報と、送信音声信号及び／又は受信音声信号に合成する音響信号のテンポとが対応づけられた対応テーブルが記憶されている。テンポに関する情報とは、例えば、所定時間の受信音声信号における有音声部分から無音声部分への変化の回数と、所定時間の受信音声信号における無音声部分から有音声部分への変化の回数との和の値である。
【０１３８】
（動作）
以下、本変更例の特徴的部分の動作について説明する。即ち、図５に示すＳ６０以降、図６に示すＳ１５０以降では、以下の処理が行われる。
【０１３９】
先ず、音声信号復号化部１８から、復号化処理が施された受信音声信号が受信側分析部１９に送られる。受信側分析部１９は、送られてきた受信音声信号に基づいて、以下の処理を行う。受信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号のテンポに関する情報を、所定時間ごとに、計測する。そして、受信側分析部１９は、受信音声信号のテンポに関する情報を音響情報処理部２０に送る。
【０１４０】
また、受信側分析部１９は、受信音声信号のテンポに関する情報の計測処理を終えた後、所定時間分の受信音声信号を、受信側重畳部２１に出力する。受信側重畳部２１は、上記所定時間分の受信音声信号をいったん保持する。
【０１４１】
音響情報処理部２０は、対応テーブルを参照して、計測されたテンポに関する情報に対応するテンポ値を取得する。
【０１４２】
音響情報処理部２０は、上記所定時間分の所定の音響信号のテンポが、取得したテンポとなるように、制御する。そして、テンポが制御された所定の音響信号（上記所定時間分の所定の音響信号）は、受信側重畳部２１に送られる。
【０１４３】
受信側重畳部２１は、保持していた所定時間分の受信音声信号と、テンポが制御された所定の音響信号（所定時間分の所定の音響信号）とを合成する。合成された信号である合成信号は、スピーカ部２２に出力される。
【０１４４】
同様にして、送信側分析部２５によるテンポに関する情報の計測処理、音響情報処理部２０による所定の音響信号の制御処理（テンポの制御）、送信側重畳部２６による送信音声信号と所定の音響信号との合成処理が行われる。
【０１４５】
本変更例によれば、送信側分析部２５／受信側分析部１９は、受信音声信号及び／又は送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号及び／又は送信音声信号のテンポに関する情報を、所定時間ごとに、計測する。そして、音響情報処理部２０は、計測された、所定時間内の受信音声信号及び／又は送信音声信号のテンポに関する情報に基づいて、送信音声信号及び／又は受信音声信号に合成する音響信号のテンポを制御する。
【０１４６】
この結果、例えば、通話相手から送られてきた受信音声信号のテンポや、通話相手に送信する送信音声信号のテンポに合うように、上記受信音声信号に合成するため音響信号や、送信音声信号に合成するための音響信号のテンポを制御することができる。
【０１４７】
これにより、通話に関する音声信号のテンポと異なるテンポの音響信号が合成されてしまうような状態がないので、通話の妨げになるという事態が防止される。また、例えば、通話に関する音声信号のテンポに従ったテンポの音響信号が合成されるので、通話を盛り上げることが可能となる。
【０１４８】
なお、携帯電話機１は、実施の形態１（又はその変更例１、２）の音響信号の制御機能と、本変更例の音響信号の制御機能をともに、具備するようにしてもよい。そして、ユーザが入力部３１を用いて、実施の形態１の制御機能及び本変更例の制御機能のうち、いずれかの制御機能を選択できるようにしてもよい。入力部３１により入力された選択を示す情報は、音響情報処理部２０に送られる。音響情報処理部２０は、入力された選択を示す情報に基づいて、実施の形態１の制御機能又は本変更例の制御機能を行うようにしてもよい。
【０１４９】
また、携帯電話機１は、ユーザによる各種の操作を検知する可動部を有するようにしてもよい。そして、可動部は、検知したユーザによる操作に基づいて、実施の形態１の制御機能及び本変更例の制御機能のうち、いずれかの制御機能をユーザが選択したことを示す情報を音響情報処理部２０に送るようにしても良い。
【０１５０】
また、本変更例では、受信音声信号に合成する所定の音響信号のテンポの制御と、送信音声信号に合成する所定の音響信号のテンポの制御とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号のテンポの制御と、送信音声信号に合成する所定の音響信号のテンポの制御とのうち、いずれか一方の制御のみが行われるようにしてもよい。
【０１５１】
そして、例えば、受信音声信号（又は送信音声信号）に合成する所定の音響信号のテンポの制御のみが行われる場合、送信音声信号（又は受信音声信号）に合成する所定の音響信号のテンポは、一定のテンポのままであってもよい。
【０１５２】
なお、本実施の形態、その変更例では、音響信号の制御について、音響信号の音量の制御、テンポの制御について、説明したが、本発明は、これらの制御に限定されない。即ち、受信音声信号及び／又は前記送信音声信号に基づいて、音響信号を制御する場合には、本実施の形態で説明した効果が得られる。
【０１５３】
実施の形態２．
上述した実施の形態１、その変更例では、受信音声信号及び／又は送信音声信号に合成する音響信号の制御が行われていた。本実施の形態では、受信音声信号及び／又は送信音声信号に基づいて、複数の音響信号のうち、受信音声信号及び／又は送信音声信号に合成するための音響信号の選択が行われる。
【０１５４】
本実施の形態において、実施の形態１と同じ構成、機能の説明については、同一符号を付してその説明を省略する。
【０１５５】
記憶部１５には、複数の音響信号が記憶されている。また、音響情報処理部２０と記憶制御部１４は、受信音声信号及び／又は送信音声信号に基づいて、記憶部１５に記憶された複数の音響信号のうち、所定の音響信号を選択する選択手段でもある。そして、受信側重畳部２１は、受信音声信号と、上記所定の音響信号とを合成する合成手段でもある。また、送信側重畳部２６は、送信音声信号と、上記所定の音響信号とを合成する合成手段でもある。
【０１５６】
音響情報処理部２０と記憶制御部１４の選択機能の具体的な説明の一例は、以下のとおりである。音響情報処理部２０は、通話相手の携帯電話機１との間で、受信音声信号又は送信音声信号の送受信を開始してから現在までの時間である通話時間を計測する計測手段である。具体的には、通信制御部１３は、ユーザの携帯電話機１が通話相手の携帯電話機との間で通話状態となった場合、通話状態の開始を示す信号を音響情報処理部２０に出力する。音響情報処理部２０は、通話状態の開始を示す信号を取得したときから、現在までの時間を示す通話時間を計測する。
【０１５７】
また、音響情報処理部２０と記憶制御部１４は、計測した通話時間に基づいて、記憶部１５に記憶された複数の音響信号のうち、所定の音響信号を選択する。この選択処理の具体的な説明の一例は、以下のとおりである。記憶部１５には、各通話時間と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。なお、本実施の形態で用いられる対応テーブルは、実施の形態１で用いられる対応テーブルとは異なるものである。図７は、本実施の形態で用いられる対応テーブルの一例を示す図である。この対応テーブルにおいては、各通話時間と、音響信号の名称と、音響信号を特定する情報（音響信号が記憶されているアドレス情報）とが対応づけられている。音響情報処理部２０は、対応テーブルを参照して、計測された通話時間に対応する音響信号を、所定の音響信号として選択して取得するように、記憶制御部１４に指示する。記憶制御部１４は、上記指示を実行する。
【０１５８】
（通信方法）
本通信方法では、一例として、対応テーブルには、通話時間１（Ｔ１秒）、通話時間２（Ｔ２秒）が含まれている場合の説明が行われる。本通信方法では、特に、音声信号の処理（無線受信部１１から、分離化部１６、音声信号復号化部１８、受信側分析部１９を介して音声信号が受信側重畳部２１、音響情報処理部２０に送られた後、受信側重畳部２１、音響情報処理部２０などで所定の処理が行われて、スピーカ部２２から出力される処理、マイク部２３，ノイズキャンセリング部２４を介して、音声信号が送信側重畳部２６、音響情報処理部２０に送られた後、送信側重畳部２６、音響情報処理部２０などで所定の処理が行われて、音声信号符号化部２７に出力される処理）について説明する。なお、以下に示す処理以外の処理（例えば、画像信号の処理の説明、音声信号と画像信号との合成処理、合成された信号の処理、音声信号と画像信号との分離処理などの処理）は、実施の形態１と同じようにして行われるので、その説明を省略する。
【０１５９】
図８、９は、本実施の形態の通信方法の一例を説明するためのフローチャート図である。
【０１６０】
先ず、予め、ユーザは、入力部３１を用いて、所定の音響信号を特定する情報を入力する。すると、入力された所定の音響信号を特定する情報は、音響情報処理部２０に送られる。
【０１６１】
そして、通信制御部１３は、ユーザの携帯電話機１が通話相手の携帯電話機１と通話状態になった場合、通話状態の開始を示す信号を音響情報処理部２０に出力する（Ｓ３００）。
【０１６２】
そして、通話相手の電話機から基地局４を介して、送信されてきた無線信号は、無線受信部１１、分離化部１６、音声信号復号化部１８、受信側分析部１９を介して、受信側重畳部２１に送信される。この際、受信側分析部１９は、実施の形態１と異なり、音声信号復号化部１８から入力された信号をそのまま、受信側重畳部２１に出力する。受信側重畳部２１は、受信音声信号をいったん保持する。また、マイク部２３に入力された音声は、ノイズキャンセリング部２４、送信側分析部２５を介して、送信側重畳部２６に送信される。この際、送信側分析部２５は、実施の形態１と異なり、ノイズキャンセリング部２４から入力された信号をそのまま、送信側重畳部２６に出力する。送信側重畳部２６は、送信音声信号をいったん保持する（Ｓ３１０）。
【０１６３】
音響情報処理部２０は、通話状態の開始を示す信号を取得した場合、音響情報処理部２０は、通話状態の開始を示す信号を取得したときから、現在までの時間を示す通話時間を計測する（Ｓ３１５）。なお、Ｓ３１５の処理は、Ｓ３２０の処理以後、本実施の形態の処理が終了するまで行われる。この際、音響情報処理部２０は、記憶制御部１４を介して、記憶部１５から対応テーブルを読み出す。
【０１６４】
音響情報処理部２０は、計測した通話時間が、対応テーブルに含まれる最も短い通話時間（例えば、Ｔ１秒）に達したか否かを判断する（Ｓ３２０）。計測した通話時間が、対応テーブルに含まれる上記通話時間に達しない場合には、音響情報処理部２０は、上記所定の音響信号を記憶制御部１４、記憶部１５を介して、読み出す。そして、音響情報処理部２０は、上記所定の音響信号を受信側重畳部２１、送信側重畳部２６に送信する（Ｓ３２５）。受信側重畳部２１は、保持していた受信音声信号と、上記所定の音響信号とを合成して、スピーカ部２２に出力する。また、送信側重畳部２６は、保持していた送信音声信号と、上記所定の音響信号とを合成して、音声信号符号化部２７へ送る（Ｓ３３０）。そして、ステップＳ３２０の処理へ移行する。
【０１６５】
一方、計測した通話時間が、対応テーブルに含まれる最も短い通話時間に達した場合には、音響情報処理部２０は、以下の処理を行う。
【０１６６】
音響情報処理部２０は、対応テーブルを参照して、上記最も短い通話時間に対応するアドレス情報を記憶制御部１４に送るとともに、上記通話時間に対応する音響信号の要求を示す信号を記憶制御部１４に送る（Ｓ３４０）。例えば、図７に示すように、計測した通話時間がＴ１秒の場合、音響情報処理部２０は、対応テーブルを参照して、通話時間Ｔ１秒に対応するアドレス情報ａを記憶制御部１４に送る。
【０１６７】
記憶制御部１４は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部１５に記憶されている複数の音響信号のうち、上記アドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部２０に送る（Ｓ３５０）。
【０１６８】
音響情報処理部２０は、送られてきた音響信号を受信側重畳部２１に送信する。受信側重畳部２１は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部２２に出力する。また、音響情報処理部２０は、送られてきた音響信号を送信側重畳部２６に送信する。送信側重畳部２６は、保持していた送信音声信号と、送られてきた音響信号とを合成し、音声信号符号化部２７に出力する（Ｓ３６０）。
【０１６９】
そして、音響情報処理部２０は、計測した通話時間が、対応テーブルに含まれる次に短い通話時間（例えば、Ｔ２秒）に達したか否かを判断する（Ｓ３６５）。計測した通話時間が、対応テーブルに含まれる次に短い通話時間に達しない場合には、ステップＳ３５０の処理へ移行する。
【０１７０】
一方、計測した通話時間が、対応テーブルに含まれる次に短い通話時間に達した場合には、対応テーブルを参照して、音響情報処理部２０は、対応テーブルを参照して、上記次に短い通話時間に対応するアドレス情報を記憶制御部１４に送るとともに、上記通話時間に対応する音響信号の要求を示す信号を記憶制御部１４に送る（Ｓ３７０）。
【０１７１】
記憶制御部１４は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部１５に記憶されている複数の音響信号のうち、記憶部１５のアドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部２０に送る（Ｓ３７５）。
【０１７２】
音響情報処理部２０は、送られてきた音響信号を受信側重畳部２１に送信する。受信側重畳部２１は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部２２に出力する（Ｓ３８０）。また、音響情報処理部２０は、送られてきた音響信号を送信側重畳部２６に送信する。送信側重畳部２６は、保持していた送信音声信号と、送られてきた音響信号とを合成し、音声信号符号化部２７に出力する（Ｓ３８５）。
【０１７３】
そして、音響情報処理部２０は、通話状態が終了したか否かを判断する（Ｓ３９０）。この際、通信制御部１３は、通話状態が終了した場合、その旨を示す信号を音響情報処理部２０に送る。通話状態が終了していない場合には、ステップＳ３７５の処理へ移行する。通話状態が終了した場合には、本変更例の処理は終了する。
【０１７４】
上述した説明では、対応テーブルには、２つの通話時間が含まれている場合の説明が行われたが、３つ以上の通話時間が含まれている場合も本発明の適用は可能である。
【０１７５】
このようにして、計測された通話時間が、対応テーブルに含まれる通話時間を経過するごとに、所定の音響信号が選択される。そして、選択された所定の音響信号は、受信音声信号、送信音声信号と合成される。
【０１７６】
（作用効果）
本実施の形態の携帯電話機１の音響情報処理部２０、記憶制御部１４は、受信音声信号及び／又は送信音声信号に基づいて、記憶部１５に記憶された複数の音響信号のうち、所定の音響信号を選択する。そして、送信側分析部２５／受信側分析部１９は、受信音声信号又は前記送信音声信号と、上記所定の音響信号とを合成する。
【０１７７】
このため、通話中の送信音声信号及び／又は受信音声信号の変化に応じて、選択される音響信号が変化することになる。この結果、通話中の送信音声信号及び／又は受信音声信号の変化に応じて、音響信号を変化させることが可能となる。
【０１７８】
そして、例えば、以下のような選択が行われることにより、通話を盛り上げることが可能となる。
【０１７９】
音響情報処理部２０、記憶制御部１４による選択処理の一例は、例えば、以下のとおりである。音響情報処理部２０は、通話相手の通信装置との間で、受信音声信号又は送信音声信号の送受信を開始してから現在までの時間である通話時間を計測する。そして、音響情報処理部２０、記憶制御部１４は、計測した通話時間に基づいて、記憶部１５に記憶された複数の音響信号のうち、所定の音響信号を選択する。
【０１８０】
具体的な一例は、以下のとおりである。記憶部１５には、各通話時間と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。音響情報処理部２０は、対応テーブルを参照して、計測した通話時間に対応する音響信号を、所定の音響信号として選択するように、記憶制御部１４に指示する。記憶制御部１４は、上記指示を実行する。
【０１８１】
このため、例えば、各通話時間が経過するごとに、別の音響信号が選択されて、送信音声信号及び／又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機１に送信される。この結果、長い通話となってしまい、通話が単調なものとなってしまっても、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【０１８２】
また、通話者が長く電話することを防止したいと考える場合には、長電話に対する警告となるので、長電話しがちな通話者にとって都合の良い携帯電話機１が提供される。
【０１８３】
また、特開２００２−２７１４９４号公報に示される「効果音付加型通話システム」では、当該システムは効果音を電話機の数字キーで選択させる方式のため、一つのジャンルにおける選択可能な効果音等は９種類に限定されている。本実施の形態では、選択される音響信号には、特にそのような限定はない。
【０１８４】
なお、本実施の形態では、受信音声信号に合成する所定の音響信号の選択処理（及び所定の音響信号と受信音声信号との合成処理）と、送信音声信号に合成する所定の音響信号の選択処理（及び所定の音響信号と送信音声信号との合成処理）とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号の選択処理と、送信音声信号に合成する所定の音響信号の選択処理のうち、いずれか一方のみが行われるようにしてもよい。
【０１８５】
また、上述した実施の形態において、所定の周期ごとに、例えば、音響信号１、音響信号２とが交互に選択されるようにしてもよい。また、上述した対応テーブルを用いて選択処理が行われる場合、通話時間／設定周期を通話時間として、所定の音響信号の選択処理が行われても良い。
【０１８６】
（実施の形態２の変更例１）
上述した実施の形態２において、以下のように変更されてもよい。本変更例の携帯電話機１の受信側分析部１９は、受信音声信号における無音声が連続する時間である無音時間を計測する計測手段でもある。また、携帯電話機１の送信側分析部２５は、送信音声信号における無音声が連続する時間である無音時間を計測する計測手段でもある。また、音響情報処理部２０、記憶制御部１４は、計測された無音時間に基づいて、記憶部１５に記憶された複数の音響信号のうち、所定の音響信号を選択する選択手段でもある。
【０１８７】
音響情報処理部２０、記憶制御部１４による選択処理の具体的な説明の一例は、以下のとおりである。記憶部１５には、無音時間と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。図１０は、対応テーブルの一例を示す図である。なお、本変更例の対応テーブルは、実施の形態１、２の対応テーブルと異なるものである。この対応テーブルにおいては、各無音時間と、音響信号の名称と、音響信号を特定する情報（音響信号が記憶されているアドレス情報）とが対応づけられている。
【０１８８】
音響情報処理部２０は、対応テーブルを参照して、計測された無音時間に対応する音響信号を、所定の音響信号として、選択するように記憶制御部１４に指示する。記憶制御部１４は、上記指示を実行する。
【０１８９】
（動作）
以下、本変更例の特徴的部分の動作について説明する。図１１，１２は、上記動作を説明するためのフローチャート図である。本動作では、一例として、対応テーブルには、無音時間１（Ｔ３秒）、無音時間２（Ｔ４秒）が含まれている場合の説明が行われる。
【０１９０】
なお、本動作では、特に、音声信号の処理（受信側分析部１９に受信音声信号を送られた後、受信側分析部１９，受信側重畳部２１、音響情報処理部２０などで所定の処理が行われて、スピーカ部２２から出力される処理、送信側分析部２５に送信音声信号が送られた後、送信側分析部２５，送信側重畳部２６、音響情報処理部２０などで所定の処理が行われて、音声信号符号化部２７に出力される処理）について説明する。なお、以下に示す処理以外の処理（例えば、画像信号の処理の説明、音声信号と画像信号との合成処理、合成された信号の処理、音声信号と画像信号との分離処理などの処理）は、実施の形態１と同じようにして行われるので、その説明を省略する。
【０１９１】
先ず、予め、ユーザは、入力部３１を用いて、所定の音響信号を特定する情報を入力する。すると、入力された所定の音響信号を特定する情報は、音響情報処理部２０に送られる。
【０１９２】
そして、音声信号復号化部１８から、復号化処理が施された受信音声信号が受信側分析部１９に送られる。受信側分析部１９は、送られてきた受信音声信号において、無音声が連続する時間である無音時間を計測する（Ｓ４００）。なお、Ｓ４００の処理は、例えば、通話状態が終了するまで行われる。そして、受信側分析部１９は、計測した無音時間を音響情報処理部２０に送る。
【０１９３】
また、受信側分析部１９は、無音時間の計測処理を終えた後、受信音声信号を、受信側重畳部２１に出力する。受信側重畳部２１は、受信音声信号をいったん保持する（Ｓ４０５）。
【０１９４】
音響情報処理部２０は、計測された無音時間が、対応テーブルに含まれる最も短い無音時間（例えば、Ｔ３秒）に達したか否かを判断する（Ｓ４１０）。計測された無音時間が、上記無音時間に達しない場合には、音響情報処理部２０は、上記所定の音響信号を記憶制御部１４、記憶部１５を介して、読み出す。そして、音響情報処理部２０は、上記所定の音響信号を受信側重畳部２１に送信する。受信側重畳部２１は、保持していた受信音声信号と、上記所定の音響信号とを合成して、スピーカ部２２に出力する（Ｓ４１５）。そして、Ｓ４１０の処理が行われる。
【０１９５】
一方、計測した無音時間が、上記無音時間に達した場合には、音響情報処理部２０は、以下の処理を行う。
【０１９６】
音響情報処理部２０は、対応テーブルを参照して、上記無音時間に対応するアドレス情報を記憶制御部１４に送るとともに、無音時間に対応する音響信号の要求を示す信号を記憶制御部１４に送る（Ｓ４２０）。例えば、図１０に示すように、計測した通話時間がＴ３秒の場合、音響情報処理部２０は、対応テーブルを参照して、無音時間Ｔ３秒に対応するアドレス情報ｃを記憶制御部１４に送る。
【０１９７】
記憶制御部１４は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部１５に記憶されている複数の音響信号のうち、上記アドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部２０に送る（Ｓ４２５）。
【０１９８】
音響情報処理部２０は、送られてきた音響信号を受信側重畳部２１に送信する。受信側重畳部２１は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部２２に出力する（Ｓ４３０）。
【０１９９】
そして、音響情報処理部２０は、一定時間経過後、受信側分析部１９にアクセスして、無音時間が継続しているか否かを判断する（Ｓ４３５）。
【０２００】
無音時間が継続していない場合、音響情報処理部２０は、選択して取得された音響信号を受信側重畳部２１に送信するのを中断する。そして、音響情報処理部２０は、上記所定の音響信号を記憶制御部１４、記憶部１５を介して、読み出す。そして、音響情報処理部２０は、上記所定の音響信号を受信側重畳部２１に送信する。受信側重畳部２１は、保持していた受信音声信号と、上記所定の音響信号とを合成して、スピーカ部２２に出力する（Ｓ４４０）。そして、Ｓ４１０の処理が行われる。
【０２０１】
無音時間が継続している場合、音響情報処理部２０は、計測された無音時間が、対応テーブルに含まれる次に短い無音時間（例えば、Ｔ４秒）に達したか否かを判断する（Ｓ４４５）。上記無音時間に達していない場合、Ｓ４２５の処理へ移行する。
【０２０２】
上記無音時間に達している場合、音響情報処理部２０は、対応テーブルを参照して、無音時間に対応するアドレス情報を記憶制御部１４に送るとともに、無音時間に対応する音響信号の要求を示す信号を記憶制御部１４に送る（Ｓ４５０）。
【０２０３】
記憶制御部１４は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部１５に記憶されている複数の音響信号のうち、記憶部１５のアドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部２０に送る（Ｓ４５５）。
【０２０４】
音響情報処理部２０は、送られてきた音響信号を受信側重畳部２１に送信する。受信側重畳部２１は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部２２に出力する（Ｓ４６０）。
【０２０５】
そして、音響情報処理部２０は、一定時間経過後、受信側分析部１９にアクセスして、無音時間が継続しているか否かを判断する（Ｓ４６５）。無音時間が継続している場合、Ｓ４５５の処理へ移行する。
【０２０６】
無音時間が継続していない場合、音響情報処理部２０は、選択して取得された音響信号を受信側重畳部２１に送信するのを中断する。そして、音響情報処理部２０は、上記所定の音響信号を記憶制御部１４、記憶部１５を介して、読み出す。そして、音響情報処理部２０は、上記所定の音響信号を受信側重畳部２１に送信する。受信側重畳部２１は、保持していた受信音声信号と、上記所定の音響信号とを合成して、スピーカ部２２に出力する（Ｓ４７０）。そして、Ｓ４１０の処理が行われる。
【０２０７】
上述した説明では、対応テーブルには、２つの無音時間が含まれている場合の説明が行われたが、３つ以上の無音時間が含まれている場合も本発明の適用は可能である。
【０２０８】
このようにして、計測された無音時間が、対応テーブルに含まれる無音時間を経過するごとに、所定の音響信号が選択される。そして、選択された所定の音響信号は、受信音声信号と合成されて、スピーカ部２２から出力される。
【０２０９】
また、上述した説明において、受信を送信に置き換え、スピーカ部２２を音声信号符号化部２７に置き換えることにより、送信側重畳部２６は、計測された無音時間が、対応テーブルに含まれる通話時間を経過するごとに、所定の音響信号が選択される。そして、選択された所定の音響信号は、送信音声信号と合成されて、画像信号符号化部２９に出力される。
【０２１０】
本変更例によれば、受信側分析部１９／送信側分析部２５は、受信音声信号及び／又は送信音声信号における無音声が連続する時間である無音時間を計測する。そして、音響情報処理部２０、記憶制御部１４は、計測された無音時間に基づいて、記憶部１５に記憶された複数の音響信号のうち、所定の音響信号を選択する。
【０２１１】
音響情報処理部２０、記憶制御部１４による選択処理の一例は、例えば、以下のとおりである。記憶部１５には、各無音時間と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。音響情報処理部２０は、対応テーブルを参照して、計測された無音時間に対応する音響信号を、所定の音響信号として、選択するように記憶制御部に指示する。記憶制御部１４は、上記指示を実行する。
【０２１２】
このため、例えば、各無音時間が経過するごとに、別の音響信号が選択されて、送信音声信号及び／又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機１に送信される。この結果、会話が盛り上がらないため、話者の一方又は双方が、声を出さない状態が長く続いても、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【０２１３】
なお、本変更例では、受信音声信号に合成する所定の音響信号の選択処理（及び所定の音響信号と受信音声信号との合成処理）と、送信音声信号に合成する所定の音響信号の選択処理（及び所定の音響信号と送信音声信号との合成処理）とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号の選択処理と、送信音声信号に合成する所定の音響信号の選択処理のうち、いずれか一方のみが行われるようにしてもよい。
【０２１４】
（実施の形態２の変更例２）
また、上述した実施の形態２は、以下のように変更されてもよい。受信側分析部１９は、受信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段でもある。送信側分析部２５は、送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段でもある。
【０２１５】
音響情報処理部２０、記憶制御部１４は、計測された、所定時間内の受信音声信号及び／又は送信音声信号のテンポに関する情報に基づいて、記憶部１５に記憶された複数の音響信号のうち、所定の音響信号を選択する。
【０２１６】
音響情報処理部２０、記憶制御部１４による選択処理の具体的な説明は、以下のとおりである。記憶部１５には、各テンポに関する情報と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。本変更例の対応テーブルは、実施の形態１，２、実施の形態２の変更例１の対応テーブルと異なる。
【０２１７】
図１３は、本変更例の対応テーブルの一例を示す図である。対応テーブルにおいては、各テンポに関する情報（所定時間の受信音声信号における有音声部分から無音声部分への変化の回数と、所定時間の受信音声信号における無音声部分から有音声部分への変化の回数との和の値）と、音響信号の名称と、アドレス情報（音響信号を特定する情報）とが対応づけられている。以下、上記和の値を、無／有音声回数という。以下、テンポに関する情報の一例として、この無／有音声回数を用いた説明を行う。
【０２１８】
音響情報処理部２０は、対応テーブルを参照して、計測された、所定時間内の前記受信音声信号及び／又は前記送信音声信号のテンポに関する情報に対応する音響信号を、所定の音響信号として、選択するように記憶制御部１４に指示する。記憶制御部は、上記指示を実行する。
【０２１９】
（動作）
以下、本変更例の特徴的部分の動作について説明する。図１４は、本動作を説明するためのフローチャート図である。なお、本動作では、特に、音声信号の処理（受信側分析部１９に受信音声信号を送られた後、受信側分析部１９，受信側重畳部２１、音響情報処理部２０などで所定の処理が行われて、スピーカ部２２から出力される処理、送信側分析部２５に送信音声信号が送られた後、送信側分析部２５，送信側重畳部２６、音響情報処理部２０などで所定の処理が行われて、音声信号符号化部２７に出力される処理）について説明する。なお、以下に示す処理以外の処理（例えば、画像信号の処理の説明、音声信号と画像信号との合成処理、合成された信号の処理、音声信号と画像信号との分離処理などの処理）は、実施の形態１と同じようにして行われるので、その説明を省略する。
【０２２０】
音声信号復号化部１８から、復号化処理が施された受信音声信号が受信側分析部１９に送られる。受信側分析部１９は、送られてきた受信音声信号に基づいて、以下の処理を行う。受信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号における無／有音声回数を、所定時間ごとに、計測する（Ｓ５００）。
【０２２１】
この処理の具体的な説明は、以下のとおりである。例えば、受信側分析部１９は、Ｔ分間の受信音声信号のテンポに関する情報を、Ｔ分間ごとに、計測する。また、受信側分析部１９は、Ｔ分間の受信音声信号における無／有音声回数として、Ｔ分間の受信音声信号における有音声部分から無音声部分への変化の回数と、Ｔ分間の受信音声信号における無音声部分から有音声部分への変化の回数との和の値を計測する。例えば、Ｔ分間の受信音声信号における有音声部分から無音声部分への変化の回数が３回であり、無音声部分から有音声部分への変化の回数が７回である場合、受信側分析部１９は、Ｔ分間の受信音声信号における無／有音声回数として、１０回を計測する。そして、受信側分析部１９は、受信音声信号における無／有音声回数を音響情報処理部２０に送る。
【０２２２】
また、受信側分析部１９は、受信音声信号における無／有音声回数の計測処理を終えた後、所定時間分の受信音声信号を、受信側重畳部２１に出力する。受信側重畳部２１は、上記所定時間分の受信音声信号をいったん保持する（Ｓ５０５）。
【０２２３】
音響情報処理部２０は、対応テーブルを参照して、受信音声信号における無／有音声回数に対応するアドレス情報を記憶制御部１４に送るとともに、音響信号の要求を示す信号を記憶制御部１４に送る（Ｓ５１０）。
【０２２４】
例えば、図１３に示すように、受信音声信号における無／有音声回数がＸ回（Ｂ回からＣ回の間の回数）であった場合、音響情報処理部２０は、対応テーブルを参照して、受信音声信号における無／有音声回数に対応するアドレス情報ｆを記憶制御部１４に送る。
【０２２５】
記憶制御部１４は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部１５に記憶されている複数の音響信号のうち、上記アドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部２０に送る（Ｓ５１５）。
【０２２６】
音響情報処理部２０は、所定時間分の音響信号を受信側重畳部２１に送信する。受信側重畳部２１は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部２２に出力する（Ｓ５２０）。
【０２２７】
このようにして、受信音声信号について、計測されたテンポに関する情報に対応する音響信号が選択される。そして、選択された音響信号は、受信音声信号と合成されて、スピーカ部２２から出力される。
【０２２８】
また、上述した説明において、受信を送信に置き換え、スピーカ部２２を音声信号符号化部２７に置き換えることにより、送信音声信号について、計測されたテンポに関する情報に対応する音響信号が選択される。そして、選択された音響信号は、送信音声信号と合成されて、音声信号符号化部２７に出力される。
【０２２９】
本変更例の携帯電話機１の受信側分析部１９／送信側分析部２５は、受信音声信号及び／又は送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号及び／又は送信音声信号のテンポに関する情報を、所定時間ごとに、計測する。そして、音響情報処理部２０、記憶制御部１４は、計測された、所定時間内の受信音声信号及び／又は送信音声信号のテンポに関する情報に基づいて、記憶部１５に記憶された複数の音響信号のうち、所定の音響信号を選択する。
【０２３０】
音響情報処理部２０、記憶制御部１４による選択処理の一例は、例えば、以下のとおりである。記憶部１５には、各テンポに関する情報と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。音響情報処理部２０は、対応テーブルを参照して、計測された、所定時間内の受信音声信号及び／又は送信音声信号のテンポに関する情報に対応する音響信号を、所定の音響信号として、選択するように記憶制御部１４に指示する。記憶制御部１４は、上記指示を実行する。
【０２３１】
このため、例えば、受信音声信号のテンポ又は送信音声信号のテンポに基づいて、別の音響信号が選択されて、送信音声信号及び／又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機１に送信される。この結果、話者の一方又は双方の通話のテンポが変わった場合、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【０２３２】
また、対応テーブルに含まれる、各テンポに関する情報に対応する音響信号のテンポは、各テンポに関する情報に対応するテンポであるようにしてもよい。この場合には、通話に関する音声信号のテンポと異なるテンポの音響信号が合成されてしまうような状態がないので、通話の妨げになるという事態が防止される。また、例えば、通話に関する音声信号のテンポに従ったテンポの音響信号が合成されるので、通話者の気分が盛り上がり、通話を盛り上げることも可能となる。
【０２３３】
なお、本変更例では、受信音声信号に合成する所定の音響信号の選択処理（及び所定の音響信号と受信音声信号との合成処理）と、送信音声信号に合成する所定の音響信号の選択処理（及び所定の音響信号と送信音声信号との合成処理）とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号の選択処理と、送信音声信号に合成する所定の音響信号の選択処理のうち、いずれか一方のみが行われるようにしてもよい。
【０２３４】
また、送信側分析部２５により計測された、送信音声信号のテンポに関する情報に基づいて、受信音声信号に合成する音響信号の選択処理と、送信音声信号に合成する音響信号の選択処理とが行われるようにしてもよい。また、受信側分析部１９により計測された、受信音声信号のテンポに関する情報に基づいて、受信音声信号に合成する音響信号の選択処理と、送信音声信号に合成する音響信号の選択処理とが行われるようにしてもよい。
【０２３５】
また、音響情報処理部２０は、受信側分析部１９により計測された所定時間内の受信音声信号のテンポに関する情報と、所定時間内の送信音声信号のテンポに関する情報とに基づいて、所定時間内の送受信音声信号のテンポに関する情報を、所定時間ごとに、計測してもよい。
【０２３６】
例えば、音響情報処理部２０は、Ｔ分間の受信音声信号における無／有音声回数と、Ｔ分間の送信音声信号における無／有音声回数と、の平均値を、Ｔ分間の送受信音声信号の無／有音声回数として、計測してもよい。
【０２３７】
（実施の形態２の変更例３）
本変更例では、実施の形態１又はその変更例と、実施の形態２，実施の形態２の変更例１，実施の形態２の変更例２とを組み合わせることも可能である。
【０２３８】
この場合、実施の形態１又はその変更例では、音響信号の音量値の制御が示されているが、実施の形態２又はその変更例では、所定の音響信号の選択処理が示されている。このため、実施の形態２，その変更例１，２を同時に適用する場合には、実施の形態２に従った場合に選択される所定の音響信号と、実施の形態２の各変更例に従った場合に選択される所定の音響信号とは異なる場合がある。
【０２３９】
このような場合、例えば、通話時間に基づいて行われる選択処理の優先度を低くし、無音時間に基づいて行われる選択処理の優先度を高くし、テンポに関する情報に基づいて行われる選択処理においては、音響信号の選択処理を行わず、
音響信号のテンポの制御を行うようにしてもよい。これにより、実施の形態１又は、その変更例，実施の形態２、実施の形態２の変更例１，実施の形態２の変更例２を同時に適用することが可能となる。
【０２４０】
また、実施の形態１又は、その変更例，実施の形態２、実施の形態２の変更例１，実施の形態２の変更例２の機能を同時に有する携帯電話機１の場合、例えば、ユーザが入力部３１を用いて、いずれかの機能が実行されるようにする指示を入力できるようにしてもよい。これにより、入力部３１に入力された指示に基づいて、携帯電話機１において、実施の形態１又は、その変更例，実施の形態２、実施の形態２の変更例１，実施の形態２の変更例２の機能のうち、いずれかの機能だけが実行されるようにしてもよい。
【０２４１】
また、実施の形態１又はその変更例、実施の形態２，実施の形態２の変更例１，変更例２のうち、いずれか２以上の機能を同時に適用する場合、例えば、以下のようにして、所定の音響信号が選択され、上記所定の音響信号の音量値が制御されるようにしてもよい。
【０２４２】
記憶部１５には、例えば、受信音声信号の音量値と、受信音声信号のテンポに関する情報（受信音声信号の有／無音声回数）と、送信音声信号の音量値と、送信音声信号のテンポに関する情報（送信音声信号の有／無音声回数）と、通話時間と、音響信号の名称と、アドレス情報（音響信号を特定する情報）と、音響信号の音量値と、音響信号のテンポとが対応づけられている対応テーブルが記憶されている。図１５は、上記対応テーブルの一例を示す図である。また、図１６は、本変更例の特徴的な動作の概念を説明するためのフローチャート図である。なお、本動作では、特に、音声信号の処理（受信側分析部１９に受信音声信号を送られた後、受信側分析部１９，受信側重畳部２１、音響情報処理部２０などで所定の処理が行われる処理、送信側分析部２５に送信音声信号が送られた後、送信側分析部２５，送信側重畳部２６、音響情報処理部２０などで所定の処理が行われる処理）について説明する。なお、以下に示す処理以外の処理は、実施の形態１、実施の形態２と同じようにして行われるので、その説明を省略する。
【０２４３】
そして、受信側分析部１９は、受信音声信号の音量値を計測するとともに、受信音声信号の有／無音声回数を計測し、送信側分析部２５は、送信音声信号の音量値を計測するとともに、送信音声信号の有／無音声回数を計測し、音響情報処理部２０は、通話時間を計測する（Ｓ６００）。これらの情報は、音響情報処理部２０に送られる。
【０２４４】
音響情報処理部２０は、対応テーブルを参照して、これらの情報に対応する音響信号を選択して取得するように記憶制御部１４に指示する。記憶制御部１４は、上記指示を実行して、計測された、これらの情報に対応する音響信号を音響情報処理部２０に送る。また、音響情報処理部２０は、対応テーブルを参照して、上記これらの情報に対応する音響信号の音量値、テンポ値を取得する（Ｓ６１０）。そして、音響情報処理部２０は、取得した音量値、テンポ値になるように、取得した音響信号を制御した後、受信側重畳部２１、送信側重畳部２６に出力する（Ｓ６２０）。そして、受信側重畳部２１、保持していた受信音声信号と、出力された音響信号とを合成する。送信側重畳部２６は、保持していた送信音声信号と、出力された音響信号とを合成する。その後の処理は、実施の形態２の場合と同じである。
【０２４５】
例えば、受信音声信号の音量値がＡ１（ｄＢ）、受信音声信号の有／無音声回数がａ１（回）、送信音声信号の音量値がＡ２（ｄＢ）、送信音声信号の有／無音声回数がａ２（回），通話時間がα１秒であるとする。
【０２４６】
この場合、音響情報処理部２０は、対応テーブルを参照して、これらの情報（受信音声信号の音量値がＡ１（ｄＢ）、受信音声信号の有／無音声回数がａ１（回）、送信音声信号の音量値がＡ２（ｄＢ）、送信音声信号の有／無音声回数がａ２（回），通話時間がα１秒）に対応する音響信号に関する情報を取得する。
【０２４７】
音響信号に関する情報とは、例えば、アドレス情報（アドレスａ３），音響信号の音量値（例えば、α２（ｄＢ））、音響信号のテンポ値（例えば、α３（ＢＰＭ））である。
【０２４８】
そして、音響情報処理部２０は、アドレス情報に基づいて、記憶制御部１４を介して、記憶部１５から、上記音響信号（例えば、音響信号Ａ）を取得する。そして、音響情報処理部２０は、取得した音量値（例えば、α２（ｄＢ））、テンポ値（例えば、α３（ＢＰＭ））になるように、取得した音響信号を制御した後、受信側重畳部２１、送信側重畳部２６に出力する。
【０２４９】
なお、音響情報処理部２０は、取得した音響信号を制御した後、受信側重畳部２１及び送信側重畳部２６に出力するようにしてもよいし、受信側重畳部２１及び送信側重畳部２６のうち、いずれか一方のみに出力するようにしてもよい。
【０２５０】
（実施の形態１，２の変更例１）
図１７は、本変更例の携帯電話機の構成を示す図である。携帯電話機１には、対応テーブル、音響情報を記憶する記憶装置から、対応テーブル、音響情報を取得する取得手段として、情報通信部３２が設けられても良い。
【０２５１】
例えば、情報通信部３２は、１又は複数の音響情報、１又は複数の対応テーブルを格納する記憶装置から、例えば、近距離無線通信、赤外線通信を介して、１又は複数の音響情報、１又は複数の対応テーブルを取得する。取得された１又は複数の音響情報、１又は複数の対応テーブルは、記憶制御部１４を介して、記憶部１５に送られる。
【０２５２】
なお、情報通信部３２は、ＩＣカードインターフェイス部であってもよい。そして、ＩＣカードインターフェイス部は、対応テーブル、音響情報が記録されたＩＣカードから、対応テーブル、音響情報を読み出し、取得するようにしてもよい。
【０２５３】
（実施の形態１，２の変更例２）
また、入力部３１には、ユーザにより、対応テーブルに含まれる情報、対応テーブルの書き換え要求を示す情報が入力されてもよい。
【０２５４】
そして、入力部３１に入力された対応テーブルに含まれる情報、上記書き換え要求は、記憶制御部１４に送られる。記憶制御部１４は、上記対応テーブルに含まれる情報と、上記書き換え要求とに基づいて、記憶部１５から対応テーブルを読み出し、対応テーブルに含まれる情報のうち、入力部３１に入力された、対応テーブルに含まれる情報に対応する情報の書き換え処理を行うようにしてもよい。
【０２５５】
本変更例によれば、音響信号の変更があった場合や、音響信号に対応する情報が変化したような場合でも、速やかに対応できる。
【０２５６】
従って、特開２００２−２７１４９４号公報に示される「効果音付加型通話システム」では、選択操作簡略化のためには、予めどの番号かどの効果音に対応するかの信号を発呼者に知らせておく必要があるが、仮に対応信号や効果音の内容に変更があった場合、変更した信号を発呼者に知らせなければならず、多大な労力を必要とする。また、特開２００２−５１１１６号公報に示される移動体通信装置においても、記憶されている効果音データとテンキーの対応が、固定的に割り付けてあるために、対応内容を変更することができない。本変更例によれば、音響信号の変更があった場合や、音響信号に対応する情報が変化したような場合でも、速やかに対応できる。
【０２５７】
（実施の形態１，２の変更例３）
上述した実施の形態１，２、各変更例では、通話相手の電話機として、携帯電話機１を用いて説明したが、本発明では、これに限定されない。例えば、通信相手の電話機は、固定電話機であってもよい。この場合、交換装置５は、固定電話網の交換装置５と接続されている。携帯電話機１と、固定電話機との間のデータ通信は、従来技術と同様にして行われる。
【０２５８】
なお、上述した実施の形態１，２、その各変更例においては、音声信号（送信音声信号と音響信号とが合成された音声信号、受信音声信号と音響信号とが合成された音声信号）と画像信号とが合成された信号が、通話中の携帯電話機間（又は携帯電話機と固定電話機との間）でやりとりされる場合の説明が行われたが、本発明は、この場合に限定されることはない。例えば、通話中の携帯電話機間（又は携帯電話機と固定電話機との間）で、音声信号（送信音声信号と音響信号とが合成された音声信号、受信音声信号と音響信号とが合成された音声信号）だけがやりとりされてもよい。
【０２５９】
この場合には、図２に示す携帯電話機において、画像信号に関する処理を行う機能部（ディスプレイ部１８、撮影部２８、画像信号復号化部１７、画像信号符号化部２９、分離化部１６，多重化部３０）が存在しない。そして、音声信号復号化部１８は直接、無線受信部１１から音声信号を取得し、音声信号符号化部２９は直接、無線送信部１２に音声信号を送る。
【０２６０】
【発明の効果】
以上説明したように、本発明によれば、通話中の送信音声信号及び／又は受信音声信号の変化に応じて、音響信号を変化させることにより、通話の妨げになることを防止するか、又は、通話を盛り上げることができる。この結果、音声会話の雰囲気を盛り上げ、活性化させることが可能になる。
【図面の簡単な説明】
【図１】実施の形態１の通信システムの構成を示す図である。
【図２】実施の形態１の携帯電話機の構成を示す図である。
【図３】実施の形態１の対応テーブルの一例を示す図である。
【図４】実施の形態１の通信方法の説明を補足するための図である。
【図５】実施の形態１の通信方法の一部を説明するためのフローチャート図である。
【図６】実施の形態１の通信方法の一部を説明するためのフローチャート図である。
【図７】実施の形態２の対応テーブルの一例を示す図である。
【図８】実施の形態２の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図９】実施の形態２の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図１０】実施の形態２の変更例１の対応テーブルの一例を示す図である。
【図１１】実施の形態２の変更例１の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図１２】実施の形態２の変更例１の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図１３】実施の形態２の変更例２の対応テーブルの一例を示す図である。
【図１４】実施の形態２の変更例２の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図１５】実施の形態２の変更例３の対応テーブルの一例を示す図である。
【図１６】実施の形態２の変更例３の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図１７】実施の形態１、２の変更例１の携帯電話機の構成を示す図である。
【符号の説明】
１  携帯電話機、４  基地局、５  交換装置、６  情報提供サーバ装置、１１無線受信部、１２  無線送信部、１３  通信制御部、１４  記憶制御部、１５記憶部、１６  分離化部、１７  画像信号復号化部、１８  ディスプレイ部、１９  受信側分析部、２０  音響情報処理部、２１  受信側重畳部、２２  スピーカ部、２３  マイク部、２４  ノイズキャンセリング部、２５  送信側分析部、２６  送信側重畳部、２７  音声信号符号化部、２８  撮影部、２９  画像信号符号化部、３０  多重化部、３１  入力部、３２  情報通信部。
【図１】
2004343443.tif 000003
【図２】
2004343443.tif 000004
【図３】
2004343443.tif 000005
【図４】
2004343443.tif 000006
【図５】
2004343443.tif 000007
【図６】
2004343443.tif 000008
【図７】
2004343443.tif 000009
【図８】
2004343443.tif 000010
【図９】
2004343443.tif 000011
【図１０】
2004343443.tif 000012
【図１１】
2004343443.tif 000013
【図１２】
2004343443.tif 000014
【図１３】
2004343443.tif 000015
【図１４】
2004343443.tif 000016
【図１５】
2004343443.tif 000017
【図１６】
2004343443.tif 000018
【図１７】
2004343443.tif 000019