(57)【要約】【課題】通信相手がメッセージを聞いたことを確認するとともに、その反応を知ることができる通信装置を提供すること。【解決手段】本発明の実施形態に係る通信装置は、他の通信装置から送信されてきた音声データを受信して記憶しておき、利用者の指示によりその音声データを再生して放音する。この音を聞いた利用者の発声を収音し、音声データに係る音の成分を減衰させた録音データを生成して他の通信装置に送信する。これによって、音声データを送信した他の通信端末の利用者は、送信した音声データが再生されたことを確認することができるとともに、通信装置の利用者の再生時の反応を確認することができる。送信した音声データを録音データと同時に再生することにより、どの部分でどのような反応があったかを確認することもできる。【選択図】図５
2010233041.tif 000002
【特許請求の範囲】
【請求項１】
筐体と、
前記筐体に設けられ、周囲の音を収音する収音手段と、
前記筐体に設けられ、周囲に音を放音する放音手段と、
音声データを取得する取得手段と、
前記取得手段によって取得された音声データと他装置を示す装置情報とを対応付けて予め記憶する記憶手段と、
前記記憶手段に記憶された音声データを読み出して再生する再生手段と、
前記再生手段によって再生された音声データに係る音を前記放音手段から放音させる放音制御手段と、
前記再生手段によって音声データが再生されているときに、前記収音手段によって収音された音を示す収音データを出力する収音制御手段と、
前記収音制御手段から出力された収音データに係る音の成分から前記再生手段によって再生された音声データに係る音の成分を減衰させた録音データを、前記音声データと同期して再生できるように生成する生成手段と、
前記生成手段によって録音データが生成されるときに前記再生手段によって再生されていた音声データに対応する装置情報を、前記記憶手段に記憶された対応関係を参照して特定し、特定した装置情報が示す他装置に対して、前記生成手段によって生成された録音データを送信する送信手段と
を具備することを特徴とする通信装置。
【請求項２】
前記取得手段は、他装置からネットワークを介して送信される音声データを受信することによって、前記音声データを取得し、
前記記憶手段は、前記取得手段によって取得された音声データと前記取得手段が取得した音声データを送信した他装置を示す装置情報とを対応付けて予め記憶する
ことを特徴とする請求項１に記載の通信装置。
【請求項３】
前記収音手段は、複数のマイクロフォンにより収音し、
前記収音制御手段は、前記複数のマイクロフォンによって収音された音を解析して、前記筐体に対して各方向に位置する音源から発音された音を分離して、分離した音毎に収音データを出力し、
前記生成手段は、前記各収音データに対応して録音データを生成する
ことを特徴とする請求項１または請求項２に記載の通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生される音声に対する反応を通知する技術に関する。
【背景技術】
【０００２】
通信相手に対して音声によりメッセージを伝えたいときに、通信相手が不在であるなどして伝えられない場合に、その音声メッセージを記録しておくことにより、後で通信相手がその音声メッセージを聞くことができるような技術が開示されている（例えば、特許文献１、２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５２８４４号公報
【特許文献２】特開平７−７４８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような技術により、音声によるメッセージを通信相手が不在であってもメッセージを伝えることができる一方、その通信相手がそのメッセージを聞いたかどうか、また、聞いた結果どのような反応であったかをメッセージ発信側は知ることはできなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、通信相手がメッセージを聞いたことを確認するとともに、その反応を知ることができる通信装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、筐体と、前記筐体に設けられ、周囲の音を収音する収音手段と、前記筐体に設けられ、周囲に音を放音する放音手段と、音声データを取得する取得手段と、前記取得手段によって取得された音声データと他装置を示す装置情報とを対応付けて予め記憶する記憶手段と、前記記憶手段に記憶された音声データを読み出して再生する再生手段と、前記再生手段によって再生された音声データに係る音を前記放音手段から放音させる放音制御手段と、前記再生手段によって音声データが再生されているときに、前記収音手段によって収音された音を示す収音データを出力する収音制御手段と、前記収音制御手段から出力された収音データに係る音の成分から前記再生手段によって再生された音声データに係る音の成分を減衰させた録音データを、前記音声データと同期して再生できるように生成する生成手段と、前記生成手段によって録音データが生成されるときに前記再生手段によって再生されていた音声データに対応する装置情報を、前記記憶手段に記憶された対応関係を参照して特定し、特定した装置情報が示す他装置に対して、前記生成手段によって生成された録音データを送信する送信手段とを具備することを特徴とする通信装置を提供する。
【０００７】
また、別の好ましい態様において、前記取得手段は、他装置からネットワークを介して送信される音声データを受信することによって、前記音声データを取得し、前記記憶手段は、前記取得手段によって取得された音声データと前記取得手段が取得した音声データを送信した他装置を示す装置情報とを対応付けて予め記憶することを特徴とする。
【０００８】
また、別の好ましい態様において、前記収音手段は、複数のマイクロフォンにより収音し、前記収音制御手段は、前記複数のマイクロフォンによって収音された音を解析して、前記筐体に対して各方向に位置する音源から発音された音を分離して、分離した音毎に収音データを出力し、前記生成手段は、前記各収音データに対応して録音データを生成することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、通信相手がメッセージを聞いたことを確認するとともに、その反応を知ることができる通信装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る通信装置の外観を示す説明図である。
【図２】本発明の実施形態に係るマイクロフォンの配置を説明する図である。
【図３】本発明の実施形態に係る通信システムの構成を示すブロック図である。
【図４】本発明の実施形態に係る通信装置の構成を示すブロック図である。
【図５】本発明の実施形態に係る録音制御部の構成を示すブロック図である。
【図６】本発明の実施形態に係る録音制御部の動作を説明するフローチャートである。
【図７】記憶部に記憶される装置情報、音声データおよび録音データの対応付けを示す図である。
【図８】変形例１に係る録音制御部の構成を示すブロック図である。
【図９】変形例２に係る通信装置の外観を示す説明図である。
【図１０】変形例２に係る通信装置の構成を示すブロック図である。
【図１１】変形例２に係る録音制御部の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について説明する。
【００１２】
＜実施形態＞
図１は、本発明の実施形態に係る通信装置１の外観を示す図である。通信装置１の筐体１０は、図１（ａ）、（ｂ）に示すように概ね直方体の形状である。図１（ｂ）は、図１（ａ）とは反対側から見た図であり、図１（ａ）に記載の正面１０−Ｆに対向する面（図１における矢印ＡＲ１方向から見た面）は、図１（ｂ）に記載の背面１０−Ｂに対応する。筐体１０の正面１０−Ｆには、操作ボタン１３１、スピーカ１５１、およびスピーカ１５１を保護するネット１５２が設けられている。また、筐体１０の内部に、複数のマイクロフォン（この例においては、４つのマイクロフォン１４１−１、１４１−２、１４１−３、１４１−４：図２参照）が設けられ、筐体１０の底面を除く５面（上面１０−Ｔ、正面１０−Ｆ、右側面１０−Ｒ、左側面１０−Ｌ、背面１０−Ｂ）には、内部のマイクロフォン１４１−１、１４１−２、１４１−３、１４１−４を保護するカバー１４２が設けられている。
【００１３】
図２は、マイクロフォン１４１−１、１４１−２、１４１−３、１４１−４の配置を説明する図である。図２（ａ）は、通信装置１の背面１０−Ｂ側（図１における矢印ＡＲ１の方向）から見たマイクロフォン１４１−１、１４１−２、１４１−３、１４１−４の配置を示し、図２（ｂ）は、マイクロフォン１４１−４から見たマイクロフォン１４１−１、１４１−２、１４１−３の配置を示す図、すなわち、通信装置１の上面１０−Ｔ側から見たマイクロフォン１４１−１、１４１−２、１４１−３の位置関係を示している。
【００１４】
各マイクロフォン１４１−１、１４１−２、１４１−３、１４１−４は、それぞれ単一指向性を有し、それぞれ異なる方向に指向するように設置されている。具体的には、マイクロフォン１４１−１、１４１−２、１４１−３は、図２（ｂ）に示すように、それぞれの指向する方向（各マイクロフォン１４１−１、１４１−２、１４１−３から伸びる矢印方向）が互いに１２０°異なるようにして中心Ｃに向かい、それぞれ中心Ｃから等距離に配置されている。
【００１５】
また、マイクロフォン１４１−４は、マイクロフォン１４１−１、１４１−２、１４１−３とは、指向する方向が９０°異なり、図２（ａ）に示すように、中心Ｃの方向とは逆方向（マイクロフォン１４１−４から伸びる矢印方向）になるように配置されている。このように配置することにより、通信装置１の周囲の音を収音することができ、各マイクロフォン１４１−１、１４１−２、１４１−３、１４１−４において収音された音を解析すれば、その音の発生源となる音源の方向を識別することもできる。
【００１６】
図３は、本実施形態に係る通信システム１０００の構成を示すブロック図である。図３に示すように、通信装置１は、インターネットなどのネットワーク２に接続し、後述する通信部１６により通信し、後述する音声データ、録音データなどを互いに送受信する。
【００１７】
図４は、本実施形態に係る通信装置１の構成を示すブロック図である。通信装置１は、制御部１１、記憶部１２、操作部１３、収音部１４、放音部１５および通信部１６を有し、バスを介して互いに接続されている。
【００１８】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＤＳＰ（Digital Signal Processor）などを有する。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭにロードして実行することにより、通信装置１の各部について、バスを介して制御し、後述する録音制御機能などを実現する。また、ＲＡＭは、ＣＰＵが各データの加工などを行う際のワークエリアとして機能する。
【００１９】
記憶部１２は、例えば、不揮発性メモリなどの大容量記憶手段であって、後述する取得部１０１によって取得された音声データ、後述する生成部１０５によって生成された録音データ、および他の通信装置１を特定する装置情報を対応付けて記憶する。音声データ、録音データ、装置情報、およびこれらの対応付けの態様については、後述する。なお、記憶部１２は、外付けの不揮発性メモリなどの記録媒体を、接続インターフェイスなどを介して接続したものであってもよい。
【００２０】
操作部１３は、操作ボタン１３１を有し、利用者が操作ボタン１３１を操作するとその操作内容を表すデータが制御部１１へ出力される。この例においては、記憶部１２に記憶された音声データを再生する指示など様々な指示を操作により行う。また、他の通信装置１に音声データを送信する指示、受信した録音データを再生する指示についても操作ボタン１３１の操作により行う。
【００２１】
収音部１４は、上述した複数のマイクロフォン１４１−１、１４１−２、１４１−３、１４１−４を有し、各々から出力される収音した音を示す収音信号に対して、それぞれ増幅処理、アナログデジタル変換処理などを行うことにより生成される収音データを出力する。この複数の収音データを解析することにより、収音した音の音源方向を特定することができるようになっている。さらに、複数の収音データの解析により特定した音源方向の音を抽出した収音データを生成することもできる。このような処理は、後述する収音制御部１０４において行われる。なお、この例においては、マイクロフォンの数は４つとしていたが、この数に限られず、より多くても少なくてもよく、１つであってもよい。
【００２２】
放音部１５は、スピーカ１５１を有し、後述する放音制御部１０３から供給される音声データ（再生音声データ）に対して、デジタルアナログ変換処理、増幅処理などを行うことにより生成される音声信号をスピーカ１５１に供給し、スピーカ１５１から周囲に放音させる。図１に示したように、この例においては、スピーカ１５１は２個であるが、１個でもよいし、３個以上であってもよい。スピーカ１５１の数が多い場合には、それらから放音させる信号に対して、遅延などの処理を行うことにより、放音部１５から放音される音に指向性を付与してもよい。
【００２３】
通信部１６は、無線または有線によりネットワーク２に接続して、他の通信装置１と通信して、他の通信装置１と音声データ、録音データなどの送受信を行う通信手段である。
【００２４】
以上が、通信装置１の構成の説明である。次に、制御部１１が制御プログラムを実行することによって録音制御機能が実現されるときに構成される録音制御部１００について図５を用いて説明する。なお、以下に説明する録音制御部１００については、それぞれの各機能の全部または一部をハードウエアによって実現してもよい。
【００２５】
図５は、本実施形態に係る録音制御部１００の構成を示すブロック図である。録音制御部１００は、取得部１０１、デコード部１０２、放音制御部１０３、収音制御部１０４、生成部１０５および出力部１０６を有する。
【００２６】
取得部１０１は、通信部１６によって他の通信装置１から受信した音声データを取得する。このとき、音声データを送信した他の通信装置１を特定する装置情報についても取得する。そして、取得した音声データと装置情報とを対応付けて記憶部１２に記憶する。なお、ネットワーク２に接続された外部装置であって、他の通信装置１以外の外部装置から音声データが送信されている場合は、その外部装置を示す装置情報を取得すればよい。
【００２７】
デコード部１０２は、利用者が操作ボタン１３１を操作することによって、操作部１３から音声データを再生する指示を示す信号が出力されると、記憶部１２に記憶された音声データを読み出してデコードして音声データを再生する。そして、デコード部１０２は、再生した音声データ（以下、再生音声データという）を出力する。なお、記憶部１２に記憶されている音声データが複数存在するときには、利用者は操作ボタン１３１を操作することによって、再生すべき音声データを選択するようにしてもよい。そして、デコード部１０２は、選択された音声データを記憶部１２から読み出すようにすればよい。
【００２８】
放音制御部１０３は、デコード部１０２によって出力された再生音声データを取得し、取得した再生音声データを放音部１５に出力することによって、取得した再生音声データに係る音を放音させるように放音部１５を制御する。このとき、音響効果を付与する音響処理を施してもよい。
【００２９】
収音制御部１０４は、収音部１４から出力される収音データを解析し、収音部１４において収音された音の音源方向を特定するとともに、特定した音源方向の音を強調するように処理した収音データ（以下、解析収音データという）を生成して出力する。このとき利用者が移動するなどして音源方向が変わるときには、その変化に追従して解析収音データを生成する。
【００３０】
ここで、収音制御部１０４は、デコード部１０２によって音声データが再生されているときに、解析収音データの出力を行う。デコード部１０２によって音声データが再生されていることについては、デコード部１０２の動作から判断してもよいし、操作部１３から出力される音声データを再生する指示を示す信号により判断してもよい。また、放音制御部１０３の制御により放音部１５から放音が行われることにより判断してもよい。このように、音声データが再生されていることが判断できれば、どのような態様で判断してもよい。この例においては、操作部１３から出力される音声データを再生する指示を示す信号により、解析収音データの生成をする準備を行い、デコード部１０２の音声データの再生の開始により、解析収音データの生成を開始する。そして、デコード部１０２における音声データの再生が終了すると、解析収音データの生成も終了する。
【００３１】
なお、収音制御部１０４により生成する解析収音データは、単に複数の収音データに係る音を合成して生成してもよいし、いずれかの収音データを解析収音データとしてもよい。また、収音部１４が有するマイクロフォンが１つである場合には、解析収音データは収音部１４から出力される収音データと同じものとすればよい。
【００３２】
生成部１０５は、減算器１１５１および適応フィルタ１１５２を有する除去部１０５１と、エンコード部１０５２とを有し、収音制御部１０４から出力された解析収音データに係る音の成分から、デコード部１０２から出力された再生音声データに係る音の成分を減衰させる処理を行い、この処理が行われた解析収音データをエンコードすることにより録音データを生成する。そして、デコード部１０２における音声データの再生が終了すると、録音データの生成も終了し、生成した録音データを記憶部１２に記憶させる。具体的には、以下のように行われる。
【００３３】
除去部１０５１は、エコーキャンセラのような機能を有し、上述したように、減算器１１５１および適応フィルタ１１５２を有している。減算器１１５１は、収音制御部１０４から出力される解析収音データから、適応フィルタ１１５２においてフィルタ処理された再生音声データを減算して出力する。
【００３４】
適応フィルタ１１５２は、ＦＩＲ（Finite impulse response）フィルタであり、設定される係数に応じたフィルタ処理を、デコード部１０２から出力される再生音声データに対して施し、フィルタ処理が施された再生音声データを出力する。このとき、減算器１１５１から出力される解析収音データは、適応フィルタ１１５２に設定される係数にフィードバックされ、この係数は、減算器１１５１から出力される解析収音データに含まれる再生音声データの成分を小さくするように再設定される。なお、この係数を算出する方法は、標準的なＬＭＳ（Least Mean Square）アルゴリズムやＲＭＳ（Root Mean Square）アルゴリズムなどを用いればよい。
【００３５】
このような処理が行われた結果、除去部１０５１から出力される解析収音データに係る音は、収音制御部１０４から出力された解析収音データに係る音の成分から、デコード部１０２から出力された再生音声データに係る音の成分を減衰（または除去）したものとなる。
【００３６】
エンコード部１０５２は、除去部１０５１から出力された解析収音データをエンコードして録音データを生成し、デコード部１０２における音声データの再生が終了すると、生成した録音データを記憶部１２に記憶させる。なお、音声データの再生が行われているとき、すなわち、解析収音データが除去部１０５１から出力されているときにおいて、録音データを記憶部１２に記憶させていくようにしてもよい。
【００３７】
このようにして、生成部１０５は、収音制御部１０４から出力された解析収音データから録音データを生成して記憶部１２に記憶させる。ここで、生成部１０５は、この録音データを生成するときにデコード部１０２によって再生されていた音声データ、およびこの音声データに対応する装置情報に対応付けて、生成した録音データを記憶部１２に記憶させる。
【００３８】
このようにして記憶される録音データは、音声データの再生とともに生成されるものであるから、対応付けられた音声データと録音データとを同時に再生して放音させることにより、通信装置１の周囲において放音した内容とその内容に対して利用者が反応して発声した内容とを再現して聞くことができる。すなわち、対応付けられた音声データと録音データとは、同期して再生できるものとなっている。
【００３９】
出力部１０６は、記憶部１２に録音データが記憶されると、その録音データを取得して通信部１６に出力する。このとき、出力部１０６は、通信部１６に対して、取得した録音データに対応する装置情報についても取得して通信部１６に出力することにより、その装置情報が示す他の通信装置１に録音データを送信させる。このとき、録音データに対応する音声データについても送信させてもよい。
【００４０】
なお、出力部１０６は、録音データを取得したらこれを記憶部１２から削除してもよく、さらに対応付けられている音声データ、装置情報についても削除するようにしてもよい。また、装置情報が示す他の通信装置１がネットワーク２に接続されていない場合には、後に改めて録音データを送信するようにしてもよい。また、生成部１０５から出力される録音データを記憶部１２に記憶する前に取得して、ストリーミング形式で通信部１６から送信されるようにしてもよい。以上が、録音制御部１００の構成についての説明である。
【００４１】
次に、通信装置１が他の特定の通信装置１に音声データを送信する構成について説明する。これは様々な公知の構成により行えばよいが、その例を簡単に説明する。
【００４２】
まず、第１の例としては、利用者が操作ボタン１３１を操作して、特定の通信装置１に対して音声データを送信する指示をすると、利用者が次に操作ボタン１３１を操作して録音の中止指示をするまでの間、制御部１１は、収音部１４による収音が行われるように制御する。そして、制御部１１は、収音内容を示す音声データを生成して、特定の通信装置１に対して通信部１６から送信させる。このとき、通信部１６からの音声データの送信は、収音内容全体を示す音声データが生成されてから、その音声データを送信するものであってもよいし、収音しつつストリーミング形式で送信されるものであってもよい。なお、音声データを生成するときには、上述した録音データの生成と同様な処理により行ってもよい。
【００４３】
第２の例としては、通信装置１に半導体メモリ、ＣＤ、ＤＶＤなどの外部記録媒体の内容を読み取るインターフェイスを設ける。そして、利用者が操作ボタン１３１の操作によりこの音声データを特定の通信装置１に送信する指示をすると、制御部１１は、外部記録媒体に記録されている音声データを取得して送信する。これらの音声データを送信する音声データ送信機能は、制御部１１が制御プログラムを実行することによって実現する。
【００４４】
なお、どちらの例においても、制御部１１は、送信された音声データを記憶部１２に記憶させておいてもよい。また、通信装置１ではない外部装置により音声データを通信装置１に送信してもよく、その場合には、外部装置は上述した第１の例、第２の例を実現する構成を有するものであればよい。
【００４５】
次に、通信装置１が他の通信装置１から録音データを受信し、この録音データを再生する構成について説明する。これは様々な公知の構成により行えばよいが、その例を簡単に説明する。
【００４６】
制御部１１は、録音データを他の通信装置１から受信すると、録音データを記憶部１２に記憶させる。このとき、録音データを送信した他の通信装置１に送信した音声データが記憶部１２に記憶されている場合には、その音声データと録音データとを対応付けて記憶してもよい。なお、通信装置１には、受信したことを発光、音声などにより報知する報知手段を設け、録音データの受信を利用者に対して報知してもよい。
【００４７】
そして、操作ボタン１３１の操作により録音データを再生する指示をすると、制御部１１は、録音データを再生して放音部１５から放音させる。このとき、録音データに対応付けられた音声データが記憶部１２に記憶されている場合には、これを同期して再生させてもよい。これらの録音データを受信、再生する録音データ受信再生機能は、制御部１１が制御プログラムを実行することによって実現する。
【００４８】
次に、通信装置１の動作について図６、図７を用いて説明する。通信装置１は、他の通信装置１（以下、通信装置１−Ｘという）から、音声データを受信したものとする。また、すでに通信装置１は、さらに別の通信装置１（以下、通信装置１−Ｙという）から受信した音声データＹを記憶部１２に記憶しているものとする。
【００４９】
図６は、録音制御部１００の動作を説明するフローチャートである。図７は、記憶部１２に記憶される装置情報、音声データおよび録音データの対応付けを示す図である。まず、通信装置１は、通信装置１−Ｘから音声データを受信（ステップＳ１００）すると、取得部１０１によって、通信装置１−Ｘから受信した音声データ（以下、音声データＸという）と通信装置１−Ｘを示す装置情報とを対応付けて記憶部１２に記憶させる（ステップＳ１０１）。このとき、記憶部１２に記憶されている内容は、図７（ａ）に示すようになっている。すなわち、通信装置１−Ｘを示す装置情報と音声データＸとが対応付けられ、予め記憶していた、通信装置１−Ｙを示す装置情報と音声データＹとが対応付けられている。なお、記憶部１２に音声データを記憶したときに、その旨を報知する報知手段を設けてもよい。この場合、報知手段は、光、音などにより報知するようにすればよい。
【００５０】
この状態においては、制御部１１は、操作部１３からの音声データ再生指示を示す信号の出力、すなわち、利用者が操作ボタン１３１の操作をして、音声データの再生を指示するのを待つ（ステップＳ１０２；Ｎｏ）。通信装置１の利用者は、操作ボタン１３１を操作して、音声データＸの再生を指示（ステップＳ１０２；Ｙｅｓ）すると、音声データが再生（ステップＳ１０３）され、放音部１５からは音声データＸに係る音が放音される。放音とともに、利用者が音声データＸに係る音を聞いて、その内容に対して反応して発声などにより発生した音が収音され、その内容が解析収音データとして生成され、録音データの生成も開始される（ステップＳ１０３）。
【００５１】
ここで、音声データＸに係る音についても収音されていることから、解析収音データには、利用者が発声させた音の成分と音声データＸに係る音の成分とが含まれているが、除去部１０５１により音声データＸに係る音の成分が除去される。そして、生成部１０５により生成され、記憶部１２に記憶される録音データは、音声データＸの再生とともに生成されるものであるから、音声データＸと録音データとは同期して再生できるものとなり、さらに、利用者が発声させた音を示すものとなる。なお、録音データは、音声データＸに係る音の成分が完全に除去されたものでなくてもよく、その音の成分が減衰されていればよい。
【００５２】
そして、制御部１１は、音声データＸの再生が終了するのを待つ（ステップ１０４；Ｎｏ）。音声データＸの再生が終了（ステップＳ１０４；Ｙｅｓ）すると、生成した録音データ（以下、録音データＸという）が記憶部１２に記憶される（ステップＳ１０５）。この録音データＸは、記憶部１２に記憶されるときには、録音データＸが生成されているときに再生されていた音声データＸおよび通信装置１−Ｘを示す装置情報と対応付けて記憶される。このように記憶されることにより、図７（ｂ）に示すように、通信装置１−Ｘを示す装置情報、音声データＸおよび録音データＸが対応付けられる。
【００５３】
そして、出力部１０６は、録音データが記憶部１２に記憶されると、録音データＸおよびこの録音データＸと対応付けられた通信端末１−Ｘを示す装置情報とを取得して通信部１６へ出力して、録音データＸを通信装置１−Ｘに対して送信させる（ステップＳ１０６）。これにより、通信装置１−Ｘにおいては、録音データＸに係る音を確認することができる。
【００５４】
このように、本発明の実施形態に係る通信装置１は、他の通信装置１から送信されてきた音声データを受信して記憶しておき、利用者が音声データの再生を指示すると、その音声データを再生して放音する。この音を聞いた利用者の発声などの反応に係る音を収音し、音声データに係る音の成分を減衰させた録音データを生成して他の通信装置１に送信する。これによって、音声データを送信した他の通信装置１の利用者は、音声データが再生されたことを確認することができるとともに、再生時の通信装置１の利用者の反応を確認することができる。このとき、自らが送信した音声データを録音データと同時に再生開始することにより、音声データに係る音の内容のうち、どの部分でどのような反応があったかを確認することもできる。
【００５５】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００５６】
＜変形例１＞
上述した実施形態においては、１つの音声データの再生に対応して、収音制御部１０４から出力される解析収音データは１つであり、生成される録音データも１つであったが、複数の解析収音データが出力され、複数の録音データが生成されるようにしてもよい。この場合には、図８に示すような録音制御部１００Ａを制御部１１が制御プログラムを実行することによって構成するようにすればよい。以下、録音制御部１００Ａの構成について説明する。
【００５７】
図８は、変形例１に係る録音制御部１００Ａの構成を示すブロック図である。実施形態における符号と同じ符号を付した構成については、実施形態における構成と同様な構成であるから、その説明を省略する。
【００５８】
収音制御部１０４Ａは、収音部１４から出力される複数の収音データを解析し、収音部１４において収音した音の音源方向を特定する。このとき音源方向が複数方向である場合には、それぞれの音源方向の音を抽出して、それぞれの音源方向に対応する解析収音データを生成して出力する。この例においては、音源方向が２方向であり、２つの解析収音データが出力されるものとする。
【００５９】
生成部１０５−１、１０５−２は、それぞれ実施形態における生成部１０５と同様な構成であり、収音制御部１０４Ａから出力される解析収音データの数に応じて形成される構成である。すなわち、この例においては、２つの解析収音データが出力されるから生成部１０５−１、１０５−２が録音制御部１００Ａに構成されるが、４つの解析収音データが出力されるときには、生成部１０５−１，１０５−２，１０５−３、１０５−４といったように４つの生成部が構成される。
【００６０】
そして、生成部１０５−１、１０５−２は、それぞれ録音データを生成し、音声データおよび装置情報と対応付けて記憶部１２に記憶させる。そして、出力部１０６Ａは、記憶部１２に記憶された１つの音声データに対応する装置情報および複数の録音データを通信部１６に出力して、装置情報が示す他の通信装置１に送信させる。このようにすると、通信装置１を利用する人が複数いた場合に、それぞれの反応を分けて録音することができるから、この録音データを受信する通信装置１の利用者は、いずれか一方を選択して再生することもできる。
【００６１】
なお、各音源方向を撮影し、撮影した内容を示す撮影データを生成することができる撮影手段を通信装置１に設け、録音データと同期して再生可能な撮影データの生成をするようにすれば、各音源方向に対応して録音データと撮影データとを対応付けて、他の通信装置１などに送信することもできる。
【００６２】
＜変形例２＞
上述した実施形態においては、通信部１６において受信するデータは音声データであったが、音声データとともに表示画面への表示内容を示す表示データも受信するようにしてもよい。この場合における通信装置１Ｂの構成を図９、図１０、図１１を用いて説明する。
【００６３】
図９は、変形例２に係る通信装置１Ｂの外観を示す説明図である。通信装置１Ｂは、図９に示すように、正面１０−Ｆにおけるカバー１４２とネット１５２とに挟まれた領域に表示画面１７１を有する。
【００６４】
図１０は、変形例２に係る通信装置１Ｂの構成を示すブロック図である。通信装置１Ｂは、図１０に示すように、実施形態における通信装置１に表示部１７が追加された構成である。表示部１７は、上述した表示画面１７１に画像を表示する液晶ディスプレイなどの表示デバイスである。表示部１７は、制御部１１の制御、または後述する表示制御部１１０の制御により、表示画面１７１に画像を表示する。表示画面１７１に表示される画像は、表示データが示す表示内容、上述したように操作に応じた表示、メニュー表示などの各種表示である。
【００６５】
次に、制御部１１が制御プログラムを実行することによって構成される録音制御部１００Ｂについて図１１を用いて説明する。
【００６６】
図１１は、変形例２に係る録音制御部１００Ｂの構成を示すブロック図である。実施形態における符号と同じ符号を付した構成については、実施形態における構成と同様な構成であるから、その説明を省略する。
【００６７】
取得部１０１Ｂは、通信部１６によって他の通信装置１、外部装置などから受信した表示データおよび音声データを取得する。そして、装置情報についても取得して、取得した表示データおよび音声データと装置情報とを対応付けて記憶部１２に記憶する。
【００６８】
デコード部１０２Ｂは、音声データをデコードして再生するときに表示データについてもデコードして再生する。そして、再生音声データを放音制御部１０３に出力するとともに、再生した表示データ（以下、再生表示データという）を表示制御部１１０に出力する。
【００６９】
表示制御部１１０は、デコード部１０２Ｂから出力された再生表示データを取得して表示部１７に出力することによって、表示画面１７１に再生表示データに係る表示内容で表示させるように表示部１７を制御する。このようにすれば、スピーカ１５１からの放音だけでなく、表示画面１７１への表示を行うこともできる。
【００７０】
ここで、通信装置１が他の特定の通信装置１に対して、音声データとともに表示データを送信するときの方法の例を簡単に説明する。第１の例としては、撮影した内容を示す表示信号を生成する撮影手段を通信装置１に設ける。そして、利用者が操作ボタン１３１を操作して、特定の通信装置１に対して音声データおよび表示データを送信する指示をすると、利用者が次に操作ボタン１３１を操作して録音の中止指示をするまでの間、収音部１４による収音が行われ、また、撮影手段による撮影が行われる。これにより、制御部１１は、実施形態において述べたようにして音声データを生成するとともに、音声データと同期して再生可能な表示データを表示信号に対してアナログデジタル変換処理をするなどして生成し、特定の通信装置１に対して通信部１６から送信する。
【００７１】
第２の例としては、通信装置１に半導体メモリなどの外部記録媒体の内容を読み取るインターフェイスを設ける。そして、操作ボタン１３１の操作により表示データおよび音声データを特定の通信装置１に送信する指示をすると、制御部１１は、外部記録媒体に記憶された表示データおよび音声データを取得して送信する。これらの音声データおよび表示データを送信するデータ送信機能は、制御部１１が制御プログラムを実行することによって実現する。
【００７２】
＜変形例３＞
上述した実施形態においては、録音データは音声データと同期して再生できるようにするために、再生の開始に対応して録音データの生成が開始されるようにしていたが、他の方法、例えば、再生タイミングを示すタイミング情報などを付すようにして、これを音声データと一致させることにより同期再生可能なものとしてもよい。この場合、録音データは、音声データの再生期間全てにわたって収音された音を示すものでなくてもよく、収音した音の大きさが予め設定された大きさ以上であった期間の音を示すものとしてもよい。そして、それぞれの録音データにタイミング情報を付すようにすればよい。
【００７３】
＜変形例４＞
上述した実施形態においては、収音制御部１０４から出力される解析収音データに対して、リアルタイムに除去部１０５１において再生音声データに係る音の成分を除去する処理を行っていたが、リアルタイムに行われなくてもよい。この場合には、解析収音データを音声データと対応付けて記憶部１２に記憶しておき、記憶部１２に記憶された解析収音データと音声データとを用いて別途除去部１０５１の処理を行って録音データを生成してもよい。
【００７４】
＜変形例５＞
上述した実施形態においては、通信装置１は、他の通信装置１から音声データを受信し、受信した音声データを取得部１０１において取得していたが、音声データが記録された半導体メモリ、ＣＤ、ＤＶＤなどの外部記録媒体から取得するようにしてもよい。この場合には、通信装置１に外部記録媒体の内容を読み取るインターフェイスを設け、取得部１０１は、このインターフェイスを介して音声データを取得すればよい。そして、装置情報は操作ボタン１３１の操作などにより入力すればよい。また、音声データと装置情報とが外部記録媒体に予め記録されている場合には、この装置情報を取得すればよい。
【００７５】
＜変形例６＞
上述した実施形態における通信装置１は、電話などに用いられてもよい。この場合には、相手の通信装置１の利用者がいる場合には、通常行われる通話を行い、利用者が不在であり留守番電話などの音声を記録する状態になったときに、音声データの送受信が行われ、受信側の通信装置１は、受信した音声データおよび発信側の通信装置１を示す装置情報を対応付けて、記憶部１２に記憶するようにすればよい。その後の処理は、実施形態における処理と同じものとすればよい。
【００７６】
＜変形例７＞
上述した実施形態における制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し得る。ネットワーク経由でダウンロードさせることも可能である。
【符号の説明】
【００７７】
１，１Ｂ…通信装置、２…ネットワーク、１０…筐体、１０−Ｔ…上面、１０−Ｆ…正面、１０−Ｒ…右側面、１０−Ｌ…左側面、１０−Ｂ…背面、１１…制御部、１２…記憶部、１３…操作部、１３１…操作ボタン、１４…収音部、１４１−１，１４１−２，１４１−３，１４１−４…マイクロフォン、１４２…カバー、１５…放音部、１５１…スピーカ、１５２…ネット、１６…通信部、１７…表示部、１７１…表示画面、１００，１００Ａ，１００Ｂ…録音制御部、１０１，１０１Ｂ…取得部、１０２，１０２Ｂ…デコード部、１０３…放音制御部、１０４，１０４Ａ…収音制御部、１０５，１０５−１，１０５−２…生成部、１０５１…除去部、１０５２…エンコード部、１１５１…減算器、１１５２…適応フィルタ、１０６，１０６Ａ…出力部、１１０…表示制御部、１０００…通信システム
【図１】
2010233041.tif 000003
【図２】
2010233041.tif 000004
【図３】
2010233041.tif 000005
【図４】
2010233041.tif 000006
【図５】
2010233041.tif 000007
【図６】
2010233041.tif 000008
【図７】
2010233041.tif 000009
【図８】
2010233041.tif 000010
【図９】
2010233041.tif 000011
【図１０】
2010233041.tif 000012
【図１１】
2010233041.tif 000013