(57)【要約】【課題】基本周波数が近い音声が近接しないように配置する聴覚ディスプレイ装置を提供する。【解決手段】音声送受信部１０３は、音声データを受信する。音声解析部１０５は、音声データを解析し、音声データの基本周波数を算出する。音声配置部１０６は、音声データの基本周波数を、近接する音声データの基本周波数と比較して、基本周波数の差異が最も大きくなるように、音声データを配置する。音声管理部１０９は、音声データの配置位置を管理する。音声混合部１０７は、音声データを近接する音声データと混合する。音声出力部１０８は、音声出力装置２０２を介して、混合された音声データを出力する。【選択図】図１
2011250311.tif 000002
【特許請求の範囲】
【請求項１】
音声出力装置と接続された聴覚ディスプレイ装置であって、
音声データを受信する音声送受信部と、
前記音声データを解析し、前記音声データの基本周波数を算出する音声解析部と、
前記音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、前記音声データを配置する音声配置部と、
前記音声データの配置位置を管理する音声管理部と、
前記音声データを前記近接する音声データと混合する音声混合部と、
前記音声出力装置を介して、前記混合された音声データを出力する音声出力部とを備える、聴覚ディスプレイ装置。
【請求項２】
前記音声管理部は、前記音声データの配置位置と、前記音声データの音源情報とを組み合わせて管理し、
前記音声配置部は、前記音源情報に基づいて、前記音声送受信部が受信した前記音声データが、前記音声管理部が管理している前記音声データと同一であると判断すれば、前記音声管理部が管理している前記音声データと同じ配置位置に、受信した前記音声データを配置することを特徴とする、請求項１に記載の聴覚ディスプレイ装置。
【請求項３】
前記音声管理部は、前記音声データの配置位置と、前記音声データの音源情報とを組み合わせて管理し、
前記音声配置部は、前記音声データを配置する際に、前記音源情報に基づいて、特定の入力先から受信した音声データを除外することを特徴とする、請求項１に記載の聴覚ディスプレイ装置。
【請求項４】
前記音声管理部は、前記音声データの配置位置と、前記音声データの入力時間とを組み合わせて管理し、
前記音声配置部は、前記音声データの入力時間に基づいて、前記音声データを配置することを特徴とする、請求項１に記載の聴覚ディスプレイ装置。
【請求項５】
前記音声配置部は、前記音声データの配置位置を移動させる場合、前記音声データの位置を移動元から移動先まで補間して段階的に移動させることを特徴とする、請求項１に記載の聴覚ディスプレイ装置。
【請求項６】
前記音声配置部は、前記音声データを高さ方向が一定の左右及び前方を含む領域に優先的に配置することを特徴とする、請求項１に記載のディスプレイ装置。
【請求項７】
前記音声配置部は、前記音声データを後方または上下方向を含む領域に配置することを特徴とする、請求項６に記載の聴覚ディスプレイ装置。
【請求項８】
前記聴覚ディスプレイ装置は、１つ以上の音声データを保持する音声保持装置と接続され、前記音声保持装置は、前記１つ以上の音声データをチャンネルで管理しており、
前記聴覚ディスプレイ装置は、
チャンネルを切り替える入力を受け付ける操作入力部と、
切り替えた前記チャンネルを保持する設定保持部とをさらに備え、
前記音声送受信部は、前記音声保持装置から前記チャンネルに対応した音声データを取得することを特徴とする、請求項１に記載の聴覚ディスプレイ装置。
【請求項９】
前記聴覚ディスプレイ装置は、前記聴覚ディスプレイ装置の向きを取得する操作入力部をさらに備え、
前記音声配置部は、前記聴覚ディスプレイ装置の向きの変化に応じて、前記音声データの配置位置を変更することを特徴とする、請求項１に記載の聴覚ディスプレイ装置。
【請求項１０】
音声出力装置と接続された聴覚ディスプレイ装置であって、
音声データを文字コードに変換すると共に、前記音声データの基本周波数を算出する音声認識部と、
前記音声データの前記文字コードと前記基本周波数とを受信する音声送受信部と、
前記基本周波数に基づいて、前記文字コードから前記音声データを合成する音声合成部と、
前記音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、前記音声データを配置する音声配置部と、
前記音声データの配置位置を管理する音声管理部と、
前記音声データを前記近接する音声データと混合する音声混合部と、
前記音声出力装置を介して、前記混合された音声データを出力する音声出力部とを備える、聴覚ディスプレイ装置。
【請求項１１】
聴覚ディスプレイ装置と接続された音声保持装置であって、
音声データを受信する音声送受信部と、
前記音声データを解析し、前記音声データの基本周波数を算出する音声解析部と、
前記音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、前記音声データを配置する音声配置部と、
前記音声データの配置位置を管理する音声管理部と、
前記音声データを前記近接する音声データと混合し、当該混合された音声データを前記音声送受信部を介して、前記聴覚ディスプレイ装置に送信する音声混合部とを備える、音声保持装置。
【請求項１２】
音声出力装置と接続された聴覚ディスプレイ装置が実施する方法であって、
音声データを受信する音声受信ステップと、
受信した前記音声データを解析し、前記音声データの基本周波数を算出する音声解析ステップと、
前記音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、前記音声データを配置する音声配置ステップと、
前記音声データを前記近接する音声データと混合する音声混合ステップと、
前記音声出力装置を介して、前記混合された音声データを出力する音声出力ステップとを備える、方法。
【請求項１３】
音声出力装置と接続された聴覚ディスプレイ装置が実行するプログラムであって、
音声データを受信する音声受信ステップと、
受信した前記音声データを解析し、前記音声データの基本周波数を算出する音声解析ステップと、
前記音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、前記音声データを配置する音声配置ステップと、
前記音声データを前記近接する音声データと混合する音声混合ステップと、
前記音声出力装置を介して、前記混合された音声データを出力する音声出力ステップとを実行する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同時に複数の音声を聞き分けることを容易にするために、音声を立体的に配置して出力する聴覚ディスプレイ装置に関する。
【背景技術】
【０００２】
近年、モバイル機器の一つである携帯電話は、従来の音声通話にとどまらず、電子メールの送受信やウェブサイトの閲覧などの機能を持ち、モバイル環境におけるコミュニケーションの方法やサービスは多様化している。現在のモバイル環境において、電子メールの送受信やウェブサイトの閲覧などの機能は、視覚を中心とした操作方法が主として用いられている。しかし、このような視覚を中心とした操作方法は、情報量が豊富で直感的にわかりやすい反面、歩行中や車の運転中など移動中には危険を伴う。
【０００３】
また、携帯電話の本来の機能である聴覚を中心とした音声通話は、コミュニケーションをとる手段として確立されている。しかし、安定した通信路の確保の制約から、帯域を狭めたモノラル音声を用いるなど、通話内容が理解できる程度の品質に限定してサービスを行っているのが実際である。
【０００４】
一方、聴覚に対して情報を提示する方法は従来から検討されており、音声で情報を提示する手法は、聴覚ディスプレイと呼ばれている。立体音響技術を組み合わせた聴覚ディスプレイは、情報を音声として三次元の任意の位置に配置することで、より臨場感のある情報提示が可能となる。
【０００５】
例えば、話者である相手の位置及び自分の向いている方向に応じて、話者の音声を三次元音像空間に配置する技術が特許文献１に開示されている。これにより、人ごみの中で相手が見つけられないときに大声を出すことなく相手のいる方向がわかる、といった用途が考えられている。
【０００６】
また、テレビ会議システムにおいて、話者の投影されている位置から音声が聞こえてくるように配置する技術は特許文献２によって開示されている。これにより、テレビ会議の中で話者を見つけやすくし、より自然なコミュニケーションが実現できると考えられている。
【０００７】
人間は日常的にたくさんの音に囲まれ、たくさんの音を聞いている。その中から自分が関心のある内容を聞き分けられる選択的聴取の能力は、カクテルパーティー効果として知られている。すなわち、同時に複数の話者がいる状態であっても、ある程度ならば関心のある内容を選択し追従して聴取することができる。同時に複数の話者が存在する場合の技術として、例えばテレビにおける二ヶ国語放送は実用化されている。
【０００８】
また、仮想空間における会話状態を動的に判断し、特定の通話者との会話の音声に加えて、それ以外の通話者の音声を環境音として配置する技術が特許文献３によって開示されている。
【０００９】
また、複数の音声を三次元音像空間に配置し、畳み込みステレオ音声として聴取する技術が特許文献４によって開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−１８４６２１号公報
【特許文献２】特開平８−１３０５９０号公報
【特許文献３】特開平８−１８６６４８号公報
【特許文献４】特開平１１−２５２６９９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、このような従来の聴覚ディスプレイ装置には、以下のような課題があった。特許文献１及び特許文献２では、どちらも話者の位置に合わせて音源を配置するが、話者が複数の場合に不具合が起こる。すなわち、特許文献１及び特許文献２では、複数の話者の方向が近い場合、それぞれの声が重なって聴こえるので、聞き分けにくくなるという課題があった。
【００１２】
また、テレビにおける二ヶ国語放送は、言語の異なる二種類の音声を左右に振り分けて放送するが、同一言語の話者は全て同じ方向から聴こえるため、音声を聞き分けることが難しくなるという課題があった。
【００１３】
また、特許文献３では、通話状態にある相手の声は大きく聴こえるために聞き分けやすいが、環境音となった複数の他者の声は混在するため、複数の他者の声の中から特定の声を聞き分けることが難しくなるという課題があった。
【００１４】
また、特許文献４では、話者の音声の特徴を考慮していないために、似たような声が近接した位置に配置された場合は、声を区別して聞き分けにくくなるという課題があった。
【００１５】
それ故に、本発明は、上述した課題を解決するものであり、複数の音声の中から所望の音声を聞き分けることを容易にするために、音声を立体的に配置して出力することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の聴覚ディスプレイ装置は、音声データを受信する音声送受信部と、音声データを解析し、音声データの基本周波数を算出する音声解析部と、音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、音声データを配置する音声配置部と、音声データの配置位置を管理する音声管理部と、音声データを近接する音声データと混合する音声混合部と、音声出力装置を介して、混合された音声データを出力する音声出力部とを備える。
【００１７】
音声管理部は、音声データの配置位置と、音声データの音源情報とを組み合わせて管理してもよい。この場合、音声配置部は、音源情報に基づいて、音声送受信部が受信した音声データが、音声管理部が管理している音声データと同一であると判断すれば、音声管理部が管理している音声データと同じ配置位置に、受信した音声データを配置することができる。
【００１８】
また、音声管理部は、音声データの配置位置と、音声データの音源情報とを組み合わせて管理してもよい。この場合、音声配置部は、音声データを配置する際に、音源情報に基づいて、特定の入力先から受信した音声データを除外することができる。
【００１９】
また、音声管理部は、音声データの配置位置と、音声データの入力時間とを組み合わせて管理する。この場合、音声配置部は、音声データの入力時間に基づいて、音声データを配置することができる。
【００２０】
好ましくは、音声配置部は、音声データの配置位置を移動させる場合、音声データの位置を移動元から移動先へ段階的に補間するように移動させる。
【００２１】
音声配置部は、高さ方向が一定の左右及び前方を含む領域に優先的に音声データを配置する。また、音声配置部は、音声データを後方または上下方向を含む領域に配置してもよい。
【００２２】
また、聴覚ディスプレイ装置は、１つ以上の音声データを保持する音声保持装置と接続される。音声保持装置は、１つ以上の音声データをチャンネルで管理している。この場合、聴覚ディスプレイ装置は、チャンネルを切り替える入力を受け付ける操作入力部と、切り替えたチャンネルを保持する設定保持部とをさらに備える。これにより、音声送受信部は、音声保持装置からチャンネルに対応した音声データを取得することができる。
【００２３】
また、聴覚ディスプレイ装置は、聴覚ディスプレイ装置の向きを取得する操作入力部をさらに備えてもよい。この場合、音声配置部は、聴覚ディスプレイ装置の向きの変化に応じて、音声データの配置位置を変更することができる。
【００２４】
また、聴覚ディスプレイ装置は、音声データを文字コードに変換すると共に、音声データの基本周波数を算出する音声認識部と、音声データの文字コードと基本周波数とを受信する音声送受信部と、基本周波数に基づいて、文字コードから音声データを合成する音声合成部と、音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、音声データを配置する音声配置部と、音声データの配置位置を管理する音声管理部と、音声データを近接する音声データと混合する音声混合部と、音声出力装置を介して、混合された音声データを出力する音声出力部とを備える構成であってもよい。
【００２５】
本発明は、聴覚ディスプレイ装置と接続された音声保持装置にも向けられている。音声保持装置は、音声データを受信する音声送受信部と、音声データを解析し、音声データの基本周波数を算出する音声解析部と、音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、音声データを配置する音声配置部と、音声データの配置位置を管理する音声管理部と、音声データを近接する音声データと混合し、当該混合された音声データを、音声送受信部を介して聴覚ディスプレイ装置に送信する音声混合部とを備える。
【００２６】
また、本発明は、音声出力装置と接続された聴覚ディスプレイ装置が実施する方法であってもよい。上記方法は、音声データを受信する音声受信ステップと、受信した音声データを解析し、音声データの基本周波数を算出する音声解析ステップと、音声データの基本周波数を、近接する音声データの基本周波数と比較して、当該基本周波数の差異が最も大きくなるように、音声データを配置する音声配置ステップと、音声データを近接する音声データと混合する音声混合ステップと、音声出力装置を介して、混合された音声データを出力する音声出力ステップとを備える。
【発明の効果】
【００２７】
上記構成により、本発明の聴覚ディスプレイ装置によれば、複数の音声データを配置する際に、隣接する音声データとの違いが大きくなるように配置することが可能となり、所望の音声データの聞き分けを容易にすることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態に係る聴覚ディスプレイ装置１００の構成例を示すブロック図
【図２Ａ】本発明の第１の実施形態に係る設定保持部１０４が保持する設定情報の一例を示す図
【図２Ｂ】本発明の第１の実施形態に係る設定保持部１０４が保持する設定情報の一例を示す図
【図２Ｃ】本発明の第１の実施形態に係る設定保持部１０４が保持する設定情報の一例を示す図
【図２Ｄ】本発明の第１の実施形態に係る設定保持部１０４が保持する設定情報の一例を示す図
【図２Ｅ】本発明の第１の実施形態に係る設定保持部１０４が保持する設定情報の一例を示す図
【図３Ａ】本発明の第１の実施形態に係る音声管理部１０９が管理する情報の一例を示す図
【図３Ｂ】本発明の第１の実施形態に係る音声管理部１０９が管理する情報の一例を示す図
【図３Ｃ】本発明の第１の実施形態に係る音声管理部１０９が管理する情報の一例を示す図
【図４Ａ】本発明の第１の実施形態に係る音声保持装置２０３が保持する情報の一例を示す図
【図４Ｂ】本発明の第１の実施形態に係る音声保持装置２０３が保持する情報の一例を示す図
【図５】本発明の第１の実施形態に係る聴覚ディスプレイ装置１００の動作の一例を示すフローチャート
【図６】本発明の第１の実施形態に係る聴覚ディスプレイ装置１００の動作の一例を示すフローチャート
【図７】複数の音声保持装置２０３、２０４が接続された聴覚ディスプレイ装置１００の例を示す図
【図８】本発明の第１の実施形態に係る聴覚ディスプレイ装置１００の動作の一例を示すフローチャート
【図９】本発明の第１の実施形態に係る聴覚ディスプレイ装置１００の動作の一例を示すフローチャート
【図１０Ａ】音声データ４０３の配置方法を説明する図
【図１０Ｂ】音声データ４０３，４０４の配置方法を説明する図
【図１０Ｃ】音声データ４０３，４０４，４０５の配置方法を説明する図
【図１０Ｄ】音声データ４０３を段階的に移動させる様子を説明する図
【図１１Ａ】本発明の第２の実施形態に係る音声保持装置２０３ａの構成例を示すブロック図
【図１１Ｂ】本発明の第２の実施形態に係る音声保持装置２０３ｂの構成例を示すブロック図
【図１２Ａ】本発明の第３の実施形態に係る聴覚ディスプレイ装置１００ｂの構成例を示すブロック図
【図１２Ｂ】複数の音声保持装置２０３、２０４に接続された聴覚ディスプレイ装置１００ｂの構成例を示すブロック図
【図１３】本発明の第４の実施形態に係る聴覚ディスプレイ装置１００ｃの構成を示す図
【発明を実施するための形態】
【００２９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る聴覚ディスプレイ装置１００の構成例を示すブロック図である。図１において、聴覚ディスプレイ装置１００は、音声入力装置２０１から音声を入力し、音声保持装置２０３に音声を保持する。また、聴覚ディスプレイ装置１００は、音声保持装置２０３の音声を取得し、音声出力装置２０２に出力する。この例では、聴覚ディスプレイ装置１００は、双方向の音声コミュニケーションを行うモバイル端末であることを想定している。
【００３０】
音声入力装置２０１は、マイク等から構成され、音声の空気振動を電気信号に変換する。音声出力装置２０２は、ステレオヘッドフォン等から構成され、ステレオの音声の電気信号を空気振動に変換する。音声保持装置２０３は、ファイルシステムから構成され、音声データ、及び音声データに関する属性情報を保持するデータベースである。音声保持装置２０３が保持する情報については、図４Ａ、４Ｂを用いて後に説明する。
【００３１】
なお、聴覚ディスプレイ装置１００は、音声入力装置２０１を構成に含んでいてもよい。また、聴覚ディスプレイ装置１００は、音声出力装置２０２を構成に含んでいてもよい。なお、聴覚ディスプレイ装置１００が音声入力装置２０１と音声出力装置２０２とを構成に含む場合、聴覚ディスプレイ装置１００は、例えば、ステレオヘッドセット型のモバイル端末として利用できる。
【００３２】
また、聴覚ディスプレイ装置１００は、音声保持装置２０３を構成に含んでいてもよい。あるいは、音声保持装置２０３は、インターネットなどの通信網上に存在し、聴覚ディスプレイ装置１００と通信網を介して接続されていてもよい。
【００３３】
また、聴覚ディスプレイ装置１００とは異なる聴覚ディスプレイ装置（図示せず）が音声保持装置２０３として機能してもよい。すなわち、聴覚ディスプレイ装置１００は、異なる聴覚ディスプレイ装置との間で音声データを相互に送受信する構成であってもよい。ここで、音声データは、一括で送受信可能なファイル形式であっても、逐次的に送受信可能なストリーム形式であってもよい。
【００３４】
次に、聴覚ディスプレイ装置１００の詳細な構成について説明する。聴覚ディスプレイ装置１００は、操作入力部１０１、音声入力部１０２、音声送受信部１０３、設定保持部１０４、音声解析部１０５、音声配置部１０６、音声混合部１０７、音声出力部１０８、及び音声管理部１０９を備える。ここで、音声送受信部１０３、音声解析部１０５、音声配置部１０６、音声混合部１０７、音声出力部１０８、及び音声管理部１０９は、音声配置処理部２００を構成する。音声配置処理部２００は、音声データの基本周波数に基づいて、音声データを三次元音像空間に配置する機能を有する。
【００３５】
操作入力部１０１は、キーボタン、スイッチ、ダイヤル等から構成され、ユーザからの音声の送信制御、チャンネルの選択、音声配置領域の設定などの操作を受け取る。あるいは、操作入力部１０１は、リモートコントローラと、コントローラ受信部とから構成されてもよい。リモートコントローラは、ユーザ操作を受け取って、ユーザ操作に関する信号をコントローラ受信部に送信する。コントローラ受信部は、ユーザ操作に関する信号を受信して、ユーザからの音声の送信制御、チャンネルの選択、音声配置領域の設定操作などを受け取る。ここで、チャンネルとは、特定地域に関連するグループ、特定の知人によって構成されるグループ、特定のテーマが定義されたグループなどの分類である。
【００３６】
音声入力部１０２は、Ａ／Ｄコンバータ等から構成され、音声の電気信号を数値データである音声データに変換する。設定保持部１０４は、メモリ等から構成され、聴覚ディスプレイ装置１００に関する各種設定情報を保持する。設定情報は、予め設定保持部１０４に格納しておいてもよいし、ユーザが操作入力部１０１を介して設定したものを設定保持部１０４に格納しておいてもよい。設定保持情報については、図２Ａ〜２Ｅを用いて後に説明する。
【００３７】
音声送受信部１０３は、通信モジュール、ファイルシステムのデバイスドライバ等から構成され、音声データなどを送受信する。なお、音声送受信部１０３は、音声データを圧縮して送信し、圧縮された音声データを受信して伸張してもよい。
【００３８】
音声解析部１０５は、音声データを解析し、音声データの基本周波数を算出する。音声配置部１０６は、音声データの基本周波数に基づいて、音声データを三次元音像空間に配置する。音声混合部１０７は、三次元音像空間に配置された音声データをステレオの音声に混合する。音声出力部１０８は、Ｄ／Ａコンバータ等から構成され、音声データを電気信号に変換する。音声管理部１０９は、音声データに関連する情報として、音声データの配置位置、音声データの出力が継続しているか否かを示す出力状態、基本周波数などを保持し管理する。音声管理部１０９が保持する情報については、図３Ａ〜３Ｃを用いて後に説明する。
【００３９】
図２Ａは、設定保持部１０４が保持する設定情報の一例を示す図である。図２Ａの例では、設定保持部１０４は、設定情報として、音声送信先、音声受信先、チャンネルリスト、チャンネル番号、及びユーザＩＤを保持する。音声送信先は、音声送受信部１０３に入力される音声データの送信先を示し、例えば、音声出力装置２０２や音声保持装置２０３が設定される。音声受信先は、音声送受信部１０３に入力される音声データの受信先を示し、例えば、音声入力装置２０１や音声保持装置２０３が設定される。なお、音声送信先及び音声受信先をＵＲＩ形式で記載してもよいし、ＩＰアドレスや電話番号など他の形式で記載することも可能である。また、音声送信先及び音声受信先を複数設定することも可能である。チャンネルリストは、聴取可能なチャンネルの一覧を表し、複数のチャンネルを設定可能である。チャンネル番号には、チャンネルリストにおける聴取しているチャンネルの番号が設定される。図２Ａの例では、チャンネル番号が“１”であることから、チャンネルリストの１番目の“１２３−４５６−７８９”のチャンネルを聴取していることを示す。
【００４０】
ユーザＩＤには、聴覚ディスプレイ装置１００を操作しているユーザの識別情報が設定される。なお、ユーザＩＤには、機器ＩＤやＭＡＣアドレスなど、機器の識別情報が設定されてもよい。ユーザＩＤを用いることで、音声送信先と音声受信先が同じである場合に、音声受信先から受信した音声データを配置する際に、自分が音声送信先に送信した音声データを除外することが可能になる。なお、上述した項目及び設定値はあくまで一例であって、設定保持部１０４は、他の項目及び他の設定値を保持することも可能である。例えば、設定保持部１０４は、図２Ｂ〜２Ｅに示すような、設定情報を保持していてもよい。図２Ｂはチャンネル番号が図２Ａと異なる。図２Ｃは音声送信先と音声受信先が図２Ａと異なる。図２Ｄはチャンネル番号が図２Ｃと異なる。図２Ｅは音声受信先が追加されたことと、チャンネル番号が図２Ｄと異なる。
【００４１】
図３Ａは、音声管理部１０９が管理する情報の一例を示す図である。図３Ａの例では、音声管理部１０９は、管理番号、方位角、仰俯角、相対距離、出力状態、及び基本周波数を管理している。管理番号には、音声データに対応した任意の重複しない番号が設定される。方位角は、正面からの水平方向の角度を表す。この例では、初期化時の水平方向の正面を０度とし、右回りを正、左回りを負としている。仰俯角は、正面からの垂直方向の角度を表す。この例では、初期化時の垂直方向の正面を０度とし、真上を９０度とし、真下を−９０度としている。相対距離は、正面から音声データまでの距離を表し、０以上の値を設定し、値が大きくなる程距離が離れることを意味する。方位角、仰俯角、及び相対距離は、音声データの配置位置を表している。出力状態は、音声の出力が継続しているか否かの状態を示し、出力が継続している状態を１で、終了している状態を０で表す。基本周波数には、音声解析部１０５が解析した音声データの基本周波数が設定される。
【００４２】
また、音声管理部１０９は、図３Ｂに示すように、音声データの入力先に関する情報（以下、音源情報）を、音声データの配置位置等と関連付けて管理してもよい。音源情報には、上述したユーザＩＤに相当する情報が含まれてもよい。音源情報を用いることで、新たな音声データを受信した場合に、新たな音声データが音声管理部１０９で管理している音声データと同一であるか否かを判定することができる。また、新たな音声データが音声管理部１０９で管理している音声データと同一である場合には、新たな音声データの配置位置を管理済みの音声データと同一にすることができる。また、音源情報を用いることで、音声データを配置する際に、特定の入力先から受信した音声データを除外することができる。
【００４３】
また、音声管理部１０９は、図３Ｃに示すように、音声データが入力された時間を示す入力時間を、音声データの配置位置等と関連付けて管理してもよい。入力時間を用いることで、出力する順序を調整したり、時間を合わせて複数の音声データを配置することができる。ただし、時間を必ずしも合わせる必要なく、複数の音声データを一定時間ずらして配置してもよい。なお、上述した項目及び設定値はあくまで一例であって、音声管理部１０９は、他の項目及び他の設定値を保持することも可能である。
【００４４】
図４Ａは、音声保持装置２０３が保持する情報の一例を示す図である。図４Ａの例では、音声保持装置２０３は、チャンネル番号、音声データ、及び属性情報を保持する。音声保持装置２０３は、１つのチャンネル番号に対応させて、複数の音声データを保持することも可能である。属性情報とは、例えば、聴取可能なユーザの識別情報であるユーザＩＤや、チャンネルの公開範囲などの属性を示す情報である。なお、チャンネル番号及び属性情報は、必ずしも設定する必要はない。併せて図４Ｂのように、音声データ、該当する音声データを入力したユーザＩＤ、入力した時間を対応付けて保持してもよい。
【００４５】
上述したように構成された聴覚ディスプレイ装置１００の動作を、図５を用いて説明する。図５は、第１の実施形態において、音声入力装置２０１を介して入力された音声を音声保持装置２０３に送信する際の聴覚ディスプレイ装置１００の動作を示すフローチャートである。図５を参照して、聴覚ディスプレイ装置１００が起動すると、音声送受信部１０３は、設定保持部１０４から設定情報を取得する（ステップＳ１１）。ここでは、設定情報として、音声送信先に「音声保持装置２０３」が、音声受信先に「音声入力装置２０１」が、チャンネル番号に「２」が設定されているものとする（例えば、図２Ｂ参照）。なお、図２Ｂに示す例では、チャンネルリスト及びユーザＩＤの使用を省略している。
【００４６】
続いて、操作入力部１０１は、ユーザから音声取得開始の要求を受け付ける（ステップＳ１２）。音声取得開始の要求は、ユーザによって操作入力部１０１のボタンが押されるなどの操作によってなされる。あるいは、入力された音声をセンサーが感知したタイミングで音声取得開始の要求があったものとみなしてもよい。音声取得開始の要求がなければ（ステップＳ１２でＮｏ）、ステップＳ１２へ戻って、音声取得開始の要求を受け付ける。
【００４７】
音声取得開始の要求があれば（ステップＳ１２でＹｅｓ）、音声入力部１０２は、音声入力装置２０１から電気信号に変換された音声を受け取り、当該受け取った音声を数値データに変換して、音声データとして音声送受信部１０３に出力する。これにより、音声送受信部１０３は、音声データを受け取る（ステップＳ１３）。
【００４８】
続いて、操作入力部１０１は、ユーザから音声取得終了の要求を受け付ける（ステップＳ１４）。音声取得終了の要求がなければ（ステップＳ１４でＮｏ）、音声送受信部１０３は、ステップＳ１３へ戻って音声データの取得を継続する。あるいは、音声送受信部１０３は、音声取得開始から一定時間経過すると自動的に音声取得を終了するようにしてもよい。
【００４９】
なお、音声送受信部１０３は、音声データの取得を継続できるように、取得した音声データを記憶領域（図示せず）に一時的に蓄積しておいてもよい。また、音声送受信部１０３は、取得した音声データが大きくなり、蓄積できなくなった時点で音声取得終了の要求を自動的に発行してもよい。
【００５０】
音声取得終了の要求は、ユーザによって操作入力部１０１のボタンが離される、あるいは音声取得開始のボタンが再度押されることなどによってなされる。あるいは、入力された音声をセンサーが感知しなくなったタイミングで音声取得終了の要求があったものとみなしてもよい。音声取得終了の要求があれば（ステップＳ１４でＹｅｓ）、音声送受信部１０３は、取得した音声データを圧縮する（ステップＳ１５）。音声データを圧縮することで、データ量を小さくすることができる。音声データの圧縮は省略してもよい。
【００５１】
続いて、音声送受信部１０３は、予め取得しておいた設定情報に基づいて、音声データを音声保持装置２０３に送信する（ステップＳ１６）。音声保持装置２０３は、音声送受信部１０３が送信した音声データを記憶する。その後は、ステップＳ１２に戻り、再び音声取得開始の要求を受け付ける。
【００５２】
なお、音声送受信部１０３は、音声データの送信先やチャンネルなどが固定されている場合には、設定保持部１０４から設定情報を取得せずに、音声データを送受信することができる。そのため、設定保持部１０４は、聴覚ディスプレイ装置１００にとって必須の構成要素ではなく、ステップＳ１１の動作を省略することもできる。同様に、操作入力部１０１を用いて設定保持部１０４を設定する必要がない場合には、操作入力部１０１は聴覚ディスプレイ装置１００にとって必須の構成要素ではない。
【００５３】
また、音声送受信部１０３は、音声入力部１０２から音声データを取得するだけでなく、音声保持装置２０４等から音声データを取得してもよい。そのため、音声入力部１０２は、聴覚ディスプレイ装置１００にとって必須の構成要素ではない。
【００５４】
次に、第１の実施形態において、聴覚ディスプレイ装置１００が音声データを混合して出力する際の動作について、幾つかのパターンを例に説明する。
【００５５】
（第１のパターン）
第１のパターンでは、聴覚ディスプレイ装置１００が、音声保持装置２０３から複数の音声データを取得し、当該取得した複数の音声データを混合して出力する際の動作を説明する。このとき、設定保持部１０４には、設定情報として、音声送信先に「音声出力装置２０２」が、音声受信先に「音声保持装置２０３」が、チャンネル番号に「１」が設定されているものとする（例えば、図２Ｃ参照）。なお、図２Ｃに示す例では、チャンネルリスト及びユーザＩＤの使用を省略している。設定情報は、予め設定保持部１０４に格納しておいてもよいし、ユーザが操作入力部１０１を介して設定したものを設定保持部１０４に格納しておいてもよい。
【００５６】
図６は、第１の実施形態において、音声保持装置２０３に保持された複数の音声データを混合して出力する際の聴覚ディスプレイ装置１００の動作の一例を示すフローチャートである。図６を参照して、聴覚ディスプレイ装置１００が起動すると、音声送受信部１０３は、設定保持部１０４から設定情報を取得する（ステップＳ２１）。
【００５７】
続いて、音声送受信部１０３は、設定保持部１０４に設定されたチャンネル番号「１」を音声保持装置２０３に送信し、当該チャンネル番号に対応した音声データを音声保持装置２０３から取得する（ステップＳ２２）。音声保持装置２０３が検索機能を有する場合、音声送受信部１０３は、キーワードを音声保持装置２０３に送信し、キーワードに基づいて検索した音声データを音声保持装置２０３から取得してもよい。なお、音声保持装置２０３が音声データをチャンネル番号で分類していない場合は、音声送受信部１０３は、チャンネル番号を音声保持装置２０３に送信する必要はない。
【００５８】
続いて、音声送受信部１０３は、音声保持装置２０３から設定情報を満たす音声データを取得できたか否かを判定する（ステップＳ２３）。設定情報を満たす音声データが取得できない場合（ステップＳ２３でNo）、ステップＳ２２に戻る。ここでは、音声送受信部１０３は、設定情報を満たす音声データとして、音声データＡ及び音声データＢを音声保持装置２０３から取得したものとする。設定情報を満たす音声データが取得できた場合、音声解析部１０５は、当該取得した音声データＡ，Ｂの基本周波数を算出する（ステップＳ２４）。次に、音声配置部１０６は、当該算出した音声データＡ，Ｂの基本周波数を比較し（ステップＳ２５）、当該取得した音声データＡ，Ｂの配置位置を決定し、音声データＡ，Ｂを配置する（ステップＳ２６）。音声データの配置の決定方法は後述する。
【００５９】
続いて、音声配置部１０６は、音声データの配置、出力状態、基本周波数などの情報を音声管理部１０９に通知する。音声管理部１０９は、音声配置部１０６から通知された情報を管理する（ステップＳ２７）。なお、ステップＳ２７は、これより後のステップで実行されてもよい。また、音声混合部１０７は、音声配置部１０６が配置した音声データＡ，Ｂを混合する（ステップＳ２８）。音声出力部１０８は、音声混合部１０７が混合した音声データＡ，Ｂを、音声出力装置２０２を介して出力する（ステップＳ２９）。音声データの出力は、このフローとは別に並列処理で行い、音声データの出力が終了した場合に、音声管理部１０９が管理する出力状態などの情報を変更する。
【００６０】
なお、図７に示すように、聴覚ディスプレイ装置１００は、複数の音声保持装置２０３、２０４が接続され、複数の音声保持装置２０３，２０４から複数の音声データを取得するものであってもよい。
（第２のパターン）
第２のパターンでは、聴覚ディスプレイ装置１００が、音声保持装置２０３から取得した音声データを、予め配置していた音声データと混合して出力する際の動作を説明する。このとき、設定保持部１０４には、設定情報として、音声送信先に「音声出力装置２０２」が、音声受信先に「音声保持装置２０３」が、チャンネル番号に「２」が設定されているものとする（例えば、図２Ｄ参照）。また、予め配置していた音声データを音声データＸとする。設定情報は、予め設定保持部１０４に格納しておいてもよいし、ユーザが操作入力部１０１を介して設定したものを設定保持部１０４に格納しておいてもよい。
【００６１】
図８は、第１の実施形態において、音声保持装置２０３から取得した音声データを、予め配置していた音声データと混合する際の聴覚ディスプレイ装置１００の動作の一例を示すフローチャートである。図８を参照して、ステップＳ２１〜Ｓ２３の動作は図６と同じであるので説明を省略する。ステップＳ２２の結果として、音声送受信部１０３は、設定情報を満たす音声データである音声データＣを音声保持装置２０３から取得したとする。設定情報を満たす音声データが取得できた場合、音声解析部１０５は、当該取得した音声データＣの基本周波数を算出する（ステップＳ２４ａ）。次に、音声配置部１０６は、当該算出した音声データＣの基本周波数と、予め配置していた音声データＸの基本周波数とを比較し（ステップＳ２５ａ）、音声データＣ及び音声データＸの配置位置を決定する（ステップＳ２６ａ）。この際、音声配置部１０６は、例えば、音声管理部１０９を参照することで、予め配置していた音声データＸの基本周波数を得ることができる。音声データの配置の決定方法は後述する。ステップＳ２７〜Ｓ２９の動作は図６と同じであるので説明を省略する。
【００６２】
（第３の実施パターン）
第３のパターンでは、聴覚ディスプレイ装置１００が、音声入力装置２０１から入力される音声データと、音声保持装置２０３から取得した音声データとを混合して出力する際の動作を説明する。このとき、設定保持部１０４には、設定情報として、音声送信先に「音声出力装置２０２」が、音声受信先に「音声入力装置２０１」と「音声保持装置２０３」とが、チャンネル番号に「３」が設定されているものとする（例えば、図２Ｅ参照）。また、音声入力装置２０１から入力される音声データを音声データＹとする。設定情報は、予め設定保持部１０４に格納しておいてもよいし、ユーザが操作入力部１０１を介して設定したものを設定保持部１０４に格納しておいてもよい。
【００６３】
図９は、第１の実施形態において、音声入力装置２０１から入力される音声データと、音声保持装置２０３から取得した音声データとを混合する際の聴覚ディスプレイ装置１００の動作の一例を示すフローチャートである。図９を参照して、聴覚ディスプレイ装置１００が起動すると、音声送受信部１０３は、設定保持部１０４から設定情報を取得する（ステップＳ２１）。
【００６４】
続いて、操作入力部１０１は、ユーザから音声取得開始の要求を受け付ける（ステップＳ１２ａ）。音声取得開始の要求は、ユーザによって操作入力部１０１のボタンが押されるなどの操作によってなされる。あるいは、入力された音声をセンサーが感知したタイミングで音声取得開始の要求があったものとみなしてもよい。音声取得開始の要求がなければ（ステップＳ１２ａでＮｏ）、ステップＳ１２ａへ戻って、音声取得開始の要求を受け付ける。
【００６５】
音声取得開始の要求があれば（ステップＳ１２ａでＹｅｓ）、音声入力部１０２は、音声入力装置２０１から電気信号に変換された音声を受け取り、当該受け取った音声を数値データに変換して、音声データとして音声送受信部１０３に出力する。これにより、音声送受信部１０３は、音声データＹを受け取る。また、音声送受信部１０３は、設定保持部１０４に設定されたチャンネル番号「３」を音声保持装置２０３に送信し、当該チャンネル番号に対応した音声データを音声保持装置２０３から取得する（ステップＳ２２）。
【００６６】
続いて、音声送受信部１０３は、音声保持装置２０３から設定情報を満たす音声データを取得できたか否かを判定する（ステップＳ２３）。設定情報を満たす音声データが取得できない場合（ステップＳ２３でNo）、ステップＳ２２に戻る。ここでは、音声送受信部１０３は、設定情報を満たす音声データとして、音声データＤを音声保持装置２０３から取得したものとする。設定情報を満たす音声データが取得できた場合、音声解析部１０５は、当該取得した音声データＹ，Ｄの基本周波数を算出する（ステップＳ２４）。次に、音声配置部１０６は、当該算出した音声データＹ，Ｄの基本周波数を比較し（ステップＳ２５）、当該取得した音声データＹ，Ｄの配置位置を決定する（ステップＳ２６）。音声データの配置の決定方法は後述する。
【００６７】
続いて、音声配置部１０６は、音声データの配置、出力状態、基本周波数などの情報を音声管理部１０９に通知する。音声管理部１０９は、音声配置部１０６から通知された情報を管理する（ステップＳ２７）。なお、ステップＳ２７は、これより後のステップに実行されてもよい。また、音声混合部１０７は、音声配置部１０６が配置した音声データＹ，Ｄを混合する（ステップＳ２８）。音声出力部１０８は、混合した音声データＹ，Ｄを、音声出力装置２０２を介して出力する（ステップＳ２９）。音声データの出力は、このフローとは別に並列処理で行い、音声データの出力が終了した場合に、音声管理部１０９が管理する出力状態などの情報を変更する。
【００６８】
続いて、操作入力部１０１は、ユーザから音声取得終了の要求を受け付ける（ステップＳ１４ａ）。音声取得終了の要求がなければ（ステップＳ１４ａでＮｏ）、音声送受信部１０３は、ステップＳ２２へ戻って音声データの取得を継続する。あるいは、音声送受信部１０３は、音声取得開始から一定時間経過すると自動的に音声取得を終了するようにしてもよい。音声取得終了の要求があれば（ステップＳ１４ａでＹｅｓ）、音声送受信部１０３は、ステップＳ１２ａへ戻って、ユーザからの音声取得開始の要求を受け付ける。
【００６９】
次に、音声データの配置方法について、図１０Ａ〜１０Ｄを用いて説明する。音声配置部１０６は、リスナーであるユーザ４０１を中心とした三次元音像空間に音声データを配置する。しかし、左右方向に音声データを配置した場合に比べて、上下方向や前後方向は明確に認識しにくい。これは音源の移動、顔の動きによる音の変化、壁などに反射した音の変化、視覚の補助などによって、音源の位置を把握するためで、認識の程度は個人差が大きいことが知られている。そこで、高さ方向が一定の左右及び前方を含む領域４０２に音声データを優先的に配置するものとする。なお、後方又は上下方向からの音を認識できるとみなして、音声配置部１０６は、音声データを後方又は上下方向を含む領域に配置してもよい。
【００７０】
まず、音声解析部１０５は、音声データを解析し、音声データの基本周波数を算出する。基本周波数は、音声データをフーリエ変換した周波数スペクトルから、ピークとなる最も低い周波数として求めることができる。音声データの基本周波数は状況や発話内容によって変化するが、一般的に男性の場合は１５０Ｈｚ前後、女性の場合は２５０Ｈｚ前後といわれており、例えば最初の１秒間の基本周波数の平均を用いて、代表の値を算出することが可能である。
【００７１】
第１の音声データ４０３を新たに配置する際に、他に出力中の音声データがなければ、音声配置部１０６は、第１の音声データ４０３をユーザ４０１の前方に配置する（図１０Ａ参照）。このとき、第１の音声データ４０３の配置位置は、方位角「０度」、仰俯角「０度」である。
【００７２】
第１の音声データ４０３に加えて、第２の音声データ４０４をさらに配置する場合、第２の音声データ４０４をユーザの右側に配置し、前方側に配置した第１の音声データ４０３を左方向に段階的に移動させる（図１０Ｂ参照）。第１の音声データ４０３を移動しなくとも、第１の音声データ４０３と第２の音声データ４０４の聞き分けは容易であると考えられるが、左右に分かれていたほうがさらに聞き分けやすいからである。このとき、第１の音声データ４０３の配置位置は、方位角「−９０度」、仰俯角「０度」である。第２の音声データ４０４の配置位置は、方位角「９０度」、仰俯角「０度」である。なお、説明を簡易にするために、全ての音声データの相対距離を同一とする。
【００７３】
次に、第１の音声データ４０３、及び第２の音声データ４０４に加えて、さらに第３の音声データ４０５を配置する場合の配置位置を考える。その際に考えられる配置位置の候補は、（Ａ）左側に配置した第１の音声データ４０３よりもさらに左側の位置、（Ｂ）左側に配置した第１の音声データ４０３と右側に配置した第２の音声データ４０４との間の位置、（Ｃ）右側に配置した第２の音声データ４０４よりもさらに右側の位置、の３通りとなる。
【００７４】
例えば第１の音声データ４０３、第２の音声データ４０４、第３の音声データ４０５の基本周波数がそれぞれ、１５０Ｈｚ、２５０Ｈｚ、２２０Ｈｚであったとする。ここで、音声配置部１０６は、新たに配置する第３の音声データ４０５と、近接する配置済みの第１の音声データ４０３及び第２の音声データ４０４との基本周波数の差分を求める。（Ａ）の場合は、第３の音声データ４０５と第１の音声データ４０３との比較になり、基本周波数の差分は７０Ｈｚである。（Ｂ）の場合は、第３の音声データ４０５と第１の音声データ４０３との比較、及び第３の音声データ４０５と第２の音声データ４０４との比較になり、基本周波数の差分は、それぞれ７０Ｈｚと３０Ｈｚである。（Ｃ）の場合は、第３の音声データ４０５と第２の音声データ４０４との比較となり、基本周波数の差分は３０Ｈｚである。２つの音声データの間に配置する場合は、２つの差分の値が得られるが、小さいほうの値を採用する。すなわち、基本周波数の差分は、（Ａ）は７０Ｈｚ、（Ｂ）は３０Ｈｚ、（Ｃ）は３０Ｈｚとなる。最も大きい基本周波数の差分は（Ａ）の７０Ｈｚである。
【００７５】
このように、新たに配置する第３の音声データ４０５の基本周波数を、近接する音声データの基本周波数と比較して、基本周波数の差分が最も大きくなるように、音声データの配置位置を決定する。よってこの場合は、（Ａ）左側に配置した第１の音声データ４０３よりもさらに左側の位置となる。配置位置の決定に伴い、第１の音声データ４０３は、中間位置である前方へ移動させる。その際には段階的に移動させてもよい（図１０Ｃ参照）。
【００７６】
ここで、音声データを段階的に移動させるとは、音声データの位置を補間するように移動させることであり、例えば、音声データをｎ秒間でθだけ移動させる場合に、１秒毎にθ／ｎだけ移動させるようなことをいう（図１０Ｄ参照）。第１の音声データ４０３の位置が方位角−９０度から０度へ３秒間で移動する例では、θが９０度であり、ｎが３秒である。音声データを段階的に移動させることにより、音声データを発生する音源が実際に移動しているように、ユーザ４０１に錯覚させることができる。また、音声データが急激に移動することによるユーザ４０１の混乱を防止できる。
【００７７】
なお、基本周波数の差分の大きい位置が複数ある場合は、そのうちの最も右側に配置するというように、予めルールを決めておけばよい。また、配置後に音声データの位置が均等になるように、それぞれの音源を段階的に移動させると、さらに聞き分けやすくなる。
【００７８】
第１〜３の音声データ４０３〜４０５に加えて、第４の音声データ（図示せず）をさらに配置する場合も同様に、近接する音声データとの基本周波数の差分を求め、差分の最も大きい位置に、第４の音声データを配置する。なお、配置する音声データの基本周波数が同一となっている場合には、音声管理部１０９が音声データを周波数変換して、基本周波数を変更してもよい。また、音声データを周波数変換することで、音声データの発信者のプライバシーの保護を図ることもできる。
【００７９】
一方、いずれかの音声データの出力が終了したときには、出力中の音声データが等間隔になるように段階的に移動することが望ましい。その際、終了した音声データの両端の位置に配置した音声データの基本周波数の差が小さくなることが考えられる。この場合、例えば左側に配置されている音声データを同じ方法によって再配置するというように、予め決めておいてもよい。なお、再配置する音声データを決定する方法として、追加した順番が先のもの、後のもの、あるいは音声データを出力する残り時間の長いもの、短いものを優先するといった方法で決定することができる。音声データの再配置は、予め定めた閾値よりも配置位置の距離の間隔が近い場合に実行するとしてもよい。あるいは、配置位置の距離の最大値と最小値とを比較した比率または差分が予め定めた閾値よりも大きい場合に実行してもよい。
【００８０】
ここでは、聴覚の特性を考慮して、左右及び前方の一定距離の領域に音声データを配置する場合を示したが、音声配置部１０６が、音声データに残響や減衰の効果を付加することによって、前後や上下の認識を高めることができる場合がある。その場合、音声データを三次元音像空間の球面に配置してもよい。
【００８１】
音声データを三次元音像空間の球面に配置する場合、それぞれの音声データが他の音声データの中から最も配置位置が近いものを算出し、最も配置位置が近い音声データから離れる方向に段階的に移動する処理を、個々の音声データについて実行することを繰り返すことで、球面上に配置することができる。なお、この際、距離が最も近い音声データとの基本周波数の差が小さい場合は移動量を大きくし、基本周波数の差が大きい場合は移動量を小さくしてもよい。
【００８２】
また、聴覚ディスプレイ装置１００の向きを操作入力部１０１から取得し、聴覚ディスプレイ装置１００の向きに合わせて、音声データの配置を変更してもよい。すなわち、任意の音声データの方向に聴覚ディスプレイ装置１００を向けると、その音声データが前方に配置されるように音声データを再配置したり、その音声データの距離を相対的に近づけて配置されるように距離を変更したりしてもよい。なお、聴覚ディスプレイ装置１００の向きは、カメラや電子コンパスといった各種センサー等から得てもよい。
【００８３】
以上のように、本発明の第１の実施形態に係る聴覚ディスプレイ装置１００によれば、複数の音声データを配置する際に、隣接する音声データとの違いが大きくなるように配置することが可能となり、所望の音声データの聞き分けを容易にすることができる。
【００８４】
（第２の実施形態）
第２の実施形態は、第１の実施形態と比較して、聴覚ディスプレイ装置１００ａから音声配置処理部に関する構成を取り除き、音声配置処理部を音声保持装置２０３ａに持たせた構成である。図１１Ａは、本発明の第２の実施形態に係る音声保持装置２０３ａの構成例を示すブロック図である。以下、図１と同一の構成要素には、同一の参照符号を付して重複箇所の説明を省略する。聴覚ディスプレイ装置１００ａは、図１の構成から音声管理部１０９、音声解析部１０５、音声配置部１０６、及び音声混合部１０７を除いた構成である。聴覚ディスプレイ装置１００ａは、音声送受信部１０３が音声保持装置２０３ａから受信した音声データを、音声出力部１０８を用いて、音声出力装置２０２から出力する。
【００８５】
音声保持装置２０３ａは、図１における音声管理部１０９、音声解析部１０５、音声配置部１０６、音声混合部１０７に加えて、さらに第２音声送受信部５０１を備える。音声管理部１０９、音声解析部１０５、音声配置部１０６、音声混合部１０７、及び第２音声送受信部５０１は、音声配置処理部２００ａを構成する。音声配置処理部２００ａは、聴覚ディスプレイ装置１００ａから受信した音声データの配置位置を決定し、他の装置１１０ｂから受信した音声データと混合し、聴覚ディスプレイ装置１００ａに混合した音声データを送信する。なお、他の装置１１０ｂは、複数あってもよい。第２音声送受信部５０１は、聴覚ディスプレイ装置１００ａなどと、音声データを送受信する。音声配置処理部２００ａにおける音声データの配置位置の決定方法及び混合方法は、第１の実施形態と同様である。
【００８６】
なお、音声送受信部１０３が聴覚ディスプレイ装置１００ａを特定する識別子を送信し、第２音声送受信部５０１が識別子を受け取って、音声管理部１０９が識別子と音声データの配置位置とを関連付けて管理してもよい。これにより、音声配置処理部２００ａは、音声データが一時的に途切れた場合でも、同一の識別子と関連付けられた音声データを同一話者からの音声データとみなして、同じ位置に配置することが可能となる。
【００８７】
また、第２の実施形態に係る音声保持装置２０３ｂが備える音声配置処理部２００ｂは、図１１Ｂに示すように、音声データを保持可能な記憶部５０２をさらに備えてもよい。記憶部５０２は、例えば、図４Ａや図４Ｂに示すような情報を保持することができる。音声配置処理部２００ｂは、聴覚ディスプレイ装置１００ａから受信した音声データの配置位置を決定し、記憶部５０２から取得した音声データと混合する。あるいは、音声配置処理部２００ｂは、記憶部５０２から複数の音声データを取得し、当該取得した複数の音声データの配置位置を決定した上で混合してもよい。音声配置処理部２００ｂは、混合した音声データを聴覚ディスプレイ装置１００ａに送信する。なお、第２音声送受信部５０１は、聴覚ディスプレイ装置１００ａ、及び記憶部５０２以外の、他の装置１１０ｂから音声データを受信することも可能である。
【００８８】
以上のように、本発明の第２の実施形態において、音声保持装置２０３ａ，ｂが備える音声配置処理部２００ａ，ｂは、複数の音声データを立体的に配置する際に、隣接する音声データの違いが大きくなるようにすることが可能となり、所望の音声データの聞き分けを容易にすることができる。
【００８９】
（第３の実施形態）
図１２Ａは、本発明の第３の実施形態に係る聴覚ディスプレイ装置１００ｂの構成例を示すブロック図である。以下、図１と同一の構成要素には同一の参照符号を付して重複箇所の説明を省略する。本発明の第３の実施形態は、図１と比較して、音声入力装置２０１及び音声入力部１０２を備えない構成となる。また、聴覚ディスプレイ装置１００ｂは、音声送受信部１０３の代わりに、音声取得部６０１を備える。音声取得部６０１は、音声保持装置２０３から音声データを取得する。なお、図１２Ｂに示すように、聴覚ディスプレイ装置１００ｂは、複数の音声保持装置２０３、２０４が接続され、複数の音声保持装置２０３，２０４から複数の音声データを取得するものであってもよい。
【００９０】
ここで、音声取得部６０１、音声解析部１０５、音声配置部１０６、音声混合部１０７、音声出力部１０８、及び音声管理部１０９は、音声配置処理部２００ｂを構成する。すなわち、第３の実施形態に係る聴覚ディスプレイ装置１００ｂは、音声データを送信する機能を有さず、受信した音声データを立体的に配置する機能を有する。このように機能を限定することによって、複数の音声データを提示する一方向の音声コミュニケーションが可能となり、構成を簡素化することができる。
【００９１】
（第４の実施形態）
図１３は、本発明の第４の実施形態に係る聴覚ディスプレイ装置１００ｃの構成を示す図である。以下、図１と同一の構成要素には同一の参照符号を付して重複箇所の説明を省略する。本発明の第４の実施形態に係る聴覚ディスプレイ装置１００ｃは、図１と比較して、音声認識部７０１をさらに備え、音声解析部１０５の代わりに、音声合成部７０２を備える構成となる。ここで、音声認識部７０１、音声送受信部１０３、音声合成部７０２、音声配置部１０６、音声混合部１０７、音声出力部１０８、及び音声管理部１０９は、音声配置処理部２００ｃを構成する。
【００９２】
音声認識部７０１は、音声入力部１０２から音声データを受け取り、当該受け取った音声データの波形に基づいて発話を文字コードに変換する。また、音声認識部７０１は、音声データを解析し、音声データの基本周波数を算出する。音声送受信部１０３は、音声認識部７０１から音声データの文字コード及び基本周波数を受信し、音声保持装置２０３に出力する。音声保持装置２０３は、音声データの文字コード及び基本周波数を保持する。また、音声送受信部１０３は、音声保持装置２０３から音声データの文字コード及び基本周波数を受信する。
【００９３】
音声合成部７０２は、基本周波数に基づいて、文字コードから音声データを合成する。音声配置部１０６は、音声データの基本周波数の差異が最も大きくなるように、音声データの配置位置を決定する。このように音声認識及び音声合成を用いることによって、音声データを文字コードとして扱い、同時に音声データとして聴取する構成とすることができる。また、音声データを文字コードとして扱うことにより、扱うデータ量を大幅に削減することができる。
【００９４】
なお、音声配置部１０６は、音声データを解析して得られた基本周波数を用いずに、最適な基本周波数を新たに算出してもよい。例えば、音声配置部１０６は、人間の可聴範囲内で、近接する音声データ間の差分が大きくなるように、音声データの基本周波数を算出してもよい。この場合、音声合成部７０２は、音声配置部１０６が新たに算出した基本周波数に基づいて、文字コードから音声データを合成する。
【００９５】
また、本発明の各実施の形態において開示された聴覚ディスプレイ装置が備える各機能ブロックが実行するそれぞれの処理手順は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現されてもよい。この場合、プログラムデータは、記憶媒体を介して記憶装置内に導入されてもよいし、記憶媒体上から直接実行されてもよい。なお、記憶媒体は、ＲＯＭやＲＡＭやフラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤ等の光ディスクメモリ、及びメモリカード等をいう。また、記憶媒体は、電話回線や搬送路等の通信媒体を含む概念である。
【００９６】
また、本発明の各実施の形態において開示された聴覚ディスプレイ装置が備える各機能ブロックは、集積回路であるＬＳＩにより実現されてもよい。例えば、聴覚ディスプレイ装置１００において、音声送受信部１０３、音声解析部１０５、音声配置部１０６、音声混合部１０７、音声出力部１０８、及び音声管理部１０９は、集積回路により構成されてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。このＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００９７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサが利用されてもよい。あるいは、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサが利用されてもよい。また、プロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭに格納された制御プログラムを実行する構成が用いられてもよい。
【００９８】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術等が適応され得る。
【産業上の利用可能性】
【００９９】
本発明に係る聴覚ディスプレイ装置は、複数ユーザによる音声コミュニケーションを図るモバイル端末等に有用である。また、携帯電話、パーソナルコンピュータ、音楽プレーヤー、カーナビゲーションシステム、テレビ会議システム等にも適用可能である。
【符号の説明】
【０１００】
１００、１００ａ、１００ｂ、１００ｃ  聴覚ディスプレイ装置
１０１  操作入力部
１０２  音声入力部
１０３  音声送受信部
１０４  設定保持部
１０５  音声解析部
１０６  音声配置部
１０７  音声混合部
１０８  音声出力部
１０９  音声管理部
１１０ｂ  他の装置
２００、２００ａ、２００ｂ  音声配置処理部
２０１  音声入力装置
２０２  音声出力装置
２０３、２０４、２０３ａ、２０３ｂ  音声保持装置
４０１  ユーザ（リスナー）
４０２  音声の配置領域
４０３  第１の音声データ
４０４  ２の音声データ
４０５  第３の音声データ
５０１  第２音声送受信部
５０２  記憶部
６０１  音声取得部
７０１  音声認識部
７０２  音声合成部
【図１】
2011250311.tif 000003
【図２Ａ】
2011250311.tif 000004
【図２Ｂ】
2011250311.tif 000005
【図２Ｃ】
2011250311.tif 000006
【図２Ｄ】
2011250311.tif 000007
【図２Ｅ】
2011250311.tif 000008
【図３Ａ】
2011250311.tif 000009
【図３Ｂ】
2011250311.tif 000010
【図３Ｃ】
2011250311.tif 000011
【図４Ａ】
2011250311.tif 000012
【図４Ｂ】
2011250311.tif 000013
【図５】
2011250311.tif 000014
【図６】
2011250311.tif 000015
【図７】
2011250311.tif 000016
【図８】
2011250311.tif 000017
【図９】
2011250311.tif 000018
【図１０Ａ】
2011250311.tif 000019
【図１０Ｂ】
2011250311.tif 000020
【図１０Ｃ】
2011250311.tif 000021
【図１０Ｄ】
2011250311.tif 000022
【図１１Ａ】
2011250311.tif 000023
【図１１Ｂ】
2011250311.tif 000024
【図１２Ａ】
2011250311.tif 000025
【図１２Ｂ】
2011250311.tif 000026
【図１３】
2011250311.tif 000027