(57)【要約】      （修正有）【課題】簡易な構成で３６０°空間音声の録音を行うことができる情報取得システムを提供する。【解決手段】情報取得システム１は、同一平面上の異なる位置に設けられ、複数の音源の各々から発せられた音声を収音して音声データを生成する第１収音部２０、第２収音部２１及び表示部２３を備えた情報取得機器と、本体部１０４の長手方向の両端近傍の一方に配置され、複数の音源の各々から発せられた音声を収音して音声データを生成する第３収音部１０２及び第４収音部１０３と、を有し第１収音部２０及び第２収音部２１の各々を通る直線と本体部１０４の長手方向とが平行をなす平行状態または直交する直交状態で、情報取得機器に対して装着自在な外部マイク１００と、を備える。【選択図】図３
2019054440.tif 000002
【特許請求の範囲】
【請求項１】
同一平面上の異なる位置に設けられ、複数の音源の各々から発せられた音声を収音して音声データを生成する複数の収音部を備えた情報取得機器と、
略直方体をなす本体部と、少なくとも前記本体部の長手方向の両端近傍の一方に配置され、複数の音源の各々から発せられた音声を収音して音声データを生成する収音部と、を有し、前記複数の収音部の各々を通る直線と前記本体部の長手方向とが平行をなす平行状態または直交する直交状態で前記情報取得機器に対して装着自在な外部マイクと、
を備えることを特徴とする情報取得システム。
【請求項２】
前記情報取得機器に対して前記外部マイクを前記直交状態で固定する固定部をさらに備えることを特徴とする請求項１に記載の情報取得システム。
【請求項３】
前記直交状態を検出する直交検出部をさらに備えることを特徴とする請求項１または２に記載の情報取得システム。
【請求項４】
前記情報取得機器は、前記直交検出部の検出結果に基づいて、当該情報取得機器の録音方法を切り替える機器制御部をさらに備えることを特徴とする請求項４または５に記載の情報取得システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部から入力される音声を元に音声データを生成する情報取得システムに関する。
【背景技術】
【０００２】
従来、ＩＣレコーダ等の録音装置において、ステレオ録音とモノラル録音とを切り替えることができる技術が知られている（特許文献１参照）。この技術では、録音装置の姿勢を検出し、この検出結果に基づいて、ステレオ録音とモノラル録音とを切り替える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−９８６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、ＶＲ（Virtual  Reality）等においては、再生時の臨場感を高めるため、撮影時や録音時に３６０°空間音声を録音することができる専用マイクロホンを用いて行っている。しかしながら、上述した従来の録音装置では、３６０°空間音声を録音する場合、その都度、専用マイクロホンを用意しなければならず、汎用性に欠けるという問題点があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、簡易な構成で３６０°空間音声の録音を行うことができる情報取得システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る情報取得システムは、同一平面上の異なる位置に設けられ、複数の音源の各々から発せられた音声を収音して音声データを生成する複数の収音部を備えた情報取得機器と、略直方体をなす本体部と、少なくとも前記本体部の長手方向の両端近傍の一方に配置され、複数の音源の各々から発せられた音声を収音して音声データを生成する収音部と、を有し、前記複数の収音部の各々を通る直線と前記本体部の長手方向とが平行をなす平行状態または直交する直交状態で前記情報取得機器に対して装着自在な外部マイクと、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、簡易な構成で３６０°空間音声の録音を行うことができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の実施の形態１に係る情報取得システムの概略構成を示す模式図である。
【図２】図２は、本発明の実施の形態１に係る情報取得システムの概略構成を示す模式図である。
【図３】図３は、本発明の実施の形態１に係る情報取得システムの要部の一部を示す模式図である。
【図４】図４は、図３のＩＶ方向から見た情報取得機器の上面図である。
【図５】図５は、図３のＶ方向から見た外部マイクの下面図である。
【図６】図６は、本発明の実施の形態１に係る情報取得システムの要部の一部を示す模式図である。
【図７】図７は、図６のＶＩＩ方向から見た情報取得機器の上面図である。
【図８】図８は、図６のＶＩＩＩ方向から見た外部マイクの下面図である。
【図９】図９は、本発明の実施の形態１に係る情報取得機器の機能構成を示すブロック図である。
【図１０】図１０は、本発明の実施の形態１に係る情報取得機器が実行する処理の概要を示すフローチャートである。
【図１１】図１１は、図１０の外部マイク設定処理の概要を示すフローチャートである。
【図１２】図１２は、本発明の実施の形態１に係る情報取得機器の利用シーンを示す図である。
【図１３】図１３は、図１２の状況下を模式的に示す俯瞰図である。
【図１４】図１４は、本発明の実施の形態１に係る音源位置推定部が推定する音源の位置を模式的に示す図である。
【図１５】図１５は、本発明の実施の形態１に係る音源位置推定部が１つの音源に対して到達時間差を算出する算出状況を模式的に示す図である。
【図１６】図１６は、本発明の実施の形態１に係る音源位置推定部が算出する到達時間差を算出する算出方法の一例を模式的に示す図である。
【図１７】図１７は、同じ距離である２つの音源の到達時間を模式的に説明する図である。
【図１８】図１８は、図１７の状況下において音源位置推定部が１つの音源に対して到達時間差を算出する算出状況を模式的に示す図である。
【図１９】図１９は、図１０の各音源位置表示決定処理の概要を示すフローチャートである。
【図２０】図２０は、図１９のアイコン決定生成処理の概要を示すフローチャートである。
【図２１】図２１は、本発明の実施の形態１に係る音源情報生成部が生成するアイコンの一例を模式的に示す図である。
【図２２】図２２は、本発明の実施の形態１に係る音源情報生成部が生成するアイコンの別の一例を模式的に示す図である。
【図２３】図２３は、本発明の実施の形態１に係る音源情報生成部が生成するアイコンの別の一例を模式的に示す図である。
【図２４】図２４は、本発明の実施の形態１に係る表示制御部が表示する音源位置情報の一例を模式的に示す図である。
【図２５】図２５は、本発明の実施の形態１に係る音声ファイル生成部が生成する音声ファイルの一例を模式的に示す図である。
【図２６】図２６は、本発明の実施の形態２に係る情報取得システムの要部の一部を示す模式図である。
【図２７】図２７は、図２６のＸＸＶＩＩ方向から見た情報取得機器の上面図である。
【図２８】図２８は、図２６のＸＸＶＩＩＩ方向から見た外部マイクの下面図である。
【図２９】図２９は、本発明の実施の形態２に係る情報取得システムの要部の一部を示す模式図である。
【図３０】図３０は、図２９のＸＸＸ方向から見た情報取得機器の上面図である。
【図３１】図３１は、図２９のＸＸＸＩ方向から見た外部マイクの下面図である。
【図３２】図３２は、本発明の実施の形態２に係る外部マイクを情報取得機器に対して平行状態で取り付けた状態を示す模式図である。
【図３３】図３３は、本発明の実施の形態２に係る外部マイクを情報取得機器に対して直交状態で取り付けた状態を示す模式図である。
【図３４】図３４は、本発明の実施の形態２に係る情報取得機器の機能構成を示すブロック図である。
【図３５】図３５は、本発明の実施の形態２に係る情報取得機器が実行する外部マイク設定処理の概要を示すフローチャートである。
【図３６】図３６は、本発明の実施の形態３に係る情報取得システムの要部の一部を示す模式図である。
【図３７】図３７は、図３６のＸＸＸＶＩＩ方向から見た情報取得機器の上面図である。
【図３８】図３８は、図３６のＸＸＸＶＩＩＩ方向から見た外部マイクの下面図である。
【図３９】図３９は、本発明の実施の形態３に係る情報取得システムの要部の一部を示す模式図である。
【図４０】図４０は、図３９のＸＸＸＸ方向から見た情報取得機器の上面図である。
【図４１】図４１は、図３９のＸＸＸＸＩ方向から見た外部マイクの下面図である。
【図４２】図４２は、本発明の実施の形態３に係る外部マイクを情報取得機器に対して平行状態で取り付けた状態を示す模式図である。
【図４３】図４３は、本発明の実施の形態３に係る外部マイクを情報取得機器に対して直交状態で取り付けた状態を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本発明は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、以下の説明では、操作端末の例として監視システムに用いられる操作端末を説明する。
【００１０】
（実施の形態１）
〔情報取得システムの構成〕
図１および図２は、本発明の実施の形態１に係る情報取得システムの概略構成を示す模式図である。
【００１１】
図１および図２に示す情報取得システム１は、例えばマイク等で音声を入力して音声データを記録するＩＣレコーダやマイク等で音声を入力して音声データを記録する携帯電話等の録音機器として機能する。情報取得システム１は、マイク等で音声を入力して音声データを記録するＩＣレコーダ等の情報取得機器２と、情報取得機器２に対して装着自在な外部マイク１００と、を備える。なお、以下においては、情報取得機器２が起立状態で載置される平面をＸＺ平面とし、このＸＺ平面と垂直な方向をＹ方向として説明する。
【００１２】
図３は、情報取得システム１の要部の一部を示す模式図である。図４は、図３のＩＶ方向から見た情報取得機器２の上面図である。図５は、図３のＶ方向から見た外部マイク１００の下面図である。図６は、情報取得システム１の要部の一部を示す模式図である。図７は、図６のＶＩＩ方向から見た情報取得機器２の上面図である。図８は、図６のＶＩＩＩ方向から見た外部マイク１００の下面図である。
【００１３】
〔情報取得機器の構成〕
まず、情報取得機器２の構成について説明する。図１および図２に示すように、情報取得機器２は、直方体をなす。また、情報取得機器２は、図１〜図８に示すように、少なくとも、第１収音部２０と、第２収音部２１と、外部入力検出部２２と、表示部２３と、入力部２５と、を備える。
【００１４】
第１収音部２０は、情報取得機器２における矩形状をなす上面の左側に設けられる。第１収音部２０は、複数の音源の各々から発せられた音声を収音して音声データを生成する。第１収音部２０は、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか１つのマイクロホン、Ａ／Ｄ変換回路および信号処理回路等を用いて構成される。
【００１５】
第２収音部２１は、第１収音部２０と異なる位置に設けられ、第１収音部２０と所定の距離だけ離れた情報取得機器２における矩形状をなす同一平面上の右側に設けられる。第２収音部２１は、複数の音源の各々から発せられた音声を収音して音声データを生成する。第２収音部２１は、第１収音部２０と同様の構成を有し、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか１つのマイクロホン、Ａ／Ｄ変換回路および信号処理回路等を用いて構成される。なお、本実施の形態１では、第１収音部２０および第２収音部２１が同一平面上の異なる位置であって、情報取得機器２の長手方向Ｗ１における両端近傍の位置に設けられることによって１対のステレオマイクを形成する。
【００１６】
外部入力検出部２２は、情報取得機器２の外部から挿入される外部マイク１００の挿入プラグ１０１が挿入される。
【００１７】
表示部２３は、情報取得機器２に関する各種情報を表示する。表示部２３は、有機ＥＬ（Electro  Luminescence）や液晶等を用いて構成される。
【００１８】
入力部２５は、情報取得機器２に関する各種情報の入力を受け付ける。入力部２５は、ボタン、スイッチ等を用いて構成される。
【００１９】
〔外部マイクの構成〕
次に、外部マイク１００の構成について説明する。
外部マイク１００は、挿入プラグ１０１と、第３収音部１０２と、第４収音部１０３と、本体部１０４と、を備える。
【００２０】
挿入プラグ１０１は、本体部１０４の下面に設けられ、情報取得機器２の外部入力検出部２２に着脱自在に挿入される。
【００２１】
第３収音部１０２は、外部マイク１００の長手方向Ｗ２における左側の側面に設けられる。第３収音部１０２は、複数の音源の各々から発せられた音声を収音して音声データを生成する。第３収音部１０２は、第１収音部２０と同様の構成を有し、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか１つのマイクロホンを用いて構成される。
【００２２】
第４収音部１０３は、外部マイク１００の長手方向Ｗ２における右側の側面に設けられる。第４収音部１０３は、複数の音源の各々から発せられた音声を収音して音声データを生成する。第４収音部１０３は、第１収音部２０と同様の構成を有し、単一指向性マイク、無指向性マイクおよび双指向性マイクのいずれか１つのマイクロホンを用いて構成される。
【００２３】
本体部１０４は、略直方体（四角錐）をなし、長手方向Ｗ２の側面に左右の第３収音部１０２および第４収音部１０３が設けられている。また、本体部１０４の下面には、外部マイク１００の挿入プラグ１０１が情報取得機器２に挿入された際に情報取得機器２に当接する当接部１０５が設けられている。
【００２４】
〔外部マイクの取付方法〕
次に、情報取得機器２に対する外部マイク１００の取付方法について説明する。
【００２５】
〔通常録音の取付方法〕
まず、外部マイク１００を用いて通常録音を行う場合の取付方法について説明する。図３〜図５に示すように、外部マイク１００は、第１収音部２０および第２収音部２１を結ぶ直線と外部マイク１００の長手方向とが略平行となる状態で情報取得機器２に挿入プラグ１０１が挿入される。具体的には、外部マイク１００は、第１収音部２０および第２収音部２１を結ぶ直線と第３収音部１０２および第４収音部１０３とを結ぶ直線とが略平行となる状態（以下、単に「平行状態」という）で情報取得機器２に挿入プラグ１０１が挿入される。
【００２６】
このように、ユーザは、外部マイク１００を用いて通常録音を行う場合、情報取得機器２に対して外部マイク１００を平行状態にして外部マイク１００の挿入プラグ１０１を情報取得機器２の外部入力検出部２２に挿入する。これにより、情報取得機器２は、外部マイク１００を用いた通常のステレオもしくはモノラル録音を行うことができる。外部マイク１００は、内蔵のマイク（第１収音部２０および第２収音部２１）と周波数特性が違う物、性能が良い物を選べたり、延長ケーブルで情報取得機器２から離れた位置に置いたり、襟に付けるなど内蔵マイクである第１収音部２０および第２収音部２１とは異なる用い方ができる。
【００２７】
〔３６０°空間音声録音の取付方法〕
次に、外部マイク１００を用いて３６０°空間音声録音を行う場合の取付方法について説明する。図６〜８に示すように、外部マイク１００は、第１収音部２０および第２収音部２１を結ぶ直線と外部マイク１００の長手方向とが略直交となる状態で情報取得機器２に挿入プラグ１０１が挿入される。具体的には、外部マイク１００は、第１収音部２０および第２収音部２１を結ぶ直線と第３収音部１０２および第４収音部１０３とを結ぶ直線とが略直交となる状態（以下、単に「直交状態」という）で情報取得機器２に挿入プラグ１０１が挿入される。
【００２８】
このように、ユーザは、外部マイク１００を用いて３６０°空間音声録音を行う場合、情報取得機器２に対して外部マイク１００を直交状態にして外部マイク１００の挿入プラグ１０１を情報取得機器２の外部入力検出部２２に挿入する。これにより、情報取得機器２は、簡易な構成で高い汎用性の外部マイク１００を用いて、３６０°空間音声の録音を行うことができる。
【００２９】
〔情報取得機器の機能構成〕
次に、上述した情報取得機器２の機能構成について説明する。図９は、情報取得機器２の機能構成を示すブロック図である。
【００３０】
図９に示すように、情報取得機器２は、第１収音部２０と、第２収音部２１と、外部入力検出部２２と、表示部２３と、時計２４と、入力部２５と、記録部２６と、通信部２７と、出力部２８と、機器制御部２９と、を備える。
【００３１】
第１収音部２０は、複数の音源の各々から発せられた音声を収音してアナログの音声信号（電気信号）に変換し、この音声信号に対してＡ／Ｄ変換処理やゲイン調整処理を行ってデジタルの音声データ（第１音声データ）を生成して機器制御部２９へ出力する。
【００３２】
第２収音部２１は、複数の音源の各々から発せられた音声を収音してアナログの音声信号（電気信号）に変換し、この音声信号に対してＡ／Ｄ変換処理やゲイン調整処理を行ってデジタルの音声データ（第２音声データ）を生成して機器制御部２９へ出力する。
【００３３】
外部入力検出部２２は、情報取得機器２の外部から挿入される外部マイク１００の挿入プラグ１０１が挿脱され、外部マイク１００の挿入プラグの挿入状態を検出し、この検出結果を機器制御部２９へ出力する。また、外部入力検出部２２は、外部マイク１００が複数の音源の各々から発せられた音声を収音して生成したアナログの音声信号（電気信号）の入力を受け付け、この入力を受け付けた音声信号に対してＡ／Ｄ変換処理やゲイン調整処理を行ってデジタルの音声データ（少なくとも第３音声データを含む）を生成して機器制御部２９へ出力する。また、外部入力検出部２２は、外部マイク１００の挿入プラグ１０１が挿入された場合、外部マイク１００が情報取得機器２に接続されたことを示す信号を機器制御部２９へ出力するとともに、外部マイク１００が生成した音声データを機器制御部２９へ出力する。外部入力検出部２２は、マイクロホンジャック、Ａ／Ｄ変換回路および信号処理回路等を用いて構成される。
【００３４】
表示部２３は、機器制御部２９の制御のもと、情報取得機器２に関する各種情報を表示する。
【００３５】
時計２４は、計時機能の他、第１収音部２０および第２収音部２１および外部マイク１００の各々において生成された音声データの日時に関する日時情報を生成し、この日時情報を機器制御部２９へ出力する。
【００３６】
入力部２５は、情報取得機器２に関する各種情報の入力を受け付ける。入力部２５は、ボタン、スイッチ等を用いて構成される。また、入力部２５は、表示部２３の表示領域に重畳して設けられ、外部からの物体の接触を検出し、この検出した位置に応じた操作信号の入力を受け付けるタッチパネル２５１を有する。
【００３７】
記録部２６は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成され、音声データを格納した音声ファイルおよび情報取得機器２が実行する各種プログラムを記録する。記録部２６は、情報取得機器２が実行する各種プログラムを記録するプログラム記録部２６１と、音声データを格納した音声ファイルを記録する音声ファイル記録部２６２と、を有する。なお、記録部２６は、外部から着脱できるメモリカード等の記録媒体であってもよい。
【００３８】
通信部２７は、所定の通信規格に従って、外部の情報処理装置に音声データが格納された音声ファイルを含むデータを送信するとともに、外部の情報処理装置から各種の情報やデータを受信する。
【００３９】
出力部２８は、機器制御部２９から入力されたデジタルの音声データに対してＤ／Ａ変換処理を行ってアナログの音声信号に変換して外部へ出力する。出力部２８は、スピーカ、Ｄ／Ａ変換回路等を用いて構成される。
【００４０】
機器制御部２９は、情報取得機器２を構成する各部を統括的に制御する。機器制御部２９は、ＣＰＵ（Central  Processing  Unit）やＦＰＧＡ（Field  Programmable  Gate  Array）等を用いて構成される。機器制御部２９は、外部入力検出部２２が外部マイク１００の挿入を検出した場合、情報取得機器２の録音方法を外部マイク１００に応じた録音方法に切り替える。具体的には、機器制御部２９は、外部入力検出部２２が外部マイク１００の挿入を検出した場合において、入力部２５から通常録音を行う指示信号が入力されたとき、外部マイク１００による通常録音（第３収音部１０２および第４収音部１０３を用いたステレオ録音）に情報取得機器２の録音方法を切り替える一方、外部入力検出部２２が外部マイク１００の挿入を検出した場合において、入力部２５から３６０°空間音声録音を行う指示信号が入力されたとき、第１収音部２０、第２収音部２１および外部マイク１００（第３収音部１０２および第４収音部１０３）を用いた３６０°空間音声録音に情報取得機器２の録音方法を切り替える。機器制御部２９は、信号処理部２９１と、テキスト化部２９２と、テキスト化制御部２９３と、音声判定部２９４と、音源位置推定部２９５と、表示位置判定部２９６と、声紋判定部２９７と、音源情報生成部２９８と、音声特定部２９９と、移動判定部３００と、インデックス付加部３０１と、音声ファイル生成部３０２と、表示制御部３０３と、を有する。
【００４１】
信号処理部２９１は、第１収音部２０および第２収音部２１が生成した音声データの音声レベルの調整処理、ノイズ低減処理およびゲイン調整処理等を行う。
【００４２】
テキスト化部２９２は、音声データに対して音声認識処理を行うことによって複数の文字で構成された音声テキストデータを生成する。なお、音声認識処理の詳細については後述する。
【００４３】
テキスト化制御部２９３は、入力部２５からテキスト化部２９２に音声テキストデータを生成させる指示信号の入力を受け付けた場合、この指示信号の入力を受け付けた時点から所定時間だけテキスト化部２９２に音声テキストデータを生成させる。
【００４４】
音声判定部２９４は、信号処理部２９１が自動レベル調整を順次行った音声データに無音期間が含まれているか否かを判定する。具体的には、音声判定部２９４は、音声データの音声レベルが所定の閾値未満であるか否かを判定し、所定の閾値未満である期間を無音期間であると判定する。
【００４５】
音源位置推定部２９５は、第１収音部２０および第２収音部２１の各々が生成した音声データに基づいて、複数の音源の位置を推定する。具体的には、第１収音部２０および第２収音部２１の各々が生成した音声データに基づいて、複数の音源の各々から発された音声信号が第１収音部２０および第２収音部２１の各々に到達する到達時間の差を算出し、この算出結果に基づいて、情報取得機器２を中心と見たときの複数の音源の各々の位置を推定する。
【００４６】
表示位置判定部２９６は、表示部２３の表示領域の形状と音源位置推定部２９５が推定した推定結果とに基づいて、表示部２３の表示領域における複数の音源の各々の表示位置を判定する。具体的には、表示位置判定部２９６は、表示部２３の表示領域の中心を情報取得機器２とした際における複数の音源の各々の表示位置を判定する。例えば、表示位置判定部２９６は、表示部２３の表示領域を４つの象限に分割し、かつ表示部２３の表示領域の中心に情報取得機器２を載置した際の複数の音源の各々の表示位置を判定する。
【００４７】
声紋判定部２９７は、音声データに基づいて、複数の音源の各々の声紋を判定する。具体的には、声紋判定部２９７は、音声データに含まれる複数の音源の各々の声紋（話者）を判定する。例えば、声紋判定部２９７は、情報取得機器２を用いて会議の録音を行う前に、会議に参加する話者が発した音声に基づく特徴を登録した話者識別テンプレートに基づいて、音声データに含まれる複数の音源の各々から声紋（話者）を判定する。また、声紋判定部２９７は、音声データに基づいて、話者が発した音声に基づく特徴以外にも、周波数の大きさ、強度、声の高さ、音量およびヒストグラム等を判定する。もちろん、声紋判定部２９７は、音声データに基づいて、性別を判定してもよい。
【００４８】
音源情報生成部２９８は、声紋判定部２９７が判定した判定結果に基づいて、複数の音源の各々に関する複数の音源情報を生成する。具体的には、音源情報生成部２９８は、声紋判定部２９７が判定した話者が発した話者毎に音声情報を生成する。例えば、音源情報生成部２９８は、話者が発した声の高さに基づいて、話者を模式的に示すアイコンを音声情報として生成する。なお、音源情報生成部２９８は、声紋判定部２９７が判定した性別に基づいて音声情報の種別、例えば女性アイコン、男性アイコン、犬や猫等のアイコンを変更して生成してもよい。
【００４９】
音声特定部２９９は、声紋判定部２９７が判定した複数の声紋の各々が音声データ上に出現する出現位置（出現時間）を特定する。
【００５０】
移動判定部３００は、音源位置推定部２９５が推定した推定結果と声紋判定部２９７が判定した判定結果とに基づいて、複数の音源の各々が移動しているか否かを判定する。
【００５１】
インデックス付加部３０１は、音声データに対して、音声判定部２９４によって判定された無音期間に、他の期間と区別するためのインデックスを無音期間の最初および最後の少なくとも一方に付加する。
【００５２】
音声ファイル生成部３０２は、信号処理部２９１が信号処理を行った音声データと、音源位置推定部２９５が推定した音源位置情報と、音源情報生成部２９８が生成した複数の音源情報と、音声特定部２９９が特定した出現位置、インデックス付加部３０１が付加したインデックスの位置に関する位置情報またはインデックスが付加された音声データ上における時間に関する時間情報と、テキスト化部２９２が生成した音声テキストデータと、日付と、外部マイク１００の状態を示す外部マイク状態情報と、を対応付けた音声ファイルを生成して音声ファイル記録部２６２に記録する。また、音声ファイル生成部３０２は、信号処理部２９１が信号処理を行った音声データと、入力部２５が指示信号の入力を受け付けた時点から所定時間だけテキスト化部２９２に音声テキストデータを生成させる候補タイミングとする候補タイミング情報と、を対応付けた音声ファイルを生成して記録媒体として機能する音声ファイル記録部２６２に記録してもよい。
【００５３】
表示制御部３０３は、表示部２３の表示態様を制御する。具体的には、表示制御部３０３は、情報取得機器２に関する各種情報を表示部２３に表示させる。例えば、表示部２３は、信号処理部２９１が調整を行った音声データの音声レベルを表示部２３に表示させる。また、表示制御部３０３は、音源位置推定部２９５が推定した推定結果に基づいて、複数の音源の各々の位置に関する音源位置情報を表示部２３に表示させる。具体的には、表示制御部３０３は、表示位置判定部２９６が判定した判定結果に基づいて、音源位置情報を表示部２３に表示させる。より具体的には、表示制御部３０３は、音源位置情報として音源情報生成部２９８が生成した複数の音源情報を表示部２３に表示させる。
【００５４】
〔情報取得機器の処理〕
次に、情報取得機器２が実行する処理について説明する。図１０は、情報取得機器２が実行する処理の概要を示すフローチャートである。
【００５５】
まず、図１０に示すように、情報取得機器２は、外部マイク１００を設定する外部マイク設定処理を実行する（ステップＳ１００）。
【００５６】
〔外部マイク設定処理〕
図１１は、図１０のステップＳ１００の外部マイク設定処理の概要を示すフローチャートである。
【００５７】
図１１に示すように、まず、外部入力検出部２２が外部マイク１００ａを検出した場合（ステップＳ１１：Ｙｅｓ）、情報取得機器２は、後述するステップＳ１２へ移行する。これに対して、外部入力検出部２２が外部マイク１００ａを検出していない場合（ステップＳ１１：Ｎｏ）、情報取得機器２は、後述するステップＳ１７へ移行する。
【００５８】
ステップＳ１２において、入力部２５から入力された指示信号が情報取得機器２に対して外部マイク１００が直交状態である場合（ステップＳ１２：Ｙｅｓ）、音声ファイル生成部３０２は、入力部２５から入力された指示信号に応じて、録音チャンネル数を設定する（ステップＳ１３）。例えば、音声ファイル生成部３０２は、入力部２５から入力された指示信号に応じて、音声データを格納する音声ファイルにおける録音チャンネルに関する項目を４チャンネルに設定する。
【００５９】
続いて、音声ファイル生成部３０２は、入力部２５から入力された指示信号に応じて、外部マイク１００の型式を設定するとともに（ステップＳ１４）。具体的には、音声ファイル生成部３０２は、音声ファイルにおける外部マイク１００の形式に関する項目を入力部２５から入力された指示信号に応じた型式に設定するとともに、外部マイク１００の配置情報に関する項目を直交状況（直交配置）または平行状態（平行配置）と、を設定する。この場合、ユーザは、さらに、入力部２５を介して外部マイク１００に設けられた第３収音部１０２および第４収音部１０３の位置関係に関する位置関係情報を、型式と、配置情報とを対応付けて設定する。ここで、位置関係情報とは、挿入プラグ１０１を中心に見たときの第３収音部１０２および第４収音部１０３の各々の位置関係（ＸＹＺ座標）を示す情報である。もちろん、位置関係情報に、第３収音部１０２および第４収音部１０３の各々の指向性および挿入プラグ１０１を通る鉛直方向を基準としたときの第３収音部１０２および第４収音部１０３の各々の角度を含めてもよい。さらに、音声ファイル生成部３０２は、例えば外部マイク１００を識別する識別情報に基づいて、情報取得機器２の記録部２６に記録された情報から位置関係情報を取得するようにしてもよいし、通信部２７を介してサーバ等から位置関係情報を取得してもよいし、ユーザが入力部２５を介して通信部２７にネットワーク通信を実行させることによって他の機器やサーバ等から情報取得機器２が位置関係情報を取得するようしてもよい。もちろん、外部マイク１００の表面に第３収音部１０２および第４収音部１０３の位置関係情報を設けてもよい。
【００６０】
その後、音声ファイル生成部３０２は、第１収音部２０、第２収音部２１、第３収音部１０２および第４収音部１０３で録音する４チャンネル録音を音声ファイルに設定する（ステップＳ１６）。なお、本実施の形態１では、外部マイク１００が第３収音部１０２および第４収音部１０３を備えるため、４チャンネル録音としているが、外部マイク１００が第３収音部１０２および第４収音部１０３のどちらか一方の場合、音声ファイル生成部３０２は、３チャンネル録音を音声ファイルに設定する。ステップＳ１５の後、情報取得機器２は、図１０のメインルーチンへ戻る。
【００６１】
ステップＳ１２において、入力部２５から入力された指示信号が情報取得機器２に対して外部マイク１００が直交状態でない場合（平行状態な場合）（ステップＳ１３：Ｙｅｓ）、音声ファイル生成部３０２は、第１収音部２０および第２収音部２１で録音する１／２チャンネル録音を音声ファイルに設定する（ステップＳ１７）。ステップＳ１６の後、情報取得機器２は、図１０のメインルーチンへ戻る。
【００６２】
図１０に戻り、ステップＳ１０１以降について説明する。
ステップＳ１０１において、入力部２５が操作されることによって入力部２５から録音を指示する指示信号が入力された場合（ステップＳ１０１：Ｙｅｓ）、機器制御部２９は、第１収音部２０および第２収音部２１を駆動させて音声の入力に応じて音声データを音声ファイルに順次格納して記録部２６に記録させる録音を開始する（ステップＳ１０２）。図１２は、情報取得機器２の利用シーンを示す図である。図１３は、図１２の状況下を模式的に示す俯瞰図である。図１２および図１３に示すように、ユーザは、情報取得機器２を用いて会議等の録音を行う。
【００６３】
続いて、信号処理部２９１は、第１収音部２０および第２収音部２１の各々が生成した音声データのレベルを自動で調整する自動レベル調整を行う（ステップＳ１０３）。
【００６４】
その後、表示制御部３０３は、信号処理部２９１が音声データに行っている自動レベル調整のレベルを表示部２３に表示させる（ステップＳ１０４）。
【００６５】
続いて、音声判定部２９４は、信号処理部２９１が自動レベル調整を順次行った音声データに無音期間が含まれているか否かを判定する（ステップＳ１０５）。具体的には、音声判定部２９４は、信号処理部２９１が自動レベル調整を順次行った音声データの所定フレーム期間毎に、音量レベルが所定の閾値未満であるか否かを判定することによって、無音期間が含まれているか否かを判定する。より具体的には、音声判定部２９４は、音声データの音量レベルが所定の閾値未満である期間が所定期間（例えば１０秒）ある場合、音声データに無音期間が含まれていると判定する。なお、所定期間は、ユーザが入力部２５を用いて適宜設定することができる。音声判定部２９４によって信号処理部２９１が自動レベル調整を順次行った音声データに無音期間が含まれていると判定された場合（ステップＳ１０５：Ｙｅｓ）、情報取得機器２は、後述するステップＳ１０６へ移行する。これに対して、音声判定部２９４によって信号処理部２９１が自動レベル調整を順次行った音声データに無音期間が含まれていないと判定された場合（ステップＳ１０５：Ｎｏ）、情報取得機器２は、後述するステップＳ１０７へ移行する。
【００６６】
ステップＳ１０６において、インデックス付加部３０１は、音声データに対して、音声判定部２９４によって判定された無音期間に、他の期間と区別するためのインデックスを無音期間の最初および最後の少なくとも一方に付加する。ステップＳ１０６の後、情報取得機器２は、後述するステップＳ１０７へ移行する。
【００６７】
ステップＳ１０７において、入力部２５が操作されることによって入力部２５からインデックスを付加するためのキーワード候補の設定を指示する指示信号が入力された場合（ステップＳ１０７：Ｙｅｓ）、情報取得機器２は、後述するステップＳ１０８へ移行する。これに対して、入力部２５からインデックスを付加するためのキーワード候補の設定を指示する指示信号が入力されていない場合（ステップＳ１０７：Ｎｏ）、情報取得機器２は、後述するステップＳ１０９へ移行する。このステップは、会議中など、録音している最中に、後で聞き返したくなる重要な議題が始まった時などに、メモや付箋といった感じで、ユーザが何らかの指示を行う場合に対応している。ここでは、特定のスイッチ操作（例えば入力部２５に対する操作による入力）のような記載を行っているが、音声で、「ここ重要」等の声を検出すると、同様の入力が行われてもよい。即ち、インデックス付加部３０１は、第１収音部２０および第２収音部２１を介して入力された音声データに対してテキスト化部２９２がテキスト化を行ったテキストデータに基づいて、インデックスを付加してもよい。
【００６８】
このようなタイミングでは、その後、その会議における重要キーワードとなる言葉を使った議論が始まった可能性が高いので、ステップＳ１０８において、テキスト化制御部２９３は、入力部２５からキーワード候補の設定を指示する指示信号が入力された時点から所定時間（例えば３秒、会話が途切れていなければ、それより遡るような処理でもよい）遡及した音声データに対して、テキスト化部２９２に後述する音声認識処理を実行させてテキスト化を実行させて音声テキストデータを生成させる。これによって、後で聞き直したくなるキーワードを、録音現場においてリアルタイムで判定しやすくする工夫が可能となる。会議が終わってしまうと、単語のイメージは覚えていても、正確にその単語そのものを忘れている事も多い。このように、後で検索する時に、よく探すべきタイミングを分かりやすくしている。これは、いわば、候補タイミングとも言えるもので、このタイミングにおいては、重要キーワードやその類義語や、似たニュアンスの言葉を使った議論がなされている可能性が高い。このため、テキスト化制御部２９３は、ここでの音声データが優先的にテキストとして見える化をできた方が、議論全体を把握するのに役立つので、テキスト化を実行させて音声テキストデータを生成させる。なお、インデックス付加部３０１は、ステップＳ１０８において、テキスト化まで必ずしも行う必要はなく、重点的に検索するタイミングを、録音開始から何分何秒のタイミング、などと候補タイミングを音声データに関連づけて記録しておくだけでも良い。音声ファイルを作る時のメタデータとして候補タイミング情報を記録するような方法がある。ステップＳ１０８の後、情報取得機器２は、後述するステップＳ１０９へ移行する。
【００６９】
ステップＳ１０９において、音源位置推定部２９５は、第１収音部２０および第２収音部２１の各々が生成した音声データに基づいて、複数の音源の位置を推定する。ステップＳ１０９の後、情報取得機器２は、後述するステップＳ１１０へ移行する。
【００７０】
図１４は、音源位置推定部２９５が推定する音源の位置を模式的に示す図である。図１４に示すように、音源位置推定部２９５は、第１収音部２０および第２収音部２１の各々が生成した音声データに基づいて、音源Ａ１である話者および音源Ａ２である話者の各々が発した音声が第１収音部２０および第２収音部２１の各々に到達する到達時間差を算出し、算出した到達時間差を用いて音源の焦点を形成することによって音源方向を推定する。
【００７１】
図１５は、音源位置推定部２９５が１つの音源に対して到達時間差を算出する算出状況を模式的に示す図である。図１６は、音源位置推定部２９５が算出する到達時間差を算出する算出方法の一例を模式的に示す図である。
【００７２】
図１５および図１６に示すように、音源位置推定部２９５は、第１収音部２０と第２収音部２１との距離をｄ、音源Ａ１である話者の音源方位をθ、音速をＶとした場合、以下の式（１）によって、到達時間差Ｔを算出する。
Ｔ＝（ｄ×ＣＯＳ（θ））／Ｖ        ・・・（１）
この場合、音源位置推定部２９５は、第１収音部２０および第２収音部２１の各々が生成した２つの音声データに含まれる周波数の一致度を用いて、到達時間差Ｔを算出することができる。このため、音源位置推定部２９５は、第１収音部２０および第２収音部２１の各々が生成した２つの音声データに含まれる周波数の一致度を用いて、到達時間差Ｔを算出する。その後、音源位置推定部２９５は、到達時間差Ｔおよび式（１）を用いて音源方位θを算出することによって、音源の方位を推定する。具体的には、音源位置推定部２９５は、以下の式（２）によって、音源方位θを算出することによって、音源Ａ１の方位を推定する。
θ＝ＣＯＳ−１（Ｔ×Ｖ）／ｄ        ・・・（２）
このように、音源位置推定部２９５は、音源毎に方位を推定することができる。
【００７３】
図１７は、同じ距離である２つの音源の到達時間を模式的に説明する図である。図１８は、図１７の状況下において音源位置推定部２９５が１つの音源に対して到達時間差を算出する算出状況を模式的に示す図である。
【００７４】
図１７に示すように、音源位置推定部２９５は、音源Ａ１，Ａ２が同じ距離Ｄ１に位置しているとき、第１収音部２０および第２収音部２１の各々に音声信号が到達する到達時間差が等しくなり、音源Ａ１，Ａ２の位置を推定することが難しくなる。このため、音源位置推定部２９５は、外部マイク１００が情報取得機器２に設けられた第１収音部２０および第２収音部２１の各々の上面の長手方向に対して直交する方向に挿入されることによって、図１８に示すように、第１収音部２０および第２収音部２１の各々に音声信号が到達する到達時間と外部マイク１００に音声信号が到達する到達時間とに差が生じるので、第１収音部２０、第２収音部２１および外部マイク１００（第３収音部１０２および第４収音部１０３の少なくとも一方）の各々が生成した複数の音声データを用いて、奥行き方向の各音源の位置を推定することができる。
【００７５】
図１７では、音源位置推定部２９５が３つのマイク（第１収音部２０、第２収音部２１および外部マイク１００）の相対的な位置関係で説明を行ったが、これに限定されることなく、外部マイク１００の型式と合わせて、４つのマイクの各々を組み合わせた６つの組み合わせの位置関係と音の時間差（位置差）および強度等を用いて、６つの方向を算出して、音源の位置を３次元的に推定してもよい。具体的には、音源位置推定部２９５は、６つの組み合わせとして、第１収音部２０と第２収音部２１との第１組、第３収音部１０２と第４収音部１０３との第２組、第１収音部２０と第３収音部１０２との第３組、第１収音部２０と第４収音部１０３との第４組、第２収音部２１と第３収音部１０２との第５組、および第２収音部２１と第４収音部１０３との第６組の位置関係と音の時間差および強度を用いて、６つの方向を算出して音源の位置を３次元的に推定する。
【００７６】
図１０に戻り、ステップＳ１１０以降の説明を続ける。
ステップＳ１１０において、情報取得機器２は、音源位置推定部２９５の推定結果に基づいて、複数の音源の各々の位置に関する音源位置情報を表示部２３の表示領域上に表示するための位置を決定する各音源位置表示決定処理を実行する。
【００７７】
〔各音源位置表示決定処理〕
図１９は、図１０のステップＳ１１０の各音源位置表示決定処理の概要を示すフローチャートである。
【００７８】
図１９に示すように、声紋判定部２９７は、音声データに基づいて、複数の音源の各々の種類を判定する（ステップＳ２０１）。具体的には、声紋判定部２９７は、周知の声紋認証技術を用いて音源位置推定部２９５が推定した複数の音源の各々が発した音声を音声データから解析して分離して複数の音源の各々の種類を判定する。例えば、声紋判定部２９７は、会議に参加する話者が発した音声に基づく特徴を登録した話者識別テンプレートに基づいて、音声データに含まれる複数の音源の各々から声紋（話者）を判定する。
【００７９】
表示位置判定部２９６は、表示部２３の表示領域の形状と音源位置推定部２９５が推定した複数の音源の各々の位置に基づいて、表示部２３の表示領域上における各音源が第１象限から第４象限のいずれかに位置するか否かを判定する（ステップＳ２０２）。具体的には、表示位置判定部２９６は、表示部２３の表示領域の中心を情報取得機器２として見た際の各音源の表示位置を判定する。例えば、表示位置判定部２９６は、音源位置推定部２９５が推定した複数の音源の各々が第１象限から第４象限のいずれかに位置するか否かを判定する。この場合、表示位置判定部２９６は、表示部２３の表示領域に対して、表示部２３の表示領域の中心を通る二直線であって、互いに平面上で直交する二直線によって仕切られた４つの第１象限から第４象限に分割する。なお、本実施の形態では、表示位置判定部２９６は、４つの象限に分割しているが、これに限定されることなく、２つの象限であってもよし、情報取得機器２に設けられた収音部の数に応じて、適宜選択できるようにしてもよい。
【００８０】
続いて、表示位置判定部２９６は、同じ象限に複数の音源があるか否かを判定する（ステップＳ２０３）。表示位置判定部２９６によって同じ象限に複数の音源があると判定された場合（ステップＳ２０３：Ｙｅｓ）、情報取得機器２は、後述するステップＳ２０４へ移行する。これに対して、表示位置判定部２９６によって同じ象限に複数の音源がないと判定された場合（ステップＳ２０３：Ｎｏ）、情報取得機器２は、後述するステップＳ２０５へ移行する。
【００８１】
ステップＳ２０４において、表示位置判定部２９６は、同じ象限に位置する各音源に遠近があるか否かを判定する。表示位置判定部２９６によって同じ象限に位置する各音源に遠近があると判定された場合（ステップＳ２０４：Ｙｅｓ）、情報取得機器２は、後述するステップＳ２０６へ移行する。これに対して、表示位置判定部２９６によって同じ象限に位置する各音源に遠近がないと判定された場合（ステップＳ２０４：Ｎｏ）、情報取得機器２は、後述するステップＳ２０５へ移行する。
【００８２】
ステップＳ２０５において、表示位置判定部２９６は、各象限の音源に基づいて、アイコンを表示する表示位置を決定する。ステップＳ２０５の後、情報取得機器２は、後述するステップＳ２０７へ移行する。
【００８３】
ステップＳ２０６において、表示位置判定部２９６は、同じ象限に位置する複数の音源の各々の遠近に基づいて、アイコンを表示する表示位置を決定する。ステップＳ２０６の後、情報取得機器２は、後述するステップＳ２０７へ移行する。
【００８４】
〔アイコン決定生成処理〕
図２０は、図１９のステップＳ２０７のアイコン決定生成処理の概要を示すフローチャートである。
【００８５】
図２０に示すように、まず、音源情報生成部２９８は、声紋判定部２９７によって判定された複数の声紋のうち声の高い順に順位を決定する（ステップＳ３０１）。
【００８６】
続いて、音源情報生成部２９８は、声紋判定部２９７によって判定された複数の声紋のうち一番高い声の話者（音源）を細い顔、長髪アイコンとして生成する（ステップＳ３０２）。具体的には、図２１に示すように、音源情報生成部２９８は、声紋判定部２９７によって判定された複数の声紋のうち一番高い声の話者（音源）を細い顔で長髪のアイコンＯ１（女性をイメージとするアイコン）として生成する。
【００８７】
その後、音源情報生成部２９８は、声紋判定部２９７によって判定された複数の声紋のうち一番低い声の話者（音源）を丸顔、短髪アイコンとして生成する（ステップＳ３０３）。具体的には、図２２に示すように、音源情報生成部２９８は、声紋判定部２９７によって判定された複数の声紋のうち一番低い声の話者（音源）を丸顔で短髪のアイコンＯ２（男性をイメージとするアイコン）として生成する。
【００８８】
続いて、音源情報生成部２９８は、声紋判定部２９７によって判定された複数の声紋の高さの順にアイコンを生成する（ステップＳ３０４）。具体的には、音源情報生成部２９８は、声紋判定部２９７によって判定された複数の声紋の高さの順に細い顔から丸顔に向けて顔の形状を順次変形させるとともに、長髪から短髪に向けて順次変形させたアイコンを生成する。
【００８９】
その後、移動判定部３００は、音源位置推定部２９５が推定した複数の音源の各々の位置と声紋判定部２９７によって判定された複数の声紋とに基づいて、声紋判定部２９７によって判定された複数の声紋のうち第１象限から第４象限の２つ以上の象限を移動する移動音源があるか否かを判定する（ステップＳ３０５）。具体的には、移動判定部３００は、表示位置判定部２９６が決定した各象限の音源と音源位置推定部２９５が推定した各音源の位置が時間の経過とともに異なっているか否かを判定し、時間の経過とともに異なっている場合、移動する音源があると判定する。移動判定部３００によって各象限を移動する音源があると判定された場合（ステップＳ３０５：Ｙｅｓ）、情報取得機器２は、後述するステップＳ３０６へ移行する。これに対して、移動判定部３００によって各象限を移動する音源がないと判定された場合（ステップＳ３０５：Ｎｏ）、情報取得機器２は、上述した図１９のサブルーチンへ戻る。
【００９０】
ステップＳ３０６において、音声特定部２９９は、移動判定部３００が判定した音源に対応するアイコンを特定する。具体的には、音声特定部２９９は、移動判定部３００が判定した第１象限から第４象限の２つ以上の象限を移動する音源のアイコンを特定する。
【００９１】
続いて、音源情報生成部２９８は、音声特定部２９９が特定した音源のアイコンに移動情報を付加する（ステップＳ３０７）。具体的には、図２３に示すように、音源情報生成部２９８は、音声特定部２９９が特定した音源のアイコンＯ２に移動アイコンＵ１（移動情報）を付加する。なお、音源情報生成部２９８は、移動したアイコンＯ２に、移動アイコンＵ１を付加していたが、例えばアイコンＯ２の色を変更してもよいし、形状を変更してもよい。もちろん、音源情報生成部２９８は、移動したアイコンＯ２に、文字や図形を付加してもよいし、移動していた時間や移動したタイミング等を付加してもよい。ステップＳ３０７の後、情報取得機器２は、上述した図１９のサブルーチンへ戻る。
【００９２】
図１９に戻り、ステップＳ２０８以降の説明を続ける。
ステップＳ２０８において、全象限の判定が終了した場合（ステップＳ２０８：Ｙｅｓ）、情報取得機器２は、図１０のメインルーチンへ戻る。これに対して、全象限の判定が終了していない場合（ステップＳ２０８：Ｎｏ）、情報取得機器２は、上述したステップＳ２０３へ戻る。
【００９３】
図１０に戻り、ステップＳ１１１以降の説明を続ける。
ステップＳ１１１において、表示制御部３０３は、上述したステップＳ１１０において生成された複数の音源位置情報を表示部２３に表示させる。具体的には、図２４に示すように、表示制御部３０３は、表示部２３の表示領域を第１象限Ｈ１〜第４象限Ｈ４の各々に、アイコンＯ１〜アイコンＯ３の各々を重畳して表示部２３に表示させる。これにより、ユーザは、録音時であっても、情報取得機器２と中心に見た際の話者（音源）の位置を直感的に把握することができる。さらに、ユーザは、アイコンＯ２に移動アイコンＵ１が重畳されているので、録音時に移動した話者を直感的に把握することができる。
【００９４】
ステップＳ１１２において、入力部２５から録音を終了する指示信号が入力された場合（ステップＳ１１２：Ｙｅｓ）、情報取得機器２は、後述するステップＳ１１３へ移行する。これに対して、入力部２５から録音を終了する指示信号が入力されていない場合（ステップＳ１１２：Ｎｏ）、情報取得機器２は、上述したステップＳ１０３へ戻る。
【００９５】
ステップＳ１１３において、音声ファイル生成部３０２は、信号処理部２９１が信号処理を行った各音声データと、音源位置推定部２９５が推定した音源位置情報と、音源情報生成部２９８が生成した複数の音源情報と、音声特定部２９９が特定した出現位置、インデックス付加部３０１が付加したインデックスの位置に関する位置情報またはインデックスが付加された音声データ上における時間に関する時間情報と、テキスト化部２９２が生成した音声テキストデータと、日付と、外部マイク１００の状態を示す外部マイク状態情報と、を対応付けた音声ファイルを生成して音声ファイル記録部２６２に記録する。例えば、図２５に示すように、音声ファイル生成部３０２は、信号処理部２９１が信号処理を行った各録音チャンネルの音声データを格納する音声ファイルＦ１０〜Ｆ１３と、音源位置推定部２９５が推定した音源位置情報Ｆ１４と、音源情報生成部２９８が生成した複数の音源情報Ｆ１５と、音声特定部２９９が特定した出現位置情報Ｆ１６、インデックス付加部３０１が付加したインデックスの位置に関する位置情報Ｆ１７またはインデックスが付加された音声データ上における時間に関する時間情報Ｆ１８と、テキスト化部２９２が生成した音声テキストデータＦ１９と、日付Ｆ２０と、外部マイク状態情報Ｆ２１と、を対応付けた４ｃｈ音声ファイルＦ１を生成して音声ファイル記録部２６２に記録する。ここで、外部マイク情報Ｆ２１には、外部マイク１００を含めた４つ（外部マイク１００が１つの収音部の場合は３つ）の収音部（第１収音部２０、第２収音部２１、第３収音部１０２および第３収音部１０３）の位置関係を示す位置関係情報（外部入力部２２を中心とした見たときの第１収音部２０、第２収音部２１、第３収音部１０２および第４収音部１０３の各々のＸＹＺ座標）と、各マイクの位置関係と各音声ファイルＦ１０〜Ｆ１３との関連の状態を示す関連情報と、外部マイク１００の直交状態または平行状態に関する配置情報、外部マイク１００の型式および第１収音部２０および第２収音部２１の型式を示す型式情報と、が含まれる。ステップＳ１１３の後、情報取得機器２は、後述するステップＳ１１４へ移行する。なお、音声ファイル生成部３０２は、信号処理部２９１が信号処理を行った音声データと、入力部２５が指示信号の入力を受け付けた時点から所定時間だけテキスト化部２９２に音声テキストデータを生成させる候補タイミングとする候補タイミング情報と、を対応付けた音声ファイルを生成して音声ファイル記録部２６２に記録させてもよい。即ち、音声ファイル生成部３０２は、音声データと、入力部２５が指示信号の入力を受け付けた時点から所定時間だけ候補タイミングとする候補タイミング情報と、を対応付けて音声ファイルを生成して音声ファイル記録部２６２に記録させてもよい。
【００９６】
続いて、入力部２５から電源をオフする指示信号が入力された場合（ステップＳ１１４：Ｙｅｓ）、情報取得機器２は、本処理を終了する。これに対して、入力部２５から電源をオフする指示信号が入力されていない場合（ステップＳ１１４：Ｎｏ）、情報取得機器２は、上述したステップＳ１０１へ戻る。
【００９７】
ステップＳ１０１において、入力部２５から録音を指示する指示信号が入力されていない場合（ステップＳ１０１：Ｎｏ）、情報取得機器２は、ステップＳ１１５へ移行する。
【００９８】
続いて、入力部２５から音声ファイルの再生を指示する指示信号が入力された場合（ステップＳ１１５：Ｙｅｓ）、情報取得機器２は、後述するステップＳ１１６へ移行する。これに対して、入力部２５から音声ファイルの再生を指示する指示信号が入力されていない場合（ステップＳ１１５：Ｎｏ）、情報取得機器２は、ステップＳ１２２へ移行する。
【００９９】
ステップＳ１１６において、入力部２５が操作されることによって音声ファイルが選択された場合（ステップＳ１１６：Ｙｅｓ）、情報取得機器２は、後述するステップＳ１１７へ移行する。これに対して、入力部２５が操作されず、音声ファイルが選択されていない場合（ステップＳ１１６：Ｎｏ）、情報取得機器２は、ステップＳ１１４へ移行する。
【０１００】
ステップＳ１１７において、表示制御部３０３は、入力部２５を介して選択された音声ファイルに格納された複数の音源位置情報を表示部２３に表示させる。
【０１０１】
続いて、タッチパネル２５１を介して表示部２３が表示する複数の音声位置情報のいずれかのアイコンがタッチされた場合（ステップＳ１１８：Ｙｅｓ）、出力部２８は、アイコンに対応する音声データを再生して出力する（ステップＳ１１９）。
【０１０２】
その後、入力部２５から音声ファイルの再生を終了する指示信号が入力された場合（ステップＳ１２０：Ｙｅｓ）、情報取得機器２は、ステップＳ１１４へ移行する。これに対して、入力部２５から音声ファイルの再生を終了する指示信号が入力されていない場合（ステップＳ１２０：Ｎｏ）、情報取得機器２は、上述したステップＳ１１７へ戻る。
【０１０３】
ステップＳ１１８において、タッチパネル２５１を介して表示部２３が表示する複数の音声位置情報のいずれかのアイコンがタッチされていない場合（ステップＳ１１８：Ｎｏ）、出力部２８は、音声データを再生する（ステップＳ１２１）。ステップＳ１２１の後、情報取得機器２は、ステップＳ１２０へ移行する。
【０１０４】
ステップＳ１２２において、入力部２５が操作されることによって音声ファイルを送信する指示信号が入力された場合（ステップＳ１２２：Ｙｅｓ）、通信部２７は、音声ファイルを所定の通信規格に従って情報処理装置へ送信する（ステップＳ１２３）。ステップＳ１２３の後、情報取得機器２は、ステップＳ１１４へ移行する。
【０１０５】
ステップＳ１２２において、入力部２５が操作されることによって音声ファイルを送信する指示信号が入力されていない場合（ステップＳ１２２：Ｎｏ）、情報取得機器２は、ステップＳ１１４へ移行する。
【０１０６】
以上説明した本発明の実施の形態１によれば、外部マイク１００が情報取得機器２に対して平行状態または直交状態で装着することができるので、簡易な構成で通常録音または３６０°空間音声の録音を行うことができ、携帯時には外部マイク１００を外す、平行状態にするとコンパクトになる。
【０１０７】
また、本発明の実施の形態１によれば、機器制御部２９が外部マイク１００の装着状態に応じて、情報取得機器２の録音方法を切り替えるので、通常録音または３６０°空間音声録音を行うことができる。
【０１０８】
また、本発明の実施の形態１によれば、表示制御部３０３が音源位置推定部２９５によって推定された推定結果に基づいて、複数の音源の各々の位置に関する２次元音源位置情報を表示部２３に表示させるので、録音時における話者の位置を直感的に把握することができる。
【０１０９】
また、本発明の実施の形態１によれば、表示制御部３０３が表示位置判定部２９６によって判定された判定結果に基づいて、音源位置情報を表示部２３に表示させるので、表示部２３の形状に応じた話者の位置を直感的に把握することができる。
【０１１０】
また、本発明の実施の形態１によれば、表示位置判定部２９６が表示部２３の表示領域の中心を情報取得機器２とした際における複数の音源の各々の表示位置を判定するので、情報取得機器２を中心とした際の話者の位置を直感的に把握することができる。
【０１１１】
また、本発明の実施の形態１によれば、表示制御部３０３が音源位置情報として音源情報生成部２９８によって生成された複数の音源情報を表示部２３に表示させるので、録音時における参加した話者の性別や人数を直感的に把握することができる。
【０１１２】
なお、本発明の実施の形態１では、外部マイク１００に第３収音部１０２および第４収音部１０３の各々が設けられていたが、少なくとも１つ以上の収音部があればよく、例えば第３収音部１０２のみであってもよい。
【０１１３】
（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１に係る情報取得システム１と構成が異なる。以下においては、本実施の形態２に係る情報取得システムの構成を説明する。なお、上述した実施の形態１と同一の構成には同一の符号を付して説明を省略する。
【０１１４】
〔情報取得システムの構成〕
図２６は、本発明の実施の形態２に係る情報取得システムの要部の一部を示す模式図である。図２７は、図２６のＸＸＶＩＩ方向から見た情報取得機器の上面図である。図２８は、図２６のＸＸＶＩＩＩ方向から見た外部マイクの下面図である。図２９は、本発明の実施の形態２に係る情報取得システムの要部の一部を示す模式図である。図３０は、図２９のＸＸＸ方向から見た情報取得機器の上面図である。図３１は、図２９のＸＸＸＩ方向から見た外部マイクの下面図である。
【０１１５】
図２６〜図３１に示す情報取得システム１ａは、情報取得機器２ａと、外部マイク１００ａと、直交状態で固定する固定部２００と、直交状態を検出する直交検出部３００と、を備える。
【０１１６】
外部マイク１００ａは、上述した実施の形態１の外部マイク１００の当接部１０５に換えて、当接部１０５ａを備える。当接部１０５ａは、板状をなす。また、当接部１０５ａの短手方向Ｗ１１の長さは、本体部１０４の短手方向Ｗ１０の長さより短く形成されている。
【０１１７】
固定部２００は、情報取得機器２ａの上面に設けられた突起部２０１と、外部マイク１００ａに設けられた長穴の溝部２０２と、を有する。
【０１１８】
直交検出部３００は、情報取得機器２ａの上面に進退自在に設けられる。直交検出部３００は、情報取得機器２ａに対して外部マイク１００ａが直交状態で外部マイク１００ａの当接部１０５ａに当接することによって後退する。
【０１１９】
〔外部マイクの取付方法〕
次に、情報取得機器２ａに対する外部マイク１００ａの取付方法について説明する。
【０１２０】
〔通常録音の取付方法〕
まず、外部マイク１００ａを用いて通常録音を行う場合の取付方法について説明する。図３２に示すように、外部マイク１００ａは、平行状態で情報取得機器２ａに挿入プラグ１０１が挿入される。この場合、情報取得機器２ａの上面に設けられた突起部２０１および直交検出部３００の各々は、当接部１０５ａに当接することなく、当接部１０５ａと情報取得機器２ａとの間に出来た空間内に配置される。これにより、情報取得機器２ａは、外部マイク１００ａを用いた通常のステレオ録音を行うことができる。
【０１２１】
〔３６０°空間音声録音の取付方法〕
次に、外部マイク１００ａを用いて３６０°空間音声録音を行う場合の取付方法について説明する。図３３に示すように、外部マイク１００ａは、情報取得機器２ａに対して直交状態で情報取得機器２ａに挿入プラグ１０１が挿入される。この場合、情報取得機器２ａの上面に設けられた突起部２０１および外部マイク１００ａに設けられた長穴の溝部２０２の各々は、嵌合することによって情報取得機器２ａに対して直交状態で外部マイク１００ａを固定する。さらに、直交検出部３００は、外部マイク１００ａの当接部１０５ａに当接することによって後退する。これにより、情報取得機器２ａは、簡易な構成で高い汎用性の外部マイク１００ａを用いて３６０°空間音声の録音を行うことができるとともに、直交状態で確実に外部マイク１００ａを固定することができる。
【０１２２】
〔情報取得機器の機能構成〕
次に、上述した情報取得機器２ａの機能構成について説明する。
図３４は、情報取得機器２ａの機能構成を示すブロック図である。図３４に示す情報取得機器２ａは、上述した実施の形態１に係る情報取得機器２の構成に加えて、直交検出部３００をさらに備える。
【０１２３】
直交検出部３００は、外部マイク１００ａが当接した際に外部マイク１００ａが直交状態であることを示す信号を機器制御部２９へ出力する。
【０１２４】
〔情報取得機器の処理〕
次に、情報取得機器２ａが実行する処理について説明する。情報取得機器２ａが実行する処理は、上述した実施の形態１に係る情報取得機器２と同様の処理を実行し、外部マイク設定処理が異なる。具体的には、本実施の形態２では、情報取得機器２ａに対して外部マイク１００ａが直交状態で挿入されたことを自動的に検出するとともに、直交状態を固定する。以下においては、情報取得機器２ａが実行する外部マイク設定処理のみ説明する。
【０１２５】
〔外部マイク設定処理〕
図３５は、外部マイク設定処理の概要を示すフローチャートである。
【０１２６】
図３５に示すように、外部入力検出部２２が外部マイク１００ａを検出した場合（ステップＳ２１：Ｙｅｓ）、情報取得機器２ａは、後述するステップＳ２２へ移行する。これに対して、外部入力検出部２２が外部マイク１００ａを検出していない場合（ステップＳ２１：Ｎｏ）、情報取得機器２ａは、後述するステップＳ２６へ移行する。
【０１２７】
ステップＳ２２において、直交検出部３００によって外部マイク１００ａの直交状態が検出された場合（ステップＳ２２：Ｙｅｓ）、情報取得機器２ａは、後述するステップＳ２３へ移行する。これに対して、直交検出部３００によって外部マイク１００ａの直交状態が検出されていない場合（ステップＳ２２：Ｎｏ）、情報取得機器２ａは、後述するステップＳ２６へ移行する。
【０１２８】
ステップＳ２３において、外部入力検出部２２は、情報取得機器２ａに挿入された外部マイク１００ａの型式を検出して機器制御部２９へ出力する。
【０１２９】
続いて、外部マイク１００ａの配置情報を設定する（ステップＳ２４）。具体的には、音声ファイル生成部３０２は、音声ファイルにおける外部マイク１００ａの配置情報に関する項目を直交状態と設定する。
【０１３０】
その後、音声ファイル生成部３０２は、第１収音部２０、第２収音部２１、第３収音部１０２および第４収音部１０３で録音する４チャンネル録音を音声ファイルに設定する（ステップＳ２５）。なお、本実施の形態２では、外部マイク１００ａが第３収音部１０２および第４収音部１０３を備えるため、４チャンネル録音としているが、外部マイク１００ａが第３収音部１０２および第４収音部１０３のどちらか一方の場合、音声ファイル生成部３０２は、３チャンネル録音を音声ファイルに設定する。ステップＳ２５の後、情報取得機器２ａは、上述した図１０のメインルーチンへ戻る。
【０１３１】
ステップＳ２６において、音声ファイル生成部３０２は、第１収音部２０および第２収音部２１で録音する１／２チャンネル録音を音声ファイルに設定する（ステップＳ２６）。ステップＳ２６の後、情報取得機器２ａは、図１０のメインルーチンへ戻る。
【０１３２】
以上説明した本発明の実施の形態２によれば、外部マイク１００ａが情報取得機器２ａに対して平行状態または直交状態で装着することができるので、簡易な構成で通常録音または構成で３６０°空間音声の録音を行うことができる。
【０１３３】
また、本発明の実施の形態２によれば、情報取得機器２ａに対して直交状態で外部マイク１００ａを固定部２００が固定するので、簡易な構成で高い汎用性の外部マイク１００ａを用いて３６０°空間音声の録音を行うことができるとともに、直交状態で確実に外部マイク１００ａを固定することができる。
【０１３４】
また、本発明の実施の形態２によれば、機器制御部２９が直交検出部３００の検出結果に基づいて情報取得機器２ａの録音方法を切り替えるので、通常録音または３６０°空間音声の録音を簡易な構成で行うことができる。
【０１３５】
（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３は、上述した実施の形態２に係る構成が異なる。具体的には、上述した実施の形態２では、情報取得機器２ａが外部マイク１００ａの直交状態を検出していたが、本実施の形態３では、外部マイクが直交状態を検出する。以下においては、本実施の形態３に係る情報取得システムの構成について説明する。なお、上述した実施の形態２に係る情報取得システム１ａと同一の構成には同一の符号を付して説明を省略する。
【０１３６】
〔情報取得システムの構成〕
図３６は、本発明の実施の形態３に係る情報取得システムの要部の一部を示す模式図である。図３７は、図３６のＸＸＸＶＩＩ方向から見た情報取得機器の上面図である。図３８は、図３６のＸＸＸＶＩＩＩ方向から見た外部マイクの下面図である。図３９は、本発明の実施の形態３に係る情報取得システムの要部の一部を示す模式図である。図４０は、図３９のＸＸＸＸ方向から見た情報取得機器の上面図である。図４１は、図３９のＸＸＸＸＩ方向から見た外部マイクの下面図である。
【０１３７】
図３６〜図４１に示す情報取得システム１ｂは、情報取得機器２ｂと、外部マイク１００ｂと、直交状態で嵌合するとともに、直交状態を検出する固定部４００と、を備える。
【０１３８】
固定部４００は、情報取得機器２ｂの上面に設けられた突起部４０１と、外部マイク１００ｂに設けられた長穴の溝部４０２と、溝部４０２内に設けられ、外部マイク１００ｂの直交状態を検出する直交検出部４０３と、を備える。
【０１３９】
〔外部マイクの取付方法〕
次に、情報取得機器２ｂに対する外部マイク１００ｂの取付方法について説明する。
【０１４０】
〔通常録音の取付方法〕
まず、外部マイク１００ｂを用いて通常録音を行う場合の取付方法について説明する。図４２に示すように、外部マイク１００ｂは、情報取得機器２ｂの上面に設けられた突起部４０１が当接部１０５ａに当接することなく、当接部１０５ａと情報取得機器２ｂとの間に出来た空間内に配置される。これにより、外部マイク１００ｂを用いた通常のステレオ録音を行うことができる。
【０１４１】
〔３６０°空間音声録音の取付方法〕
次に、外部マイク１００ｂを用いて３６０°空間音声録音を行う場合の取付方法について説明する。図４３に示すように、外部マイク１００ｂは、情報取得機器２ｂに対して直交状態で情報取得機器２ｂに挿入プラグ１０１が挿入される。この場合、情報取得機器２ｂの上面に設けられた突起部４０１および外部マイク１００ｂに設けられた長穴の溝部４０２の各々は、嵌合することによって直交状態で外部マイク１００ｂを固定する。さらに、直交検出部４０３は、突起部４０１に当接することによって外部マイク１００ｂが直交状態であることを検出し、この検出結果を、挿入プラグ１０１を介して機器制御部２９へ出力する。これにより、簡易な構成で高い汎用性の外部マイク１００ｂを用いて、３６０°空間音声の録音を行うことができるとともに、外部マイク１００ｂを直交状態で固定することができる。
【０１４２】
以上説明した本発明の実施の形態３によれば、外部マイク１００ｂが情報取得機器２ｂに対して平行状態または直交状態で装着することができるので、簡易な構成で通常録音または３６０°空間音声の録音を行うことができる。
【０１４３】
（その他の実施の形態）
【０１４４】
また、本発明の実施の形態１〜３では、情報取得機器２に設けられた機器制御部２９が各音源の位置を推定していたが、これに限定されることなく、サーバ等に機器制御部２９の機能を持たせてもよい。この場合、サーバは、音声ファイルに格納された情報、例えば外部マイク状態情報Ｆ２１に基づいて、各音源の位置を推定するようにすればよい。
【０１４５】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
【０１４６】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０１４７】
１，１ａ，１ｂ・・・情報取得システム；２，２ａ，２ｂ・・・情報取得機器；２０・・・第１収音部；２１・・・第２収音部；２２・・・外部入力検出部；２３・・・表示部；
２４・・・時計；２５・・・入力部；２６・・・記録部；２７・・・通信部；２８・・・出力部；２９・・・機器制御部１００，１００ａ,１００ｂ・・・外部マイク；１０１・・・挿入プラグ；１０２・・・第３収音部；１０３・・・第４収音部；１０４・・・本体部；１０５,１０５ａ・・・当接部；２００,４００・・・固定部；２０１,４０１・・・突起部；２０２,４０２・・・溝部；２５１・・・タッチパネル２６１・・・プログラム記録部；２６２・・・音声ファイル記録部；２９１・・・信号処理部；２９２・・・テキスト化部；２９３・・・テキスト化制御部；２９４・・・音声判定部；２９５・・・音源位置推定部；２９６・・・表示位置判定部；２９７・・・声紋判定部；２９８・・・音源情報生成部；２９９・・・音声特定部；３００・・・移動判定部；３００,４０３・・・直交検出部；３０１・・・インデックス付加部；３０２・・・音声ファイル生成部；３０３・・・表示制御部
【図１】
2019054440.tif 000003
【図２】
2019054440.tif 000004
【図３】
2019054440.tif 000005
【図４】
2019054440.tif 000006
【図５】
2019054440.tif 000007
【図６】
2019054440.tif 000008
【図７】
2019054440.tif 000009
【図８】
2019054440.tif 000010
【図９】
2019054440.tif 000011
【図１０】
2019054440.tif 000012
【図１１】
2019054440.tif 000013
【図１２】
2019054440.tif 000014
【図１３】
2019054440.tif 000015
【図１４】
2019054440.tif 000016
【図１５】
2019054440.tif 000017
【図１６】
2019054440.tif 000018
【図１７】
2019054440.tif 000019
【図１８】
2019054440.tif 000020
【図１９】
2019054440.tif 000021
【図２０】
2019054440.tif 000022
【図２１】
2019054440.tif 000023
【図２２】
2019054440.tif 000024
【図２３】
2019054440.tif 000025
【図２４】
2019054440.tif 000026
【図２５】
2019054440.tif 000027
【図２６】
2019054440.tif 000028
【図２７】
2019054440.tif 000029
【図２８】
2019054440.tif 000030
【図２９】
2019054440.tif 000031
【図３０】
2019054440.tif 000032
【図３１】
2019054440.tif 000033
【図３２】
2019054440.tif 000034
【図３３】
2019054440.tif 000035
【図３４】
2019054440.tif 000036
【図３５】
2019054440.tif 000037
【図３６】
2019054440.tif 000038
【図３７】
2019054440.tif 000039
【図３８】
2019054440.tif 000040
【図３９】
2019054440.tif 000041
【図４０】
2019054440.tif 000042
【図４１】
2019054440.tif 000043
【図４２】
2019054440.tif 000044
【図４３】
2019054440.tif 000045