(57)【要約】      （修正有）【課題】会議に関係しない発話の録音を抑制することができる音声録音装置を提供する。【解決手段】人の発話を録音する音声録音装置であって、所定の領域を撮影した画像データを取得する取得手段と、前記画像データから人の顔を検出し、人の顔の向きを判別する判別手段と、人の発話の録音を制御する録音制御手段とを備える。録音制御手段は、人の顔の向きに基づいて人の発話を録音するか否かを決定する。【選択図】図５
2020115609.tif 000002
【特許請求の範囲】
【請求項１】
人の発話を録音する音声録音装置であって、
所定の領域を撮影した画像データを取得する取得手段と、
前記画像データから前記人の顔を検出し、前記人の顔の向きを判別する判別手段と、
前記人の発話の録音を制御する録音制御手段とを備え、
前記録音制御手段は、前記人の顔の向きに基づいて前記人の発話を録音するか否かを決定することを特徴とする音声録音装置。
【請求項２】
前記録音制御手段は、前記判別された顔の向きが特定の対象物を向いている人の発話を録音し、前記判別された顔の向きが前記特定の対象物を向いていない人の発話を録音しないことを特徴とする請求項１記載の音声録音装置。
【請求項３】
前記特定の対象物は、前記判別手段による判別の対象と異なる他の人を含むことを特徴とする請求項２記載の音声録音装置。
【請求項４】
前記特定の対象物は、予め登録された会議に関連する掲示物及び表示物を含むことを特徴とする請求項２又は３記載の音声録音装置。
【請求項５】
前記録音制御手段は、予め設定された所定の数以上の人に見られている人の発話を録音することを特徴とする請求項１乃至４のいずれか１項に記載の音声録音装置。
【請求項６】
全方位カメラを備え、
前記所定の領域は、前記全方位カメラによって撮影される前記音声録音装置の周囲であることを特徴とする請求項１乃至５のいずれか１項に記載の音声録音装置。
【請求項７】
人の発話を録音する音声録音装置の制御方法であって、
所定の領域を撮影した画像データを取得する取得ステップと、
前記画像データから前記人の顔を検出し、前記人の顔の向きを判別する判別ステップと、
前記人の発話の録音を制御する録音制御ステップとを有し、
前記録音制御ステップは、前記人の顔の向きに基づいて前記人の発話を録音するか否かを決定することを特徴とする音声録音装置の制御方法。
【請求項８】
人の発話を録音する音声録音装置の制御方法をコンピュータに実行させるプログラムであって、
前記音声録音装置の制御方法は、
所定の領域を撮影した画像データを取得する取得ステップと、
前記画像データから前記人の顔を検出し、前記人の顔の向きを判別する判別ステップと、
前記人の発話の録音を制御する録音制御ステップとを有し、
前記録音制御ステップは、前記人の顔の向きに基づいて前記人の発話を録音するか否かを決定することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声録音装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
音声データを録音する音声録音装置が知られている。音声録音装置は、例えば、会議の参加者の発話を音声データとして録音し、録音した音声データを音声認識した結果に基づいて会議の議事録を作成する。このように、録音した音声データに基づいて音声録音装置が会議の議事録を作成することで、会議の主催者等が会議の議事録を作成する手間が軽減される。高精度な音声認識結果を得るために、音声録音装置は、参加者の発話を良好に録音する必要がある。音声録音装置は、例えば、音声録音装置のマイクから眺めた発話者の顔の大きさ、すなわち、顔とマイクの近さに応じて発話者から受ける音声の音量を示す入力音量を制御する（例えば、特許文献１参照）。このようにして、音声録音装置は、参加者とマイクとの距離に関わらず、参加者の発話を高精度に音声認識可能な適切な音量の音声データとして録音することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３９３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したように顔とマイクの近さに応じて入力音量を制御しても、会議に関係しない発話、例えば、会議中に電話を受けた参加者がマイクに背を向けて話した会議に関係しない通話内容も録音されてしまうという問題が生じる。
【０００５】
本発明の目的は、会議に関係しない発話の録音を抑制することができる音声録音装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の音声録音装置は、人の発話を録音する音声録音装置であって、所定の領域を撮影した画像データを取得する取得手段と、前記画像データから前記人の顔を検出し、前記人の顔の向きを判別する判別手段と、前記人の発話の録音を制御する録音制御手段とを備え、前記録音制御手段は、前記人の顔の向きに基づいて前記人の発話を録音するか否かを決定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、会議に関係しない発話の録音を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る音声録音装置としての会議装置を含む会議システムの構成を概略的に示すブロック図である。
【図２】図１の会議装置及び会議サーバのハードウェア構成を概略的に示すブロック図である。
【図３】図１の会議装置によって実行される会議情報記録処理の手順を示すフローチャートである。
【図４】図２の表示デバイスに表示される画面の一例を示す図である。
【図５】図３のステップＳ３０２の録音制御処理の手順を示すフローチャートである。
【図６】図５の録音制御処理で用いられる画像データの一例を示す図である。
【図７】本実施の形態における座標系を説明するための図である。
【図８】本実施の形態における顔領域の角度Ｒθｎの算出を説明するための図である。
【図９】図５のステップＳ５０５の対象物特定処理を説明するための図である。
【図１０】図２のＲＡＭに格納される顔検出情報の一例を示す図である。
【図１１】図５の録音制御処理の変形例の手順を示すフローチャートである。
【図１２】図２のＲＡＭに格納される顔検出情報の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１０】
図１は、本発明の実施の形態に係る音声録音装置としての会議装置１０１を含む会議システム１００の構成を概略的に示すブロック図である。会議システム１００は、会議装置１０１及び会議サーバ１０２を備える。なお、本実施の形態では、会議システム１００は、会議装置１０１及び会議サーバ１０２を一台ずつ備える構成について説明するが、会議システム１００の構成は、これに限られない。例えば、会議システム１００は、会議装置１０１及び会議サーバ１０２をそれぞれ複数台備えていても良い。
【００１１】
会議装置１０１は、会議サーバ１０２とネットワーク１０３を介して接続されている。会議装置１０１は、会議室等の会議開催場所に配置され、例えば、会議室のテーブル上に置かれる。会議装置１０１は、音声や画像等の複数の種類のデータ（以下、「会議情報」という。）を記録する。会議装置１０１は、例えば、オフィスや所定の会場等で開催される会議の会議情報を記録する。なお、本実施の形態における会議は、複数の人が発言し合うような集まりであれば良く、オフィスや所定の会場等で開催される会議に限定されない。例えば、本実施の形態における会議は、面接や取り調べ、ＰＣ等のネットワーク機器を用いた遠隔会議等を含む。また、会議装置１０１は、記録した会議情報を会議サーバ１０２に送信する。
【００１２】
会議サーバ１０２は、ＰＣ（Personal Computer）やクラウドサーバである。会議サーバ１０２は、会議装置１０１から受信した会議情報を解析してテキストを生成する。具体的に、会議サーバ１０２は、会議情報に含まれる音声データを音声認識してテキストを生成し、また、会議情報に含まれる画像データを文字認識してテキストを生成する。会議サーバ１０２は、生成したテキストに基づいて議事録を作成し、当該議事録を配信する。
【００１３】
図２は、図１の会議装置１０１及び会議サーバ１０２のハードウェア構成を概略的に示すブロック図である。図２（ａ）は、会議装置１０１のハードウェア構成を示す。図２（ｂ）は、会議サーバ１０２のハードウェア構成を示す。
【００１４】
会議装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ストレージ２０４、入力デバイス２０５、表示デバイス２０６、外部インターフェース２０７、カメラデバイス２０８、マイクデバイス２０９、スピーカーデバイス２１０、及び全方位カメラデバイス２１１を備える。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ストレージ２０４、入力デバイス２０５、表示デバイス２０６、外部インターフェース２０７、カメラデバイス２０８、マイクデバイス２０９、スピーカーデバイス２１０、及び全方位カメラデバイス２１１は、データバス２１２を介して互いに接続されている。なお、ＣＰＵは、Central Processing Unitの略称である。ＲＡＭは、Random Access Memoryの略称である。ＲＯＭは、Read Only Memoryの略称である。
【００１５】
ＣＰＵ２０１は、会議装置１０１全体を制御するためのコントローラである。ＣＰＵ２０１は、ＲＯＭ２０２に格納されたブートプログラムを実行してＯＳ（Operating System）（不図示）を起動する。ＯＳが起動すると、ＣＰＵ２０１は、ストレージ２０４に格納されたコントローラプログラムを実行して、データバス２１２を介して接続された各デバイスを制御する。コントローラプログラムは、会議装置１０１全体を制御するプログラムである。ＲＯＭ２０２は、不揮発メモリであり、ブートプログラム等を格納する。ＲＡＭ２０３は、ＣＰＵ２０１の作業領域として、また、各データの一時格納領域として用いられる。ストレージ２０４は、読み出し及び書き込み可能な不揮発メモリであり、コントローラプログラム等を格納する。また、ストレージ２０４は、会議情報が会議サーバ１０２へ送信されるまでの間、当該会議情報を保持する。
【００１６】
入力デバイス２０５は、タッチパネル、ハードキー、及びマウス等から構成される入力装置である。入力デバイス２０５は、ユーザの操作指示を受け付けると、受け付けた操作指示の内容を示す指示情報をＣＰＵ２０１に送信する。表示デバイス２０６は、ＬＣＤ等の表示装置である。表示デバイス２０６は、ＣＰＵ２０１が生成した画像データを表示する。ＣＰＵ２０１は、入力デバイス２０５から受信した指示情報に基づいて会議装置１０１を制御する。例えば、ＣＰＵ２０１は、受信した指示情報に応じて新たな画像データを生成し、表示デバイス２０６の表示内容を当該新たな画像データに切り替える。外部インターフェース２０７は、ＬＡＮや電話回線等のネットワーク、又は赤外線といった近接無線等のネットワークを介して、外部機器とデータの送受信を行う。カメラデバイス２０８は、例えば、デジタルカメラであり、動画や静止画を撮影する。
【００１７】
マイクデバイス２０９は、複数のマイクで構成されるマイクアレイである。マイクデバイス２０９は、入力された音声をデジタル信号化し、ＷＡＶＥ等の音声データとして取得する。スピーカーデバイス２１０は、通知音声等を出力する。全方位カメラデバイス２１１は、会議装置１０１の周囲３６０度全方位の画像を撮影可能な１台のカメラである。全方位カメラデバイス２１１は、会議装置１０１の上部に設置されている。なお、全方位カメラデバイス２１１の構成は、１台のカメラに限られず、全方位画像を取得可能な構成であれば良い。例えば、複数のカメラで構成された全方位カメラデバイス２１１が会議装置１０１の側面に設置され、それぞれのカメラから取得する画像を連結して全方位画像を取得してもよい。
【００１８】
図２（ｂ）において、会議サーバ１０２は、ＣＰＵ２１３、ＲＯＭ２１４、ＲＡＭ２１５、ストレージ２１６、入力デバイス２１７、表示デバイス２１８、及び外部インターフェース２１９を備える。ＣＰＵ２１３、ＲＯＭ２１４、ＲＡＭ２１５、ストレージ２１６、入力デバイス２１７、表示デバイス２１８、及び外部インターフェース２１９は、データバス２２０を介して互いに接続されている。
【００１９】
ＣＰＵ２１３は、会議サーバ１０２全体を制御するためのコントローラである。ＣＰＵ２１３は、ＲＯＭ２１４に格納されたブートプログラムを実行して会議サーバ１０２のＯＳ（不図示）を起動する。ＯＳが起動すると、ＣＰＵ２１３は、ストレージ２１６に格納された会議サーバプログラムを実行して、データバス２２０を介して接続された各デバイスを制御する。ＲＯＭ２１４は、不揮発メモリであり、ブートプログラム等を格納する。ＲＡＭ２１５は、ＣＰＵ２１３の作業領域として、また、各データの一時格納領域として用いられる。ストレージ２１６は、読み出し及び書き込み可能な不揮発メモリであり、上記会議サーバプログラム等を格納する。入力デバイス２１７は、タッチパネル、ハードキー、及びマウス等から構成される入力装置である。入力デバイス２１７は、ユーザの操作指示を受け付けると、受け付けた操作指示の内容を示す指示情報をＣＰＵ２１３に送信する。表示デバイス２１８は、ＬＣＤ等の表示装置である。表示デバイス２１８は、ＣＰＵ２１３が生成した表示画像データ等を表示する。外部インターフェース２１９は、ＬＡＮや電話回線等のネットワーク、又は赤外線といった近接無線等のネットワークを介して、外部機器とデータの送受信を行う。
【００２０】
図３は、図１の会議装置１０１によって実行される会議情報記録処理の手順を示すフローチャートである。
【００２１】
図３の処理は、ストレージ２０４からＲＡＭ２０３に展開されたコントローラプログラムをＣＰＵ２０１が実行することによって行われる。図３の処理は、会議装置１０１の電源キー（不図示）を用いたユーザによる会議装置１０１の電源オンの指示を受け付けた際に実行される。電源オンが指示されると、会議装置１０１は、起動処理を開始し、表示デバイス２０６に図４（ａ）の開始画面４００を表示する。開始画面４００は、開始ボタン４０１を備える。開始ボタン４０１は、ユーザが会議装置１０１に会議開始を指示するためのボタンである。
【００２２】
図３において、まず、ＣＰＵ２０１は、ユーザが会議開始を指示したか否かを判別する（ステップＳ３０１）。ステップＳ３０１では、ユーザが開始画面４００において開始ボタン４０１を選択した場合、ＣＰＵ２０１は、ユーザが会議開始を指示したと判別する。一方、ユーザが開始画面４００において開始ボタン４０１を選択しない場合、ＣＰＵ２０１は、ユーザが会議開始を指示しないと判別する。
【００２３】
ステップＳ３０１の判別の結果、ユーザが会議開始を指示したとき、ＣＰＵ２０１は、マイクデバイス２０９を駆動して録音を開始する。また、ＣＰＵ２０１は、全方位カメラデバイス２１１を駆動して録画を開始する。次いで、ＣＰＵ２０１は、表示デバイス２０６に図４（ｂ）の会議中画面４０２を表示する。会議中画面４０２は、終了ボタン４０３を備える。終了ボタン４０３は、ユーザが会議装置１０１に会議終了を指示するためのボタンである。次いで、ＣＰＵ２０１は、後述する図５の録音制御処理を実行し（ステップＳ３０２）、会議の各参加者の音声の録音を制御する。次いで、ＣＰＵ２０１は、ユーザが会議終了を指示したか否かを判別する（ステップＳ３０３）。ステップＳ３０３では、ユーザが会議中画面４０２において終了ボタン４０３を選択した場合、ＣＰＵ２０１は、ユーザが会議終了を指示したと判別する。一方、ユーザが会議中画面４０２において終了ボタン４０３を選択しない場合、ＣＰＵ２０１は、ユーザが会議終了を指示しないと判別する。
【００２４】
ステップＳ３０３の判別の結果、ユーザが会議終了を指示しないとき、ＣＰＵ２０１は、ステップＳ３０２の処理に戻る。ステップＳ３０３の判別の結果、ユーザが会議終了を指示したとき、ＣＰＵ２０１は、表示デバイス２０６に図４（ｃ）の会議終了画面４０４を表示する。会議終了画面４０４は、送信先フィールド４０５及びＯＫボタン４０６を備える。送信先フィールド４０５には、議事録の送信先が入力される。ユーザは、入力デバイス２０５を用いて送信先フィールド４０５に送信先を示すメールアドレス等を入力する。ＯＫボタン４０６は、ユーザが会議装置１０１に会議終了の確定を指示するためのボタンである。次いで、ＣＰＵ２０１は、ユーザが会議終了の確定を指示するまで待機する（ステップＳ３０４）。ユーザが会議終了の確定の指示として、会議終了画面４０４の送信先フィールド４０５にメールアドレス等を入力した状態でＯＫボタン４０６を選択すると（ステップＳ３０４でＹＥＳ）、ＣＰＵ２０１は、ステップＳ３０５の処理を行う。ステップＳ３０５では、ＣＰＵ２０１は、録音した音声データと送信先フィールド４０５に入力された送信先のメールアドレスを含む会議情報を生成し、当該会議情報を会議サーバ１０２に送信する。また、ＣＰＵ２０１は、表示デバイス２０６に表示された会議終了画面４０４を開始画面４００に切り替え、ステップＳ３０１の処理に戻る。
【００２５】
ステップＳ３０１の判別の結果、ユーザが会議開始を指示しないとき、ＣＰＵ２０１は、ユーザが会議装置１０１の電源オフを指示したか否かを判別する（ステップＳ３０６）。
【００２６】
ステップＳ３０６の判別の結果、ユーザが会議装置１０１の電源オフを指示しないとき、ＣＰＵ２０１は、ステップＳ３０１の処理に戻る。ステップＳ３０６の判別の結果、ユーザが会議装置１０１の電源オフを指示したとき、ＣＰＵ２０１は、会議装置１０１のシャットダウン処理を実行し、本処理を終了する。
【００２７】
図５は、図３のステップＳ３０２の録音制御処理の手順を示すフローチャートである。図５において、ＣＰＵ２０１は、全方位カメラデバイス２１１から１フレーム分の画像データである図６（ａ）の全方位画像データ６００を取得する（ステップＳ５０１）。次いで、ＣＰＵ２０１は、取得した全方位画像データ６００を解析し、全方位画像データ６００における会議の参加者の位置座標を取得する（ステップＳ５０２）。ステップＳ５０２では、ＣＰＵ２０１は、例えば、全方位画像データ６００に含まれる全ての参加者の顔領域を検出し、各顔領域の位置座標を３次元の座標系に変換する。変換された顔領域の位置座標は、世界座標系における位置座標（Ｘｎ，Ｙｎ，Ｚｎ）で表される。添え字ｎは、顔領域に対応するＩＤである。
【００２８】
図７は、本実施の形態における座標系を説明するための図である。図７（ａ）は、全方位カメラデバイス２１１から取得した全方位画像データ６００の左上頂点を原点とする座標系を説明するための図である。図７（ｂ）は、全方位カメラデバイス２１１の位置を原点とする世界座標系を説明するための図である。図７（ａ）及び図７（ｂ）では、一例として、顔領域２に関する座標情報が示されている。参加者の顔領域の世界座標系における位置座標（Ｘｎ，Ｙｎ，Ｚｎ）は、顔領域の大きさに対応する距離Ｄｎを用いて下記式（１）〜（３）で表される。
Ｘｎ＝Ｄｎcosφｎ×cosθｎ  …  （１）
Ｙｎ＝Ｄｎcosφｎ×sinθｎ  …  （２）
Ｚｎ＝Ｄｎsinφｎ  …  （３）
【００２９】
θｎは、カメラ位置座標（Ｘｃ，Ｙｃ）及び位置座標（Ｘｎ，Ｙｎ）を結ぶ直線が、基準となるＹ軸となす時計回転方向の角度である（例えば、図７（ａ）のθ２を参照。）。カメラ位置座標（Ｘｃ，Ｙｃ）は、全方位画像データ６００のＸＹ座標系における全方位カメラデバイス２１１を示す領域の位置座標である。位置座標（Ｘｎ，Ｙｎ）は、全方位画像データ６００のＸＹ座標系における参加者の顔領域の位置座標である。φｎは、全方位カメラデバイス２１１（例えば、図７（ｂ）の原点）から参加者の顔領域を眺めた方向を示す直線（例えば、図７（ｂ）の直線Ａ）と世界座標系のＸＹ平面とがなす仰角である。角度θｎ，φｎは、全方位カメラデバイス２１１の視野半径ｒＣを用いて下記式（４），（５）で表される。
θｎ＝tan−１（（Ｘｃ−Ｘｎ）／（Ｙｎ−Ｙｃ））  …  （４）
φｎ＝cos−１（（Ｘｃ−Ｘｎ）／（ｒＣ×sinθｎ））  …  （５）
【００３０】
ステップＳ５０２では、式（１）〜（５）を用いて、各参加者の顔領域の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）を取得する。なお、本実施の形態では、Ｘｎ，Ｙｎの情報のみを用い、Ｚｎの情報を用いない。
【００３１】
次いで、ＣＰＵ２０１は、全方位画像データ６００を解析して、全方位画像データ６００における予め登録された会議関連領域の位置座標を取得する（ステップＳ５０３）。本実施の形態では、全方位画像データ６００において、会議に関する内容が記されたホワイトボード等の掲示物を示す領域６０１や、プロジェクタによって投影された資料等の表示物を示す領域６０２等が、会議関連領域として登録される。なお、会議関連領域は、ユーザが手動で指定しても良い。また、例えば、ＣＰＵ２０１が図６（ｂ）に示すような全方位画像データ６００の展開画像６０３を解析して会議関連領域を自動で検出しても良い。ユーザが会議関連領域を指定する場合、例えば、ＣＰＵ２０１は、全方位カメラデバイス２１１の駆動時に全方位画像データ６００を表示デバイス２０６に表示させる。ユーザは、表示デバイス２０６に表示された全方位画像データ６００において、会議関連領域として領域６０１や領域６０２等を指定する。一方、ＣＰＵ２０１が会議関連領域を自動で検出する場合、ＣＰＵ２０１は、全方位画像データ６００において閾値以上の面積を持つ連続した白画素領域をホワイトボードを示す領域として特定し、当該領域を会議関連領域として検出する。また、資料表示用端末（不図示）に資料を表示する際に用いられる表示資料用アプリが開いているページのスクリーンショットを撮影した画像データを会議サーバ１０２に保存し、ＣＰＵ２０１が当該画像データと全方位画像データ６００との特徴量マッチングを行って会議関連領域を検出する。
【００３２】
次いで、ＣＰＵ２０１は、参加者の顔の向きを判別する（ステップＳ５０４）。ＣＰＵ２０１は、ステップＳ５０２で位置座標を取得した全ての顔領域に対し、ステップＳ５０４以降の処理を行う。ステップＳ５０４では、ＣＰＵ２０１は、顔領域の特徴点を検出し、検出した特徴点の位置に基づいて顔領域の角度Ｒθｎを算出する。添え字ｎは処理対象の顔のＩＤを表す。図８は、本実施の形態における角度Ｒθｎの算出を説明するための図である。角度Ｒθｎは、角度Ｆθ１及び角度Ｆθ２を用いて下記式（６）で表される。
Ｒθｎ＝Ｆθ２−Ｆθ１  …  （６）
【００３３】
角度Ｆθ１は、例えば、図８（ａ）に示すように、処理対象となる顔領域が全方位カメラデバイス２１１（正面）側を向いている際の画像に基づいて算出される基準角度である。角度Ｆθ１は、全方位カメラデバイス２１１と顔領域の回転中心Ｃとを結ぶ仮想直線Ｖ１を基準に、顔領域における左眼Ｅと回転中心Ｃとを結ぶ仮想直線Ｖ２がなす角度である。角度Ｆθ１は、左眼Ｅ及び回転中心Ｃを結ぶ回転半径Ｒと、参加者が全方位カメラデバイス２１１を向いている際の仮想直線Ｖ１から左眼Ｅまでの離間距離Ｗ１とに基づいて算出される。角度Ｆθ２は、回転半径Ｒと、参加者の顔の向きが変化する際の仮想直線Ｖ１から左眼Ｅまでの図８（ｂ）の離間距離Ｗ２とに基づいて算出される。角度Ｆθ１及び角度Ｆθ２は、下記式（７），（８）で表される。
Ｆθ１＝sin−１（Ｗ１／Ｒ）  …  （７）
Ｆθ２＝sin−１（Ｗ２／Ｒ）  …  （８）
【００３４】
回転半径Ｒは、図８（ｃ）に示す顔領域の代表長さＦＤ、及び係数ａに基づいて下記式（９）で算出される。
Ｒ＝ａ×ＦＤ  …  （９）
【００３５】
代表長さＦＤは、左眼Ｅと、顔領域における左眼Ｅと異なる特徴部分として抽出された唇との上下方向の画素数に基づく距離である。また、離間距離Ｗ１，Ｗ２は、左眼Ｅの逆側の図８（ｃ）の顔隅ＦＥ及び左眼Ｅの間の画素数に基づく距離Ｐと回転半径Ｒとの差で算出される。ステップＳ５０４では、式（６）により、全方位カメラデバイス２１１側を向いている参加者の顔の向きを示す角度を０度として、参加者の顔の向きを示す角度を取得する。なお、参加者が全方位カメラデバイス２１１側を向いている場合、Ｗ１＝Ｗ２となり、Ｆθ１＝Ｆθ２となるため、式（６）の結果は０度となる。なお、上述した参加者の顔の向きの角度を算出する方法は、一例であり、この方法に限られない。
【００３６】
次いで、ＣＰＵ２０１は、参加者が見ている対象物を特定する対象物特定処理を実行する（ステップＳ５０５）。ステップＳ５０２で全方位画像データ６００における各参加者の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）と、ステップＳ５０３で取得した全方位画像データ６００における会議関連領域の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）と、ステップＳ５０４で算出した角度Ｒθｎとに基づいて、例えば、図９（ａ）に示す３次元空間が表される。この３次元空間において、ＣＰＵ２０１は、処理対象となる顔領域と全方位カメラデバイス２１１とを結ぶ方向ベクトル並びに特定の領域と処理対象となる顔領域とを結ぶ各方向ベクトルで形成される角Ｌθｎｍを抽出する。特定の領域は、処理対象と異なる他の顔領域及び会議関連領域である。なお、添え字ｎは、処理対象となる顔のＩＤを表し、添え字ｍは、他の顔及び会議関連領域のＩＤを表す。
【００３７】
ステップ５０５では、処理対象の顔領域が、例えば、図９（ｂ）の「顔５」である場合、ＣＰＵ２０１は、方向ベクトルＡ及び方向ベクトルＢ１〜Ｂ７で形成される角Ｌθ５１〜角Ｌθ５７を抽出する。方向ベクトルＡは、「顔５」の位置座標（Ｘ５，Ｙ５，Ｚ５）及び全方位カメラデバイス２１１の位置座標（０，０，０）を結ぶ方向ベクトルである。方向ベクトルＢ１は、「顔５」の位置座標（Ｘ５，Ｙ５，Ｚ５）と他の顔領域である「顔１」の位置座標（Ｘ１，Ｙ１，Ｚ１）とを結ぶ方向ベクトルである。方向ベクトルＢ２は、「顔５」の位置座標（Ｘ５，Ｙ５，Ｚ５）と他の顔領域である「顔２」の位置座標（Ｘ２，Ｙ２，Ｚ２）とを結ぶ方向ベクトルである。方向ベクトルＢ３は、「顔５」の位置座標（Ｘ５，Ｙ５，Ｚ５）と他の顔領域である「顔３」の位置座標（Ｘ３，Ｙ３，Ｚ３）とを結ぶ方向ベクトルである。方向ベクトルＢ４は、「顔５」の位置座標（Ｘ５，Ｙ５，Ｚ５）と他の顔領域である「顔４」の位置座標（Ｘ４，Ｙ４，Ｚ４）とを結ぶ方向ベクトルである。方向ベクトルＢ６は、「顔５」の位置座標（Ｘ５，Ｙ５，Ｚ５）とホワイトボードを示す領域９０２とを結ぶ方向ベクトルである。方向ベクトルＢ７は、「顔５」の位置座標（Ｘ５，Ｙ５，Ｚ５）と投影された資料を示す投影資料領域９０１とを結ぶ方向ベクトルである。角Ｌθ５ｍは下記式（１０）で表される。
Ｌθ５ｍ＝cos−１（Ａ×Ｂ／｜Ａ｜×｜Ｂ｜）  …  （１０）
【００３８】
例えば、ｍ＝７である場合、Ａ，Ｂは下記のように表される。
Ａ＝（Ａｘ，Ａｙ，Ａｚ）＝（０−Ｘ５，０−Ｙ５，０−Ｚ５）
Ｂ＝（Ｂｘ，Ｂｙ，Ｂｚ）＝（Ｘ７−Ｘ５，Ｙ７−Ｙ５，Ｚ７−Ｚ５）
｜Ａ｜＝（Ａｘ２＋Ａｙ２＋Ａｚ２）１／２
｜Ｂ｜＝（Ｂｘ２＋Ｂｙ２＋Ｂｚ２）１／２
【００３９】
本実施の形態では、角Ｌθ５ｍの算出について、ｍ＝７を例示したが、ｍ＝１〜４，６も同様に行われる。その後、ＣＰＵ２０１は、算出した角Ｌθ５１〜Ｌθ５４、Ｌθ５６、Ｌθ５７の中にＲθ５±閾値以内に相当する範囲９００に少なくとも一部が含まれる角が存在するか否かを判別する。閾値は、例えば、人間の中心視野が２０度であることを考慮して１０度とする。なお、閾値は、１０度に限られず、対象物毎に異なる値を設定しても良い。上記判別した結果、図９（ｂ）に示すように、角度Ｌθ５７が範囲９００に少なくとも一部が含まれるので、ＣＰＵ２０１は、「顔５」の参加者が投影された資料を見ていると判別する。なお、本実施の形態では、「顔５」に対するステップＳ５０５の処理について説明したが、ＣＰＵ２０１は、「顔１」〜「顔４」についても同様の処理を実行する。その結果、例えば、図９（ａ）における「顔１」の参加者は、「顔２」の参加者を見ていると判別される。また、「顔４」の参加者は、角Ｌθ４ｍの中に角度Ｒθ４±閾値以内に相当する範囲に少なくとも一部が含まれる角が存在しないので、何も見ていないと判別される。判別した結果は、ＲＡＭ２０３に格納されている図１０の顔検出情報１００１に記録される。顔検出情報１００１は、例えば、全方位画像データ６００における顔領域及び会議関連領域の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）、Ｒθｎ、Ｌθｍｎ、各参加者が見ている対象物を示す情報を含む。次いで、ＣＰＵ２０１は、顔検出情報１００１に基づいて処理対象の顔領域に対応する参加者（以下、「処理対象参加者」とする。）の顔が特定の領域に対応する特定の対象物側を向いているか否かを判別する（ステップＳ５０６）。特定の対象物は、処理対象と異なる他の顔、及び予め登録された会議関連領域に対応する掲示物や表示物である。
【００４０】
ステップＳ５０６の判別の結果、処理対象参加者の顔が特定の対象物側を向いていないとき、処理対象参加者が会議に関連する内容を発言している可能性が低い。このとき、ＣＰＵ２０１は、処理対象参加者に対応するマイクの録音を開始しているか否かを判別する（ステップＳ５０７）。
【００４１】
ステップＳ５０７の判別の結果、処理対象参加者に対応するマイクの録音を開始していないとき、ＣＰＵ２０１は、ステップＳ５０４の処理に戻る。ステップＳ５０７の判別の結果、処理対象の顔に対応するマイクの録音を開始しているとき、ＣＰＵ２０１は、処理対象参加者に対応するマイクの録音を停止する（ステップＳ５０８）。すなわち、本実施の形態では、会議の複数の参加者のうち、判別された顔の向きが特定の対象物側を向いていない参加者の発話が録音されない。ＣＰＵ２０１は、ステップＳ５０２で位置座標を取得した各顔領域に対してステップＳ５０４以降の処理を実行し、全ての顔領域に対する処理を完了すると、本処理を終了する。
【００４２】
ステップＳ５０６の判別の結果、処理対象参加者の顔が特定の対象物側を向いているとき、処理対象参加者が会議に関連する内容を発言している可能性が極めて高い。このとき、ＣＰＵ２０１は、処理対象参加者に対応するマイクの録音を停止しているか否かを判別する（ステップＳ５０９）。
【００４３】
ステップＳ５０９の判別の結果、処理対象参加者に対応するマイクの録音を停止していないとき、ＣＰＵ２０１は、ステップＳ５０４の処理に戻る。ステップＳ５０９の判別の結果、処理対象参加者に対応するマイクの録音を停止しているとき、ＣＰＵ２０１は、処理対象参加者に対応するマイクの録音を開始する（ステップＳ５１０）。すなわち、本実施の形態では、会議の複数の参加者のうち、判別された顔の向きが特定の対象物側を向いている参加者の発話が録音される。ＣＰＵ２０１は、ステップＳ５０２で位置座標を取得した各顔領域に対してステップＳ５０４以降の処理を実行し、全ての顔領域に対する処理を完了すると、本処理を終了する。
【００４４】
上述した実施の形態によれば、参加者の顔の向きに基づいて当該参加者の発話を録音するか否かが決定される。これにより、発話を録音するか否かを参加者毎に制御することができ、もって、会議に関係しない発話の録音を抑制することができる。
【００４５】
また、上述した実施の形態では、判別された顔の向きが特定の対象物側を向いている参加者の発話が録音され、判別された顔の向きが特定の対象物側を向いていない参加者の発話が録音されない。これにより、会議に関連する内容を発言している可能性が極めて高い参加者の発話を録音しつつ、会議に関係しない発話の録音を抑制することができる。
【００４６】
上述した実施の形態では、特定の対象物は、処理対象と異なる他の参加者を含む。また、特定の対象物は、予め登録された会議に関連する掲示物及び表示物を含む。これにより、会議に関連する内容を発言している可能性が低い参加者の発話の録音を抑制することができる。
【００４７】
以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、参加者の顔が会議装置１０１に対面しないことで十分な音量で当該参加者の発話を録音できない場合、ステップＳ５０９で該当するマイクの録音を開始する際に当該マイクの入力感度を上げてもよい。
【００４８】
上述した実施の形態では、録音中にリアルタイムで処理する方法を記載したが、録音を終了した後に特定の対象物側を向いていない参加者の音声データを削除しても良い。例えば、ＣＰＵ２０１は、取得した会議室の動画像に基づいて特定の対象物側を向いていない期間を参加者毎に特定し、各参加者の音声データにおける特定された期間のデータを削除する。
【００４９】
さらに、上述した本実施の形態では、会議装置１０１及び会議サーバ１０２が別の装置である場合について説明したが、このような構成に限られない。例えば、会議装置１０１が上述した機能の他に、会議サーバ１０２の機能を備え、議事録の作成及び配信を行っても良い。
【００５０】
上述した実施の形態では、会議装置１０１が全方位画像データ６００を生成する場合について説明したが、会議装置１０１は、他の装置が生成した全方位画像データ６００を当該他の装置から取得しても良い。
【００５１】
また、上述した実施の形態では、所定の数以上の参加者に見られている参加者の発話を録音しても良い。
【００５２】
ここで、特定の対象物側に顔を向けていない参加者であっても、他の参加者の注目を浴びている参加者は会議に関係する内容を発話している可能性が極めて高い。このような参加者として、例えば、会議装置１０１に背を向けてホワイトボードに書き込みながら説明する参加者が該当する。会議に関係する発話を漏れなく録音するために、上述した参加者の発話を録音するのが好ましい。
【００５３】
これに対し、本実施の形態では、所定の数以上の参加者に見られている参加者の発話を録音する。
【００５４】
図１１は、図５の録音制御処理の変形例の手順を示すフローチャートである。図１１において、ＣＰＵ２０１は、ステップＳ５０１〜Ｓ５０５の処理を行う。ステップＳ５０５では。ＣＰＵ２０１は、判別した結果を、ＲＡＭ２０３に格納されている図１２の顔検出情報１２０１に記録する。顔検出情報１２０１は、顔検出情報１００１に含まれる情報の他に、参加者の注目度計測値を含む。ステップＳ５０５において、ＣＰＵ２０１は、処理対象の顔領域に対応する注目度計測値を０に初期化する。その後、ＣＰＵ２０１は、全方位画像データ６００において処理対象の顔領域側を向いている他の顔領域の数を注目度計測値に設定する。例えば、図９（ａ）の「顔１」〜「顔３」が処理対象の「顔４」側を向いている場合、「顔４」の注目度計測値が「３」に設定される。次いで、ＣＰＵ２０１は、ステップＳ５０６の処理を行う。
【００５５】
ステップＳ５０６の判別の結果、処理対象参加者の顔が特定の対象物側を向いていないとき、ＣＰＵ２０１は、顔検出情報１２０１に基づいて処理対象参加者の注目度計測値が予め設定された注目度閾値以上であるか否かを判別する（ステップＳ１１０１）。注目度閾値は、例えば、会議の参加者数の半数である。
【００５６】
ステップＳ１１０１の判別の結果、処理対象参加者の注目度計測値が注目度閾値以上であるとき、ＣＰＵ２０１は、ステップＳ５０９以降の処理を行う。すなわち、本実施の形態では、自身の顔の向きに関わらず、注目度閾値以上の参加者に見られている参加者の発話が録音される。ステップＳ１１０１の判別の結果、処理対象参加者の注目度計測値が注目度閾値未満であるとき、ＣＰＵ２０１は、ステップＳ５０７以降の処理を行う。
【００５７】
上述した実施の形態では、注目度閾値以上の参加者に見られている参加者の発話が録音される。これにより、会議に関係しない発話の録音を抑制しつつ、会議に関連する発話を網羅的に録音することができる。
【００５８】
本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１０１  会議装置
２０１  ＣＰＵ
２０９  マイクデバイス
２１１  全方位カメラデバイス
６００  全方位画像データ
【図１】
2020115609.tif 000003
【図２】
2020115609.tif 000004
【図３】
2020115609.tif 000005
【図４】
2020115609.tif 000006
【図５】
2020115609.tif 000007
【図６】
2020115609.tif 000008
【図７】
2020115609.tif 000009
【図８】
2020115609.tif 000010
【図９】
2020115609.tif 000011
【図１０】
2020115609.tif 000012
【図１１】
2020115609.tif 000013
【図１２】
2020115609.tif 000014