(57)【特許請求の範囲】
【請求項１】
人物を撮影する撮影装置において、
発話した人物の方向及び発話時の音量を検出する検出部と、
前記検出した方向に撮影方向を制御する制御部と、
前記検出部により検出された方向の前記人物の画像上の大きさを計測する計測部と、
前記音量が所定範囲に係る第１範囲の最小値よりも小さく、かつ前記人物の画像上の大きさが第２範囲の最小値よりも小さい場合、前記人物に通知をする通知部と、
を有する撮影装置。
【請求項２】
前記通知部は、前記音量が所定範囲の最大値よりも大きい場合、前記人物に通知する請求項１に記載の撮影装置。
【請求項３】
前記計測部は、前記検出部により検出された方向の前記人物との距離を計測し、
前記通知部は、前記音量が前記第１範囲の最小値よりも小さく、かつ前記人物との距離が第３範囲の最大値よりも大きい場合、前記人物に通知をする請求項１に記載の撮影装置。
【請求項４】
前記通知部は、前記音量が前記第１範囲の最大値よりも大きく、かつ前記人物の画像上の大きさが前記第２範囲の最大値よりも大きい場合、前記人物に通知をする請求項２に記載の撮影装置。
【請求項５】
前記計測部は、前記検出部により検出された方向の前記人物との距離を計測し、
前記通知部は、前記音量が前記第１範囲の最大値よりも大きく、かつ前記人物との距離が第３範囲の最小値よりも小さい場合、前記人物に通知をする請求項２に記載の撮影装置。
【請求項６】
前記撮影した画像から抽出された顔画像に対応する人物の識別情報に、通知の有無を対応付けて記憶部に格納する格納部を有し、
前記通知部は、前記撮影された人物に対して通知を行っていない場合に、通知をする請求項１〜５のいずれか１項に記載の撮影装置。
【請求項７】
人物を撮影する撮影装置に実行させるプログラムであって、
発話した人物の方向及び発話時の音量を検出し、
前記検出した方向に撮影方向を制御し、
前記検出した方向の前記人物の画像上の大きさを計測し、
前記音量が所定範囲に係る第１範囲の最小値よりも小さく、かつ前記人物の画像上の大きさが第２範囲の最小値よりも小さい場合、前記人物に通知をする処理を撮影装置に実行させるプログラム。
【請求項８】
人物を撮影する撮影装置が実行する方法であって、
発話した人物の方向及び発話時の音量を検出し、
前記検出した方向に撮影方向を制御し、
前記検出した方向の前記人物の画像上の大きさを計測し、
前記音量が所定範囲に係る第１範囲の最小値よりも小さく、かつ前記人物の画像上の大きさが第２範囲の最小値よりも小さい場合、前記人物に通知をする処理を撮影装置が実行する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、プログラム及び撮影方法に関する。
【背景技術】
【０００２】
会議で発話した参加者をカメラで追尾して撮影し、会議の映像を外部に配信するシステムがある。
【０００３】
例えば、会議室に設置されているカメラにマイクアレイが配列されており、マイクアレイによって発話した参加者の方向が検知される。検知した参加者の方向にカメラの向きが制御され、発話している参加者が撮影される。別の参加者が発話した場合、発話した参加者の方向にカメラの向きが変更される。撮影された会議の映像（画像）は、ネットワークを介して閲覧者の端末に配信される。
【０００４】
例えば、複数のマイクを配列して構成されたマイクアレイを用いて発話者の方向を検出し、検出した方向にカメラの向きを制御する技術が開示されている（例えば、特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、撮影時に鮮明な音声を収録できないという問題があった。
【０００６】
例えば、発話者がカメラから遠く離れた位置に着席している場合、音声が小さすぎるため、鮮明な音声を収録できないことがある。また、発話者がカメラに近すぎる位置に着席している場合、音声が大きくなりすぎるため、音声が割れるおそれがある。
【０００７】
そこで、開示の技術では、より鮮明な音声を収録することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態では、人物を撮影する撮影装置において、発話した人物の方向及び発話時の音量を検出する検出部と、前記検出した方向に撮影方向を制御する制御部と、前記検出部により検出された方向の前記人物の画像上の大きさを計測する計測部と、前記音量が所定範囲に係る第１範囲の最小値よりも小さく、かつ前記人物の画像上の大きさが第２範囲の最小値よりも小さい場合、前記人物に通知をする通知部と、を有する撮影装置が開示される。
【発明の効果】
【０００９】
より鮮明な音声を収録することができる。
【図面の簡単な説明】
【００１０】
【図１】映像配信システムの全体の構成の例を示す図である。
【図２】配信端末のハードウェア構成を示す図である。
【図３】実施形態１に係る配信端末の機能構成の例を示す図である。
【図４】カメラの位置座標と角度との関係を示す図である。
【図５】参加者の位置と通知されるメッセージとの関係を示す図である。
【図６】実施形態１の制御フローを示す図である。
【図７】実施形態２に係る配信端末の機能構成の例を示す図である。
【図８】ユーザテーブルのデータ構造の例を示す図である。
【図９】実施形態２の制御フローを示す図である。
【図１０】認証処理のフローを示す図である。
【図１１Ａ】実施形態３の配信端末の第１のハードウェア構成を示す図である。
【図１１Ｂ】実施形態３の配信端末の第２のハードウェア構成を示す図である。
【図１２】ステレオカメラの外観の一例を示す図である。
【図１３】距離センサの外観の一例を示す図である。
【図１４】実施形態３の制御フローを示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することによって重複した説明を省く。
【００１２】
（実施形態１）
図１は、映像配信システム１の全体の構成の例を示す図である。映像配信システム１は、サーバ２と、配信端末３と、利用者端末４ａ〜４ｎと、表示装置６とを有する。サーバ２は、通信部２１を有する。配信端末３は、通信部３１と、処理部３２と、データ取得部３３と、データ出力部３４と、記憶部３５とを有する。サーバ２と、配信端末３と、利用者端末４ａ〜４ｎとは、通信ネットワーク５を介して接続される。また、表示装置６は、データ出力部３４に接続される。なお、表示装置６は、配信端末３に設けられていてもよい。
【００１３】
データ取得部３３は、例えば、会議室内の画像データ及び音声データを取得する。通信部３１は、取得した画像データ及び音声データを、通信ネットワーク５を介してサーバ２に送信する。サーバ２は、通信ネットワーク５を介して利用者端末４ａ〜４ｎに画像データ及び音声データを配信する。
【００１４】
図２は、配信端末３のハードウェア構成を示す図である。図２に示されているように、配信端末３は、配信端末３全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、ＩＰＬ(Initial Program Loader)等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、端末用プログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、配信端末３の宛先を選択する場合などに操作される操作ボタン１０８、配信端末３の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、通信ネットワーク５を利用してデータ伝送をするためのネットワークＩ／Ｆ(Interface)１１１を備えている。
【００１５】
また、配信端末３は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、及び上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。
【００１６】
ディスプレイ１２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示部である。また、ディスプレイ１２０は、ケーブル１２０ｃによってディスプレイＩ／Ｆ１１７に接続される。このケーブル１２０ｃは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ（登録商標）(High-Definition Multimedia Interface)やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。
【００１７】
カメラ１１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサ等が用いられる。
【００１８】
外部機器接続Ｉ／Ｆ１１８には、ＵＳＢ(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２に優先して、外付けカメラが動作する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ１０１の制御に従って、それぞれが内蔵型のマイク１１４や内蔵型のスピーカ１１５に優先して、外付けマイクや外付けスピーカを駆動させる。
【００１９】
なお、記録メディア１０６は、配信端末３に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。
【００２０】
更に、上記端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記端末用プログラムは、フラッシュメモリ１０４ではなくＲＯＭ１０２に記憶させるようにしてもよい。
【００２１】
図３は、実施形態１に係る配信端末３の機能構成の例を示す図である。データ取得部３３は、音声取得部３３ａと、撮像部３３ｂとを有する。音声取得部３３ａは、会議室内の音声データを取得する。
【００２２】
撮像部３３ｂは、発話者の画像データを取得する。撮像部３３ｂは、取得した発話者の画像データを記憶部３５に記憶する。また、通信部３１は、会議室内の画像データ及び音声データをサーバ２へ送信する。
【００２３】
処理部３２は、検出部３２ａと、制御部３２ｂと、計測部３２ｃと、通知部３２ｄとを有する。検出部３２ａは、音声取得部３３ａを用いて、会議室で発話した参加者の方向を検出する。具体的には、検出部３２ａは、例えば、音声取得部３３ａで取得された音声データから音声の平均値を算出し、音声の平均値が所定値以上の場合に発話者が存在するものと判定する。
【００２４】
続いて、検出部３２ａは、マイクアレイを構成する各マイクから取得された音声データに基づいて発話者の方向を検出する。例えば、検出部３２ａは、座標を（０,０）とする原点から会議室内の基準点（座標（０,Ｙ０））を撮影する方向を０度とした場合、撮像部３３ｂの位置座標（Ｘ０,Ｙ０）を取得し、また音声データに基づいて参加者を撮影した時の撮影角度θとを取得する。
【００２５】
以下、発話者の位置に対応した撮影方向に関するデータを方向データという。方向データは、撮像部３３ｂの位置座標（Ｘ０,Ｙ０）と参加者を撮影した時の撮影角度θとにより、例えば、（Ｘ０,Ｙ０,θ）のように表される。
【００２６】
図４は、撮像部３３ｂの位置座標と角度との関係を示す図である。方向データＢ（０,０,０）は、原点（０,０）から基準点β（０,Ｙ０）を撮影した場合の撮像部３３ｂの位置座標（０,０）及び撮影角度０度を示す。
【００２７】
方向データＡ（Ｘ１,Ｙ１,θ１）は、撮像部３３ｂの位置座標（Ｘ１,Ｙ１）と、発話者が検出された方向に対応する撮像部３３ｂの撮影角度θ１を示す。また、撮影角度θ１は、原点（０,０）から基準点β（０,Ｙ０）を撮影した撮像部３３ｂの撮影角度を０度とした場合において、位置座標（Ｘ１,Ｙ１）から発話者を撮影したときの撮影角度を示す。なお、撮像部３３ｂを原点（０,０）に固定する場合は、方向データを撮影角度θ１のみで表してもよい。
【００２８】
また、検出部３２ａは、複数の撮像部３３ｂを用いて発話者を検出してもよい。例えば、複数の撮像部３３ｂを用いて発話者を検出する場合、発話者を検出した撮像部３３ｂの識別番号ｎと、撮像部３３ｂの位置及び撮影角度のデータ（Ｘ０,Ｙ０,θ）とに基づいて、検出部３２ａは、カメラの識別番号ｎを含む方向データ（ｎ,Ｘ０,Ｙ０,θ）を取得してもよい。
【００２９】
図３に戻る。制御部３２ｂは、撮像部３３ｂが発話者の方向に向くように撮影方向を制御する。例えば、制御部３２ｂは、方向データに基づいて、発話者が画像の中心となるように撮像部３３ｂを旋回させる。続いて、制御部３２ｂは、撮像部３３ｂによって撮影された発話者の画像データを取得する。制御部３２ｂは、取得した画像データから顔部分の画像データを抽出して記憶部３５に記憶させる。
【００３０】
顔部分の画像データの抽出は、例えば、顔の形状及び肌色の領域を基に実行される。例えば、制御部３２ｂは、画像データの画素のＲＧＢ値をＹＣＣ表色系に変換し、Ｃｒ値及びＣｂ値が所定の範囲内にある肌色画素を抽出する。制御部３２ｂは、画像データから肌色画素が集まっている領域を特定することにより、顔画像を抽出する。
【００３１】
計測部３２ｃは、記憶部３５に記憶された画像データに含まれる参加者の顔部分のサイズを計測する。計測部３２ｃは、肌色画素が集まっている領域の左端、右端、上端、下端を特定することで顔のサイズ（インチ）を計測する。
【００３２】
参加者が撮像部３３ｂの近くに着席していた場合、比較的顔部分のサイズが大きくなり、参加者が撮像部３３ｂから離れた位置に着席していた場合、比較的顔部分のサイズが小さくなる。
【００３３】
通知部３２ｄは、音声取得部３３ａによって取得された参加者の音声が所定範囲の最大値よりも大きいか否かと、参加者の音声が所定範囲の最小値よりも小さいか否かと、を判定する。また、通知部３２ｄは、例えば、発話者の音声データに係る音量の平均値を用いて上記所定範囲と比較する判定を行う。また、計測部３２ｃによって計測された参加者の顔部分のサイズが所定範囲の最大値よりも大きいか否かと、参加者の顔部分のサイズが所定範囲の最小値よりも小さいか否かと、を判定する。なお、参加者の音声は、デシベル「ｄＢ」等の単位で表され、参加者の顔のサイズは、インチ「ｉｎ」等の単位で表される。
【００３４】
通知部３２ｄは、参加者の音声が所定範囲の最大値よりも大きく、かつ参加者の顔部分のサイズが所定範囲の最大値よりも大きい場合、マイクから離れることを促すメッセージを参加者に通知する。また、通知部３２ｄは、参加者の音声が所定範囲の最小値よりも小さく、かつ参加者の顔部分のサイズが所定範囲の最小値よりも小さい場合、マイクに近づくことを促すメッセージを参加者に通知する。
【００３５】
このように、通知部３２ｄは、発話者の音声データの音量が所定範囲の最大値よりも大きいか、又は所定の範囲の最小値よりも小さい場合に、さらに、発話者の顔のサイズに基づいて発話者に通知を行うか否かを判定する。例えば、通知部３２ｄは、発話者がマイクから遠い位置にいるが、声量が大きく明瞭な音声を取得できる場合、発話者にメッセージを通知しない。これにより、音声の収録に影響がない場合にまで発話者にメッセージを通知することを避けることができる。
【００３６】
なお、本実施形態では、発話者の音声または顔部分のサイズのいずれか一方が所定範囲以内である場合、通知部３２ｄは、当該発話者を通知の対象としないが、これに限定されない。例えば、通知部３２ｄは、発話者の音声または顔部分のサイズのいずれか一方が所定範囲外の場合に当該発話者を通知の対象としてもよい。
【００３７】
通知部３２ｄは、例えば、データ出力部３４を介して表示装置６にテロップを表示することでメッセージを参加者に通知する。また、通知部３２ｄは、データ出力部３４を介して音声データを外部に出力することによってメッセージを参加者に通知してもよい。なお、参加者へのメッセージの通知方法は、上記に限定されない。
【００３８】
図５は、参加者の位置と通知されるメッセージとの関係を示す図である。図５（ａ）では、参加者βは、テーブルを介してデータ取得部３３（音声取得部３３ａ）の対面に着席しており、（ｂ）（ｃ）よりもデータ取得部３３から遠い位置に着席している。かかる場合に、通知部３２ｄは、参加者の音声が所定範囲の最小値よりも小さく、かつ参加者の顔部分のサイズが所定範囲の最小値よりも小さくなりやすいので、「マイクに近づいてください。」というテロップを表示装置６に表示する。
【００３９】
また、図５（ｂ）では、参加者βは、データ取得部３３の近辺に着席しており、（ａ）（ｃ）よりもデータ取得部３３に近い位置に着席している。かかる場合に、通知部３２ｄは、参加者の音声が所定範囲の最大値よりも大きく、かつ参加者の顔部分のサイズが所定範囲の最大値よりも小さくなりやすいので、「マイクから離れてください。」というテロップを表示装置６に表示する。
【００４０】
また、図５（ｃ）では、参加者βは、データ取得部３３に対して（ａ）よりもデータ取得部３３に近く、（ｂ）よりもデータ取得部３３に遠い位置に着席している。かかる場合に、通知部３２ｄは、参加者の音声が所定範囲内であるので、テロップ等を表示装置６に表示しない。
【００４１】
なお、参加者に通知されるメッセージの内容は、上記に限定されない。
【００４２】
図６は、実施形態１の制御フローを示す図である。ビデオ会議の配信が開始されると（ステップＳ１０）、検出部３２ａは、発話者が存在するか否かを判定する（ステップＳ１１）。検出部３２ａは、例えば、音声取得部３３ａによって取得された音声データの音量の平均値が所定値以上であった場合に発話者が存在すると判定する。検出部３２ａは、発話者が存在しない場合（ステップＳ１１Ｎｏ）、所定時間経過後、再度発話者が存在するか否かの判定（ステップＳ１１）を実行する。一方、検出部３２ａは、発話者が存在する場合（ステップＳ１１Ｙｅｓ）、音声取得部３３ａによって発話者の方向を検出する（ステップＳ１２）。続いて、制御部３２ｂは、発話者の方向に撮像部３３ｂの撮影方向を制御する（ステップＳ１３）。続いて、計測部３２ｃは、撮像部３３ｂによって撮影された発話者の画像データに基づき、発話者の顔部分のサイズを計測する（ステップＳ１４）。
【００４３】
通知部３２ｄは、音声取得部３３ａから取得した発話者の音声データの音量が所定範囲の最小値よりも小さいか否かを判定する（ステップＳ１５）。通知部３２ｄは、発話者の音声データの音量が所定範囲の最小値よりも小さい場合（ステップ１５Ｙｅｓ）、通知部３２ｄは、計測部によって計測された発話者の顔のサイズが所定範囲の最小値よりも小さいか否かを判定する（ステップＳ１６）。検出部３２ａは、発話者の顔のサイズが所定範囲の最小値以上の場合（ステップＳ１６Ｎｏ）、タイマーで所定時間経過後（ステップＳ２１）、再度発話者が存在するか否かの判定（ステップＳ１１）を実行する。一方、通知部３２ｄは、発話者の顔のサイズが所定範囲の最小値よりも小さい場合（ステップＳ１６Ｙｅｓ）、発話者にマイクに近づくように通知する（ステップＳ１７）。メッセージは、例えば、表示装置６にテロップを表示する等の方法によって通知される。続いて、検出部３２ａは、タイマーで所定時間経過後（ステップＳ２１）、再度発話者が存在するか否かの判定（ステップＳ１１）を実行する。
【００４４】
発話者の音声データの音量の判定（ステップＳ１５）において、通知部３２ｄは、発話者の音声データの音量が所定範囲の最小値以上の場合（ステップ１５Ｎｏ）、発話者の音声データの音量が所定範囲の最大値以下である否かの判定（ステップＳ１８）に移行する。続いて、検出部３２ａは、発話者の音声データの音量が所定範囲の最大値以下である場合（ステップＳ１８Ｎｏ）、タイマーで所定時間経過後（ステップＳ２１）、再度発話者が存在するか否かの判定（ステップＳ１１）を実行する。一方、通知部３２ｄは、発話者の音声データの音量が所定範囲の最大値より大きい場合（ステップＳ１８Ｙｅｓ）、発話者の顔サイズが所定範囲の最大値よりも大きいか否かを判定する（ステップＳ１９）。検出部３２ａは、発話者の顔のサイズが最大値以下である場合（ステップＳ１９Ｎｏ）、タイマーで所定時間経過後（ステップＳ２１）、再度発話者が存在するか否かの判定（ステップＳ１１）を実行する。一方、通知部３２ｄは、発話者の顔のサイズが最大値より大きい場合（ステップＳ１９Ｙｅｓ）、発話者にマイクから離れるように通知する（ステップＳ２０）。続いて、検出部３２ａは、タイマーで所定時間経過後（ステップＳ２１）、再度発話者が存在するか否かの判定（ステップＳ１１）を実行する。
【００４５】
（実施形態２）
図７は、実施形態２に係る配信端末７の機能構成の例を示す図である。配信端末７は、通信部３１と、処理部３２と、データ取得部３３と、データ出力部３４と、記憶部３５とを有する。記憶部３５は、ユーザテーブル３５ａを有する。
【００４６】
データ取得部３３は、音声取得部３３ａと、撮像部３３ｂとを有する。処理部３２は、検出部３２ａと、制御部３２ｂと、計測部３２ｃと、通知部３２ｄと、格納部３２ｅとを有する。格納部３２ｅは、ユーザテーブル３５ａに接続される。また、通知部３２ｄは、データ出力部３４に接続される。
【００４７】
図８は、ユーザテーブル３５ａのデータ構造の例を示す図である。ユーザテーブル３５ａは、通知済みの参加者を識別するためのテーブルであり、ユーザＩＤと、顔画像と、通知の有無とを対応付ける。「ユーザＩＤ」は、ユーザを一意に識別する番号である。配信端末７は、「ユーザＩＤ」によって参加者を識別する。「顔画像」は、ユーザの顔部分の画像データを示す。例えば、「顔画像」は、ユーザ全体の画像データから顔部分を切り抜いた画像データである。例えば、ＪＰＥＧ、ＧＩＦ等の画像フォーマットで記憶される。「通知の有無」は、参加者（ユーザ）に対して位置の移動を促す通知を行ったか否かを示す。「有」が格納されている場合、既に参加者に「マイクに近づいてください。」「マイクから離れてください。」等の通知を行ったことを示す。「無」が格納されている場合、まだ参加者に通知を行っていないことを示す。例えば、ユーザテーブル３５ａには、ユーザＩＤ「0101」の顔画像は「画像ａ」であり、まだ通知を行っていないことを示す。また、ユーザＩＤ「0103」の顔画像は「画像ｃ」であり、既に通知を行ったことを示す。
【００４８】
図７に戻る。検出部３２ａは、音声取得部３３ａを用いて、会議室で発話した参加者の方向を検出する。例えば、検出部３２ａは、座標を（０,０）とする原点から会議室内の基準点（座標（Ｘ０,Ｙ０））を撮影する方向を０度とした場合に、撮像部３３ｂの位置座標（Ｘ１,Ｙ１）と参加者を撮影した時の撮影角度θとを取得する。
【００４９】
制御部３２ｂは、発話者の方向に、撮像部３３ｂの撮影方向を制御する。例えば、制御部３２ｂは、検出部３２ａによって検出された方向データに基づいて、発話者が撮影画像の中心となるように撮像部３３ｂを旋回させる。
【００５０】
計測部３２ｃは、記憶部３５に記憶された画像データに含まれる参加者の顔部分のサイズを計測する。
【００５１】
通知部３２ｄは、発話者の音声データの音量が所定範囲の最大値よりも大きく、かつ発話者の顔サイズが所定範囲の最大値よりも大きい場合、または、発話者の音声データの音量が所定範囲の最小値よりも小さく、かつ発話者の顔サイズが所定範囲の最小値よりも小さい場合、発話者の画像データを内蔵メモリ内に記憶させる。発話者の画像データは、発話者全体の画像であってもよいし、発話者の顔部分を切り抜いた画像であってもよい。なお、通知部３２ｄは、発話者の音声データの音量が所定範囲以内である場合、及び発話者の顔サイズが所定範囲以内である場合は、処理を終了させる。
【００５２】
続いて、通知部３２ｄは、ユーザテーブル３５ａに記憶されているユーザの画像と比較し、顔認証することで発話者のユーザＩＤを特定する。例えば、通知部３２ｄは、固有顔等の顔認証アルゴリズムを用いて顔認証を行う。格納部３２ｅは、ユーザテーブル３５ａにおいて、特定したユーザＩＤに対応する「通知の有無」を参照し、過去に発話者に通知を行ったか否かを判定する。続いて、通知部３２ｄは、通知が行われていない場合、発話者に位置を移動する通知を行う。
【００５３】
例えば、通知部３２ｄは、発話者の音声データの音量が所定範囲の最大値よりも大きく、かつ発話者の顔サイズが所定範囲の最大値よりも大きい場合、マイクから離れることを促すメッセージを発話者に通知する。一方、通知部３２ｄは、発話者の音声データの音量が所定範囲の最小値よりも小さく、かつ発話者の顔サイズが所定範囲の最小値よりも小さい場合、マイクに近づくことを促すメッセージを発話者に通知する。
【００５４】
格納部３２ｅは、通知部３２ｄによって発話者にメッセージが通知された場合、ユーザテーブル３５ａのユーザＩＤに対応する「通知の有無」に、通知済みであることを示す「有」を格納する。
【００５５】
図９は、実施形態２の制御フローを示す図である。ビデオ会議の配信が開始されると（ステップＳ３０）、検出部３２ａは、発話者が存在するか否かを判定する（ステップＳ３１）。検出部３２ａは、発話者が存在しない場合（ステップＳ３１Ｎｏ）、所定時間経過後、再度発話者が存在するか否かの判定（ステップＳ３１）を実行する。一方、検出部３２ａは、発話者が存在する場合（ステップＳ３１Ｙｅｓ）、音声取得部３３ａによって発話者の方向を検出する（ステップＳ３２）。続いて、制御部３２ｂは、発話者の方向に撮像部３３ｂの撮影方向を制御する（ステップＳ３３）。続いて、計測部３２ｃは、発話者の顔部分のサイズを計測する（ステップＳ３４）。
【００５６】
続いて、通知部３２ｄは、音声取得部３３ａから取得した発話者の音声データの音量が所定範囲の最小値よりも小さいか否かを判定する（ステップＳ３５）。通知部３２ｄは、発話者の音声データの音量が所定範囲の最小値よりも小さい場合（ステップ３５Ｙｅｓ）、計測部によって計測された発話者の顔のサイズが所定範囲の最小値よりも小さいか否かを判定する（ステップＳ３６）。検出部３２ａは、発話者の顔のサイズが所定範囲の最小値以上の場合（ステップＳ３６Ｎｏ）、タイマーで所定時間経過後（ステップＳ４１）、再度発話者が存在するか否かの判定（ステップＳ３１）を実行する。一方、通知部３２ｄは、発話者の顔のサイズが所定範囲の最小値よりも小さい場合、認証処理を実行する（ステップＳ３７）。認証処理に関しては、図１０で説明する。続いて、検出部３２ａは、タイマーで所定時間経過後（ステップＳ４１）、再度発話者が存在するか否かの判定（ステップＳ３１）を実行する。
【００５７】
発話者の音声データの音量の判定（ステップＳ３５）において、通知部３２ｄは、発話者の音声データの音量が所定範囲の最小値以上の場合（ステップ３５Ｎｏ）、発話者の音声データの音量が所定範囲の最大値以下であるか否かの判定（ステップＳ３８）に移行する。続いて、検出部３２ａは、発話者の音声データの音量が所定範囲の最大値以下である場合（ステップＳ３８Ｎｏ）、タイマーで所定時間経過後（ステップＳ４１）、再度発話者が存在するか否かの判定（ステップＳ３１）を実行する。一方、通知部３２ｄは、発話者の音声データの音量が所定範囲の最大値より大きい場合（ステップＳ３８Ｙｅｓ）、発話者の顔サイズが所定範囲の最大値よりも大きいか否かを判定する（ステップＳ３９）。検出部３２ａは、発話者の顔のサイズが最大値以下である場合（ステップＳ３９Ｎｏ）、タイマーで所定時間経過後（ステップＳ４１）、再度発話者が存在するか否かの判定（ステップＳ３１）を実行する。一方、通知部３２ｄは、発話者の顔のサイズが最大値より大きい場合（ステップＳ３９Ｙｅｓ）、認証処理を実行する（ステップＳ４０）。続いて、検出部３２ａは、タイマーで所定時間経過後（ステップＳ２１）、再度発話者が存在するか否かの判定（ステップＳ３１）を実行する。
【００５８】
図１０は、認証処理のフローを示す図である。図１０の認証処理は、図９の（ステップＳ３７）及び（ステップＳ４０）に対応する。通知部３２ｄは、発話者の画像データを内蔵メモリ内に記憶させる（ステップＳ５０）。続いて、通知部３２ｄは、ユーザテーブル３５ａに記憶されているユーザの顔部分の画像データと比較し、顔認証を行うことで発話者のユーザＩＤを特定する（ステップＳ５１）。続いて、格納部３２ｅは、ユーザテーブル３５ａを参照し、過去に発話者に位置移動の通知を行ったか否かを判定する（ステップＳ５２）。通知部３２ｄは、過去に発話者に通知を行っていた場合（ステップＳ５２Ｎｏ）、処理を終了させる。まだ発話者に通知を行っていない場合（ステップＳ５２Ｙｅｓ）、通知部３２ｄは、発話者に位置を移動する通知を行う（ステップＳ５３）。
【００５９】
例えば、通知部３２ｄは、発話者の音声データの音量が所定範囲の最小値よりも小さく、かつ発話者の顔サイズが所定範囲よりも小さい場合（ステップＳ３７から移行した場合）、マイクに近づくことを促すメッセージを発話者に通知する。一方、通知部３２ｄは、発話者の音声データの音量が所定範囲の最大値よりも大きく、かつ発話者の顔サイズが所定範囲の最大値よりも大きい場合（ステップＳ４０から移行した場合）、マイクから離れることを促すメッセージを発話者に通知する。
【００６０】
続いて、格納部３２ｅは、ユーザテーブル３５ａの「通知の有無」に「有」を格納する（ステップＳ５４）。
【００６１】
以上のように、過去にユーザに位置移動を通知したか否かを事前に判定することで、会議室内が満席である場合等のように、ユーザが移動できない事情がある場合に繰り返し通知することを避けることができる。
【００６２】
（実施形態３）
実施形態１又は２のように顔のサイズから距離を計測する以外の方法で、発話者との距離を計測してもよい。例えば、計測部３２ｃは、距離センサを用いて発話者との距離を計測してもよい。距離センサには、例えば、ステレオカメラ、超音波センサ、赤外線センサ等が含まれる。なお、ステレオカメラは、発話者との距離の測定に並行して、発話者の画像データの取得を行ってもよい。
【００６３】
図１１Ａは、実施形態３の配信端末８の第１のハードウェア構成を示す図である。第１のハードウェア構成では、ステレオカメラ５０を用いて発話者との距離が測定される。配信端末８は、撮像素子Ｉ／Ｆ１１３にステレオカメラ５０が接続されている点で実施形態１の配信端末３と異なり、他のハードウェア構成は実施形態１と同様である。なお、撮像素子Ｉ／Ｆ１１３に、撮影用のカメラ１１２と距離計測用のステレオカメラ５０とがそれぞれ接続される構成であってもよい。
【００６４】
図１１Ｂは、実施形態３の配信端末８の第２のハードウェア構成を示す図である。第２のハードウェア構成は、赤外線センサ５１を用いて発話者との距離が測定される。配信端末８は、バス１１０に接続されたセンサＩ／Ｆ１２２を介して赤外線センサ５１又は超音波センサ５２が接続されている点で実施形態１の配信端末３と異なり、他のハードウェア構成は実施形態１と同様である。
【００６５】
また、配信端末８は、図３と同様の機能構成を有するので、各構成の説明を省略する。
【００６６】
図１２は、ステレオカメラ５０の外観の一例を示す図である。ステレオカメラ５０は、並列して設置された複数のカメラを用いて発話者との距離を計測する機器である。各カメラの撮影方向は、独立して制御される。図１２の例では、２つのカメラが近接して設置されているが、カメラ間の距離を大きくしてもよい。また、図１２の例では、２つのカメラを使用しているが３つ以上のカメラを使用してもよい。
【００６７】
ステレオカメラ５０を用いて発話者との距離を算出する方法について説明する。カメラ間の距離Ａ［ｍ］と、カメラの焦点距離Ｂ［ｍ］と、各カメラによって撮像された発話者の位置の差Ｃ［ｍ］に基づいて、計測部３２ｃは、次の数式に基づいて発話者との距離Ｄ［ｍ］を算出する。
【００６８】
（数１）
Ｄ＝Ａ×Ｂ／Ｃ
カメラ間の距離Ａ［ｍ］は、大きい方が距離の測定精度が高いが、カメラ間の距離Ａを大きくする場合、距離の測定時間が大きくなる。カメラ間の距離が大きいと、発話者の探索を開始してから各カメラで発話者を捕捉するまでの時間が大きくなるためである。カメラ間の距離Ａ［ｍ］を大きくする場合、ステレオカメラ５０で計測するターゲットとなる距離範囲を狭く設定することで、探索にかかる時間を小さくすることができる。
【００６９】
例えば、ステレオカメラ５０で計測するターゲットとなる距離範囲は、例えば、撮影する室内の広さに応じて設定される。ステレオカメラ５０で計測するターゲットとなる距離範囲をあらかじめ設定しておくことで、発話者との距離を計測する時間を短くすることができる。
【００７０】
また、発話者の位置の差Ｃは、一方のカメラにより撮像された発話者の位置と、他方のカメラにより撮像された発話者の位置とが左右に例えば、５ｃｍずれていた場合、発話者の位置の差Ｃ［ｍ］は０．０５となる。
【００７１】
また、ステレオカメラ５０は、計測部３３ｃ以外に図２のカメラ１１２として用いてもよい。例えば、ステレオカメラ５０は、カメラ１１２として使用される場合、複数のカメラにより撮像された画像を合成して画像データを生成してもよい。また、ステレオカメラ５０は、一方のカメラで撮像された画像を画像データとしてサーバ２に送信してもよい。また、ステレオカメラ５０は、専ら発話者との距離計測に用い、配信端末３は、発話者の画像データを取得するためのカメラ１１２を別に備えてもよい。
【００７２】
図１３は、赤外線センサ５１を有するカメラ１１２の外観の一例を示す図である。例えば、図１３に示すように赤外線センサ５１は、カメラ１１２の撮影方向と同じ方向に向くように、カメラ１１２と並列して配置される。赤外線センサ５１は、検出部３２ａによって検出された発話者の方向にカメラ１１２の撮影方向が制御された後に、発話者との距離の測定を開始する。なお、超音波センサ５２を距離センサとして用いる場合も、図１３の赤外線センサ５１と同様にカメラ１１２と並列して配置される。
【００７３】
また、赤外線センサ５１が距離センサである場合、赤外線センサ５１は、例えば、発話者に赤外線を照射し、反射光を検出した受光素子の位置に基づいて三角測量の原理で発話者との距離を計測する。
【００７４】
具体的には、赤外線センサ５１は、発話者に赤外線を照射し、位置検出素子ＰＳＤ（Position Sensing Device）で発話者からの反射光を受光する。発話者との距離に応じて反射光を検出する位置検出素子の位置が変化するので、計測部３２ｃは、反射光を検出した位置検出素子の位置を距離に換算することにより、発話者との距離を算出することができる。
【００７５】
なお、赤外線センサ５１として使用される素子は、ＰＳＤに限定されず、ＯＥＳ（Opto Elektronischer Schaltkreis）等の他の種類の素子を使用してもよい。
【００７６】
また、超音波センサ５２を用いる場合は、計測部３２ｃは、検出部３２ａによって検出された発話者の方向に制御された後に、検出された発話者に超音波を発信して反射波を計測、又は発話者に赤外線を照射して反射光を計測することで、発話者との距離を測定する。
【００７７】
例えば、計測部３２ｃは、超音波センサを用いて発話者に超音波を発信してから反射波を受信するまでの時間を計測することで発話者との距離を測定する。例えば、発話者に超音波を発信してから反射波を受信するまでの時間をｔ［ｓ］、音速をｃ［ｍ／ｓ］とした場合、計測部３２ｃは、以下の式に基づいて発話者との距離Ｌを算出する。
【００７８】
（数２）
Ｌ＝ｃ×ｔ／２
図１４は、実施形態３の制御フローを示す図である。ビデオ会議の配信が開始されると（ステップＳ６０）、検出部３２ａは、発話者が存在するか否かを判定する（ステップＳ６１）。検出部３２ａは、発話者が存在しない場合（ステップＳ６１Ｎｏ）、所定時間経過後、再度発話者が存在するか否かの判定（ステップＳ６１）を実行する。一方、検出部３２ａは、発話者が存在する場合（ステップＳ６１Ｙｅｓ）、音声取得部３３ａによって発話者の方向を検出する（ステップＳ６２）。続いて、制御部３２ｂは、発話者の方向に撮像部３３ｂの撮影方向を制御する（ステップＳ６３）。続いて、計測部３２ｃは、ステレオカメラ５０、赤外線センサ５１又は超音波センサ５２に基づいて、発話者との距離を計測する（ステップＳ６４）。
【００７９】
通知部３２ｄは、音声取得部３３ａから取得した発話者の音声データの音量が所定範囲の最小値よりも小さいか否かを判定する（ステップＳ６５）。通知部３２ｄは、発話者の音声データの音量が所定範囲の最小値よりも小さい場合（ステップ６５Ｙｅｓ）、計測部によって計測された発話者との距離が所定範囲の最大値よりも大きいか否かを判定する（ステップＳ６６）。検出部３２ａは、発話者との距離が所定範囲の最大値以下の場合（ステップＳ６６Ｎｏ）、タイマーで所定時間経過後（ステップＳ７１）、再度発話者が存在するか否かの判定（ステップＳ６１）を実行する。一方、通知部３２ｄは、発話者との距離が所定範囲の最大値より大きい場合（ステップＳ６６Ｙｅｓ）、発話者にマイクに近づくように通知する（ステップＳ６７）。続いて、検出部３２ａは、タイマーで所定時間経過後（ステップＳ７１）、再度発話者が存在するか否かの判定（ステップＳ６１）を実行する。
【００８０】
発話者の音声データの音量が所定範囲の最小値よりも小さいか否かの判定（ステップＳ６５）において、通知部３２ｄは、発話者の音声データの音量が所定範囲の最小値以上の場合（ステップ６５Ｎｏ）、発話者の音声データの音量が所定範囲の最大値以下であるか否かの判定（ステップＳ６８）に移行する。続いて、検出部３２ａは、発話者の音声データの音量が所定範囲の最大値以下である場合（ステップＳ６８Ｎｏ）、タイマーで所定時間経過後（ステップＳ７１）、再度発話者が存在するか否かの判定（ステップＳ６１）を実行する。一方、通知部３２ｄは、発話者の音声データの音量が所定範囲の最大値より大きい場合（ステップＳ６８Ｙｅｓ）、発話者との距離が所定範囲の最小値より小さいか否かを判定する（ステップＳ６９）。発話者との距離が最小値以上である場合（ステップＳ６９Ｎｏ）、検出部３２ａは、タイマーで所定時間経過後（ステップＳ７１）、再度発話者が存在するか否かの判定（ステップＳ６１）を実行する。
【００８１】
一方、通知部３２ｄは、発話者との距離が最小値より小さい場合（ステップＳ６９Ｙｅｓ）、発話者にマイクから離れるように通知する（ステップＳ７０）。続いて、検出部３２ａは、タイマーで所定時間経過後（ステップＳ７１）、再度発話者が存在するか否かの判定（ステップＳ６１）を実行する。
【００８２】
また、実施形態３において実施形態２で説明した認証処理を行ってもよい。かかる場合、（ステップＳ６７）及び（ステップＳ７０）において、図１０に示した認証処理が行われる。
【００８３】
また、実施形態１乃至３は、コンピュータの媒体に格納されたプログラムを実行させることにより、配信端末３、配信端末７又は配信端末８の機能を実現できる。
【００８４】
以上、配信端末３を実施形態１で、配信端末７を実施形態２で、配信端末８を実施形態３で説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。
【００８５】
なお、本実施形態において、配信端末３及び配信端末７は、撮影装置の一例である。記憶部３５は、記憶部の一例である。検出部３２ａは、検出部の一例である。制御部３２ｂは、制御部の一例である。計測部３２ｃは、計測部の一例である。通知部３２ｄは、通知部の一例である。格納部３２ｅは、格納部の一例である。ユーザＩＤは、識別情報の一例である。
【符号の説明】
【００８６】
２        サーバ
３,７,８  配信端末
４        利用者端末
５        通信ネットワーク
６        表示装置
３１      通信部
３２      処理部
３２ａ    検出部
３２ｂ    制御部
３２ｃ    計測部
３２ｄ    通知部
３３      データ取得部
３３ａ    音声取得部
３３ｂ    撮像部
３４      データ出力部
３５      記憶部
１００    ビデオ配信システム
【先行技術文献】
【特許文献】
【００８７】
【特許文献１】特開２００８−１０３８２４号公報
【図１】
0006631166.tif 000002
【図２】
0006631166.tif 000003
【図３】
0006631166.tif 000004
【図４】
0006631166.tif 000005
【図５】
0006631166.tif 000006
【図６】
0006631166.tif 000007
【図７】
0006631166.tif 000008
【図８】
0006631166.tif 000009
【図９】
0006631166.tif 000010
【図１０】
0006631166.tif 000011
【図１１Ａ】
0006631166.tif 000012
【図１１Ｂ】
0006631166.tif 000013
【図１２】
0006631166.tif 000014
【図１３】
0006631166.tif 000015
【図１４】
0006631166.tif 000016