(57)【要約】【課題】  配信者及び受信者双方の意図が反映された、効果的で臨場感が高い映像や音声等を配信する。【解決手段】  情報配信装置は、１系統以上の映像情報を入力する入力手段（111）と、入力した映像情報を１フレーム以上記憶する蓄積手段（112）と、１系統以上の音声情報を入力する入力手段（124）と、入力した音声情報を記憶する蓄積手段（125）と、入力した映像情報及び入力した音声情報をネットワーク（105）を通じて端末装置（104）に配信するとともに、端末装置（104）において指定された映像情報の表示領域に関する情報である指定領域情報を受信する通信制御手段（117）と、蓄積手段に記憶された映像情報を解析し、該映像情報中の所定の変化を検出する画像解析手段（113,27）と、受信した指定領域と検出された所定の変化に基づいて、配信する映像情報のフレーム内の送信領域を決定し、配信用の映像情報を生成する手段（114,115,116）とを備える。【選択図】      図１
2005295133.tif 000002
【特許請求の範囲】
【請求項１】
入力映像情報を１フレーム以上記憶する第１の蓄積手段と、
入力音声情報を記憶する第２の蓄積手段と、
前記入力映像情報及び前記入力音声情報をネットワークを通じて端末装置に配信するとともに、前記端末装置において指定された映像情報の表示領域に関する情報である指定領域情報を、前記ネットワークを通じて前記端末装置から受信する通信制御手段と、
前記第１の蓄積手段に記憶された前記入力映像情報を解析し、該映像情報中の所定の変化を検出する画像解析手段と、
前記端末装置から受信した前記指定領域情報及び前記画像解析手段により検出された前記所定の変化に基づいて、前記端末装置に配信する映像情報のフレーム内の送信領域を決定し、配信用の映像情報を生成する手段とを備えること
を特徴とする情報配信装置。
【請求項２】
請求項１に記載の情報配信装置において、
前記第２の蓄積手段に記憶された前記入力音声情報を解析し、該入力音声情報に含まれる所定の情報を検出する音声解析手段と、
前記音声解析手段により検出された前記所定の情報に基づいて、前記端末装置に配信する映像情報のフレーム内の送信領域を決定し、配信用の映像情報を生成する手段とを備えること
を特徴とする情報配信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議や遠隔講義等の映像及び音声情報を端末装置に配信する情報配信装置に関する。
【背景技術】
【０００２】
マルチメディア関連技術の進展により、遠隔地の会議や講義などの映像及び音声をデジタル化し、ネットワークを通じて配信する、テレビ会議システムや遠隔講義システムなどが実用化されている。これらのシステムで端末装置に配信される映像にとって、撮影場面における視野調整は、配信される映像の見やすさやその内容理解のために重要である。
【０００３】
そこで、専門のスキルを持つカメラワーク担当者を要さずに、適切な視野の画像を撮影するカメラワーク制御方法が開示されている（例えば、特許文献１参照）。
【０００４】
また一方で、同一のビデオカメラから出力される映像を利用者毎に異なる視点で眺められる可変領域を得うる映像配信方法が開示されている（例えば、特許文献２参照）。
【０００５】
更にまた、画像信号から被写体の動きを検出し、動き検出データを出力する画像監視装置が開示されている（例えば、特許文献３参照）。
【特許文献１】特開２００１−２６８５６３号公報
【特許文献２】特開平９−２６１５２２号公報
【特許文献３】特開平１１−３９４９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
撮影画像に対する視野調整において、１台のカメラのみでパンチルト・ズーム機構を用いて自動追尾する場合、ズーム時の視野外に重要な被写体の動きがあっても、これを捉えることができない。そこで、特許文献１に記載のカメラワーク制御方法では、撮影場面全体を視野に入れる観測用カメラと収録用カメラの少なくとも２台のカメラを用いることで適切な視野の画像の撮影を実現している。しかしながら、複数台のカメラの設置場所や複数台のカメラを協調動作させるための設定等に手間がかかる上、撮影場面に複数の重要な被写体が離れて存在する場合に各被写体をズームしながら同時に視野に入れるのは困難である。
【０００７】
一方、特許文献２に記載の映像配信方法のように、端末装置の利用者により選択された映像領域を単に配信するといった方法では、利用者の一方的な意図により選択された映像領域は、必ずしも配信者側が意図している映像領域とは一致しないため、受信者は配信者側の意図や状況を随時把握することが難しく、テレビ会議や遠隔講義の成果が十分に得られないという問題があった。また、特許文献２に記載の映像配信方法のように、１台のカメラで広角に撮影した映像から必要な領域を切り出す場合、通常のカメラでは十分な解像度を得られない。
【０００８】
本発明は、以上のような問題を鑑みてなされたものであり、配信者及び受信者双方の意図が反映された、効果的で臨場感が高い映像や音声等の情報を、簡易な構成で配信できる情報配信装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る情報配信装置の特徴は、（ａ）入力映像情報を１フレーム以上記憶する第１の蓄積手段と、（ｂ）入力音声情報を記憶する第２の蓄積手段と、（ｃ）前記入力映像情報及び前記入力音声情報をネットワークを通じて端末装置に配信するとともに、前記端末装置において指定された映像情報の表示領域に関する情報である指定領域情報を、前記ネットワークを通じて前記端末装置から受信する通信制御手段と、（ｄ）前記第１の蓄積手段に記憶された前記入力映像情報を解析し、該映像情報中の所定の変化を検出する画像解析手段と、（ｅ）前記端末装置から受信した前記指定領域情報及び前記画像解析手段により検出された前記所定の変化に基づいて、前記端末装置に配信する映像情報のフレーム内の送信領域を決定し、配信用の映像情報を生成する手段とを備えることにある。
【００１０】
すなわち、受信者の意図を反映するために、端末装置から指定領域情報を受信し、その一方で、配信者の意図を反映させるために、第１の蓄積手段に記憶された入力映像情報を解析して所定の変化を検出する。そして、受信した指定領域情報及び検出された所定の変化に基づいて、端末装置に配信する映像情報のフレーム内の送信領域を決定して配信用の映像情報を生成するため、配信者及び受信者双方の意図が反映された効果的で臨場感が高い映像や音声等の情報を配信することができる。
【００１１】
また、前記情報配信装置において、第２の蓄積手段に記憶された前記入力音声情報を解析し、該入力音声情報に含まれる所定の情報を検出する音声解析手段と、前記音声解析手段により検出された前記所定の情報に基づいて、前記端末装置に配信する映像情報のフレーム内の送信領域を決定し、配信用の映像情報を生成する手段とを備えるように構成することもできる。
【００１２】
このような構成によれば、例えば、被写体の発言内容に応じた映像情報を配信することができるため、配信者側の意図がより反映された効果的で臨場感が高い映像や音声等の情報を配信することができる。
【００１３】
また、前記情報配信装置において、入力映像情報及び入力音声情報に加え、音声情報の出力制御情報（例えば、音量を制御する情報や、音像を定位させるための制御情報など）を送信するように構成して、より臨場感の高い音声情報を配信するようにしても良い。更に、入力映像情報と入力音声情報と表示領域指定情報の少なくとも１つに所定の情報を検出したタイミングで、音声情報の出力制御情報を変更するように構成して、例えば、適切なタイミングで音声情報を制御することで、受信者の注意を促したり、受信者の配信情報に対する理解度を高めたりすることができる。
【００１４】
更にまた、高精細カメラを用いて撮影された映像を入力するよう構成することで、広角の撮影映像の中から注目すべき領域を高画質で配信できる。
【発明の効果】
【００１５】
本発明によれば、配信者及び受信者双方の意図が反映された、効果的で臨場感が高い映像や音声等の情報を、簡易な構成で配信できる情報配信装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら、本発明の実施形態について詳しく説明する。尚、各図面を通じて同一もしくは同等の部位や構成要素には、同一もしくは同等の参照符号を付し、その説明を省略もしくは簡略化する。
【００１７】
［第１の実施例］
《情報配信システムの構成及び処理動作》
図１は、情報配信システムの構成例を示すシステム構成図であり、情報配信装置１０２と複数の端末装置１０４−１，１０４−２，…，１０４−ｎ（各端末装置は等価であり、以下、代表して端末装置１０４で表す）とは、ネットワーク１０５を通じて接続される。また、１系統以上の高精細カメラ１０１、１系統以上のマイク１０６、表示装置１０３が、情報配信装置１０２にそれぞれ接続される。
【００１８】
情報配信装置１０２は、高精細カメラ１０１の撮影信号を取り込んでデジタルデータに変換する画像入力インタフェース（Ｉ／Ｆ）１１１と、その画像データが所定量（少なくとも１フレーム以上）蓄積される画像メモリ１１２と、スイッチのＯＮ／ＯＦＦ等の動作設定や画像解析判定閾値等の動作条件のパラメータ等を入力するための操作部１２１と、操作部１２１からの入力を受け付ける設定入力インタフェース（Ｉ／Ｆ）１２２と、操作部１２１から入力されるパラメータを記憶するパラメータ記憶部１２３と、画像メモリ１１２に蓄積された画像データを解析する画像解析部１１３を備えている。また、画像解析部１１３は、パラメータ記憶部１２３に記憶されたパラメータに基づいて、映像情報中の所定の変化（例えば被写体の動きなど）を検出する動き検出装置２７を含んでいる。
【００１９】
更に、情報配信装置１０２は、マイク１０６からの音声信号を取り込んでデジタルデータに変換する音声入力インタフェース（Ｉ／Ｆ）１２４と、その音声データが所定量蓄積される音声メモリ１２５と、音声データを配信するため符号化する送信音声符号化部１２６を備えている。更にまた、情報配信装置１０２は、符号化された画像データ及び音声データを、ネットワーク１０５を通じて端末装置１０４に配信するとともに、端末装置１０４において指定された映像情報の表示領域に関する情報である指定領域情報を端末装置１０４から受信する通信制御部１１７と、端末装置１０４から受信した指定領域情報を可視化して画像メモリ１１２内の画像データと合成する画像合成部１１９と、画像合成部１１９で合成された画像データを表示信号に変換して表示装置１０３に出力させる出力インタフェース（Ｉ／Ｆ）１２０を備えている。更に、情報配信装置１０２は、端末装置１０４から受信した指定領域情報及び画像解析部１１３により検出された所定の変化（推奨領域情報）に基づいて、配信する映像情報のフレーム内の送信領域を決定する送信領域決定部１１４と、送信領域決定部１１４によって決定された領域の配信用の映像情報を生成する領域映像生成部１１５と、生成された映像情報を配信するために符号化する送信映像符号化部１１６などを備えている。
【００２０】
一方、端末装置１０４は、情報配信装置１０２からネットワーク１０５を通じて、映像及び音声の符号化されたデータを受信するとともに、入力部１３０から指定される「指定領域情報」を情報配信装置１０２に送信する通信制御部１２７と、受信した映像符号化データを復号する受信映像復号部１２８と、復号された映像を表示する表示部１２９と、表示部１２９に表示された映像の中から利用者が所望の表示領域（指定領域情報）を指定する入力部１３０と、受信した音声符号化データを復号する受信音声復号部１３１と、復号された音声を出力する音声出力部１３２などを備えている。
【００２１】
以上のように構成された情報配信システムを、遠隔講義システムに適用する場合を例に、以下説明する。
【００２２】
情報配信装置１０２側では、高精細カメラ１０１は、講義会場の前方、すなわち講義に関連して必要なエリア全体が視野に入るように設置され、講師が参照可能な位置に設置された表示装置１０３にモニタ画像が表示される。
【００２３】
講師及び／またはスタッフにより操作部１２１から入力されたパラメータは、設定入力Ｉ／Ｆ１２２において設定情報データ化され、パラメータ記憶部１２３に記憶される。
【００２４】
操作部１２１から配信開始指示が入力されると、高精細カメラ１０１で撮影された映像が画像入力Ｉ／Ｆ１１１により取り込まれ、画像メモリ１１２に蓄積され始める。画像解析部１１３は、画像メモリ１１２に記憶された画像を解析し、パラメータ記憶部１２３に記憶されているパラメータに基づいて、動き検出装置２７により検出された映像情報中の所定の変化から、端末装置１０４に配信すべき映像領域に関する情報（推奨領域情報）を抽出する。
【００２５】
端末入力情報設定部１１８は、通信制御部１１７により受信された各端末装置１０４からの指定領域情報を抽出し、端末装置１０４毎の設定内容として保存する。
【００２６】
送信領域決定部１１４は、画像解析部１１３により得られた推奨領域情報と、各端末装置１０４からの指定領域情報とから、撮影映像内の送信領域を端末装置１０４毎に決定する。送信領域決定部１１４が決定する標準的な送信領域は、推奨領域情報と指定領域情報の両方の領域を含む矩形領域である。例えば、図１６（ａ）に示すように、画像解析部１１３により設定された推奨領域Ａ０、端末装置１０４−１により指定された指定領域Ｂ１、端末装置１０４−２により指定された指定領域Ｂ２、端末装置１０４−２により指定された指定領域Ｂｎを含む撮影映像において、端末装置１０４−１に配信する標準的な領域は、図１６（ｂ）に示すように推奨領域Ａ０と指定領域Ｂ１の両方を含む矩形領域Ｃ１とする。同様に、端末装置１０４−２に配信する標準的な領域は、図１６（ｃ）に示すように推奨領域Ａ０と指定領域Ｂ２の両方を含む矩形領域Ｃ２とする。
【００２７】
尚、撮影映像中の被写体等から動きが検出されない場合や、端末装置１０４から指定領域情報が送信されて来ない場合は、高精細カメラ１０３の撮影映像全領域を送信領域としても良いし、もしくはパラメータ等で初期設定された領域を送信領域としても良い。あるいは、端末装置１０４において「指定領域のみ」「推奨領域のみ」「標準的な領域（推奨領域＋指定領域）」「領域全体」等のモード設定を入力部１３０から設定して、それを情報配信装置１０２に送信し、送信領域決定部１１４は、モード設定を受信した場合には受信したモード設定の内容に従って送信領域を決定するようにしても良い。
【００２８】
領域映像生成部１１５は、送信領域決定部１１４で決定した送信領域情報を基に、各端末装置１０４への配信映像を生成する。領域映像生成部１１５は、「推奨領域のみ」のモード設定を送信してきた端末装置１０４に対しては、専用の送信映像を生成せずに、画像解析部１１３により得られた推奨領域を基に送信画像を生成しても良い。
【００２９】
送信映像符号化部１１６は、領域映像生成部１１５により生成された端末装置１０４毎の送信映像を符号化する。
【００３０】
一方、音声入力Ｉ／Ｆ１２４は、マイク１０６により収集された講義の音声をデジタルデータとして取り込み、音声メモリ１２５に蓄積する。送信音声符号化部１２６は、音声メモリ１２５の音声データを配信用に符号化する。
【００３１】
通信制御部１１７は、端末装置１０４毎の送信映像及び音声の符号化データを、各端末装置１０４にネットワーク１０５を通じて配信するとともに、各端末装置１０４から指定領域情報を受信する。各端末装置１０４に送信する情報には、推奨領域情報が含まれる。
【００３２】
画像合成部１１９は、画像メモリ１１２の画像データに、端末入力情報設定部１１８により抽出された各端末装置からの指定領域情報を合成し、合成された画像データを出力Ｉ／Ｆ１２０にて表示信号に変換し、表示装置１０３へ出力する。
【００３３】
端末装置１０４側では、利用者が所望する映像領域を入力部１３０より設定することができる。例えば、初期設定値を「推奨領域」とし、「指定領域」「推奨領域」「標準的な領域（推奨領域＋指定領域）」「領域全体」等のモード切り替えが可能である。
【００３４】
入力部１３０は、表示部１２９に表示されるコントロールパネル等からポインティングデバイス等により、モードを選択したり、配信映像（映像全体のサムネイル画像でも良い）に対する領域の指定をしたりといった方式で実現できる。表示部１２９が、例えばゴーグル形式のディスプレイ装置であれば、受講者の視線入力を用いて、モードや表示領域が自動的に選択される。
【００３５】
通信制御部１２７は、受講者からの入力情報を、ネットワーク１０５を通じて情報配信装置１０２に送信する。また、通信制御部１２７は、情報配信装置１０２から配信される映像及び音声の符号化データや、推奨領域情報等を受信する。
【００３６】
受信映像復号部１２８は、受信した符号化映像データを復号し、表示部１２９に表示する。また、受信した推奨領域情報についても表示部１２９に表示される。
【００３７】
受信音声復号部１３１は、受信した符号化音声データを復号し、音声出力部１３２に出力する。
【００３８】
《動き検出装置の構成及び処理動作》
以上、本実施例における情報配信システムの構成及び処理動作の概要について説明したが、送信領域決定部１１４において、送信すべき領域の決定や変更タイミングの判定等には、撮影映像中の被写体（上記の例では、講師）の動きや画面の切り替え等の変化を、いかにして検出するかが重要である。本実施例における画像解析部１１３は、動き検出装置２７を用いてデータ処理を効果的に行い、予め設定されたパラメータに基づいて撮影映像中の被写体の動き（例えば、位置、大きさ、形状、移動量等）を検出する。
【００３９】
動き検出装置２７は、図２に示すようなマイクロコンピュータ回路により構成されており、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、Ｉ／Ｏポート３４が、アドレスバス・データバスによって接続されている。
【００４０】
ＲＯＭ３２には、予め動き検出プログラムが格納されており、ＲＡＭ３３には、ワークエリアとともに、少なくとも撮影映像１フレーム分の画像データを記憶する領域、動き判定のための閾値データ等のパラメータを記憶する領域、動き検出処理過程で得られる各種データを記憶する領域、動き検出情報を記憶する領域などが確保されている。
【００４１】
また、Ｉ／Ｏポート３４は、画像メモリ１１２の画像データと設定パラメータの入力を受け付けるとともに、検出結果である動き検出情報を送信領域決定部１１４に出力する。そして、送信領域決定部１１４は、動き検出情報に基づいて送信領域を決定する。
【００４２】
図３は、動き検出装置２７のＣＰＵ３１が、ＲＯＭ３２に格納されている動き検出プログラムに基づいて実行する動き検出処理の処理手順を例示している。情報配信システムが稼働状態にあるときには、高精細カメラ１０１が撮影した映像の画像データが、画像入力Ｉ／Ｆ１１１によって取り込まれ画像メモリ１１２に書き込まれる。また、操作部１２１から入力された動き判定閾値等のパラメータが、予めパラメータ記憶部１２３に格納されているものとする。
【００４３】
まず、操作部１２１から情報配信装置１０２の動作開始指示（スイッチＯＮ）がなされると、情報配信装置１０２内の図示しない制御部が、動き検出装置２７を起動する（ステップＳ１１）。動き検出装置２７は、パラメータ記憶部１２３に格納されているパラメータデータを、Ｉ／Ｏポート３４を介してＲＡＭ３３内に読み込むとともに、以降のデータ処理のための初期設定を実行する（ステップＳ１２）。
【００４４】
初期設定が完了すると、動き検出装置２７は、画像メモリ１１２から画像データ（画像フレーム：F(X) のデータ）を１フレームずつＲＡＭ３３に取り込む（ステップＳ１３〜Ｓ１４）。そして、動き検出装置２７は、ＲＡＭ３３に展開した画像データに基づいて画像分割・輝度情報処理を実行する（ステップＳ１５）。
【００４５】
図４は、画像分割・輝度情報処理（ステップＳ１５）の詳細な処理手順例を示している。
【００４６】
動き検出装置２７は、先ず、ＲＡＭ３３に取り込まれた画像フレーム：F(X) のデータを、図５に示すように水平方向と垂直方向に均等区分し、m×n個の方形状のブロック：B(X)ij［i = 1, 2, 3, …,m、j = 1, 2, 3, …,n］に分割する（ステップＳ３１）。この場合、当然に各分割ブロック：B(X)ij には、水平・垂直方向の区分数に応じて多数の画素が含まれている。
【００４７】
分割ブロック：B(X)ij の設定が完了すると、動き検出装置２７は、各分割ブロック：B(X)ij 毎に全画素の輝度値を加算し（ステップＳ３３）、その加算値をブロック内に含まれている画素数で除算することで、分割ブロック：B(X)ij についての輝度平均値：BLav(X)ij を求め、求めた輝度平均値：BLav(X)ij をＲＡＭ３３にセーブ（保存）する（ステップＳ３４）。
【００４８】
また、本実施例においては、輝度平均値：BLav(X)ij を求めていく順序が、水平方向に整列した分割ブロック：B(X)ij について、最上段の水平方向の分割ブロック：B(X)ij 群［i = 1、j = 1, 2, 3, …,n］の左端から開始して右方向へ順次移行し、一段の処理が完了する度にその下の段へ移行する方式に設定されており、最終的に最下段の右端の分割ブロック：B(X)mn の輝度平均値を求めた段階で、１フレーム分の処理が完了する（ステップＳ３２〜Ｓ３８）。
【００４９】
そして、上記１フレーム分の一連の処理が完了すると、動き検出装置２７は、１フレーム分の分割ブロック：B(X)ij の輝度平均値：BLav(X)ij を全て加算する。（ステップＳ３９）そして、動き検出装置２７は、その加算値：ΣB(X)ij を分割ブロックの数：m×n で除算することにより、フレーム全体の輝度平均値：FLav(X) を算出し、算出したフレーム全体の輝度平均値：FLav(X) をＲＡＭ３３にセーブして、画像分割・輝度情報処理を完了する（ステップＳ４０）。
【００５０】
再び図３に戻って、動き検出装置２７は、前フレームの輝度情報処理に係るデータがＲＡＭ３３に格納されているか否かを判別する（ステップＳ１６）。判別の結果、前フレームの輝度情報処理に係るデータがＲＡＭ３３に格納されていない場合、つまり、現画像フレームが先頭の画像フレーム：F(1) である場合、動き検出装置２７は、現フレームの情報を前フレームの情報としてＲＡＭ３３にセーブする（ステップＳ２２）。
【００５１】
一方、現フレームが２番目以降のフレーム：F(X)［X≧2］である場合には、直前の画像フレーム：F(X-1) の輝度情報処理に係るデータが既にＲＡＭ３３にセーブされている。
【００５２】
ここでは、現フレームが２番目以降のフレーム：F(X)［X≧2］ であるものとして、次の動きブロック検出処理（ステップＳ１７）の処理手順例を説明する。
【００５３】
図６は、動きブロック検出処理（ステップＳ１７）の詳細な処理手順を例示している。
【００５４】
まず、この段階では、前フレーム：F(X-1) と現フレーム：F(X) について画像分割・輝度情報処理（ステップＳ１５）が実行されているため、図２に例示するように、ＲＡＭ３３には以下のデータがセーブされている。
【００５５】
（ａ）前フレーム：F(X-1) の各分割ブロック：B(X-1)ij［i = 1, 2, 3, …,m、j = 1, 2, 3, …,n］ に係る輝度平均値：FLav(X-1) ij［i = 1, 2, 3, …,m、j = 1, 2, 3, …,n］と、前フレーム：F(X-1) 全体の輝度平均値：FLav(X-1)。
【００５６】
（ｂ）現フレーム：F(X) の各分割ブロック：B(X)ij［i = 1, 2, 3, …,m、j = 1, 2, 3, …,n］ に係る輝度平均値：FLav(X) ij［i = 1, 2, 3, …,m、j = 1, 2, 3, …,n］と、現フレーム：F(X) 全体の輝度平均値：FLav(X)。
【００５７】
動きブロック検出処理（ステップＳ１７）では、動き検出装置２７は、最初に現フレーム：F(X) 全体と前フレーム：F(X-1) 全体の各輝度平均値の差：ΔFlav(x) = Flav(x) - Flav(x-1) を演算し、演算結果をＲＡＭ３３に一旦セーブする（ステップＳ４１）。
【００５８】
次に、動き検出装置２７は、現フレーム：F(X) の各分割ブロック：B(X)ij に係る輝度平均値と、その分割ブロック：B(X)ij と対応する位置にある前フレーム：F(X-1) の分割ブロック：B(X-1)ijに係る輝度平均値との差：ΔBlav(x)ij = Blav(x)ij - Blav(x-1)ij を演算する（ステップＳ４３）。
【００５９】
更に、動き検出装置２７は、その分割ブロックに係る輝度平均値の差から、ステップＳ４１で求めたフレーム全体に係る輝度平均値の差を差し引いた値：ΔBlav(x)ij -ΔFlav(x) を演算し（ステップＳ４４）、その演算値を絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜ に変換する（ステップＳ４５）。
【００６０】
そして、この動きブロック検出処理では、ステップＳ４５で求めた絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜ を、分割ブロック：B(x)ij が動きを含む分割ブロックであるか否かの判定対象とする（ステップＳ４６）。
【００６１】
具体的には、ＲＡＭ３３には設定パラメータとして、前記絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜と比較するための閾値：Th0 が格納されており、動き検出装置２７は、｜ΔBlav(x)ij -ΔFlav(x)｜ ＞ Th0 の場合には「分割ブロック：B(x)ij は動きを含む分割ブロックである」と判定し（ステップＳ４７）、逆に、動き検出装置２７は、｜ΔBlav(x)ij -ΔFlav(x)｜ ≦ Th0 の場合には「分割ブロック：B(x)ij は動きを含まない分割ブロックである」と判定する（ステップＳ４８）。
【００６２】
ステップＳ４６〜Ｓ４８における分割ブロック：B(x)ij についての動き判定情報は、ＲＡＭ３３にセーブされる（ステップＳ４９）。
【００６３】
図７は、ステップＳ４９において、分割ブロックに対する動き判定情報がＲＡＭ３３にセーブされる際の形式を示している。分割ブロック：B(x)ij に対する動き判定情報をＲＡＭ３３にセーブする際には、「“1”：動きあり」「“0”：動きなし」のような２値データではなく、ポイント加算方式による多値データとしてセーブする。例えば、図７（ａ）に示す○印の分割ブロックに動きが検出された場合、図７（ｂ）に示すように、動きが検出された分割ブロック：B(x)ij にポイント“8”を加算し、その周囲の８つの分割ブロック：：B(x)I-1j-1、B(x)I-1j、B(x)I-1j+1、B(x)Ij-1、B(x)Ij+1、B(x)I+1j-1、B(x)I+1j、B(x)I+1j+1 に、それぞれポイント“1”を加算する。これを全ての分割ブロックに対して適用すると、隣接するブロックに動きがある場合は、そのブロックに該当する動き判定情報のポイントが高くなることから、動きブロックの隣接度合いを表すことができる。動きを含む分割ブロックのうち、隣接する分割ブロックも動きを含む分割ブロックは、図７（ｃ）における○印の分割ブロックである。
【００６４】
ところで、ステップＳ４３〜Ｓ４９の一連の動きブロック検出処理は、画像フレーム：F(X) の各分割ブロック：B(x)ij について順次実行されるが、その実行順序は上記輝度情報処理（ステップＳ３２〜Ｓ３８）における処理順序と同様であり、分割ブロック：B(x)11 から開始して分割ブロック：B(x)mn で終了する（ステップＳ４２〜ステップＳ５２）。
【００６５】
図３のフローチャートに戻って、動き検出装置２７は、ＲＡＭ３３にセーブされた分割ブロック：B(x)ij の動き判定情報を基に、動き領域候補を抽出する（ステップＳ１８）。
【００６６】
図８は、動き領域候補抽出処理（ステップＳ１８）の詳細な処理手順を例示している。
【００６７】
まず、動き検出装置２７は、現フレーム：F(X) に動きを含む分割ブロックがあるか否かを判定し、動きを含む分割ブロックがない場合は処理を終了する（ステップＳ８１）。逆に、動きを含む分割ブロックがある場合には、分割ブロックのインデックスI,j を初期化し（ステップＳ８２）、先頭のブロックから順に、分割ブロック：B(x)ij の動き判定情報のポイントデータMij を取り込んで（ステップＳ８３）、ポイントデータMij とパラメータに設定されている閾値Th4（詳細は後述）とを比較する（ステップＳ８４）。
【００６８】
ステップＳ８４の判定の結果、ポイントデータMij ≦ 閾値Th4 の場合は、次のブロックに移行し、ポイントデータMij ＞ 閾値Th4 の場合は、動き領域候補と見なして動き領域候補に登録する（ステップＳ８５〜Ｓ８９）。具体的は、動き検出装置２７は、処理済みの隣接する分割ブロックが既に動き領域候補として登録されているか否かを判定し（ステップＳ８５）、動き領域候補として登録されている隣接ブロックがある場合は、分割ブロック：B(x)ij を隣接する動き領域候補の要素として追加登録する（ステップＳ８７）。逆に、動き領域候補として登録されている隣接ブロックがない場合は、動き検出装置２７は、分割ブロック：B(x)ij を動き検出候補として新規に登録する（ステップＳ８６）。そして、動き検出装置２７は、動き領域候補の動きブロック数に分割ブロック：B(x)ij の分を“1”加算し（ステップＳ８７），動き領域候補の動きブロックの中心位置情報に分割ブロック：B(x)ij の分を加算して（ステップＳ８８）、次のブロックに移行する（ステップＳ９０，Ｓ９１，Ｓ９２，Ｓ９３）。
【００６９】
全ての分割ブロックについて、以上の処理が完了すると、動き検出装置２７は、各動き領域候補における動きブロックの中心位置の合計を動きブロック数で除算して、動きブロックの中心位置の平均を算出する（ステップＳ９４）。
【００７０】
そして、動き検出装置２７は、各動き領域候補を動き領域候補の重要度順にソートしてＲＡＭ３３にセーブする（ステップＳ９５）。ここで、動き領域候補の重要度は、動き領域候補のサイズ（動き領域候補に含まれる動きブロック数）及び／または動き領域候補の位置（動き検出エリアの注目度）を基に判定する。
【００７１】
ところで、上記閾値Th4は、動きブロックを隣接する動き領域候補の要素として追加するか否かを判定するための閾値である。例えば、入力画像にノイズ要素が多い場合は、この閾値Th4を高く設定することで、孤立した動きブロックを動き領域候補から除外しする。一方、例えば、背景と動き物体の輝度差にばらつきがあり、動きブロックの判定が一定しない場合には、閾値Th4を低く設定することで、まとまった動き領域候補として抽出する。このように、使用する場面により適当な閾値Th4を使い分けることで、目的の動きを精度良く検出することができる。
【００７２】
再度、図３のフローチャートに戻って、次に動き検出装置２７は、ＲＡＭ３３にセーブした動き領域候補と前フレームまでの動き領域候補との対応付けを行う（ステップＳ１９）。
【００７３】
図９は、動き領域候補の対応付け処理（ステップＳ１９）の詳細な処理手順を例示している。
【００７４】
動き検出装置２７は、現フレーム：F(X) に動き領域候補があるか否かを判別し（ステップＳ１０１）、現フレームの動き領域候補がなければ、前フレーム：F(X-1) までの動き領域候補に対して保留処理を実行する（ステップＳ１１０〜Ｓ１１３）。尚、図９において、変数ｉは前フレームまでの動き領域候補のインデックス、変数ｐは前フレームまでの動き領域候補の数である。
【００７５】
ここで、動き領域候補が設定されたフレームの次のフレームに、対応する動き領域候補がなかった場合、動き物体が一時的に速度をゆるめたり、停止したりした可能性がある。そこで、所定のフレーム数分については、動き領域候補を削除せずに保留する処理を行う。具体的には、各領域毎に保留フレーム数をカウンタにセットし、次フレームに対応する動き領域候補がなければ、カウンタから１ずつ減算し、カウンタが０になった時点で動き領域候補から削除する。
【００７６】
一方、現フレーム：F(X) に動き領域候補があれば（ステップＳ１０１）、動き検出装置２７は、インデックスｉを初期化し（ステップＳ１０２）、全ての動き領域候補について（ステップＳ１０３，Ｓ１０８）、前フレームまでの動き領域候補Ki に対応する現フレームの動き領域候補を探索する（ステップＳ１０４）。具体的には、前フレームまでの動き領域候補を用いて、前フレームでの動きブロック位置の平均と、前フレームと前々フレーム間の動きブロック位置の平均の変位とを取り出して加算し、現フレームでの動きブロック位置の平均の推定値とする。この推定位置を基準に、所定の距離以内で最も近い位置に動きブロック位置の平均をもつ現フレームの動き領域候補を、対応する現フレームの動き領域候補とする。
【００７７】
そして、動き検出装置２７は、現フレームの動き領域候補があるか否かを判別し（ステップＳ１０５）、現フレームの動き領域候補がなければ、動き領域候補保留処理を実行する（ステップＳ１０６）。逆に、現フレームの動き領域候補があれば、前フレームまでの動き領域候補情報を更新する（ステップＳ１０７）。具体的には、現在の動き領域候補の位置（動きブロックの中心位置の平均）、前フレームと現フレームとの間の位置の変位量、動き領域候補が検出されてからの総変位量、動き領域のサイズを更新し、保留フレームの数を所定の値にセットする。
【００７８】
現フレームの動き領域候補の中で前フレームまでの動き領域候補に対応付かなかったものは、新規の動き領域候補として前フレームまでの動き領域候補に追加し（ステップＳ１０９）、前フレームまでの動き領域候補情報をＲＡＭ３３にセーブする（ステップＳ１１４）。
【００７９】
再び、図３のフローチャートに戻って、動き検出装置２７は、ＲＡＭ３３にセーブされている動き領域候補の対応付け情報を用いて、有効な動き領域の有無を判定する（ステップＳ２０）。
【００８０】
図１０は、動き領域判定処理（ステップＳ２０）の詳細な処理手順を例示している。
【００８１】
まず、動き検出装置２７は、パラメータで予め設定されている動き領域判定基準を取り出し（ステップＳ１２１）、動き領域候補のインデックスｉを初期化する（ステップＳ１２２）。そして、全ての動き領域候補について（ステップＳ１２３，Ｓ１２６）、各動き領域候補Ki の情報を取り出して（ステップＳ１２４）、動き領域判定基準に基づいて動き領域候補Ki が検出対象の動き領域であるか否かを判定する（ステップＳ１２５）。全動き領域候補について判定が完了すると、動き検出装置２７は、動き領域判定結果をＲＡＭ３３にセーブする（ステップＳ１２７）。
【００８２】
再び、図３のフローチャートに戻って、動き検出装置２７は、ＲＡＭ３３にセーブされている動き領域候補の動き領域判定情報を、送信領域決定部１１４に出力する（ステップＳ２１）。
【００８３】
更に、動き検出装置２７は、ＲＡＭ３３にセーブされている現フレーム：F(X) に係る輝度平均値：BLav(X)ij［i = 1, 2, 3, …,m、j = 1, 2, 3, …,n］と、フレーム全体の輝度平均値：FLav(X) とを、前フレームに係るそれらの情報に上書きして保存することによりデータの更新を行う（ステップＳ２２）。
【００８４】
そして、動き検出装置２７に対して動作停止指示（スイッチＯＦＦ）の指示がなければ（ステップＳ２３）、画像メモリ１１２から次の画像フレーム：F(X+1) のデータを取り込み、上記の同様の処理手順で、フレーム：F(X+1) の各分割ブロック：B(X+1)ij について動きを含むか否かの判定処理を実行し、動きブロックについて動き領域候補を抽出し、前フレームまでの動き領域候補との対応付け及び動き領域に判定を実行する。以降についても同様にして、画像メモリ１１２に順次書き込まれていく画像フレームに対して、動き領域の検出処理を行う（ステップＳ２３→Ｓ２４→Ｓ１４〜Ｓ２２）。
【００８５】
以上説明した処理の結果、画像メモリ１１２に書き込まれた画像フレーム中に、検出対象の動きを含む領域が存在するか否かの判定情報が、常に送信領域決定部１１４に出力される。そして、動きを含む領域が存在する場合には、その領域の位置情報が送信領域決定部１１４に出力されるため、送信領域決定部１１４は動きを含む領域があると判定された画像フレームについてのみ、送信領域の判定を実行すれば良い。つまり、送信領域決定部１１４は、高精細カメラ１０１の撮影映像に特段の動きがない状態の画像フレームについては、送信領域の決定処理を行う必要がない。
【００８６】
ところで、本実施例による動きブロック検出処理（ステップＳ１７）においては、現フレーム：F(X) の分割ブロックに係る輝度平均値：Blav(x)ij と、前フレーム：F(X-1) の対応する位置にある分割ブロックに係る輝度平均値：Blav(x-1)ij の差：ΔBlav(x)ij = Blav(x)ij - Blav(x-1)ij から、各フレームに係る全体の各輝度平均値の差：ΔFlav(x) = Flav(x) - Flav(x-1) を差し引いた値の絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜を、設定された閾値：Th0 と比較することにより、現フレーム：F(X) に動きを含む分割ブロックがあるか否かを判定している。
【００８７】
すなわち、特許文献３に記載の技術のように、単に、フレーム間における対応した分割ブロック同士の輝度値または色データの平均値の差分に基づいて、動きを検出するのではなく、本実施例による動きブロック検出処理（ステップＳ１７）においては、分割ブロック同士の輝度平均値の差分と、各フレームに係る全体の輝度平均値の差との相対的差分を判定対象としている。
【００８８】
ここで、撮影画面領域の照明状態が変化した場合を想定してみると、その変化が影響した分割ブロック同士の輝度平均値の差：ΔBlav(x)ij が絶対値として大きくなるが、同時に前後の各画像フレーム全体の輝度平均値の差：ΔFlav(x) も絶対値として大きくなり、且つその＋／−方向へ増大する傾向は同一である。
【００８９】
従って、本実施例による動きブロック検出処理（ステップＳ１７）において判定対象となる絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜は、照明状態の変化による影響が及ばない値となり、照明状態の変化を分割ブロック内の動きとして検出しないことになる。従って、照明の変化による影響を受けずに、一定の閾値Th0 を適用することで、正確で安定的な動きブロック検出処理をおこなうことができる。
【００９０】
また、判定対象となる絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜は、分割ブロック：B(X)ij、B(X)ij の輝度平均値：Blav(x)ij、Blav(x-1)ij や、画像フレーム：F(X)、F(X-1)の全体的輝度平均値：FLav(X)、FLav(X-1)に基づいて算出されるため、画像フレーム：F(X)、F(X-1)中にフリッカー等のノイズが混在していても、その画素に係る大きな輝度値は平準化されてほとんど影響を及ぼさない。
【００９１】
更に、本実施例による画像分割・輝度情報処理（ステップＳ１５）では、画素の輝度を予め分割ブロック：B(X)ij 単位で平均かしておくため、後続の動きブロック検出処理（ステップＳ１７）のための演算量を削減できる。
【００９２】
尚、閾値：Th0 の値は、動き検出の感度を左右するが、例えば、８ビットで量子化された画像データの輝度値を“0”〜“255”で表現した場合、閾値：Th0 は、約“50”に設定することが可能である。
【００９３】
特許文献３に記載の動き検出方法によると、照明の変化が動き判定に影響を与えてしまうために、動き検出のための閾値を小さい値に設定することができず、必然的に検出感度を低下せざるを得ないが、本実施例による動きブロック検出処理で用いる閾値：Th0≒50 は、判定方式の相違を考慮して相対化してみても、特許文献３に記載の検出方法で用いられる閾値よりも相当に小さいレベルになるため、高い検出感度を実現することができる。
【００９４】
尚、本実施例における動き検出のための閾値は、以下に説明するように、閾値を２段階に設定し適用することにより、検出部分の輝度に応じて、より安定的な検出を行うようにしても良い。
【００９５】
図１１は、本実施例における動き検出のための閾値の設定値を例示している。閾値：Th1、Th2、Th3 は、図１１に示すようなテーブルデータとして、予めパラメータ記憶部１２３に格納されている。操作部１２１から「高」「中」「低」のいずれかの感度が選択されると、動き検出装置２７は、選択された感度に応じた３種類の閾値：Th1、Th2、Th3 を動き検出処理（ステップＳ１７）の中で適用する。尚、図１１に例示した各閾値は、先に説明した閾値：Th0 の場合と同様に、８ビットで量子化された画像データの輝度値を“0”〜“255”で表現した場合を基準に設定している。
【００９６】
図１２は、図１１に示した閾値：Th1、Th2、Th3 を用いて、動き検出装置２７が実行する動き検出処理（ステップＳ１７）の処理手順例を示している。
【００９７】
動き検出装置２７は、現フレーム：F(X) 全体と前フレーム：F(X-1) 全体の各輝度平均値の差：ΔFlav(x) = Flav(x) - Flav(x-1) を演算し、演算結果をＲＡＭ３３に一旦セーブする（ステップＳ６１）。次に、現フレーム：F(X) の各分割ブロック：B(X)ij に係る輝度平均値と、その分割ブロック：B(X)ij と対応する位置にある前フレーム：F(X-1) の分割ブロック：B(X-1)ijに係る輝度平均値との差：ΔBlav(x)ij = Blav(x)ij - Blav(x-1)ij を演算する（ステップＳ６３）。更に、その分割ブロックに係る輝度平均値の差から、ステップＳ６１で求めたフレーム全体に係る輝度平均値の差を差し引いた値：ΔBlav(x)ij -ΔFlav(x) を演算し（ステップＳ６４）、その演算値を絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜ に変換する（ステップＳ６５）。以上のステップＳ６１〜ステップＳ６５の処理は、図６におけるステップＳ４１〜ステップＳ４５の処理と同様である。
【００９８】
動き検出装置２７は、次に、現フレーム：F(X) の各分割ブロック：B(X)ij に係る輝度平均値：BLav(X) ij と、前フレーム：F(X-1) の各分割ブロック：B(X-1)ij に係る輝度平均値：BLav(X-1) ij を、それぞれ閾値：Th1と比較する（ステップＳ６６，Ｓ６７）。
【００９９】
そして、輝度平均値：BLav(X) ij、BLav(X-1) ij のいずれか一方もしくは両方が閾値：Th1より大きい場合は、判定閾値として閾値：Th2 を適用し（ステップＳ６８）、輝度平均値：BLav(X) ij、BLav(X-1) ij の双方とも閾値：Th1より小さい場合は、判定閾値として閾値：Th3 を適用する（ステップＳ６９）。
【０１００】
従って、次のステップＳ７０の判定処理では、｜ΔBlav(x)ij -ΔFlav(x)｜ ＞ 適用閾値（閾値：Th2 または Th3）の場合には「分割ブロック：B(x)ij は動きを含む分割ブロックである」と判定され、｜ΔBlav(x)ij -ΔFlav(x)｜ ≦ 適用閾値（閾値：Th2 または Th3）の場合には「分割ブロック：B(x)ij は動きを含まない分割ブロックである」と判定される。
【０１０１】
例えば、操作部１２１から「中」レベルの感度が選択されたケースを例にとると、輝度平均値：BLav(X) ij、BLav(X-1) ij のいずれか一方もしくは両方が“128”より大きい場合は、｜ΔBlav(x)ij -ΔFlav(x)｜ ＞ “70” である場合に「分割ブロック：B(x)ij は動きを含む分割ブロックである」と判定され、輝度平均値：BLav(X) ij、BLav(X-1) ij の双方が“128”より小さい場合は、｜ΔBlav(x)ij -ΔFlav(x)｜ ＞ “35” である場合に「分割ブロック：B(x)ij は動きを含む分割ブロックである」と判定されることになる。
【０１０２】
このように、本実施例においては、判定対象データである絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜にたいして、２つの閾値：Th2、Th3 を設けておき、２つの閾値：Th2、Th3 のうちのいずれを適用するかを決定するための閾値：Th1 を設けている。そして、現フレーム：F(X) の各分割ブロック：B(X)ij に係る輝度平均値：BLav(X) ij と、前フレーム：F(X-1) の各分割ブロック：B(X-1)ij に係る輝度平均値：BLav(X-1) ij を、それぞれ中間輝度値（閾値：Th1）と比較し、輝度平均値：BLav(X) ij、BLav(X-1) ij のいずれか一方もしくは両方が中間輝度値（閾値：Th1）より大きい場合は、判定閾値として高い閾値：Th2 を適用し、輝度平均値：BLav(X) ij、BLav(X-1) ij の双方とも中間輝度値（閾値：Th1）より小さい場合は、判定閾値として低い閾値：Th3 を適用している。
【０１０３】
これは、一般に、輝度平均値：BLav(X) ij、BLav(X-1) ij の少なくとも一方が中間輝度値（閾値：Th1）より大きい場合には、判定対象データである絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜も大きくなり、輝度平均値：BLav(X) ij、BLav(X-1) ij の双方とも中間輝度値（閾値：Th1）より小さい場合は、絶対値：｜ΔBlav(x)ij -ΔFlav(x)｜も小さくなる傾向があるという経験則に基づくものである。このように、それぞれの場合に対応して閾値を可変適用することで、動きブロックの検出処理に係る判定条件の均等化を図ることができるとともに、正確で安定した検出動作を実現できる。
【０１０４】
尚、より詳細な動き検出対象の種類を判別したい場合には、必要に応じて、上述した動き検出装置２７に加え、主成分分析を用いて予め撮影場面に存在し得る動き検出対象の種類毎に特徴量の統計データを作成し、動き検出装置２７で検出した動き領域部分の画像データの特徴量と動き検出対象の特徴量の統計データを比較することにより、動き領域を動き検出対象の種類に当てはめても良い。例えば、予め講師や助手、生徒などの外観を登録しておくことで、よりきめ細かく動き対象を特定でき、適切な送信領域を決定することができる。
【０１０５】
また、動き検出装置２７において、送信領域の変更対象以外の領域の動きを含め、全く動きが検出されなかった場合、そのフレームの映像生成・符号化・送信の各処理を行わずに、通信制御部１１７から各端末装置１０４に「前フレームと同じである」旨の情報のみを送信するように制御しても良い。
【０１０６】
［第２の実施例］
次に第２の実施例について説明する。第１の実施例との相違は、図１３に示すように、第１の実施例における情報配信装置１０２の構成に加えて、入力音声情報を解析して情報を抽出する音声解析部１３３を備えたことである。
【０１０７】
音声解析部１３３は、図１４に例示するように、音声メモリ１２５の音声データを基に、講師の音声に含まれる「送信領域に関する情報」を抽出して送信領域決定部１１４に送る。「送信領域に関する情報」は、予め操作部１２１より送信領域音声パラメータ１３３６として設定し、パラメータ記憶部１２３に記憶されている。音声解析部１３３が実行する音声分析１３３１では、音声の大きさや周波数、音の有無といった音響的な特徴と、言語的な特徴（言語的な意味）が抽出される。言語的な意味の抽出では、統計的言語モデル１３３４と音響モデル（隠れマルコフモデル）１３３３などを用いて音声認識を行い（探索過程１３３２）、認識した単語や文の中から送信領域音声パラメータ１３３６に合致する「送信領域に関する情報」を抽出する（照合１３３５）。
【０１０８】
それに対して、送信領域決定部１１４は、画像解析部１１３により得られた送信領域に関する情報（動き検出領域情報）と、各端末装置１０４からの指定領域情報とに加え、音声情報から抽出された送信領域に関する情報を用いて最終的な送信領域を決定する。尚、送信領域を決定する際の、画像と音声の送信領域に関する情報の組み合わせ方法や優先度等の情報は、パラメータ記憶部１２３に予め格納しておく。
【０１０９】
例えば、講師が「こちらを見てください」と言った場合には、映像上に講師が指示棒やレーザーポインタ等で示している対象物があれば、その示している対象物を中心とする領域を送信領域とすることができるし、特に示している対象物がなければ、講師を中心とする領域を送信領域とすることもできる。
【０１１０】
あるいは、講師が歩き回りながら「このパソコンに注目してください」というように、音声で明示的に対象物を特定しているような場合は、講師の動きよりも音声の内容を優先して、パソコンを中心とする領域を送信領域として決定しても良い。
【０１１１】
尚、講師の発話の切れ目を音声解析部１３３により検出し、送信領域を切り替えるタイミングとして用いることで、受講者は違和感なく視聴することができる。
【０１１２】
また、入力された音声が特定の音質や特定のキーワード等を含んでいることを音声解析部１３３により検出した際には、通信制御部１１７から音声制御情報を各端末装置１０４に送信し、各端末装置１０４の音声出力部１３２の音声出力をコントロールしても良い。例えば、講師の咳払いや「わかりましたか」といった問いかけを音声解析部１３３により検出した際には、受講者の注意を引くように音声出力部１３２の音量を大きく調整したり、受講者の耳元で聞こえるように音像を定位したりすることが効果的である。
【０１１３】
音像の定位は、図１５に例示するような方式で実現する。図１５において、関数fl(t)、fr(t)は、音源位置から左右の耳への伝達関数、関数hl1(t)、hr1(t)は、スピーカ１から左右の耳への伝達関数、関数hl2(t)、hr2(t)は、スピーカ２から左右の耳への伝達関数である。音源から発する音をS(t) とすると、式１及び式２を満たすL1(t)、L2(t) を各スピーカから出力すれば良い。
【０１１４】
L1(t)×hl1(t) + L2(t)×hl2(t) = S(t)×fl(t)               (1) 
L1(t)×hr1(t) + L2(t)×hr2(t) = S(t)×fr(t)               (2) 
これらの特性を基に、任意の位置の音源について畳み込み演算処理で音像を定位させることができる。
【０１１５】
更に好ましくは、マイク１０６は、タイピンマイクとして講師自身が装着し、講師の声を確実に集音するとともに、講師が移動しながら話す場合には、音声も講師の動きを反映して聞こえるように、講師の動きに合わせて通信制御部１１７から音声制御情報を各端末装置１０４に送信し、端末装置１０４側のステレオ音声出力をコントロールしても良い。画像上で検出された講師の動き方向に合わせて、音像を定位することにより、受講者は実際の講義に近い臨場感のある映像及び音声を視聴することができる。
【０１１６】
以上説明した各実施例において、配信者側及び受信者側双方が互いの意図を理解できるように、受信者側の端末装置１０４の表示部１２９には、配信者側の推奨する領域に関する情報である推奨領域情報（図１６（ｂ）及び図１６（ｃ）における領域Ａ０）が表示され、配信者側の表示装置１０３には、受信者の所望する領域に関する情報である指定領域情報（図１６（ａ）における領域Ｂ１，Ｂ２，Ｂｎ）が表示される。図１６（ａ）において、配信者側の推奨領域情報は、講師が指し示す図の部分（領域Ａ０）であるのに対して、受講者側の指定領域情報は、画面右端のパソコンに集中している。講師あるいは助手は、表示装置１０３をモニタすることで、受講者が関心を示している領域を把握することができ、それによってその部分の解説をより詳しく行うといったように、受講者のニーズに応じた講義情報を配信することもできる。尚、各受講者のリクエスト等を音声で講師に伝えることも可能であるが、大勢の受講者からの様々な希望が集中した場合に対応が困難になることを考慮すると、映像表示への組み込みがより好ましい。
【０１１７】
また、受講者の関心を把握する一方で、講義に集中していないと思われる受講者に対して注意を促すこともできる。例えば、講義内容と直接関係ない部分（図１６（ａ）における領域Ｂｎ）を観ている受講者には、講義に集中するよう促し、推奨領域を選択している受講者に対しては、時折念を押すような発言を、端末装置１０４に送信すると良い。この場合、音声制御情報を併せて送信し、端末側の音声出力を制御すると更に効果的である。
【０１１８】
また、配信時に映像の重要度に応じて、講師側が強制的に推奨領域の映像を配信するように設定しても良い。
【０１１９】
尚、高精細カメラ１０１は、走査線750本クラス（1280×720画素程度）のカメラを用いることで、入力機器のコストを比較的安価に抑えた上、効果の高い情報配信装置１０２及び情報配信システムを構築することができる。例えば、幅10m程度の講義会場が視野に入るよう後方に高精細カメラ１０１を設置した場合、解説用のスクリーン前に立つ講師に上半身が入るよう画像領域を切り出すと、切り出された画像領域の画素数は、256×144画素程度の解像度を確保できる。
【０１２０】
同じ条件で、走査線数525本クラス（720×480画素程度）のカメラを用いる場合には、144×96画素程度の解像度となる。今日一般的な顔画像識別手法によると、頭から顎の間で80画素程度の画素数を要することから、走査線数525本クラスのカメラでは講師の顔の識別は困難であるが、走査線数750本クラスのカメラでは講師の顔も識別可能である（図１７（ａ））。
【０１２１】
更に、走査線数2,000本クラス（4,000×2,000画素程度）のカメラや、走査線数4,000本クラス（8,000×4,000画素程度）のカメラを用いることで、より細部の情報までも視覚的に識別できる。例えば、走査線数2,000本クラスのカメラであれば、講師の背景にあるスライドの文字も読み取ることができる画質となるし（図１７（ｂ））、走査線数4,000本クラスのカメラであれば、パソコンの画面の動きも識別できる程度の画質となる（図１７（ｃ））。
【０１２２】
以上、説明したように、本実施形態における情報配信装置１０２によれば、受講者側の意図を反映するために端末装置１０４から指定領域情報を受信し、その一方で、配信者側の意図を反映させるために、画像メモリ１１２に記憶された映像情報を解析して所定の変化を検出する。そして、受信した指定領域及び検出された所定の変化に基づいて、端末装置１０２に配信する映像情報のフレーム内の送信領域を決定して配信用の映像情報を生成するため、配信者及び受信者双方の意図が反映された効果的で臨場感が高い映像や音声等の情報を配信することができる。
【０１２３】
また、入力音声情報を解析し、該音声情報に含まれる所定の情報を検出、端末装置１０４に配信する映像情報のフレーム内の送信領域を決定し、配信用の映像情報を生成することで、被写体の発言内容に応じた映像情報を配信することができるため、配信者側の意図がより反映された効果的で臨場感が高い映像や音声等の情報を配信することができる。
【０１２４】
また、映像情報及び音声情報に加え、音声情報の出力制御情報（例えば、音量を制御する情報や、音像を定位させるための制御情報など）を送信するように構成して、より臨場感の高い音声情報を配信するようにしても良い。更に、映像情報と音声情報と表示領域指定情報の少なくとも１つに所定の情報を検出したタイミングで、音声情報の出力制御情報を変更するように構成して、例えば、適切なタイミングで音声情報を制御することで、受信者の注意を促したり、受信者の配信情報に対する理解度を高めたりすることができる。
【０１２５】
更にまた、高精細カメラ１０１を用いて撮影された映像を入力するよう構成することで、広角の撮影映像の中から注目すべき領域を高画質で配信できる。
【０１２６】
以上、本発明の実施の形態を詳細に説明したが、本発明は、その精神または主要な特徴から逸脱することなく、他の色々な形で実施することができる。従って、前述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には何ら拘束されない。更に、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【０１２７】
尚、本実施形態において、更に以下の情報配信装置を開示する。
【０１２８】
請求項１または請求項２に記載の情報配信装置において、前記映像情報及び前記音声情報に加え、前記音声情報の出力制御情報を更に送信することを特徴とする情報配信装置。
【０１２９】
前記情報配信装置において、前記映像情報と前記音声情報と表示領域指定情報の少なくとも１つに所定の情報を検出したタイミングで、前記音声情報の出力制御情報を変更することを特徴とする情報配信装置。
【０１３０】
前記情報配信装置において、前記入力手段は、高精細カメラを用いて撮影された映像を入力することを特徴とする情報配信装置。
【図面の簡単な説明】
【０１３１】
【図１】第１の実施例における情報配信システムの構成例を示す概略ブロック図である。
【図２】図１に示す情報配信システムにおいて情報配信装置に含まれる動き検出装置のシステム回路構成例を示す概略図である。
【図３】図２に示す動き検出装置が実行する動き検出処理の処理手順を例示するフローチャートである。
【図４】図３に示す動き検出処理のうち、画像分割・輝度情報処理の処理手順例を示すフローチャートである。
【図５】画像フレームをブロックに分割した状態を模式化した図である。
【図６】図３に示す動き検出処理のうち、動きブロック検出処理の処理手順例を示すフローチャートである。
【図７】図６に示す動きブロック検出処理において、ＲＡＭに保存される動き判定情報を説明するための模式図である。
【図８】図３に示す動き検出処理のうち、動き領域候補抽出処理の処理手順例を示すフローチャートである。
【図９】図３に示す動き検出処理のうち、動き領域候補の対応付け処理の処理手順例を示すフローチャートである。
【図１０】図３に示す動き検出処理のうち、動き領域判定処理の処理手順例を示すフローチャートである。
【図１１】図２に示す動き検出装置が動きを検出するために用いる閾値の一例を示す図である。
【図１２】図１１に示す閾値を適用して実行される動きブロック検出処理の処理手順例を示すフローチャートである。
【図１３】第２の実施例における情報配信システムの構成例を示す概略ブロック図である。
【図１４】図１３に示す情報配信システムにおいて情報配信装置に含まれる音声解析部による音声解析手順例を示す概略図である。
【図１５】音像定位を説明するための図である。
【図１６】図１及び図１３に示す情報配信システムにおいて、情報配信装置及び端末装置に表示される画面の一例を示す図である。
【図１７】図１及び図１３に示す情報配信システムにおいて、高精細カメラ映像から切り出される映像領域の一例を示す図である。
【符号の説明】
【０１３２】
２７…動き検出装置
３１…ＣＰＵ
３２…ＲＯＭ
３３…ＲＡＭ
３４…Ｉ／Ｏポート
１０１…高精細カメラ
１０２…情報配信装置
１０３…表示装置
１０４（１０４−１，１０４−２，１０４−ｎ）…端末装置
１０５…ネットワーク
１０６…マイク
１１１…画像入力Ｉ／Ｆ
１１２…画像メモリ
１１３…画像解析部
１１４…送信領域決定部
１１５…領域映像生成部
１１６…送信映像符号化部
１１７…通信制御部
１１８…端末入力情報設定部
１１９…画像合成部
１２０…出力Ｉ／Ｆ
１２１…操作部
１２２…設定入力Ｉ／Ｆ
１２３…パラメータ記憶部
１２４…音声入力Ｉ／Ｆ
１２５…音声メモリ
１２６…送信音声符号化部
１２７…通信制御部
１２８…受信映像復号部
１２９…表示部
１３０…入力部
１３１…受信音声復号部
１３２…音声出力部
１３３…音声解析部
１３３１…音声分析
１３３２…探索過程
１３３３…音響モデル
１３３４…統計的言語モデル
１３３５…照合
１３３６…送信領域音声パラメータ
【図１】
2005295133.tif 000003
【図２】
2005295133.tif 000004
【図３】
2005295133.tif 000005
【図４】
2005295133.tif 000006
【図５】
2005295133.tif 000007
【図６】
2005295133.tif 000008
【図７】
2005295133.tif 000009
【図８】
2005295133.tif 000010
【図９】
2005295133.tif 000011
【図１０】
2005295133.tif 000012
【図１１】
2005295133.tif 000013
【図１２】
2005295133.tif 000014
【図１３】
2005295133.tif 000015
【図１４】
2005295133.tif 000016
【図１５】
2005295133.tif 000017
【図１６】
2005295133.tif 000018
【図１７】
2005295133.tif 000019