(57)【特許請求の範囲】
【請求項１】
撮像部により撮像された画像を記憶する記憶部と、
画像の撮像方向の変更を停止する要求を外部装置から受信する受信部と、
前記要求が受信された場合に、前記記憶部に記憶された画像のうち、撮像方向の変更を停止する画像を特定する特定部と、
指定された撮像方向で撮像された画像を送信し、前記要求が受信された場合は、前記特定部により特定された画像の撮像方向で撮像された画像を送信する送信部と、
前記要求が受信された場合、特定された画像より後に撮像され、前記記憶部に記憶された画像から、特定された撮像方向に対応する部分画像を切り出す切出部と、を備え、
前記送信部は、さらに、前記部分画像を送信する、
情報送信装置。
【請求項２】
特定された画像より前の画像から切り出された部分画像よりも、特定された画像より後の画像から切り出された部分画像に対する符号化効率を高くして、部分画像を符号化する符号化部をさらに備え、
前記送信部は、符号化された部分画像を送信する、
請求項１に記載の情報送信装置。
【請求項３】
前記特定部は、特定情報を前記外部装置に送信し、
前記受信部は、前記特定情報を受信した受信時間を前記外部装置から受信し、
前記特定部は、前記送信部が前記特定情報を送信した送信時間から前記受信時間までの時間に基づき、前記撮像方向の変更を停止する画像を特定する、
請求項１に記載の情報送信装置。
【請求項４】
前記送信部は、画像の識別情報を付加して画像を送信し、
前記受信部は、前記識別情報が付加された前記要求を受信し、
前記特定部は、前記要求に付加された前記識別情報で識別される画像を、前記撮像方向の変更を停止する画像として特定する、
請求項１に記載の情報送信装置。
【請求項５】
情報送信装置と、情報受信装置と、を備える情報処理システムであって、
前記情報送信装置は、
撮像部により撮像された画像を記憶する記憶部と、
画像の撮像方向の変更を停止する要求を前記情報受信装置から受信する第１受信部と、
前記要求が受信された場合に、前記記憶部に記憶された画像のうち、撮像方向の変更を停止する画像を特定する特定部と、
指定された撮像方向で撮像された画像を送信し、前記要求が受信された場合は、前記特定部により特定された画像の撮像方向で撮像された画像を送信する第１送信部と、
前記要求が受信された場合、特定された画像より後に撮像され、前記記憶部に記憶された画像から、特定された撮像方向に対応する部分画像を切り出す切出部と、を備え、
前記第１送信部は、さらに、前記部分画像を送信し、
前記情報受信装置は、
前記要求を前記情報送信装置に送信する第２送信部と、
前記情報送信装置から画像を受信する第２受信部と、
受信された画像を表示部に表示させる表示制御部と、を備える、
情報処理システム。
【請求項６】
画像の撮像方向の変更を停止する要求を外部装置から受信する受信ステップと、
前記要求が受信された場合に、撮像部により撮像された画像を記憶する記憶部に記憶された画像のうち、撮像方向の変更を停止する画像を特定する特定ステップと、
指定された撮像方向で撮像された画像を送信し、前記要求が受信された場合は、前記特定ステップにより特定された画像の撮像方向で撮像された画像を送信する第１送信ステップと、
前記要求が受信された場合、特定された画像より後に撮像され、前記記憶部に記憶された画像から、特定された撮像方向に対応する部分画像を切り出す切出ステップと、
前記部分画像を送信する第２送信ステップと、
を含むことを特徴とする送信方法。
【請求項７】
コンピュータに、
画像の撮像方向の変更を停止する要求を外部装置から受信する受信ステップと、
前記要求が受信された場合に、撮像部により撮像された画像を記憶する記憶部に記憶された画像のうち、撮像方向の変更を停止する画像を特定する特定ステップと、
指定された撮像方向で撮像された画像を送信し、前記要求が受信された場合は、前記特定ステップにより特定された画像の撮像方向で撮像された画像を送信する第１送信ステップと、
前記要求が受信された場合、特定された画像より後に撮像され、前記記憶部に記憶された画像から、特定された撮像方向に対応する部分画像を切り出す切出ステップと、
前記部分画像を送信する第２送信ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報送信装置、情報処理システム、送信方法およびプログラムに関する。
【背景技術】
【０００２】
テレビ会議システムおよび監視システム等に用いられるカメラは、撮像領域の全体をくまなく撮影するために、通常はパン／チルト／ズーム機能が搭載されている。パン／チルトについては、カメラレンズの撮像方向を変える機構を搭載するのが一般的であった。最近のカメラ装置では、センサの高解像度化、および、デジタル信号処理（ＤＳＰ）技術の進歩により、メカニカルな手段によるパンチルト機能の代わりに、画像のデジタル処理によりパンチルト機能が実現されるようになってきた。以後、デジタル処理によるパンチルト機能を、ＤＰＴＺ（Digital  Pan  Tilt  Zoom）と呼ぶ。ＤＰＴＺは、広角（魚眼）レンズを用いて映像データをデジタル的に処理することで、見かけ上のパンチルト機能を実現する。
【０００３】
ＤＰＴＺでは、電気的にカメラの撮像方向を切り替えることができるようになったことにより、メカニカルな回転機構でカメラの撮像方向を変える必要がなくなる。このため、撮影対象物が見つかれば瞬時にカメラの撮像方向を変えることができるようになる。ＤＰＴＺは、例えば話者追従技術との連動操作などに応用されている。
【０００４】
特許文献１では、ネットワーク経由の伝送遅延に影響されずにカメラ制御の操作性を向上させるデジタル監視システムが提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１などの従来の技術では、カメラの撮像方向を適切に制御できない場合があった。例えば、遠隔地にあるカメラをネットワーク経由で操作する場合には、操作を行ってから実際にカメラにその操作が反映された後の画像が表示されるまでに遅延が生じる場合がある。遅延には、カメラで撮影された映像が受信側の装置に転送されるのに要する時間遅延、および、目標物を検知した時点でカメラに対して停止コマンドを送信するという操作を行う場合、そのコマンドが実行されるまでの時間遅延が含まれる。このような遅延により、例えば、カメラをパンさせている途中で何らかの目標物が画面の中心になったときにパン動作を停止させても、その後で送られてくる画像では目標物は中心よりも行き過ぎたところに映される場合がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、カメラの撮像方向をより適切に制御可能な情報送信装置、情報処理システム、送信方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、撮像部により撮像された画像を記憶する記憶部と、画像の撮像方向の変更を停止する要求を外部装置から受信する受信部と、前記要求が受信された場合に、前記記憶部に記憶された画像のうち、撮像方向の変更を停止する画像を特定する特定部と、指定された撮像方向で撮像された画像を送信し、前記要求が受信された場合は、前記特定部により特定された画像の撮像方向で撮像された画像を送信する送信部と、前記要求が受信された場合、特定された画像より後に撮像され、前記記憶部に記憶された画像から、特定された撮像方向に対応する部分画像を切り出す切出部と、を備え、前記送信部は、さらに、前記部分画像を送信する。
【発明の効果】
【０００８】
本発明によれば、カメラの撮像方向をより適切に制御可能になるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態のテレビ会議システムのハードウェア構成例を示すブロック図である。
【図２】図２は、ＤＰＴＺの動作原理を説明するための図である。
【図３】図３は、リモートパンチルト操作の問題点を説明するための図である。
【図４】図４は、本実施形態の情報処理装置の機能構成の一例を示すブロック図である。
【図５】図５は、本実施形態における映像送信処理の一例を示すフローチャートである。
【図６】図６は、送信映像データのフレーム推移を示した図である。
【図７】図７は、送信映像データのフレーム推移を示した図である。
【図８】図８は、本実施形態における映像受信処理の一例を示すフローチャートである。
【図９】図９は、受信映像データのフレーム推移を示した図である。
【図１０】図１０は、受信映像データのフレーム推移を示した図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかる情報送信装置、情報処理システム、送信方法およびプログラムの一実施形態を詳細に説明する。
【００１１】
本実施形態の情報処理システムの概要について説明する。以下では、テレビ会議システムとして情報処理システムを実現した場合を例に説明する。適用可能なシステムはテレビ会議システムに限られるものではなく、カメラを用いた監視システムなどに適用してもよい。
【００１２】
テレビ会議システムは、送信側の情報処理装置（情報送信装置）と、受信側の情報処理装置（情報受信装置）と、を含む。情報送信装置は、ネットワーク遅延時間に相当する分の送信済みの映像データをリカバリー用として保持し随時更新する。リカバリー用に保持される映像データの解像度は、カメラのイメージセンサの全エリア分である。ＤＰＴＺの場合、情報送信装置は、イメージセンサの特定エリアに相当する映像データ（部分画像）を切り出して情報受信装置に送信する。
【００１３】
パンチルト動作中に、情報受信装置からパンチルトを停止するコマンド（停止コマンド）を受信した場合、情報送信装置は、情報受信装置により停止コマンドが発行された時間（またはフレーム）を算出する。すなわち情報送信装置は、情報受信装置がいずれのフレーム映像が表示されている時にパンチルトの停止操作を行ったのかを判定する。そして情報送信装置は、停止が指示された時点以降の映像データを再送する。再送する映像データは、リカバリー用として蓄積している映像データを利用すればよい。情報送信装置は、再送スタート時のパンチルト方向（撮像方向）のままで、以降の映像データを再送する。
【００１４】
以上のように、情報受信装置により停止コマンドが発行されたときの実際のパンチルト位置を逆算することで、パンチルト制動位置の精度を向上させることができる。また、停止コマンドが発行された時点からリカバリー映像を配信する仕組みを設けることで、映像データの連続性を維持することができる。
【００１５】
情報受信装置は、パンチルトの停止コマンドを発行した場合、その時点で受信した映像データの表示を止め、リカバリー映像の受信を確認した時点から、映像表示を再開する。映像データを録画する場合は、停止コマンドの発行時点のフレームの直後にリカバリー映像を配置する。これにより、例えばパンチルト位置のぶれ調整のために一時的に映像データの転送が中断されることがあっても、出力される映像データの連続性（例えば、録画した場合の再生映像）を維持することができる。
【００１６】
映像データは符号化されて送信される。テレビ会議システムではリアルタイム性が優先されるため、ほとんどのフレームがＰピクチュアとして符号化される。リカバリー映像の場合は、Ｂピクチュアも加えて符号化処理を実行する。これにより、リカバリー時間を短縮（すなわち符号量を削減）させることが可能となる。
【００１７】
以下では、パンチルト機能をＤＰＴＺにより実行する例を説明するが、メカニカルな手段によりパンチルト機能を実行する場合にも同様の手法を適用できる。
【００１８】
図１は、本実施形態のテレビ会議システムのハードウェア構成例を示すブロック図である。図１に示すように、テレビ会議システムは、情報処理装置２００Ａ、２００Ｂと、サーバ３００と、ネットワーク４００と、を備えている。
【００１９】
情報処理装置２００Ａ、２００Ｂは、それぞれ異なる拠点に配置されており、サーバ３００を介して画像や音声の送受信を行う。情報処理装置２００Ａ、２００Ｂは、同様の構成を備えるため、区別する必要がない場合は単に情報処理装置２００という。情報処理装置２００は、例えば、テレビ会議用の専用端末、ノートＰＣ（Personal  Computer）、スマートフォン、およびタブレット端末などのあらゆる装置により実現できる。
【００２０】
以下では、情報処理装置２００Ａを送信側の端末（情報送信装置）、情報処理装置２００Ｂを受信側の端末（情報受信装置）として説明する。
【００２１】
サーバ３００は、複数の情報処理装置２００間での画像（映像）や音声などの送受信を中継する。また、サーバ３００は、複数の情報処理装置間での会議の開始や終了などを制御する会議制御機能を有する。
【００２２】
ネットワーク４００は、情報処理装置２００およびサーバ３００を接続するネットワークである。ネットワーク４００は、インターネット、イントラネット、および、ＬＡＮ（Local  Area  Network）等の任意のネットワーク形態とすることができる。
【００２３】
情報処理装置２００は、カメラ１０と、ＤＰＴＺ制御回路２０と、映像ＣＯＤＥＣ回路３０と、映像出力処理回路４０と、マイクアレイ５０と、音声出力回路６０と、音声処理回路７０と、ＮＷ（ネットワーク）処理回路８０と、全体制御回路９０と、操作装置１００と、ＲＡＭ（Random  Access  Memory）１１０と、録画装置１２０と、表示装置１３０と、スピーカ１４０と、を備えている。
【００２４】
カメラ１０は、テレビ会議の参加者などを撮像する撮像部である。カメラ１０は、レンズ１１、イメージセンサ１２、および、画像処理回路１３を備えている。レンズ１１は、例えば広角（魚眼）レンズなどである。イメージセンサ１２は、レンズ１１を介して集光された映像を電気信号に変換する。イメージセンサ１２は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）やＣＣＤ（Charge  Coupled  Device）などの撮像素子により実現できる。画像処理回路１３は、イメージセンサ１２から出力される画像データに対してシェーディング、ベイヤー変換などの信号処理を行う。
【００２５】
カメラ１０は、ＤＰＴＺにより、自身の撮像範囲（撮像方向）が制御される。なお、ＤＰＴＺの効果を高めるために、レンズ１１は超広角レンズとし、イメージセンサ１２は高解像度のセンサを搭載することが望ましい。
【００２６】
複数のカメラ１０を備え、各カメラ１０により撮像した映像をブレンディング処理した映像（パノラマ撮影）をＤＰＴＺ制御回路２０へ送出するように構成してもよい。
【００２７】
ＤＰＴＺ制御回路２０は、ＤＰＴＺを制御する。ＤＰＴＺ制御回路２０は、切出回路２１と、ＡＦＦＩＮＥ（アフィン）変換回路２２と、スケーラ２３と、を備えている。ＤＰＴＺ制御回路２０によるＤＰＴＺの動作原理は後述する。
【００２８】
映像ＣＯＤＥＣ回路３０は、Ｈ．２６４／２６５などの規格に従い、映像データのエンコード処理およびデコード処理を行う。適用可能な規格はＨ．２６４／２６５に限られるものではなく、従来から用いられているあらゆるＣＯＤＥＣ機能を適用できる。
【００２９】
他の拠点の情報処理装置２００（相手局）などに映像データ（送信映像データ）を送信する場合、映像ＣＯＤＥＣ回路３０は、ＤＰＴＺ制御回路２０から入力された映像データに対して符号化処理を行い、処理後の符号化データをＮＷ処理回路８０に転送する。相手局から映像データ（受信映像データ）を受信した場合、映像ＣＯＤＥＣ回路３０は、相手局より転送されてくる符号化データをＮＷ処理回路８０経由で取り込んで、符号化データを復号処理して、映像出力処理回路４０に転送する。
【００３０】
映像出力処理回路４０は、映像ＣＯＤＥＣ回路３０で復号された受信映像データ、または、自局で撮像された映像データを表示装置１３０に出力する。映像出力処理回路４０は、例えば、複数拠点の映像データを表示させる場合、操作装置１００などから送られてくるレイアウト設定情報に従って、表示装置１３０に表示する映像のレンダリング処理を行う。
【００３１】
マイクアレイ５０は、マイクロフォン５１と、Ａ／Ｄ（アナログデジタル）コンバータ５２と、を備えている。マイクロフォン５１は、会議の参加者により発話された音声などを集音する。マイクアレイ５０は、複数のマイクロフォン５１をアレイ形式にして集音する。これにより、話者の方向を特定する機能や話者追従機能を搭載可能となる。これらの機能を搭載しない場合は、アレイ形式のマイクロフォン５１を備える必要はない。
【００３２】
Ａ／Ｄコンバータ５２は、マイクロフォン５１で集音された音声のアナログ信号をデジタルデータに変換して音声処理回路７０へ出力する。
【００３３】
音声出力回路６０は、他拠点から送られてきた音声データをアナログ信号に変換して、スピーカ１４０に出力する。音声出力回路６０は、デジタルの音声データをアナログ信号に変換するＤ／Ａコンバータ６１を備える。
【００３４】
音声処理回路７０は、音声データに対する各種処理を実行する。音声処理回路７０は、ＤＳＰ（Digital  Signal  Processor）７１と、音声ＣＯＤＥＣ回路７２と、ＮＲ（Noise  Reduction）／ＥＣ（Echo  Cancellation）回路７３と、音声判別回路７４と、話者追従検知回路７５と、を備えている。
【００３５】
ＤＳＰ７１は、音声データに関するデジタル信号処理を実行する。ＤＳＰ７１は、例えば、ＮＷ処理回路８０を介して入力された他拠点からの音声データを取り込む。音声ＣＯＤＥＣ回路７２は、音声データのエンコード処理およびデコード処理を行う。ＮＲ／ＥＣ回路７３は、音声データのノイズリダクション処理およびエコーキャンセル処理を行う。
【００３６】
他拠点からの音声データの場合は、ＤＳＰ７１は、音声出力回路６０に処理済みの音声データを転送する。同時に、ＤＳＰ７１は、音声出力回路６０に転送される音声データを把握しながら、マイクアレイ５０に回り込んで入力される上記音声データに対して、ＮＲ／ＥＣ回路７３を用いてエコーキャンセル（ＥＣ）処理を行う。
【００３７】
音声処理回路７０には、マイクアレイ５０により集音された音も入力される。音声判別回路７４は、マイクロフォン５１により集音された音の音データから、音声の音声データを抽出する。話者追従検知回路７５は、抽出された音声データ等を用いて話者追従機能を実行する。話者追従検知回路７５は、マイクアレイ５０で集音した音声により音源方向を推定する方法などを適用して話者追従機能を実現する。ＤＳＰ７１は、処理済みの音声データを、映像データと同期させながら、ＮＷ処理回路８０に転送する。
【００３８】
ＮＷ処理回路８０は、映像データおよび音声データの送受信を行う。例えばＮＷ処理回路８０は、映像ＣＯＤＥＣ回路３０（エンコーダ３１）から転送されてきた映像の符号化データを、ネットワーク４００を介して、送信映像データを他拠点の情報処理装置２００などに送信する。また、ＮＷ処理回路８０は、相手局より転送される映像の符号化データを、ネットワーク４００を介して取り込んで、符号化データを映像ＣＯＤＥＣ回路３０（デコーダ３２）に転送する。
【００３９】
ＮＷ処理回路８０は、符号化パラメータ（ＱＰ値など）を決めるために、ネットワーク４００の帯域を監視する機能を備えてもよい（状態検知回路８１）。またＮＷ処理回路８０は、符号化パラメータ（ＱＰ値など）や送信モードの設定を最適化するために、相手局の機能や性能に関する情報を入力する機能を備えてもよい（機能判別回路８２）。
【００４０】
全体制御回路９０は、情報処理装置２００全体のシステム制御を司る。全体制御回路９０は、ＣＰＵ９１と、ＲＯＭ（Read  Only  Memory）９２と、ＲＡＭ９３と、ＨＤＤ９４と、を備える。
【００４１】
ＨＤＤ９４は、各種プログラムおよびデータを記憶する。例えばＨＤＤ９４は、情報処理装置２００の全体を制御する情報処理プログラムを記憶する。ＨＤＤ９４は、プログラムおよびデータを、所定のファイルシステムおよび／またはＤＢ（Ｄａｔａ  Ｂａｓｅ）により管理する。
【００４２】
ＲＡＭ９３は、プログラムおよびデータなどを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＡＭ９３は、全体制御回路９０以外の各部と共有できるように構成してもよい。
【００４３】
ＲＯＭ９２は、電源を切っても内部データを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ９２は、例えば、情報処理装置２００のシステム設定、およびネットワーク関連設定などのデータを記憶する。
【００４４】
ＣＰＵ９１は、例えば、ＲＡＭ９３上に読み出したプログラムを実行することにより、情報処理装置２００の全体制御および各種搭載機能の動作を実現する。
【００４５】
全体制御回路９０の機能には、以下のような機能が含まれる。
・オペレータ（会議の参加者など）の指示に従った、各機能のモード設定やステータス管理
・ＲＡＭ９３の使用権、および、システム（共通）バスのアクセス権限の調停機能
【００４６】
パンチルト操作に関しては、例えば全体制御回路９０は、パンチルト操作に伴う切出エリアの座標情報をＤＰＴＺ制御回路２０に知らせる機能を有する。パンチルト操作の指示は、自局のオペレータによる操作装置１００からのコマンドのみとは限らない。相手局（送信先）からネットワーク経由で送信されるパンチルト操作に関するコマンドの場合もある。
【００４７】
操作装置１００は、各種操作の入力を行うものであり、キーボード、マウス、タッチパッド、およびタッチパネルなどにより実現される。例えばオペレータは、表示装置１３０に表示された映像を見ながら、操作装置１００を用いてパンチルト操作を指示する。パンチルト操作の指示は、例えば、パンチルト操作の開始、パンチルト操作の停止、パンチルトの方向などを含む。
【００４８】
パンチルト操作の指示は、全体制御回路９０に送られる。全体制御回路９０は、パンチルト操作に関わる他のモジュールの状態（ステータス）を監視しながら、各モジュールにその時の最適な設定やコマンドを発行する。例えば全体制御回路９０は、操作装置１００から受け付けたパンチルト操作の開始、パンチルト操作の停止、および、パンチルトの方向の指示に応じて、パンチルト操作の開始コマンド、パンチルト操作の停止コマンド、パンチルトの方向を指示する方向指示コマンドを、それぞれ発行する。
【００４９】
操作装置１００は、この他、各種の設定、および、会議への参加者の呼び出しなどのオペレーション操作に用いられる。
【００５０】
ＲＡＭ１１０は、ＤＰＴＺ制御回路２０と連動して動作する記憶媒体である。ＤＰＴＺ制御回路２０は、カメラ１０から送られてくる映像データに対して切出処理（Cropping）を行わず、全エリアのデータを毎フレーム、ＲＡＭ１１０に蓄積していく。ＲＡＭ１１０の記憶領域が不足する場合、最も古いフレームを削除して順次新しいフレームを蓄積する。このように、ＲＡＭ１１０は、例えばリングバッファとして機能するように構成できる。
【００５１】
ＲＡＭ１１０の容量は、映像送信時のネットワーク遅延時間分に相当するフレーム数（＝ａ）、および、コマンド送信時のネットワーク遅延時間分に相当するフレーム数（＝ｂ）とすると、少なくとも（ａ＋ｂ）フレーム分が必要となる。
【００５２】
録画装置１２０は、音声データおよび映像データを録画する。例えば録画装置１２０は、音声処理回路７０から出力される音声データと、映像出力処理回路４０から出力される映像データとを、記録媒体に記録する。記録媒体は、ビデオテープ、ＤＶＤ（Digital  Versatile  Disk）、および、ハードディスクなどのあらゆる媒体を利用できる。録画装置１２０は、音声処理回路７０および映像出力処理回路４０に録画したデータを出力することにより、会議シーンを再生することができる。
【００５３】
表示装置１３０は、映像データなどの情報を表示する表示部である。表示装置１３０は、液晶ディスプレイなどの従来から用いられているあらゆる表示媒体により実現できる。スピーカ１４０は、音声データを出力する音声出力部として機能する。
【００５４】
なお、図１に示すハードウェア構成は一例でありこれに限られるものではない。例えば、各回路の一部または全部は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）などの専用のハードウェア回路で実現してもよいし、ＣＰＵ（Central  Processing  Unit）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよい。また、複数の回路の一部または全部の機能を共に備える回路を用いてもよい。
【００５５】
次に、ＤＰＴＺ制御回路２０によるＤＰＴＺの動作原理について説明する。図２は、ＤＰＴＺの動作原理を説明するための図である。
【００５６】
ＤＰＴＺ制御回路２０には、カメラ１０で撮影された映像データ５０１が入力される。映像データ５０１は、広角で歪が大きく、解像度が高い映像データである。映像データ５０１は、同時にＲＡＭ１１０に蓄積され、再送用に再利用されることもある。
【００５７】
ＤＰＴＺ制御回路２０の切出回路２１は、入力された映像データ５０１から、指定されたエリアを切り出す。エリアは、例えば、自局または相手局の操作装置１００を用いて指定される。切り出されたエリア（切出エリア）の画像（部分画像５０２）が、他拠点で表示される映像となる。この切出エリアを動的に変動させることで、見かけ上のパンチルト操作になる。
【００５８】
ＤＰＴＺ制御回路２０のＡＦＦＩＮＥ変換回路２２は、部分画像５０２に対して歪補正処理を行う。上記のように、超広角レンズで撮像されるため、部分画像５０２は、光学的にかなり歪んだ画像となる。そのため、ＡＦＦＩＮＥ変換回路２２は、レンズ特性に合わせてＡＦＦＩＮＥ変換による歪補正処理を行い自然な映像に見えるようにする。切出処理は、任意のエリアで動的に変動する。このため、変動する切出エリアの座標に合わせて、ＡＦＦＩＮＥ変換の補正パラメータもリアルタイムに置き換えていく必要が生ずる。
【００５９】
ＡＦＦＩＮＥ変換回路２２による補正処理により、歪が除去された映像データ５０３が、映像ＣＯＤＥＣ回路３０に転送される。映像データ５０３は、映像ＣＯＤＥＣ回路３０により符号化処理が実行され、ネットワーク４００経由で相手局にストリームデータ形式で送信される。
【００６０】
次に、リモートからの要求によるパンチルト操作（リモートパンチルト操作）における問題点を説明する。図３は、リモートパンチルト操作の問題点を説明するための図である。
【００６１】
例えば、送信映像データのＮ番目（Ｎは２以上の整数）のフレームで、情報受信装置側がパンチルト操作を停止する場合を想定して説明する。以下ではｉ番目のフレームをフレームｉと表記する。映像送信におけるネットワーク転送遅延時間分（エンコードおよびデコード等による遅延などを含む）に相当するフレーム数をａとすると、情報受信装置側でフレームＮが表示される時間に、情報送信装置側では既にフレーム（Ｎ＋ａ）の送信を行っている。さらに、停止コマンドの送信におけるネットワーク遅延時間分に相当するフレーム数をｂとすると、情報受信装置側に停止コマンドが届く時間に、情報送信装置側では既にフレーム（Ｎ＋ａ＋ｂ）の送信を行っている。
【００６２】
このように、（ａ＋ｂ）フレーム分の遅延が発生するため、フレーム（Ｎ＋１）〜フレーム（Ｎ＋ａ＋ｂ）は、目標停止位置よりオーバーランしたエリアの映像となる。フレーム（Ｎ＋ａ＋ｂ＋１）からはフレームＮと同じエリア（＝目標停止位置）の送信が可能になる。しかし、情報受信装置にとっては、フレーム（Ｎ＋１）〜フレーム（Ｎ＋ａ＋ｂ）は、目標停止位置の映像が表示されない空白期間になる。
【００６３】
本実施形態では、目標停止位置のフレーム（Ｎ＋１）〜フレーム（Ｎ＋ａ＋ｂ）の映像データを再送できる仕組みを提供する。空白期間をなくすことができるため、例えば撮影現場の一時的な変化についても見逃しがないようにできる。
【００６４】
図４は、本実施形態の情報処理装置２００の機能構成の一例を示すブロック図である。図４に示すように、情報処理装置２００は、記憶部２１１と、受信部２０１と、特定部２０２と、切出部２０３と、符号化部２０４と、復号部２０５と、送信部２０６と、表示制御部２０７と、制御部２０８と、を備えている。
【００６５】
記憶部２１１は、カメラ１０（撮像部）により撮像された映像データ（画像）を記憶する。記憶部２１１は、例えば図１のＲＡＭ１１０により実現される。
【００６６】
受信部２０１は、相手局である情報処理装置２００などの外部装置から送信された各種情報を受信する。例えば受信部２０１は、映像の撮像方向の変更を停止する要求（停止コマンド）を相手局から受信する。
【００６７】
特定部２０２は、停止コマンドが受信された場合に、記憶部２１１に記憶された複数の映像データのうち、パンチルト方向（撮像方向）の変更を停止する映像データを特定する。すなわち特定部２０２は、情報受信装置側で、パンチルト操作を停止するフレームとして指定されたフレームを特定する。
【００６８】
切出部２０３は、カメラ１０により撮像された映像データから、指定されたパンチルト方向に対応する映像データ（部分画像）を切り出す。切出部２０３は、例えば図１の切出回路２１により実現される。
【００６９】
符号化部２０４は、相手局に送信するために、切り出された映像データ（部分画像）を符号化する。符号化部２０４は、例えば図１のエンコーダ３１により実現される。復号部２０５は、相手局から受信した画像を復号する。復号部２０５は、例えば図１のデコーダ３２により実現される。
【００７０】
送信部２０６は、指定されたパンチルト方向で撮像され、符号化された映像データを、ＮＷ処理回路８０などを経由して相手局である情報処理装置２００に送信する。また送信部２０６は、停止コマンドが受信された場合は、以降、特定部２０２により特定された画像に対応するパンチルト方向で撮像され、符号化された映像データを、相手局である情報処理装置２００に送信する。送信部２０６は、例えば図１のＤＰＴＺ制御回路２０により実現される。
【００７１】
表示制御部２０７は、映像データなどの情報を表示装置１３０に表示する処理を制御する。表示制御部２０７は、例えば図１の映像出力処理回路４０により実現される。
【００７２】
制御部２０８は、情報処理装置２００全体の動作を制御する。なお、受信部２０１、特定部２０２、および、制御部２０８は、例えば図１の全体制御回路９０により実現される。
【００７３】
次に、このように構成された本実施形態にかかる情報処理装置２００による映像送信処理について図５〜図７を用いて説明する。図５は、本実施形態における映像送信処理の一例を示すフローチャートである。図５は、情報受信装置からリモート操作された情報送信装置側の手順を示す。図６および図７は、送信映像データのフレーム推移を示した図である。
【００７４】
制御部２０８は、情報処理装置２００の起動時に、各モジュールの初期設定を行い、カメラ１０での撮影が可能な状態にする（ステップＳ１０１）。制御部２０８は、会議の環境に合わせて、測光条件等のカメラ１０の撮像モードを設定する（ステップＳ１０２）。以降、制御部２０８は、オペレータのマニュアル設定に合わせてカメラ１０の撮影モードを設定する。
【００７５】
制御部２０８は、ステップＳ１０１、ステップＳ１０２で準備が整った時点で、相手局に通信開始を要求して会議を開始する（ステップＳ１０３）。制御部２０８は、相手局からの通信要求を受けて会議を開始してもよい。制御部２０８は、会議を録画する場合、録画装置１２０をこの時点で起動してもよい。
【００７６】
受信部２０１は、相手局からパンチルト操作の開始要求（リモートパンチルト要求）を受信したか否かを判定する（ステップＳ１０４）。受信していない場合（ステップＳ１０４：Ｎｏ）、受信するまで処理が繰り返される。この間、カメラ１０による撮像は継続される。
【００７７】
リモートパンチルト要求を受信した場合（ステップＳ１０４：Ｙｅｓ）、ＤＰＴＺ制御回路２０は、リモートパンチルト要求とともに送信される、パンチルト方向の指示（方向指示コマンド）に従ってパンチルト操作の制御を開始する（ステップＳ１０５）。例えば切出回路２１は、方向指示コマンドに従って切出エリアを移動する。
【００７８】
ＤＰＴＺ制御回路２０は、切出エリアが表示可能エリアの端部（限度位置）になったか否かを判定する（ステップＳ１０６）。端部になった場合（ステップＳ１０６：Ｙｅｓ）、ＤＰＴＺ制御回路２０は、パンチルト操作を停止し（ステップＳ１０７）、以降はその時点の切出エリアの映像データを送信する。この場合、リモートパンチルト要求はリセットされ、ステップＳ１０４に戻る。
【００７９】
端部でない場合（ステップＳ１０６：Ｎｏ）、受信部２０１は、相手局からパンチルト操作の停止要求（停止コマンド）を受信したか否かを判定する（ステップＳ１０８）。受信していない場合（ステップＳ１０８：Ｎｏ）、ステップＳ１０６に戻り処理が繰り返される。停止コマンドを受信した場合（ステップＳ１０８：Ｙｅｓ）、ＤＰＴＺ制御回路２０は、パンチルト操作を停止する（ステップＳ１０９）。
【００８０】
特定部２０２は、パンチルト操作を停止するフレームとして相手局で指定されたフレーム（以下、フレームＮとする）を特定する（ステップＳ１１０）。
【００８１】
特定部２０２は、以下のような方法によりフレームＮを特定することができる。特定部２０２は、事前に、映像データやコマンドデータのネットワーク遅延時間を把握しておく。例えば、特定部２０２は、会議スタート時にダミーの映像データなどの特定情報を相手局に送信し、特定情報を受信した受信時間を相手局から受信する。特定部２０２は、特定情報を送信した送信時間および受信時間から、映像データ送信時のネットワーク遅延時間を算出できる。同様に、ダミーのコマンドを特定情報として送信することにより、コマンド送信時のネットワーク遅延時間が算出できる。
【００８２】
フレームＮの特定方法は上記方法に限られるものではなく、次のような方法を用いてもよい。例えば送信部２０６は、フレームを識別する識別情報（フレーム番号など）をメタデータとして付加して送信映像データを送信する。情報受信装置は、停止コマンドの発行時に表示されているフレームのフレーム番号を取得し、取得したフレーム番号を停止コマンドとともに情報送信装置に送信する。これにより、情報送信装置の特定部２０２は、フレーム番号で識別されるフレームをフレームＮとして特定できる。
【００８３】
切出部２０３は、以降、切出エリアをフレームＮと同じ座標に設定する。情報受信装置側でフレームＮが表示されている時に、受信側が停止コマンドを発行したと判断されたためである。
【００８４】
ＤＰＴＺ制御回路２０は、フレーム推移モードがモード１であるか否かを判定する（ステップＳ１１１）。フレーム推移モードとは、フレームＮの後に推移するフレームをどのように設定するかを示す。フレーム推移モードは、例えば、モード１およびモード２を含む。モード１は、情報受信装置で停止コマンドが発行された時点のフレームに戻って、映像データを再送するモードである。モード２は、情報受信装置で停止コマンドが発行された時点のフレームに戻らず、カメラ１０で撮像される映像データと同期してフレームの映像データを送信するモードである。
【００８５】
フレーム推移モードは、例えばオペレータの指示に従い設定され、ＲＡＭ９３などの記憶部に記憶されてもよい。ＤＰＴＺ制御回路２０は、このように設定されたフレーム推移モードを参照してステップＳ１１１の判定を行う。
【００８６】
フレーム推移モードがモード１である場合（ステップＳ１１１：Ｙｅｓ）、ＤＰＴＺ制御回路２０は、ＲＡＭ１１０に記憶されている映像データを切出処理の対象画像（送信映像データ）として、映像データを再送する（ステップＳ１１２）。再送を開始するフレームは、フレーム（Ｎ＋１）である。
【００８７】
モード１の場合、ＲＡＭ１１０にはフレーム（Ｎ＋１）から、停止コマンドを受信した時点のフレーム（Ｎ＋ａ＋ｂ）までのフレームが蓄積される必要がある。すなわち、ＲＡＭ１１０の容量は、少なくとも（ａ＋ｂ）フレーム分が必要となる。
【００８８】
映像データを再送している間もカメラ１０から映像データは送られてくるので、ＤＰＴＺ制御回路２０は、カメラ１０からの映像データをＲＡＭ１１０へ蓄積する。再送を開始する時点で、実際の送信映像データはカメラに対して（ａ＋ｂ）フレーム分の遅れがある。このため、送信映像データの送信速度（送信フレームレート）を、カメラ１０の撮像速度より増加させて、カメラ１０に対する遅れを取り戻す必要がある。
【００８９】
そこで、符号化部２０４（エンコーダ３１）は、再送する画像の符号化効率を、通常時の画像の符号化効率より高くする（高圧縮モード）。例えば、通常は符号化時にはＰピクチュアのみで符号化処理を実施するのに対して、送信フレームレート向上が必要な期間は、Ｂピクチュアも挿入して符号化効率を高くする。ネットワーク帯域との兼ね合いで、符号化効率アップが不十分な場合、さらにＱＰ値調整や画像の解像度を低下させるなどして、カメラ１０に対するフレームの遅れを取り戻すようにしてもよい。
【００９０】
ＤＰＴＺ制御回路２０は、送信映像データがカメラ１０から出力される映像データに追いついたか否かを判定する（ステップＳ１１３）。ＤＰＴＺ制御回路２０は、例えば、リングバッファ（ＲＡＭ１１０）に記憶された映像データをすべて処理した場合に、映像データに追いついたと判定する。
【００９１】
追いついていない場合（ステップＳ１１３：Ｎｏ）、ステップＳ１１２に戻り再送処理が繰り返される。追いついた場合（ステップＳ１１３：Ｙｅｓ）、ＤＰＴＺ制御回路２０は、ＲＡＭ１１０に記憶された映像データではなく、カメラ１０から出力される映像データを切出し処理の対象画像（送信映像データ）とするように処理を切り替える（ステップＳ１１４）。なお符号化部２０４は、高圧縮モードの設定を解除し、通常の符号化効率で符号化処理を実行する。
【００９２】
図６は、モード１の場合の送信映像データのフレーム推移を示す。図６の例では、フレーム（Ｎ＋ａ＋ｂ）の送信後にパンチルトの停止コマンドが受信されている。期間６０１は、再送する映像データがカメラ１０からの映像データに追いつくまでの期間を示す。期間６０１では、ＲＡＭ１１０に記憶された映像データから送信映像データが生成される。再送する映像データのパンチルト方向は、フレームＮのパンチルト方向と同じとされる。なお記号＊が付与されたフレームは、ＲＡＭ１１０に記憶された映像データから切り出されたフレームであることを示す。カメラ１０からの映像データに追いついたときのフレーム番号は（Ｎ＋ｘ）としている。ｘは、ｘ＞ａ＋ｂを満たす整数である。
【００９３】
図５に戻り、ステップＳ１１１でフレーム推移モードがモード１でない、すなわち、モード２であると判定された場合（ステップＳ１１１：Ｎｏ）、ＤＰＴＺ制御回路２０は、カメラ１０から出力される映像データを切出し処理の対象画像（送信映像データ）として送信映像データの送信処理を継続する（ステップＳ１１５）。
【００９４】
図７は、モード２の場合の送信映像データのフレーム推移を示す。図６と同様に、フレーム（Ｎ＋ａ＋ｂ）の送信後にパンチルトの停止コマンドが受信された例が示されている。モード２の場合は、フレーム（Ｎ＋ａ＋ｂ＋１）以降、パンチルト操作が停止された映像データのフレームが送信される。このときのパンチルト方向は、フレームＮと同じとされる。
【００９５】
図５に戻り、ステップＳ１１４およびステップＳ１１５の後は、ステップＳ１０４に戻り処理が繰り返される。これで通常状態に戻ったことになる。
【００９６】
次に、映像受信装置側の処理について説明する。図８は、本実施形態における映像受信処理の一例を示すフローチャートである。図９および図１０は、受信映像データのフレーム推移を示した図である。
【００９７】
ステップＳ２０１〜ステップＳ２０３は、情報送信装置側のフローチャートである図５のステップＳ１０１〜ステップＳ１０３と同様であるため説明を省略する。
【００９８】
オペレータは、例えば表示装置１３０に表示された映像を見ながら、パンチルト操作が必要か判断する。パンチルト操作が必要な場合、オペレータは、例えば操作装置１００を用いて、パンチルト操作の開始を指示する。制御部２０８は、操作装置１００によるリモートパンチルト操作の開始を受け付ける（ステップＳ２０４）。制御部２０８は、リモートパンチルト操作の開始、および、パンチルトの方向の指示に応じて、リモートによるパンチルト操作の開始コマンドおよび方向指示コマンドを発行する（ステップＳ２０５）。
【００９９】
制御部２０８は、情報送信装置側の表示可能エリアの端部（限度位置）の映像データを受信しているか否かを判定する（ステップＳ２０６）。端部の映像データを受信している場合（ステップＳ２０６：Ｙｅｓ）、制御部２０８は、パンチルト操作を無効とする（ステップＳ２０７）。例えば制御部２０８は、パンチルト操作に関するコマンドの送信を停止（初期化）する。この後、ステップＳ２０４に戻り処理が繰り返される。なおパンチルトの方向を変更すれば、再度リモートパンチルト操作が有効になる。
【０１００】
端部の映像データを受信していない場合（ステップＳ２０７：Ｎｏ）、制御部２０８は、オペレータなどによるパンチルト操作の停止の指示を受け付けたか否かを判定する（ステップＳ２０８）。停止の指示を受け付けていない場合（ステップＳ２０８：Ｎｏ）、ステップＳ１０６に戻り処理が繰り返される。
【０１０１】
停止の指示を受け付けた場合（ステップＳ２０８：Ｙｅｓ）、制御部２０８は、リモートパンチルトの停止コマンドを発行する（ステップＳ２０９）。映像データにフレーム番号がメタデータとして付加されている場合、制御部２０８は、停止コマンドの発行時に表示されていたフレームのフレーム番号を取得して、取得したフレーム番号を、停止コマンドとともに相手局に送信する。これにより、情報送信装置は、停止コマンドが発行されたときのフレーム（フレームＮ）を、フレーム番号を用いて特定可能となる。
【０１０２】
制御部２０８は、フレーム推移モードがモード１であるか否かを判定する（ステップＳ２１０）。フレーム推移モードがモード１の場合（ステップＳ２１０：Ｙｅｓ）、制御部２０８は、表示する映像データを一時的に静止画にする（ステップＳ２１１）。例えば、制御部２０８は、フレームＮの映像データを静止状態で表示するように制御する。制御部２０８は、その後に受信したフレーム（Ｎ＋１）〜フレーム（Ｎ＋ａ＋ｂ）は廃棄してもよい。
【０１０３】
制御部２０８は、フレーム（Ｎ＋１）を受信したか否かを判定する（ステップＳ２１２）。例えば制御部２０８は、メタデータとして付加されたフレーム番号を用いて、フレーム（Ｎ＋１）を受信したか否かを判定する。制御部２０８は、例えば受信した映像データのフレームレートが変更された場合に、フレーム（Ｎ＋１）を受信したと判定してもよい。
【０１０４】
フレーム（Ｎ＋１）を受信していない場合（ステップＳ２１２：Ｎｏ）、受信するまで処理が繰り返される。フレーム（Ｎ＋１）を受信した場合（ステップＳ２１２：Ｙｅｓ）、制御部２０８は、表示する映像データを静止画とする機能を解除し、フレーム（Ｎ＋１）からの映像データの表示を再開する（ステップＳ２１３）。再開後は情報送信装置から高フレームレートで映像データが送られる。従って、制御部２０８は、それに追従できるように表示装置１３０に対する表示のフレームレートを上げる。制御部２０８は、通常のフレームレートに戻った後のフレーム、すなわち、フレーム（Ｎ＋ｘ＋１）以降のフレームを、通常のフレームレートで表示する。情報送信装置は、フレーム（Ｎ＋ｘ＋１）以降は、通常のフレームレートで映像データを送信するためである。
【０１０５】
図９は、モード２の場合の受信映像データのフレーム推移を示す。図９は、送信映像データのフレーム推移を示す図６と同様のタイミングで停止コマンドが発行された場合の例を示す。期間９０１は、映像データの表示を停止状態とする（例えば静止画を表示する）期間を示す。期間９０２は、再送する映像データがカメラ１０からの映像データに追いつくまでの期間を示す。期間９０２では、受信映像データのフレームレートに合わせて表示のフレームレートが高く設定される。録画装置１２０に録画するデータは、リアルタイム性は要求されないため、調整しなくてもよい。例えば、期間９０１で受信した映像データを破棄せずに、または、破棄する前に録画装置１２０に録画してもよい。
【０１０６】
図８に戻り、ステップＳ２１０でフレーム推移モードがモード１でない、すなわち、モード２であると判定された場合（ステップＳ２１０：Ｎｏ）、制御部２０８は、通常の映像データの受信および表示を継続する（ステップＳ２１４）。
【０１０７】
図１０は、モード２の場合の受信映像データのフレーム推移を示す。図７と同様に、フレーム（Ｎ＋ａ＋ｂ）の送信後にパンチルトの停止コマンドが受信された例が示されている。期間１００１は、指示した停止位置よりオーバーランした位置の映像データが表示される期間を示す。モード１の場合と同様に、期間１００１で映像データの表示を停止状態としてもよい。期間１００１で受信した映像データ（フレーム（Ｎ＋１）〜フレーム（Ｎ＋ａ＋ｂ））は、要求した停止位置からオーバーランした映像データに相当するため、録画装置１２０には記憶しないように構成してもよい。フレーム（Ｎ＋ａ＋ｂ＋１）以降は、パンチルト操作が停止された映像データのフレームが送信される。このときのパンチルト方向は、フレームＮと同じとされる。
【０１０８】
図８に戻り、ステップＳ２１３およびステップＳ２１４の後は、ステップＳ２０４に戻り処理が繰り返される。これで通常状態に戻ったことになる。
【０１０９】
なお、本実施形態の装置で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。
【０１１０】
本実施形態の装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータ・プログラム・プロダクトとして提供するように構成してもよい。
【０１１１】
さらに、本実施形態の装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１１２】
本実施形態の装置で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
【符号の説明】
【０１１３】
１０  カメラ
１１  レンズ
１２  イメージセンサ
１３  画像処理回路
２０  ＤＰＴＺ制御回路
２１  切出回路
２２  ＡＦＦＩＮＥ変換回路
２３  スケーラ
３０  映像ＣＯＤＥＣ回路
３１  エンコーダ
３２  デコーダ
４０  映像出力処理回路
５０  マイクアレイ
５１  マイクロフォン
５２  Ａ／Ｄコンバータ
６０  音声出力回路
６１  Ｄ／Ａコンバータ
７０  音声処理回路
７１  ＤＳＰ
７２  音声ＣＯＤＥＣ回路
７３  ＮＲ／ＥＣ回路
７４  音声判別回路
７５  話者追従検知回路
８０  ＮＷ処理回路
９０  全体制御回路
９１  ＣＰＵ
９２  ＲＯＭ
９３  ＲＡＭ
９４  ＨＤＤ
１００  操作装置
１１０  ＲＡＭ
１２０  録画装置
１３０  表示装置
１４０  スピーカ
２００  情報処理装置
２０１  受信部
２０２  特定部
２０３  切出部
２０４  符号化部
２０５  復号部
２０６  送信部
２０７  表示制御部
２０８  制御部
２１１  記憶部
３００  サーバ
４００  ネットワーク
【先行技術文献】
【特許文献】
【０１１４】
【特許文献１】特開２００８−２５２３３１号公報
【特許文献２】特開２０１５−０９５８０３号公報
【図１】
0006627459.tif 000002
【図２】
0006627459.tif 000003
【図３】
0006627459.tif 000004
【図４】
0006627459.tif 000005
【図５】
0006627459.tif 000006
【図６】
0006627459.tif 000007
【図７】
0006627459.tif 000008
【図８】
0006627459.tif 000009
【図９】
0006627459.tif 000010
【図１０】
0006627459.tif 000011