(57)【要約】【課題】  複数のクライアントから公平かつ効率よくスムーズに配信画像生成パラメータの指定を受けて配信画像をクライアントに送信できるようにすることを課題とする。【解決手段】  ネットワークに接続されたクライアントによって指定された配信画像生成パラメータに応じて配信画像を生成する配信画像生成手段(3-200)と、生成した配信画像をクライアントに送信する通信手段(3-500)とを有し、１つの配信画像生成手段は、配信画像生成パラメータが異なる複数の配信画像を並列に生成することが可能であり、通信手段は、複数のクライアントから互いに独立して配信画像生成パラメータを指定され、互いに異なる配信画像を複数のクライアントに並列に送信することができる画像配信装置が提供される。【選択図】        図３
2006279465.tif 000002
【特許請求の範囲】
【請求項１】
光学系を使用して画像をキャプチャするキャプチャ手段と、
前記キャプチャした画像の一部を切り出す画像切り出し処理部及び前記切り出した画像のデータサイズを圧縮する符号化処理部を含む画像処理部によって配信画像を生成する際に、ネットワークに接続されたクライアントによって指定された配信画像生成パラメータに応じて配信画像を生成する配信画像生成手段と、
前記生成した配信画像をクライアントに送信する通信手段とを有し、
前記１つの配信画像生成手段は、配信画像生成パラメータが異なる複数の配信画像を並列に生成することが可能であり、前記通信手段は、複数のクライアントから互いに独立して配信画像生成パラメータを指定され、互いに異なる配信画像を複数のクライアントに並列に送信することができることを特徴とする画像配信装置。
【請求項２】
前記配信画像生成手段の画像処理部は、前記切り出した画像のリサイズ処理又はリサンプル処理によって画像サイズを変更するリサイズ処理部を含むことを特徴とする請求項１記載の画像配信装置。
【請求項３】
前記配信画像生成手段の画像処理部は、前記光学系の歪特性に応じて画像の全体又は一部を歪補正する歪補正処理部を含むことを特徴とする請求項１又は２記載の画像配信装置。
【請求項４】
前記配信画像生成パラメータは、視線方向と画角によって決まる視野範囲、配信画像の画像サイズ、画像コーデック、配信フレームレート、配信画像の同時生成数のうちの少なくとも１つが含まれることを特徴とする請求項１〜３のいずれか１項に記載の画像配信装置。
【請求項５】
さらに、クライアントが配信画像生成パラメータを指定する権利を配信画像生成権として管理する配信画像生成パラメータ管理手段を有し、
前記配信画像生成パラメータ管理手段は、前記配信画像生成権と配信画像とを１対１に対応させることにより、前記配信画像生成権を保持するクライアントのみから配信画像生成パラメータの指定を受け付けることを特徴とする請求項１〜４のいずれか１項に記載の画像配信装置。
【請求項６】
前記配信画像生成パラメータ管理手段は、前記配信画像生成権の保持時間を管理し、新たにクライアントから配信画像生成権が要求された場合は、前記配信画像生成権を保持するクライアントのうち、前記配信画像生成権の保持時間が最も長いクライアントから前記配信画像生成権を剥奪して、前記配信画像生成権を要求した他のクライアントに前記配信画像生成権を与えることを特徴とする請求項５記載の画像配信装置。
【請求項７】
前記配信画像生成パラメータ管理手段は、前記配信画像生成権に制限時間を設定し、前記配信画像生成権をクライアントに与えた時点から前記制限時間が経過した場合は、前記配信画像生成権を剥奪して前記配信画像生成権を要求した他のクライアントに与えることを可能にすることを特徴とする請求項５又は６記載の画像配信装置。
【請求項８】
さらに、配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数を設定するための配信画像生成条件設定手段と、
配信画像生成パラメータ又は配信画像の同時生成数によって決まる配信画像の生成負荷を定量化して予測する配信画像生成負荷算出手段とを有し、
前記配信画像生成負荷算出手段は、前記配信画像生成条件設定手段によって配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数に関する設定の変更が要求された場合に、配信画像の同時生成数が最大のときに配信画像生成パラメータの指定範囲内で前記配信画像生成手段の画像処理部に対する負荷が最大となる場合の負荷を算出することを特徴とする請求項１〜７のいずれか１項に記載の画像配信装置。
【請求項９】
前記配信画像生成条件設定手段は、前記配信画像生成負荷算出手段によって算出された前記配信画像生成手段の画像処理部に対する負荷が最大となる場合の負荷が、あらかじめ定量化された前記配信画像生成手段を構成する画像処理部の処理能力を超える場合は、設定を拒否するとともに警告を通知することを特徴とする請求項８記載の画像配信装置。
【請求項１０】
さらに、前記配信画像生成負荷算出手段によって算出された前記配信画像生成手段の画像処理部に対する負荷が最大となる場合の負荷が、あらかじめ定量化された前記配信画像生成手段を構成する画像処理部の処理能力を超えないように、前記配信画像生成条件設定手段により設定された配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数のうちのいずれかを調整する配信画像生成条件調整手段を有することを特徴とする請求項８又は９記載の画像配信装置。
【請求項１１】
前記配信画像生成条件調整手段は、配信画像生成パラメータの指定範囲として配信画像サイズの指定範囲を調整する際、他の配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数に関する１つ以上の設定項目の変更が要求されて、前記配信画像生成負荷算出手段により配信画像の生成負荷が重くなることが予測された場合は指定可能な配信画像サイズの制限を強化し、配信画像の生成負荷が軽くなることが予測された場合は指定可能な配信画像サイズの制限を緩和することを特徴とする請求項１０記載の画像配信装置。
【請求項１２】
前記配信画像生成条件調整手段は、調整する設定項目が複数の場合は、調整する各項目に優先順位を設定し、設定した優先順位が高い項目から順に調整することを特徴とする請求項１０又は１１記載の画像配信装置。
【請求項１３】
光学系を使用して画像をキャプチャするキャプチャステップと、
前記キャプチャした画像の一部を切り出す画像切り出し処理部及び前記切り出した画像のデータサイズを圧縮する符号化処理部を含む画像処理部によって配信画像を生成する際に、ネットワークに接続されたクライアントによって指定された配信画像生成パラメータに応じて配信画像を生成する配信画像生成ステップと、
前記生成した配信画像をクライアントに送信する通信ステップとを有し、
前記配信画像生成ステップは、配信画像生成パラメータが異なる複数の配信画像を並列に生成することが可能であり、前記通信ステップは、複数のクライアントから互いに独立して配信画像生成パラメータを指定され、互いに異なる配信画像を複数のクライアントに並列に送信することができることを特徴とする画像配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像配信装置及び画像配信方法に関する。
【背景技術】
【０００２】
ユーザーによって指定された視野範囲の画像を出力する従来の映像（画像）配信装置には、ズーム制御可能な光学系と、電動雲台等のパン、チルト機構を搭載したカメラを使用し、クライアント側で入力された視野範囲に応じて、物理的なパン、チルト、ズーム制御を行い、指定された視野範囲の画像をキャプチャして出力する映像配信装置があった（例えば、特許文献１参照。）。
【０００３】
また、上記のような映像配信装置の他に、全方位ミラーや魚眼レンズなどの広角の光学系を使用し、クライアントから指定された視野範囲に応じて、映像配信装置側でキャプチャされた画像の歪みを補正し、指定された視野範囲に相当する部分の画像を切り出した上で、連続した静止画や動画の映像ストリーム（以降、配信画像とする。）として出力する、電子的なパン、チルト、ズーム操作が可能な映像配信装置も提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】特許第３４４１９０１号公報
【特許文献２】特開平９−２６１５２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、前者の映像配信装置では、同時に視野範囲を指定することができるのは基本的に１クライアントのみであるが、後者の映像配信装置では、その図２に示すように、画像切り出し処理部などの配信画像生成手段を構成する各画像処理部が生成される配信画像と１対１に対応し、配信画像ごとに独立していれば、各配信画像生成手段が複数の配信画像を並行して同時に生成することができる。したがって、後者の映像配信装置では、同時に複数のクライアントが互いに独立して、視野範囲の位置や大きさ、配信画像のフレームレート、配信画像サイズ、符号化方法などの配信画像の生成方法を決定するパラメータ（以降、配信画像生成パラメータとする。）を指定することが可能である。また、後者の映像配信装置では、配信画像生成パラメータがどのように変化しても、それに伴って変化する配信画像生成処理の負荷が配信画像生成手段の処理能力を超えない範囲であれば、同時に生成可能な配信画像の上限数は常に配信画像生成手段の数に等しくなる。
【０００６】
しかし、配信画像生成手段が配信画像ごとに完全に独立した構成では、配信画像の同時生成数が配信画像生成手段の数に満たない場合、一部の配信画像生成手段が全く使用されない状態になる。また、配信画像の同時生成数が配信画像生成手段の数を超える場合は、配信画像生成手段を構成する各画像処理部の処理能力に余裕があっても、一部のクライアントは配信画像生成パラメータを指定することができなくなるため、配信画像生成手段が持つ本来の処理性能が十分に発揮されないことになる。
【０００７】
本発明の目的は、電子パン、チルト又はズーム可能であり、複数のクライアントから公平かつ効率よくスムーズに配信画像生成パラメータの指定を受けて配信画像をクライアントに送信できるようにすることである。
【課題を解決するための手段】
【０００８】
本発明の画像配信装置は、光学系を使用して画像をキャプチャするキャプチャ手段と、前記キャプチャした画像の一部を切り出す画像切り出し処理部及び前記切り出した画像のデータサイズを圧縮する符号化処理部を含む画像処理部によって配信画像を生成する際に、ネットワークに接続されたクライアントによって指定された配信画像生成パラメータに応じて配信画像を生成する配信画像生成手段と、前記生成した配信画像をクライアントに送信する通信手段とを有し、前記１つの配信画像生成手段は、配信画像生成パラメータが異なる複数の配信画像を並列に生成することが可能であり、前記通信手段は、複数のクライアントから互いに独立して配信画像生成パラメータを指定され、互いに異なる配信画像を複数のクライアントに並列に送信することができることを特徴とする。
【０００９】
また、本発明の画像配信方法は、光学系を使用して画像をキャプチャするキャプチャステップと、前記キャプチャした画像の一部を切り出す画像切り出し処理部及び前記切り出した画像のデータサイズを圧縮する符号化処理部を含む画像処理部によって配信画像を生成する際に、ネットワークに接続されたクライアントによって指定された配信画像生成パラメータに応じて配信画像を生成する配信画像生成ステップと、前記生成した配信画像をクライアントに送信する通信ステップとを有し、前記配信画像生成ステップは、配信画像生成パラメータが異なる複数の配信画像を並列に生成することが可能であり、前記通信ステップは、複数のクライアントから互いに独立して配信画像生成パラメータを指定され、互いに異なる配信画像を複数のクライアントに並列に送信することができることを特徴とする。
【発明の効果】
【００１０】
複数のクライアントから公平かつ効率よくスムーズに配信画像生成パラメータの指定を受けて配信画像をクライアントに送信するができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しながら本発明の最良な実施の形態について詳細に説明する。
（第１の実施形態）
図２は、本発明の第１の実施形態による映像（画像）配信装置及びクライアントの接続図である。インターネット、イントラネット、電話回線などのネットワーク(2-300)に映像配信装置とクライアントが接続される。
【００１２】
映像配信装置には、カメラ(2-111)と独立したカメラ独立型(2-110)や、カメラ(2-121)と一体になったカメラ一体型(2-120)があり、専用のハードウェアの他、PCとソフトウェアによって構成されるタイプもある。カメラの光学系には、歪みのない広角レンズの他、魚眼レンズ(2-111)や全方位ミラー(2-121)などの歪みのある光学系を使用することもできる。
【００１３】
クライアントは、PCとソフトウェアで構成されるタイプ(2-210)、PDAや携帯電話とソフトウェアで構成されるタイプ(2-220)、専用のハードウェア(2-230)とディスプレイ装置(2-231)で構成されるタイプのいずれでもよい。
【００１４】
図１は、配信画像生成回路(1-200)が配信画像ごとに独立した構成の映像配信装置の内部構成図である。映像配信装置は、複数の配信画像生成回路(1-200)と、キャプチャ回路(1-100)と、配信画像生成回路による配信画像の生成方法を決定する配信画像生成パラメータや配信画像生成権を管理するための配信画像生成パラメータ管理回路(1-300)、配信画像生成条件に関する設定を行うための配信画像生成条件設定回路(1-400)、ネットワークを経由してクライアントとのデータの送受信を行う通信回路(1-500)で構成される。キャプチャ回路(1-100)は、光学系(1-101)、撮像素子(1-102)、キャプチャ部(1-103)で構成される。各配信画像生成回路(1-200)は、処理中の画像データを一時的に保持するフレームメモリ(1-201)、歪みの大きい光学系の使用時に光学系の歪み特性に合わせて歪補正を行う歪補正処理部(1-202)、画像中の特定の部分の切り出しを行う画像切り出し処理部(1-203)、リサイズ処理又はリサンプル処理によって画像サイズの変更を行うリサイズ処理部(1-204)、画像の符号化を行う符号化処理部(3-205)等で構成される。
【００１５】
しかし、配信画像生成回路(1-200)が配信画像ごとに完全に独立した構成では、配信画像の同時生成数が配信画像生成手段の数に満たない場合、一部の配信画像生成回路(1-200)が全く使用されない状態になる。また、配信画像の同時生成数が配信画像生成回路(1-200)の数を超える場合は、配信画像生成回路(1-200)を構成する各画像処理部の処理能力に余裕があっても、一部のクライアントは配信画像生成パラメータを指定することができなくなるため、配信画像生成回路(1-200)が持つ本来の処理性能が十分に発揮されないことになる。
【００１６】
図３は、魚眼レンズや全方位ミラーなどの歪みのある光学系を使用する場合の、本実施形態の映像配信装置の内部構成図である。本実施形態の映像配信装置は、広角の光学系(3-101)、撮像素子(3-102)、キャプチャ部(3-103)で構成されるキャプチャ回路（カメラ部）(3-100)、処理中の画像データを一時的に保持するフレームメモリ(3-201)、歪みの大きい光学系の使用時に光学系の歪み特性に合わせて画像の全体又は一部を歪補正する歪補正処理部(3-202)、画像中の特定の部分の切り出しを行う画像切り出し処理部(3-203)、リサイズ処理又はリサンプル処理によって画像サイズの変更を行うリサイズ処理部(3-204)、画像の符号化を行う符号化処理部(3-205)等で構成される配信画像生成回路(3-200)、配信画像生成回路による配信画像の生成方法を決定する配信画像生成パラメータや配信画像生成権（クライアントが配信画像生成パラメータを指定する権利）を管理するための配信画像生成パラメータ管理回路(3-300)、配信画像生成条件に関する設定を行うための配信画像生成条件設定回路(3-400)、ネットワークを経由してクライアントとのデータの送受信を行う通信回路(3-500)、配信画像生成条件の範囲内で配信画像生成回路を構成する各画像処理部に対する負荷が最大となる場合の負荷（以降、最大負荷とする。）を算出するための配信画像生成負荷算出回路(3-600)、配信画像生成負荷算出回路によって算出された最大負荷に基づいて配信画像生成条件を調整する配信画像生成条件調整回路(3-700)等で構成される。
【００１７】
配信画像生成パラメータ管理回路(3-300)は、配信画像生成権と配信画像とを１対１に対応させることにより、配信画像生成権を保持するクライアントのみから配信画像生成パラメータの指定を受け付ける。
【００１８】
ここで、配信画像生成回路(3-200)を構成する各画像処理部は、専用チップ、又はCPUやDSPとソフトウェアの組み合わせによる構成のいずれでもよく、各画像処理部が必ずしも画像処理の内容ごとに独立していなくてもよい。
【００１９】
図４は、本実施形態の映像配信装置における画像処理の流れを表す図である。キャプチャ部(3-103)でキャプチャされたキャプチャ画像(4-100)は、まず、歪補正処理部(3-202)によって歪みが補正されてパノラマ画像(4-200)になる。キャプチャ画像(4-100)からパノラマ画像(4-200)への変換は、パノラマ画像上での視野範囲に相当する部分(4-210)が、視線方向が変化しても画角が同じであれば同じ大きさになり、画角が変化してもアスペクト比が変化しないように変換される。ここで、光学系(3-101)に歪みのない広角レンズを使用した場合は、パノラマ画像(4-200)と同等のキャプチャ画像が得られるため、歪補正処理部(3-202)は不要になる。
【００２０】
次に、パノラマ画像(4-200)は、画像切り出し処理部(3-203)によって視野範囲に相当する部分(4-210)が切り出されて、切り出し画像(4-300)になる。切り出し画像(4-300)は、配信画像生成権を保持するクライアントによって視線方向が変更されると切り出される位置が変化し、画角が変更されると画角に比例して画像サイズが変化する。
【００２１】
切り出し画像(4-300)は、リサイズ処理部(3-204)によって特定の画像サイズに変更されるとともに、符号化処理部(3-205)によってデータサイズが圧縮されて、配信画像(4-400)になる。配信画像(4-400)への変換は、主に画像配信の効率化のために行われる。ここで、映像配信装置側ではなくクライアント側でのみ画像サイズの変更を行うことも可能であり、その場合はリサイズ処理部(3-202)が不要になり、切り出し画像(4-300)の画像サイズがそのまま配信画像(4-400)の画像サイズとなる。
【００２２】
図５、図６、図７は、本実施形態の映像配信装置の配信画像生成回路における、配信画像ごとの処理と時間の関係を表す図である。図中の各バーの幅は各配信画像の１フレーム当たりの処理時間を表す。
【００２３】
図５は、配信画像生成条件のうち、配信フレームレートの指定範囲に関する制限を強化した場合の、配信画像生成回路における処理と時間の関係を表す図である。初期状態では３つのクライアントに配信画像生成権が付与されており、各配信画像に対してそれぞれ処理時間(3-101)、(3-102)、(3-103)が割り当てられるとともに、処理性能の限界に等しい負荷がかかっているものとする。この状態で、配信フレームレートの指定範囲を各配信画像の現在の配信フレームレート以下に制限すると、配信フレームレートが下がった分の処理が省略されるため、各配信画像に対する処理時間はそれぞれ(5-201)、(5-202)、(5-203)のように減少し、処理の空き時間が発生する。こうして発生した処理の空き時間を利用するには、配信画像生成権の最大同時付与数を大きくしたり、画角、配信画像サイズ、画像コーデック等の配信画像生成パラメータの指定範囲に関する制限を緩和したりする方法がある。配信画像生成権の最大同時付与数を大きくして、新たに３つのクライアントが配信画像生成権を取得した場合、処理の空き時間は新たに生成される配信画像に対する処理時間(5-311)、(5-312)、(5-313)、(5-314)、(5-315)、(5-316)として利用されることになる。また、画角、配信画像サイズ、画像コーデック等の配信画像生成パラメータの指定範囲に関する制限を緩和し、配信画像生成権を保持する各クライアントが現在より大きい画角や配信画像サイズ、又は現在より重い画像コーデックを指定すると、各配信画像に対する処理時間が(5-301)、(5-302)、(5-303)のように増加して、処理の空き時間が利用されることになる。
【００２４】
図６は、画角、配信画像サイズ、画像コーデックのうちいずれかの配信画像生成パラメータの指定範囲に関する制限を強化した場合の、配信画像生成回路における処理と時間の関係を表す図である。初期状態では３つのクライアントに配信画像生成権が付与されており、各配信画像に対してそれぞれ処理時間(6-101)、(6-102)、(6-103)が割り当てられるとともに、処理性能の限界に等しい負荷がかかっているものとする。この状態で、画角や配信画像サイズの大きさ、又は画像コーデックの種類に関する指定範囲の制限を強化して、画角や配信画像サイズを現在の指定よりも小さくしたり、現在指定されている画像コーデックよりも軽い画像コーデックにしたりすると、１フレーム当たりの処理量が減少するため、各配信画像に対する処理時間がそれぞれ(6-201)、(6-202)、(6-203)のように減少し、処理の空き時間が発生する。こうして発生した処理の空き時間を活用すれば、配信画像生成権の最大同時付与数を大きくして、各配信画像に対してそれぞれ処理時間 (6-301)〜(6-306)を割り当て、より多くのクライアントが配信画像生成権を取得できるようにしたり、配信フレームレートの指定範囲に関する制限を緩和して、各配信画像に対してそれぞれ処理時間(6-311)、(6-312)、(6-313)を割り当て、より高い配信フレームレートを指定できるようにしたりすることが可能になる。
【００２５】
図７は、配信画像の最大同時生成数を減少させた場合の、配信画像生成回路における処理と時間の関係を表す図である。初期状態では６つのクライアントに対して配信画像生成権が付与されており、各配信画像に対してそれぞれ処理時間(7-101)〜(7-106)が割り当てられるとともに、処理性能の限界に等しい負荷がかかっているものとする。この状態で、配信画像生成権の最大同時付与数を３に制限すると、３つのクライアントから配信画像生成権が剥奪されることになり、各配信画像に対する処理時間が(7-201)、(7-202)、(7-203)のように減少して、処理の空き時間が発生する。こうして発生した処理の空き時間を活用すれば、配信画像生成パラメータの指定範囲に関する制限を緩和して、より大きい画角や配信画像サイズを指定したり、より重い画像コーデックを指定、各配信画像に対してそれぞれ処理時間(7-301)、(7-302)、(7-303)を割り当てたり、より高い配信フレームレートを指定し、各配信画像に対してそれぞれ処理時間(7-311)、(7-312)、(7-313)を割り当てたりすることができるようになる。
【００２６】
本実施形態の映像配信装置は、上記で示した原理に基づいて、配信画像生成負荷算出回路(3-600)によって算出される最大負荷が、配信画像生成回路(3-200)を構成する各画像処理部の処理能力の範囲内で最も大きくなるように、配信画像生成条件調整回路(3-700)が配信画像生成条件を調整して設定する。これによって、できるだけ多くのクライアントが同時に配信画像生成権を取得できるようにするとともに、配信画像生成権を保持するクライアントができるだけ制限なく配信画像生成パラメータを指定できるようにする。
【００２７】
配信画像生成負荷算出回路(3-600)は、配信画像生成パラメータ及び／又は配信画像の同時生成数によって決まる配信画像の生成負荷を定量化して予測する。具体的には、配信画像生成負荷算出回路(3-600)は、配信画像生成条件設定回路(3-400)によって配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数に関する設定の変更が要求された場合に、配信画像の同時生成数が最大のときに配信画像生成パラメータの指定範囲内で配信画像生成回路(3-200)の画像処理部に対する負荷が最大となる場合の負荷を算出する。
【００２８】
図８、図９、図１０は、配信画像生成条件設定回路(3-400)の表示例を表す。本実施形態では、配信画像生成条件設定回路はCGIになっており、ユーザーがWebブラウザでCGIのURLを開くと、設定入力用のフォームを含むHTMLページが表示され、フォームに対する入力を受け付けるようになっているものとする。
【００２９】
図８は、配信画像生成パラメータの指定範囲に関する設定画面の例である。配信画像生成パラメータの指定範囲に関する設定画面には、画角の指定範囲を設定するためのフォーム(8-100)、JPEGによる配信画像の設定用フォーム(8-200)、MPEG4による配信画像の設定用フォーム(8-300)、ユーザーが入力した配信画像生成パラメータの指定範囲に対して実際に設定される配信画像生成パラメータの指定範囲の条件（以降、設定条件とする。）を選択するためのフォーム(8-400)がある。配信画像の設定用フォームがJPEGとMPEG4で分かれているのは、それぞれの画像コーデックの特性や想定する使用環境が異なるためである。JPEGはデータ圧縮率が低くなるが、連続して配信することによって高画質の動画配信が可能であり、MPEG4は画質を落とせば非常に低い通信帯域幅での動画配信が可能であるため、LAN接続で使用する場合は前者、携帯電話やダイヤルアップで使用する場合は後者といったように使い分けることが多い。JPEGによる配信画像の設定用フォーム(8-200)には、配信フレームレートを設定するためのフォーム(8-201)、配信画像サイズや配信画像ごとの配信の有無や画像品質を設定するためのフォーム(8-202)がある。JPEGの配信フレームレートは、映像配信装置が出力する際のフレームレートを表し、クライアント側で受信する際のフレームレートとは異なる。本実施形態では、配信フレームレートは映像配信装置側で固定的に設定されるため、クライアントが配信フレームレートを指定することは出来ないが、クライアントが映像配信装置側で設定された指定範囲内で指定できるようにしても良い。配信画像サイズの設定については、複数の画像サイズが配信可に設定されていればクライアントがいずれかを選択することができる。MPEG4による配信画像の設定用フォーム(8-300)には、配信フレームレートを設定するためのフォーム(8-301)、配信画像サイズや配信画像サイズごとの配信の有無やデータレートを設定するためのフォーム(8-302)がある。MPEG4の場合は、使用環境によって画像サイズやフレームレート、ビットレートが制限されている場合があるためこのような設定になっている。ここで、JPEG、MPEG4とも、全ての画像サイズについて配信しない設定にすれば、その画像コーデック自体の配信を行わないことになる。また、フォーム(8-400)では、ユーザーが入力した各配信画像生成パラメータの指定範囲に対して、配信画像生成条件調整回路(3-700)によって調整された後で実際に設定される指定範囲がどのような関係になるかを、「等しい」、「以内」、「以上」から選択する。「等しい」を選択した場合は、配信画像生成条件調整回路(3-700)による調整が行われず、ユーザーが入力した指定範囲がそのまま配信画像生成条件として設定される。「以内」を選択した場合は、ユーザーが入力した指定範囲内で、かつ配信画像生成回路(3-200)を構成する各画像処理部の処理能力を超えない、最大の指定範囲が配信画像生成条件として設定される。「以上」を選択した場合は、ユーザーが入力した指定範囲を含み、かつ配信画像生成回路(3-200)を構成する各画像処理部の処理能力を超えない、最大の指定範囲が配信画像生成条件として設定される。設定条件を選択するためのフォーム(8-400)は必ずしも必要ではなく、設定条件をユーザーが選択するのではなく、映��配信装置の内部であらかじめ決められた設定条件を使用する場合は、フォーム(8-400)を省略することが可能である。
【００３０】
図９は配信画像生成権に関する設定画面の例である。配信画像生成権に関する設定画面には、配信画像生成権の最大同時付与数を設定するためのフォーム(9-100)、配信画像生成権の最大取得待ちクライアント数を設定するためのフォーム(9-200)、配信画像生成権の制限時間を設定するためのフォーム(9-300)、ユーザーが入力した配信画像生成権の同時付与数の変動範囲に対して、実際に設定される変動範囲の設定条件を指定するためのフォーム(9-400)がある。フォーム(9-200)によって設定される配信画像生成権の最大取得待ちクライアント数は、配信画像生成権の最大同時付与数を超えてクライアントが配信画像生成権を要求した場合に、配信画像生成権の取得待ち状態に入れる最大のクライアント数を表す。フォーム(9-300)によって設定される配信画像生成権の制限時間は、配信画像生成権の最大同時付与数を超えて配信画像生成権が要求された場合に、配信画像生成権を保持しているクライアントが、配信画像生成権を取得してから剥奪されるまでに最低限保証される配信画像生成権の保持時間を表す。また、フォーム(9-400)では、フォーム(8-400)と同様に、ユーザーが入力した配信画像生成権の同時付与数の変動範囲に対して、配信画像生成条件調整回路(3-700)によって調整された後で実際に設定される変動範囲がどのような関係になるかを、「等しい」、「以内」、「以上」から選択する。
【００３１】
図１０は、配信画像生成条件の設定結果を表す画面の例である。本実施形態では、ユーザーによって入力された配信画像生成条件と、実際に設定される配信画像生成条件が一致するとは限らないので、ユーザーによる入力を受け付ける画面と、実際に設定された配信画像生成条件を表示する画面が分かれている。(8-500)や(9-500)の設定更新ボタンを入力すると、ユーザーが入力した配信画像生成条件を基にして配信画像生成条件の設定が開始され、設定が完了すると図１０の画面が表示されて、実際に設定された各配信画像生成パラメータの指定範囲や、配信画像生成権の最大同時付与数が一覧表示される。
【００３２】
図１１は、配信画像生成条件の設定に関する情報を保持するテーブルの具体例を表す。図１１は、図８、図９、図１０の入力値や設定結果を反映しているが、JPEGの画質設定やMPEG4のビットレートの設定については、配信画像生成条件調整回路による調整の対象外として省略している。また、配信画像生成条件の設定に関する情報は、必ずしも図１１のようなテーブル形式で保持されなくてもよい。
【００３３】
配信画像生成条件設定回路(3-400)は、図１１のように、ユーザーが入力した配信画像生成条件や各項目の設定条件及び調整順位を保持するとともに、配信画像生成条件調整回路(3-700)によって調整され、実際に設定された配信画像生成条件を保持する。ここで、調整順位（優先順位）は配信画像生成条件調整回路(3-700)によって調整される項目が複数存在する場合の各項目の調整順位を表し、本実施形態ではユーザーが設定することはできず、配信画像生成条件設定回路(3-400)又は配信画像生成条件調整回路(3-700)によってあらかじめ決められているものとする。但し、調整順位については、配信画像生成条件設定回路(3-400)によってユーザーが設定できるようにしても良い。図１１の例では、配信画像生成権の最大同時付与数については設定条件に「以内」が設定されており、配信画像生成パラメータについては全て設定条件に「等しい」が設定されているため、配信画像生成条件調整回路(3-700)によって調整されるのは配信画像生成権の最大同時付与数のみである。図１１の例では、調整項目が配信画像生成権の最大同時付与数だけなので、調整順位は結果的に無意味となる。配信画像生成条件設定回路(3-400)は、配信画像生成パラメータの指定範囲及び配信画像の最大同時生成数を設定することができる。
【００３４】
図１２は、本実施形態の映像配信装置における一般的な配信画像生成条件の設定過程を表すフローチャートである。ユーザーが配信画像生成条件設定回路(3-400)に必要な項目を入力し、配信画像生成条件の設定を開始すると(12-001)、まず、配信画像生成条件のうち調整順位が最も高い項目が選択される(12-002)。ステップ(12-002)で項目が選択されると、その項目に対して選択された設定条件に応じて処理が分岐する(12-003)。設定条件として「等しい」が選択されている場合は、ユーザーが入力した指定範囲がそのまま調整後の指定範囲として保持される(12-004)。設定条件として「以内」が選択されている場合は、配信画像生成負荷調整回路(3-700)によって、ユーザーが入力した指定範囲内で、かつ最大負荷が配信画像生成回路(3-200)の処理能力を超えない最大の指定範囲が算出される(12-005)。また、設定条件として「以上」が選択されている場合は、ユーザーが入力した指定範囲を含み、かつ最大負荷が配信画像生成回路(3-200)の処理能力を超えない最大の指定範囲が算出される(12-006)。ここで、ステップ(12-005)及びステップ(12-006)における指定範囲の算出では、調整済みの項目については調整後の指定範囲、未調整の項目についてはユーザーが入力した指定範囲が、配信画像生成負荷算出回路(3-600)による最大負荷の算出時に使用される。ステップ(12-005)及びステップ(12-006)で条件を満たす指定範囲が存在する場合は、算出された指定範囲が調整後の指定範囲として保持される(12-008)。しかし、ステップ(12-005)及びステップ(12-006)で条件を満たす指定範囲が存在しない場合は、設定条件が「以内」の場合はユーザーが入力した指定範囲内で、設定条件が「以上」の場合はユーザーが入力した指定範囲を含んで、最大負荷が最も小さくなる指定範囲が調整後の指定範囲として保持される(12-009)。全ての項目についてステップ(12-004)からステップ(12-009)が繰り返されて、配信画像生成条件の調整が終了すると、調整後の配信画像生成条件での最大負荷が配信画像生成回路の処理能力の範囲内に収まった場合は、保持された各項目の指定範囲が最終的な指定範囲として保存されて、設定が終了する(12-012)。調整後の配信画像生成条件での最大負荷が配信画像生成回路の処理能力の範囲内に収まらなかった場合は、保持された各項目の指定範囲が破棄され、配信画像生成条件設定回路(3-400)がユーザーに対して、配信画像生成条件の設定に失敗したことを表す警告メッセージを表示する(12-013)。
【００３５】
配信画像生成条件調整回路(3-700)は、配信画像生成負荷算出回路(3-600)によって算出された配信画像生成回路(3-200)の画像処理部に対する負荷が最大となる場合の負荷が、あらかじめ定量化された配信画像生成回路(3-200)を構成する画像処理部の処理能力を超えないように、配信画像生成条件設定回路(3-400)により設定された配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数のうちのいずれかを調整する。
【００３６】
また、配信画像生成条件設定回路(3-400)は、配信画像生成負荷算出回路(3-600)によって算出された配信画像生成回路(3-200)の画像処理部に対する負荷が最大となる場合の負荷が、あらかじめ定量化された配信画像生成回路(3-200)を構成する画像処理部の処理能力を超える場合は、設定を拒否するとともに警告を通知する。
【００３７】
図１３は、配信画像生成条件調整回路(3-700)で使用する、各画像処理部の負荷と処理能力の対応関係を表す式（以降、負荷条件式とする。）の例である。図１３の式は、配信画像生成処理回路を構成する各画像処理部が画像処理の内容ごとに互いに独立し、図４に示した画像処理の流れで配信画像が生成されることを前提としている。
【００３８】
式(13-100)は、歪補正処理部(3-202)における負荷条件式を表す。歪補正処理の単位時間当たりの負荷は、配信画像生成権を保持するクライアントが存在する場合は、歪補正処理の１フレーム当たりの負荷とキャプチャ部(3-103)の出力フレームレートの積となり、配信画像生成権を保持するクライアントが存在しない場合は、歪補正処理が停止されるために0となる。このように、歪補正処理の単位時間当たりの負荷は、配信画像生成パラメータや配信画像の同時生成数に依存しないため、歪補正処理部(3-302)が他の画像処理部と完全に独立していれば、配信画像生成負荷算出回路によって最大負荷を算出する必要はない。
【００３９】
式(13-200)は、画像切り出し処理部(3-203)における負荷条件式を表す。切り出し処理の単位時間当たりの負荷は、切り出し処理の１フレーム当たりの負荷と配信画像ごとの配信フレームレートの積の、配信画像分の総和となる。切り出し処理の１フレーム当たりの負荷は、配信画像ごとの切り出し画像サイズ、つまり画角をパラメータとする関数によって求められる。このように、切り出し処理の単位時間当たりの負荷は、配信フレームレート、画角、配信画像の同時生成数に依存する。
【００４０】
式(13-300)は、リサイズ処理部(3-204)における負荷条件式を表す。リサイズ処理の単位時間当たりの負荷は、リサイズ処理の１フレーム当たりの負荷と配信画像ごとの配信フレームレートの積の、配信画像分の総和となる。リサイズ処理の１フレーム当たりの負荷は、配信画像サイズ及び配信画像ごとの切り出し画像サイズ、つまり画角をパラメータとする関数によって求められる。このように、リサイズ処理の単位時間当たりの負荷は、配信フレームレート、画角、配信画像サイズ、配信画像の同時生成数に依存する。
【００４１】
式(13-400)は、符号化処理部(3-205)における負荷条件式を表す。符号化処理の単位時間当たりの負荷は、JPEGによる符号化処理の１フレーム当たりの負荷と配信画像ごとの配信フレームレートの積の、JPEGで符号化する配信画像分の総和と、MPEG4による符号化処理の単位時間当たりの負荷の、MPEG4で符号化する配信画像分の総和の合計となる。JPEGによる符号化処理の１フレーム当たりの負荷は、JPEG符号化のQ値（圧縮率）、配信画像ごとの切り出し画像サイズ、つまり画角をパラメータとする関数によって求められる。また、MPEG4による符号化処理の単位時間辺りの負荷は、配信フレームレート、ビットレート、配信画像ごとの切り出し画像サイズ、つまり画角をパラメータとする関数によって求められる。ここで、JPEG符号化のQ値やMPEG4のビットレートの変化に伴う負荷の変動が小さく、それぞれの値が大きくなるほど負荷も大きくなる場合は、式(13-401)や式(13-402)のようにQ値や配信ビットレートにあたるパラメータに指定可能な最大値を代入することによって、負荷条件式のパラメータから除外することが可能である。その場合は、符号化処理に関する負荷条件式は、配信フレームレート、配信画像サイズ、配信画像の同時生成数、画像コーデックのみをパラメータとする近似式になる。このように、負荷条件式は必ずしも正確に実際の負荷と処理能力を表す式である必要はなく、実際の負荷が処理能力の限界を超えない限り、近似式でも良い。
【００４２】
図１４は、図１３の式によって算出される各画像処理部に対する負荷と処理能力の関係をグラフ化した例である。
【００４３】
(14-100)は歪補正処理部(2-202)の処理能力を表し、(14-101)は歪補正処理の最大負荷を表す。歪補正処理部の処理能力(14-100)は、歪補正処理部が他の画像処理部と独立していれば、歪補正処理のみに使用されるため、歪補正処理の最大負荷以上の処理能力は不要となる。
【００４４】
(14-200)は画像切り出し処理部(2-203)の処理能力を表し、(14-201)〜(14-203)は各配信画像の切り出し処理の最大負荷を表す。各配信画像の切り出し処理の最大負荷は、配信画像生成パラメータの指定範囲に配信画像ごとの違いがなければ、互いに等しくなる。また、式(13-200)に示したように、各配信画像の切り出し処理の負荷は、配信フレームレートと画角に依存し、基本的には、配信フレームレートや画角が大きくなるほど負荷も大きくなるので、各配信画像の切り出し処理の最大負荷は、配信フレームレートや画角がそれぞれの指定範囲内で最大となる場合の負荷ということになる。図１４に示した例では、切り出し処理の最大負荷は、配信画像の同時生成数が３つまでの場合は画像切り出し処理部の処理能力内に収まるが、配信画像の同時生成数が４つ以上の場合は画像切りだし処理部の処理能力を超えてしまうため、配信画像生成権の最大同時付与数は３以下に設定されることになる。
【００４５】
(14-300)はリサイズ処理部(2-204)の処理能力を表し、(14-301)〜(14-305)は各配信画像のリサイズ処理の最大負荷を表す。各配信画像のリサイズ処理の最大負荷は、配信画像生成パラメータの指定範囲に配信画像ごとの違いがなければ、互いに等しくなる。また、式(13-300)に示したように、各配信画像のリサイズ処理の負荷は、配信フレームレート、画角、配信画像サイズに依存するが、基本的には、配信フレームレート、画角、配信画像サイズが大きくなるほど負荷も大きくなるので、各配信画像のリサイズ処理の最大負荷は、配信フレームレート、画角、配信画像サイズがそれぞれの指定範囲内で最大となる場合の負荷ということになる。図１４に示した例では、リサイズ処理の最大負荷は、配信画像の同時生成数が５つまでの場合はリサイズ処理部の処理能力内に収まるが、配信画像の同時生成数が６つ以上の場合はリサイズ処理部の処理能力を超えてしまうため、配信画像生成権の最大同時付与数は５以下に設定されることになる。
【００４６】
(14-400)は符号化処理部(2-205)の処理能力を表し、(14-401)〜(14-404)は各配信画像の符号化処理の最大負荷を表す。各配信画像の符号化処理の最大負荷は、配信画像生成パラメータの指定範囲に配信画像ごとの違いがなければ、互いに等しくなる。また、式(13-400)に示したように、各配信画像の符号化処理の負荷は、配信フレームレート、配信画像サイズ、画像コーデックに依存するが、基本的には、配信フレームレート、配信画像サイズが大きくなるほど、画像コーデックの処理が重くなるほど負荷も大きくなるので、各配信画像の符号化処理の最大負荷は、配信フレームレート、画角、配信画像サイズがそれぞれの指定範囲内で最大となり、最も重い画像コーデックが指定された場合の負荷ということになる。図１４に示した例では、符号化処理の最大負荷は、配信画像の同時生成数が４つまでの場合は符号化処理部の処理能力内に収まるが、配信画像の同時生成数が５つ以上の場合は符号化処理部の処理能力を超えてしまうため、配信画像生成権の最大同時付与数は４以下に設定されることになる。
【００４７】
最終的に設定される配信画像生成権の最大同時付与数は上記の条件を全て満たす値になるため、図１４の例では３に設定される。
【００４８】
図１４の例は、配信画像生成回路を構成する各画像処理部が互いに独立している場合の例であった。しかし、同じ画像処理を行う画像処理部が複数に分割されている場合は、同じ画像処理が複数の画像処理部に振り分けられることになる。また、配信画像生成回路(3-200)がCPUやDSPによるソフトウェア処理で実現されている場合や、別の画像処理を行う画像処理部同士が統合されている場合は、複数の画像処理が同じ画像処理部でまとめて行われることになる。このような場合は、図１３で示した負荷条件式や図１４の例が当てはまらない。図１５に、このような場合の各画像処理部に対する負荷と処理能力の関係をグラフ化した例を示す。
【００４９】
(15-100)、(15-110)は、符号化処理部が画像コーデックごとに独立している場合の例である。(15-100)はJPEGによる符号化処理部の処理能力を表し、(15-101)〜(15-105)は各配信画像のJPEGによる符号化処理の最大負荷を表す。(15-110)はMPEG4による符号化処理部の処理能力を表し、(15-111)〜(15-113)は各配信画像のMPEG4による符号化処理の最大負荷を表す。この例では、JPEGの符号化処理部は最大で同時に５つまでの配信画像を処理することができるが、MPEG4の符号化処理部は最大で同時に３つまでしか配信画像を処理することができない。従って、配信画像生成権の最大同時付与数は３以下に設定されることになる。
【００５０】
(15-200)は、配信画像生成回路(3-200)がCPUやDSPによるソフトウェア処理で実現されている場合の例である。(15-210)、(15-220)、(15-230)、(15-240)はそれぞれ、配信画像の同時生成数が３の場合の歪補正処理の最大負荷、切りだし処理の最大負荷、リサイズ処理の最大負荷、符号化処理の最大負荷を表す。配信画像の同時生成数が４になると全体の処理能力(15-200)を超えてしまうため、配信画像生成権の最大同時付与数は３に設定されることになる。
【００５１】
このように、配信画像生成条件調整回路(3-700)で使用する負荷条件式を、配信画像生成回路(3-200)の構成に合わせて変更することにより、配信画像生成回路がどのような構成の場合でも本発明を適用することができる。
【００５２】
図１６は、図１２で示した配信画像生成条件の設定過程を表すフローチャートに、図１１の例で示した配信画像生成条件の設定に関する情報を適用した場合のフローチャートである。
【００５３】
配信画像生成条件の設定を開始すると(16-001)、配信画像生成条件の各項目が調整順位に従って調整されるが、画像コーデック、配信画像サイズ、配信フレームレート、画角の指定範囲については、設定条件に「等しい」が選択されているため、ユーザーが入力した指定範囲がそのまま調整後の指定範囲として保持される(16-002)。次に、配信画像生成権の最大同時付与数が選択され、設定条件に「以内」が選択されているので、ユーザーが入力した１〜１０の範囲内で最大負荷が配信画像生成回路の処理性能を超えない値が算出される(16-003)。ここで、１以上の値が算出された場合は、調整後の配信画像生成権の最大同時付与数として算出された値が保持され(16-005)、これまでに保持された全項目の指定範囲が保存されて設定が終了する(16-006)。しかし、0以外の場合では最大負荷が処理能力を超えてしまう場合は、保持された全項目の指定範囲が破棄され、配信画像生成条件設定回路に配信画像生成条件の設定に失敗したことを警告するメッセージが表示される(16-007)。
【００５４】
図１７は、配信画像生成権に関する情報を保持するテーブルの具体例を表し、図１８は、配信画像に関する情報を保持するテーブルの具体例を表す。但し、配信画像生成条件の設定に関する情報や配信画像に関する情報は、配信画像生成パラメータ管理回路(3-300)が保持するが、必ずしも図１７や図１８のようなテーブル形式で保持されなくてもよい。
【００５５】
配信画像生成権に関する情報には、配信画像生成条件調整回路によって設定された配信画像生成権の最大同時付与数と配信画像生成権の最大待ち数の合計分の個別情報があり、それぞれ配信画像生成権ごとに異なる番号が割り当てられて管理される。配信画像生成権の個別情報には、配信画像生成権の取得状態、配信画像生成権の残り時間又は待ち時間、配信画像番号が含まれる。配信画像生成権の取得状態には、「未要求」、「保持中」、「待ち状態」の３つの状態がある、「未要求」は、配信画像生成権をまだ要求していない状態、又は配信画像生成権を剥奪された状態を表し、「保持中」は配信画像生成権を保持している状態、「待ち状態」は配信画像生成権を要求したが、他のクライアントに配信画像生成権の最大同時付与数分の配信画像生成権を付与しているため、制限時間が経過するのを待っている状態を表す。配信画像生成権の残り時間は、配信画像生成権が剥奪されるまでの保証時間を表し、制限時間から配信画像生成権を取得してからの経過時間を引いた時間となる。ここで、配信画像生成権を取得してからの経過時間が制限時間を超えた場合は、配信画像生成権の残り時間はマイナスになる。また、配信画像生成権の待ち時間は、配信画像生成権が付与されるまでの残り時間を表し、0になると配信画像生成権の残り時間の値が最も小さいクライアントの配信画像生成権が付与される。配信画像生成権の残り時間、待ち時間とも、時間の経過に伴って値が更新される。配信画像番号については、図１８に示すような配信画像に関する情報を保持するテーブルにおいて、配信画像ごとに個別に割り当てられた番号である。ここで、あるクライアントが保持する配信画像生成権が剥奪されて、別のクライアントに与えられた場合、配信画像生成権を保持していたクライアントの配信画像生成権の取得状態が「保持中」から「未要求」に変化するとともに、配信画像生成権の残り時間及び配信画像番号が空欄になる。また、配信画像生成権が与えられたクライアントの配信画像生成権の取得状態が「未要求」又は「待ち状態」から「保持中」に変化するとともに、配信画像生成権の残り時間として制限時間と同じ値が設定され、配信画像番号として割り当てられた配信画像の番号が設定される。
【００５６】
配信画像生成パラメータ管理回路(3-300)は、配信画像生成権の保持時間を管理し、新たにクライアントから配信画像生成権が要求された場合は、配信画像生成権を保持するクライアントのうち、配信画像生成権の保持時間が最も長いクライアントから配信画像生成権を剥奪して、配信画像生成権を要求した他のクライアントに配信画像生成権を与える。
【００５７】
また、配信画像生成パラメータ管理回路(3-300)は、配信画像生成権に制限時間を設定し、配信画像生成権をクライアントに与えた時点から制限時間が経過した場合は、配信画像生成権を剥奪して配信画像生成権を要求した他のクライアントに与える。
【００５８】
配信画像に関する情報を保持するテーブルには、現在生成されている配信画像ごとの配信画像生成パラメータの値が保持され、各配信画像には最大で配信画像生成権の最大同時付与数分の番号が割り当てられて、それぞれの配信画像生成パラメータの値が管理されている。保持される配信画像生成パラメータには、配信フレームレート、パン方向及びチルト方向の視線方向、画角、配信画像サイズ、画像コーデックがあり、それぞれの値は、配信画像生成条件設定回路及び配信画像生成条件調整回路によって設定された配信画像生成条件の範囲内で、配信画像生成権を保持するクライアントが指定した値となる。
【００５９】
図１９は、クライアントが配信画像生成権を要求した場合のフローチャートである。ステップ(19-001)で、クライアントが配信画像生成権の取得を要求すると、まず、配信画像生成パラメータ管理回路(3-300)が、図１７で示したテーブルを参照して、配信画像生成権の待ち状態のクライアントが存在するかどうかを確認する(19-002)。ステップ(19-002)で待ち状態のクライアントが存在しないことが確認された場合は、図１１で示したテーブルを参照して、現在の配信画像生成権を保持しているクライアントの数が、配信画像生成権の最大同時付与数に満たないかどうかが確認される(19-003)。ステップ(19-003)で配信画像生成権の最大同時付与数を超えないことが確認された場合は、配信画像生成権を要求したクライアントに対して配信画像生成権が与えられる(19-004)。ステップ(19-002)で待ち状態のクライアントが存在することが確認された場合や、ステップ(19-003)で配信画像生成権の最大同時付与数を超えることが確認された場合は、配信画像生成権の待ち状態に入れるかどうかが確認される(19-005)。ステップ(19-005)で現在の配信画像生成権の待ち状態のクライアント数が配信画像生成権の最大待ちクライアント数に満たないことが確認された場合は、配信画像生成権を要求したクライアントを待ち状態にする(19-006)。ステップ(19-005)で現在の配信画像生成権の待ち状態のクライアント数が配信画像生成権の最大待ちクライアント数に達している場合や、配信画像生成権の最大待ちクライアント数が0の場合は、配信画像生成権の取得が拒否される(19-007)。
【００６０】
（第２の実施形態）
本発明の第２の実施形態では、第１の実施形態で示した映像配信装置において、図１１で示した配信画像生成条件の設定に関する情報のうち、配信画像生成権の同時付与数の変動範囲、画像コーデック、配信画像サイズに関する指定範囲、及び設定条件の一部を変更した場合の処理内容の変化を示す。具体的には、図２０に示すように、配信画像生成権の最大同時付与数を３、画像コーデックをJPEGのみ、JPEGの配信画像サイズを320x240と160x120、MPEG4の配信画像サイズを128x96に設定するとともに、配信画像生成権の同時付与数に関する設定条件を「以内」から「等しい」に変更し、画像コーデック、配信画像サイズ、配信フレームレート、画角に関する設定条件を、「等しい」からそれぞれ、「以上」、「以上」、「以内」、「以内」に変更している。第１の実施形態の場合は、配信画像生成条件調整回路による調整対象が配信画像生成権の最大同時付与数のみであったため、調整順位は無意味であったが、本実施形態では４つの配信画像生成パラメータの指定範囲が調整対象となるため、調整順位が有効になる。また、第１の実施形態の場合は、あらかじめ決められた配信画像生成パラメータの指定範囲に対して配信画像生成権の最大同時生成数を調整したが、本実施形態では第１の実施形態の場合とは逆に、あらかじめ決められた配信画像生成権の最大同時生成数に対して、配信画像生成パラメータを調整する点が異なる。
【００６１】
図２１は、図１２で示した配信画像生成条件の設定過程を表すフローチャートに、図２０の例で示した配信画像生成条件の設定に関する情報を適用した場合のフローチャートである。
【００６２】
配信画像生成条件の設定を開始すると(21-001)、配信画像生成条件の各項目が調整順位に従って調整されるが、配信画像生成権の最大同時付与数に関する設定条件に「等しい」が選択されているため、ユーザーが入力した配信画像生成権の最大同時付与数がそのまま調整後の値として保持される(21-002)。
【００６３】
ステップ(21-002)で配信画像生成権の最大同時付与数の調整が終了すると、残りの設定項目のうち最も優先順位が高い、配信フレームレートが選択される。配信フレームレートに関する設定条件には「以内」が選択されているので、ユーザーが入力した10.0[fps]以下の範囲内で、最大負荷が配信画像生成回路の処理性能を超えない最大のフレームレートが算出される(21-003)。ここで、配信フレームレートに下限値が設定されていないため、必ず条件を満たす値が算出されることになり、算出された値が調整後の配信フレームレートとして保持される(21-004)。
【００６４】
ステップ(21-004)で配信フレームレートの調整が終了すると、残りの設定項目のうち最も優先順位が高い、画角の指定範囲が選択される。画角の指定範囲に関する設定条件には「以内」が選択されているので、ユーザーが入力した10.0[度]以上、30.0[度]以下の範囲内で、最大負荷が配信画像生成回路の処理性能を超えない最大の画角が算出される(21-005)。ここで、条件を満たす値の算出に成功した場合は、算出された値が調整後の画角の指定範囲の上限値として保持されるが(21-007)、算出された値が画角の指定範囲の下限値を下回り、算出に失敗した場合は、画角の指定範囲の下限値が調整後の画角の指定範囲の上限値として保持されるため、画角の指定が行えなくなる(21-008)。
【００６５】
ステップ(21-007)又はステップ(21-008)で画角の指定範囲に関する調整が終了すると、残りの設定項目のうち最も優先順位が高い、画像コーデックの指定範囲が選択される。画像コーデックの指定範囲に関する設定条件には「以上」が選択されているので、ユーザーが入力したJPEG以外の画像コーデックであるMPEG4の最も小さい配信画像サイズである128x96を指定範囲に含めた場合でも、最大負荷が配信画像生成回路の処理性能を超えないかどうかが判定される(21-009)。ここで、最大負荷が処理性能を超えないと判定された場合は、JPEGとMPEG4が指定可能な画像コーデックとして保持されるが(21-011)、最大負荷が処理性能を超えると判定された場合は、JPEGのみを指定可能な画像コーデックとして保持する(21-013)。
【００６６】
ステップ(21-011)又はステップ(21-013)で画像コーデックの指定範囲に関する調整が終了すると、最後の設定項目である配信画像サイズの指定範囲が選択される。配信画像サイズの指定範囲に関する設定条件には「以上」が選択されているので、ステップ(21-011)でJPEGとMPEG4が指定可能な画像コーデックとして保持された場合は、ユーザーが入力したJPEGの320x240と160x120及びMPEG4の128x96以外の画像サイズで、最大負荷が配信画像生成回路の処理性能を超えない画像サイズが算出される(21-012)。ステップ(21-013)でJPEGのみが指定可能な画像コーデックとして保持された場合は、ユーザーが入力したJPEGの320x240と160x120以外の画像サイズで、最大負荷が配信画像生成回路の処理性能を超えない画像サイズが算出される(21-014)。ステップ(21-012)又はステップ(21-014)で、最大負荷が処理性能を超えない画像サイズが新たに算出された場合は、ユーザーが入力した配信画像サイズに加え、算出された新たな画像サイズが指定可能な配信画像サイズとして保持され(21-016)、これまでに保持された全項目の指定範囲が保存されて、配信画像生成条件の設定が終了する(21-017)。ステップ(21-012)又はステップ(21-014)で、最大負荷が処理性能を超えない画像サイズが算出されなかった場合は、保持された全項目の指定範囲が破棄されて、警告メッセージが表示される(21-018)。
【００６７】
（第３の実施形態）
本発明の第３の実施形態では、第１の実施形態で示した映像配信装置において、図１１で示した配信画像生成条件の設定に関する情報のうち、配信画像フレームレートの値と設定条件を変更した場合の処理内容の変化を示す。具体的には、図２２に示すように、JPEGの配信フレームレートを30.0[fps]、MPEG4の配信フレームレートを15.0[fps]とし、配信フレームレートに関する設定条件を「等しい」から「以内」に変更している。第１の実施形態の場合は、配信画像生成条件調整回路による調整対象が配信画像生成権の最大同時付与数のみだったため、調整順位は無意味であったが、本実施形態では２つの設定項目が調整対象となるため、調整順位が有効になる。また、第１の実施形態の場合はあらかじめ決められた配信画像生成パラメータの指定範囲に対して配信画像生成権の最大同時生成数を調整したが、本実施形態では、配信フレームレート以外の配信画像生成パラメータの指定範囲を固定し、配信画像生成権の最大同時付与数に加え、配信フレームレートも調整する点が異なる。
【００６８】
図２３は、図１２で示した配信画像生成条件の設定過程を表すフローチャートに、図２２の例で示した配信画像生成条件の設定に関する情報を適用した場合のフローチャートである。
【００６９】
配信画像生成条件の設定を開始すると(23-001)、配信画像生成条件の各項目が調整順位に従って調整されるが、画像コーデック、配信画像サイズ、画角の指定範囲については、設定条件に「等しい」が選択されているため、ユーザーが入力した指定範囲がそのまま調整後の指定範囲として保持される(23-002)。
【００７０】
ステップ(23-002)の後、残りの設定項目のうち最も優先順位が高い、配信画像生成権の最大同時付与数が選択される。設定条件に「以内」が選択されているので、ユーザーが入力した１〜１０の範囲内で最大負荷が配信画像生成回路の処理性能を超えない値が算出される(23-003)。ここで、１以上の値が算出された場合は、調整後の配信画像生成権の最大同時付与数として保持される(23-005)。しかし、0の場合以外では最大負荷が処理能力を超える場合は、配信画像生成権の最大同時付与数として1が保持される(23-006)。
【００７１】
ステップ(23-005)又はステップ(23-006)で配信画像生成権の最大同時付与数の調整が終了すると、最後の設定項目である配信フレームレートが選択される。配信フレームレートに関する設定条件には「以内」が選択されているので、ユーザーが入力したJPEGが30.0[fps]以下、MPEG4が15.0[fps]以下の範囲内で、最大負荷が配信画像生成回路の処理性能を超えない最大のフレームレートが算出される(23-007)。ここで、配信フレームレートに下限が設定されていないため、条件を満たす値が必ず算出されることになり、算出された値が調整後の配信フレームレートとして保持される(23-008)。最後に、保持された全項目の指定範囲が保存されて、配信画像生成条件の設定が終了する(23-009)。
【００７２】
（第４の実施形態）
本発明の第４の実施形態では、第１の実施形態で示した映像配信装置において、図１１で示した配信画像生成条件の設定に関する情報のうち、配信画像生成権の最大同時付与数を３に変更するとともに、配信画像生成条件の全ての項目の設定条件を「等しい」に設定した場合の処理内容の変化を示す。第１の実施形態の場合は、配信画像生成権の最大同時付与数について、配信画像生成条件調整回路による調整が行われたが、本実施形態では調整対象となる設定項目が存在しないため、各設定項目に対してユーザーが入力した指定範囲を配信画像生成条件として設定した場合に、配信画像生成回路に対する最大負荷が処理能力を超えないかどうかが判定されることになる。
【００７３】
図２５は、図１２で示した配信画像生成条件の設定過程を表すフローチャートに、図２４の例で示した配信画像生成条件の設定に関する情報を適用した場合のフローチャートである。
【００７４】
配信画像生成条件の設定を開始すると(25-001)、まず、全ての設定項目についてユーザーが入力した指定範囲が調整後の指定範囲として保持される(25-002)。次に、保持された各項目の指定範囲における配信画像生成回路に対する最大負荷が、処理能力の範囲内に収まるかどうかが判定される(25-003)。ステップ(25-003)で最大負荷が処理能力の範囲内に収まると判定された場合は、保持された全項目の指定範囲が保存されて配信画像生成条件の設定が終了する(25-004)。ステップ(25-003)で負荷が処理能力の範囲内に収まらないと判定された場合は、保持された全項目の指定範囲が破棄されて、配信画像生成条件の設定に失敗したことを表す警告メッセージが表示される(25-005)。
【００７５】
なお、本実施形態のように全ての設定項目について設定条件が「等しい」に設定された場合は、配信画像生成条件に関する調整が全く行われないため、図３で示した内部構成図において、配信画像生成条件調整回路(3-700)は不要になる。
【００７６】
以上のように、配信画像生成条件調整回路(3-700)は、配信画像の最大同時生成数が調整される場合は、配信画像生成パラメータの指定範囲に関する１つ以上の設定項目の変更が要求されて、配信画像生成負荷算出回路(3-600)によって配信画像の生成負荷が重くなることが予測された場合は、配信画像の最大同時生成数を下げ、配信画像の生成負荷が軽くなることが予測された場合は、配信画像の最大同時生成数を上げることにより、できるだけ多くのクライアントが配信画像生成パラメータを指定できるようにする。
【００７７】
また、配信画像生成条件調整回路(3-700)は、配信画像生成パラメータの指定範囲として配信フレームレートの指定範囲を調整する際、他の配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数に関する１つ以上の設定項目の変更が要求されて、配信画像生成負荷算出回路(3-600)によって配信画像の生成負荷が重くなることが予測された場合は、指定可能な配信フレームレートの上限を下げ、配信画像の生成負荷が軽くなることが予測された場合は、指定可能な配信フレームレートの上限を上げることによって、できるだけ高い配信フレームレートを指定できるようにする。
【００７８】
また、配信画像生成条件調整回路(3-700)は、配信画像生成パラメータの指定範囲として画角の指定範囲を調整する際、他の配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数に関する１つ以上の設定項目の変更が要求されて、配信画像生成負荷算出回路(3-600)によって配信画像の生成負荷が重くなることが予測された場合は、指定可能な画角の上限を下げ、配信画像の生成負荷が軽くなることが予測された場合は、指定可能な画角の上限を上げることによって、できるだけ大きい画角を指定できるようにする。
【００７９】
また、配信画像生成条件調整回路(3-700)は、配信画像生成パラメータの指定範囲として配信画像サイズの指定範囲を調整する際、他の配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数に関する１つ以上の設定項目の変更が要求されて、配信画像生成負荷算出回路(3-600)によって配信画像の生成負荷が重くなることが予測された場合は、指定可能な配信画像サイズの制限を強化し、配信画像の生成負荷が軽くなることが予測された場合は、指定可能な配信画像サイズの制限を緩和することによって、できるだけ大きく又はできるだけ多くの配信画像サイズを指定できるようにする。
【００８０】
また、配信画像生成条件調整回路(3-700)は、配信画像生成パラメータの指定範囲として画像コーデックの指定範囲を調整する際、他の配信画像生成パラメータの指定範囲又は配信画像の最大同時生成数に関する１つ以上の設定項目の変更が要求されて、配信画像生成負荷算出回路(3-600)によって配信画像の生成負荷が重くなることが予測された場合は、指定可能な画像コーデックの制限を強化し、配信画像の生成負荷が軽くなることが予測された場合は、指定可能な画像コーデックの制限を緩和することによって、できるだけ多くの配信画像サイズを指定できるようにする。
【００８１】
以上のように、第１〜第４の実施形態の映像配信装置では、キャプチャ回路(3-100)は、光学系を使用して画像をキャプチャする。配信画像生成回路(3-200)は、キャプチャした画像の一部を切り出す画像切り出し処理部(3-203)及び切り出した画像のデータサイズを圧縮する符号化処理部(3-205)を含む画像処理部によって配信画像を生成する際に、ネットワークに接続されたクライアントによって指定された配信画像生成パラメータに応じて配信画像を生成する。通信回路(3-500)は、生成した配信画像をクライアントに送信する。１つの配信画像生成回路(3-200)は、配信画像生成パラメータが異なる複数の配信画像を並列に生成することが可能である。通信回路(3-500)は、複数のクライアントから互いに独立して配信画像生成パラメータを指定され、互いに異なる配信画像を複数のクライアントに並列に送信することができる。
【００８２】
第１〜第４の実施形態の映像配信装置では、図３に示したように、同じ画像処理を行う画像処理部同士を統合するとともに、一つの画像処理部によって複数の配信画像に関する生成処理を同時に行えるようにする。また、ユーザーから配信画像生成パラメータの指定範囲や配信画像の同時生成数の変動範囲（以降、配信画像生成条件とする。）に関する設定の変更が要求された場合に、配信画像生成負荷算出回路によって配信画像生成処理回路を構成する各画像処理部の処理能力に対する負荷が最も大きくなる場合の負荷を予測し、各画像処理部の処理能力を超えない範囲内に配信画像生成条件を調整する。さらに、配信画像生成パラメータを指定する権利を配信画像生成権として管理するとともに、配信画像生成権に制限時間を設定することにより、配信画像生成回路の同時生成可能な配信画像数の上限を超えてしまった場合でも、配信画像生成権を要求したクライアントが一定時間の順番待ち後に必ず配信画像生成権を取得できるようにし、各クライアントが公平に配信画像生成パラメータを指定することができるようにする。
【００８３】
すなわち、映像に関する操作を行うための配信画像生成権を取得したクライアントのみが、視線方向と画角によって決まる視野範囲、配信フレームレート、画像コーデック、画像サイズ、配信画像の同時生成数等の配信画像生成パラメータを指定できるようにする。また、配信画像生成権の同時付与数の変動範囲や、配信画像生成パラメータの指定範囲に関する設定が変更されると、画像処理部に対する負荷を算出し、処理性能を超えない範囲内に調整する。これによって画像処理部が最大限に発揮されるとともに、配信画像生成パラメータの変更を要求した場合に、処理が重くなったり、変更に失敗したりしないようにする。さらに、配信画像生成権に制限時間を設定することで、全てのクライアントが公平に映像に関する操作を行えるようにする。
【００８４】
このように、電子パン、チルト、ズーム操作が可能な映像配信装置に、本実施形態の配信画像生成パラメータ管理方法を適用すれば、配信画像生成回路の処理能力に合わせて配信画像生成条件を設定することができるようになり、処理能力の有効活用が可能になるため、配信画像生成回路の性能を抑えることによる製造コストの抑制効果を期待することができる。また、配信画像の同時生成数や配信画像生成パラメータが配信画像生成条件の範囲内でどのように変化しても、配信画像生成回路に対する負荷が常に処理能力の範囲内に収まることが保証されるので、配信画像生成パラメータの変更を要求した場合に、負荷が処理能力を超えて映像配信装置の動作が重くなったり、変更が拒否されたりするといった事態を回避することができる。さらに、配信画像生成権と制限時間の設定によって、より多くのクライアントが公平に、視野範囲などの配信画像生成パラメータを指定することができるようになる。
【００８５】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００８６】
【図１】配信画像生成回路が配信画像ごとに独立した構成の映像配信装置の内部構成図である。
【図２】本発明の実施形態による映像配信装置及びクライアントの接続図である。
【図３】本発明の実施形態による映像配信装置の内部構成図である。
【図４】本発明の実施形態による映像配信装置における画像処理の流れを表す図である。
【図５】配信フレームレートを制限した場合の、配信画像生成回路における処理と時間の関係を表す図である。
【図６】配信画像サイズや画角の指定範囲に関する制限を強化した場合の、配信画像生成回路における処理と時間の関係を表す図である。
【図７】配信画像の最大同時生成数を減少させた場合の、配信画像生成回路における処理と時間の関係を表す図である。
【図８】配信画像生成パラメータの指定範囲に関する設定画面の例を示す図である。
【図９】配信画像生成権に関する設定画面の例を示す図である。
【図１０】配信画像生成条件の設定結果を表す画面の例を示す図である。
【図１１】配信画像生成条件の設定に関する情報を保持するテーブルの具体例（その１）を示す図である。
【図１２】本発明の実施形態による映像配信装置における一般的な配信画像生成条件の設定過程を表すフローチャートである。
【図１３】各画像処理部の負荷と処理能力の対応関係を表す負荷条件式の例を示す図である。
【図１４】各画像処理部に対する負荷と処理能力の関係をグラフ化した例（その１）を示す図である。
【図１５】各画像処理部に対する負荷と処理能力の関係をグラフ化した例（その２）を示す図である。
【図１６】図１２のフローチャートに、図１１の情報を適用した場合のフローチャートである。
【図１７】配信画像生成権に関する情報を保持するテーブルの具体例を示す図である。
【図１８】配信画像に関する情報を保持するテーブルの具体例を示す図である。
【図１９】クライアントが配信画像生成権を要求した場合のフローチャートである。
【図２０】配信画像生成条件の設定に関する情報を保持するテーブルの具体例（その２）を示す図である。
【図２１】図１２のフローチャートに、図２０の情報を適用した場合のフローチャートである。
【図２２】配信画像生成条件の設定に関する情報を保持するテーブルの具体例（その３）を示す図である。
【図２３】図１２のフローチャートに、図２２の情報を適用した場合のフローチャートである。
【図２４】配信画像生成条件の設定に関する情報を保持するテーブルの具体例（その４）を示す図である。
【図２５】図１２のフローチャートに、図２４の情報を適用した場合のフローチャートである。
【符号の説明】
【００８７】
３−１００  キャプチャ回路
３−１０１  光学系
３−１０２  撮像素子
３−１０３  キャプチャ部
３−２００  配信画像生成回路
３−２０１  フレームメモリ
３−２０２  歪補正処理部
３−２０３  画像切り出し処理部
３−２０４  リサイズ処理部
３−２０５  符号化処理部
３−３００  配信画像生成パラメータ管理回路
３−４００  配信画像生成条件設定回路
３−５００  通信回路
３−６００  配信画像生成負荷算出回路
３−７００  配信画像生成条件調整回路
【図１】
2006279465.tif 000003
【図２】
2006279465.tif 000004
【図３】
2006279465.tif 000005
【図４】
2006279465.tif 000006
【図５】
2006279465.tif 000007
【図６】
2006279465.tif 000008
【図７】
2006279465.tif 000009
【図８】
2006279465.tif 000010
【図９】
2006279465.tif 000011
【図１０】
2006279465.tif 000012
【図１１】
2006279465.tif 000013
【図１２】
2006279465.tif 000014
【図１３】
2006279465.tif 000015
【図１４】
2006279465.tif 000016
【図１５】
2006279465.tif 000017
【図１６】
2006279465.tif 000018
【図１７】
2006279465.tif 000019
【図１８】
2006279465.tif 000020
【図１９】
2006279465.tif 000021
【図２０】
2006279465.tif 000022
【図２１】
2006279465.tif 000023
【図２２】
2006279465.tif 000024
【図２３】
2006279465.tif 000025
【図２４】
2006279465.tif 000026
【図２５】
2006279465.tif 000027