(57)【特許請求の範囲】
【請求項１】
第１の撮像手段で撮像される第１の撮像データと、第２の撮像手段で撮像される撮像データで、前記第１の撮像データに対応する撮像データである第２の撮像データとを送信する送信手段と、
前記第１の撮像データの送信状況に応じて、前記第２の撮像データの送信を制御する制御手段と
を有し、
前記送信手段は、前記第１の撮像データをフレーム単位で送信する第１の送信処理と、前記第２の撮像データをフレーム単位で送信する第２の送信処理と、を並列に行い、
前記制御手段は、前記第２の撮像データのフレームの送信に失敗した場合に、前記失敗のタイミングにおける前記第１の送信処理の進行状況に応じて、前記第２の撮像データの送信を制御することを特徴とする制御装置。
【請求項２】
前記第１の撮像データ及び前記第２の撮像データのうち一方の撮像データは、他方の撮像データに合成される撮像データであることを特徴とする請求項１に記載の制御装置。
【請求項３】
前記第１の撮像手段から出力された前記第１の撮像データのフレームを蓄積する第１の蓄積バッファと、
前記第１の送信処理において、前記第１の蓄積バッファから出力された前記第１の撮像データのフレームを、前記送信手段の送信対象として蓄積する第１の送信バッファと、
前記第２の撮像手段から出力された前記第２の撮像データのフレームを蓄積する第２の蓄積バッファと、
前記第２の送信処理において、前記第２の蓄積バッファから出力された前記第２の撮像データのフレームを、前記送信手段の送信対象として蓄積する第２の送信バッファと
をさらに有し、
前記制御手段は、前記第１の蓄積バッファに蓄積されたフレームのうち、前記失敗のタイミングにおいて前記第１の蓄積バッファから前記第１の送信バッファへの転送が開始していないフレームを前記第１の蓄積バッファから破棄し、前記第１の蓄積バッファから前記第１の送信バッファへの転送が開始していないフレームに対応するフレームで、前記第２の蓄積バッファに蓄積されたフレームを、前記第２の蓄積バッファから破棄することを特徴とする請求項１に記載の制御装置。
【請求項４】
前記制御手段は、前記失敗のタイミングにおいて前記第１の蓄積バッファから前記第１の送信バッファへの転送が開始していないフレームで、前記第１の撮像データにおける配列順が連続しない複数のフレームを前記第１の蓄積バッファから破棄し、前記失敗のタイミングにおいて前記第１の蓄積バッファから前記第１の送信バッファへの転送が開始していないフレームに対応するフレームで、前記第２の撮像データにおける配列順が連続しない複数のフレームを前記第２の蓄積バッファから破棄することを特徴とする請求項３に記載の制御装置。
【請求項５】
前記制御手段は、前記第１の撮像データと前記第２の撮像データのフレームレートが異なる場合において、前記第２の撮像データのフレームの送信に失敗した場合に、前記第１の撮像データと前記第２の撮像データのうち、フレームレートの高い一方の撮像データのフレームのうち、フレームレートの低い他方の撮像データに、対応するフレームが存在しないフレームを優先的に破棄することを特徴とする請求項１に記載の制御装置。
【請求項６】
前記制御手段は、前記第２の撮像データのフレームの送信に所定回数失敗した場合に、前記第１の撮像データの送信状況に応じて、前記第２の撮像データの送信を制御すること
を特徴とする請求項１乃至５の何れか１項に記載の制御装置。
【請求項７】
前記制御手段は、前記第１の撮像データの送信状況と、前記第２の撮像データの送信状況と、に応じて、前記第２の撮像データの送信を制御することを特徴とする請求項１に記載の制御装置。
【請求項８】
前記制御手段は、前記送信手段の送信対象の前記第２の撮像データのフレームの送信タイミングが、送信対象のフレームに対応する、前記第１の撮像データのフレームの送信タイミングに比べて所定時間以上遅い場合に、前記第２の撮像手段で撮像される前記第２の撮像データの第１の数のフレームのうち、第１の数より少ない第２の数のフレームを送信対象として決定し、
前記送信手段は、前記送信対象として決定されたフレームを、前記第２の撮像データとして送信することを特徴とする請求項７に記載の制御装置。
【請求項９】
前記制御手段は、前記第２の撮像データの送信を制御することにより、前記第１の撮像データと前記第２の撮像データのフレームレートが閾値以上となる場合に、前記第２の撮像データの送信を制御することを特徴とする請求項１に記載の制御装置。
【請求項１０】
前記制御手段は、前記第２の撮像データの送信を制御することにより、前記第１の撮像データと前記第２の撮像データのフレームレートが閾値未満となる場合に、前記第２の撮像データの送信を制御するのに替えて、前記第１の撮像データ及び前記第２の撮像データのうち何れか一方の撮像データのみを送信するよう制御することを特徴とする請求項９に記載の制御装置。
【請求項１１】
前記送信手段は、さらに前記第１の撮像データのメタデータと、前記第２の撮像データのメタデータと、を送信し、
前記制御手段は、前記第１の撮像データの送信状況と、前記第１の撮像データのメタデータの送信状況と、に応じて、前記第１のメタデータの送信を制御し、前記第２の撮像データの送信状況と、前記第２の撮像データのメタデータの送信状況と、に応じて、前記第２の撮像データのメタデータの送信を制御することを特徴とする請求項１に記載の制御装置。
【請求項１２】
前記第１の撮像データ及び前記第２の撮像データのうち一方の撮像データは、可視光により撮像された撮像データであり、他方の撮像データは、赤外光により撮像された撮像データであることを特徴とする請求項１乃至１１の何れか１項に記載の制御装置。
【請求項１３】
第１の撮像手段と、
第２の撮像手段と、
前記第１の撮像手段で撮像される第１の撮像データと、前記第２の撮像手段で撮像される撮像データで、前記第１の撮像データに対応する撮像データである第２の撮像データとを送信する送信手段と、
前記第１の撮像データの送信状況に応じて、前記第２の撮像データの送信を制御する制御手段と
を有し、
前記送信手段は、前記第１の撮像データをフレーム単位で送信する第１の送信処理と、前記第２の撮像データをフレーム単位で送信する第２の送信処理と、を並列に行い、
前記制御手段は、前記第２の撮像データのフレームの送信に失敗した場合に、前記失敗のタイミングにおける前記第１の送信処理の進行状況に応じて、前記第２の撮像データの送信を制御することを特徴とする撮像装置。
【請求項１４】
制御装置が実行する制御方法であって、
第１の撮像手段で撮像される第１の撮像データと、第２の撮像手段で撮像される撮像データで、前記第１の撮像データに対応する撮像データである第２の撮像データとを送信する送信ステップと、
前記第１の撮像データの送信状況に応じて、前記第２の撮像データの送信を制御する制
御ステップと
を含み、
前記送信ステップでは、前記第１の撮像データをフレーム単位で送信する第１の送信処理と、前記第２の撮像データをフレーム単位で送信する第２の送信処理と、を並列に行い、
前記制御ステップでは、前記第２の撮像データのフレームの送信に失敗した場合に、前記失敗のタイミングにおける前記第１の送信処理の進行状況に応じて、前記第２の撮像データの送信を制御することを特徴とする制御方法。
【請求項１５】
コンピュータを、
第１の撮像手段で撮像される第１の撮像データと、第２の撮像手段で撮像される撮像データで、前記第１の撮像データに対応する撮像データである第２の撮像データとを送信する送信手段と、
前記第１の撮像データの送信状況に応じて、前記第２の撮像データの送信を制御する制御手段
として機能させ、
前記送信手段は、前記第１の撮像データをフレーム単位で送信する第１の送信処理と、前記第２の撮像データをフレーム単位で送信する第２の送信処理と、を並列に行い、
前記制御手段は、前記第２の撮像データのフレームの送信に失敗した場合に、前記失敗のタイミングにおける前記第１の送信処理の進行状況に応じて、前記第２の撮像データの送信を制御するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像配信を制御する制御装置、制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の画像を配信する装置において、各画像の画質を制御する技術が知られている。特許文献１には、可視光と赤外光の撮像部を備え、画像に含まれるオブジェクトが予め定められた条件に適合すると、一方のデータの出力量を減らし、他方のデータの出力量を増やすことで、出力量の合計を一定にする技術が開示されている。また、特許文献２には、符号化圧縮された複数の映像データを同時に配信可能な配信サーバにおいて、ストリームデータをグループに分類し、特定のグループのストリームデータのビットレートを低くする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６４２５号公報
【特許文献２】特開２００７−３２５１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、配信装置が、同じタイミングで生成された画像データの両方が必要なクライアントに対し画像データを送信する場合において、ネットワークが輻輳する等して画像データを送信できず破棄する場合もある。この場合、クライアントは必要な２つの画像データのうち一方の画像データしか得られない場合がある。
【０００５】
本発明はこのような問題点に鑑みてなされたもので、複数の撮像データの送信処理を適切に管理することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、制御装置であって、第１の撮像手段で撮像される第１の撮像データと、第２の撮像手段で撮像される撮像データで、前記第１の撮像データに対応する撮像データである第２の撮像データとを送信する送信手段と、前記第１の撮像データの送信状況に応じて、前記第２の撮像データの送信を制御する制御手段とを有し、前記送信手段は、前記第１の撮像データをフレーム単位で送信する第１の送信処理と、前記第２の撮像データをフレーム単位で送信する第２の送信処理と、を並列に行い、前記制御手段は、前記第２の撮像データのフレームの送信に失敗した場合に、前記失敗のタイミングにおける前記第１の送信処理の進行状況に応じて、前記第２の撮像データの送信を制御することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の撮像データの送信処理を適切に管理することができる。
【図面の簡単な説明】
【０００８】
【図１】画像配信装置のハードウェア構成を示す図である。
【図２】画像配信装置のソフトウェア構成を示す図である。
【図３】送信制御処理を示すフローチャートである。
【図４】送信制御処理の説明図である。
【図５】送信制御処理の説明図である。
【図６】第２の実施形態に係る送信制御処理を示すフローチャートである。
【図７】第２の実施形態に係る送信制御処理の説明図である。
【図８】第３の実施形態に係る送信制御処理を示すフローチャートである。
【図９】第３の実施形態に係る送信制御処理の説明図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
（第１の実施形態）
図１は、第１の実施形態に係る画像配信装置１００のハードウェア構成を示す図である。画像配信装置１００は、複数の撮影画像をクライアント装置に配信する。撮像ユニット１１０において、光軸Ｏ１上に、対物レンズ１１１、絞り１１２、フォーカスレンズ１１３、撮影レンズ１１４が順に配列されており、その後方に、波長分離のためのダイクロイックミラー１１５が配置されている。ダイクロイックミラー１１５は、可視光を透過し赤外光を反射するように構成されている。透過した可視光成分は、ダイクロイックミラー１１５の後方に配置された可視光受像部１１６により光電変換される。一方、ダイクロイックミラー１１５で反射された赤外光成分は、光軸Ｏ２を通り配置された赤外光受像部１１７により光電変換される。また、赤外光照明１１８は、赤外光受像部１１７で受像する波長に適した赤外光源からなる照明光源である。このように、可視光撮像部１１９及び赤外光撮像部１２０は、同じ領域を撮像範囲とする撮像部である。なお、画像配信装置１００は、撮像装置の一例である。
【００１０】
可視光撮像部１１９及び赤外光撮像部１２０は、いずれもＪＰＥＧエンコーダーを備えており、それぞれ可視光受像部１１６及び赤外光受像部１１７で得た電気信号から画像を生成する。各受像部と各撮像部は同じタイミングで画像を生成できるように制御されており、さらに同じタイマーを基に時刻情報を共有している。また、ＪＰＥＧデータのヘッダ部分にタイムスタンプの領域設け、同じタイミングで生成された画像に対して同じ生成時刻の情報を付与する。以降、可視光撮像部１１９及び赤外光撮像部１２０は特別に区別する必要がない場合には、適宜、撮像部と称することとする。なお、本実施形態の可視光撮像部１１９及び赤外光撮像部１２０は、継続して撮像を行うことにより、動画を撮像する。以下、可視光撮像部１１９により得られる動画を可視光動画、赤外光撮像部１２０により得られる動画を赤外光動画と称することとする。ここで、可視光動画及び赤外光動画は、撮像データの一例である。なお、他の例としては、可視光撮像部１１９及び赤外光撮像部１２０は、それぞれ対応するタイミングで複数枚の静止画を撮像するものであってもよい。
【００１１】
ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１０７は、ネットワークを介して外部装置との通信処理を行う。なお、後述する画像配信装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１２】
図２は、画像配信装置１００のソフトウェア構成を示す図である。処理部２００は、２つの画像バッファを備えていえる。画像バッファは、撮像部から出力された動画に含まれる所定数のフレームを一時的に保存しておくことができる。可視光画像バッファ２０１は、可視光撮像部１１９により生成された可視光動画をフレーム単位で一時的に保存する。赤外光画像バッファ２０２は、赤外光撮像部１２０で生成された赤外光動画をフレーム単位で一時的に保存する。なお、可視光画像バッファ２０１及び赤外光画像バッファ２０２のデータサイズは同等とする。以降、可視光画像バッファ２０１及び赤外光画像バッファ２０２は特別に区別する必要がない場合には、適宜、画像バッファと称することとする。なお、画像バッファは、いずれも蓄積バッファの一例である。
【００１３】
送信制御部２０３は、各蓄積バッファのフレームの数と、データサイズを管理する。送信制御部２０３は、例えば、蓄積バッファに蓄積されている動画をフレーム単位で送信処理部２０６に送信する。送信制御部２０３はまた、蓄積バッファに蓄積されている動画をフレーム単位で適宜破棄する。画像解析部２０４は、可視光撮像部１１９により生成された可視光動画の処理対象のフレームと、処理対象のフレームの１フレーム前のフレームとを用いてフレーム間差分の処理を行い、可視光動画中の動体の位置の解析を行う。そして、画像解析部２０４は、可視光動画中の動体の位置情報と、ＪＰＥＧヘッダ内のタイムスタンプの情報を合わせたメタデータを生成し、メタデータバッファ２０５に送信する。
【００１４】
送信処理部２０６は、ＴＣＰ／ＩＰスタックを備えており、送信制御部２０３の要求に応じて、バッファの生成や削除を行う。送信処理部２０６は、可視光画像送信バッファ２０７、赤外光画像送信バッファ２０８、メタデータ送信バッファ２０９を管理する。可視光画像送信バッファ２０７は、可視光撮像部１１９により生成された可視光動画の送信のためのバッファである。赤外光画像送信バッファ２０８は、赤外光撮像部１２０により生成された赤外光動画の送信のためのバッファである。メタデータ送信バッファ２０９は、画像解析部２０４により得られたメタデータの送信のためのバッファである。すなわち、可視光画像送信バッファ２０７、赤外光画像送信バッファ２０８及びメタデータ送信バッファ２０９は、いずれも送信対象のデータを蓄積するバッファである。
【００１５】
送信制御部２０３は、可視光画像バッファ２０１に蓄積されている可視光動画をフレーム単位で可視光画像送信バッファ２０７に送る。送信制御部２０３はさらに、フレーム単位ですべての動画を送るように制御することで、１動画分をクライアント装置２２０が再生できるよう送信を制御する。例えば、ネットワークで輻輳が発生すると、可視光画像送信バッファ２０７に空きがなくなる。このため、送信制御部２０３が可視光画像バッファ２０１の可視光動画のフレームを可視光画像送信バッファ２０７に送るとエラーが発生する。この場合、送信制御部２０３は、可視光画像バッファ２０１の可視光動画をフレーム単位で可視光画像送信バッファ２０７へ送る送信処理をリトライする。送信制御部２０３は、赤外光画像送信バッファ２０８と赤外光画像バッファ２０２の組、メタデータバッファ２０５とメタデータ送信バッファ２０９の組に対しても、同様の送信制御処理を行う。以降、可視光画像送信バッファ２０７及び赤外光画像送信バッファ２０８は特別に区別する必要がない場合には、適宜、送信バッファと称することとする。
【００１６】
クライアント装置２２０は、ＴＣＰにより、送信処理部２０６を介して、可視光撮像部１１９により得られた可視光動画、赤外光撮像部１２０により得られた赤外光動画、画像解析部２０４により生成されたタデータを受信する。クライアント装置２２０は、受信した動画のＪＰＥＧヘッダに含まれるタイムスタンプを用い、同時刻に生成されたフレームを比較するために同時に表示したり、可視光動画と赤外光動画を部分的に画像合成して表示したりする。さらに、クライアント装置２２０は、メタデータから取得した動体の位置情報を、同じタイムスタンプのフレームに重畳して表示する。これらの表示や画像合成の処理においては、同時刻で生成されたフレームやメタデータを用いないと、物体の位置がずれるなど問題が発生する。
【００１７】
本実施形態においては、クライアント装置２２０は、画像配信装置１００から受信した動画の各フレームが同時刻に生成されたフレームであるかの判定に、撮像部でＪＥＰＧヘッダに付与されたタイムスタンプを用いることとする。他の例としては、撮像部において、同時刻に生成されたフレームのＪＰＥＧヘッダ内に同じシーケンス番号を付与したり、同時刻に生成されたフレームを関連付ける情報を付与したりしてもよい。この場合、クライアント装置２２０は、それぞれシーケンス番号又は関連付ける情報に基づいて、同時刻に生成されたフレームか否かを判定すればよい。
【００１８】
画像配信装置１００が、撮像部で生成された動画をネットワークを介して配信する際に、ネットワークの輻輳などによってクライアント装置２２０に動画を送れない場合がある。この場合、画像バッファや送信バッファに動画が滞留することになる。これに対し、ＴＣＰは再送機能を備えており、クライアント装置２２０からの再送要求に応じるため、送信バッファに動画をフレーム単位で保持している。そのため、輻輳が発生しても送信バッファの動画は破棄できない。一方、画像バッファの動画は破棄が可能である。動画をリアルタイムで配信する場合は、配信時点で生成された最新のフレームを送ることが望ましい。このため、画像バッファのフレームが滞留した場合は必要に応じて古くなったフレームを破棄し、新しいフレームを撮像部から取り入れる必要がある。
【００１９】
図３は、画像配信装置１００による送信制御処理を示すフローチャートである。送信制御処理は、同じタイミングで生成された、異なる動画中のフレームのクライアント装置２２０への配信（送信）を制御する処理である。なお、送信制御処理の前提として、送信処理が行われているものとする。ここで、送信処理は、可視光動画送信処理と、赤外光動画送信処理を含み、可視光動画送信処理と赤外光動画送信処理は、並列に行われる処理である。
【００２０】
可視光動画送信処理は、可視光画像バッファ２０１から可視光画像送信バッファ２０７へ可視光動画をフレーム単位で送信（転送）する処理と、可視光画像送信バッファ２０７からクライアント装置２２０へ可視光動画をフレーム単位で送信する処理とを含む。赤外光動画送信処理は、赤外光画像バッファ２０２から赤外光画像送信バッファ２０８へ赤外光動画をフレーム単位で送信する処理と、可視光画像送信バッファ２０７からクライアント装置２２０へ可視光動画をフレーム単位で送信する処理を含む。以下、適宜、可視光動画中のフレームを可視光フレーム、赤外光動画中のフレームを赤外光フレームと称することとする。
【００２１】
Ｓ３０１において、送信制御部２０３は、送信処理においてリトライが発生したか否かを確認する。可視光画像送信バッファ２０７に空きがなく、可視光画像バッファ２０１から可視光画像送信バッファ２０７へのフレームの転送に失敗した場合にリトライが発生する。また、赤外光画像送信バッファ２０８に空きがなく、赤外光画像バッファ２０２から赤外光画像送信バッファ２０８へのフレームの転送に失敗した場合にリトライが発生する。送信制御部２０３は、リトライが発生した場合には（Ｓ３０１でＹＥＳ）、処理をＳ３０２へ進める。送信制御部２０３は、リトライが発生していない場合には（Ｓ３０１でＮＯ）、Ｓ３０１の処理を継続する。なお、リトライが発生した場合は、リトライに係るフレームの送信に失敗した場合の一例である。
【００２２】
Ｓ３０２において、送信制御部２０３は、リトライが発生したタイミングにおいて、リトライが発生した送信バッファと異なる送信バッファへのフレームの送信状況を確認する。以下、リトライが発生した送信バッファを、リトライに係る送信バッファ、リトライに係るバッファと異なる送信バッファを他方の送信バッファと称する。例えば、可視光画像送信バッファ２０７においてリトライが発生した場合には、可視光画像送信バッファ２０７がリトライに係る送信バッファであり、赤外光画像送信バッファ２０８が他方の送信バッファである。ここで、Ｓ３０２は、失敗のタイミングにおける送信処理の進行状況を確認する処理の一例である。次に、Ｓ３０３において、送信制御部２０３は、Ｓ３０２において確認した、他方の送信バッファへのフレームの送信状況に基づいて、各画像バッファに蓄積されている画像を破棄し、その後処理をＳ３０１へ進める。
【００２３】
図４及び図５は、送信制御処理の説明図である。図４（ａ）は、通常時の可視光画像送信バッファ２０７及び赤外光画像送信バッファ２０８の状態を示す図である。なお、図中の四角の枠４００は、フレームを示し、枠４００内の数字は、フレームの配列順を示している。なお、同一番号のフレームは、同じタイミングで生成されたことを意味している。また、通常時とは、ネットワークに輻輳が発生しておらず、可視光画像送信バッファ２０７及び赤外光画像送信バッファ２０８のいずれにおいてもリトライが発生していない場合である。この場合、可視光画像送信バッファ２０７及び赤外光画像送信バッファ２０８には、それぞれ可視光画像バッファ２０１及び赤外光画像バッファ２０２から順次フレームが入力され、入力されたフレームは、滞りなくクライアント装置２２０に送信される。このため、可視光動画及び赤外光動画の送信は、リトライが生じることなく継続する。すなわち、この場合には、Ｓ３０１においてＮＯと判定され、送信処理が継続する。
【００２４】
一方、図４（ｂ）は、輻輳発生時の可視光画像送信バッファ２０７及び赤外光画像送信バッファ２０８の状態を示す図である。図４（ｂ）は、可視光画像送信バッファ２０７のフレームの送信に失敗した場合を示している。この場合、Ｓ３０１においてＹＥＳと判定され、Ｓ３０２以降の処理が実行される。すなわち、送信制御部２０３は、他方の送信バッファとしての赤外光画像送信バッファ２０８への、赤外光画像バッファ２０２からのフレームの送信状況を確認する。図４（ｂ）の例では、フレーム「５」は、赤外光画像送信バッファ２０８への転送が開始しているものの、まだ赤外光画像バッファ２０２にも残っている状態である。この場合、送信制御部２０３は、赤外光画像バッファ２０２から、転送が開始していないフレームとしてフレーム「６」〜フレーム「９」を破棄する。さらに、送信制御部２０３は、可視光画像バッファ２０１においても、赤外光画像バッファ２０２において破棄したフレームに対応するフレームを破棄する。すなわち、送信制御部２０３は、可視光画像バッファ２０１からもフレーム「６」〜フレーム「９」を破棄する。
【００２５】
図５（ａ）は、輻輳発生時の可視光画像送信バッファ２０７及び赤外光画像送信バッファ２０８の状態を示す図である。図５（ａ）の例では、図４（ｂ）の場合と同様に、可視光画像送信バッファ２０７へのフレーム「５」の転送が開始しているが、赤外光画像バッファ２０２にもフレーム「５」が残っている状態である。図５（ａ）の例では、図４（ｂ）の場合と異なり、赤外光画像送信バッファ２０８へのフレーム「５」の転送は完了し、リトライ発生時点においては、フレーム「６」の転送が開始している。ただし、赤外光画像バッファ２０２にもフレーム「６」が残っている。この場合、送信制御部２０３は、赤外光画像バッファ２０２から赤外光画像送信バッファ２０８への転送が開始していないフレームとしてフレーム「７」〜フレーム「９」を破棄する。さらに、送信制御部２０３は、可視光画像バッファ２０１においても、赤外光画像バッファ２０２において破棄したフレームに対応して、フレーム「７」〜フレーム「９」を破棄する。
【００２６】
図５（ｂ）は、図５（ａ）の状態において、可視光画像バッファ２０１及び赤外光画像バッファ２０２のそれぞれにおいて、フレーム「７」〜フレーム「９」が破棄された後の状態を示す図である。フレーム「７」〜フレーム「９」が破棄された後、可視光撮像部１１９及び赤外光撮像部１２０から新たにフレーム「１０」がそれぞれ可視光画像バッファ２０１、赤外光画像バッファ２０２に入力される。
【００２７】
なお、送信制御部２０３は、クライアント装置２２０から複数の撮像部の撮像データの配信要求を受けて、送信制御処理を開始する。例えば、送信制御部２０３が、クライアント装置のＩＰアドレスを管理しておき、同じＩＰアドレスから複数の撮像データの配信要求があった場合に、送信制御処理を開始する。また、画像配信の動画像伝送プロトコルにＲＴＰ／ＲＴＳＰを用いる場合は、送信制御部２０３は、撮像データの配信要求時に通知されるユーザ名などの認証情報を元に複数の撮像部の撮像データの配信要求を受けたと判断してもよい。
【００２８】
以上のように、本実施形態に係る画像配信装置１００は複数の撮像データを送信する場合において、輻輳等の理由で一方の撮像データを送信できない場合に、他方の撮像データの送信状況に応じて、一方の撮像データの送信を制御することができる。これにより、画像配信装置１００は、複数の撮像データの送信処理を適切に管理することができる。また、画像配信装置１００が、画像合成できない画像の配信を制御するので、ネットワークの通信帯域の使用量を削減することができる。
【００２９】
第１の実施形態の画像配信装置１００の第１の変更例について説明する。第１の実施形態においては、送信制御部２０３は、リトライが発生したことを条件に、Ｓ３０２、Ｓ３０３の処理により画像バッファのフレームの破棄を行うこととしたが、フレームの破棄を行うための条件は、実施形態に限定されるものではない。他の例としては、送信制御部２０３は、リトライが所定回数発生したこと、リトライに所定回数失敗したことこと、等を条件として、フレームの破棄を行ってもよい。
【００３０】
次に、第２の変更例について説明する。送信制御部２０３は、赤外光画像バッファ２０２に格納された、転送が開始していないすべてのフレームを破棄するのではなく、例えば２フレーム毎というように間欠的にフレームを破棄することとしてもよい。送信制御部２０３は、例えば、図４（ｂ）の例においては、フレーム「６」〜フレーム「９」のうち連続しない複数のフレームである、フレーム「６」、フレーム「８」を破棄の対象とする。なお、送信制御部２０３は、可視光画像バッファ２０１に格納されたフレームについては、赤外光画像バッファ２０２において破棄対象とされたフレームに対応するフレームを破棄対象とする。これにより、クライアント装置２２０において映像を再生できない時間を短く抑えることができる。
【００３１】
第３の変更例について説明する。画像配信装置１００が備える撮像部の数及び種類は実施形態に限定されるものではない。複数の撮像部を備える撮像装置としては多眼カメラがある。多眼カメラは、複数の撮像部で、撮像している領域の一部を重複させ、各撮像部が生成した画像データを画像合成することで、１つの撮像部では不可能な広範囲な領域を撮像した画像データを生成する。これに対し、クライアント装置は、各撮像部により得られた撮像データを受信して画像合成を行う。このとき、クライアント装置は、同じタイミングで生成されたフレームを元に合成することになる。これに対し、本実施形態において説明したように、撮像部を備える画像配信装置において、ネットワークの輻輳等に起因して撮像データを破棄した場合であっても、クライアント装置は、同じタイミングで生成された複数のフレームを取得することができる。
【００３２】
第４の変更例について説明する。ネットワークの輻輳等に起因して撮像データを画像配信装置内で破棄した場合において、同じタイミングで生成された複数のフレームを配信するものの、予め決めた最低のフレームレートに達しない場合もある。この場合は、画像配信装置は、撮影状態に応じて、特定の撮像部の撮像データを優先して配信することとする。例えば、第１の実施形態において説明したように、可視光と赤外光の撮像データを配信対象とするとする。この場合、画像配信装置は、周囲の明るさに応じて可視光と赤外光の撮像データの配信の優先度を変えてもよい。また、多眼カメラであれば、画像配信装置は、フレーム間差分によって動きがある方の撮像部の撮像データを優先して配信してもよい。すなわち、画像配信装置は、フレームレートが閾値以上の場合には、第１の実施形態において説明した送信制御処理により撮像データの送信を制御する。一方で、画像配信装置は、フレームレートが閾値未満の場合には、複数の撮像データのうち何れか一方の撮像データのみを送信するよう制御する。
【００３３】
第５の変更例について説明する。第１の実施形態に係る画像配信装置１００は、２つの撮像部を備え、自装置において得られた２つの撮像データの配信を制御したが、他の例としては、画像配信装置１００は、撮像部を備えなくともよい。例えば、画像配信装置１００は、１又は２以上の撮像装置において得られた複数の撮像データを撮像装置から取得し、取得した撮像データに対し送信制御処理を行ってもよい。すなわち、画像配信装置１００は、制御装置の一例である。
【００３４】
（第２の実施形態）
次に、第２の実施形態に係る画像配信装置１００について説明する。第２の実施形態に係る画像配信装置１００は、フレームレートが異なる可視光動画と赤外光動画を処理対象とする。以下、第２の実施形態に係る画像配信装置１００の構成及び処理のうち、第１の実施形態に係る画像配信装置１００と異なる点について説明する。第２の実施形態に係る画像配信装置１００においては、可視光動画のフレームレートが赤外光動画のフレームレートの２倍であるものとする。さらに、画像配信装置１００は、フレームレートの違いに応じて、赤外光画像バッファ２０２に比べて大きいバッファサイズの可視光画像バッファ２０１を確保するものとする。但し、可視光画像送信バッファ２０７と赤外光画像送信バッファ２０８のバッファサイズは同じとする。
【００３５】
図６は、第２の実施形態に係る画像配信装置１００による、送信制御処理を示すフローチャートである。第２の実施形態に係る送信制御処理は、第１の実施形態に係る送信制御処理と同様に、同じタイミングで生成された、異なる動画中のフレームのクライアント装置２２０への配信（送信）を制御する処理である。なお、送信制御処理の前提として、送信処理が行われているものとする。Ｓ６０１において、送信制御部２０３は、送信処理においてリトライが発生したか否かを確認する。送信制御部２０３は、リトライが発生した場合には（Ｓ６０１でＹＥＳ）、処理をＳ６０２へ進める。送信制御部２０３は、リトライが発生していない場合には（Ｓ６０１でＮＯ）、Ｓ６０１の処理を継続する。Ｓ６０２において、送信制御部２０３は、赤外光画像バッファ２０２に格納されているすべてのフレームからタイムスタンプを取得する。
【００３６】
次に、Ｓ６０３において、送信制御部２０３は、すべてのフレームから取得したタイムスタンプの一覧と、可視光画像バッファ２０１のフレームのタイムスタンプとを比較する。送信制御部２０３は、可視光画像バッファ２０１にタイムスタンプの一覧に一致しないフレームが存在する場合には（Ｓ６０３でＹＥＳ）、処理をＳ６０４へ進める。送信制御部２０３は、可視光画像バッファ２０１にタイムスタンプの一覧に一致しないフレームが存在しない場合には（Ｓ６０３でＮＯ）、処理をＳ６０５へ進める。Ｓ６０４において、送信制御部２０３は、可視光画像バッファ２０１からタイムスタンプの一覧に一致しないフレームを削除し、その後処理をＳ６０１へ進める。なお、Ｓ６０５及びＳ６０６の処理は、第１の実施形態において図３を参照しつつ説明したＳ３０２及びＳ３０３の処理と同様である。
【００３７】
図７は、第２の実施形態に係る画像配信装置１００による送信制御処理の説明図である。図７に示す可視光動画のフレーム「１」〜フレーム「７」と赤外光動画のフレーム「１」〜フレーム「７」は、それぞれ同じタイミングで生成されたフレームである。一方で、可視光動画のフレーム「ａ」〜フレーム「ｆ」は、同じタイミングで得られた赤外光動画のフレームが存在しないフレーム、すなわち赤外光撮像部１２０の撮像タイミングと異なるタイミングで生成されたフレームである。図７の例においては、送信制御部２０３は、送信制御処理において、可視光画像バッファ２０１のフレーム「ｃ」、フレーム「ｄ」、フレーム「ｅ」及びフレーム「ｆ」を破棄する。このように、第２の実施形態に係る画像配信装置１００は、対応するフレームが存在しないフレームを優先的に破棄する。なお、第２の実施形態に係る画像配信装置１００のこれ以外の構成及び処理は、第１の実施形態に係る画像配信装置１００の構成及び処理と同様である。
【００３８】
なお、送信制御部２０３が、同じタイミングで生成されたフレームの有無を確認するための処理は、実施形態に限定されるものではない。他の例としては、可視光撮像部１１９は、予め赤外光撮像部１２０と同じタイミングで撮像されたフレームでないことが分かる場合は、ＪＰＥＧヘッダ内にその旨を知らせるフラグを設ける。そして、送信制御部２０３は、そのフラグを参照して、同じタイミングで撮影されたフレームの有無を確認し、破棄の対象のフレームを特定してもよい。
【００３９】
（第３の実施形態）
次に、第３の実施形態に係る画像配信装置１００について説明する。第３の実施形態に係る画像配信装置１００は、フレームのデータサイズが大きく異なる可視光動画と赤外光動画を処理対象とする。以下、第３の実施形態に係る画像配信装置１００の構成及び処理のうち、他の実施形態に係る画像配信装置１００と異なる点について説明する。第３の実施形態に係る画像配信装置１００においては、可視光動画のフレームが赤外光動画のフレームに比べてデータサイズが大きいものとする。なお、このように、フレームのデータサイズが異なる例としては、一方の動画が、ＪＰＥＧではない、グレースケールでサイズが小さくなるフォーマットでエンコードされることにより、他方の動画に比べてデータサイズが小さくなる場合が挙げられる。また、データサイズが異なる例としては、各動画の解像度が異なる場合や、Ｑ値など画像品質が異なる場合が挙げられる。
【００４０】
図８は、第３の実施形態に係る画像配信装置１００による、送信制御処理を示すフローチャートである。Ｓ８０１において、送信制御部２０３は、可視光画像バッファ２０１のフレームを可視光画像送信バッファ２０７に送信する。次に、Ｓ８０２において、送信制御部２０３は、可視光フレームの送信処理においてリトライが発生したか否かを確認する。送信制御部２０３は、リトライが発生した場合には（Ｓ８０２でＹＥＳ）、処理をＳ８０４へ進める。送信制御部２０３は、リトライが発生しなかった場合には（Ｓ８０２でＮＯ）、処理をＳ８０３へ進める。
【００４１】
Ｓ８０３において、送信制御部２０３は、可視光フレームの送信完了時刻を記録し、その後処理をＳ８０６へ進める。なお、Ｓ８０４及びＳ８０５の処理は、赤外光画像送信バッファ２０８を他の送信バッファとした場合のＳ３０２及びＳ３０３の処理と同様である。送信制御部２０３は、Ｓ８０５の処理の後、処理をＳ８０６へ進める。続く、Ｓ８０６において、送信制御部２０３は、赤外光画像バッファ２０２のフレームを赤外光画像送信バッファ２０８に送信する。次に、Ｓ８０７において、送信制御部２０３は、赤外光フレームの送信処理においてリトライが発生したか否かを確認する。送信制御部２０３は、リトライが発生した場合には（Ｓ８０７でＹＥＳ）、処理をＳ８０９へ進める。送信制御部２０３は、リトライが発生しなかった場合には（Ｓ８０７でＮＯ）、処理をＳ８０８へ進める。
【００４２】
Ｓ８０８において、送信制御部２０３は、赤外光フレームの送信完了時刻を記録し、その後処理をＳ８１１へ進める。なお、Ｓ８０９及びＳ８１０の処理は、可視光画像送信バッファ２０７を他の送信バッファとした場合のＳ３０２及びＳ３０３の処理と同様である。送信制御部２０３は、Ｓ８１０の処理の後、処理をＳ８１１へ進める。続く、Ｓ８１１において、送信制御部２０３は、同じタイミングで生成された可視光フレームと赤外光フレームの送信完了時刻の差分を算出する。そして、送信制御部２０３は、差分と閾値とを比較する。なお、閾値は、例えばＲＯＭ１０２等の記憶部に予め設定されているものとする。送信制御部２０３は、差分が閾値よりも大きい場合には（Ｓ８１１でＹＥＳ）、処理をＳ８１２へ進める。送信制御部２０３は、差分が閾値以下の場合には（Ｓ８１１でＮＯ）、処理をＳ８１３へ進める。
【００４３】
Ｓ８１２において、送信制御部２０３は、撮像部から画像バッファにフレームが入力される時点で、入力対象のフレームを間欠的に破棄する処理を開始し、その後処理をＳ８０１へ進める。一方、Ｓ８１３においては、送信制御部２０３は、画像バッファへの入力対象のフレームを間欠的に破棄する処理を停止し、その後処理をＳ８０１へ進める。送信制御部２０３は、入力対象のフレームを間欠的に破棄する処理においては、例えば、２フレームにつき１フレームを破棄するものとする。
【００４４】
図９に示すように、赤外光動画のフレームのデータサイズが可視光動画のフレームのデータサイズに比べて小さい場合、同じ期間において、赤外光画像送信バッファ２０８には可視光画像送信バッファ２０７に比べて多くのフレームが転送可能となる。図９に示す例においては、赤外光画像送信バッファ２０８には、赤外光撮像部１２０により生成されたフレーム「１」〜フレーム「８」のすべてが赤外光画像送信バッファ２０８に転送済み（送信済み）である。一方で、可視光画像送信バッファ２０７においては、可視光撮像部１１９により生成されたフレーム「１」〜フレーム「４」のみが転送済みである。このような状態になった場合には、送信制御部２０３は、可視光画像バッファ２０１のフレームのうちフレーム「９」しか破棄できないことになる。
【００４５】
これに対し、第３の実施形態に係る画像配信装置１００の送信制御部２０３は、各送信バッファ２０７、２０８に送った最後のフレームの送信完了時刻を記憶しておく。そして、送信制御部２０３は、各送信バッファ２０７、２０８のフレームの送信完了時刻の差が閾値より大きくなる場合は、各撮像部１１９、１２０から画像バッファ２０１、２０２にフレームを取り入れる時点で、間欠的に、フレームを破棄するよう制御する。これにより、対応するフレームの送信バッファへの転送を適切に行うことができる。なお、第３の実施形態に係る画像配信装置１００のこれ以外の構成及び処理は、他の実施形態に係る画像配信装置１００の構成及び処理と同様である。
【００４６】
なお、各送信バッファ２０７、２０８のフレームの送信完了時刻の差が閾値より大きくなる場合は、一方の撮像データのフレームの送信タイミングが、他方の撮像フレームの対応するフレームの送信タイミングに比べて所定時間以上遅い場合の一例である。また、間欠的にフレームを破棄する処理は、他方の撮像データの第１の数のフレームのうち、第１の数より少ない第２の数のフレームのみを送信対象として決定する制御処理の一例である。のあ、ここで、第２のフレームの数、すなわち破棄対象とするフレームの数は、第１の数により少ない数であればよい。
【００４７】
第３の実施形態の変更例としては、画像配信装置１００は、画像解析部２０４で生成したメタデータをクライアント装置２２０に配信する場合、図８を参照しつつ説明した送信制御処理と同様の処理により、メタデータの送信を制御してもよい。メタデータはフレームサイズより小さい。そこで、図８の送信制御処理によりメタデータを送信することにより、画像配信装置１００は、同じタイミングで生成されたフレームと同時に、フレーム中の動体の位置情報であるメタデータを破棄することなく配信することができる。
【００４８】
以上、上述した各実施形態によれば、複数の撮像データの送信処理を適切に管理することができる。
【００４９】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００５０】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
１００  画像配信装置
１０１  ＣＰＵ
１０６  通信部
１１９  可視光撮像部
１２０  赤外光撮像部
【図１】
0006740002.tif 000002
【図２】
0006740002.tif 000003
【図３】
0006740002.tif 000004
【図４】
0006740002.tif 000005
【図５】
0006740002.tif 000006
【図６】
0006740002.tif 000007
【図７】
0006740002.tif 000008
【図８】
0006740002.tif 000009
【図９】
0006740002.tif 000010