(57)【要約】【課題】  撮影操作者のフレーミング用途に用いる広角画像ストリームと、撮影結果である保存画像ストリームの2本の画像ストリームを、通信ネットワークを介して伝送する機能を有する撮像機器において、通信ネットワークの状態の変化に伴う帯域の揺らぎが保存画像ストリームの伝送に影響を与えることは好ましいことでは無い。【解決手段】  画像ストリームを受け取る受信端末側からの通信ネットワークの状態報告に基づいて、広角画像の生成パラメタを変更し、広角画像ストリームのデータ・レートを減じ、通信ネットワーク上で消費する通信帯域を抑えるように制御する。【選択図】  図１
2007060259.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
撮像手段により得られる画像データを加工し、複数の画像ストリームを生成する画像ストリーム生成手段と、
生成した画像ストリームを伝送する通信手段と、
画像ストリーム伝送の状況を検出する伝送状況検出手段と、
装置全体の動作を制御する制御手段と、を備えた撮像装置であって、
検出した画像ストリーム伝送の状況に応じて、選択した画像ストリームの生成パラメタの設定を変更することを特徴とする伝送制御方式。
【請求項２】
撮像手段と、
撮像手段により得られる画像データを加工し、複数の画像ストリームを生成する画像ストリーム生成手段と、
生成した画像ストリームを格納するストレージ手段と、
生成した画像ストリームを伝送する通信手段と、
画像ストリーム伝送の状況を検出する伝送状況検出手段と、
装置全体の動作を制御する制御手段と、を備えた撮像装置であって、
画像ストリームの伝送状況の悪化を検出した場合に、選択した画像ストリームの伝送を中断し、ストレージ手段に格納することと、
画像ストリームの伝送状況の改善を検出した場合に、ストレージ手段に格納した画像ストリームの伝送と、中断している画像ストリームの伝送の再開を行うことと、を特徴とする伝送制御方式。
【請求項３】
前記伝送状況検出手段は、画像ストリームの送信先からの、パケットの喪失や到着遅延に関する報告に基づき、伝送状況の悪化や改善の判断を行うことを特徴とする、請求項1及び請求項2記載の伝送制御方式。
【請求項４】
前記画像ストリーム生成手段は、画像の解像度を変換する機能を含み、
画像ストリーム伝送の状況に応じて変更される画像ストリームの生成パラメタに画像の解像度が含まれる、請求項1記載の伝送制御方式。
【請求項５】
前記画像ストリーム生成手段は、画像のフレーム・レートを変換する機能を含み、
画像ストリーム伝送の状況に応じて変更される画像ストリームの生成パラメタに画像のフレーム・レートが含まれる、請求項1記載の伝送制御方式。
【請求項６】
生成パラメタの変更を行う画像ストリームでは無い画像ストリームの生成パラメタの変更は行わないことを特徴とする、請求項1記載の伝送制御方式。
【請求項７】
画像ストリームの伝送状況の変化に応じて、画像ストリームの生成パラメタの設定を1段階ずつ変更することを特徴とする、請求項1記載の伝送制御方式。
【請求項８】
画像ストリームの伝送状況の変化に応じて変更する画像ストリームの生成パラメタに上限値と下限値を設け、
生成パラメタの設定変更はその範囲内で行うことを特徴とする、請求項1記載の伝送制御方式。
【請求項９】
生成する複数画像ストリームのうちの1つは撮像した範囲全体の画像ストリームであり、その他の画像ストリームは撮像した範囲内の一部の画像ストリームである、請求項1及び請求項2記載の伝送制御方式。
【請求項１０】
画像ストリームの伝送状況の変化に応じて生成パラメタの変更を行う画像ストリームは、撮像した範囲全体の画像ストリームである、請求項9記載の伝送制御方式。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信ネットワークを介した映像データの伝送方式に関するものである。
【背景技術】
【０００２】
映像データを伝送するためには、大きな通信帯域の確保が必要なことが知られており、また、リアルタイム性が必要な応用においては、通信帯域を連続的に確保が必要となることが知られている。
【０００３】
従来、映像データを伝送する際のネットワークの効率的使用法に関して、以下に挙げるような様々な方法が提案されている。
【０００４】
(1) 特許文献１は、パケット化を行う手段として、優先データ用のものと一般データ用のものの2系統を備え、送信する際に優先データ用のパケット化手段から出力されたものを優先的に送信するものである。
【０００５】
(2) 特許文献２は、送信データを送信バッファに入れる際に、伝送の優先度を付加し、帯域が揺らいだ際には優先度の低いものから削除するようにするものである。
【０００６】
(3) 特許文献３は、受信側で計測したパケットの受信状況を基に、通信回線の途中に位置する各ルータに使用帯域の上限値を設定するものである。
【０００７】
(4) 特許文献４、特許文献５は、受信側から報告されるパケット伝送の障害情報を基に、送信側における送信手法を変更するものである。パケットの喪失が報告された際には、
・ パケット・サイズを小さくする。
・ 同一パケットを多重に送信する。
・ パケットを分割して送信する。
【０００８】
といった送信方法の変更が行われ、パケットが再送される。到着時間の遅れによるパケットの廃棄が報告された際には、
・ 受信バッファ量を大きくし、受信側での受信データの使用開始時刻を全体的に遅らせる。
【０００９】
といった制御が行われる。また、データの障害が報告された際には、
・ エラー訂正能力を向上させた形で、パケット化を行う。
【００１０】
といった送信方法の変更が行われ、パケットが再送される。
【００１１】
(5) 特許文献６は、広角画像と拡大画像の両画像を同時に送信出来る撮像機器を複数台束ね、画像を視聴する側に送信する監視システムにおけるもので、異常発生時にのみ送信する拡大画像分の帯域の増分を、広角画像送信分の帯域を減じることにより、使用帯域量の一定化を図るものである。
【００１２】
(6) 特許文献７は、映像を圧縮して送信する機器におけるもので、通信ネットワークの状況に応じて、圧縮処理のパラメタを変更するものである。
【特許文献１】特開2003-273920号公報
【特許文献２】特開2003-36987号公報
【特許文献３】特開2002-16599号公報
【特許文献４】特開平11-177623号公報
【特許文献５】特開2003-249977号公報
【特許文献６】特開平11-177966号公報
【特許文献７】特開2004-172723号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら上記従来例においては、以下に述べるような課題があった。従来例(1)は、パケット化手段を2系統備える必要があり、機器の規模とコストの増大を招く。従来例(2)は、削除するデータを生成する過程の処理が全く無駄になり、このことは生成処理の規模に応じて大きな問題となるものである。従来例(3)は、ルータの存在を前提としており、ルータが介在しないような場合においては適用出来ず、また、送信元からルータまでのトラフィックが問題となるような場合には適用出来ない。従来例(4)は、パケットの再送を前提としたものであり、リアルタイム性が要求される応用には適用し難い。また、パケット・サイズを小さくする場合、及びパケットを分割して送る場合は通信効率の低下を招き、またパケットを多重に送信する場合、通信ネットワークの状況の悪化を助長することがある。従来例(5)は、送信機器に割り当てられた一定量の通信帯域をどう割り当てるかに関するものであり、通信帯域が割り当てられた一定量以下となった場合には適用出来ないものである。従来例(6)は、単一ストリームの送信を前提としたものであり、圧縮パラメタを変更してはならない応用には適用し難い。
【００１４】
本発明は、伝送優先度が異なる複数の映像データの生成過程において、伝送優先度が低い映像データの生成パラメタを、通信ネットワークの状況に応じて設定するようにし、また、通信ネットワークの状況と、複数の映像データ夫々の用途/属性に応じて、 機器内部のデータ経路を変更するようにすることで、映像データを効率的に送信することが可能な、好適な撮像機器を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明の撮像機器は以下の構成から成る。
第1の手段として、撮像手段と、
撮像手段により得られたデータから任意の矩形領域内のデータを抽出する画像切り出し手段と、
撮像手段により得られたデータ、または映像切り出し手段により得られたデータを加工する画像処理手段と、
画像処理手段により得られたデータを圧縮するための画像圧縮手段と、
画像圧縮手段により得られたデータをパケット化して送信、及び送信先からのコマンドやネットワークの状態報告を受信するネットワーク通信手段と、
画像切り出し手段、画像処理手段、画像圧縮手段のデータ生成のパラメタを設定する手段と、を備える。
【００１６】
係る本発明の構成において、ネットワークの状態に応じて、伝送優先度の低い映像データの、各手段におけるデータ生成のパラメタの設定を動的に変更する、という制御を行う。
【００１７】
また、第2の手段として、撮像手段と、
撮像手段により得られたデータから任意の矩形領域内のデータを抽出する画像切り出し手段と、
撮像手段により得られたデータ、または映像切り出し手段により得られたデータを加工する画像処理手段と、
画像処理手段により得られたデータを圧縮するための画像圧縮手段と、
画像圧縮手段により得られたデータを格納する画像格納手段と、
画像圧縮手段により得られたデータ、または画像格納手段中のデータをパケット化して送信、及び送信先からのコマンドやネットワークの状態報告を受信するネットワーク通信手段と、
画像切り出し手段、画像処理手段、画像圧縮手段のデータ生成のパラメタを設定する手段と、を備える。
【００１８】
係る本発明の構成において、ネットワークの状態に応じて、伝送優先度の低い映像データの、各手段におけるデータ生成のパラメタの設定を動的に変更し、且つ、即時性が要求されない映像データの、ネットワーク通信手段に至るまでのデータ経路を動的に変更する、という制御を行う。
【発明の効果】
【００１９】
本発明によれば、高優先度の映像データの伝送が滞りなく行われるようになり、また、全ての映像データが夫々の用途に合った形で受信機器側に伝送されるようになる。
【発明を実施するための最良の形態】
【００２０】
（第1の実施形態）
以下、添付図面を参照して、本発明に係わる好適な実施例を詳細に説明する。
本実施例の装置は、通信ネットワークを介して2本の画像ストリームを配信する撮像装置である。2本の画像ストリームとは、広画角範囲を撮影対象とし、ビュー・ファインダ的な用途に用いる広角画像ストリームと、広角画像ストリームを用いる等してユーザが指定した比較的狭角範囲を撮影対象とし、視聴/保存用途に用いる保存画像ストリームの2本である。
【００２１】
< 撮像装置の全体構成 (図2) >
図2は、本発明を施した撮像装置の全体構成を表わす図である。撮像部201、画像処理部202、通信処理部203、制御CPU 205、制御CPU 205に付随するROM 206、RAM 207から成る。撮像部201は、映像が入射されるレンズ210、レンズ210で集められた光を電気信号に変換するセンサ211、センサ211から出力される信号を現像する現像処理部212から成る。現像された信号は、画像データとして画像処理部202に与えられ、変換処理や符号化処理等が施された後に、通信処理部203に与えられる。通信処理部203においては、パケット化等の処理を施された後に、通信ネットワーク204へ出力される。通信処理部203においては、通信ネットワーク204からのパケットの受信を行う機能も有する。通信処理部203は、パケットを受信すると制御CPU 205にパケットの受信を通知し、制御CPU 205は受信したパケットを通信処理部203から受け取り、処理する。
【００２２】
< 画像処理部の構成 (図3) >
図3は、本実施例における撮像装置の画像処理部202の構成を表わす図である。撮像部インタフェース301、切り出しモジュール302、解像度変換モジュール303、画像エンコーダ304、制御シーケンサ305、通信処理部インタフェース306、メモリ・コントローラ307、RAM 308、制御CPUインタフェース309の各機能モジュールと、それら機能モジュールを相互に接続するバス310から成る。撮像部インタフェース301は、撮像部201とインタフェースするモジュールであり、現像処理部212と信号線311を介して接続し、映像情報を受け取る。映像情報は連続的に信号線311から入力され、入力された映像情報は、バス310とメモリ・コントローラ307を介して、RAM 308上に順次格納される。RAM 308上に順次格納される映像情報は、信号線313、及び制御CPUインタフェース309を介して、制御CPU205が夫々の機能モジュールにおいて行う処理パラメタの設定と制御シーケンサ305による起動制御に応じて、切り出しモジュール302、解像度変換モジュール303、画像エンコーダ304により順次読み出され、夫々の処理が施された後に、再びRAM 308上に格納される。最後に、それら処理を施され、RAM 308上に格納された映像情報のデータは、通信処理部インタフェース306によって順次読み出され、信号線312を介して通信処理部203に渡される。
【００２３】
各機能モジュールの動作を説明する。
【００２４】
撮像部インタフェース301は、撮像部201の現像処理部212と信号線311を介して接続する。信号線311は、現像処理部212が処理結果として出力するデータを画像処理部202に転送するためのものであり、データそのものの他に、転送のためのハンドシェイク用の信号、各データが画像全体のどの部分のデータであるかを示すための信号が含まれる。撮像部インタフェース301は、連続的に転送されてくるデータをRAM 308上の設定された領域に順次転送する。フレーム単位で転送されてくるデータを、ダブル・バッファリングした上で後段機能モジュールによる処理を行うために、それらRAM 308上の何処に転送するかを指定する制御レジスタは2系統分が備えられる。本実施例においては、1秒間に30フレーム分の画像データが撮像部201の現像処理部212から信号線311を介して転送されてくるものとする。
【００２５】
切り出しモジュール302は、主に保存画像ストリームの生成の一環で機能するモジュールである。撮像部インタフェース301がRAM 308上に置いた画像から、ユーザが指定した領域を切り出し、RAM 308上に格納する。元画像の所在、処理結果の格納領域の指定に必要な情報を格納するための制御レジスタが2系統備えられる。2系統備えられる理由は前記したのと同様、ダブル・バッファリングが行われるためである。切り出しモジュール302には、元画像の大きさの情報も備えられる。横方向に何画素分のデータが、縦方向に何行分存在するのかの情報が制御レジスタに備えられる。また、データ形式の情報も備えられる。1画素あたりのデータのビット幅、輝度情報と色差情報のサンプリング比率等である。それから、どの部分を切り出すかのコマンド情報を格納する制御レジスタが備えられる。起点の座標と、起点からの横方向サイズと縦方向サイズとで指定出来る。切り出しモジュール302はこれら情報を用いて、指定された領域に対応する部分の画像情報を抽出し、RAM 308上の指定領域にそれらデータを格納する。なお、各設定は、広角画像ストリーム用と保存画像ストリーム用の2種類が設定出来るようになっている。
【００２６】
解像度変換モジュール303は、広角画像ストリームと保存画像ストリーム、両ストリームの生成の一環で機能するモジュールであり、縦横比率を変えないダウン・スケーリング処理を行うモジュールである。撮像部インタフェース301、または切り出しモジュール302がRAM 308上に置いた画像データを読み出し、指定された割合でそれらデータを間引き、RAM 308上に格納する。ソースとなる画像情報が何処に格納されているかの情報と処理結果の格納領域の指定に必要な制御レジスタが2系統備えられ、ソースとなる画像の大きさの情報、データ形式の情報を格納する制御レジスタが備えられる。元の画像を何分の一にするのかをコマンドを制御レジスタにコマンドとして与えることで、解像度変換モジュール303はこれら情報を用いて、元画像を設定に応じて間引いた形でRAM 308から読み出し、RAM 308上の指定領域にそれらデータを格納する。なお、各設定は、広角画像ストリーム用と保存画像ストリーム用の2種類が設定出来るようになっている。
【００２７】
画像エンコーダ304は、画像の圧縮処理を行うモジュールである。撮像部インタフェース301、切り出しモジュール302、または解像度変換モジュール303がRAM 308上に置いた画像データを読み出し、各フレームで閉じた形での圧縮処理を行い、処理結果をRAM 308上に格納する。ソースとなる情報が何処に格納されているかの情報と処理結果の格納領域の指定に必要な制御レジスタが2系統備えられ、ソースとなる画像の大きさの情報、データ形式の情報を格納する制御レジスタが備えられる。フレーム・レートを毎秒何フレームとするのかを制御レジスタにコマンドとして与えると、画像エンコーダ304はエンコード処理を行い、RAM 308上の指定領域にエンコード結果のデータを格納する。フレーム・レートの指定は、元の画像通りの毎秒30フレームとするのか、毎秒15フレーム、毎秒10フレーム、毎秒7.5フレーム、毎秒6フレーム、毎秒5フレーム、毎秒30/7フレーム、毎秒3.75フレーム、毎秒30/9フレーム、毎秒3フレーム、または毎秒1フレームとするかが指定出来る。なお、各設定は広角画像ストリーム用と保存画像ストリーム用の2種類が設定出来るようになっている。
【００２８】
通信処理部インタフェース306は、通信処理部203と信号線312を介して接続する。信号線312は、通信処理部203との間でデータのやり取りをするためのものであり、データそのものの他に、転送のためのハンドシェイク用の信号、転送中のデータが広角画像ストリームであるのか、保存画像ストリームなのか等を示す属性を表わす信号が含まれる。通信処理部インタフェース306は、画像エンコーダ304が処理したRAM 308上のエンコード結果を、通信処理部203に順次転送する。エンコード結果がRAM 308上の何処にあるのかを格納する制御レジスタを2系統備える。この2系統はダブル・バッファリングのためである。広角画像ストリーム用と保存画像ストリーム用の2種類が設定出来る。
【００２９】
制御シーケンサ305は、広角画像ストリームの生成処理と保存画像ストリームの生成処理、夫々の処理において、何れの処理を施すのかの情報を設定する制御レジスタが設けられる。
【００３０】
< 画像処理部の制御シーケンサの動作フロー (図4) >
図4は、画像処理部202の制御シーケンサ305の動作フローを表わす図である。この図を参照しながら、画像処理部202の一連の動作を説明する。各機能モジュールにおける種々の設定は、CPU 205によって行われる。それについては後述する。
撮像部201からは、画像データが連続的に転送されてくる。撮像部インタフェース301は、撮像部201から入力される画像データをRAM 308上の指定領域に順次転送する。撮像部インタフェース301は、1フレーム分の画像データをRAM 308上に転送し終える度に、制御シーケンサ305に通知する(S401)。制御シーケンサ305は、広角画像生成用と保存画像生成用の夫々について、CPU 205によって指定された処理を施すために、各機能モジュールを順次起動する。
【００３１】
まず、広角画像を生成するために必要な第1の処理から起動する。広角画像の生成に切り出し処理が必要であれば(S402)、切り出しモジュール302における切り出し処理を起動する(S403)。切り出し処理が必要無く、解像度変換処理が必要であれば(S404)、解像度変換モジュール303における解像度変換処理を起動する(S405)。切り出し処理も解像度変換処理も必要で無ければ、画像エンコーダ304におけるエンコード処理を起動する(S406)。以降、広角画像生成処理は、切り出し処理の完了後(S407)に、解像度変換処理が必要な処理として定義されていれば(S408)、解像度変換モジュール303がビジー状態であるか否かを判断し(S409)、ビジー状態でなければ解像度変換モジュール303における解像度変換処理を起動し(S410)、解像度変換処理の完了後(S411、S432)に、画像エンコーダ304がビジー状態であるか否かを判断し(S412、S433)、ビジー状態でなければ画像エンコーダ304におけるエンコード処理を起動し(S413、S434)、エンコード処理の完了後(S414、S435、S453)に、通信処理部インタフェース306がビジー状態であるか否かを判断し(S415、S436、S454)、ビジー状態でなければ通信処理部インタフェース306における生成広角画像データのRAM 308から通信処理部203への転送処理を起動する(S416、S437、S455)。この転送処理が完了すれば(S417、S438、S456)、広角画像の生成処理は完了する。
【００３２】
本画像処理部202においては、広角画像の生成処理と並行して、保存画像の生成処理も行われる。保存画像の生成に切り出し処理が必要であれば(S418、S439、S457)、切り出しモジュール302がビジー状態であるか否かを判断し(S419、S440、S458)、ビジー状態でなければ切り出しモジュール302における切り出し処理を起動する(S420、S441、S459)。切り出し処理の完了後(S421、S442、S460)、解像度変換処理が必要な処理として定義されていれば(S422、S443、S461)、解像度変換モジュール303がビジー状態であるか否かを判断し(S423、S444、S462)、ビジー状態でなければ解像度変換モジュール303における解像度変換処理を起動する(S424、S445、S463)。解像度変換処理の完了後(S425、S446、S464)、画像エンコーダ304がビジー状態であるか否かを判断し(S426、S447、S465)、ビジー状態でなければ画像エンコーダ304におけるエンコード処理を起動する(S427、S448、S466)。エンコード処理の完了後(S428、S449、S467)、通信処理部インタフェース306がビジー状態であるか否かを判断し(S429、S450、S468)、ビジー状態でなければ通信処理部インタフェース306における生成保存画像データのRAM 308から通信処理部203への転送処理を起動する(S430、S451、S470)。この転送処理が完了すれば(S431、S452、S470)、保存画像の生成処理は完了する。
【００３３】
これら2つの画像の生成処理は、1/30秒毎に完了する。
【００３４】
< 帯域状態報告に応じたCPUの処理フロー (図1) >
本撮像装置は、広角画像ストリームと保存画像ストリームの2本の画像ストリームを、通信ネットワーク204を介して受信端末側へ伝送するものである。受信端末側からは、パケットの到着状況に基づいた帯域状態の報告が定期的に送信されてくる。図1は、帯域状態報告が到着した際の制御CPU 205の処理フローを示すものである。以下、説明する。
【００３５】
通信処理部203がパケットを受信すると、制御CPU 205に通知が行われる。制御CPU 205はパケットの解釈を行い(S101)、内容が帯域状態報告であった場合は以下の処理を行う。内容が帯域状態報告で無かった場合には、内容に応じた処理が行われることになるが、それら処理は一般的な処理であり、本明細には特記しない。
【００３６】
帯域状態報告は、パケットのロスや許容出来ないジッタが発生したこと等による帯域状態の悪化を報告するものと、パケット受信が順調に行われていることを報告するものとがある。制御CPU 205は、帯域状態が悪化したのか順調なのかの判断を行う(S102)。
【００３７】
帯域状態の悪化が報告された場合、帯域使用量の削減を行う。広角画像ストリームの生成パラメタを変更し、広角画像ストリームのビット・レートを減じる。保存画像ストリームの生成パラメタは変更しない。まず、帯域状態の改善が図れない場合に、最終的に広角画像ストリームの配信が停止されてしまう(S112)ので、広角画像ストリームが配信されているか否かの判断を行う(S103)。広角画像ストリームの配信が既に停止されている場合は、それ以上の帯域使用量の削減は図れないということで、制御CPU 205は何も行わない。
【００３８】
初期状態においては、広角画像ストリームは初期設定パラメタに基づいて生成され、配信されている。本システムにおいては、設定パラメタの初期値とは別に、フレーム・レートと解像度の夫々について目標最低値がソフト的に保持される。解像度については、絶対最低値がソフト的に保持される。可能であればその値を保つという値である。S104及びS106においては、帯域状態の悪化に伴ってフレーム・レートと解像度の夫々が目標最低値に達しているか否かの判断が行われる。S104でのフレーム・レートに関する判断で目標最低値に達するまでは、帯域状態の悪化が報告される度に1段階ずつフレーム・レートの低下のための設定変更が画像エンコーダ304の制御レジスタに対して行われる(S105)。初期設定パラメタが毎秒30フレームであり、目標最低値が毎秒6フレームである場合、帯域状態の悪化が報告される度に、毎秒15フレーム、毎秒10フレーム、毎秒7.5フレーム、毎秒6フレームの順で、フレーム・レートが減じられる。フレーム・レートが目標最低値に達した後は、帯域状態の悪化が報告される度に1段階ずつ解像度の低下のための設定変更が解像度変換モジュール303の制御レジスタに対して行われる(S107)。初期設定パラメタが1分の1であり、目標最低値が4分の1である場合、帯域状態の悪化が報告される度に、2分の1、3分の1、4分の1の順で、解像度が減じられる。
【００３９】
それでも帯域状態の改善が見られない場合には、フレーム・レートと解像度を目標最低値以下に落とす処理が行われる。S108とS110は、夫々フレーム・レートと解像度が設定可能な最低値に達しているか否かの判断を行っている。S108でのフレーム・レートに関する判断で設定可能最低値に達するまでは、帯域状態の悪化が報告される度に1段階ずつフレーム・レートの低下の設定変更が画像エンコーダ304の制御レジスタに対して行われる(S109)。目標最低値が毎秒6フレームである場合、帯域状態の悪化が報告される度に、毎秒5フレーム、毎秒30/7フレーム、毎秒3.75フレーム、毎秒30/9フレーム、毎秒3フレーム、毎秒1フレームの順で、フレーム・レートが減じられる。フレーム・レートが設定可能最低値に達した後は、帯域状態の悪化が報告される度に1段階ずつ解像度の低下の設定変更が解像度変換モジュール303の制御レジスタに対して行われる(S111)。目標最低値が4分の1である場合、5分の1、6分の1、...の順で、絶対最低値に達するまで解像度が減じられる。
【００４０】
広角画像の解像度が絶対最低値に達した後で帯域状態の悪化が報告された場合には、広角画像ストリームの配信が停止される(S112)。
【００４１】
帯域状態が順調であることが報告された場合、広角画像ストリームの生成パラメタを変更することで画質を改善する処置を採る。画質を改善することで、広角画像ストリームのビット・レートが上がり、帯域使用量が増加する。まず、広角画像ストリームは配信が停止されている場合があるので、広角画像ストリームの配信が停止されている場合は(S113)、広角画像ストリームの配信を再開する処理が行われる(S114)。配信が再開された時点での広角画像ストリームの生成パラメタは、フレーム・レートが設定可能最低値である毎秒1フレーム、解像度が絶対最低値に応じた値となっている。
【００４２】
広角画像ストリームが配信中である場合、広角画像の解像度が目標最低値以下に設定されているか否かの判断が行われる(S115)。広角画像の解像度が目標最低値以下に設定されている場合は、帯域状態が順調であることが報告される度に1段階ずつ解像度を上げる設定変更が解像度変換モジュール303の制御レジスタに対して行われる(S116)。目標最低値が4分の1である場合、絶対最低値から1段階ずつ、...、6分の1、5分の1、4分の1の順で解像度が上げられる。広角画像の解像度が目標最低値に設定されており、フレーム・レートが目標最低値以下に設定されている場合には、帯域状態が順調であることが報告される度に1段階ずつフレーム・レートを上げる設定変更が画像エンコーダ304の制御レジスタに対して行われる(S118)。目標最低値が毎秒6フレームである場合、毎秒1フレームから1段階ずつ、毎秒3フレーム、毎秒30/9フレーム、毎秒3.75フレーム、毎秒30/7フレーム、毎秒5フレーム、毎秒6フレームの順でフレーム・レートが上げられる。
【００４３】
更に帯域状態が順調であることが報告された場合、広角画像ストリームの生成パラメタを初期設定値に近づける処置を採る。広角画像の解像度が目標最低値以上、初期設定値以下に設定されているかどうかの判断が行われ(S119)、解像度が目標最低値以上、初期設定値以下に設定されている場合は、帯域状態が順調であることが報告される度に1段階ずつ解像度を上げる設定変更が解像度変換モジュール303の制御レジスタに対して行われる(S120)。目標最低値が4分の1であり、初期設定値が1分の1である場合、3分の1、2分の1、1分の1の順で解像度が上げられる。広角画像の解像度が初期設定値に設定されている場合には、広角画像のフレーム・レートが目標最低値以上、初期設定値以下に設定されているかどうかの判断が行われる(S121)。広角画像のフレーム・レートが目標最低値以上、初期設定値以下に設定されている場合は、帯域状態が順調であることが報告される度に1段階ずつフレーム・レートを上げる設定変更が画像エンコーダ304の制御レジスタに対して行われる(S122)。目標最低値が毎秒6フレームであり、初期設定値が毎秒30フレームである場合は、毎秒7.5フレーム、毎秒10フレーム、毎秒15フレーム、毎秒30フレームの順でフレーム・レートが上げられる。
【００４４】
以上のように、受信端末側からの帯域状態の報告内容に基づき、広角画像ストリームの生成パラメタを変更し、広角画像ストリームのビット・レートを増減させることで、保存画像ストリーム伝送の安定を図る。
【００４５】
（第2の実施形態）
以下、添付図面を参照して、本発明に係わる第2の実施例を詳細に説明する。
本実施例の装置は、前記した実施例と同様に、通信ネットワークを介して2本の画像ストリーム、即ち広角画像ストリームと保存画像ストリームを配信する撮像装置である。
【００４６】
< 撮像装置の全体構成 (図5) >
図5は、本発明を施した撮像装置の全体構成を表わす図である。撮像部501、画像処理部502、通信処理部503から成る。撮像部501は、映像が入射されるレンズ510、レンズで集められた光を電気信号に変換するセンサ511、センサ511から出力される信号を現像する現像処理部512から成る。現像された信号は、画像データとして画像処理部502に与えられ、変換処理や符号化処理等が施された後に、ストレージ508に格納されるか、または通信処理部503に与えられる。通信処理部503においては、パケット化等の処理が施された後に、通信ネットワーク504へ出力される。通信処理部503においては、通信ネットワーク504からのパケットの受信を行う機能も有する。通信処理部503は、パケットを受信すると制御CPU 505にパケットの受信を通知し、制御CPU 505は受信したパケットを通信処理部503から受け取り、処理する。
【００４７】
< 画像処理部の構成 (図6) >
図6は、本実施例における撮像装置の画像処理部502の構成を表わす図である。撮像部インタフェース601、切り出しモジュール602、解像度変換モジュール603、画像エンコーダ604、制御シーケンサ605、通信処理部インタフェース606、メモリ・コントローラ607、RAM 608、制御CPUインタフェース609の各機能モジュールと、それら機能モジュールを相互に接続するバス610から成る。撮像部インタフェース601は、撮像部501とインタフェースするモジュールであり、現像処理部512と信号線611を介して接続し、映像情報を受け取る。映像情報は連続的に信号線611から入力され、入力された映像情報は、バス610とメモリ・コントローラ607を介して、RAM 608上に順次格納される。RAM 608上に順次格納される映像情報は、信号線613と制御CPUインタフェース609を介して、制御CPU 505が夫々の機能モジュールにおいて行う処理パラメタの設定と制御シーケンサ605による起動制御に応じて、切り出しモジュール602、解像度変換モジュール603、画像エンコーダ604により順次読み出され、夫々の処理が施された後に、再びRAM 608上に格納される。最後に、それら処理を施され、RAM 608上に格納された映像情報のデータは、通信処理部インタフェース506によって順次読み出され、信号線512を介して通信処理部403に渡されるか、または、制御CPU 505が信号線609と制御CPUインタフェース609を介して読み出され、ストレージ509に格納される。ストレージ406中に格納されているデータはRAM 608上に書き戻されることもある。それらデータは、通信処理部インタフェース606によって順次読み出され、信号線612を介して通信処理部503に渡されることもある。
【００４８】
各機能モジュールの動作は、前記した第1の実施例におけるものと同様である。
【００４９】
< 画像処理部の制御シーケンサの動作フロー (図8) >
図8は、画像処理部502の制御シーケンサ605の動作フローを表わす図である。この図を参照しながら、画像処理部502の一連の動作を説明する。各機能モジュールにおける種々の設定は、CPU 505によって行われる。それについては後述する。
【００５０】
撮像部501からは、画像データが連続的に転送されてくる。撮像部インタフェース601は、撮像部501から入力される画像データをRAM 608上の指定領域に順次転送する。撮像部インタフェース601は、1フレーム分の画像データをRAM 608上に転送し終える度に、制御シーケンサ605に通知する(S801)。制御シーケンサ605は、広角画像生成用と保存画像生成用の夫々について、CPU 505によって指定された処理を施すために、各機能モジュールを順次起動する。
【００５１】
まず、広角画像を生成するために必要な第1の処理から起動する。広角画像の生成に切り出し処理が必要であれば(S802)、切り出しモジュール602における切り出し処理を起動する(S803)。切り出し処理が必要無く、解像度変換処理が必要であれば(S804)、解像度変換モジュール603における解像度変換処理を起動する(S805)。切り出し処理も解像度変換処理も必要で無ければ、画像エンコーダ604におけるエンコード処理を起動する(S806)。以降、広角画像生成処理は、切り出し処理の完了後(S807)に、解像度変換処理が必要な処理として定義されていれば(S808)、解像度変換モジュール603がビジー状態であるか否かを判断し(S809)、ビジー状態でなければ解像度変換モジュール603における解像度変換処理を起動し(S810)、解像度変換処理の完了後(S811、S832)に、画像エンコーダ604がビジー状態であるか否かを判断し(S812、S833)、ビジー状態でなければ画像エンコーダ604におけるエンコード処理を起動し(S813、S834)、エンコード処理の完了後(S814、S835、S853)に、通信処理部インタフェース606がビジー状態であるか否かを判断し(S815、S836、S854)、ビジー状態でなければ通信処理部インタフェース606における生成広角画像データのRAM 608から通信処理部503への転送処理を起動する(S816、S837、S455)。この転送処理が完了すれば(S817、S838、S856)、広角画像の生成処理は完了する。
【００５２】
本画像処理部502においては、広角画像の生成処理と並行して、保存画像の生成処理も行われる。保存画像の生成に切り出し処理が必要であれば(S818、S839、S857)、切り出しモジュール602がビジー状態であるか否かを判断し(S819、S840、S858)、ビジー状態でなければ切り出しモジュール602における切り出し処理を起動する(S820、S841、S859)。切り出し処理の完了後(S821、S842、S860)、解像度変換処理が必要な処理として定義されていれば(S822、S843、S861)、解像度変換モジュール603がビジー状態であるか否かを判断し(S823、S844、S862)、ビジー状態でなければ解像度変換モジュール603における解像度変換処理を起動する(S824、S845、S863)。解像度変換処理の完了後(S825、S846、S864)、画像エンコーダ604がビジー状態であるか否かを判断し(S826、S847、S865)、ビジー状態でなければ画像エンコーダ604におけるエンコード処理を起動する(S827、S848、S866)。エンコード処理の完了後(S828、S849、S867)、通信処理部インタフェース606、またはストレージ508がビジー状態であるか否かを判断し(S829、S850、S868)、ビジー状態でなければ通信処理部インタフェース606における生成保存画像データのRAM 608から通信処理部503への転送処理、または制御CPU505によるストレージ508への転送処理を起動する(S830、S851、S870)。この転送処理が完了すれば(S831、S852、S870)、保存画像の生成処理は完了する。
【００５３】
これら2つの画像の生成処理は、1/30秒毎に完了する。
【００５４】
本撮像装置は、広角画像ストリームと保存画像ストリームの2本の画像ストリームを、通信ネットワーク504を介して受信端末側へ伝送するものである。受信端末側からは、パケットの到着状況に基づいた帯域状況の報告が定期的に送信されてくる。図7は、帯域状態報告が到着した際の制御CPU 505の処理フローを示すものである。以下、説明する。
【００５５】
通信部503がパケットを受信すると、制御CPU 505に通知が行われる。制御CPU 505はパケットの解釈を行い(S701)、内容が帯域状態報告であった場合は以下の処理を行う。内容が帯域状態報告で無かった場合には、内容に応じた処理が行われることになるが、それら処理は一般的な処理であり、本明細には特記しない。
帯域状態報告は、パケットのロスや許容出来ないジッタが発生したこと等による帯域状態の悪化を報告するものと、パケット受信が順調に行われていることを報告するものとがある。制御CPU 505は、帯域状態が悪化したのか順調なのかの判断を行う(S702)。
【００５６】
帯域状態の悪化が報告された場合、帯域使用量の削減を行う。まず、保存画像ストリームが配信中であるか否かの判断を行い(S703)、保存画像ストリームが配信中であった場合には、その通信ネットワーク504への配信を停止し、ストレージ508への格納を開始する(S704)。制御CPU 505は制御シーケンサ605の設定を変えることで、保存画像の生成過程において、画像エンコーダ・モジュール604による処理完了後に通信処理部インタフェース606の処理を起動していたのを止めて、画像エンコーダ・モジュール604による処理完了後には割込みによって制御CPU 505に画像エンコード処理の完了を通知するようにする。制御CPU 505は、画像エンコーダ・モジュール604が作成した保存画像をストレージ508に格納する。
【００５７】
保存画像の配信を停止しても帯域状態の悪化が報告された場合には、次に広角画像ストリームのビット・レートを減じる。初期状態においては、広角画像ストリームは初期設定パラメタに基づいて生成され、配信されている。本システムにおいては、設定パラメタの初期値とは別に、フレーム・レートと解像度の夫々について最低保証値がソフト的に保持される。S705及びS707においては、帯域状態の悪化に伴ってフレーム・レートと解像度の夫々が最低保証値に達しているか否かの判断が行われる。S705のフレーム・レートに関する判断で最低保証値に達するまでは、帯域状態の悪化が報告される度に1段階ずつフレーム・レートの低下のための設定変更が画像エンコーダ604の制御レジスタに対して行われる(S706)。初期設定値が毎秒30フレームであり、最低保証値が毎秒6フレームである場合、帯域状態の悪化が報告される度に、毎秒15フレーム、毎秒10フレーム、毎秒7.5フレーム、毎秒6フレームの順で、フレーム・レートが減じられる。フレーム・レートが最低保証値に達した後は、帯域状態の悪化が報告される度に1段階ずつ解像度の低下のための設定変更が解像度変換モジュール603の制御レジスタに対して行われる(S708)。初期設定値が1分の1であり、最低保証値が4分の1である場合、帯域状態の悪化が報告される度に、2分の1、3分の1、4分の1の順で、解像度が減じられる。
【００５８】
それでもなお帯域状態の悪化が報告される場合、それ以上の帯域使用量の削減は本実施例においては行わない。
【００５９】
帯域状態が順調であることが報告された場合、帯域使用量を増やす方向で動作を変える。まず、保存画像ストリームが配信中であるか否かの判断を行う(S709)。保存画像ストリームが配信中である場合は、全て所望のパラメタに基づいて動作していることとなるため、設定の変更等の必要は無く、制御CPU 505は何も行わない。保存画像ストリームの配信が停止されている場合、配信停止期間中にストレージ508中にバッファリングされている保存画像をまず受信端末側へ全て送信する。ストレージ508中に格納されている保存画像の送信は、通常の保存画像ストリームの送信よりも高速に行う。ストレージ508中の保存画像の送信を実行中であるか否かの判断を行い(S710)、実行中である場合には制御CPU 505は何も行わず、ストレージ508中に溜まった保存画像データの受信端末側への送信が完了するのを待つ。実行中で無い場合、ストレージ508中にバッファリングされている保存画像の有無を判断し(S711)、ストレージ508中に未送信の保存画像データが存在する場合には、それらデータの送信処理を起動する(S712)。即ち、ストレージ508中の保存画像データのRAM 608上への転送を行い、次に通信処理部606に指示を行い、RAM 608上に転送されたそれらデータを読み出し、通信処理部503への転送を行わせる。
【００６０】
ストレージ508中に溜まっていた保存画像データの受信端末側への転送が完了している状態で、帯域状態が順調であることが報告された場合、広角画像ストリームの生成パラメタを変更し、画質の改善を図る。画質を改善することで、広角画像ストリームのビット・レートが上がり、帯域使用量が増加する。S713で広角画像の解像度が初期設定値以下に設定されているか否かの判断が行われ、初期設定値以下に設定されている場合は、帯域が順調であることが報告される度に1段階ずつ解像度を上げる設定変更が解像度変換モジュール603の制御レジスタに対して行われる(S714)。最低保証値が4分の1、初期設定値が1分の1である場合、帯域状態が順調であることが報告される度に、3分の1、2分の1、1分の1の順で解像度が上げられる。広角画像の解像度が初期設定値に設定されている場合には、広角画像のフレーム・レートが初期設定値以下に設定されているか否かの判断が行われる(S715)。広角画像のフレーム・レートが初期設定値以下に設定されている場合には、帯域状態が順調であることが報告される度に1段階ずつフレーム・レートを上げる設定変更が画像エンコーダ604の制御レジスタに対して行われる(S716)。最低保証値が毎秒6フレーム、初期設定値が毎秒30フレームである場合、毎秒7.5フレーム、毎秒10フレーム、毎秒15フレーム、毎秒30フレームの順でフレーム・レートが上げられる。
【００６１】
以上のように、受信端末側からの帯域状態の報告内容に基づき、保存画像ストリームの受信端末側への転送を時間的に遅らせることと、広角画像ストリームの生成のためのパラメタ設定を変えることにより、通信帯域の効率的使用を行い、保存画像ストリームの伝送の安定を図る。
【図面の簡単な説明】
【００６２】
【図１】第1の実施形態における、帯域状態報告に応じたCPUの動作フローを表わす図。
【図２】第1の実施形態の、撮像機器の全体構成を表わす図。
【図３】第1の実施形態の、撮像機器の画像処理部の構成を表わす図。
【図４】第1の実施形態における、制御シーケンサの動作フローを表わす図。
【図５】第2の実施形態の、撮像機器の全体構成を表わす図。
【図６】第2の実施形態の、撮像機器の画像処理部の構成を表わす図。
【図７】第2の実施形態における、帯域状態報告に応じたCPUの動作フローを表わす図。
【図８】第2の実施形態における、制御シーケンサの動作フローを表わす図。
【符号の説明】
【００６３】
201  撮像部
202  画像処理部
203  通信処理部
204  通信ネットワーク
205  制御CPU
206  ROM
207  RAM
210  レンズ
211  センサ
212  現像処理部
301  撮像部インタフェース
302  切り出しモジュール
303  解像度変換モジュール
304  画像エンコーダ
305  制御シーケンサ
306  通信処理部インタフェース
307  メモリ・コントローラ
308  RAM
309  制御CPUインタフェース
310  バス
311  撮像部とインタフェースする信号線
312  通信処理部とインタフェースする信号線
313  制御CPUとインタフェースする信号線
501  撮像部
502  画像処理部
503  通信処理部
504  通信ネットワーク
505  制御CPU
506  ROM
507  RAM
508  ストレージ
510  レンズ
511  センサ
512  現像処理部
601  撮像部インタフェース
602  切り出しモジュール
603  解像度変換モジュール
604  画像エンコーダ
605  制御シーケンサ
606  通信処理部インタフェース
607  メモリ・コントローラ
608  RAM
609  制御CPUインタフェース
610  バス
611  撮像部とインタフェースする信号線
612  通信処理部とインタフェースする信号線
613  制御CPUとインタフェースする信号線
【図１】
2007060259.tif 000003
【図２】
2007060259.tif 000004
【図３】
2007060259.tif 000005
【図４】
2007060259.tif 000006
【図５】
2007060259.tif 000007
【図６】
2007060259.tif 000008
【図７】
2007060259.tif 000009
【図８】
2007060259.tif 000010