(57)【要約】【課題】動画像データのリアルタイム送信を行う際に、輻輳のような異常が生じた場合、異常発生中は動画像データを送信できず、クライアント側は動画像を取得できなくなる。【解決手段】動画像データを生成する画像生成部１と、画像生成部１によって生成された動画像データを通信回線に送信する送信部２と、送信部２における通信回線状況から通信が可能か否かを判断する制御部３と、判断結果が通信不可のときに、画像生成部１による動画像データを解析し情報量を割り出す画像解析部４と、判断結果が通信不可のときに、画像生成部１による動画像データを蓄積する蓄積メモリ５と、通信不可状態から通信可能状態へ復帰したときに、送信のために蓄積メモリ５から読み出すべき動画像データを画像解析部４が割り出した情報量に基づいて選択する送信画像選択部６とを備える。【選択図】図１
2008301396.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを生成する画像生成部と、
前記画像生成部によって生成された動画像データを通信回線に送信する送信部と、
前記送信部における通信状況から通信が可能か否かを判断する制御部と、
前記制御部の判断結果が通信不可のときに、前記画像生成部によって生成された動画像データを解析し情報量を割り出す画像解析部と、
前記制御部の判断結果が通信不可のときに、前記画像生成部によって生成された動画像データを蓄積する蓄積メモリと、
前記制御部の判断結果が通信不可から通信可能へ復帰したときに、送信のために前記蓄積メモリから読み出すべき動画像データを前記画像解析部が割り出した情報量に基づいて選択する送信画像選択部とを備えた動画像通信装置。
【請求項２】
前記送信画像選択部は、前記蓄積メモリから動画像データを読み出すときに前記画像解析部による情報量が多い動画像データを優先して読み出す請求項１に記載の動画像通信装置。
【請求項３】
さらに、前記制御部によって制御され、前記画像生成部から前記送信部への経路を、直接につながれる側と前記画像解析部、前記蓄積メモリおよび前記送信画像選択部の側とに切り替えるセレクタを備えている請求項１または請求項２に記載の動画像通信装置。
【請求項４】
前記送信画像選択部は、その選択閾値が可変である請求項１から請求項３までのいずれかに記載の動画像通信装置。
【請求項５】
さらに、前記蓄積メモリから読み出した動画像データを復号した上で再符号化する再符号化部を備えている請求項１から請求項４までのいずれかに記載の動画像通信装置。
【請求項６】
前記画像解析部を備えることに代えて、前記画像生成部がフレーム間予測符号化により動画像データを生成するものとして構成され、
前記送信画像選択部は、前記画像生成部にて作成された差分情報に基づいて送信のために前記蓄積メモリから読み出すべき動画像データを選択するように構成されている請求項１から請求項５までのいずれかに記載の動画像通信装置。
【請求項７】
前記制御部の判断結果が通信不可から通信可能へ復帰したときに、前記画像解析部による解析結果の送信を行う請求項１から請求項６までのいずれかに記載の動画像通信装置。
【請求項８】
請求項１から請求項４までのいずれかに記載の動画像通信装置における前記画像生成部、前記画像解析部、前記送信画像選択部および前記制御部が搭載されている動画像通信用の半導体集積回路。
【請求項９】
さらに、請求項５に記載の再符号化部が搭載されている請求項８に記載の動画像通信用の半導体集積回路。
【請求項１０】
前記画像解析部を備えることに代えて、前記画像生成部がフレーム間予測符号化により動画像データを生成するものとして構成され、
前記送信画像選択部は、前記画像生成部にて作成された差分情報に基づいて送信のために前記蓄積メモリから読み出すべき動画像データを選択するように構成されている請求項８または請求項９に記載の動画像通信用の半導体集積回路。
【請求項１１】
動画像データを生成するステップと、
通信回線状況から通信が可能か否かを判断するステップと、
通信不可のときに前記生成された動画像データを解析し情報量を割り出すステップと、
通信不可のときに前記生成された動画像データを蓄積するステップと、
通信不可状態から通信可能状態へ復帰したときに、蓄積されている動画像データの中から送信のために読み出すべき動画像データを前記割り出した情報量に基づいて選択するステップと、
通信可能時に前記生成された動画像データを通信回線に送信し、また通信不可状態から通信可能状態へ復帰したときに前記選択されて読み出された動画像データを通信回線に送信するステップとを含む動画像通信方法。
【請求項１２】
フレーム間予測符号化により動画像データを生成するステップと、
通信回線状況から通信が可能か否かを判断するステップと、
通信不可のときに前記生成された動画像データを蓄積するステップと、
通信不可状態から通信可能状態へ復帰したときに、前記フレーム間予測符号化での差分情報に基づいて蓄積されている動画像データの中から送信のために読み出すべき動画像データを選択するステップと、
通信可能時に前記生成された動画像データを通信回線に送信し、また通信不可状態から通信可能状態へ復帰したときに前記選択されて読み出された動画像データを通信回線に送信するステップとを含む動画像通信方法。
【請求項１３】
前記選択されて読み出された動画像データを復号した上で再符号化し通信回線に送信するステップを有する請求項１１または請求項１２に記載の動画像通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、有線または無線の通信により動画像データを通信回線に送信する動画像通信装置、動画像通信用の半導体集積回路および動画像通信方法に関する。
【背景技術】
【０００２】
従来の動画像データの通信方式では、動画像データの画像品質を保ちつつ送信するための最低帯域が設定され、動画像データを送信して通信帯域が不足した場合には、帯域を設定の標準帯域よりも大きい範囲に制御するようにしている。
【０００３】
また、動画像データを送信する際に、動画像データを送信パケットに変換してリアルタイムに送信し、送信に失敗したパケットについては、リアルタイム送信の終了後に再送信するという技術もある（例えば特許文献１参照）。
【特許文献１】特開２００３−１８５２５号公報（第５−６頁、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ネットワークなどの通信回線を介して動画像データをリアルタイム送信する際に、輻輳のような異常が生じると、その異常発生中は動画像データの送信が行えず、クライアント側は動画像データを取得することができない。
【０００５】
また、動画像データがＭＰＥＧ（Moving Picture Experts Group）形式のようなフレーム間予測符号化を施されたデータである場合には、通信回線が回復しても、Ｉ（Intra）ピクチャのようなキーフレームが送信されるまでは動画像データを更新することができない。
【０００６】
本発明は、このような事情に鑑みて創作したものであり、通信回線に異常が生じて動画像データの送信ができなくなった場合においても、クライアント側では通信中断中の動画像をあとで確認できるようにし、また、リアルタイム画像へ素早く復帰できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明による動画像通信装置は、
動画像データを生成する画像生成部と、
前記画像生成部によって生成された動画像データを通信回線に送信する送信部と、
前記送信部における通信状況から通信が可能か否かを判断する制御部と、
前記制御部の判断結果が通信不可のときに、前記画像生成部によって生成された動画像データを解析し情報量を割り出す画像解析部と、
前記制御部の判断結果が通信不可のときに、前記画像生成部によって生成された動画像データを蓄積する蓄積メモリと、
前記制御部の判断結果が通信不可から通信可能へ復帰したときに、送信のために前記蓄積メモリから読み出すべき動画像データを前記画像解析部が割り出した情報量に基づいて選択する送信画像選択部とを備えたものである。
【０００８】
上記構成の動画像通信装置において、前記送信画像選択部は、前記蓄積メモリから動画像データを読み出すときに前記画像解析部による情報量が多い動画像データを優先して読み出すという態様がある。
【０００９】
また上記構成の動画像通信装置において、さらに、前記制御部によって制御され、前記画像生成部から前記送信部への経路を、直接につながれる側と前記画像解析部、前記蓄積メモリおよび前記送信画像選択部の側とに切り替えるセレクタを備えているという態様がある。
【００１０】
上記の動画像通信装置に対応する本発明の動画像通信方法は、
動画像データを生成するステップと、
通信回線状況から通信が可能か否かを判断するステップと、
通信不可のときに前記生成された動画像データを解析し情報量を割り出すステップと、
通信不可のときに前記生成された動画像データを蓄積するステップと、
通信不可状態から通信可能状態へ復帰したときに、蓄積されている動画像データの中から送信のために読み出すべき動画像データを前記割り出した情報量に基づいて選択するステップと、
通信可能時に前記生成された動画像データを通信回線に送信し、また通信不可状態から通信可能状態へ復帰したときに前記選択されて読み出された動画像データを通信回線に送信するステップとを含むものである。
【００１１】
上記の構成において、制御部は送信部における通信状況から通信が可能か否かを判断する。判断結果が通信可能であれば、画像生成部によって生成された動画像データを送信部に送り、送信部から通信回線へ送信する。一方、制御部の判断結果が通信不可であれば、画像生成部による動画像データを画像解析部に送ってデータ解析を行い、情報量を割り出すとともに、動画像データを蓄積メモリに蓄積する。これでリアルタイム送信は中断されるが、動画像データは保存される。通信回線状況が通信不可から通信可能へ復帰すると、これを制御部が検出し、蓄積メモリに蓄積されている動画像データを送信のために読み出す。この読み出しにおいて、送信画像選択部は、データ非送信中にあらかじめ画像解析部が割り出しておいた情報量に基づいて動画像データを選択する。すなわち、情報量の多い動画像データを優先的に読み出し、送信部から通信回線に送信する。よって、通信回線に異常が生じて動画像データの送信ができなくなった場合においても、動画像データを蓄積しておき、回線回復時には蓄積しておいた動画像データを通信回線を介してクライアント側に送信することにより、クライアント側では通信中断中の動画像をあとで確認することが可能となり、また、情報量の多い動画像データの優先的読み出しによりリアルタイム画像への素早い復帰が可能となる。
【００１２】
また上記構成の動画像通信装置において、前記送信画像選択部は、その選択閾値が可変であるという態様がある。この構成によれば、動画像データの送信量を変更することが可能で、リアルタイム画像への復帰をより早くしたいときは、選択閾値を高めに設定すればよく、復帰は遅くてもより詳細に確認したいときは、選択閾値を低めに設定すればよい。
【００１３】
また上記構成の動画像通信装置において、さらに、前記蓄積メモリから読み出した動画像データを復号した上で再符号化する再符号化部を備えているという態様がある。
【００１４】
これに対応して、上記の動画像通信方法では、前記選択されて読み出された動画像データを復号した上で再符号化し通信回線に送信するステップを有するという態様がある。
【００１５】
このように蓄積メモリから読み出した動画像データの再符号化を行うことにより、ＭＰＥＧのようなフレーム間予測符号化を用いた動画像データの場合であっても、Ｉピクチャのようなキーフレームに限らずに、すべてのフレームの動画像データの送信が可能となる。また再符号化時に、画像解析部による解析結果の情報量を基にビットレートを変更すれば、より最適なデータサイズに変更することも可能となる。
【００１６】
また上記構成の動画像通信装置において、前記画像解析部を備えることに代えて、前記画像生成部がフレーム間予測符号化により動画像データを生成するものとして構成され、前記送信画像選択部は、前記画像生成部にて作成された差分情報に基づいて送信のために前記蓄積メモリから読み出すべき動画像データを選択するように構成されているという態様がある。
【００１７】
この動画像通信装置に対応する本発明の動画像通信方法は、
フレーム間予測符号化により動画像データを生成するステップと、
通信回線状況から通信が可能か否かを判断するステップと、
通信不可のときに前記生成された動画像データを蓄積するステップと、
通信不可状態から通信可能状態へ復帰したときに、前記フレーム間予測符号化での差分情報に基づいて蓄積されている動画像データの中から送信のために読み出すべき動画像データを選択するステップと、
通信可能時に前記生成された動画像データを通信回線に送信し、また通信不可状態から通信可能状態へ復帰したときに前記選択されて読み出された動画像データを通信回線に送信するステップとを含むものである。
【００１８】
このようにフレーム間予測符号化により動画像データを生成する画像生成部を用いれば、画像解析部の実装なしで、上記と同様の効果を発揮することが可能となる。
【００１９】
また上記構成の動画像通信装置において、前記制御部の判断結果が通信不可から通信可能へ復帰したときに、前記画像解析部による解析結果の送信を行うという態様がある。このように構成すれば、送信画像選択部の選択閾値について、効率の良い選択閾値をクライアント側でより正確に判断することが可能となる。
【００２０】
上記構成の動画像通信装置に対応する動画像通信用の半導体集積回路としては、前記画像生成部、前記画像解析部、前記送信画像選択部および前記制御部が搭載されているものである。さらに、前記再符号化部が搭載されているものもある。あるいは、前記画像解析部を備えることに代えて、前記画像生成部がフレーム間予測符号化により動画像データを生成するものとして構成され、前記送信画像選択部は、前記画像生成部にて作成された差分情報に基づいて送信のために前記蓄積メモリから読み出すべき動画像データを選択するように構成されているものでもよい。
【発明の効果】
【００２１】
本発明によれば、通信回線に異常が生じて動画像データの送信ができなくなった場合においても、動画像データを蓄積しておき、回線回復時には蓄積しておいた動画像データを通信回線を介してクライアント側に送信することにより、クライアント側では通信中断中の動画像をあとで確認できるとともに、情報量の多い動画像データの優先的読み出しによりリアルタイム画像へ素早く復帰することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明にかかわる動画像通信装置の実施の形態を図面を用いて詳細に説明する。
【００２３】
（実施の形態１）
図１は本発明の実施の形態１における動画像通信装置の構成を示すブロック図である。図１において、１は動画像データを生成する画像生成部、２は画像生成部１によって生成された動画像データをネットワークなどの通信回線に送信する送信部、３は送信部２における通信回線状況から通信が可能か否かを判断する制御部、４は制御部３の判断結果が通信不可のときに、画像生成部１によって生成された動画像データを解析し情報量を割り出す画像解析部、５は制御部３の判断結果が通信不可のときに、画像生成部１によって生成された動画像データを蓄積する蓄積メモリ、６は制御部３の判断結果が通信不可から通信可能へ復帰したときに、画像解析部４が割り出した情報量に基づいて送信のために蓄積メモリ５から読み出すべき動画像データを選択する送信画像選択部である。７は画像生成部１からの動画像データを直接に送信部２へ出力するか画像解析部４の経路に出力するかを切り替える入力側セレクタ、８は送信部２に対して入力側セレクタ７を接続するか送信画像選択部６を接続するかを切り替える出力側セレクタである。制御部３は、送信部２における通信回線状態に基づいて通信回線を通じてのデータ通信が可能か否かを判断し、その判断結果を用いて入力側セレクタ７および出力側セレクタ８を制御する。
【００２４】
次に、上記のように構成された本実施の形態の動画像通信装置の動作を図２のフローチャートに従って説明する。
【００２５】
まずステップＳ１０において、画像生成部１が動画像データを生成する。
【００２６】
次にステップＳ２０において、制御部３が送信部２の状態より現在の回線状態が通信可能かどうかを判断し、通信可能であればステップＳ３０に進み、通信が不可能であれば入力側セレクタ７をｂ側に切り替え、ステップＳ４０に進む。
【００２７】
通信が可能でステップＳ３０に進むと、制御部３が蓄積メモリ５に動画像データが存在するかを判断し、データが存在しない場合は、入力側セレクタ７をａ側に切り替えるとともに、出力側セレクタ８もａ側に切り替え、次いでステップＳ８０に進んで、送信部２が画像生成部１から直接に入力した動画像データを通信回線へ送信する。蓄積メモリ５に動画像データが存在する場合は、入力側セレクタ７をｂ側に切り替え、ステップＳ４０に進む。
【００２８】
通信が不可能の場合および通信は可能であるが蓄積メモリ５に動画像データがない場合にはステップＳ４０に進み、画像解析部４を用いて、画像生成部１よって生成された動画像データの解析を行い、動画像データの情報量を解析結果として保存する。
【００２９】
次いでステップＳ５０において、画像生成部１よって生成された動画像データを蓄積メモリ５に蓄積する。
【００３０】
次にステップＳ６０において、制御部３が再度通信可能かを判断し、通信が可能であればステップＳ７０に進み、通信が不可能であれば、次の動画像データ生成のためにステップＳ１０に戻る。
【００３１】
元々通信可能であった場合、あるいは通信が不可能の状態から可能の状態に推移した場合には、ステップＳ７０に進んで、制御部３が出力側セレクタ８をｂ側に切り替え、送信画像選択部６によるステップＳ４０での解析結果を基に、情報量の多い動画像データのみを蓄積メモリ５から読み出し、ステップＳ８０にて、送信部２より動画像データの送信を行う。
【００３２】
まとめると、次のようになる。
【００３３】
通信可能な場合において蓄積メモリ５に動画像データがなければ、入力側セレクタ７も出力側セレクタ８もａ側にし、画像生成部１からの動画像データを直接に送信部２に送り込み、送信部２から通信回線にリアルタイム送信する。
【００３４】
また、通信可能な場合において蓄積メモリ５に動画像データがあれば、入力側セレクタ７をｂ側にし、そのときの動画像データを蓄積メモリ５に蓄積し、出力側セレクタ８をｂ側にし、蓄積メモリ５から情報量の多い動画像データのみを読み出して送信部２から送信する。
【００３５】
通信不可能な場合には、入力側セレクタ７をｂ側にし、そのときの動画像データを蓄積メモリ５に蓄積し、通信可能な状態へ復帰するのを待って、蓄積メモリ５から情報量の多い動画像データのみを読み出して送信部２から送信する。
【００３６】
図３は蓄積メモリ５と動画像解析結果テーブルに基づいて、送信すべき動画像データを選択することを示した概念図、図４は送信時の経過時間と蓄積メモリ５の蓄積量との関係を表すグラフである。ここでは説明を簡略化するために、画像解析部４がＭＰＥＧ方式で使用されるような動き解析を行い、動き差分がフレーム間ですべて等しいような動画像データを扱うものとする。
【００３７】
動画像解析結果テーブルにおいて前回の送信すべきとして選択した動画像データからの差分値が３０単位以上であるものを送信画像選択部６にて選択すると設定した場合、蓄積メモリ５から読み出されて送信される動画像データは、順にフレーム３、フレーム６、フレーム９…となる。この場合、蓄積メモリ５に対する動画像データの蓄積速度に対して、蓄積メモリ５からの読み出し速度は３倍であるため、図４（ａ）に示すように、クライアント側は本来よりも早い期間にリアルタイム画像に復帰することが可能である。差分値が２０単位、１０単位の動画像データは蓄積メモリ５から読み出されることはなく、廃棄される。これは、動画像の品質よりもリアルタイム画像への早期復帰を優先しているからである。なお、時間的余裕があれば、差分値が２０単位の動画像データも蓄積メモリ５から読み出してもよい。
【００３８】
送信画像選択部６は、その選択閾値が可変となっており、選択閾値を低く設定することにより、クライアント側は通信中断時の動画像データをより多く確認することができる。中断時の動画像をすべて確認したい場合は、選択閾値をゼロに設定すればよく、経過時間と蓄積メモリ５の蓄積量との関係は図４（ｂ）のようになる。この場合、動画像の品質が保証される。ただし、リアルタイム画像への復帰は諦めている。
【００３９】
逆に送信画像選択部６の選択閾値を高くすることにより、クライアント側は素早くリアルタイム画像に復帰することができる。中断時の動画像が不要である場合は、閾値を最大に設定することにより、即時にリアルタイム画像に復帰することができ、経過時間と蓄積メモリ５の蓄積量との関係は図４（ｃ）のようになる。
【００４０】
またクライアント側で復帰までの時間を操作したい場合は、通信可能状態になった際に、クライアント側から本装置に対して閾値の設定を行うことも可能である。この場合、画像解析部４の解析によって得られた解析結果テーブルを、あらかじめ通信可能状態になった際にクライアント側へ送信することで、クライアント側は効率の良い選択閾値をより正確に判断することが可能となる。
【００４１】
本実施の形態によれば、通信回線に異常が発生して、動画像データの送信ができなくなった場合においても、通信が再開したときに、クライアント側は通信中断時の動画像を効率良く確認することができ、かつ素早くリアルタイム画像に復帰することができる。
【００４２】
（実施の形態２）
図５は本発明の実施の形態２における動画像通信装置の構成を示すブロック図である。図５において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、送信画像選択部６の次段に、蓄積メモリ５からの動画像データの選択の際に、送信する動画像データの再符号化を行う再符号化部９を有している点である。
【００４３】
次に、上記のように構成された本実施の形態の動画像通信装置の動作を図６のフローチャートに従って説明する。実施の形態１の図２とは、再符号化のステップＳ７５を有している点で異なっている。
【００４４】
ステップＳ７０にて蓄積メモリ５から読み出す動画像データを選択した後、ステップＳ７５において、蓄積メモリ５から読み出した動画像データを再符号化部９にて一旦復号して伸張し、さらに再符号化を行う。次いでステップＳ８０にて送信部２から再符号化した動画像データを通信回線に送信する。
【００４５】
実施の形態１の場合、例えばＭＰＥＧのようなフレーム間予測符号化を用いた動画像データの場合は、ＭＰＥＧにおけるＩピクチャのようなキーフレームと、送信選択フレームより予測を行っているフレームしか送信することができない。
【００４６】
それに対して、本実施の形態によれば、再符号化部６を設けて蓄積メモリ５から読み出した動画像データを復号し再符号化するので、画像生成部１ではフレーム間予測符号化を用いた動画像データを扱う場合であっても、すべてのフレームの動画像データの送信が可能となる。また再符号化時に、画像解析部４による解析結果を基にビットレートを変更すれば、より最適なデータサイズに変更することも可能である。
【００４７】
（実施の形態３）
図７は本発明の実施の形態３における動画像通信装置の構成を示すブロック図である。図７において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指している。本実施の形態に特有の構成は、図１の場合の画像解析部４を有していない点である。
【００４８】
画像生成部１はＭＰＥＧ方式を用い、動画像データの生成時に作成される動き予測結果を動画像解析の手段として用いることにより、別途に画像解析部を実装することなく、実施の形態１と同様の効果を発揮することが可能となる。
【００４９】
図７において、図５におけるのと同様に再符号化部９を追加してもよい。
【００５０】
なお、上記のいずれの実施の形態においても、通信中の回線異常時に適用する方法について説明したが、通信開始前に適用することにより、クライアント側は通信を開始する前の画像を確認することができる。
【００５１】
なお、上記で説明した実施の形態は一例であり、それらの実施の形態から本発明の主旨の範囲内で様々に改変することも可能である。
【産業上の利用可能性】
【００５２】
本発明によって、通信中断時の画像を確認することができ、さらに素早くリアルタイム画像に復帰することが可能になるため、通信カメラ、監視カメラ等において利用可能性がある。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施の形態１における動画像通信装置の構成を示すブロック図
【図２】本発明の実施の形態１における動画像通信装置の動作を示すフローチャート
【図３】本発明の実施の形態１において蓄積メモリと動画像解析結果テーブルに基づいて動画像データを送信することを示す概念図
【図４】本発明の実施の形態１において経過時間と蓄積メモリの蓄積量の関係を表すグラフ
【図５】本発明の実施の形態２における動画像通信装置の構成を示すブロック図
【図６】本発明の実施の形態２における動画像通信装置の動作を示すフローチャート
【図７】本発明の実施の形態３における動画像通信装置の構成を示すブロック図
【符号の説明】
【００５４】
１  画像生成部
２  送信部
３  制御部
４  画像解析部
５  蓄積メモリ
６  送信画像選択部
７  入力側セレクタ
８  出力側セレクタ
９  再符号化部
【図１】
2008301396.tif 000003
【図２】
2008301396.tif 000004
【図３】
2008301396.tif 000005
【図４】
2008301396.tif 000006
【図５】
2008301396.tif 000007
【図６】
2008301396.tif 000008
【図７】
2008301396.tif 000009