(57)【要約】【課題】  リアルタイム性の高い動画像伝送を可能とすること。【解決手段】  制御部１０３は、フレーム期間内に１フレーム分の符号化データが送信できたかを確認する。送信できなかった場合、制御部１０３は、圧縮部１０１の圧縮率を高くする設定を行う。１フレーム分の符号化データが送信できた場合、制御部１０３は、符号化データ量を第１および第２のしきい値と比較する。第１のしきい値以上であれば、制御部１０３は、圧縮部１０１の圧縮率を高くする設定を行い、第２のしきい値以下であれば、圧縮部１０１の圧縮率を低くする設定を行う。【選択図】図１
2009124518.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをフレームごとに圧縮符号化する圧縮符号部と、
前記圧縮符号化された符号化データを送信する送信部と、
前記フレーム期間内における前記符号化データの送信状況と、前記符号化データのデータ量にもとづき、前記圧縮符号の圧縮率を設定する制御部と、
を備えることを特徴とする画像送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号の送信技術に関し、特に無線通信を用いた画像信号の送信方法およびそれを利用した画像送信装置に関する。
【背景技術】
【０００２】
近年、携帯電話や無線LAN（Local Area Network）などの無線通信技術の発展により、無線通信ネットワークにおいても大容量のデータを高速に伝送できるようになっている。このため、無線通信ネットワークおいても、高品質な動画像伝送の実現に対する要望が高まっている。
【０００３】
かかる動画像伝送の方法としては、動画像の圧縮方式にMotion JPEG(Joint Photographic Experts Group)方式を採用し、Motion JPEG方式で圧縮符号化した動画像データを、携帯電話ネットワークを通じて伝送するものが知られている。（例えば、特許文献１）
【特許文献１】特開平10-285565号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の技術においては、フレームごとの符号化データ量が均一になるように圧縮率を調整し、動画像を伝送している。しかしながら、無線通信ネットワークにおける伝送速度は、伝播環境の影響を受け易く、十分な伝送速度を確保できない場合もある。このため、所定の時間内に動画像の伝送を行うことができないこともあり、リアルタイム性の高い動画像伝送の実現が困難であった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、リアルタイム性の高い動画像伝送を可能とする画像送信装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様は、画像送信装置である。この画像送信装置は、動画像データをフレームごとに圧縮符号化する圧縮符号部と、前記圧縮符号化された符号化データを送信する送信部と、  前記フレーム期間内における前記符号化データの送信状況と、前記符号化データのデータ量にもとづき、前記圧縮符号の圧縮率を設定する制御部と、を備えることをその要旨とする。
【発明の効果】
【０００７】
本発明によれば、フレーム期間内に符号化されたフレームが送信できたかを確認して、圧縮符号の圧縮率を設定するため、伝播環境に応じて送信すべきデータ量を調整でき、リアルタイム性の高い動画像伝送を実現することができる。
【発明を実施するための最良の形態】
【０００８】
本発明を具体的に説明する前に概要について述べる。本発明の実施の形態は、無線通信ネットワーク（例えば、IEEE 802.11nなどの無線LAN）において動画像を伝送する画像伝送装置である。
【０００９】
無線通信ネットワークでデータ送信を行うと、伝播環境によりその伝送速度が変動するため、所定の期間内に所定のデータ量を送信することができない場合がある。
【００１０】
したがって、本発明の実施の形態における画像送信装置においては、フレーム期間内に、１フレーム分の符号化データを送信できたかを確認し、送信できなかった場合は圧縮符号の圧縮率を高くする設定を行う。これにより、伝播環境に適した圧縮率で動画像の圧縮符号化処理を行うことが可能となり、リアルタイム性の高い動画像を確実に送信できる。
【００１１】
ここで、「フレーム」とは動画像データを構成する１枚ごとの画面単位であり、Motion JPEG圧縮方式は、この画面単位でフレーム内圧縮処理を行う。NTSC（National Television Standards Committee）のようなインターレース方式の動画像データでは、フィールドが相当する。また、VGA（Video Graphics Array）のようなノンインターレース方式の動画像データでは、フレームが相当する。
【００１２】
また、「フレーム期間」とは、時間軸上に配置されたフレーム間の時間間隔をいう。上述のNTSCの場合は約16.6msであり、VGAの場合は約33.3msである。
【００１３】
図１は、本発明の実施の形態における画像送信装置の構成を示す概念図である。画像送信装置は、送信部１００、圧縮部１０１、記録部１０２、制御部１０３を含む。
【００１４】
図１において、送信部１００は、図示していない無線通信ネットワークに接続され、送信すべきデータを無線通信ネットワークのデータフォーマットに変換して、無線通信ネットワークに出力する。また、送信タイミングを調整するため、圧縮部１０１からの出力をバッファリングする送信バッファを含む。
【００１５】
送信部１００は、圧縮部１０１から出力される符号化データが所定の送信単位に達すると（例えば、1500バイト）、送信バッファから符号化データを読み出し、データフォーマットの変換を行い、無線通信ネットワークに送信する。
【００１６】
圧縮部１０１は、外部から入力される動画像データに対して、Motion JPEG圧縮方式による圧縮符号化処理を行う。Motion JPEG圧縮方式は、静止画像の圧縮方式であるJPEG圧縮方式を動画像に適用したものであり、動画像データのフレーム単位でJPEG圧縮処理を行う。
【００１７】
圧縮部１０１は、離散コサイン変換（DCT: Discrete Cosine Transform）、量子化、ハフマン符号化などの処理を行ったのち、その圧縮率やシーケンシャル方法であるかプログレッシブ方法であるかの識別情報などを含むヘッダ情報を、圧縮処理を施した動画像データに付加し、Motion JPEG圧縮方式の符号化データを生成する。そして、所定の出力単位（例えば、マクロブロック単位）の符号化データを生成するごとに、送信部１００へ出力する。
【００１８】
圧縮部１０１は、後述するコンフィグファイルに含まれる設定パラメータに従い、圧縮処理における圧縮率の変更を行う。圧縮率の変更は、例えば、量子化ステップを変更することで行う。
【００１９】
記録部１０２は、圧縮部１０１の圧縮率を変更するための設定パラメータなどを含むコンフィグファイルを記録している。なお、コンフィグファイルは、圧縮率が低い設定（すなわち、高品質の圧縮）から圧縮率が高い設定（すなわち、低品質の圧縮）まで、幅広い圧縮率を設定できるよう、複数用意するのが好ましい。
【００２０】
制御部１０３は、画像送信装置全体のタイミングの制御等を行う。また、制御部１０３は、動画像データのフレーム開始タイミング、例えば、動画像データの垂直同期信号（Vsync: 
1195125407546_0
）の立ち上がりエッジで、タイミングカウンタを初期化する。タイミングカウンタ値により、動画像データのフレーム開始タイミングから１フレーム期間を経過したこと、すなわち、フレーム終了タイミングに達したことを知ると、制御部１０３は、送信バッファにおける符号化データの残量を確認する。
【００２１】
十分な伝送速度が確保できないと、動画像データのフレーム開始タイミングから１フレーム期間内に、処理対象であるフレームの圧縮符号化処理を行い、圧縮符号化したフレームの符号化データを送信しきれないことがある。
【００２２】
１フレーム期間内に、処理対象となるフレームの符号化データを送信しきれない状態が継続すると、送信バッファにオーバフローが生じ、動画像データのリアルタイムな送信ができなくなる。
【００２３】
そこで、制御部１０３は、図示しない画像撮影装置（例えば、カメラ）から入力された、動画像データのフレーム開始タイミングから１フレーム期間内に、処理対象であるフレームの符号化データが送信できたのかを、送信バッファの残量により判断する。
【００２４】
符号化データの残量が確認された場合（つまり、フレーム期間内に１フレーム分の符号化データを送信できなかった場合）、圧縮部１０１における圧縮率が、伝送速度に対して低すぎると判断し、制御部１０３は、圧縮部１０１の圧縮率を高くする。このため、制御部１０３は、記録部１０２から現在の圧縮率より高い圧縮率を設定するコンフィグファイルを読出し、このコンフィグファイルに含まれる設定パラメータにもとづき、圧縮部１０１の圧縮率を高く設定する。圧縮率を高く設定する場合、現在の圧縮率より１段階高い圧縮率に設定してもよく、最高の圧縮率に設定してもよい。１段階高い圧縮率に設定する場合は、符号化データの品質の劣化を抑えつつ、伝播環境に適した動画像データの送信が実現できる。最高の圧縮率に設定した場合は、圧縮率の頻繁な変更が抑制され、ロバストに動画像データを送信することができる。
【００２５】
圧縮部１０１で符号化データを生成する場合、高品質な動画像データを送信したければ、符号化データ量を多くするのが好ましいが、あまり符号化データ量を多くすると、伝播環境によっては十分な伝送速度が確保できないため圧縮率の変更が頻繁に生じ、動画像データのロバストな送信が困難となる。
【００２６】
そこで、制御部１０３は、高品質な動画像データをロバストに送信するため、符号化データの残量が確認されなかった場合（つまり、フレーム期間内に１フレーム分の符号化データを送信できた場合）、符号化データ量が所定の範囲に収まるように圧縮率の設定を行う。
【００２７】
制御部１０３は、符号化データ量の上限に関するしきい値（以下、第１のしきい値）と、符号化データ量の下限に関するしきい値（以下、第２のしきい値）を記憶している。ここで、第１のしきい値は第２のしきい値はより大きく、例えば、第１のしきい値が48K バイトのとき、第２のしきい値は40Kバイトの値となる。これらのしきい値は、実験（例えば、様々の動画像データに対して圧縮率を変更し、生成した符号化データの画質を主観的評価するなど）により求める。さらに、これらしきい値は、動画像データの方式（例えば、上述のNTSCやVGA）ごとに異なる値を用意してもよい。
【００２８】
制御部１０３は、圧縮部１０１が生成した１フレーム分の符号化データを送信部１００の送信バッファに格納する際、そのデータ量を測定する。
【００２９】
制御部１０３は、フレーム期間内に１フレーム分の符号化データが送信された場合、測定したデータ量を第１のしきい値と比較する。測定したデータ量が第１のしきい値より大きければ、現在の圧縮率は低すぎると判断し、制御部１０３は、圧縮部１０１の圧縮率を高くする。圧縮部１０１の圧縮率を高くする設定については、フレーム期間内に１フレーム分の符号化データを送信できなかった場合の圧縮率の設定と同様に行う。
【００３０】
また、制御部１０３は、フレーム期間内に１フレーム分の符号化データが送信された場合、測定したデータ量を第２のしきい値と比較する。測定したデータ量が第２のしきい値より小さければ、現在の圧縮率は高すぎると判断し、制御部１０３は、圧縮部１０１の圧縮率を低くする。このため、制御部１０３は、記録部１０２から現在の圧縮率より低い圧縮率を設定するコンフィグファイルを読出し、このコンフィグファイルに含まれる設定パラメータにもとづき、圧縮部１０１の圧縮率を低く設定する。圧縮率を低く設定する場合、現在の圧縮率より１段階低い圧縮率に設定してもよく、最低の圧縮率に設定してもよい。１段階低い圧縮率に設定する場合は、符号化データの品質の劣化を抑えつつ、伝播環境に適した動画像データの送信が実現できる。最低の圧縮率に設定した場合は、高品質な動画像データを送信することができる。
【００３１】
なお、圧縮率を変更するタイミングは、圧縮部１０１が１フレーム分の符号化データを生成するタイミング、つまりフレーム周期で行ってもよく、制御部１０３がフレーム期間内に１フレーム分の符号化データを送信できないと判断したタイミングで行ってもよい。フレーム周期で圧縮率を変更すれば、圧縮符号化処理に対する負担が少なくなる。制御部１０３が送信できないと判断したタイミングで圧縮率を変更すれば、伝送速度の変化に対する圧縮符号化処理の追従性が向上するため、より伝播環境に適した動画像データの送信が実現できる。
【００３２】
図２は、圧縮率変更手順を示すフローチャートである。制御部１０３は、送信部１００の送信バッファの残量を検出し、フレーム期間内に１フレーム分の符号化データが送信できたか否かを確認する（S100）。１フレーム分の符号化データが送信できた場合（S100のY）、制御部１０３は、１フレーム分の符号化データ量が第１のしきい値以上か否かを確認する（S101）。１フレーム分の符号化データ量が第１のしきい値より小さかった場合（S101のN）、制御部１０３は、１フレーム分の符号化データ量が第２のしきい値以下か否かを確認する（S102）。１フレーム分の符号化データ量が第２のしきい値以下であった場合（S102のY）、制御部１０３は、圧縮部１０３の圧縮率が最低の圧縮率であるか否かを確認する（S103）。圧縮率が最低でなかった場合（S103のN）、制御部１０３は、対応するコンフィグファイルを記録部１０２から読出し、そのコンフィグファイルにもとづき、圧縮部１０１の圧縮率を低くする設定を実行したのち、処理を終了する（S104）。
【００３３】
１フレーム分の符号化データが送信できなかった場合（S100のN）あるいは１フレーム分の符号化データ量が第１のしきい値以上であった場合（S101のY）、制御部１０３は、圧縮部１０３の圧縮率が最高の圧縮率であるか否かを確認する（S105）。圧縮率が最高でなかった場合（S105のN）、制御部１０３は、対応するコンフィグファイルを記録部１０２から読出し、そのコンフィグファイルにもとづき、圧縮部１０１の圧縮率を高くする設定を実行したのち、処理を終了する（S106）。
【００３４】
このような本発明の実施の形態によれば、以下の通りの作用効果を享受することができる。
【００３５】
制御部１０３は、フレーム期間内に１フレーム分の符号化データが送信できたかを確認し、送信できなかった場合、圧縮部１０１の圧縮率を高くする設定を行い、１フレーム分の符号化データが送信できた場合、符号化データ量を第１および第２のしきい値と比較し、第１のしきい値以上であれば、圧縮部１０１の圧縮率を高くする設定を行い、第２のしきい値以下であれば、圧縮部１０１の圧縮率を低くする設定を行う。このため、伝播環境に適した圧縮率で動画像の圧縮符号化処理を行うことが可能となり、ロバストかつ高品質にリアルタイムな動画像を送信することが可能となる。
【００３６】
以上、本発明を実施するための最良の形態について説明をしてきたが、本発明は、この実施の形態の構成に限定されるものではなく、特許請求の範囲に規定された本発明の適用範囲にあり、上述した実施の形態の構成が備える機能を達成可能であれば、いろいろな変形が可能である。
【００３７】
例えば、本発明の実施の形態において圧縮符号方式としてMotion JPEG方式が適用されるとして説明したが、これにかぎらず、Motion JPEG2000方式やMPEG(Moving Picture Experts Group)方式、H.264方式またはVC-1方式などの圧縮符号方式が適用されてもよく、また無線通信ネットワークとしてWiMAX（Worldwide Interoperability for Microwave Access）などが適用されてもよい。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態に係る画像送信装置の構成を示す概念図
【図２】圧縮率の変更手順を示すフローチャート
【符号の説明】
【００３９】
１００        送信部
１０１        圧縮部
１０２        記録部
１０３        制御部
【図１】
2009124518.tif 000003
【図２】
2009124518.tif 000004