(57)【要約】【課題】画像伝送レートの変化にともなう受信側での表示画像のちらつきを低減して、主観画質の向上を図ることのできる送信装置を提供する。【解決手段】無線送信部１６内の送信制御部１６３は、無線通信品質が低くなったことに追従して無線伝送レートを低下させたとき、高い画像伝送レートを維持したままでは通信容量が足りなくなり画像エラーが発生する危険があるので、この場合には画像伝送レートを直ぐに落し、無線通信品質が改善された場合には、無線伝送レートが画像伝送レートより高い期間が一定期間連続した時点で画像伝送レートを上げる。【選択図】図３
2011082837.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化する、発生符号量を制御可能な符号化部と、
前記符号化された画像データを無線で送信する送信部と、
前記符号化された画像データの無線伝送の品質を検出して、検出された品質に追従して前記送信部の単位時間当たりの送信符号量である無線伝送レートと前記符号化部の単位時間当たりの発生符号量である画像伝送レートをそれぞれ制御し、前記画像伝送レートを下げる場合には第１の応答時間で制御を行い、前記画像伝送レートを上げる場合には前記第１の応答時間より長い第２の応答時間で制御を行う制御部と
を具備する送信装置。
【請求項２】
請求項１に記載の送信装置であって、
前記制御部は、無線伝送レートが画像伝送レートより高い期間が一定期間連続した時点で前記符号化部の前記画像伝送レートを上げるように制御を行う
送信装置。
【請求項３】
請求項２に記載の送信装置であって、
前記制御部は、前記画像伝送レートを上げるとき、前記一定期間毎に段階的に前記現在の画像伝送レートに向けて上げる
送信装置。
【請求項４】
請求項３に記載の送信装置であって、
前記一定期間は、０．３秒から１秒の範囲である
送信装置。
【請求項５】
画像データを符号化し、
前記符号化された画像データを無線で送信し、
前記符号化された画像データの無線伝送の品質を検出し、
前記検出された品質に追従して前記送信時の単位時間当たりの送信符号量である無線伝送レートと前記符号化時の単位時間当たりの発生符号量である画像伝送レートをそれぞれ制御し、前記画像伝送レートを下げる場合には第１の応答時間で制御を行い、前記画像伝送レートを上げる場合には前記第１の応答時間より長い第２の応答時間で制御を行う
送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを無線で送信する送信装置および送信方法に関する。
【背景技術】
【０００２】
圧縮符号化された画像データを無線で伝送するシステムにおいて、送信装置は、通信環境の変化により時々刻々と変化する通信品質に追従して伝送レートを制御することを行う。すなわち、送信装置は、通信品質が高いときは伝送レートを上げ、低いときは伝送レートを下げる。通信環境の変化による通信品質を検出する方式としては、受信電波の電界強度、エラー率、エラー率に基づく再送要求回数をもとに通信状態を検出する方法がある（例えば特許文献１）。さらに、送信装置は、バッファのオーバーフロー、アンダーフローの発生を抑えるために、伝送レートに合わせて、エンコーダの単位時間当たりの発生符号量である画像伝送レートを制御する。
【０００３】
例えば、特許文献２には、マルチパスによるエラー発生の可能性のある電波伝搬環境に応じて映像や画像データの圧縮率を可変とし、かつこれに伴ってシンボルレート（クロック周波数）を変化させ、マルチパスによる伝搬行路差をエラーとならない範囲にして通信する無線通信システムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３４３７２６（段落[０００９]）
【特許文献２】特開２００７−１９４７０６（段落[０００５]）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、無線通信品質が頻繁に変化する環境では送信装置の画像伝送レートが頻繁に切り替わる。この場合、受信装置側での表示画像の輝度や色度の画像伝送レートの切り替わり点での変化が多発することとなり、視聴者からは画像がちらついて見え、主観画質が低下することがある。
【０００６】
また、電波を効率的に受信側に届けられるようにビームの指向性を狭くした上でその方向を制御できるビームフォーミングと呼ばれる技術を導入したり、電波の直進性の高い６０ＧＨｚ等の高帯域電波を用いた場合、通信品質はより些細な要因によって変動し、表示画像のちらつきによる主観画質の低下は著しくなる。特に、室内に設置された送信装置と受信装置とで無線伝送を行う場合、両装置の位置関係によっては電波の経路が室内の壁、家具、窓等での反射を含んだものとなる。この場合、人が室内で移動したり、風でカーテンが揺れる等の僅かな変化で経路が変わり、通信品質が変化してしまう。また、動く物体が存在しなくても、同じ程度の電波強度が得られる経路が複数存在すると、経路の切り替わりが頻発して通信品質が不安定になることもある。
【０００７】
さらに、受信側に極力多くのバッファを積んで無線通信状態の変動に伴うキャンネルキャパシティ変動の影響の回避を図ることが考えられる。しかし、この場合、大容量の受信バッファが必要になる。ゲーム機など反応のリアルタイム性が必要な機器からの高画質な画像データを無線で伝送することを考えると、伝送遅延の少ない事が必須であり、受信バッファを大量に持つことが出来ないため、無線状態変動の影響を大きく受けてしまう。
【０００８】
以上のような事情に鑑み、本発明の目的は、画像伝送レートの変化にともなう受信側での表示画像のちらつきを低減して、主観画質の向上を図ることのできる送信装置および送信方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一形態に係る送信装置は、画像データを符号化する、発生符号量を制御可能な符号化部と、前記符号化された画像データを無線で送信する送信部と、前記符号化された画像データの無線伝送の品質を検出して、検出された品質に追従して前記送信部の単位時間当たりの送信符号量である無線伝送レートと前記符号化部の単位時間当たりの発生符号量である画像伝送レートをそれぞれ制御し、前記画像伝送レートを下げる場合には第１の応答時間で制御を行い、前記画像伝送レートを上げる場合には前記第１の応答時間より長い第２の応答時間で制御を行う制御部とを具備する。
【００１０】
この発明によると、制御部は、画像伝送レートを下げる場合には第１の応答時間で制御を行い、画像伝送レートを上げる場合には第１の応答時間より長い第２の応答時間で制御を行うことによって、受信側での表示画像において、画像伝送レートが頻繁に変化することに伴う画像のちらつきの発生を低減することができ、主観画像の品質を高めることができる。
【００１１】
より具体的には、制御部は、無線伝送レートが画像伝送レートより高い期間が一定期間連続した時点で符号化部の画像伝送レートを上げるように制御を行うこととしてもよい。また、制御部は、画像伝送レートを上げるとき、一定期間毎に段階的に現在の画像伝送レートに向けて上げるようにしてもよい。これにより、画像伝送レートが切り換えられたときの視聴者から見える画像のちらつきをより緩和することができる。また、低い画像伝送レートが用いられる時間がそれだけ短くなる分、主観的な画質の低下も抑えることができる。
【００１２】
一定期間は、人間の視覚の時間的なコントラスト変化および色度変化に対する応答特性を考慮すると０．３秒から１秒の範囲が望ましい。これにより、画像のちらつきをより一層低減することができる。
【発明の効果】
【００１３】
本発明によれば、画像伝送レートの変化にともなう受信側での表示画像のちらつきを低減して、主観画質の向上を図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る無線伝送システムの構成を示す図である。
【図２】本実施形態の無線伝送システムにおける無線伝送のシーケンス図である。
【図３】画像伝送レートの変化の様子を従来例と比較して示す図である。
【図４】画像伝送レートの計算のアルゴリズムを示すフローチャートである。
【図５】画像伝送レートの計算の別のアルゴリズムを示すフローチャートである。
【図６】視覚のコントラストに関する時間周波数応答特性をグラフである。
【図７】視覚の色度変化の時間周波数応答特性をグラフである。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら、本発明の実施形態を説明する。
［無線伝送システムの構成］
図１は、本発明の一実施形態に係る無線伝送システムの構成を示す図である。
【００１６】
同図に示すように、この無線伝送システム１は送信装置１０と受信装置２０とで構成される。送信装置１０は、画像および音声のデータを圧縮符号化し、無線伝送に適した形式で変調し、図示しないアンテナを用いて送信する機器である。受信装置２０は、送信装置１０より無線で送信された信号を受信し、復調および復号して元の画像および音声を復元し、可視画像および可聴音として出力する機器である。
【００１７】
ここで、受信装置２０は例えばテレビジョン受像機等として提供される。送信装置１０は例えば画像と音声をチューナ、外部のメディアプレーヤなどの様々な伝送媒体を通じて選択的に取得し、テレビジョン受像機等の受信装置２０に無線で伝送するメディアレシーバなどとして提供される。このシステム形態によれば、引き出し配線をもたないスマートな外観のテレビジョン受像機を実現することができるとともに、チューナ、メディアドライブなどの内蔵デバイスを排除した小型で軽量なテレビジョン受像機を実現できる。
【００１８】
図１に戻って送信装置１０と受信装置２０の構成を説明する。
送信装置１０は、チューナ１１、デコーダ１２、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）部１３、ＲＧＢ入力部１４、ビデオプロセッサ１５、無線送信部１６、メインコントローラ１７を有する。
【００１９】
チューナ１１は、例えば地上デジタル放送、ＢＳデジタル放送、ＣＳデジタル放送などの各種デジタル放送信号を受信する。デコーダ１２は、チューナ１１により受信した放送信号から画像、音声、その他のデータを分離してそれぞれ復号する。ＨＤＭＩ部１３は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの各種メディアを再生可能なメディアプレーヤやゲーム機などのソース機器から画像および音声のデジタルデータを取り込むための端子である。ＲＧＢ入力部１４は、外部機器から画像のＲＧＢデータを取り込むための端子である。
【００２０】
ビデオプロセッサ１５は、デコーダ１２の出力、ＨＤＭＩ部１３、ＲＧＢ入力部１４のいずれかからデータを選択して無線送信部１６に供給する。無線送信部１６は、ビデオプロセッサ１５より供給された画像データを圧縮符号化するビデオエンコーダ１６１、ビデオエンコーダ１６１にて符号化された画像データを無線伝送に適した形式に変調して送信する送信部１６２、ビデオエンコーダ１６１および送信部１６２を制御する送信制御部１６３を有する。なお、送信装置１０は、実際には、音声データの無線伝送のための処理を行う部分を有しているが、ここでは図示およびその説明を省略する。メインコントローラ１７は送信装置１０の各部を総括的に制御する。
【００２１】
受信装置２０は、無線受信部２１、バッファ２２、ビデオプロセッサ２３、モニター２４、メインコントローラ２５を有する。
【００２２】
無線受信部２１は、送信装置１０より無線送信された画像データを受信し復調して圧縮符号化された画像データを復元する受信部２１１、圧縮符号化された画像データを復号するビデオデコーダ２１２、受信部２１１およびビデオデコーダ２１２を制御する受信制御部２１３を有する。なお、受信装置２０は、実際には、音声データの無線受信のための処理を行う部分を有しているが、ここでは図示およびその説明を省略する。バッファ２２は、ビデオデコーダ２１２より出力された画像データなどを一時的に蓄える。ビデオプロセッサ２３は、バッファ２２に蓄えられた画像データを読み出し、表示用のデータを変換するなどしてモニター２４に供給する。メインコントローラ２５は受信装置２０の各部を総括的に制御する。
【００２３】
［無線伝送システム１の動作］
次に、本実施形態の無線伝送システム１の動作を説明する。
【００２４】
図２は本実施形態の無線伝送システム１における無線伝送のシーケンス図である。
送信装置１０の無線送信部１６は、ビデオプロセッサ１５より画像データの供給を受けると、ビデオエンコーダ１６１にてその画像データを符号化して送信部１６２に供給する。無線送信部１６内の送信部１６２は、ビデオエンコーダ１６１より供給された符号化された画像データを無線伝送に適した形式に変調し、無線送信パケットとして送信する。
【００２５】
受信装置２０の無線受信部２１は、無線送信パケットを受信部２１１にて受信すると、復調を行い、さらに、ビデオデコーダ２１２にて復号を行う。この際、ＥＣＣ、パリティチェックなどによって、そのパケットを正しく受信できたかどうかの判定が行われ、その結果が受信制御部２１３に通知される。受信制御部２１３は、正しく無線送信パケットを受信できた場合にはＡＣＫパケットを送信装置１０にあてて無線で返信するように受信装置２０内の図示しない送信部を制御する。ビデオデコーダ２１２にて復号された画像データは、バッファ２２内に一端蓄えられる一方で、バッファ２２からビデオプロセッサ２３に読み出され、表示用のデータを変換するなどしてモニター２４に供給される。
【００２６】
また、無線受信部２１の受信制御部２１３は、ビデオデコーダ２１２より、何らかの理由で無線送信パケットを正しく受信できなかったことの判定結果を受けた場合、ＮＡＣＫパケットを送信装置１０にあてて無線で返信するように受信装置２０内の図示しない送信部を制御する。
【００２７】
送信装置１０の無線送信部１６は、ＮＡＣＫパケットを受信した場合には、このＮＡＣＫパケットに含まれるパケットを識別するための情報をもとに該当する無線送信パケットの再送を行うように制御を行う。
【００２８】
無線送信部１６内の送信制御部１６３は、上記のＡＣＫパケットの受信回数とＮＡＣＫパケットの受信回数との比率から通信品質であるエラーレートを計算する。そして、送信制御部１６３は、そのエラーレートに追従して送信部１６２の単位時間当たりの送信符号量である無線伝送レートと、ビデオエンコーダ１６１の単位時間当たりの発生符号量である画像伝送レートをそれぞれ制御する。
【００２９】
ここで、無線伝送レートを変更する方法としては、符号化率を変える方法、変調方式を切り換える方法等がある。切り替え対象の変調方式としては、例えば、６４ＱＡＭ（Ｑｕａｄｒａｔｕｒｅ ａｍｐｌｉｔｕｄｅ ｍｏｄｕｌａｔｉｏｎ ）、１６ＱＡＭ、ＱＰＳＫ（ｑｕａｄｒａｔｕｒｅ ｐｈａｓｅ ｓｈｉｆｔ ｋｅｙｉｎｇ）、ＢＰＳＫ（Ｂｉｎａｒｙ ｐｈａｓｅ−ｓｈｉｆｔ ｋｅｙｉｎｇ）などがある。
【００３０】
画像伝送レートを変更する方法としては、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮等の圧縮率を変える方法、伝送データをＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換等を用いて、振幅方向信号ではなく周波数信号に直して伝送し、各モードで高域側をどこまで伝送するかを切り換える方法、すなわち低域通過特性をモードに応じて変える方法、画素の間引き率を変える方法、色階調の精度を変える（切捨てる下位ビットの数を変える）方法等がある。
【００３１】
ところで一般的には、無線伝送レートと画像伝送レートとが1対１で対応付けられていることが普通である。しかしその場合、頻繁に無線通信品質が変動する場合、画像伝送レートが頻繁に切り替わり、結果的に画像がちらつくようなノイズ感を生じてしまい、主観画質が低下してしまう。
【００３２】
そこで本実施形態では、エラーレートに追従して送信部１６２の単位時間当たりの送信符号量である無線伝送レートと、ビデオエンコーダ１６１の単位時間当たりの発生符号量である画像伝送レートをそれぞれ制御するにあたり、画像伝送レートを下げる場合には第１の応答時間でその制御が行われ、画像伝送レートを上げる場合には第１の応答時間より長い第２の応答時間でその制御が行われるものとしている。すなわち、無線送信部１６内の送信制御部１６３は、無線通信品質が低くなったことに追従して無線伝送レートを低下させたとき、高い画像伝送レートを維持したままでは通信容量が足りなくなり画像エラーが発生する危険があるので、この場合には画像伝送レートを直ぐに（第１の応答時間で）下げ、無線通信品質が改善された場合には、無線伝送レートが画像伝送レートより高い期間が一定期間連続した時点で画像伝送レートを上げる。
【００３３】
図３に画像伝送レートの変化の様子を従来例と比較して示す。ここで、画像伝送レートを変化させる方式として画素の間引き方式を採用し、フル画素、１／２画素、１画素の３段階に画像伝送レートを変化させることとしている。エラーレートの評価は２種類の閾値Ａ，Ｂによって行われ、無線伝送レートは２種類の閾値Ａ，Ｂとの大小関係により３段階に切り換えられる。また同図では、第１の応答時間の論理値をゼロとし、ｔｗ２を第２の応答時間とする。（ａ）は通信品質であるエラーレートの時間的変化、（ｂ）は従来例による画像伝送レートと無線伝送レートの変化、（ｃ）は本実施形態による画像伝送レートと無線伝送レートの変化を示している。同図に示すように、従来は、エラーレートが２種類の閾値Ａ，Ｂに対して上下する都度、画像伝送レートと無線伝送レートが同時に変化し、これが画像のちらつきとなって現れていた。これに対し、本実施形態によれば、画像伝送レートと無線伝送レートが同時に変化することがなくなり、画像のちらつきが発生しにくくなる。
【００３４】
図４は、この画像伝送レートの計算のアルゴリズムを示すフローチャートである。
送信制御部１６３は、無線伝送レートの値と画像伝送レートの値とを比較する（ステップＳ１０１）。送信制御部１６３は、無線伝送レートの値が画像伝送レートの値以下であることを判断すると、画像伝送レートの値を無線伝送レートに直ぐに（第１の応答時間で）落とす（ステップＳ１０２）。
【００３５】
また、送信制御部１６３は、無線伝送レートの値が画像伝送レートの値より大きいことを判断すると、待機時間をカウントするカウンタの値をインクリメントし（ステップＳ１０３）、インクリメントされたカウンタの値と閾値とを比較する（ステップＳ１０４）。送信制御部１６３は、この比較で、カウンタの値が閾値より小さいことを判断すると、ステップＳ１０２へ移行し、カウンタをリセットするとともに画像伝送レートの値を無線伝送レートに直ぐに（第１の応答時間で）落とす。また、送信制御部１６３は、カウンタの値が閾値以上であることを判断すると、無線伝送レートを１段階上げる（ステップＳ１０５）。このアルゴリズムにより、画像伝送レートを下げる場合には第１の応答時間で制御を行い、画像伝送レートを上げる場合には第１の応答時間より低い第２の応答時間で制御を行うことが可能となる。
【００３６】
無線伝送レートを１段階上げるとは、無線伝送レートの値を現在の画像伝送レートの値にすることであってもよい。あるいは、現在の無線伝送レートの値と現在の画像伝送レートの値との間に段階的な値を設定しておき、カウンタの値が閾値以上となる度に（一定期間毎に）１段階ずつ無線伝送レートの値を上げていくことであってもよい。後者の方式を採用することで、画像伝送レートが切り換えられたときの視聴者から見える画像のちらつきをより緩和することができる。また、低い画像伝送レートが用いられる時間がそれだけ短くなる分、主観的な画質の低下も抑えることができる。
【００３７】
上記アルゴリズムでは一定期間の判定にカウンタを用いたが、同様の処理をタイマーを使って行うことも可能である。図５に、このタイマーを用いた画像伝送レート計算のアルゴリズムを示す。
【００３８】
次に、第２の応答時間の最適値について説明する。
第２の応答時間としては人間の視覚の時間的なコントラスト変化および色度変化の応答特性から最適な値を求めることができる。
【００３９】
図６は視覚のコントラストに関する時間周波数応答特性をグラフ（シリーズ先端ディスプレイ技術１、ディスプレイの基礎（２００１年発行）、著者：大石巌、畑田豊彦、田村徹より抜粋。）である。このグラフによれば、コントラストへの視覚の応答特性は１０Ｈｚあたりにピークがあり、２Ｈｚ以下でほぼフラットになる。第２の応答時間が短かすぎて画像伝送レートを維持する時間が短すぎると視覚的に変化が認識されやすくなる。逆に第２の応答時間が長すぎると視覚的な変化としては認識されにくいものの、低い画像伝送レートが用いられる時間がそれだけ長くなる分、主観的な画質が低下する。また、図７は、視覚の色度変化の時間周波数応答特性をグラフ（同じくシリーズ先端ディスプレイ技術１、ディスプレイの基礎（２００１年発行）、著者：大石巌、畑田豊彦、田村徹より抜粋。）である。このグラフによると、色度変化に対する応答特性は０．５Ｈｚ程度でコントラストの応答と同等になり、０．１Ｈｚ前後まで視覚感度が下がり続ける。したがって、第２の応答時間としては、コントラスト応答がフラットになる２Ｈｚ（５００ｍｓ）から色度応答が飽和する０．１Ｈｚ(１０ｓ)までの間に設定することが望ましい。その中でもコントラストと色度の応答が同じレベルになる０．５Ｈｚ（２ｓ）を中心にした０．３Ｈｚ（３ｓ）から１Ｈｚ（１ｓ）の範囲がより望ましい。
【００４０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００４１】
１…無線伝送システム
１０…送信装置
１６…無線送信部
２０…受信装置
２１…無線受信部
２２…バッファ
２３…ビデオプロセッサ
２４…モニター
１６１…ビデオエンコーダ
１６２…送信部
１６３…送信制御部
２１１…受信部
２１２…ビデオデコーダ
２１３…受信制御部
【図１】
2011082837.tif 000003
【図２】
2011082837.tif 000004
【図３】
2011082837.tif 000005
【図４】
2011082837.tif 000006
【図５】
2011082837.tif 000007
【図６】
2011082837.tif 000008
【図７】
2011082837.tif 000009