(57)【要約】【課題】ＭＰＥＧなどの画像圧縮データを再生する際に、振動を伴う環境で使用する機器では、デコード後に画像全体の振動量を補正すると、デコードの画像処理、補正のための画像処理と二段階の画像処理を行うことになり、効率が悪い。【解決手段】画像圧縮データをデコードする際に、フレーム間予測の処理と、画面の振動に対する補正を行った結果として、補正した復号化前のフレームデータを生成し、動作を伴う画像部分に対して、本体の振動による画像の振動を補正する。この方法により、デコード前に振動を補正することができる。【選択図】図３
2006246298.tif 000002
【特許請求の範囲】
【請求項１】
画面と、画面の振動量を定量的に検出する画面振動量検出部と、画面振動の補正量を算出する機能を有する画面振動補正量演算部と、フレーム間予測を特徴とした復号化処理に加え、画像の振動補正を復号化の処理に組み込んだ機能を有するビデオ情報演算部より構成される受像機。
【請求項２】
フレーム間予測の手法により符号化されたビデオ情報を受信し、受信したデータに対して、画面振動の補正を行い、補正したデータをフレーム間予測の手法により復号化することを特徴とした復号化を行うビデオ情報演算部を有する請求項１に記載の受像機。
【請求項３】
画面振動量検出部が検出したデータより、未来の振動量を予測し、振動補正量を算出することを特徴とした画面振動補正量演算部を有する請求項１に記載の受像機。
【請求項４】
画面振動量検出部が検出したデータより、未来の振動量を予測し、振動補正量を算出することを特徴とした画面振動補正量演算部を有する請求項２に記載の受像機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面に平行な二次元方向への振動を検出した結果をフレーム間予測に反映する画像の振動補正を取り入れた受像装置に関する発明である。
【背景技術】
【０００２】
従来、テレビなどの映像技術を製品化した電気製品は、家庭内で視聴する家電製品として発展してきたが、ＭＰＥＧに代表される放送技術や録画再生技術のデジタル化、携帯電話網の高速化・大容量化といった技術の革新が進み、映像を屋外で視聴できる環境になりつつある。屋外での用途としては、テレビ付き携帯電話や、カーテレビなどの製品がある。これらの製品は、いずれも画面本体が振動するため、画像を忠実に再現しているにもかかわらず、振動による影響で画質劣化と同じ結果を視聴者に与える。また視聴者の眼精疲労の原因となる。
【０００３】
また、屋外で映像を視聴する製品の特徴としては、持ち運びできるサイズであり、価格帯も据え置きテレビに比べ低価格にすることが必須となる。このような条件を考えると、画像の演算処理回路やメモリーなどのリソースは、可能な限り小さくする必要がある。更に、振動量を補正する技術を量産する上で、機械的な技術を製品化すると製品コストを抑えることが難しくなるため、信号処理などで補正を行うことが望ましい。
【０００４】
ＭＰＥＧなどの画像圧縮データをデコードした後に、画面の振動量を改めて補正すると、デコードで画像を展開するためにリソースを消費し、更にデコード後に画面の振動量を補正するためにリソースを消費することになる。また。デコード後の画像データは、大きくなるため、デコード後のデータを更に演算処理するには、多くのリソースを必要とするという問題がある。
【特許文献１】特開２００２−１２３２４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ＭＰＥＧなどの画像圧縮データを再生する際に、振動を伴う環境で使用する機器では、デコード後に画像全体の振動量を補正すると、デコードの画像処理、補正のための画像処理と二段階の画像処理を行うことになり、それぞれの段階で、画像の演算処理、及び画像展開のためのメモリなどに多くのリソースが必要になるという問題がある。
【課題を解決するための手段】
【０００６】
本発明は、加速度センサーなどを用いて検出した振動量を振動に対する補正量パラメータとして使用しその補正量を予測した結果を、画像圧縮データをデコードする際に、フレーム間予測の処理に補正量を考慮することにより、本体の振動による画像のぶれを予測補正することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、デコード処理と振動補正の処理を同じプロセスで行うことにより、画像データのデコード後に振動量を補正するというアルゴリズムと比較すると、圧縮後の巨大なデータに対して振動補正を行う必要がなくなるため、振動補正に要する演算処理とメモリ使用量を低減することができ、省メモリ、省電力化につながる。
【０００８】
本発明の主な用途としては、受像機のなかでも、携帯端末や、車載の比較的小型な端末が対象になると考えられ、省メモリ、省電力であることは必須となってくるため、本発明の効果はアドバンテージをもつ。
【発明を実施するための最良の形態】
【０００９】
ＭＰＥＧなどの画像圧縮技術を採用した受像機を対象とする。このような特徴をもつ機器において、画面と平行な二次元方向の振動を加速度センサーなどを用いて検出する機構を搭載し、これより算出した振動量の予測値を用いて画面のぶれを補正する。
【００１０】
このとき、画面のぶれを補正する処理は、デコード後に行うのではなく、デコード処理のフレーム間予測を行う処理の一部として組み込むことにより、画像圧縮データのピクチャ層の処理を行う段階において、画面振動の補正を行うことを特徴とする受像装置である。
【００１１】
（実施の形態１）
図１は、本発明の受像装置の構成を表したブロック図である。１０１は、多重化されたデジタル情報から、ビデオ情報のみを抽出したデータを入力する機能をもつビデオ入力信号入力部である。１０２は受像機の画面に平行な二次元方向の振動量を検出する機能をもつ画面振動量検出部であり、例えば速度センサー、加速度センサーなどを用いることにより実現できる。１０３は、画面振動量検出部から得た振動量から補正量を算出する画面振動補正量演算部であり、補正量の算出方法としては、例えば画面振動量検出で得た情報から未来の時刻における振動量を推測し、それに対する補正量を求める。１０４は、１０１のビデオ情報入力部から得た圧縮されたビデオ情報と、１０３の画面振動補正量演算部から得た補正量を用いて、画面振動補正量の情報を反映することにより、フレーム間予測の処理に画面振動の補正を行い、復号化されるフレーム情報を生成し、それを復号化する機能をもつビデオ情報演算部である。１０５は、１０４のビデオ情報演算部が復号処理、及び振動の補正に用いるビデオ情報演算用メモリである。１０６は、１０４のビデオ情報演算部の処理結果を受像装置の画面へ出力する機能をもつビデオ情報出力部である。
【００１２】
図２は、図１のうち１０４のビデオ情報演算部の処理を説明する図であり、フレーム間予測データを必要としないフレーム情報から復号化するフレームを得る場合の処理を表している。２０１の画面振動量は、図１の画面振動量検出部（１０２）より与えられ、受像機の画面に対して平行な二次元方向のベクトル量として表現でき、例えば速度ベクトル、及び加速度ベクトルで表現できる。２０２のフレームデータは、図１のビデオ情報入力部により与えられ、例えば、ＭＰＥＧの各種仕様においては、ＭＰＥＧ圧縮データのビデオ信号に含まれ、フレームデータ（２０２）はＩピクチャとして与えられる。このような場合に、２０１の画面振動量で表現された振動に対する補正量として、画面振動の補正量（２０３）を算出し、受像機の画面に対して平行な二次元方向のベクトル量として表現できる。例えば、２０１の振動量として、速度ベクトルｖと加速度ベクトルａを用いて、時刻ｔのフレームデータ（２０２）に対して補正する場合は、振動量ベクトルをｐ、補正量ベクトルｑとするとき、ｐ＝ａ×ｔ×ｔ＋ｖ×ｔ＋ｃ、ｑ＝−ｐ、で与えることができる。
【００１３】
このベクトルｑを用いて、振動補正を施した復号化するフレームのデータを求める。つまり、２０２のデータから得られたフレームに対して、上記ベクトルｑを補正する。
【００１４】
この方法により得られた情報を復号化することで、デコードする前に振動補正を行うことができる。この場合、デコード後に圧縮データを展開したイメージをメモリに展開してから振動補正を行う場合に比べ、演算処理、及びメモリ使用量は同じである。
【００１５】
図２の処理は、ＭＰＥＧの各仕様だけでなく、Ｈ．２６１の圧縮データに対しても適用できる。
【００１６】
図３は、図１のうち１０４のビデオ情報演算部の処理を説明する図であり、過去のフレーム情報とそのフレーム間予測データから復号化するフレームを得る場合の処理を表している。３０１の画面振動量は、図１の画面振動量検出部（１０２）より与えられ、受像機の画面に対して平行な二次元方向のベクトル量として表現でき、例えば速度ベクトル、及び加速度ベクトルで表現できる。３０２の過去のフレームデータ、及び３０３のフレーム間予測データは、図１のビデオ情報入力部により与えられ、例えば、ＭＰＥＧの各種仕様においては、ＭＰＥＧ圧縮データのビデオ信号に含まれ、過去のフレームデータ（３０２）はＩピクチャとして、フレーム間予測データ（３０３）はＰピクチャとして与えられる。このような場合に、３０１の画面振動量で表現された振動に対する補正量として、画面振動の補正量（３０４）を算出し、受像機の画面に対して平行な二次元方向のベクトル量として表現できる。例えば、３０１の振動量として、速度ベクトルｖ１と加速度ベクトルａ１を用いて、時刻ｔ＋Δｔ１秒のフレームデータを得るには、過去のフレームデータ（３０２）と、フレーム間予測データ（３０３）に対して、ｔ＋Δｔ１秒後の補正をするとき、振動量ベクトルをｐ１、補正量ベクトルｑ１とするとき、ｐ１＝ａ１×（ｔ＋Δｔ１）×（ｔ＋Δｔ１）＋ｖ１×（ｔ＋Δｔ１）＋ｃ、ｑ１＝−ｐ１、で与えることができる。
【００１７】
このベクトルｑ１を用いて、３０２と３０３のデータに対して振動補正を施した結果を用いて復号化したデータを求める。つまり、３０２、及び３０３のデータから得られた振動補正の結果に対してフレーム間予測を行い、復号化する。ただし、３０２のデータは、図２において振動補正する前の受信したままのデータを用いる。
【００１８】
この方法により、デコードする前に振動補正を行うことができる。デコード後に圧縮データを展開したイメージをメモリに展開してから振動補正を行う場合に比べ、圧縮したデータに対して補正を行う本発明の方が、振動補正に要する演算処理、及びメモリ使用量を軽減することが可能である。
【００１９】
この実施の形態は、ＭＰＥＧの各仕様だけでなく、Ｈ．２６１の圧縮データに対しても適用できる。
【００２０】
次に図４は、図１のうち１０４のビデオ情報演算部の処理を説明する図であり、過去のフレーム情報（４０２）と未来のフレーム情報（４０４）と、時間軸上で４０２と４０４の間に位置するフレームのフレーム間予測データから復号化するフレームを得る場合の処理を表している。
【００２１】
４０１の画面振動量は、図１の画面振動量検出部（１０２）より与えられ、受像機の画面に対して平行な二次元方向のベクトル量として表現でき、例えば速度ベクトル、及び加速度ベクトルで表現できる。４０２の過去のフレームデータ、４０４の未来のフレームデータ、及び４０３のフレーム間予測データは、図１のビデオ情報入力部により与えられ、例えば、ＭＰＥＧの各種仕様においては、ＭＰＥＧ圧縮データのビデオ信号に含まれ、過去のフレームデータ（４０２）はＩピクチャとして、未来のフレームデータ（４０４）はＰピクチャとＩピクチャから復号化された結果から得られたフレームとして、そして、フレーム間予測データ（４０３）はＢピクチャとして与えられる。このような場合に、４０１の画面振動量で表現された振動に対する補正量として、画面振動の補正量（４０５）を算出し、受像機の画面に対して平行な二次元方向のベクトル量として表現できる。例えば、４０１の振動量として、速度ベクトルｖ２と加速度ベクトルａ２を用いて、過去のフレームデータ（４０２）と、フレーム間予測データ（４０３）と、未来のフレームデータ（４０４）に対して、ｔ＋Δｔ２秒後の補正をするとき、振動量ベクトルをｐ２、補正量ベクトルｑ２とするとき、ｐ２＝ａ２×（ｔ＋Δｔ２）×（ｔ＋Δｔ２）＋ｖ２×（ｔ＋Δｔ２）＋ｃ、ｑ２＝−ｐ２、で与えることができる。
【００２２】
４０２と４０３と４０４のデータに対して振動補正を施した結果を用いて、改めて復号化したフレームデータを求める。つまり、４０２、４０３、及び４０４のデータから得られた振動補正の結果に対してフレーム間予測を行い、復号化する。ただし、４０２、４０４のデータは、図３において補正する前の受信したままのデータを用いる。
【００２３】
この方法により、デコードする前に振動補正を行うことができる。デコード後に圧縮データを展開したイメージをメモリに展開してから振動補正を行う場合に比べ、圧縮したデータに対して補正を行う本発明の方が、振動補正に要する演算処理、及びメモリ使用量を軽減することが可能である。
【産業上の利用可能性】
【００２４】
本発明は、画面の振動に対して、動きのあるビデオ情報に対して振動補正を行うことにより、ユーザーの眼精疲労を軽減する効果をもち、ＭＰＥＧやＨ．２６１などの圧縮技術を応用した受像機の振動補正方法として有用である。
【００２５】
更に、本発明が対象としている機器は、ＭＰＥＧなので受像機としての機能を有する携帯端末や車載機器であり、このような機器では、家庭用の据え置きテレビなどに比べ、画像処理演算や画像処理用メモリなどのリソースが少ないという特徴がある。本発明では、デコード前に振動補正処理を行うため、発明の効果で説明したとおり、振動補正に要する演算処理と、それに使用するメモリ（図１の１０５のビデオ情報演算用メモリ）の使用量が低減できるという効果があり、省メモリ、省電力な製品を提供できる方法として有用である。
【図面の簡単な説明】
【００２６】
【図１】本発明の受像機の構成を示すブロック図
【図２】画像処理演算部の振動補正方法を示す図
【図３】画像処理演算部の振動補正方法を示す図
【図４】画像処理演算部の振動補正方法を示す図
【符号の説明】
【００２７】
１０１    ビデオ情報入力部
１０２    画面振動量検出部
１０３    画面振動補正量算出部
１０４    ビデオ情報演算部
１０５    ビデオ情報演算用メモリ
１０６    ビデオ情報出力部
【図１】
2006246298.tif 000003
【図２】
2006246298.tif 000004
【図３】
2006246298.tif 000005
【図４】
2006246298.tif 000006