(57)【要約】【課題】画像信号を高域成分と低域成分とに分離してそれぞれ符号化する際に、復号時の画質の低下を抑制する。【解決手段】動画像データを、空間周波数の高周波成分からなる高周波動画データＨと、低周波成分からなる低周波動画データＬとに分離する。低周波動画データＬは、画素間引きされエントロピー符号化される。間引きの際に、間引きで残った画素を用いて曲線近似を行って元の低周波動画データＬに対する誤差を求め、求められた誤差に基づき間引きを行う画素数を決める。曲線近似で得られたデータと低周波動画データＬとの差分Ｌｑが高周波動画データＨと加算され、ＭＰＥＧ２方式などで圧縮符号化される。画素間引きされエントロピー符号化された低周波動画データＬによるストリームと、差分Ｌｑが加算された高周波動画データＨが圧縮符号化されがストリームとが合成され、１のストリームとされて出力される。【選択図】図１
2011019077.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを、空間周波数の低周波成分による第１のデータと空間周波数の高周波成分による第２のデータとに分離する分離手段と、
前記分離手段で分離された前記第１のデータに対して画素の間引きを行う間引き手段と、
前記間引き手段で間引きされて残った画素の画素データを用いて曲線近似を行い近似データを生成する近似手段と、
前記分離手段で分離された第１のデータと前記近似手段で生成された前記近似データとの差分を求め、該差分を前記第２のデータに加算する加算手段と、
前記間引き手段で前記間引きが行われた前記第１のデータを符号化する第１の符号化手段と、
前記加算手段で前記差分が加算された前記第２のデータを符号化する第２の符号化手段と
を有することを特徴とする符号化装置。
【請求項２】
前記近似手段は、
前記間引き処理手段で間引きされた画素位置の画素データを前記曲線近似の結果に基づき生成し、生成された該画素データと前記間引きされて残った画素の画素データとから前記近似データを生成する
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記間引き手段は、
前記近似手段で生成された前記近似データの、前記間引きが行われる前の前記第１のデータに対する誤差を求め、該誤差が閾値以下であって、且つ、前記間引きを行う画素数が最大になるように、前記間引きを行う
ことを特徴とする請求項１または請求項２に記載の符号化装置。
【請求項４】
前記間引き手段は、
前記第１のデータに対する画素の間引きを、間引く画素の複数の組み合わせについて行い、該複数の組み合わせの間引きのそれぞれについて前記近似手段で生成した前記近似データの、前記間引きが行われる前の第１のデータに対する誤差を求め、該複数の組み合わせの間引きのうち、該誤差が前記閾値以下で、且つ、間引きする画素数が最大の組み合わせによる間引きを行う
ことを特徴とする請求項３に記載の符号化装置。
【請求項５】
前記間引き手段は、
前記誤差が前記閾値以下にならない場合、前記間引きを行わないことを特徴とする請求項３に記載の符号化装置。
【請求項６】
前記近似手段は、
前記動画像データを複数に分割したそれぞれの区間について前記曲線近似を行い前記近似データを生成する
ことを特徴とする請求項１乃至請求項５の何れか１項に記載の符号化装置。
【請求項７】
前記第１の符号化手段は、
前記間引きが行われた前記第１のデータに対してエントロピー符号化を行う
ことを特徴とする請求項１乃至請求項６の何れか１項に記載の符号化装置。
【請求項８】
前記第１の符号化手段で符号化された第１の符号化ストリームと、前記第２の符号化手段で符号化された第２の符号化ストリームとを合成する合成手段をさらに有する
ことを特徴とする請求項１乃至請求項７の何れか１項に記載の符号化装置。
【請求項９】
動画像データを、空間周波数の低周波成分による第１のデータと空間周波数の高周波成分による第２のデータとに分離する分離ステップと、
前記分離ステップで分離された前記第１のデータに対して画素の間引きを行う間引きステップと、
前記間引きステップで間引きされて残った画素の画素データを用いて曲線近似を行い近似データを生成する近似ステップと、
前記分離ステップで分離された第１のデータと前記近似ステップで生成された前記近似データとの差分を求め、該差分を前記第２のデータに加算する加算ステップと、
前記間引きステップで前記間引きが行われた前記第１のデータを符号化する第１の符号化ステップと、
前記加算ステップで前記差分が加算された前記第２のデータを符号化する第２の符号化ステップとを有する
ことを特徴とする符号化方法。
【請求項１０】
コンピュータを請求項１乃至請求項８の何れか１項に記載の符号化装置の各手段として機能させるためのプログラム。
【請求項１１】
コンピュータを請求項１乃至請求項８の何れか１項に記載の符号化装置の各手段として機能させるためのプログラムを記憶したコンピュータに読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを２以上の空間周波数帯域に分離してそれぞれ符号化する符号化装置および符号化方法に関する。
【背景技術】
【０００２】
従来から、テレビジョン受像機に代表される動画像の表示装置には、ＣＲＴが表示デバイスとして用いられてきた。これに対し、近年では、表示デバイスとして液晶デバイスを用いた表示装置が主流となりつつある。
【０００３】
液晶デバイスの特徴について、概略的に説明する。図１２を用いて、液晶デバイスの駆動方法について説明する。図１２において、横軸は時間を、縦軸は画素の明るさを示している。また、ここでは、フレーム周波数が６０Ｈｚであるものとする。図１２に例示されるように、液晶デバイスの場合、画素は、１フレーム期間、すなわち６０分の１秒の間発光を持続する。そのため、液晶デバイスは、「ホールド型」のデバイスと呼ばれている。
【０００４】
ホールド型のデバイスは、動きに対して残像による画像のボケを生じ易い。図１３を用いて説明する。図１３において、横軸は画面上の位置を、縦軸は時間を示している。この図１３は、矩形の波形が画面の左から右に動く例である。このような動きを眼で追う場合、眼が追従する動きに対して、波形（画像）が６０分の１秒の間、同じ位置に留まることになる。この状態が、動きに対する画像の相対的な遅れとなる。ホールド時間が長いとこの遅れの幅が広くなり、画面上では、画像のボケとして知覚されることとなる。図１３の下部に、このように移動する画像を追従視しているときの見え方を示す。画像のエッジ部分で、ある幅をもったボケが知覚されることが分かる。すなわち、画像が１フレーム期間に表示されている時間に移動すべき距離に対応する幅で、ボケが知覚される。以下、この動きに伴う画像のボケを、動きボケと呼ぶ。
【０００５】
動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図１４は、駆動周波数すなわちフレームレートを上述の２倍の１２０Ｈｚとした場合の例である。ここで、フレームレートを２倍にした際に、入力画像を空間周波数の高域成分を含む画像からなるサブフレームと、低域成分のみを含む画像からなるサブフレームとに分離し、これら２つのサブフレームを時分割で表示する駆動方法が知られている。
【０００６】
図１５は、この駆動方法により液晶デバイスを駆動した際の一例の動特性を示す。図１５のように、高域成分を含む画像と低域成分のみからなる画像とを時分割で表示した場合、図１５の下部に例示されるように、エッジ成分を含む高域成分からなる画像に対して、ボケが知覚される。上述した図１３の下部の図と比較して分かるように、動きボケが大幅に低減されている。
【０００７】
ＣＲＴと同様な発光特性をもつ表示デバイスとして、フィールドエミッションタイプの表示デバイスの開発も進んでいる。このフィールドエミッションタイプの表示デバイスの特徴について、概略的に説明する。図１６を用いて、フィールドエミッションタイプの表示デバイスの駆動方法について説明する。図１６において、横軸は時間を、縦軸は画像の明るさを示している。また、ここでは、フレームレートが６０Ｈｚであるものとする。図１６に例示されるように、フィールドエミッションタイプの表示デバイスの場合は、１フレーム期間すなわち６０分の１秒のうちの一瞬だけ発光する。そのため、フィールドエミッションタイプの表示デバイスは、「インパルス型」のデバイスと呼ばれている。
【０００８】
図１７は、インパルス型デバイスの一例の動特性を示す。このように、インパルス型デバイスでは、１フレーム期間において画像が表示されている時間が極めて短いので、図１７の下部に例示されるように、動きボケが殆ど発生しない。
【０００９】
一方、インパルス型の表示デバイスは、フレームレートが６０Ｈｚの場合、６０分の１秒の周期で発光の有無を繰り返すので、この点滅をフリッカとして知覚し易い。フリッカは、表示デバイスの表示面積が大きくなるほど目立ち易いという特性があるため、近年において活発となっている表示装置の大画面化の流れの中では、特に問題となるおそれがある。
【００１０】
このフリッカ対策の一例として、駆動周波数を上げることが考えられる。図１８は、駆動周波数を上述の２倍の１２０Ｈｚとした場合の例である。インパルス型デバイスの場合は、１フレーム期間の発光量の総和が当該フレーム期間の明るさとなる。例えば、駆動周波数が１２０Ｈｚの場合には、駆動周波数が６０Ｈｚの場合の発光レベルに対して１／２の発光レベルの表示を２回行うことで、駆動周波数が６０Ｈｚの場合と同等の明るさを得ることができる。
【００１１】
図１９は、駆動周波数を１２０Ｈｚとし、入力画像を高域成分を含む画像からなるサブフレームと、低域成分のみを含む画像からなるサブフレームとを時分割で表示する場合の一例の動特性を示す。１フレームに対して単純に２回ずつ同じ画像を表示すると２重写りとなってしまうが、高域成分を含む画像を１回表示させることにより、図１９の下部に示されるように、画像のボケは低域成分に起因するもののみで、視覚的な劣化は抑制される。
【００１２】
このように、空間周波数成分に基づきフレーム画像を２つのサブフレームに分配して時分割で表示させる方法は、ホールド型デバイスにおける動きボケ対策として効果的であると共に、インパルス型デバイスにおけるフリッカ対策としても効果的である。
【００１３】
ホールド型デバイスに対する倍速駆動を実現する方法の一例が、特許文献１に開示されている。図２０は、この特許文献１に開示される回路構成の一部を示す。また、図２１は、図２０の回路の各部における波形の例を示す。なお、図２１に示される波形は、例えば輝度成分をライン方向に抽出してなるもので、中央部分に画像のエッジを含む。この図２１の波形の表現は、他の類似の図面に対して同様とする。
【００１４】
図２０において、入力フレーム（図２１（ａ））に対し、ローパスフィルタ処理部５０２では、低域成分のみを含むサブフレームを生成する（図２１（ｂ））。ローパスフィルタ処理部５０２から出力されたサブフレームは、フレームメモリ５０４に一旦記憶され、差分検出部５０３側の信号との同期が取られる。差分検出部５０３では、入力フレームとローパスフィルタ処理部５０２で生成した低域成分のみを含むサブフレームとの差分を検出し、高域成分を抽出する（図２１（ｃ））。ここで生成された高域成分と入力フレームを加算器５０６で加算することにより、高域成分を強調したサブフレーム（図２１（ｄ））を得ることができる。切替回路５０５では、フレームメモリ５０４から読み出した低域成分のみを含むサブフレームと、高域成分を強調したサブフレームとを、１２０Ｈｚの周期で切り替えて後段の処理に送る。高域成分を除いたサブフレームと高域成分を強調したサブフレームを交互に表示することで、６０Ｈｚの時間周期で見た場合は、元のフレーム画像が再現されていることになる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００６−１８４８９６
【発明の概要】
【発明が解決しようとする課題】
【００１６】
図１２および図１３を用いて説明したような駆動方法や、特許文献１に開示される上述の方法は、インパルス型デバイスにおけるフリッカを抑制するためのものである。
【００１７】
ここで、インパルス型デバイスにおいて、１フレーム期間に２つのサブフレームを連続表示すると、１フレーム期間に１フレームの画像を１回だけ表示する場合に比べ、最大輝度を上げることができる。この点に着目すると、１フレーム期間に２つのサブフレームを連続表示する方法は、ハイダイナミックレンジ動画に応用できることが分かる。ハイダイナミックレンジ動画は、例えばＣＣＤといった撮像素子から出力される撮像信号を用いて形成された、当該撮像信号による画像のダイナミックレンジを超えるダイナミックレンジを有する動画である。
【００１８】
例えば、動画の撮影時に、撮像信号を、ダイナミックレンジがそれぞれ８ビットの高域成分による画像信号と低域成分による画像信号とに分離し、それぞれ交互に既存の符号化方式で符号化して記録する。このとき用いられる符号化方式としては、既存のコーデックとの互換性や圧縮効率、画質などを考慮に入れ、ＭＰＥＧ２方式やＨ．２６４／ＡＶＣ方式などが適用される。
【００１９】
再生時には、記録時と同じ順序で高域成分による画像信号と低域成分による画像信号とを復号して、フレーム周期の２倍の駆動周波数でインパルス型デバイスに表示させる。これにより、表示された画像において撮像信号のダイナミックレンジである８ビットを超えるダイナミックレンジが得られることは、容易に推測できる。
【００２０】
この場合、高域成分による画像は、画像中の幾何学的な情報を多く含んでいる。一方、低域成分による画像は、画像中の階調性の情報を多く含んでいる。すなわち、低域成分による画像信号は、ハイダイナミックレンジ動画においてダイナミックレンジを表現するための要であるといえる。
【００２１】
しかしながら、上述した既存の符号化方式であるＭＰＥＧ２やＨ．２６４／ＡＶＣは、画像を所定サイズのブロックに分割し、ブロック単位で非可逆圧縮による符号化を行っている。そのため、復号された低域成分による画像には、ブロックノイズや、高域成分を取り除いたことによるモスキートノイズが発生してしまう可能性が高い。これにより、復号された高域成分による画像と低域成分による画像を合成したハイダイナミックレンジ動画は、ダイナミックレンジにおける階調性が著しく低下したものになるおそれがあるという問題点があった。
【００２２】
したがって、本発明の目的は、画像信号を高域成分と低域成分とに分離してそれぞれ符号化する際に、復号時の画質の低下を抑制できる符号化装置および符号化方法を提供することにある。
【課題を解決するための手段】
【００２３】
本発明は、上述した課題を解決するために、動画像データを、空間周波数の低周波成分による第１のデータと空間周波数の高周波成分による第２のデータとに分離する分離手段と、分離手段で分離された第１のデータに対して画素の間引きを行う間引き手段と、間引き手段で間引きされて残った画素の画素データを用いて曲線近似を行い近似データを生成する近似手段と、分離手段で分離された第１のデータと近似手段で生成された近似データとの差分を求め、差分を第２のデータに加算する加算手段と、間引き手段で間引きが行われた第１のデータを符号化する第１の符号化手段と、加算手段で差分が加算された第２のデータを符号化する第２の符号化手段とを有することを特徴とする符号化装置である。
【００２４】
また、本発明は、動画像データを、空間周波数の低周波成分による第１のデータと空間周波数の高周波成分による第２のデータとに分離する分離ステップと、分離ステップで分離された第１のデータに対して画素の間引きを行う間引きステップと、間引きステップで間引きされて残った画素の画素データを用いて曲線近似を行い近似データを生成する近似ステップと、分離ステップで分離された第１のデータと近似ステップで生成された近似データとの差分を求め、差分を第２のデータに加算する加算ステップと、間引きステップで間引きが行われた第１のデータを符号化する第１の符号化ステップと、加算ステップで差分が加算された第２のデータを符号化する第２の符号化ステップとを有することを特徴とする符号化方法である。
【発明の効果】
【００２５】
本発明は、画像信号を高域成分と低域成分とに分離してそれぞれ符号化する際に、復号時の画質の低下を抑制できる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態に適用可能な符号化装置の一例の構成を示すブロック図。
【図２】第２信号符号化部の一例の構成を示すブロック図。
【図３】本発明の第１の実施形態による画像符号化処理の一例を説明するためのフローチャート。
【図４】ラインデータの一例を示す図。
【図５】ラインデータの分割を説明するための図。
【図６】本発明の第１の実施形態による間引き方法の最適化処理の一例を説明するためのフローチャート。
【図７】本発明の第１の実施形態による間引き方法の最適化処理の一例を説明するための図。
【図８】本発明の第１の実施形態によるエントロピー符号化の一例を説明するための図。
【図９】本発明の第１の実施形態の符号化方式に対応する復号装置の一例の構成を示すブロック図。
【図１０】本発明の第１の実施形態の符号化方式に対応する復号装置の別の例の構成を示すブロック図。
【図１１】本発明の第２の実施形態に適用可能なコンピュータの一例の構成を示すブロック図。
【図１２】液晶デバイスの駆動方法について説明するための図。
【図１３】ホールド型のデバイスについて説明するための図。
【図１４】ホールド型のデバイスにおいて駆動周波数を２倍の１２０Ｈｚとした場合の例を示す図。
【図１５】駆動周波数２倍の１２０Ｈｚとした駆動方法により液晶デバイスを駆動した際の一例の動特性を示す図。
【図１６】フィールドエミッションタイプの表示デバイスの駆動方法について説明するための図。
【図１７】インパルス型デバイスの一例の動特性を示す図。
【図１８】駆動周波数２倍の１２０Ｈｚとした駆動方法によりインパルス型デバイスを駆動した際の一例の動特性を示す図。
【図１９】駆動周波数を１２０Ｈｚとし、入力画像を高域成分を含む画像からなるサブフレームと、低域成分のみを含む画像からなるサブフレームとを時分割で表示する場合の一例の動特性を示す図。
【図２０】従来技術による回路構成の一部を示す図。
【図２１】従来技術の回路の各部における一例の波形を示す図。
【発明を実施するための形態】
【００２７】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に適用可能な符号化装置１の一例の構成を示す。符号化装置１において、時間方向に連続的な複数のフレームからなる動画像データが入力部１００に対して入力され、分離部１０１に供給される。分離部１０１は、入力された動画像データを、例えばフィルタ処理により空間周波数に基づき高周波成分と低周波成分とに分離する。そして、分離部１０１は、高周波成分からなる動画像データによるサブフレーム（高周波動画データＨ）と、低周波成分からなる動画像データによるサブフレーム（低周波動画データＬ）とを出力する。
【００２８】
一例として、入力部１００に対してビット深度が９ビットの動画像データが入力される。分離手段としての分離部１０１は、入力部１００から供給されたこの動画像データを、それぞれ８ビットのビット深度を有する高周波動画データＨ（第２のデータ）と低周波動画データＬ（第１のデータ）とに分離する。
【００２９】
分離部１０１から出力された低周波動画データＬは、差分信号量子化部１０５および第２信号符号化部１０４にそれぞれ供給される。間引き手段および近似手段としての第２信号符号化部１０４は、後述する処理により、供給された低周波動画データＬに対して画素の間引きを行い、間引き処理の結果得られた画素の画素データを量子化する。第２信号符号化部１０４は、画素の間引きの際に、間引きで残った画素の画素データを用いて曲線近似を行い、曲線近似によって得られたデータの、元の低周波動画データＬに対する誤差に基づき間引きを行う画素数を決め、間引きの最適化を行う。
【００３０】
さらに、第１の符号化手段としての第２信号符号化部１０４は、間引き処理で残った画素の画素データを量子化したデータに対してランレングス符号化などのエントロピー符号化を施して、符号化ストリームＬｓ（第１の符号化ストリーム）を生成する。この符号化ストリームＬｓは、ＭＵＸ１０６に供給される。また、第２信号符号化部１０４は、量子化されたデータを逆量子化してローカルデコード画像を生成し、差分信号量子化部１０５に供給する。
【００３１】
差分信号量子化部１０５は、第２信号符号化部１０４から供給されたローカルデコード画像と、分離部１０１から供給された低周波動画データＬとの差分を算出し、算出された差分に対してスカラー量子化を施す。これに限らず、ベクトル量子化を用いてもよい。量子化された差分データＬｑは、差分信号加算部１０２に供給される。
【００３２】
一方、分離部１０１から出力された高周波動画データＨは、差分信号量子化部１０５と共に加算手段を構成する差分信号加算部１０２に供給され、差分信号量子化部１０５から出力された差分データＬｑが加算される。差分データＬｑが加算された高周波動画データＨ＋Ｌｑは、第１信号符号化部１０３に供給される。第２の符号化手段としての第１信号符号化部１０３は、差分信号加算部１０２から供給された高周波動画データＨ＋Ｌｑに対して、例えばＭＰＥＧ２方式やＨ．２６４方式といった既存の動画像圧縮符号化方式を用いて圧縮符号化処理を施す。
【００３３】
一例として、圧縮符号化方式としてＭＰＥＧ２を用いた場合、第１信号符号化部１０３は、入力された高周波動画データＨ＋Ｌｑのフレームを符号化順に並べ替える。そして、高周波動画データＨ＋Ｌｑに対してフレーム内符号化とフレーム間符号化とを用いて圧縮符号化を施し、さらに、圧縮符号化されたデータに対してエントロピー符号化を施して圧縮効率を向上させる。第１信号符号化部１０３で圧縮符号化された高周波動画データＨ＋Ｌｑは、符号化ストリームＨｓ（第２の符号化ストリーム）としてＭＵＸ１０６に供給される。
【００３４】
合成手段としてのＭＵＸ１０６は、第２信号符号化部１０４から供給された符号化ストリームＬｓと、第１信号符号化部１０３から供給された符号化ストリームＨｓとを合成し、１の符号化ストリームＨＬを生成する。この符号化ストリームＬｓと符号化ストリームＨｓとが合成された符号化ストリームＨＬが、最終的な符号化ストリームとしてこの符号化装置１から出力される。
【００３５】
次に、上述した第２信号符号化部１０４について、より詳細に説明する。図２は、第２信号符号化部１０４の一例の構成を示す。図２に例示されるように、第２信号符号化部１０４は、曲線生成部２００、曲線量子化部２０１、曲線エントロピー符号化部２０２および曲線逆量子化部２０３を有する。
【００３６】
分離部１０１から出力された低周波動画データＬは、曲線生成部２００に供給される。曲線生成部２００は、供給された低周波動画データＬに対して、所定のアルゴリズムを用いて曲線近似を行うと共に、画素間引きを行う。このとき、後述するように、間引き方法を変えながら曲線近似を行う処理を繰り返す。そして、曲線近似で得たデータ（近似データ）の元の低周波動画データＬに対する誤差Ｅｏが閾値以下すなわち閾値Ｅｑ以下であって、且つ、間引きする画素数が最大となるように、間引き方法を最適化する。なお、画素の間引きは、画素の輝度値に基づき行うものとする。なお、閾値Ｅｑは、圧縮率に応じて設定される値である。
【００３７】
曲線生成部２００において最適化された間引き方法で低周波動画データＬが間引きされたデータ、すなわち、間引きにより残った画素の画素データが、曲線量子化部２０１に供給される。曲線量子化部２０１は、曲線生成部２００から供給されたデータを量子化し、曲線エントロピー符号化部２０２および曲線逆量子化部２０３に供給する。
【００３８】
曲線エントロピー符号化部２０２は、曲線量子化部２０１から供給されたデータに対し、曲線生成部２００で低周波動画データＬが間引きされた位置の画素値を例えば−１として、エントロピー符号化を施す。エントロピー符号化としては、例えばランレングス符号化を用いることができる。曲線エントロピー符号化部２０２でエントロピー符号化されたデータは、フレーム毎に再生時刻を示す情報を付加されて、低周波動画データＬに基づく符号化ストリームＬｓとして第２信号符号化部１０４から出力される。
【００３９】
再生時刻を示す情報としては、フレーム毎のタイムコードを用いることができる。第１符号符号化部１０３がＭＰＥＧ２方式で符号化を行う場合には、ＰＴＳ(Presentation Time Stamp)を用いることが考えられる。
【００４０】
一方、曲線逆量子化部２０３は、曲線量子化部２０１から供給されたデータに対して逆量子化処理を施し、低周波動画データＬに基づくローカルデコード画像を生成する。例えば、曲線逆量子化部２０３は、曲線量子化部２０１から供給されたデータに基づき曲線生成部２００で間引きされた画素位置の画素値を持つ画素データを生成する。そして、この生成された画素データと、曲線量子化部２０１から供給された画素データとを量子化することで、ローカルデコード画像を生成する。曲線逆量子化部２０３で生成されたローカルデコード画像のデータは、差分信号量子化部１０５に供給される。
【００４１】
次に、本第１の実施形態による画像符号化処理の一例について、図３のフローチャートを用いて説明する。符号化装置１において、入力部１００に対して１フレーム（フレームＦｉとする）の動画像データが入力される（ステップＳ１００）。この動画像データは、分離部１０１で、フィルタ処理により高周波動画データＨと低周波動画データＬとに分離される（ステップＳ１０１）。分離された高周波動画データＨおよび低周波動画データＬは、例えば分離部１０１が有するバッファに一時的に溜め込まれる。
【００４２】
分離部１０１のバッファから、低周波動画データＬのデータが１ライン分、読み出され、このラインデータＬｎｊが差分信号量子化部１０５および第２信号符号化部１０４にそれぞれ供給される。図４は、ラインデータＬｎｊの一例を示す。ここでは、ラインデータＬｎｊを画素位置に対する輝度値として表している。
【００４３】
第２信号符号化部１０４に入力されたラインデータＬｎｊは、曲線生成部２００に供給される。曲線生成部２００は、供給されたラインデータＬｎｊを複数の区間に分割する（ステップＳ１０２）。これは、後述する曲線近似において、任意の曲線を同一の手法で近似できる関数は存在しないからである。そこで、ステップＳ１０２では、曲線生成部２００は、曲線近似が可能なようにラインデータＬｎｊを分割する。図５は、ラインデータＬｎｊを画素間の位置Ｐで分割し、区間Ａおよび区間Ｂを生成した例を示す。
【００４４】
例えば、ラインデータＬｎｊを構成する画素の所定画素数毎に、当該ラインデータＬｎｊを分割することが考えられる。分割単位の画素数は、例えば統計的な手法により実験的に求めて予め決めておくことが考えられる。これに限らず、ラインデータＬｎｊをサンプル値に基づき曲線近似した結果に基づき分割位置を決めることもできる。例えば、ラインデータＬｎｊが近似された曲線を２次微分して分割位置を決めることが考えられる。さらに、曲線近似の結果と近似前の元のラインデータＬｎｊとの誤差を求め、この誤差が所定範囲内になるように分割位置を決めることもできる。
【００４５】
ラインデータＬｎｊが分割されると、処理はステップＳ１０３に移行される。ステップＳ１０３で、曲線生成部２００は、ラインデータＬｎｊを分割した区間毎に、間引き処理および曲線近似処理を行い、その結果に基づき間引き方法を最適化する。すなわち、上述したように、曲線生成部２００は、ラインデータＬｎｊを分割した区間毎に間引き方法を変えながら曲線近似を行い、近似された曲線と元のラインデータＬｎｊとの誤差Ｅｏを求める。そして、元のラインデータＬｎｊに対する誤差Ｅｏが所定値Ｅｑに収まり、且つ、間引きする画素数が最大になるように間引き方法を決定する。
【００４６】
誤差Ｅｏは、例えば次のようにして求めることができる。すなわち、曲線近似で得られた曲線における、間引きした画素位置での画素値（輝度値）をそれぞれ求める。そして、この間引きした画素位置での画素値および間引き処理で残った画素の画素値と、間引きを行わない元のラインデータＬｎｊにおける区間Ｓｍの各画素の画素値との差分の絶対値を、画素位置が対応する同士でそれぞれ求める。この画素位置毎の画素値の差分絶対値の和を求め、この差分絶対値和に基づき、誤差Ｅｏを求める。
【００４７】
図６のフローチャートを用いて、ステップＳ１０３における間引き方法の最適化処理の一例について説明する。ここでは、ラインデータＬｎｊをｎ分割したうちの１の区間Ｓｍについて行われる処理について説明する。なお、この図６のフローチャートによる間引き処理は、図３のフローチャートにおけるステップＳ１０２で分割されて形成された、ラインデータＬｎｊの全ての区間Ｓｍに対してそれぞれ行われる。
【００４８】
曲線生成部２００は、先ず、ステップＳ２００で、区間Ｓｍに含まれる画素から１または複数の画素を間引く。一例として、区間Ａを画素単位で示した図７（ａ）の状態から、図７（ｂ）に例示されるように、左から２番目、３番目および５番目の位置の画素（図中に×（バツ）印で示す）を間引く。このときの間引く画素（または間引かない画素）の位置の組み合わせを、組み合わせＣｋとする。
【００４９】
次のステップＳ２０１では、ステップＳ２００で画素を間引いた区間Ｓｍに対して、残った画素を用いて曲線近似を行う。図７（ｃ）は、図７（ｂ）に例示される３個の画素を用いて曲線近似した例を示す。曲線近似に用いるアルゴリズムは、特に限定しないが、例えばスプライン曲線を用いることができる。与えられた点を必ずしも全て通らないような曲線近似アルゴリズムを用いてもよい。
【００５０】
次のステップＳ２０２では、間引きを行わない元のラインデータＬｎｊの区間Ｓｍに対する、ステップＳ２０１で曲線近似した結果の誤差Ｅｏ（絶対値）を求める。求められた誤差Ｅｏは、この誤差Ｅｏを求めた組み合わせＣｋを示す情報と関連付けられて保持される。
【００５１】
ステップＳ２０２で組み合わせＣｋについて誤差Ｅｏが求められると、処理は次のステップＳ２０３に移行され、区間Ｓｊに含まれる画素の画素位置の全ての組み合わせＣｋについて誤差Ｅｏを求めたか否かが判定される。若し、全ての組み合わせＣｋについて誤差Ｅｏを求めていないと判定されたら、処理はステップＳ２００に戻され、未だ誤差Ｅｏを求めていない他の組み合わせＣｋによる間引き処理が行われる。
【００５２】
一方、ステップＳ２０３で、全ての組み合わせＣｋについて誤差Ｅｏが求められたと判定されたら、処理はステップＳ２０４に移行される。ステップＳ２０４では、ステップＳ２０３までの処理で求められた誤差Ｅｏのそれぞれを閾値Ｅｑと比較し、誤差Ｅｏが閾値Ｅｑ以下になる組み合わせＣｋが存在するか否かが判定される。
【００５３】
若し、存在すると判定されたら、処理はステップＳ２０５に移行され、誤差Ｅｏが所定値Ｅｑに収まる組み合わせＣｋのうち、間引きした画素数が最も多い組み合わせＣｋｍａｘが選択される。この組み合わせＣｋｍａｘによる間引きで残った画素が、低周波画像データＬについての最終的な符号化ストリームＬｓにおける、ラインデータＬｎｊに含まれる区間Ｓｍの画素として保持される。そして、処理は図６のフローチャートを抜け、図３のステップＳ１０４およびステップＳ１０５に移行される。
【００５４】
一方、ステップＳ２０４で、誤差Ｅｏが閾値Ｅｑ以下になる組み合わせＣｋが存在しないと判定されたら、処理はステップＳ２０６に移行され、区間Ｓｍについては間引きを行わないように決定される。すなわち、対象区間に含まれる全ての画素が、符号化ストリームＬｓにおけるラインデータＬｎｊに含まれる区間Ｓｍの画素として保持される。そして、処理は図６のフローチャートを抜け、図３のステップＳ１０４およびステップＳ１０５に移行される。
【００５５】
なお、本第１の実施形態に適用可能な間引き方法の最適化処理は、上述の例に限定されない。例えば、画素を等間隔など予め決められたパターンで間引いて誤差Ｅｏを求めることで、間引き方法の最適化を行うことが考えられる。より具体的には、例えば最初に１画素おきに画素を残すように間引きを行い誤差Ｅｏを求める。次に２画素おきに画素を残すように間引きを行い誤差Ｅｏを求める。以下同様にして、残す画素の間隔を順次広げながら間引きを行ってそれぞれ誤差Ｅｏを求め、誤差Ｅｏが閾値Ｅｑ以下であって、且つ、間引きを行う画素数が最大になる間引き方法を決定する。
【００５６】
さらに別の方法として、予め決められた間引き方法を固定的に用いるようにしてもよい。
【００５７】
説明は図３のフローチャートに戻り、ステップＳ１０４では、上述したようにしてステップＳ１０３で間引き処理して得られたラインデータＬｎｊの画素のデータをエントロピー符号化し、低周波動画データＬに基づく符号化ストリームＬｓを生成する。
【００５８】
より具体的には、間引き処理により残った、ラインデータＬｎｊの画素データと、ラインデータＬｎｊにおける間引き位置を示す情報とが曲線生成部２００から曲線量子化部２０１に供給される。曲線量子化部２０１では、曲線生成部２００から供給された画素データを所定の量子化スケールで量子化する。この量子化された画素データが、ラインデータＬｎｊにおける間引き位置を示す情報と共に曲線エントロピー符号化部２０２に供給される。
【００５９】
曲線エントロピー符号化部２０２は、例えば図８に示されるように、ラインデータＬｎｊにおける間引きした画素位置の画素値を−１に置き換えて、ラインデータＬｎｊに対してランレングス符号化を施し、符号化ストリームＬｓを生成する。この符号化ストリームＬｓは、上述したように、第２信号符号化部１０４から出力されてＭＵＸ１０６に供給される。
【００６０】
一方、ステップＳ１０５では、曲線量子化部２０１で量子化されたラインデータＬｎｊの画素データが、ラインデータＬｎｊにおける間引き位置を示す情報と共に曲線逆量子化部２０３に供給される。曲線逆量子化部２０３は、曲線量子化部２０１から供給された画素データと間引き位置を示す情報とに基づき曲線近似を行い、ローカルデコード画像のデータを生成する。このローカルデコード画像のデータは、差分信号量子化部１０５に供給される。差分信号量子化部１０５は、ローカルデコード画像のデータと元のラインデータＬｎｊとの差分を算出し、算出された差分に対してスカラー量子化を施す。量子化された差分データＬｑは、差分信号加算部１０２に供給される。
【００６１】
なお、上述のステップＳ１０４およびステップＳ１０５の処理は、並列的に行うことが可能である。
【００６２】
処理はステップＳ１０６に移行され、差分信号加算部１０２において、差分データＬｑが分離部１０１から供給された高周波動画データＨに対して加算され、ラインデータＬｎｊに対応する１ライン分の高周波動画データＨ＋Ｌｑが生成される。
【００６３】
次のステップＳ１０７で、フレームＦｉの全てのラインデータＬｎｊについて処理が終了したか否かが判定される。若し、終了したと判定されたら、処理はステップＳ１００に戻され、次のフレームＦｉ＋１に対する処理が行われる。それと共に、処理が終了したフレームＦｉのデータが入力フレームとして第１信号符号化部１０３に対して供給される。
【００６４】
一方、フレームＦｉの全てのラインデータＬｎｊについて処理が終了していないと判定されたら、処理はステップＳ１０２に戻され、フレームＦｉにおける次のラインデータＬｎｊ＋１に対する処理が行われる。
【００６５】
図９は、本第１の実施形態の符号化方式に対応する復号装置２Ａの一例の構成を示す。符号化装置１で高周波動画データＨに基づく符号化ストリームＨｓと、低周波動画データＬに基づく符号化ストリームＬｓとが合成されて出力された符号化ストリームＨＬが、入力部３００を介してＨＬ符号分離部３０１に供給される。ＨＬ符号分離部３０１は、供給された符号化ストリームＨＬを符号化ストリームＨｓと符号化ストリームＬｓとに分離する。
【００６６】
ＨＬ符号分離部３０１で符号化ストリームＨＬから分離された符号化ストリームＨｓは、第１符号復号部３０２に供給される。第１符号復号部３０２は、供給された符号化ストリームＨｓを、符号化方式（この例ではＭＰＥＧ２方式）に対応した復号方式で以て復号し、高周波側の復号動画像データＨｄｅｃとしてフレーム毎に出力する。この復号動画像データＨｄｅｃは、符号化装置１において、高周波動画データＨに対して、低周波動画データＬを間引きして曲線近似したデータと、間引き前の元の低周波動画データＬとの差分を加算した高周波動画データＨ＋Ｌｑに対応する。第１符号復号部３０２から出力された復号動画像データＨｄｅｃは、バッファ３０３に溜め込まれる。
【００６７】
また、第１符号復号部３０２は、符号化ストリームＨｓからフレーム毎の再生時刻を示す情報を取り出し、制御部３１０に供給する。
【００６８】
一方、ＨＬ符号分離部３０１で符号化ストリームＨＬから分離された符号化ストリームＬｓは、第２符号復号部３０４に供給される。第２符号復号部は、供給された符号化ストリームＬｓに対して、符号化装置１の第２信号符号化部１０４でなされた符号化処理と逆の処理を行い、当該符号化ストリームＬｓを復号する。
【００６９】
すなわち、第２符号復号部３０４は、符号化ストリームＬｓのエントロピー符号を復号し、復号して得られたデータを逆量子化して画素データを得る。そして、この画素データを用いて、符号化装置１の第２信号符号化部１０４における曲線生成部２００で用いたのと同様のアルゴリズムにより曲線近似を行い、符号化の際に間引きで失われた画素データを、曲線近似の結果に基づき復元する。逆量子化で得られた画素データと、この曲線近似に基づき復元された画素データとを、低周波側の復号動画像データＬｄｅｃとしてフレーム毎に出力する。第２符号復号部３０４から出力された復号動画像データＬｄｅｃは、バッファ３０５に溜め込まれる。
【００７０】
なお、符号化の際にラインを分割した境界位置では、復号時の曲線近似による曲線が不連続になる可能性がある。そこで、符号化時に、ライン分割の境界近傍の数画素を間引かないようにすることが考えられる。また、復号時の曲線近似において、ライン分割の境界位置の近傍では、隣接する画素データの平均値などを用いて近似を行うなどの方法も考えられる。
【００７１】
また、第２符号復号部３０４は、符号化ストリームＬｓからフレーム毎の再生時刻を示す情報を取り出し、制御部３１０に供給する。
【００７２】
制御部３１０は、バッファ３０３からの復号動画像データＨｄｅｃの読み出しと、バッファ３０５からの復号動画像データＬｄｅｃの読み出しとを制御する。このとき、制御部３１０は、第１符号復号部３０２および第２符号復号部３０４からそれぞれ供給された、フレーム毎の再生時刻を示す情報に基づき、復号動画像データＨｄｅｃと復号動画像データＬｄｅｃとで同期をとるように、読み出し制御を行う。
【００７３】
バッファ３０３および３０５からそれぞれ出力された復号動画像データＨｄｅｃおよび復号動画像データＬｄｅｃは、加算部３０６で対応する画素毎に加算されて、出力部３０７に対して出力される。
【００７４】
なお、上述では、高周波動画データＨに基づく符号化ストリームＨｓと、低周波動画データＬに基づく符号化ストリームＬｓとをそれぞれ復号して画素毎に加算して出力するものとして説明したが、これはこの例に限定されない。例えば、図１０に例示される復号装置２Ｂの如く、符号化ストリームＨｓを復号した復号動画像データＨｄｅｃと、符号化ストリームＬｓを復号した復号動画像データＬｄｅｃをスイッチ部３２０により交互に切り換えて出力するようにしてもよい。
【００７５】
例えば、制御部３１０は、復号動画像データＨｄｅｃによるサブフレームと、復号動画像データＬｄｅｃによるサブフレームとが、１フレーム周期内で交互に出力されるように、バッファ３０３および３０５の読み出しの制御と、スイッチ部３２０の制御とを行う。
【００７６】
以上説明したように、本第１の実施形態によれば、ハイダイナミックレンジ動画における階調性の要になる、空間周波数の低周波成分の特性を損なわずに動画像データの圧縮符号化が可能である。
【００７７】
なお、上述では、入力部１００に入力される動画像データのビット深度が９ビットであるものとして説明したが、これはこの例に限定されるものではない。また、分離部１０１において、供給された動画像データを、高周波動画データＨおよび低周波動画データＬがそれぞれ８ビットのビット深度を持つように分離するように説明したが、これはこの例に限定されない。
【００７８】
さらに、上述では、入力された動画像データの空間周波数の周波数成分を、高周波成分と低周波成分との２つの帯域に分離するように説明したが、これはこの例に限定されない。すなわち、入力された動画像データを、さらに多くの帯域に分離するようにしてもよい。この場合、分離された帯域毎に符号化部を設けるようにする。例えば、最も高い帯域の信号を符号化する符号化部において、ＭＰＥＧ２やＨ．２６４による符号化を行い、それ以外の帯域の信号を符号化する符号化部は、上述した曲線近似を用いた符号化を行うことが考えられる。
【００７９】
さらにまた、上述では、第１信号符号化部１０３では符号化方式としてＭＰＥＧ２やＨ．２６４を用いて高周波動画データＨの符号化を行うように説明したが、これはこの例に限定されず、他の符号化方式を用いてもよい。この場合、符号化の対象となる高周波動画データＨは、高周波成分を多く持った信号であるため、波形符号化であることが望ましいが、フラクタル符号化や、その他動画像を圧縮する方式であれば適用することができる。
【００８０】
また、ステップＳ１０２で選択するライン数は特に限定するものではなく、複数ラインを選択し、それぞれのラインを並列的に処理しても構わない。その場合、曲線生成部２００、曲線量子化部２０１、曲線エントロピー符号化部２０２において利用してきた曲線を曲面として扱って処理を進めれば、同様の効果を得ることが可能である。
【００８１】
上述では、分離部１０１が１フレーム分の動画像データを周波数毎に分離するように説明したが、これはこの例に限定されない。例えば、分離部１０１は、時間軸方向に周波数成分の分離を行うこともできる。一例として、時間軸方向に時刻ｔは高周波成分、時刻ｔ＋１は低周波成分だけを抽出することが考えられる。換言すれば、時刻ｔの低周波成分と、時刻ｔ＋１の高周波成分は、破棄して符号化する。この場合、差分信号加算部１０２は、時刻ｔと時刻ｔ＋１の信号を加算することになる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態は、上述した符号化装置１をコンピュータ上で動作するプログラムで実現する例である。図１１は、本発明の第２の実施形態に適用可能なコンピュータ３の一例の構成を示す。
【００８２】
コンピュータ３において、バス４００に対してＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ネットワークＩ／Ｆ４０４、入出力Ｉ／Ｆ４０５、出力装置４０６および記憶装置４０７が接続される。バス４００に接続される各部は、バス４００を介して互いにデータのやりとりを行うことが可能とされている。
【００８３】
ＣＰＵ４０１は、ＲＯＭ４０２や記憶装置４０７に記憶されるプログラムに従い、ＲＡＭ４０３をワークメモリとして用いてこのコンピュータ３の動作を制御する。ネットワークＩ／Ｆ４０４は、ＣＰＵ４０１の制御により、例えばＬＡＮやインターネットといったネットワークに対する通信を制御し、ネットワークに接続される外部機器との間でデータのやりとりなどを行う。
【００８４】
記憶装置４０７は、例えばハードディスクであって、ＣＰＵ４０１が動作するためのプログラムや、各種のデータが格納される。本発明による符号化処理を行うための符号化プログラムは、この記憶装置４０７に格納される。ＣＰＵ４０１は、記憶装置４０７から当該符号化プログラムを読み出して実行することで、上述した符号化装置１をソフトウェア的に構成し、上述した第１の実施形態による符号化処理を実行する。
【００８５】
入出力Ｉ／Ｆ４０５は、例えばキーボードやマウスといったユーザ入力を受け付ける入力デバイスが接続される。また、入出力Ｉ／Ｆ４０５は、脱着可能な不揮発性の半導体メモリや、データ入出力を行う他の外部機器を接続することができる。出力装置４０６は、例えば画像の表示を行う表示デバイスが接続され、ＣＰＵ４０１で生成された画像データを当該表示デバイスが表示可能な形式の信号に変換して出力する。
【００８６】
ＣＰＵ４０１がプログラムに従い本発明による符号化処理を行うための動画像データは、例えば、ネットワークＩ／Ｆ４０４や入出力Ｉ／Ｆ４０５からコンピュータ３に対して供給され、記憶装置４０７に格納される。ＣＰＵ４０１は、記憶装置４０７に格納された動画像データを符号化プログラムに従い符号化し、生成された符号化ストリームＨＬを記憶装置４０７に格納する。符号化により生成された符号化ストリームＨＬは、ネットワークＩ／Ｆ４０４を介して外部に転送することも可能である。さらに、符号化ストリームＨＬを、入出力Ｉ／Ｆ４０５に接続される不揮発性の半導体メモリや外部機器に出力することもできる。
【００８７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011019077.tif 000003
【図２】
2011019077.tif 000004
【図３】
2011019077.tif 000005
【図４】
2011019077.tif 000006
【図５】
2011019077.tif 000007
【図６】
2011019077.tif 000008
【図７】
2011019077.tif 000009
【図８】
2011019077.tif 000010
【図９】
2011019077.tif 000011
【図１０】
2011019077.tif 000012
【図１１】
2011019077.tif 000013
【図１２】
2011019077.tif 000014
【図１３】
2011019077.tif 000015
【図１４】
2011019077.tif 000016
【図１５】
2011019077.tif 000017
【図１６】
2011019077.tif 000018
【図１７】
2011019077.tif 000019
【図１８】
2011019077.tif 000020
【図１９】
2011019077.tif 000021
【図２０】
2011019077.tif 000022
【図２１】
2011019077.tif 000023