(57)【要約】【課題】画像信号からなるフレームを記憶装置に記憶する際の圧縮および伸張を簡便な処理により行う。【解決手段】画像処理装置において、記憶部は、複数の画像信号により構成されるフレームにおいて複数の画像信号の一部を除去する間引きにより圧縮が行われたフレームである圧縮フレームを供給する。伸張部は、供給された圧縮フレームにおける間引きされた画像信号をフレーム毎の間引きの情報である間引き情報に基づいて復元することにより圧縮フレームの伸張を行う。【選択図】図２
2016219973.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像信号により構成されるフレームにおいて前記複数の画像信号の一部を除去する間引きにより圧縮が行われた前記フレームである圧縮フレームを供給する記憶部と、
前記供給された前記圧縮フレームにおける前記間引きされた前記画像信号を前記フレーム毎の前記間引きの情報である間引き情報に基づいて復元することにより前記圧縮フレームの伸張を行う伸張部と
を具備する画像処理装置。
【請求項２】
前記間引き情報を生成する間引き情報生成部と、
前記間引き情報に基づく前記間引きにより前記フレームの前記圧縮を行って前記記憶部に記憶させる圧縮部と
をさらに具備する
請求項１記載の画像処理装置。
【請求項３】
前記間引き情報生成部は、前記フレームに含まれる前記画像信号数に対する前記間引きの対象となる前記画像信号数の比率である間引き率を前記間引き情報として生成し、
前記圧縮部は、前記間引き率に基づいて前記間引きの対象となる前記画像信号数を決定して前記間引きを行う
請求項２記載の画像処理装置。
【請求項４】
前記圧縮部は、前記フレームを水平方向に分割したラインにおける前記間引き対象の前記画像信号の配置の情報である複数の配置パターンを所定の順序により前記ライン毎の前記間引きに適用して前記圧縮を行い、
前記伸張部は、前記配置パターンを前記所定の順序により前記ライン毎の前記復元に適用して前記伸張を行う
請求項３記載の画像処理装置。
【請求項５】
前記間引き情報生成部は、前記間引き率と前記所定の順序の情報である間引き位置情報とを前記間引き情報として生成する請求項４記載の画像処理装置。
【請求項６】
前記間引き情報生成部は、前記間引き率と連続する複数の前記フレーム毎に異なる前記間引き位置情報とを前記間引き情報として生成する請求項５記載の画像処理装置。
【請求項７】
前記圧縮部は、前記間引きの対象となる前記画像信号が水平方向に隣接しない配置となる前記配置パターンに基づいて前記圧縮を行う請求項４記載の画像処理装置。
【請求項８】
前記フレームとは異なるフレームである第２のフレームと前記フレームとを所定の混合比率に基づいて混合して新たなフレームを生成するフレーム混合部をさらに具備し、
前記間引き情報生成部は、前記混合比率に基づいて前記フレームおよび前記第２のフレームの前記間引き率を前記間引き情報として生成する
請求項３記載の画像処理装置。
【請求項９】
前記間引き情報を生成する間引き情報生成部をさらに具備し、
前記記憶部は、前記フレームを記憶し、前記間引き情報に基づく前記間引きにより前記記憶した前記フレームの前記圧縮を行って前記伸張部に供給する
請求項１記載の画像処理装置。
【請求項１０】
複数の画像信号により構成されるフレームにおいて前記複数の画像信号の一部を除去する間引きにより圧縮が行われた前記フレームである圧縮フレームにおける前記間引きされた前記画像信号を前記フレーム毎の前記間引きの情報である間引き情報に基づいて復元することにより前記圧縮フレームの伸張を行う伸張手順を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関する。詳しくは、画像処理の過程で一時的に記憶装置に画像信号を記憶させる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、インターネット等を経由して供給されるストリームを処理して表示用の画像信号に変換する画像処理システムが使用されている。このストリームから表示用の画像信号を生成する際、各種の画像処理、例えば、画像の解像度を表示装置に合わせて変換する解像度変換処理等が行われる。これらの処理のたびに、１画面分の画像信号であるフレームを単位として処理された画像信号がメモリに記憶される。このフレームは、比較的容量が大きいため、大容量のＤＲＡＭ（Dynamic Random Access Memory）に記憶される。また、動画を表示する際には時系列のフレームを逐次処理する必要があり、ＤＲＡＭに対するアクセスが増加する。この結果、ＤＲＡＭアクセスのための消費電力が増加するという問題がある。そこで、フレームを圧縮してＤＲＡＭに記憶させ、読み出した後に伸張して上述の画像処理に使用するシステムが提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５１８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術は、ＤＲＡＭに記憶させる前に圧縮することによりフレームの容量を減らし、ＤＲＡＭアクセスのための消費電力を削減するものである。この圧縮は画像信号を間引くことにより行われ、異なる間引き方法により生成された２つのフレームがＤＲＡＭに記憶される。これらを伸張する際には、２つのフレームから超解像処理を行って元のフレームを復元する。ここで、超解像処理とは、複数の低解像度フレームから１つの高解像度フレームを生成する処理である。演算を繰返し行って低解像度フレームから高解像度フレームを推定する方式が使用される。このように、上述の従来技術では、圧縮した２つフレームの復元を超解像処理により行うため、処理が複雑になるという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、フレームを記憶装置に記憶させる際の圧縮および伸張を簡便な処理により行うことを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、複数の画像信号により構成されるフレームにおいて上記複数の画像信号の一部を除去する間引きにより圧縮が行われた上記フレームである圧縮フレームを供給する記憶部と、上記供給された上記圧縮フレームにおける上記間引きされた上記画像信号を上記フレーム毎の上記間引きの情報である間引き情報に基づいて復元することにより上記圧縮フレームの伸張を行う伸張部とを具備する画像処理装置である。これにより、上記圧縮フレームが記憶部から供給されて伸張されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記間引き情報を生成する間引き情報生成部と、上記間引き情報に基づく上記間引きにより上記フレームの上記圧縮を行って上記記憶部に記憶させる圧縮部とをさらに具備してもよい。これにより、上記間引きによりフレームの圧縮が行われるという作用をもたらす。
【０００８】
また、この第１の側面において、上記間引き情報生成部は、上記フレームに含まれる上記画像信号数に対する上記間引きの対象となる上記画像信号数の比率である間引き率を上記間引き情報として生成し、上記圧縮部は、上記間引き率に基づいて上記間引きの対象となる上記画像信号数を決定して上記間引きを行ってもよい。これにより、上記間引き率に基づいて間引きが行われるという作用をもたらす。
【０００９】
また、この第１の側面において、上記圧縮部は、上記フレームを水平方向に分割したラインにおける上記間引き対象の上記画像信号の配置の情報である複数の配置パターンを所定の順序により上記ライン毎の上記間引きに適用して上記圧縮を行い、上記伸張部は、上記配置パターンを上記所定の順序により上記ライン毎の上記復元に適用して上記伸張を行ってもよい。これにより、予め設定された順序により上記配置パターンが上記間引きおよび上記復元に適用されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記間引き情報生成部は、上記間引き率と上記所定の順序の情報である間引き位置情報とを上記間引き情報として生成してもよい。これにより、上記間引き率および上記間引き位置情報が間引き情報として生成されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記間引き情報生成部は、上記間引き率と連続する複数の上記フレーム毎に異なる上記間引き位置情報とを上記間引き情報として生成してもよい。これにより、連続する複数の上記フレーム毎に異なる上記間引き位置情報が生成されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記圧縮部は、上記間引きの対象となる上記画像信号が水平方向に隣接しない配置となる上記配置パターンに基づいて上記圧縮を行ってもよい。これにより、上記間引きの対象となる上記画像信号が水平方向に隣接しない配置になるという作用をもたらす。
【００１３】
また、この第１の側面において、上記フレームとは異なるフレームである第２のフレームと上記フレームとを所定の混合比率に基づいて混合して新たなフレームを生成するフレーム混合部をさらに具備し、上記間引き情報生成部は、上記混合比率に基づいて上記フレームおよび上記第２のフレームの上記間引き率を上記間引き情報として生成してもよい。これにより、上記混合比率に基づく上記フレームおよび上記第２のフレームの上記間引き率が上記間引き情報として生成されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記間引き情報を生成する間引き情報生成部をさらに具備し、上記記憶部は、上記フレームを記憶し、上記間引き情報に基づく上記間引きにより上記記憶した上記フレームの上記圧縮を行って上記伸張部に供給してもよい。これにより、上記フレームが記憶部において圧縮されるという作用をもたらす。
【００１５】
また、本技術の第２の側面は、複数の画像信号により構成されるフレームにおいて上記複数の画像信号の一部を除去する間引きにより圧縮が行われた上記フレームである圧縮フレームにおける上記間引きされた上記画像信号を上記フレーム毎の上記間引きの情報である間引き情報に基づいて復元することにより上記圧縮フレームの伸張を行う伸張手順を具備する画像処理方法である。これにより、上記圧縮フレームが記憶部から供給されて伸張されるという作用をもたらす。
【発明の効果】
【００１６】
本技術によれば、フレームを記憶装置に記憶させる際の圧縮および伸張を簡便な処理により行うという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本技術の第１の実施の形態における画像処理装置の構成例を示す図である。
【図２】本技術の第１の実施の形態における画像処理装置の機能構成例を示す図である。
【図３】本技術の第１の実施の形態における画像処理部１００の処理の一例を示す図である。
【図４】本技術の実施の形態における圧縮方法の一例を示す図である。
【図５】本技術の第１の実施の形態における間引き情報例を示す図である。
【図６】本技術の実施の形態における配置パターン（間引き率１／８）例を示す図である。
【図７】本技術の実施の形態における配置パターン（間引き率２／８）例を示す図である。
【図８】本技術の実施の形態における配置パターン（間引き率３／８）例を示す図である。
【図９】本技術の実施の形態における配置パターン（間引き率４／８）例を示す図である。
【図１０】本技術の第１の実施の形態における圧縮部１３０の構成例を示す図である。
【図１１】本技術の実施の形態における伸張方法の一例を示す図である。
【図１２】本技術の実施の形態における画像信号の復元方法の一例を示す図である。
【図１３】本技術の第１の実施の形態における伸張部１４０の構成例を示す図である。
【図１４】本技術の第１の実施の形態における圧縮処理の一例を示す図である。
【図１５】本技術の第１の実施の形態における伸張処理の一例を示す図である。
【図１６】本技術の第２の実施の形態における圧縮方法の一例を示す図である。
【図１７】本技術の第２の実施の形態における間引き情報例を示す図である。
【図１８】本技術の第３の実施の形態における画像処理装置の構成例を示す図である。
【図１９】本技術の第３の実施の形態におけるフレーム処理部１５０の構成例を示す図である。
【図２０】本技術の第３の実施の形態における解像度変換部１６０の構成例を示す図である。
【図２１】本技術の第３の実施の形態におけるＯＳＤイメージ生成部１７０の構成例を示す図である。
【図２２】本技術の第３の実施の形態におけるＯＳＤイメージ表示部１８０の構成例を示す図である。
【図２３】本技術の第４の実施の形態における画像処理部１００の機能構成例を示す図である。
【図２４】本技術の第５の実施の形態における記憶部２００の構成例を示す図である。
【図２５】本技術の第５の実施の形態における画像処理部１００の処理の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（間引き情報として間引き率を使用する場合の例）
２．第２の実施の形態（間引き情報として間引き率および間引き位置情報を使用する場合の例）
３．第３の実施の形態（複数の圧縮部および伸張部を使用する場合の例）
４．第４の実施の形態（２つのフレームを混合して表示する場合の例）
５．第５の実施の形態（記憶部が圧縮部を備える場合の例）
【００１９】
＜１．第１の実施の形態＞
［画像処理装置の構成］
図１は、本技術の第１の実施の形態における画像処理装置の構成例を示す図である。この画像処理装置は、画像処理部１００と、記憶部２００とを備える。
【００２０】
画像処理部１００は、入力されたストリームを処理して１画面分の画像信号であるフレームを生成し、表示装置３００に適合する形式に変換した表示用フレームを出力するものである。出力された表示用フレームは、表示装置３００にて表示される。
【００２１】
記憶部２００は、画像処理部１００における処理の過程で生成されたフレーム等のデータを記憶するものである。この記憶部２００は、後述するように圧縮されたフレームを画像処理部１００に供給する。また、この記憶部２００には、ＳＤＲＡＭ（Synchronous DRAM）等の高速にアクセス可能なＤＲＡＭを使用することができる。
［画像処理部の構成］
【００２２】
同図の画像処理部１００は、デマルチプレクサ１０２と、プロセッサ１０３と、記憶部インターフェース１０４と、ビデオデコーダ１２０と、圧縮部１３０と、伸張部１４０と、フレーム処理部１５０と、解像度変換部１６０とを備える。また、画像処理部１００は、オンスクリーンディスプレイ（ＯＳＤ：On Screen Display）イメージ生成部１７０と、ＯＳＤイメージ表示部１８０と、混合部１９０とをさらに備える。これらは、バス１０１により相互に接続される。
【００２３】
デマルチプレクサ１０２は、デマルチプレクスを行うものである。このデマルチプレクスは、多重化された画像データ、音声データおよび字幕データをストリームから分離する処理である。
【００２４】
プロセッサ１０３は、画像処理部１００の全体を制御するものである。このプロセッサ１０３は、ファームウェアに基づいて画像処理部１００の各部を制御する。なお、このファームウェアは図示しないＲＯＭ（Read Only Memory）に記憶される。
【００２５】
記憶部インターフェース１０４は、記憶部２００とのやり取りを行うインターフェースである。
【００２６】
ビデオデコーダ１２０は、デマルチプレクサ１０２により分離された画像データを連続する複数のフレームに変換するものである。このビデオデコーダ１２０は、符号化された画像データの復号を行うことにより、画像データをフレームに変換する。
【００２７】
圧縮部１３０は、後述する間引き情報に基づいてフレームの圧縮を行うものである。ここで、フレームのデータ量を削減することを圧縮と称する。圧縮されたフレーム（以下、圧縮フレームと称する）は、記憶部２００に記憶される。圧縮部１３０における圧縮の詳細については、後述する。
【００２８】
伸張部１４０は、間引き情報に基づいて記憶部２００に保持された圧縮フレームの伸張を行うものである。ここで、圧縮フレームを元のフレームに戻すことを伸張と称する。伸張部１４０における伸張の詳細については、後述する。
【００２９】
フレーム処理部１５０は、フレームを処理するものである。このフレームの処理には、例えば、フレームの走査方式をインターレースおよびプログレッシブ相互に変更するインターレース・プログレッシブ変換処理やフレームに含まれるノイズを除去するノイズリダクション処理等が該当する。
【００３０】
解像度変換部１６０は、フレームの解像度を変換するものである。この解像度変換部１６０は、フレームの解像度と表示装置３００の解像度とが異なる場合に、フレームの解像度を表示装置３００の解像度に変換する。
【００３１】
ＯＳＤイメージ生成部１７０は、オンスクリーンディスプレイ（ＯＳＤ）イメージを生成するものである。ここで、ＯＳＤイメージとは、字幕部分やアイコン、メニュー等のユーザインターフェースであり、ストリーム等により供給された画像等に重畳されて表示される画像である。このＯＳＤイメージもフレームの一種であり、圧縮部１３０による圧縮および伸張部１４０による伸張の対象として処理される。
【００３２】
ＯＳＤイメージ表示部１８０は、ＯＳＤイメージ生成部１７０により生成されたＯＳＤイメージの解像度を表示装置３００の解像度に変換するものである。
【００３３】
混合部１９０は、解像度変換部１６０およびＯＳＤイメージ表示部１８０によりそれぞれ解像度が変換されたフレームおよびＯＳＤイメージを混合して１つのフレームを生成するものである。生成されたフレームは、表示用フレームとして表示装置３００に対して出力される。混合部１９０における混合方法としてフレームおよびＯＳＤイメージを所定の混合比率に基づいて混合するアルファブレンドを使用することができる。この混合比率は、フレームの画像等に基づいてプロセッサ１０３により決定される。
【００３４】
なお、同図のデマルチプレクサ１０２等は専用ハードウェアにより実現されているが、プロセッサ１０３が実行するソフトウェアによる処理として実現することもできる。
【００３５】
次に、画像処理部１００と記憶部２００との間のデータのやり取りについて説明する。フレーム等を記憶部２００に記憶させる際には、プロセッサ１０３が書込みを指示するコマンド（書込みコマンド）を生成し、記憶部２００に対して出力する。このコマンドに付随して、書込み先のアドレスおよび書込み対象のデータが記憶部２００に対して出力される。記憶部２００は、書込みコマンドを解釈して書き込み先のアドレスに書き込み対象のデータを記憶させる。一方、記憶部２００からフレーム等を読み出す場合には、プロセッサ１０３が読出しを指示するコマンド（読出しコマンド）を生成し、記憶部２００に対して出力する。このコマンドに付随して、読出し先のアドレスが記憶部２００に対して出力される。記憶部２００は、読出しコマンドを解釈して読出し先のアドレスに記憶されたデータを画像処理部１００に対して出力する。このように、画像処理部１００と記憶部２００との間のデータのやり取りが行われる。
【００３６】
図２は、本技術の第１の実施の形態における画像処理装置の機能構成例を示す図である。同図は、画像処理部１００の各部および記憶部２００の機能構成とフレーム等のデータの流れを表したものである。同図の画像処理部１００は、間引き情報生成部１１０を備える点で図１において説明した画像処理部１００と異なっている。この間引き情報生成部１１０は、後述する間引き情報をフレームに基づいて生成し、圧縮部１３０および伸張部１４０に供給するものである。間引き情報生成部１１０の処理は、例えば、図１において説明したプロセッサ１０３によりソフトウェアにより実行される。
【００３７】
画像処理装置に入力されたストリームは、デマルチプレクサ１０２により画像データ、音声データおよび字幕データに分離され、それぞれ記憶部２００に記憶される。このうち音声データは、スピーカ等（不図示）により音声に変換されて出力される。
【００３８】
一方、画像データは、記憶部２００から読み出されて、ビデオデコーダ１２０に入力される。このビデオデコーダ１２０により、画像データはフレームに変換されて、記憶部２００に記憶される。次に、このフレームは、記憶部２００から読み出されて、フレーム処理部１５０に入力される。フレーム処理部１５０により、処理されたフレーム（以下、処理済みフレームと称する）は、圧縮部１３０により圧縮されて記憶部２００に記憶される。この際、間引き情報生成部１１０が後述する間引き情報をフレームに基づいて生成し、この生成された間引き情報に基づいて圧縮部１３０による圧縮が行われる。次に、圧縮された処理済みフレーム（以下、処理済み圧縮フレームと称する）は、記憶部２００から読み出されて、伸張部１４０により伸張され、再度処理済みフレームに変換される。この処理済み変換フレームは、解像度変換部１６０により解像度が変換されて、混合部１９０に入力される。
【００３９】
また、字幕データは、記憶部２００から読み出されてＯＳＤイメージ生成部１７０に入力される。この字幕データに基づいてＯＳＤイメージが生成される。また、アイコンやメニューを表示させる際にもＯＳＤイメージ生成部１７０によりＯＳＤイメージが生成される。これら生成されたＯＳＤイメージは、圧縮部１３０により圧縮されて記憶部２００に記憶される。この際にも、間引き情報生成部１１０が生成する間引き情報に基づいて圧縮部１３０による圧縮が行われる。次に、圧縮されたＯＳＤイメージは、記憶部２００から読み出され、伸張部１４０により伸張されて、ＯＳＤイメージ表示部１８０に入力される。ＯＳＤイメージ表示部１８０により、ＯＳＤイメージの解像度が変換されて混合部１９０に入力される。
【００４０】
解像度が変更された処理済みフレームおよびＯＳＤイメージが混合部１９０により混合され、表示用フレームとして出力される。
【００４１】
このように、処理済みフレームおよびＯＳＤイメージが圧縮部１３０により圧縮されて記憶部２００に記憶される。また、圧縮されたこれらのフレームが記憶部２００から読み出された後に伸張部１４０により伸張される。これらにより、記憶部２００との間で転送されるデータ量が削減され、消費電力を低減することができる。
【００４２】
図３は、本技術の第１の実施の形態における画像処理部１００の処理の一例を示す図である。同図は、図２において説明した機能構成図の各部における処理の流れを表したものである。同図において「ＤＲＡＭ」と表記された部分の処理は、フレーム等が記憶部２００に記憶される処理または記憶部２００からフレーム等を読み出す処理を表している。
【００４３】
まず、画像処理部１００に入力されたストリームはデマルチプレクサ１０２によりデマルチプレクス処理が行われ、ストリームから分離された画像データが記憶部２００に記憶される。次に、記憶部２００に記憶された画像テータが読み出されて、ビデオデコーダ１２０により復号されてフレームが生成されて、記憶部２００に記憶される。次に、記憶部２００に記憶されたフレームが読み出され、間引き情報生成部１１０が読み出されたフレームに基づいて間引き情報を生成する。生成された間引き情報は、以降の圧縮部１３０における圧縮処理および伸張部１４０における伸張処理に使用される。また、記憶部２００から読み出されたフレームは、フレーム処理部１５０により処理されて処理済みフレームが生成され、圧縮部１３０により圧縮されて記憶部２００に記憶される。次に、記憶部２００から読み出された処理済み圧縮フレームが伸張部１４０により伸張され、解像度変換部１６０により解像度が変換される。
【００４４】
一方、ＯＳＤイメージは、ＯＳＤイメージ生成部１７０により生成され、圧縮部１３０により圧縮されて、記憶部２００に記憶される。次に、記憶部２００から読み出された圧縮されたＯＳＤイメージが伸張部１４０により伸張されて、ＯＳＤイメージ表示部１８０により解像度が変換される。
【００４５】
最後に、解像度が変更された処理済みフレームおよびＯＳＤイメージが混合部１９０により混合される。
【００４６】
［圧縮方法］
図４は、本技術の実施の形態における圧縮方法の一例を示す図である。同図に記載された円は、フレームにおける画像信号を表している。このように、フレームは、画像信号が２次元に配置されて構成されている。フレームを水平方向に分割した際の複数の画像信号がラインに該当する。同図のフレームは、ｎ本のラインを有している。同図の画像信号に付された番号は、各ラインの先頭からの位置を表している。
【００４７】
本技術の実施の形態における圧縮は、画像信号の間引きにより行われる。ここで、間引きとは、フレームを構成する複数の画像信号の一部を除去することである。同図の画像信号のうち点線により記載された画像信号５０１が間引き対象の画像信号に該当する。この間引き対象の画像信号を除去し、他の画像信号５０２のみにより構成されたフレームに変換することにより圧縮を行うことができる。間引きは、フレームに含まれる画像信号数に対する間引き対象となる画像信号数の比率である間引き率に基づいて行うことができる。同図では、８個の画像信号毎に１個の画像信号を間引きしており、間引き率は１／８になる。間引き率が高いほど圧縮後のフレームの画像信号数が少なくなり、高い圧縮率にすることができる。また、間引き率は、フレームを構成する全てのラインに対して同じ値にすることができる。
【００４８】
この間引き率は、前述した間引き情報に該当し、図２において説明した間引き情報生成部１１０によりフレーム毎に生成される。この際、間引き情報生成部１１０は、フレームの解像度等に基づいて間引き情報を生成することができる。例えば、解像度が高いフレームの場合やマルチ画面のように複数の画像を表示する場合には高い間引き率とし、解像度が低いフレームの場合には低い間引き率とした間引き情報を生成することができる。
【００４９】
同図では、ライン内の間引き対象の画像信号５０１が水平方向に隣接しない配置となっている。これにより、ラインにおいて間引き対象の画像信号５０１が集中することを防ぐことができる。後述するように、圧縮フレームを元のフレーム変換する際、間引かれた画像信号を復元する処理が行われる。この復元された画像信号がライン内の特定の位置に集中すると画像の劣化が目立ち、画質が低下するためである。また、同図では、ライン毎に間引き対象の画像信号５０１の位置をずらしている。これにより、フレームの特定の列に間引き対象の画像信号が集中することを防ぐことができる。特定の列への復元された画像信号の集中を防ぐためである。同図のように間引き率が１／８の場合、間引き対象の画像信号および他の画像信号の配置の組合せは、８通り存在する。ここで、この組合せを配置パターンと称する。この８通りの配置パターンをフレームにおける第１のラインから順に適用して間引きを行うことにより、間引き対象の画像信号５０１の位置をライン毎にずらすことができる。
【００５０】
［間引き情報］
図５は、本技術の第１の実施の形態における間引き情報例を示す図である。同図に表したように、フレーム毎の間引き率が間引き情報として記録される。この間引き情報は、圧縮部１３０による圧縮の後に、記憶部２００に記憶させてもよい。伸張部１４０において圧縮フレームの伸張を行う際には、圧縮フレームに対応した間引き情報を記憶部２００から読み出して使用することができる。なお、この間引き情報は、フレーム毎の画像の情報、例えば表示位置やカラーフォーマット等の画像パラメータとともに保持する方式を使用することもできる。また、間引き情報を圧縮フレームに付加して記憶部２００に記憶させることもできる。この場合、圧縮部１３０が圧縮フレームに間引き情報を付加し、伸張部１４０が間引き情報を圧縮フレームから取り出して伸張を行う。さらに、間引き情報をフレームのライン毎に付加する構成を採ることもできる。この場合には、ライン単位で間引情報が生成される。これにより、間引き率をライン毎に変更することが可能となる。
【００５１】
［配置パターン］
図６は、本技術の実施の形態における配置パターン（間引き率１／８）例を示す図である。同図におけるａは、間引き率１／８の場合の配置パターンの例を表したものである。これは、図５と同様に、８個の画像信号に対して１個の間引き対象の画像信号５０１が配置された場合の例である。同図におけるｂは、間引き率１／８の場合の配置パターンの例を表したものである。前述のように、間引き率１／８の場合には、８通りの配置パターンが存在する。この８通りの配置パターンがライン毎に順に適用されて間引きが行われる。
【００５２】
同図におけるｂは、間引き対象の画像信号５０１がライン毎に右方向にシフトする順に配置パターンが適用されて間引きが行われる例を表している。配置パターンは、間引き位置情報により識別することができる。同図におけるｂでは、８通りの配置パターンのそれぞれに間引き位置情報として１乃至８を付している。これらの配置パターンのフレームにおける各ラインへの適用順序を予め定めておき、この順序に基づいてフレームの圧縮および伸張を行うことができる。例えば、間引き位置情報１乃至８に対応する配置パターンがこの順に各ラインに適用されるものと定めることができる。この場合、フレームの第１のラインから順に間引き位置情報１乃至８に対応する配置パターンが適用されて、圧縮および伸張の際に使用される。
【００５３】
各ラインにおける間引き対象の画像信号の位置は、次式により算出することができる。
Ｎ＝（（ａ＋ｂ−２）％８＋１）+８×ｎ    ・・・（式１）
ただし、Ｎは、間引き対象の画像信号の各ラインにおける先頭からの位置を表す。ａは、間引き率に応じた間引き対象の画像信号の位置を表す。同図の例では、ａ＝１となる。ｎは、０および正の整数を表す。すなわち、ｎ＝０、１、２・・・である。なお、％は、剰余演算を表す演算子である。
【００５４】
図７は、本技術の実施の形態における配置パターン（間引き率２／８）例を示す図である。同図におけるａは、間引き率２／８の場合の配置パターンの例を表したものであり、８個の画像信号に対して２個の間引き対象の画像信号が配置される。同図におけるｂは、間引き率２／８の場合の配置パターンの例を表したものである。同図におけるｂの間引き位置情報は図６と同様であるため、説明を省略する。同図においても、各ラインにおける間引き対象の画像信号の位置は、式１により算出することができる。ただし、ａ＝１、５となる。
【００５５】
図８は、本技術の実施の形態における配置パターン（間引き率３／８）例を示す図である。同図におけるａは、間引き率３／８の場合の配置パターンの例を表したものであり、８個の画像信号に対して３個の間引き対象の画像信号が配置される。同図におけるｂは、間引き率３／８の場合の配置パターンの例を表したものである。各ラインにおける間引き対象の画像信号の位置は、式１においてａ＝１、３、５とすることにより算出することができる。
【００５６】
図９は、本技術の実施の形態における配置パターン（間引き率４／８）例を示す図である。同図におけるａは、間引き率４／８の場合の配置パターンの例を表したものであり、８個の画像信号に対して４個の間引き対象の画像信号が配置される。同図におけるｂは、間引き率４／８の場合の配置パターンの例を表したものである。各ラインにおける間引き対象の画像信号の位置は、式１においてａ＝１、３、５、７とすることにより算出することができる。
【００５７】
前述のように、ライン内の間引き対象の画像信号５０１を水平方向に隣接しない配置にするため、間引き率は最大でも４／８すなわち１／２にする必要がある。このため、同図の配置パターンが本技術の実施の形態における最大の間引き率となる。同図におけるｂにおいて、画像信号は斜め方向の１ライン毎に間引きされており、斜め方向の解像度は１／２になる。一方、画像信号の垂直および水平方向については、間引き前と同じ解像度が維持されており、後述する伸張処理を容易に行うことができる。多くの自然画では、斜め方向の解像度より垂直および水平方向の解像度の方が高いため、本技術の実施の形態の圧縮および伸張方式は、自然画を処理するシステムに適合する方式である。
【００５８】
［圧縮部の構成］
図１０は、本技術の第１の実施の形態における圧縮部１３０の構成例を示す図である。この圧縮部１３０は、画像信号除去部１３１と、画像信号並べ替え部１３２とを備える。
【００５９】
画像信号除去部１３１は、入力された間引き情報のうちの間引き率に基づいて、入力されたフレームから間引き対象の画像信号を除去するものである。この画像信号除去部１３１は、間引き率に対応する配置パターンを予め定められた順序によりライン毎の間引きに適用する。この際、画像信号除去部１３１は、入力されたフレームをラインメモリ等に保持し、間引き対象の画像信号に対応するアドレスのデータを削除する方式を採ることができる。
【００６０】
画像信号並べ替え部１３２は、画像信号除去部１３１により除去された画像信号の位置に除去対象でない画像信号を配置する並べ替えを行い、フレームのサイズを縮小するものである。この並べ替え部１３２は、上述のラインメモリにおいて、間引き対象の画像信号に対応するアドレスのデータを埋めるように除去対象でない画像信号のデータをラインメモリ上で移動させる処理を行うことができる。
【００６１】
なお、ラインメモリに保持されたフレームの間引き対象の画像信号に対応するアドレスのデータに間引き対象でない画像信号のデータを上書きして並べ替えを行うことにより圧縮することもできる。
【００６２】
［伸張方法］
図１１は、本技術の実施の形態における伸張方法の一例を示す図である。まず、配置パターンに基づいて空きの画像信号５０３を間引き対象の画像信号の位置に挿入する。次に、挿入した画像信号５０３の周囲の画像信号に基づいて間引きされた画像信号を復元する。この復元された画像信号５０４を画像信号５０３の位置に上書きする。これにより、フレームの伸張を行うことができる。
【００６３】
［画像信号の復元］
図１２は、本技術の実施の形態における画像信号の復元方法の一例を示す図である。同図は、空きの画像信号５０３の位置の画像信号を復元する場合の例を表したものであり、空きの画像信号５０３の上下左右に配置された画像信号（画像信号５０５乃至５０８）から画像信号５０４を補間することにより復元する場合の例である。この方式として、画像信号５０５乃至５０８の平均値を算出して画像信号５０４を補間する方式を使用することができる。また、上下の画像信号（画像信号５０５および５０６）および左右の画像信号（画像信号５０７および５０８）の相関関係に基づく重み付けを行った加重平均を算出して画像信号５０４を補間する方式を使用することもできる。具体的には、上下の画像信号および左右の画像信号のそれぞれの差分を算出し、差分が小さい方の画像信号（上下の画像信号または左右の画像信号）に大きな重み付けを行って加重平均を算出することができる。これにより、相関関係に基づいた補間を行うことができる。また、図９において説明した、間引き率４／８の場合においても、復元の対象となる画像信号の上下左右の画像信号を使用し、相関関係に基づく補間を行うことができる。
【００６４】
［伸張部の構成］
図１３は、本技術の第１の実施の形態における伸張部１４０の構成例を示す図である。この伸張部１４０は、画像信号挿入部１４１と、復元部１４２とを備える。
【００６５】
画像信号挿入部１４１は、入力された間引き情報に基づいて、入力された圧縮フレームの間引きされた画像信号の位置に空きの画像信号を挿入するものである。この画像信号挿入部１４１は、前述した圧縮部１３０における間引きに適用された順序と同じ順序に基づいて配置パターンをライン毎に適用し、間引きされた画像信号の位置を把握する。そして、この位置に空きの画像信号５０３を挿入する。この際、画像信号挿入部１４１は、入力された圧縮フレームをラインメモリ等に保持し、間引きされた画像信号の位置に空きデータを挿入する方式を採ることができる。
【００６６】
復元部１４２は、間引きされた画像信号の復元を行うものである。この復元部１４２は、上述したように、空きの画像信号５０３の上下左右の画像信号を用いた演算を行うことにより、画像信号５０４の値を補間し、空きの画像信号５０３に対応するアドレスのデータとして保持させて、復元を行うことができる。
【００６７】
［圧縮処理］
図１４は、本技術の第１の実施の形態における圧縮処理の一例を示す図である。同図の圧縮処理は、圧縮部１３０においてフレームの圧縮を行う際に実行される。まず、間引き情報生成部１１０により圧縮の対象となるフレームに基づいた間引き情報が生成される（ステップＳ９０１）。次に、間引き情報に基づいて、圧縮部１３０がフレームの第１ラインにおける間引き対象の画像信号の除去を行う（ステップＳ９０２）。この際、間引き情報の間引き率に応じた配置パターンが予め定められた順に適用される。次に、圧縮部１３０により画像信号の並べ替えが行われる（ステップＳ９０３）。次に、フレームの全てのラインについて処理が行われたか否かが判断される（ステップＳ９０４）。次の処理対象のラインが存在する場合には（ステップＳ９０４：Ｙｅｓ）、配置パターンを変更し（ステップＳ９０５）、再度ステップＳ９０２からの処理を実行する。一方、全てのラインについて処理が終了した場合には（ステップＳ９０４：Ｎｏ）、圧縮部１３０は、圧縮処理を終了する。
【００６８】
［伸張処理］
図１５は、本技術の第１の実施の形態における伸張処理の一例を示す図である。同図の伸張処理は、伸張部１４０においてフレームの伸張を行う際に実行される。まず、伸張の対象となる圧縮フレームの間引き情報を取得する（ステップＳ９５１）。これは、圧縮フレームに対応する間引き情報が記憶部２００から読み出されることにより行われる。次に、間引き情報に基づいて、伸張部１４０がフレームの第１ラインにおける間引きされた画像信号の位置に空きの画像信号を挿入する（ステップＳ９５２）。この際、間引き情報の間引き率に応じた配置パターンが予め定められた順に適用される。次に、伸張部１４０により間引きされた画像信号の復元が行われる（ステップＳ９５３）。次に、フレームの全てのラインについて処理が行われたか否かが判断される（ステップＳ９５４）。次の処理対象のラインが存在する場合には（ステップＳ９５４：Ｙｅｓ）、配置パターンを変更し（ステップＳ９５５）、再度ステップＳ９５２からの処理を実行する。一方全てのラインについて処理が終了した場合には（ステップＳ９５４：Ｎｏ）、伸張部１４０は、伸張処理を終了する。
【００６９】
このように、本技術の第１の実施の形態では、比較的簡便な処理である画像信号の間引きおよび補間によりフレームの圧縮および伸張を行うことができる。
【００７０】
＜２．第２の実施の形態＞
上述の実施の形態では、同一の間引き率が適用されたフレームにおいて同一の配置パターンの適用順序により圧縮および伸張が行われていた。これに対し、本技術の第２の実施の形態では、連続する複数のフレーム毎に配置パターンの適用順序を変更する。これにより、画質の低下を防止する。
【００７１】
［圧縮方法］
図１６は、本技術の第２の実施の形態における圧縮方法の一例を示す図である。同図は、間引き率１／８の場合に対応し、連続するフレームである第１乃至第４のフレームにおける配置パターンの適用順序を表したものである。同図の第１のフレームでは、図６と同様に、配置パターンの適用順序は間引き位置情報１から８の順であり、これらが第１のラインから順に適用される。続く第２のフレームでは、配置パターンの適用順序は間引き位置情報１から８の順で変わらないものの、間引き位置情報２の配置パターンが第１のラインに適用される。同様に第３のフレームでは、間引き位置情報３の配置パターンが第１のラインに適用される。このように、間引き位置情報１乃至８の配置パターンが循環してフレームの各ラインに適用される一方、フレーム毎に始まりとなる配置パターンがずらされて各ラインに適用される。このように、本技術の第２の実施の形態では、配置パターンの適用順序をフレーム毎に変更する。これにより、間引き対象画像信号を連続するフレームにおける異なる位置に分散することができ、画質の低下を防止することができる。
【００７２】
配置パターンの適用順序については、例えば、第１のラインに適用される配置パターンに対応する間引き位置情報により識別することができる。同図の例では、第１乃至第４のフレームに対してそれぞれ間引き位置情報１乃至４を対応させることにより配置パターンの適用順序を識別することができる。
【００７３】
［間引き情報］
図１７は、本技術の第２の実施の形態における間引き情報例を示す図である。同図に表したように、フレーム毎の間引き率および間引き位置情報が間引き情報として記録される。
【００７４】
これ以外の画像処理装置の構成は本技術の第１の実施の形態と同様であるため、説明を省略する。
【００７５】
このように、本技術の第２の実施の形態によれば、連続する複数のフレームにおいて間引きされた画像信号の位置が分散されるため、画質を向上させることができる。
【００７６】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、圧縮部１３０および伸張部１４０により圧縮および伸張を行っていた。これに対し、本技術の第３の実施の形態では、それぞれ複数の圧縮部および伸張部により処理を行う。これにより、画像処理部１００の処理を高速に行うことができる。
【００７７】
［画像処理装置の構成］
図１８は、本技術の第３の実施の形態における画像処理装置の構成例を示す図である。この画像処理装置は、図１において説明した画像処理装置と比較して、圧縮部１３０および伸張部１４０を備える必要はない。後述するように、フレーム処理部１５０、ＯＳＤイメージ生成部１７０、解像度変換部１６０およびＯＳＤイメージ表示部１８０が圧縮または伸張の機能を備えるためである。
【００７８】
［フレーム処理部の構成］
図１９は、本技術の第３の実施の形態におけるフレーム処理部１５０の構成例を示す図である。本技術の第３の実施の形態におけるフレーム処理部１５０は、フレームの処理としてインターレース・プログレッシブ変換およびノイズリダクションを行う場合を想定する。このフレーム処理部１５０は、インターレース・プログレッシブ変換（ＩＰＣ：Interlace Progressive Converter）部１５２と、ノイズリダクション部１５３と、圧縮部１５４と、ラインメモリ１５５とを備える。
【００７９】
ラインメモリ１５５は、フレームを一時的に保持するメモリである。ＩＰＣ部１５２は、フレームの走査方式をインターレースおよびプログレッシブ相互に変更するものである。このＩＰＣ部１５２は、フレームをラインメモリ上に保持させて処理を行う。例えば、フレームの走査方法をインターレースからプログレッシブに変換する際には、連続する２フレームをラインメモリ１５５に保持させる。次に、これらのフレームの各ラインを順に取り出して１つのフレームに合成することにより変換を行う。
【００８０】
ノイズリダクション部１５３は、フレームに含まれるノイズを除去するものである。このノイズリダクション部１５３は、例えば、同一フレームに属する画像信号の高周波成分を減衰させる２次元ノイズリダクション処理を行うことができる。この２次元ノイズリダクション処理では、フレームをラインメモリ１５５に保持させ、隣接する画像信号の平均値を算出して新たな画像信号を生成することにより、フレーム内で画像信号を平準化してノイズの除去を行う。主に動画部分のノイズ除去に使用される方式である。また、例えば、連続するフレームの画像信号を用いてノイズを除去する３次元ノイズリダクション処理を行うこともできる。この３次元ノイズリダクション処理では、複数のフレームをラインメモリ１５５に保持させ、各画像信号のフレーム間の平均値を算出して新たなフレームを生成する。これにより、連続するフレームにおいて画像信号の平準化を行いノイズの除去を行う。主に静止画部分のノイズ除去に使用される方式である。
【００８１】
圧縮部１５４は、間引き情報に基づいてフレームの圧縮を行うものである。この圧縮部１５４は、図４において説明した画像信号の間引き等の処理を行う。この際、ラインメモリ１５５にフレームを保持させ、ラインメモリ１５５上で画像信号の除去および並べ替えを行う。
【００８２】
［解像度変換部の構成］
図２０は、本技術の第３の実施の形態における解像度変換部１６０の構成例を示す図である。この解像度変換部１６０は、伸張部１６１と、解像度変換処理部１６２と、ラインメモリ１６５とを備える。
【００８３】
ラインメモリ１６５は、フレームを一時的に保持するメモリである。伸張部１６１は、間引き情報に基づいて圧縮フレームの伸張を行うものである。この伸張部１６１は、図１１において説明した画像信号の挿入等の処理を行う。この際、ラインメモリ１６５に圧縮フレームを保持させ、ラインメモリ１６５上で画像信号の挿入および復元を行う。
【００８４】
解像度変換処理部１６２は、図１において説明した解像度変換部１６０と同様に解像度を変換する処理を行う。例えば、高解像度のストリームの画像（例えば、４Ｋ画像）を２Ｋ画像対応の表示装置に表示する場合に、解像度変換処理部１６２が解像度の変換を行う。この場合には、フレームの画像信号数を半減させて変換を行う。この変換処理として、例えば、元のフレーム（高解像度の画像）の水平および垂直方向に隣接する２個の画像信号の平均値を算出し、この値を新たなフレームの画像信号にする処理を行うことができる。この際、解像度変換処理部１６２は、元のフレームをラインメモリ１６５に保持させ、ラインメモリ１６５上で上述の処理を行う。このような処理を行うため、ラインメモリ１６５はフレームを保持可能な記憶容量に構成される。このラインメモリ１６５を上述の伸張部１６１と共用することにより、図１２において説明した補間処理を高精度に行うことができる。具体的に説明すると、図１２においては、相関関係に基づく重み付けを行った加重平均の算出の際に、画像信号５０３に隣接する画像信号（画像信号５０５乃至５０８）を使用していた。これに対し、本技術の第３の実施の形態の伸張部１６１では、記憶容量の大きなラインメモリ１６５を使用可能なため、相関関係の検出範囲を広げることができる。このため、より正確な相関関係の検出を行うことができ、高精度の補間処理を行うことができる。
【００８５】
［ＯＳＤイメージ生成部の構成］
図２１は、本技術の第３の実施の形態におけるＯＳＤイメージ生成部１７０の構成例を示す図である。このＯＳＤイメージ生成部１７０は、ＯＳＤイメージ生成処理部１７１と、圧縮部１７４と、ラインメモリ１７５とを備える。
【００８６】
ラインメモリ１７５は、ＯＳＤイメージを一時的に保持するメモリである。ＯＳＤイメージ生成処理部１７１は、図１において説明したＯＳＤイメージ生成部１７０と同様の処理を行うものである。このＯＳＤイメージ生成処理部１７１は、入力された字幕データをＯＳＤイメージ生成部１７０が内蔵する字幕表示領域のイメージに結合させてＯＳＤイメージ（字幕）を生成する。この際、字幕表示領域の画像をラインメモリ１７５上に保持させ、ラインメモリ１７５上で字幕データの結合を行う。
【００８７】
圧縮部１７４は、フレーム（ＯＳＤイメージ）の圧縮を行うものである。圧縮部１７４の動作は図１９において説明した圧縮部１５４と同様であるため、説明を省略する。
【００８８】
［ＯＳＤイメージ表示部の構成］
図２２は、本技術の第３の実施の形態におけるＯＳＤイメージ表示部１８０の構成例を示す図である。このＯＳＤイメージ表示部１８０は、伸張部１８１と、ＯＳＤイメージ解像度変換部１８２と、ラインメモリ１８５とを備える。
【００８９】
ラインメモリ１８５は、ＯＳＤイメージを一時的に保持するメモリである。伸張部１８１は、間引き情報に基づいて圧縮されたフレーム（ＯＳＤイメージ）の伸張を行うものである。伸張部１８１の動作は、図２０において説明した伸張部１６１と同様であるため、説明を省略する。
【００９０】
ＯＳＤイメージ解像度変換部１８２は、図１において説明したＯＳＤイメージ表示部１８０と同様の処理を行うものである。このＯＳＤイメージ解像度変換部１８２は、ＯＳＤイメージ生成部１７０により生成されたＯＳＤイメージに対して画像信号の削除等を行うことにより、表示装置に適合する解像度のＯＳＤイメージに変換する。この際、ＯＳＤイメージ解像度変換部１８２は、ＯＳＤイメージをラインメモリ１８５に保持させ、ラインメモリ１８５上で解像度を変換する処理を行う。
【００９１】
これ以外の画像処理装置の構成は本技術の第１の実施の形態と同様であるため、説明を省略する。
【００９２】
このように、本技術の第３の実施の形態におけるフレーム処理部１５０およびＯＳＤイメージ生成部１７０はそれぞれ圧縮部１５４および１７４を内蔵し、解像度変換部１６０およびＯＳＤイメージ表示部１８０はそれぞれ伸張部１６１および１８１を内蔵している。また、これら圧縮部および伸張部は、フレーム処理部１５０等が有するラインメモリを使用して処理を行っている。このため、圧縮および伸張の処理に必要となるラインメモリ数を増加させることなく、フレーム処理部１５０等において個別に圧縮および伸張の処理を行うことができる。動画を表示する場合には、連続するフレームを順次処理する必要がある。フレーム処理部１５０等が個別に圧縮および伸張の処理を行って記憶部２００に対して記憶および読出しを行うことにより、画像処理部１００における各部の処理をパイプライン的な処理にすることができ、処理を高速に行うことができる。
【００９３】
＜４．第４の実施の形態＞
上述の第１の実施の形態では、１つのフレームについて処理を行っていた。これに対し本技術の第４の実施の形態では、２つのフレームを混合して表示する場合について提案する。
【００９４】
図２３は、本技術の第４の実施の形態における画像処理部１００の機能構成例を示す図である。同図は、画像処理部１００のうち間引き情報生成部１１０、圧縮部１３０、伸張部１４０、フレーム処理部１５０、解像度変換部１６０、ＯＳＤイメージ表示部１８０および混合部１９０の部分について記載したものである。本技術の第４の実施の形態の画像処理部１００は、２つの画像データを同時に処理して２つのフレームを生成し、これらを１つのフレームに混合して表示装置３００に出力する。この混合は、後述する混合比率に基づいて混合部１９０により行われる。この混合比率は、プロセッサ１０３により供給される。
【００９５】
間引き情報生成部１１０は、後述する混合比率と２つのフレーム（フレーレム１およびフレーム２）とに基づいてそれぞれのフレームの間引き情報を生成し、圧縮部１３０および伸張部１４０に供給する。
【００９６】
フレーム処理部１５０は、２つのフレームについて処理を行う。圧縮部１３０は、２つの処理済みフレームおよびＯＳＤイメージの圧縮を行い、記憶部２００に記憶させる。伸張部１４０は、記憶部２００から２つの処理済み圧縮フレームおよび圧縮されたＯＳＤイメージを読み出して伸張を行う。解像度変換部１６０は、２つの処理済みフレームの解像度を変換する。
【００９７】
混合部１９０は、２つの解像度変換済みフレームおよび解像度変換済みＯＳＤイメージを混合して表示用のフレームを生成する。この混合部１９０は、フレーム混合部１９１と、フレームＯＳＤイメージ混合部１９２とを備える。
【００９８】
フレームＯＳＤイメージ混合部１９２は、図１において説明した混合部１９０と同様に、フレームおよびＯＳＤイメージを混合して表示用フレームを生成するものである。
【００９９】
フレーム混合部１９１は、２つのフレームの混合を行うものである。このフレーム混合部１９１は、２つの解像度変換済みフレームを所定の混合比率に基づいて混合する。この混合は、次のように行うことができる。
Ｑ＝α×Ｐ１＋（１−α）×Ｐ２
ただし、Ｐ１およびＰ２は混合前のフレームの画像信号、Ｑは混合後のフレームの画像信号、αは混合比率を表している。このようにフレーム混合部１９１は、αまたは１−αをそれぞれのフレームに乗算し、これらを加算することにより、２つのフレームを半透明状態にして混合する。このような混合は、アルファブレンドと称される。混合比率が０．５の場合には、混合する２つのフレームの比率は等しくなる。しかし、一方のフレームを他方のフレームよりも薄い表示にする場合には、当該フレームの比率を低下させて混合を行う。この薄く表示されるフレームについては、間引き率を高くすることができる。薄く表示されるため、間引きされる画像信号数が大きい場合でも表示品質の低下が目立たないためである。
【０１００】
そこで、間引き情報生成部１１０が混合比率に基づいて２つのフレームの間引き率を生成する。具体的には、低い混合比率が設定されたフレームの間引き率を他方のフレームの間引き率より高い値にして圧縮部１３０等に供給する。これにより、薄く表示されるフレームの間引き率を高めて、フレームの容量を削減することができる。
【０１０１】
なお、上述の画像処理部１００では、圧縮部１３０、伸張部１４０、フレーム処理部１５０および解像度変換部１６０が２つのフレームを同時に処理しているが、図１において説明した画像処理部１００等を２組配置する構成にしてもよい。これらにより、２つのフレームの処理を同時に行うことができるためである。これ以外の画像処理部１００の構成は図１において説明した画像処理部の構成と同様であるため、説明を省略する。
【０１０２】
このように、本技術の第４の実施の形態によれば、２つのフレームに対してアルファブレンドを行う際に、薄く表示されるフレームの間引き率を高めて記憶部２００に記憶させることにより、アクセスの際の消費電力をさらに低減することができる。
【０１０３】
＜５．第５の実施の形態＞
上述の第１の実施の形態では、画像処理部１００が圧縮部１３０および伸張部１４０を有し、記憶部２００に圧縮フレームを記憶させていた。これに対し本技術の第５の実施の形態では、記憶部２００が圧縮部を有し、フレームを画像処理部１００に出力する際に圧縮を行う。これにより、圧縮処理の頻度を低減する。
【０１０４】
図２４は、本技術の第５の実施の形態における記憶部２００の構成例を示す図である。この記憶部２００は、画像処理部インターフェース２１０と、制御部２２０と、カラムアドレスデコーダ２４０と、ローアドレスデコーダ２５０と、メモリセルアレイ２６０と、圧縮部２３０とを備える。
【０１０５】
画像処理部インターフェース２１０は、画像処理部１００とのやり取りを行うインターフェースである。この画像処理部インターフェース２１０は、画像処理部１００が出力したコマンドを解釈するとともに、これに基づくアドレス、データおよび間引き情報を出力する。
【０１０６】
メモリセルアレイ２６０は、データを記憶するメモリセルが２次元に配置されて構成されたものである。データの書込みおよび読出しの際には、所望のメモリセルが選択されて、データの記憶および記憶されたデータの読出しが行われる。２次元に配置されたメモリセルには、ＸＹマトリクス状にローおよびカラムの配線が接続されており、これらの配線を選択することにより、各メモリセルを選択することができる。
【０１０７】
制御部２２０は、画像処理部インターフェース２１０が出力したアドレスをローアドレスおよびカラムアドレスに分離して出力するものである。
【０１０８】
カラムアドレスデコーダは、カラムアドレスに基づいてメモリセルアレイ２６０のカラムの配線を選択するものである。
【０１０９】
ローアドレスデコーダは、ローアドレスに基づいてメモリセルアレイ２６０のローの配線を選択するものである。
【０１１０】
圧縮部２３０は、メモリセルアレイ２６０から読み出されたデータ（出力データ）を間引き情報に基づいて圧縮するものである。圧縮部２３０の構成は、図１において説明した圧縮部１３０と同様であるため、説明を省略する。
【０１１１】
本技術の第５の実施の形態における画像処理部１００は、図１において説明した圧縮部１３０を備える必要はない。これ以外の画像処理装置の構成は図１において説明した画像処理装置と同様であるため、説明を省略する。
【０１１２】
同図の記憶部２００と画像処理部１００との間のフレームのやりとりについて説明する。画像処理部１００がフレームを記憶部２００に記憶させる際には、画像処理部１００から書込みコマンドが出力され、これに付随して書込みデータであるフレームが出力される。記憶部２００は、書込みコマンドを解釈し、書込み先アドレスに対応するメモリセルアレイ２６０のメモリセルにフレームのデータを書き込む。これによりフレームが記憶される。
【０１１３】
画像処理部１００が記憶部２００からフレームを読み出す際には、画像処理部１００が読出しコマンドを出力する。記憶部２００は、読出しコマンドを解釈し、読出し先アドレスに対応するメモリセルアレイ２６０のメモリセルからフレームを読み出した後、圧縮部２３０による圧縮を行って圧縮フレームを生成する。この圧縮フレームを画像処理部１００に出力する。記憶部２００から出力された圧縮フレームは、画像処理部１００の伸張部１４０により伸張される。このように、本技術の第５の実施の形態の画像処理装置は、フレーム等を記憶部２００から読み出す際に圧縮を行う。
【０１１４】
ＯＳＤイメージは、一旦生成された後は、ほとんど変更されることはない。このため、システムの起動時等にＯＳＤイメージを生成して記憶部２００に記憶させておき、必要に応じて読み出してフレームと混合し、表示用フレームを生成する方式を使用することができる。ＯＳＤイメージの生成処理を削減するためである。そこで、このような場合に、本技術の第５の実施の形態の画像処理装置を使用し、非圧縮のＯＳＤイメージを記憶部２００に記憶させておき、表示するストリームに応じた間引き率に基づいて記憶部２００において圧縮を行って画像処理部１００に転送する。これにより、表示するフレームに合わせた適切な間引き率を選択して圧縮することができる。
【０１１５】
図２５は、本技術の第５の実施の形態における画像処理部１００の処理の一例を示す図である。同図は、図３と同様に画像処理部１００の各部における処理の流れを表したものである。入力されたストリームに対してデマルチプレクス処理および復号が行われてフレームが生成され、記憶部２００に記憶される。このフレームが読み出され、これに基づいて間引き情報生成部１１０が間引き情報を生成する。また、記憶部２００から読み出されたフレームは、フレーム処理部１５０により処理されて処理済みフレームが生成されて、記憶部２００に記憶される。次に、記憶部２００から読み出された処理済みフレームは、解像度変換部１６０により解像度が変換される。
【０１１６】
一方、ＯＳＤイメージは、予めＯＳＤイメージ生成部１７０により生成されて記憶部２００に記憶される。記憶されたＯＳＤイメージは、上述の間引き情報生成部１１０により生成された間引き情報に基づいて、記憶部２００の圧縮部２３０により圧縮されて読み出され、伸張部１４０により伸張される。伸張されたＯＳＤイメージは、ＯＳＤイメージ表示部１８０により解像度が変換される。
【０１１７】
最後に、解像度が変更された処理済みフレームおよびＯＳＤイメージが混合部１９０により混合される。
【０１１８】
このように、本技術の第５の実施の形態によれば、非圧縮の状態で記憶部２００に記憶させたフレームに対して必要に応じた間引き率に基づいて圧縮して記憶部２００から出力させることができ、フレームの表示品質の低下を防止することができる。
【０１１９】
上述のように、本技術の実施の形態によれば、フレームを記憶部２００に記憶させる際の圧縮および伸張の処理を簡便な処理である画像信号の間引きおよび補間により行うことができる。
【０１２０】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１２１】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１２２】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１２３】
なお、本技術は以下のような構成もとることができる。
（１）複数の画像信号により構成されるフレームにおいて前記複数の画像信号の一部を除去する間引きにより圧縮が行われた前記フレームである圧縮フレームを供給する記憶部と、
前記供給された前記圧縮フレームにおける前記間引きされた前記画像信号を前記フレーム毎の前記間引きの情報である間引き情報に基づいて復元することにより前記圧縮フレームの伸張を行う伸張部と
を具備する画像処理装置。
（２）前記間引き情報を生成する間引き情報生成部と、
前記間引き情報に基づく前記間引きにより前記フレームの前記圧縮を行って前記記憶部に記憶させる圧縮部と
をさらに具備する
前記（１）に記載の画像処理装置。
（３）前記間引き情報生成部は、前記フレームに含まれる前記画像信号数に対する前記間引きの対象となる前記画像信号数の比率である間引き率を前記間引き情報として生成し、
前記圧縮部は、前記間引き率に基づいて前記間引きの対象となる前記画像信号数を決定して前記間引きを行う
前記（２）に記載の画像処理装置。
（４）前記圧縮部は、前記フレームを水平方向に分割したラインにおける前記間引き対象の前記画像信号の配置の情報である複数の配置パターンを所定の順序により前記ライン毎の前記間引きに適用して前記圧縮を行い、
前記伸張部は、前記配置パターンを前記所定の順序により前記ライン毎の前記復元に適用して前記伸張を行う
前記（３）に記載の画像処理装置。
（５）前記間引き情報生成部は、前記間引き率と前記所定の順序の情報である間引き位置情報とを前記間引き情報として生成する前記（４）に記載の画像処理装置。
（６）前記間引き情報生成部は、前記間引き率と連続する複数の前記フレーム毎に異なる前記間引き位置情報とを前記間引き情報として生成する前記（５）に記載の画像処理装置。
（７）前記圧縮部は、前記間引きの対象となる前記画像信号が水平方向に隣接しない配置となる前記配置パターンに基づいて前記圧縮を行う前記（４）または（５）に記載の画像処理装置。
（８）前記フレームとは異なるフレームである第２のフレームと前記フレームとを所定の混合比率に基づいて混合して新たなフレームを生成するフレーム混合部をさらに具備し、
前記間引き情報生成部は、前記混合比率に基づいて前記フレームおよび前記第２のフレームの前記間引き率を前記間引き情報として生成する
前記（３）から（７）のいずれかに記載の画像処理装置。
（９）前記間引き情報を生成する間引き情報生成部をさらに具備し、
前記記憶部は、前記フレームを記憶し、前記間引き情報に基づく前記間引きにより前記記憶した前記フレームの前記圧縮を行って前記伸張部に供給する
前記（１）に記載の画像処理装置。
（１０）複数の画像信号により構成されるフレームにおいて前記複数の画像信号の一部を除去する間引きにより圧縮が行われた前記フレームである圧縮フレームにおける前記間引きされた前記画像信号を前記フレーム毎の前記間引きの情報である間引き情報に基づいて復元することにより前記圧縮フレームの伸張を行う伸張手順を具備する画像処理方法。
【符号の説明】
【０１２４】
１００  画像処理部
１０２  デマルチプレクサ
１０３  プロセッサ
１０４  記憶部インターフェース
１１０  間引き情報生成部
１２０  ビデオデコーダ
１３０、１５４、１７４、２３０  圧縮部
１３１  画像信号除去部
１３２  画像信号並べ替え部
１４０、１６１、１８１  伸張部
１４１  画像信号挿入部
１４２  復元部
１５０  フレーム処理部
１５２  ＩＰＣ部
１５３  ノイズリダクション部
１５５、１６５、１７５、１８５  ラインメモリ
１６０  解像度変換部
１６２  解像度変換処理部
１７０  ＯＳＤイメージ生成部
１７１  ＯＳＤイメージ生成処理部
１８０  ＯＳＤイメージ表示部
１８２  ＯＳＤイメージ解像度変換部
１９０  混合部
１９１  フレーム混合部
１９２  フレームＯＳＤイメージ混合部
２００  記憶部
２１０  画像処理部インターフェース
２２０  制御部
２４０  カラムアドレスデコーダ
２５０  ローアドレスデコーダ
２６０  メモリセルアレイ
３００  表示装置
【図１】
2016219973.tif 000003
【図２】
2016219973.tif 000004
【図３】
2016219973.tif 000005
【図４】
2016219973.tif 000006
【図５】
2016219973.tif 000007
【図６】
2016219973.tif 000008
【図７】
2016219973.tif 000009
【図８】
2016219973.tif 000010
【図９】
2016219973.tif 000011
【図１０】
2016219973.tif 000012
【図１１】
2016219973.tif 000013
【図１２】
2016219973.tif 000014
【図１３】
2016219973.tif 000015
【図１４】
2016219973.tif 000016
【図１５】
2016219973.tif 000017
【図１６】
2016219973.tif 000018
【図１７】
2016219973.tif 000019
【図１８】
2016219973.tif 000020
【図１９】
2016219973.tif 000021
【図２０】
2016219973.tif 000022
【図２１】
2016219973.tif 000023
【図２２】
2016219973.tif 000024
【図２３】
2016219973.tif 000025
【図２４】
2016219973.tif 000026
【図２５】
2016219973.tif 000027