(57)【要約】【課題】画像処理に必要なデータ転送の帯域幅および電力低減のためのメモリ制御装置、制御方法を提供する。【解決手段】画像の加工を行う画像処理部と、画像処理部から供給される画像を圧縮するビット圧縮部と、画像を保存する画像メモリと、ビット圧縮部の出力を前記画像メモリへ保存するために読み出しと書き込みのスケジューリングを行うメモリスケジューラと、画像メモリの出力をメモリスケジューラで読み出し、圧縮された画像を復元するビット復元部を有し、画像メモリへの書き出しまたは読み出し時に、ライン単位で前記画像メモリへのアクセス単位を変更することにより、メモリのアクセス量を減らすことができ、メモリ帯域幅の削減と電力の削減が可能である。【選択図】図１
2009118226.tif 000002
【特許請求の範囲】
【請求項１】
画像の加工を行う画像処理部と、
前記画像処理部から供給される画像を圧縮するビット圧縮部と、
画像を保存する画像メモリと、
前記ビット圧縮部の出力を前記画像メモリへ保存するために読み出しと書き込みのスケジューリングを行うメモリスケジューラと、
前記画像メモリの出力を前記メモリスケジューラで読み出し、圧縮された画像を復元するビット復元部を有し、
前記画像メモリへの書き出しまたは読み出し時に、ライン単位またはブロック単位で前記画像メモリへのアクセス単位を変更することを特徴としたメモリ制御装置。
【請求項２】
前記特徴量検出部が、画像の中央のラインでビット量を増やすように制御することを特徴とした請求項１記載のメモリ制御装置。
【請求項３】
前記特徴量検出部が、特定の情報を検出することを特徴とした請求項１記載のメモリ制御装置。
【請求項４】
前記特徴量検出部が、人物を検出することを特徴とした請求項３記載のメモリ制御装置。
【請求項５】
前記ビット圧縮部及び前記ビット復元部は、再構成可能な回路であることを特徴とした請求項１記載のメモリ制御装置。
【請求項６】
前記画像メモリにメモリフォーマットを指定する部分再構成情報を画像データと合わせて保存し、読み出した部分再構成情報により、前記ビット復元部の構成を再構成する請求項５記載のメモリ制御装置。
【請求項７】
部分再構成情報を先読し、構成変更することを特徴とした請求項６記載のメモリ制御装置。
【請求項８】
画像をビット圧縮し、画像メモリへの読み出しと書き込みのスケジューリングを行った後に、結果を前記画像メモリへ保存し、保存された圧縮画像を前記画像メモリの出力としてビット復元し、前記画像メモリへの書き出しまたは読み出し時に、ライン単位またはブロック単位で前記画像メモリへのアクセス単位を変更することを特徴としたメモリ制御方法。
【請求項９】
画像の加工を行う画像処理部と、
前記画像処理部から供給される画像を圧縮するビット圧縮部と、
画像を保存する画像メモリと、前記ビット圧縮部の出力を前記画像メモリへ保存するために読み出しと書き込みのスケジューリングを行うメモリスケジューラと、
前記画像メモリの出力を前記メモリスケジューラで読み出し、圧縮された画像を復元するビット復元部を有し、
前記画像メモリへの書き出しまたは読み出し時に、ライン単位またはブロック単位で前記画像メモリへのアクセス単位を変更することを特徴としたシステムLSI。
【請求項１０】
画像の加工を行う画像処理部と、
前記画像処理部から供給される画像を圧縮するビット圧縮部と、
画像を保存する画像メモリと、前記ビット圧縮部の出力を前記画像メモリへ保存するために読み出しと書き込みのスケジューリングを行うメモリスケジューラと、
前記画像メモリの出力を前記メモリスケジューラで読み出し、圧縮された画像を復元するビット復元部を有し、
前記画像メモリへの書き出しまたは読み出し時に、ライン単位またはブロック単位で前記画像メモリへのアクセス単位を変更することを特徴としたTV。
【請求項１１】
画像の加工を行う画像処理部と、
前記画像処理部から供給される画像を圧縮するビット圧縮部と、
画像を保存する画像メモリと、前記ビット圧縮部の出力を前記画像メモリへ保存するために読み出しと書き込みのスケジューリングを行うメモリスケジューラと、
前記画像メモリの出力を前記メモリスケジューラで読み出し、圧縮された画像を復元するビット復元部を有し、
前記画像メモリへの書き出しまたは読み出し時に、ライン単位またはブロック単位で前記画像メモリへのアクセス単位を変更することを特徴とした光ディスクプレーヤ及びレコーダ。
【請求項１２】
画像の加工を行う画像処理部と、
前記画像処理部から供給される画像を圧縮するビット圧縮部と、
画像を保存する画像メモリと、前記ビット圧縮部の出力を前記画像メモリへ保存するために読み出しと書き込みのスケジューリングを行うメモリスケジューラと、
前記画像メモリの出力を前記メモリスケジューラで読み出し、圧縮された画像を復元するビット復元部を有し、
前記画像メモリへの書き出しまたは読み出し時に、ライン単位またはブロック単位で前記画像メモリへのアクセス単位を変更することを特徴とした携帯電話。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に必要なデータ転送の帯域幅および電力低減のためのメモリ制御装置、制御方法に関するものである。
【背景技術】
【０００２】
画像処理では、ディープカラーなど、今後ビット数が増える方向にある。それに伴い、外部メモリに対するデータ転送量も増加する一方である。
【０００３】
画像・音声をデジタル信号で伝送する方式として、ＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎｓ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）がある。色深度が２４ビットを越える３０ビット、３６ビット、４８ビットにも対応しており、高画質、高フレームレートでの画像・音声の伝送が可能である。
【０００４】
MPEG(Moving Picture Experts Group)方式で圧縮されたビットストリームを復号する際には、広いメモリ帯域幅を必要とする。そこで従来の外部メモリに対する帯域幅を削減する技術としては、MPEG圧縮されたビットストリームを復号し、復元した画像を外部メモリに保存する際に、解像度を低下させることにより、データ転送量を低減するものがあった（例えば、特許文献１参照）。図２は、前記特許文献１に記載された従来のＭＰＥＧ類似のデコーダの構成を示すものである。図２において、２００は入力バッファ、２０１はＶＬＤ、２０２はＩＱ、２０３はＩＤＣＴ、２０４はＭＣ、２０５は出力バッファ、２０６はＭＶプロセッサ、２０７はＭＶスケーリングルーチン、２０８は移動補償装置、２０９は要素プロセッサ、２１０は要素スケーリングルーチン、２１１はアンカーフレームメモリである。ＭＶプロセッサ２０６内のＭＶスケーリングルーチン２０７で、参照する動きベクトルをスケーリングし、参照画像を取り出す。生成した画像を保存する際には、要素プロセッサ２０９内の要素スケーリングルーチン２１０で画像をスケーリングすることにより、メモリ帯域幅を削減している。
【０００５】
一方、再構成可能なプロセッサにおけるメモリ帯域幅の効率を高めるシステムがある（例えば、特許文献2参照）。図３は、前記特許文献２に記載された従来の外部メモリおよびインテリジェントメモリコントローラを有する再構成可能なプロセッサの構成を示すものである。図３において、３００は再構成可能プロセッサの論理ブロック、３０１は計算機能ユニット、３０２はデータアクセス機能ユニット、３０３はメモリ装置、３０４はデータ先取りユニット、３０５はインテリジェントメモリコントローラ、３０６はメモリ装置、３０７はブロックＲＡＭである。
【０００６】
インテリジェントメモリコントローラ３０５とデータ先取りユニット３０４により、外部メモリからの不必要な領域のデータ転送を無くし、必要な領域だけを転送できるようにデータをスライドする。またデータを先取りすることにより、再構成可能プロセッサの論理ブロック３００がデータ待ちによるストールを起こすことを防ぎつつ、メモリ帯域幅の増大を防いている。
【特許文献１】特開２０００−５９７９５号公報（第９頁、図２）
【特許文献２】特表２００７−５２４９０５号公報（第１８頁、図９）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
放送や記録メディアで使用される動画像の圧縮には、一般にＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）などのフレーム間、またはフィールド間圧縮符号化が用いられており、過去のフレーム、フィールドを参照することが必要である。フィールド画像をフレーム画像に補完するインターレース、プログレッシブ画像処理においても、過去のフィールドを参照することにより、不足した画像を補完する。
【０００８】
また、ＨＤＭＩなどの接続では、高画質化に重点を置いており、色深度も２４ビットを越える３０ビット、３６ビット、４８ビットを採用し、ますますビット数が増大している。
【０００９】
これらの過去のフィールドの参照や色深度の拡大は、メモリへの読み込み、書き込みのアクセス量を増大させ、メモリの帯域幅が増大する。このことは高速な外部メモリを必要とし、メモリコストの増大や消費電力の増大を招く課題がある。
【００１０】
本発明は、これらの課題を解決するもので、画像処理に必要なデータ転送の帯域幅および電力低減のためのメモリ制御装置、制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記従来の課題を解決するために、本発明のメモリ制御装置は、
画像の加工を行う画像処理部と、前記画像処理部から供給される画像を圧縮するビット圧縮部と、画像を保存する画像メモリと、前記ビット圧縮部の出力を前記画像メモリへ保存するために読み出しと書き込みのスケジューリングを行うメモリスケジューラと、前記画像メモリの出力を前記メモリスケジューラで読み出し、圧縮された画像を復元するビット復元部を有し、前記画像メモリへの書き出しまたは読み出し時に、ライン単位で前記画像メモリへのアクセス単位を変更する特徴を有する。
【００１２】
本構成のメモリ制御装置を用いることにより、画質劣化を抑えつつ低コスト・低電力のシステムＬＳI、ＴＶ、光ディスクレコーダ、携帯電話を実現することができる。
【発明の効果】
【００１３】
本発明のメモリ制御装置によれば、画像の特徴に応じてメモリ帯域幅を動的に制御することにより、画像劣化を抑えつつメモリバンド幅の削減を実現することができる。
【発明を実施するための最良の形態】
【００１４】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
（実施の形態１）
図１は、メモリ制御装置の構成図である。画像処理部には、MPEG等で圧縮された画像を復元する画像デコーダの動き補償や画像の拡大縮小用、ノイズリダクション用、画像補間用の画像フィルタ処理等に適用可能である。
【００１６】
一例として、画像処理部１２０がインターレース画像からプログラッシブ画像に変換するフィルタである場合について説明する。
【００１７】
画像処理部１２０に入力された画像を、メモリ制御部１００を介して画像メモリ１１０に保存する。画像処理部１２０からライン単位またはブロック単位で入力された画像は、特徴量検出部１０１を介してライン/ブロックバッファ１０２に保存すると共に、特徴量検出部１０１で画像内の人物等を検出し、画像の特徴を抽出する。抽出した特徴量をフォーマット判定部１０７に送り、フォーマット判定部１０７で、ラインまたはブロック単位で保存する際に必要なビット量を人物が含まれる場合にはビット量を増やし、含まれない場合にはビット量を減らすようにビット量を決定し、そのビット量に応じてフォーマット格納メモリ１０６に保存されているフォーマットの中から適切なビット圧縮フォーマットを選択する。同時にアドレス情報をビット圧縮フォーマットに対応させてフォーマット格納メモリ１０６に保存する。選択されたビット圧縮フォーマットをビット圧縮部１０３に送り、ビット圧縮部１０３で、ライン/ブロックバッファ１０２に保存された画像を、その圧縮フォーマットに応じて、輝度、色差単位でビット数を圧縮する。圧縮された画像は、画像メモリ１１０への書き込みと読み出しのアクセスを調停するメモリスケジューラ１０５を介して、画像メモリ１１０に保存される。
【００１８】
画像処理部１２０で過去のフィールドを参照して、インターレス・プログレッシブ変換を行うため、過去のフィールドを画像メモリ１１０から読み出す。画像メモリ１１０に保存された過去のフィールド画像を、メモリスケジューラ１０５を介して、ビット復元部１０４に送る。画像のアドレスから適切なビット復元フォーマットをフォーマット格納メモリ１０６からビット復元部１０４へ送り、輝度、色差単位でビットを復元する。復元された画像は画像処理部１２０に参照画像として送られる。
【００１９】
この方法により、人物などの注目点での画像の劣化を抑えつつ、メモリの読み出しと書き込みのアクセス量を減らすことができ、メモリ帯域幅の削減と電力の削減が可能となる。
【００２０】
（実施の形態２）
図４は、メモリ制御装置の構成図である。画像処理部には、MPEG等で圧縮された画像を復元する画像デコーダの動き補償や画像の拡大縮小用、ノイズリダクション用、画像補間用の画像フィルタ処理等に適用可能である。
【００２１】
一例として、画像処理部１２０がインターレース画像からプログラッシブ画像に変換するフィルタである場合について説明する。
【００２２】
画像処理部１２０に入力された画像を、メモリ制御部１００を介して画像メモリ１１０に保存する。画像処理部１２０からライン単位またはブロック単位で入力された画像は、特徴量検出部１０１を介してライン/ブロックバッファ１０２に保存すると共に、特徴量検出部１０１で画像内の人物等を検出し、画像の特徴を抽出する。抽出した特徴量をフォーマット判定部１０７に送り、フォーマット判定部１０７で、ラインまたはブロック単位で保存する際に必要なビット量を人物が含まれる場合にはビット量を増やし、含まれない場合にはビット量を減らすようにビット量を決定し、そのビット量に応じて構成情報格納メモリ４０２に保存されているフォーマットの中から適切なビット圧縮フォーマットを構成する構成情報を選択する。選択された構成情報を再構成ビット圧縮部４０１に送り、再構成ビット圧縮部４０１で、ライン/ブロックバッファ１０２に保存された画像を、その圧縮フォーマットに応じて、輝度、色差単位でビット数を圧縮する。例えば、輝度を１２ビットから９ビットへ、色差の青を１２ビットから７ビットへ、色差の赤を１２ビットから７ビットへ圧縮し、１画素当たりでは、３６ビット（４バイト）から２３ビット（３バイト）へ圧縮できる。これにより、メモリへのデータ転送量を７５％に減らすことが可能である。
【００２３】
出力構成バッファ４０３で、再構成ビット圧縮部４０１の出力に部分再構成情報をライン単位またはブロック単位で１回付加し、画像メモリ１１０への書き込みと読み出しのアクセスを調停するメモリスケジューラ１０５を介して、画像メモリ１１０に保存される。
【００２４】
画像処理部１２０で過去のフィールドを参照して、インターレス・プログレッシブ変換を行うため、過去のフィールドを画像メモリ１１０から読み出す。画像メモリ１１０に保存された過去のフィールド画像をライン単位またはブロック単位で部分再構成情報と共に、メモリスケジューラ１０５を介して、入力バッファ４０４へ送る。入力バッファ４０４では、部分再構成情報と圧縮画像を分離し、部分再構成情報は再構成情報デコーダ４０５に送り、再構成ビット復元部４０６の構成の一部を再構成してビットを復元できるようにする。この際に部分再構成情報は、圧縮画像データよりも先読みしておいた方が好ましい。再構成ビット復元部４０６が再構成完了後に入力バッファ４０４の圧縮画像を再構成ビット復元部４０６へ送り、輝度、色差単位でビットを復元する。例えば、輝度を９ビットから１２ビットへ、色差の青を７ビットから１２ビットへ、色差の赤を７ビットから１２ビットへ復元する。復元された画像は画像処理部１２０に参照画像として送られる。
【００２５】
この方法により、人物などの注目点での画像の劣化を抑えつつ、メモリの読み出しと書き込みのアクセス量を減らすことができ、メモリ帯域幅の削減と電力の削減が可能となる。
【００２６】
なお、このメモリ制御装置を図５に示すとおり、画像処理部として、MPEGデコーダ５０２とグラフィックス処理部５０３、画像フィルタ５０４を適用し、ストリーム分離部５０１、画像出力５０５を組み込んだシステムＬＳＩ５００として構成してもよい。
【００２７】
また、このメモリ制御装置を図６に示すとおり、アンテナ６０１を接続し、チューナー６０２とディスプレイ制御部６０３、モニタ６０４を組み込んだＴＶ６００として構成してもよい。
【００２８】
さらに、このメモリ制御装置を図７に示すとおり、ＴＶ７０６と接続し、ＭＰＥＧエンコーダ７０１とストリーム合成部７０２、入出力セレクタ７０３、光ディスクドライブ７０４、ハードディスクドライブ７０５を組込み、光ディスクレコーダ７００として構成してもよい。
【００２９】
また、このメモリ制御装置を図８に示すとおり、メモリカードＩＦ８０１とアンテナ８０２、通信変復調部８０３、液晶パネル８０４を組込み、携帯電話８００として構成してもよい。
【産業上の利用可能性】
【００３０】
本発明のメモリ制御装置によれば、画像処理に必要なデータ転送のメモリ帯域幅及び電力を抑えた高画質のシステムＬＳＩを実現することができる。またデジタルビデオカメラ及びデジタルカメラ、光ディスクプレーヤ、光ディスクレコーダ、ＴＶ、携帯電話等の用途にも応用できる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１におけるメモリ制御装置の構成図
【図２】従来のＭＰＥＧ類似のデコーダの構成図
【図３】従来の外部メモリおよびインテリジェントメモリコントローラを有する再構成可能なプロセッサの構成図
【図４】本発明の実施の形態２におけるメモリ制御装置の構成図
【図５】本発明の実施の形態２におけるシステムＬＳＩの構成図
【図６】本発明の実施の形態２におけるＴＶの構成図
【図７】本発明の実施の形態２における光ディスクレコーダの構成図
【図８】本発明の実施の形態２における携帯電話の構成図
【符号の説明】
【００３２】
１００    メモリ制御部
１０１    特徴量検出部
１０２    ライン/ブロックバッファ
１０３    ビット圧縮部
１０４    ビット復元部
１０５    メモリスケジューラ
１０６    構成情報格納メモリ
１１０    画像メモリ
１２０    画像処理部
２００    入力バッファ
２０１    ＶＬＤ
２０２    ＩＱ
２０３    ＩＤＣＴ
２０４    ＭＣ
２０５    出力バッファ
２０６    ＭＶプロセッサ
２０７    ＭＶスケーリングルーチン
２０８    移動補償装置
２０９    要素プロセッサ
２１０    要素スケーリングルーチン
２１１    アンカーフレームメモリ
３００    再構成可能プロセッサの論理ブロック
３０１    計算機能ユニット
３０２    データアクセス機能ユニット
３０３    メモリ装置
３０４    データ先取りユニット
３０５    インテリジェントメモリコントローラ
３０６    メモリ装置
３０７    ブロックＲＡＭ
４０１    再構成ビット圧縮部
４０２    構成情報格納メモリ
４０３    出力構成バッファ
４０４    入力バッファ
４０５    再構成情報デコーダ
４０６    再構成ビット復元部
５００    システムＬＳＩ
５０１    ストリーム分離部
５０２    ＭＰＥＧデコーダ
５０３    グラフィック処理部
５０４    画像フィルタ部
５０５    画像出力部
６００    ＴＶ
６０１    アンテナ
６０２    チューナー
６０３    ディスプレイ制御部
６０４    モニタ
７００    光ディスクレコーダ
７０１    ＭＰＥＧエンコーダ
７０２    ストリーム合成部
７０３    入出力セレクタ
７０４    光ディスクドライブ
７０５    ハードディスクドライブ
７０６    ＴＶ
８００    携帯電話
８０１    メモリカードＩＦ
８０２    アンテナ
８０３    通信変復調部
８０４    液晶パネル
【図１】
2009118226.tif 000003
【図２】
2009118226.tif 000004
【図３】
2009118226.tif 000005
【図４】
2009118226.tif 000006
【図５】
2009118226.tif 000007
【図６】
2009118226.tif 000008
【図７】
2009118226.tif 000009
【図８】
2009118226.tif 000010