(57)【要約】【課題】  コンピュータグラフィックスや画像処理用途での大容量画像メモリ内蔵型ＬＳＩのメモリ歩留まりを向上させる画像メモリ画素復元回路【解決手段】  画素成分単位にパリティービットを付加して画素を画像メモリに記憶する手段と、レンダリング後にこれらを走査してビデオ信号に変換する際、パリティービットを検査し、エラーがある場合にはパリティーエラー検出点近傍の複数の画素をフィルタリングして得られた値をパリティーエラー画素と置き換える手段をもつ画素復元回路。【選択図】「図１」
2005158005.tif 000002
【特許請求の範囲】
【請求項１】
画像処理回路と画像メモリを同一チップ内に実装する画像メモリ内蔵型ＬＳＩに関し、製造上での画像メモリのビット不良に対応する手段として、画像処理回路で生成した画素を画像メモリに記憶する際、画素成分毎にそれぞれパリティービットを付加する手段と、少なくともビデオ走査ラインが２段以上の画素列を記憶するシフトレジスタを用意して、前記画像メモリに記憶されたパリティービット付き画素成分をビデオ走査信号に沿って読み出し、前記シフトレジスタに逐次にロードすると共に、前記シフトレジスタの所定の位置において、画素成分毎にパリティー検出を行い、パリティーエラーがある場合には、検出点画素を中心とする水平、垂直方向に隣接する少なくとも１画素以上を読み出し、パリティーエラー画素を除くこれら複数の画素をフィルタリングする手段と、フィルタリングによって得られた値を検出点の画素値に置換する手段と、一方、パリティーエラーのない画素の場合には、検出点の画素はそのままとするそれぞれの手段を併せ持つ画像メモリ画素復元回路。
【請求項２】
請求項１の回路において、画素成分は、色および透過率だけでなく、デプス値、シャドウポリゴン、輝度などの数値と、また識別子などの符号を含めた構成とし、これら成分毎にそれぞれパリティービットを付加する手段と、それぞれの成分毎に前記シフトレジスタにおいてパリティーエラーの検出を行い、パリティーエラーがある場合、前記数値成分についてはパリティー検出点近傍の画素成分を用いてフィルタリングし、これを検出点の画素とする手段と、また前記符合成分は検出点近傍の成分の多数決判定値を、検出点の符号と置換する手段をもつ画像メモリ画素復元回路。
【請求項３】
請求項１および２の回路において、パリティー検出点の近傍画素成分をフィルタリングする手段として、検出点を挟む水平方向および垂直方向のそれぞれ左右上下と、対角線上のそれぞれの画素を用いる手段と、それぞれの近傍画素成分には所定の重み付けをしてフィルタリングする画像メモリ画素復元回路。
【発明の詳細な説明】
【技術分野】
【００１】  この発明はコンピュータグラフィックスや画像処理等において大容量の画像メモリを用いるシステムの、メモリエラーに対応する画素復元技術に属する。
【背景技術】
【００２】  大容量メモリの製造上のビットエラーを検出し、これを削除あるいは訂正する従来の誤り検出やリカバリー技術ではなく、誤リビットをもつ画素値を、周辺画素から予測し、その予測値と置き換える画素復元技術に関する。
【発明の開示】
【発明が解決しようとする課題】
【００３】  コンピュータグラフィックスや画像処理では、画素を記憶するために大量の画像メモリを必要とする。画像メモリは一般的に、赤、緑、青および透過率、また視点からの奥行きを示すデプス値、影生成に用いる光源からの距離であるシャドウポリゴン、色情報をスケーリングする輝度値などの数値情報と、画素をグループ分けするための識別子やポリゴン境界を示すフラグビットあるいはマスクビット等のコード（符号）で構成されている。これらそれぞれの画素成分はレンダリング中やレンダリング後に、ビデオ信号としての最終的な色データを決定するために使用される。画像メモリは２次元配列のデータで構成されるため大容量のメモリが必要となる。近年のＬＳＩの高速化、大容量化により、これら画像メモリはレンダリング処理回路と共にチップ内蔵型の構造が可能となり、数＋Ｍｂｉｔから数百Ｍｂｉｔが、エンベデットメモリー（Ｅｍｂｅｄｄｅｄ  Ｍｅｍｏｒｙ）として一つのチップの中に実装されようとしている。画像メモリを内蔵型とすることでレンダラーとメモリ間のバンド幅が拡大され描画性能が大幅に向上する。一方で、大容量化に伴ってＬＳＩの製造上の歩留まりが著しく低下し、ＬＳＩのコストは一般の回路よりも内蔵メモリの信頼性に大きく依存することとなる。画像メモリに記憶される情報は、２次元配列をもち微小面積内に含まれるそれぞれの画素間では高周波成分を含む一部の映像を除けば相互に混ざり合っており、２次元配列データ内の１画素が脱落しても映像に大きな影響を与えないことが多い。本発明ではこの視覚上の冗長性を利用して、製造上でエラーが生じるビットエラーを画素成分単位で検出し、エラーがある場合には、その近傍の複数の画素成分を参照してフィルタリングを行い、これをエラーのある画素と置き換えて復元する。このようにして実質的な画像品質を保持することでＬＳＩの歩留まりを見かけ上で向上させるものである。従来からメモリのビットエラー検出の方法として、行あるいは列単位でパリティーや誤り訂正ビットを付加して削除や訂正を行うことが知られている。本発明はエラーのある特定のビットを対象に削除や訂正処理をする従来の物理的な方式と異なり、画素成分毎に２次元配列周辺の画素を参照してエラーのある画素と置き換えるソフトウエア手法であり、画像特有の相関特性を利用したものである。
【課題を解決するための手段】
【００４】  本発明ではレンダラーで得られた画素を画像メモリに記憶する際、画素単位に、あるいは画素の成分単位にパリティービットを付加して記憶する。レンダリングが終了し、これを表示装置に出力するために画像メモリに記憶された画素をビデオ走査のタイミングに合わせて読み出し、ディジタルアナログ変換器を通してビデオ信号とする。一般的には画像メモリの２次元配列画素から１次元ビデオ信号に平直列変換する手段としてシフトレジスタが用いられる。シフトレジスタから出力される画素に付加されたパリティービットを画素成分単位に逐次検査して、エラーがあればこの画素を取り除いたり、訂正することは可能であるが、単純に削除すれば画素が脱落した状態となり、また、訂正を行おうとすれば多くの検査ビットの付加が必要となる。前記シフトレジスタの１クロックサイクル前の画素に単純に置き換える方法も考えられるがこの方法ではしばしばジャギーとなり画質を低下する。本発明ではこのようなエラーが検出された場合、検出点の画素を取り囲む周辺の複数の画素をフィルタリングし、この値をエラー検出点の画素と置換する。このため本発明では画像メモリからシフトレジスタに画素をロードし、これを逐次直列信号に変換してディジタルアナログ変換する過程でパリティーを検出し、この結果エラーがある場合には周辺の画素を参照する。シフトレジスタはビデオ信号のストリームに合わせて歩進されており、走査段階においては１組のシフトレジスタだけでは水平方向の近接する画素しか参照できない。よって、シフトレジスタをビデオ走査ライン長、例えばモニターの解像度が水平垂直それぞれ１２８０ｘ１０２４とした場合では１走査ライン長１２８０画素分のシフトレジスタを２組以上用意する。シフトレジスタ３組みでパリティー検出点を中心に水平・垂直３ｘ３の空間にある９つの画素から、検出点を除く８つの画素を参照できる。この８つの画素の成分を全て加算し、これを８で除算することで３ｘ３の空間の平均値が求まる。画素成分が赤、緑、青（ＲＧＢ成分）である場合にはそれぞれの色成分毎に平均化する。８つの画素のいずれかにもパリティーエラーがある場合には、それら画素を除く合計値で除算する。
画像メモリに記憶されたＲＧＢ情報に関しては、前記の手法の平均化処理で良いが、画像メモリには視点からの距離などの定量的なデータや、描画されるオブジェクト毎に識別子を付加したり、多角形のエッジを示すフラグビットなど、周りの画素と区別する各種の情報も同時に記憶され、これらはレンダリング後にＲＢＧ色を決定するためのポストシンセシス（後処理合成）で用いられる処理がある。パリティー検査でエラーが検出された場合、本発明ではこれらの情報の内、数値データについては前記ＲＧＢの平均化処理と同様に処理を行う一方、符号は例えば３ｘ３に含まれる最も多い同一符号を、検出点の符号に置き換える多数決選択回路を実装する。
また、フィルタリングは平均化だけでなく参照点画素成分に、検出点からの距離を考慮した重み付けをしてフィルタリングする方法がある。例えば３ｘ３の空間には水平・垂直方向にそれぞれ４画素、対角線上に４画素がある。１例として前者と後者との重みを１：０．７とする方法がある。
一方、パリティービットは偶数奇数ビット方式に限定する必要はなく、より検出レベルの高い巡回符号を用いたエラー検出ビット方式を実装することもできる。
【発明の効果】
【００５】  本発明によって従来歩留まりとして不良品とされた大容量メモリを内蔵した画像処理ＬＳＩチップを良品同等の扱いとすることが可能となりＬＳＩ歩留まりを著しく向上させ、コストの低減をもたらす。
【発明を実施するための最良の形態】
【００６】  大容量のＬＳＩエンベデットメモリ構造に適用され、画像メモリの実質使用ビットに対し数％のパリティービットを付加する。
【実施例】
【００７】  本発明の実施例を説明する。図１は本発明の画像メモリ構造を示す。図１においてレンダラー１の出力は画素であリパリティービット発生器２に出力する。パリティービット発生器２では、偶奇数パリティー方式では入力する画素のビットが偶数か奇数かによって１ビットを付加し、巡回符号方式では除算の剰余値が検出ビットとなる。パリティービットが付加された画素は画像メモリ３に記憶される。すべてのレンダリングが終了すると、画像メモリ３に記憶された画素をモニターに表示するために、シフトレジスタ４にビデオ走査順に逐次読み出しロードする。シフトレジスタではロードされた画素を逐次歩進してＤ／Ａ変換器に出力しこれがビデオ信号としてモニターに表示される。シフトレジスタ４では少なくとも２走査ライン分の画素長を保持しており、その一部のレジスタを選択して画素毎にパリティービットをパリティービット検査回路５で検査する。
図２は前記シフトレジスタ４の詳細を示す。シフトレジスタは画素成分を記憶するためにシフトあたり数ビットで構成されている。シフトレジスタ１段あたりの長さはモニターの水平軸表示画素数あるいは１走査ライン長に等しい。シフトレジスタに記憶される画素が色情報の場合では、一般に赤、緑、青それぞれ８ビットの計２４ビットであり、パリティービットはこの２４ビットに対して付加される。また画素には色のような数値情報だけではなく符号が含まれることがある。符号はビデオ出力段階で色情報の出力をマスクするために用いられたり、描画するオブジェクト毎に識別氏を付加して、識別子同士の選択的なカラーブレンディング（Ｃｏｌｏｒ  Ｂｌｅｎｄｉｎｇ）を行う。このような符号の場合であっても本発明においてはパリティービットが付加されるものとする。図２において画像メモリ３からの画素をまずシフトレジスタ４ａにロードする。４ａではロードされた画素を順次左から右へシフトし、右端の信号を２段目のシフトレジスタ４ｂの左端と接続する。４ｂの右端はさらに３段目のシフトレジスタ４ｃの左端と接続する。最終段のシフトレジスタ４ｃの右端はＤ／Ａ変換器に出力される。シフトレジスタ４ａ、４ｂおよび４ｃの一部ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈおよびｉの９つのレジスタ出力信号がパリティービット検査回路５に与えられる。このうち２段目のシフトレジスタのレジスタ番号ｅをパリティービット検出点として回路５で検査する。検査によってエラーが検出された場合、回路５からｅレジスタに数値の場合はフィルタリングされたデータを、また符合の場合は多数決決定符号をロードし置き換える。
図３はパリティービット検査およびフィルタおよび多数決決定回路を示す。パリティー検出は５ａにて偶数、奇数ビットの一致比較を行い、正常であればシフトレジスタ２ｂのｅレジスタの画素はそのままシフトされる。パリティーエラーが検出されると、検出点ｅ画素を除くそれぞれのシフトレジスタのレジスタ出力ａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈおよびｉの画素値あるいは符号を加算器５ｂにて加算あるいは多数決決定し、数値の場合には５ｃにて１／８の除算を行い平均化した後、また符合では５ｂから直接、シフトレジスタ４ｂの検出点ｅレジスタに、パリティービット検出回路５ａからの信号ＬＤによってロードする。加算器５ｂでは画素が色情報である場合、赤、緑、青それぞれ成分別に加算する。
以上の処理によって、検出点の画素がメモリービットエラーによって異常がある場合には周辺の画素を参照し、これを平均化した値に置き換えることによって視覚的なジャギーを減少することができる。実施例において、シフトレジスタを２段構成とすることも可能である。この場合は検出点ｅに対してａ、ｂ、ｃ、ｄおよびｆがフィルタリングの参照点となり、除算は参照点数１／５で行う。また図１のパリティー発生器は偶・奇数のパリティービット発生方式に限定されない。多項式を用いたエラー検出ビットを付加することによって、検出率を高めることも可能である。この場合図３の５ａもその方式に対応した検出回路となる。どの方式を用いるかはメモリコストで決定する。
【産業上の利用可能性】
【００８】  大容量メモリのＬＳＩエンベデッド化は特にグラフィックスや画像処理には今後不可欠の構造であり、またこの大容量化メモリ実装によるＬＳＩ歩留まりの低下も大きな問題となる。本発明はこの問題をソフト的に解決する手法であり、その利用効果が期待される。
【図面の簡単な説明】
【００９】
【図１】「本発明の画像メモリ画素復元回路を示す。」
【図２】「本発明のシフトレジスタおよび周辺回路を示す。」
【図３】「本発明のパリティービット検査およびフィルタ回路を示す。」
【符号の説明】
図１
１  レンダラー
２  パリティー発生器
３  画像メモリ
４  シフトレジスタ
５  パリティービット検査およびフィルタ回路
図２
３  画像メモリ
４ａ  １段目シフトレジスタ
４ｂ  ２段目シフトレジスタ
４ｃ  ３段目シフトレジスタ
５  パリティービット検査およびフィルタ回路
図３
５ａ  パリティービット検出回路
５ｂ  加算器および多数決決定回路
５ｃ  除算器
４ｅ  ２段目シフトレジスタ
【図１】
2005158005.tif 000003
【図２】
2005158005.tif 000004
【図３】
2005158005.tif 000005