(57)【要約】符号化画像と参照画像との間でエントリの競合を起こさないようにして、キャッシュヒット率を上げることができ、また容量、エントリ決定方法などで各画像に最適なキャッシュ制御を行うことができ、さらに縦方向に近傍の矩形ブロックがエントリの競合を起こさないようにして、縦方向のキャッシュヒット率を上げることができる信号処理装置、およびそれを用いたシステムである。キャッシュシステムにおいて、符号化画像用のキャッシュメモリ（１１１）およびそのキャッシュ制御部（１１０）と、参照画像用のキャッシュメモリ（１１３）およびそのキャッシュ制御部（１１２）とを持ち、制御部選択回路（１１４）において、アクセスされたアドレスにより符号化画像なのか参照画像なのかを判定し、符号化画像に対するアクセスであれば符号化画像用のキャッシュ制御、参照画像に対するアクセスであれば参照画像用のキャッシュ制御を行い、それぞれ独立したエントリにキャッシュするデータを格納する。
2004017640.tif 000002
【特許請求の範囲】
【請求項１】
画像データの符号化画像用キャッシュメモリと、
前記符号化画像用キャッシュメモリに対するキャッシュ動作を制御する符号化画像用キャッシュ制御部と、
前記画像データの参照画像用キャッシュメモリと、
前記参照画像用キャッシュメモリに対するキャッシュ動作を制御する参照画像用キャッシュ制御部と、
前記符号化画像用キャッシュ制御部によるキャッシュ制御と前記参照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、それぞれ独立した前記符号化画像用キャッシュメモリと前記参照画像用キャッシュメモリのエントリにキャッシュする画像データを格納する選択回路とを有することを特徴とする信号処理装置。
【請求項２】
請求項１記載の信号処理装置において、
前記参照画像用キャッシュメモリは、前方予測参照画像用キャッシュメモリと後方予測参照画像用キャッシュメモリとを有し、
前記参照画像用キャッシュ制御部は、前方予測参照画像用キャッシュ制御部と後方予測参照画像用キャッシュ制御部とを有し、
前記選択回路は、前記前方予測参照画像用キャッシュ制御部によるキャッシュ制御と前記後方予測参照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、それぞれ独立した前方予測参照画像用キャッシュメモリと前記後方予測参照画像用キャッシュメモリのエントリにキャッシュするデータを格納することを特徴とする信号処理装置。
【請求項３】
請求項１記載の信号処理装置において、
前記符号化画像用キャッシュメモリおよび前記参照画像用キャッシュメモリは、１つのエントリに格納される画像データの単位が画像上で矩形ブロックであることを特徴とする信号処理装置。
【請求項４】
請求項３記載の信号処理装置において、
前記符号化画像用キャッシュ制御部および前記参照画像用キャッシュ制御部は、アクセスする画素データを指定する際、前記矩形ブロックの横方向の位置と縦方向の位置と前記矩形ブロック内の横方向の画素位置と縦方向の画素位置で指定し、前記矩形ブロックの横方向の位置と縦方向の位置によりエントリを決定することを特徴とする信号処理装置。
【請求項５】
請求項２記載の信号処理装置において、
前記符号化画像用キャッシュメモリ、前記前方予測参照画像用キャッシュメモリおよび前記後方予測参照画像用キャッシュメモリは、１つのエントリに格納される画像データの単位が画像上で矩形ブロックであることを特徴とする信号処理装置。
【請求項６】
請求項５記載の信号処理装置において、
前記符号化画像用キャッシュ制御部、前記前方予測参照画像用キャッシュ制御部および前記後方予測参照画像用キャッシュ制御部は、アクセスする画素データを指定する際、前記矩形ブロックの横方向の位置と縦方向の位置と前記矩形ブロック内の横方向の画素位置と縦方向の画素位置で指定し、前記矩形ブロックの横方向の位置と縦方向の位置によりエントリを決定することを特徴とする信号処理装置。
【請求項７】
請求項１、２、３、４、５または６記載の信号処理装置において、
前記画像データを格納する画像メモリを接続するための画像メモリ用インタフェースと、
前記画像データを処理する画像処理装置を接続するための画像処理装置用インタフェースとを有し、
前記信号処理装置は、前記画像メモリ用インタフェースからバスを通じて前記画像メモリに接続され、前記画像処理装置用インタフェースからバスを通じて前記画像処理装置に接続されることを特徴とする信号処理装置。
【請求項８】
請求項１、２、３、４、５または６記載の信号処理装置において、
前記画像データと他のデータとを共有して格納するメモリを接続するためのメモリ用インタフェースと、
前記画像データを処理する画像処理装置を接続するための画像処理装置用インタフェースと、
前記他のデータを処理する演算処理装置を接続するための演算処理装置用インタフェースとを有し、
前記信号処理装置は、前記メモリ用インタフェースからバスを通じて前記メモリに接続され、前記画像処理装置用インタフェースからバスを通じて前記画像処理装置に接続され、前記演算処理装置用インタフェースからバスを通じて前記演算処理装置に接続されることを特徴とする信号処理装置。
【請求項９】
画像データの符号化画像用キャッシュメモリと、前記符号化画像用キャッシュメモリに対するキャッシュ動作を制御する符号化画像用キャッシュ制御部と、前記画像データの参照画像用キャッシュメモリと、前記参照画像用キャッシュメモリに対するキャッシュ動作を制御する参照画像用キャッシュ制御部と、前記符号化画像用キャッシュ制御部によるキャッシュ制御と前記参照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、それぞれ独立した前記符号化画像用キャッシュメモリと前記参照画像用キャッシュメモリのエントリにキャッシュする画像データを格納する選択回路とを有する信号処理装置と、
前記信号処理装置にバスを通じて接続され、前記画像データを格納する画像メモリと、
前記信号処理装置にバスを通じて接続され、前記画像データを処理する画像処理装置とを有することを特徴とするシステム。
【請求項１０】
画像データの符号化画像用キャッシュメモリと、前記符号化画像用キャッシュメモリに対するキャッシュ動作を制御する符号化画像用キャッシュ制御部と、前記画像データの参照画像用キャッシュメモリと、前記参照画像用キャッシュメモリに対するキャッシュ動作を制御する参照画像用キャッシュ制御部と、前記符号化画像用キャッシュ制御部によるキャッシュ制御と前記参照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、それぞれ独立した前記符号化画像用キャッシュメモリと前記参照画像用キャッシュメモリのエントリにキャッシュする画像データを格納する選択回路とを有する信号処理装置と、
前記信号処理装置にバスを通じて接続され、前記画像データと他のデータとを共有して格納するメモリと、
前記信号処理装置にバスを通じて接続され、前記画像データを処理する画像処理装置と、
前記メモリにバスを通じて接続され、前記他のデータを処理する演算処理装置とを有することを特徴とするシステム。
【発明の詳細な説明】
【技術分野】  本発明は、信号処理装置に関し、特に画像用キャッシュメモリの制御方式に適用して有効な技術に関する。
【背景技術】  本発明者が検討したところによれば、画像用の信号処理装置については、以下のような技術が考えられる。
現在、ＭＰＥＧ−４などの動画像の圧縮伸張処理を実現するＬＳＩが開発されている。この圧縮伸張処理を行う際には、画像メモリと画像処理用プロセッサとの間で大量のデータアクセスが生じる。一般に、画像メモリは容量が大きいため、ＤＲＡＭなどの大容量だが速度が遅いメモリが用いられることが多い。そのため、プロセッサとメモリとの間にキャッシュメモリを持ち、速度の向上を図る場合がある。
なお、このようなキャッシュメモリを持つキャッシュシステムに関する技術としては、たとえば特開平５−５３９０９号公報に記載される技術などが挙げられる。この公報には、ＭＰＥＧ・ハードウェア・アクセラレータ中に、ブロック単位でデータを格納するキャッシュメモリを持つシステムが開示されている。しかしながら、この技術は、キャッシュメモリを一面のみしか持っていない。
ところで、前記のようなキャッシュメモリを持つキャッシュシステムを画像処理に適用した場合、第１の課題として、符号化画像の処理も参照画像の処理も同じキャッシュ制御が行われることが挙げられる。通常、画像処理のときは符号化画像と参照画像の近い位置に頻繁にアクセスするが、そのときの符号化画像の画素データのアドレスと参照画像の画素データのアドレスは大きく離れた位置となる。
よって、前記のようなキャッシュシステムの場合、エントリの決定はアドレスの下位ビットによって決まるので、メモリ上で離れた位置に頻繁にアクセスする場合、エントリの競合を起こしやすくなる。そのため、符号化画像へのアクセスと参照画像へのアクセスが交互に行われるような場合、メモリ上で離れた位置に頻繁にアクセスをすることになり、頻繁にエントリの競合を起こすことがある。エントリの競合を起こした場合、当該エントリはより新しいデータでリプレースがされるため、キャッシュヒット率が低下する。
また、符号化画像と参照画像ではアクセスされる性質が異なる。たとえば、ＭＰＥＧにおける動きベクトル検出では、符号化画像の場合は符号化を行う１６×１６画素のブロックに対して頻繁にアクセスされるが、参照画像では探索範囲のブロック（たとえばＸ方向、Ｙ方向ともに±１６画素だとすると４８×４８画素）で頻繁にアクセスされる。アクセスの性質が異なるものに対して同じ制御方式をとると、容量の増大を招く問題がある。
第２の課題として、前記のキャッシュメモリでは縦方向の画素のキャッシュヒット率を上げるためにブロック単位でデータを格納しているが、エントリの決定にアドレスを使用しているため、画像の横方向のサイズが２のべき乗に限定されてしまう。画像の横方向のサイズを２のべき乗以外にすると、エントリの競合を起こし、縦方向の画素のキャッシュヒット率が低下する。
そこで、本発明の第１の目的は、前記第１の課題を解決し、符号化画像と参照画像との間でエントリの競合を起こさないようにして、キャッシュヒット率を上げることができ、また容量、エントリ決定方法などで各画像に最適なキャッシュ制御を行うことができる信号処理装置、およびそれを用いたシステムを提供することにある。
また、本発明の第２の目的は、前記第２の課題を解決し、縦方向に近傍の矩形ブロックがエントリの競合を起こさないようにして、縦方向のキャッシュヒット率を上げることができ、かつ画像のサイズを自由に選択することができる信号処理装置、およびそれを用いたシステムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【発明の開示】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
本発明は、前記第１の目的を達成するため、符号化画像用のキャッシュメモリおよびそのキャッシュ制御部と、参照画像用のキャッシュメモリおよびそのキャッシュ制御部とを持ち、選択回路において、アクセスされたアドレスにより符号化画像なのか参照画像なのかを判定し、符号化画像に対するアクセスであれば符号化画像用のキャッシュ制御、参照画像に対するアクセスであれば参照画像用のキャッシュ制御を行い、それぞれ独立したエントリにキャッシュするデータを格納するようにしたものである。この制御により、符号化画像と参照画像との間でエントリの競合を起こすことがなくなり、キャッシュヒット率を上げることができるようになる。また、キャッシュ制御を独立に行うため、容量、エントリ決定方法などで各画像に最適なキャッシュ制御を行うことができるようになる。
また、本発明は、前記第２の目的を達成するため、それぞれのキャッシュ制御方式において、１つのエントリには画像上で矩形ブロックとなる画像データを格納し、アクセスする画素データの指定は矩形ブロックの横方向の位置と縦方向の位置と矩形ブロック内の横方向の画素位置と縦方向の画素位置で指定し、矩形ブロックの横方向の位置と縦方向の位置によりエントリを決定するものである。これにより、キャッシュする単位が矩形ブロックとなるため、１つのエントリに横方向と縦方向に近傍の画素が存在することになり、縦方向のキャッシュヒット率を上げることができるようになる。また、アクセスする画素データを、矩形ブロックの横方向の位置と縦方向の位置を用いてエントリを決定することにより、縦方向に近傍の矩形ブロックがエントリの競合を起こさないため、縦方向のキャッシュヒット率を上げることができるようになり、かつ画像のサイズも自由に選択することができる。
従って、本発明により、画像データに対するキャッシュヒット率を向上することができる。よって、ユニファイドメモリ・アーキテクチャを採用する画像処理装置で、画像データの転送によるバス占有率を低減することができる。この結果、処理の高速化および低消費電力化を実現することが可能となる。
【図面の簡単な説明】  図１は本発明による信号処理装置を適用した実施の形態１のキャッシュシステムを示すブロック図、図２は実施の形態１のキャッシュシステムにおける動作を示すフロー図、図３は実施の形態１において、動きベクトル検出時のアクセス範囲を示す説明図、図４は本発明による信号処理装置を適用した実施の形態２のキャッシュシステムを示すブロック図、図５は本発明による信号処理装置を適用した実施の形態３のキャッシュシステムを示すブロック図、図６は実施の形態３において、アドレス指定方法を示す説明図、図７はエントリ決定方法を示す説明図、図８はミスヒット時の動作を示す説明図、図９は本発明による信号処理装置を適用した実施の形態４のキャッシュシステムを示すブロック図、図１０は本発明による信号処理装置を適用した実施の形態５の携帯電話システムを示すブロック図である。
【発明を実施するための最良の形態】  以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一機能を有する部材には同一の符号を付し、その繰り返しの説明は省略する。
（実施の形態１）
図１により、本発明による信号処理装置を適用した実施の形態１のキャッシュシステムの構成の一例を説明する。図１は本実施の形態のキャッシュシステムのブロック図を示す。
本実施の形態のキャッシュシステムは、たとえば画像の圧縮伸長処理を実現するシステムとされ、画像データのキャッシュ動作を制御するためのキャッシュ制御部１００と、画像データを処理するための画像処理装置１０１と、画像データを格納するための画像メモリ１０２などから構成されている。特に、本実施の形態の特徴は、信号処理装置として機能するキャッシュ制御部１００に、符号化画像用と参照画像用のキャシュメモリおよびそのキャッシュ制御部をそれぞれ独立に備えた点である。
キャッシュ制御部１００は、信号処理装置として機能する部分であり、符号化画像用キャッシュ制御部１１０、符号化画像用キャッシュメモリ１１１、参照画像用キャッシュ制御部１１２、参照画像用キャッシュメモリ１１３、制御部選択回路１１４、信号線選択回路１１５などから構成され、画像処理装置用インタフェースからバスを通じて画像処理装置１０１に接続され、画像メモリ用インタフェースからバスを通じて画像メモリ１０２に接続されている。特に、このキャッシュ制御部１００では、符号化画像用キャッシュ制御部１１０と参照画像用キャッシュ制御部１１２がそれぞれ独立に備えられている。
以上のように構成されるキャッシュシステムにおいて、画像処理装置１０１は、キャッシュ制御部１００内の符号化画像用キャッシュ制御部１１０、参照画像用キャッシュ制御部１１２、制御部選択回路１１４、信号線選択回路１１５とアドレスバス１２０を通じて接続され、また信号線選択回路１１５とデータバス１２１を通じて接続されている。また、画像メモリ１０２は、キャッシュ制御部１００内の信号線選択回路１１５とアドレス、データの各バスを通じて接続されている。
キャッシュ制御部１００内において、符号化画像用キャッシュ制御部１１０、参照画像用キャッシュ制御部１１２、制御部選択回路１１４は制御線１２２を通じて接続され、また制御部選択回路１１４、信号線選択回路１１５は別の制御線１２３を通じて接続されている。また、符号化画像用キャッシュ制御部１１０と信号線選択回路１１５の間、参照画像用キャッシュ制御部１１２と信号線選択回路１１５の間、さらに符号化画像用キャッシュ制御部１１０と符号化画像用キャッシュメモリ１１１の間、参照画像用キャッシュ制御部１１２と参照画像用キャッシュメモリ１１３の間はそれぞれ、アドレス、データの各信号線を通じて接続されている。
次に、図２により、本実施の形態のキャッシュシステムにおける動作の一例を説明する。図２は本実施の形態のキャッシュシステムにおける動作のフロー図を示す。
本実施の形態のキャッシュシステムにおいて、画像の圧縮処理に伴う符号化については、画像処理装置１０１と符号化画像用キャッシュメモリ１１１、参照画像用キャッシュメモリ１１３との間で行われ、必要に応じて画像メモリ１０２のデータが用いられる。また、画像の伸長処理に伴う復号化については、画像処理装置１０１と画像メモリ１０２との間で行われる。ここでは、本発明の目的としている画像の圧縮処理に伴う符号化の動作について説明する。
まず、画像処理装置１０１から、キャッシュ制御部１００に対してアクセスが発生すると、キャッシュ制御部１００内の制御部選択回路１１４にはアドレスバス１２０が接続されているので、このアドレスバス１２０を通じてアクセスするアドレスが入力される（ステップＳ１）。
そして、キャッシュ制御部１００内において、制御部選択回路１１４は符号化画像の先頭アドレス、符号化画像の画像サイズ、参照画像の先頭アドレス、参照画像の画像サイズの情報を持っているので、これらの情報より、入力されたアドレスが符号化画像へのアクセスなのか、参照画像へのアクセスなのか、それ以外へのアクセスなのかを判定する（ステップＳ２，Ｓ３）。
この判定の結果により、符号化画像へのアクセスであれば、符号化画像用キャッシュ制御部１１０がキャッシュ制御動作を行うように制御線１２２により制御する。この符号化画像のキャッシュ動作を行うときは、符号化画像用キャッシュメモリ１１１にキャッシュするデータを格納する。また、信号線選択回路１１５が、アクセスのあった符号化画像用キャッシュ制御部１１０を選択して、画像メモリ１０２、画像処理装置１０１と接続するように制御線１２３により制御する（ステップＳ４）。
また、判定の結果が、参照画像へのアクセスであれば、参照画像用キャッシュ制御部１１２がキャッシュ制御動作を行うように制御線１２２により制御する。この参照画像のキャッシュ動作を行うときは、参照画像用キャッシュメモリ１１３にキャッシュするデータを格納する。また、信号線選択回路１１５が、アクセスのあった参照画像用キャッシュ制御部１１２を選択して、画像メモリ１０２、画像処理装置１０１と接続するように制御線１２３により制御する（ステップＳ５）。
また、判定の結果により、アクセスされたアドレスが符号化画像でも参照画像でもない場合は、キャッシュ動作を行わず、アドレスバス１２０とデータバス１２１を画像メモリ１０２と接続するように信号線選択回路１１５を制御する（ステップＳ６）。
以上のように、符号化画像用と参照画像用にそれぞれ、専用のキャッシュメモリ１１１，１１３とキャッシュ制御部１１０，１１２を持つので、符号化画像と参照画像は必ず別々のメモリに格納され、エントリが競合することがない。また、符号化画像でも参照画像でもないアクセスの場合はキャッシュ動作を行わないので、符号化画像や参照画像が各キャッシュメモリ１１１，１１３から追い出されることがない。その結果、それぞれのキャッシュヒット率が向上する。
次に、図３により、動きベクトル検出時のアクセス範囲の一例を説明する。図３は動きベクトル検出時のアクセス範囲の説明図を示す。
符号化画像用キャッシュ制御部１１０と参照画像用キャッシュ制御部１１２はそれぞれ独立で動作するため、それぞれの制御方式は同じでなくとも良い。たとえば、図３のように、動きベクトル検出を１６×１６画素の符号化画像ブロックをＸ方向、Ｙ方向ともに±１６画素の範囲で探索する場合、符号化ブロックは１６×１６画素、参照画像は４８×４８画素が必要になる。この場合、符号化画像のキャッシュ容量は１６×１６画素分、参照画像のキャッシュ容量は４８×４８画素分にすると、容量の面で効率が良くなる。
このように、本実施の形態のキャッシュシステムによれば、符号化画像用キャッシュ制御部１１０と参照画像用キャッシュ制御部１１２をそれぞれ独立に動作させることにより、符号化画像と参照画像、およびそれ以外のデータとの間でエントリの競合がなくなり、キャッシュヒット率が向上する。また、符号化画像用と参照画像用でそれぞれ独立した制御方式をとれるので、容量、制御方式などを画像の性質に合わせて最適化することができる。
（実施の形態２）
図４により、本発明による信号処理装置を適用した実施の形態２のキャッシュシステムの構成の一例を説明する。図４は本実施の形態のキャッシュシステムのブロック図を示す。
本実施の形態のキャッシュシステムは、たとえば画像の圧縮伸長処理を実現するシステムとされ、前記実施の形態１と同様に、キャッシュ制御部１００ａと、画像処理装置１０１と、画像メモリ１０２などから構成され、前記実施の形態１との相違点は、前記実施の形態１の拡張例として、参照画像用のキャシュメモリおよびそのキャッシュ制御部をさらに前方予測参照画像用と後方予測参照画像用に分けるようにした点である。
すなわち、本実施の形態のキャッシュシステムにおいて、信号処理装置として機能するキャッシュ制御部１００ａは、符号化画像用キャッシュ制御部１１０、符号化画像用キャッシュメモリ１１１、前方参照画像用キャッシュ制御部２１０、前方参照画像用キャッシュメモリ２１１、後方参照画像用キャッシュ制御部２１２、後方参照画像用キャッシュメモリ２１３、制御部選択回路１１４、信号線選択回路１１５などから構成され、特に参照画像用キャッシュ制御部として前方参照画像用キャッシュ制御部２１０と後方参照画像用キャッシュ制御部２１２がそれぞれ独立に備えられている。
また、キャッシュ制御部１００ａ内において、符号化画像用キャッシュ制御部１１０、前方参照画像用キャッシュ制御部２１０、後方参照画像用キャッシュ制御部２１２、制御部選択回路１１４は制御線１２２を通じて接続され、また制御部選択回路１１４、信号線選択回路１１５は別の制御線１２３を通じて接続されている。各装置間および他の接続は、前記実施の形態１と同様である。
よって、本実施の形態のキャッシュシステムによれば、前方予測参照画像と後方予測参照画像の両方から動きベクトルを予測するような場合に、符号化画像用キャッシュ制御部１１０と前方参照画像用キャッシュ制御部２１０と後方参照画像用キャッシュ制御部２１２がそれぞれ専用のキャッシュメモリ１１１，２１１，２１３を持ち、それぞれ独立に動作するため、各画像間でエントリの競合が起こらず、キャッシュヒット率が向上する。また、容量、制御方式などを各画像の性質に合わせて最適化することができる。
（実施の形態３）
図５により、本発明による信号処理装置を適用した実施の形態３のキャッシュシステムの構成の一例を説明する。図５は本実施の形態のキャッシュシステムのブロック図を示す。
本実施の形態の特徴は、１つのエントリに格納されるデータの単位が画像上で横方向と縦方向に連続した矩形ブロックであり、画素データの指定方法がブロック位置とブロック内での位置により行われることである。ここでは、参照画像のキャッシュ制御を例に説明するが、符号化画像のキャッシュ制御にも同様に適用可能であることはいうまでもない。
すなわち、本実施の形態のキャッシュシステムは、たとえば画像の圧縮伸長処理を実現するシステムとされ、前記実施の形態１と同様に、画像処理装置１０１と、参照画像用のキャッシュ制御部１１２およびキャッシュメモリ１１３と、制御部選択回路１１４と、メインメモリ３００などから構成されている。メインメモリ３００は、前記実施の形態１の画像メモリ１０２に対応する。
参照画像用のキャッシュ制御部１１２は、エントリ決定回路３１０、キャッシュヒット判定回路３１１、タグメモリ３１２、メモリコントローラ３１３などから構成されている。エントリ決定回路３１０は、参照画像の先頭アドレス、Ｘ方向画像サイズの情報を持ち、ブロック位置と、ブロック内での位置により、アクセスされた画素のメインメモリ３００でのアドレスが算出可能になっている。
次に、本実施の形態のキャッシュシステムにおいて、アクセス方法の一例について説明する。
制御部選択回路１１４は、アドレスバス１２０が接続されているので、アドレスの上位１６ビットにより参照画像に対するアクセスなのか、それ以外のものに対するアクセスなのかを指定する。たとえば、参照画像の識別コードをＨ’ＦＦ００とすると、入力されたアドレスの上位１６ビットがＨ’ＦＦ００である場合、参照画像へのアクセスであり、それ以外の場合、通常の３２ビットで指定する非キャッシュアクセスであるというふうに使用する。このため、識別コードに使用するアドレスは通常アクセスでは使用禁止領域とする。
エントリ決定回路３１０は、アドレスバス１２０、データバス１２１が接続されているので、ここを通じて画像処理装置１０１からレジスタ設定が行われる。アクセスしたい画素の指定は、画素のブロック位置と、ブロック内の位置により指定する。ここでは、ブロックのサイズは１６×１６画素とする。ブロック位置の指定は、エントリ決定回路３１０のレジスタセットにより行い、ブロック内の画素の位置はアドレスの下位１６ビットで指定する。
制御部選択回路１１４から参照画像制御選択信号が出力された場合、アドレスの下位１６ビットにはブロック内での画素位置が示され、その位置指定によりキャッシュメモリ用アドレスを算出し、キャッシュアクセスが行われる。ブロック内の位置指定は、Ｘ方向位置とＹ方向位置により行う。ブロック内位置指定に使用するアドレスの下位１６ビットのうち下位８ビットをブロック内Ｘ方向位置、上位８ビットをブロック内Ｙ方向位置として指定する。
次に、図６により、画像の位置とアドレスの指定方法の一例を説明する。図６はアドレス指定方法の説明図を示す。
図６のように、ブロック位置が（１，２）、ブロック内の位置が（２，１）の画素をアクセスする場合、エントリ決定回路３１０の内部レジスタにＸ方向ブロック位置として１、Ｙ方向ブロック位置として２をセットする。その後、アドレスには参照画像の識別コードＨ’ＦＦ００を上位１６ビット、ブロック内のＹ方向画素位置Ｈ’０１、Ｘ方向画素位置Ｈ’０２を下位１６ビットに割り合て、アドレス＝Ｈ’ＦＦ００  ０１０２でアクセスする。
次に、図７により、エントリの決定方法の一例について説明する。図７はエントリ決定方法の説明図を示す。
エントリの決定方法は、矩形ブロックの横方向の位置をｘ、縦方向の位置をｙとして、エントリ数をｍ×ｎとした場合、以下の式でエントリ番号を決定する。
エントリ番号＝｛（ｘ／ｍ）の余り｝＋｛（ｙ／ｎ）の余り｝×ｍ  （１）
図７により、式（１）に従い、エントリ番号を決定した場合に画像上のブロックがどのエントリに格納されるかを説明する。ここでは、エントリ数を３×３（番号０〜８）とした場合について示しており、ブロック位置（６，３）はエントリ番号０、ブロック位置（５，５）はエントリ番号８になり、それぞれのエントリ番号位置に格納される。図７で示すように、横方向は１ずつエントリ番号が増え、３つ目で元に戻る。縦方向は３ずつエントリ番号が増え、３つ目で元に戻る。
従って、横方向、縦方向ともに３個以内の位置のブロックはエントリの競合を起こさない。すなわち、横方向にはｍ個以内、縦方向にはｎ個以内の位置のブロックはエントリの競合を起こさない。そのため、横方向と縦方向の両方に近傍の画素のキャッシュヒット率が向上する。
このときのタグは、以下の式により表される。
タグ＝｛（ｘ／ｍ）の商｝＋｛（ｙ／ｎ）の商｝×ｍ  （２）
タグメモリ３１２の、式（１）で決定されたエントリに対応する位置に、式（２）の値が格納される。
次に、本実施の形態のキャッシュシステムにおける動作の一例について説明する。
画像処理装置１０１がアクセスしたい参照画像のＸ方向ブロック位置とＹ方向ブロック位置を、エントリ決定回路３１０の内部レジスタに設定しておく。制御部選択回路１１４では、アドレスバス１２０からアドレスが入力されると、上位１６ビットを見て参照画像へのアクセスなのか、それ以外へのアクセスなのかを判断し、参照画像へのアクセスであった場合、エントリ決定回路３１０に参照画像制御選択信号を出力する。
エントリ決定回路３１０では、参照画像制御選択信号が入力されると、内部レジスタに設定された値により、式（１）、（２）に従いエントリ、タグを決定し、キャッシュヒット判定回路３１１に出力する。また、参照画像先頭アドレス、Ｘ方向画像サイズ、ブロック位置よりミスヒット時のメインメモリ用アドレス、ブロック内位置よりキャッシュメモリ用アドレスを算出し、メモリコントローラ３１３に出力する。
キャッシュヒット判定回路３１１では、入力されたエントリに対応するタグメモリ３１２の値を入力されたタグと比較する。比較の結果、一致していたらヒット信号を、不一致だったらミスヒット信号をメモリコントローラ３１３に出力する。ミスヒットの場合、タグメモリ３１２を入力されたタグに書き換える。
メモリコントローラ３１３では、ヒット判定の場合、エントリ決定回路３１０から入力されたキャッシュメモリ用実アドレスに従いキャッシュメモリ１１３にアクセスし、データバス１２１にデータを出力する。ミスヒット判定の場合、該当するエントリの１６×１６画素を全て置き換え、その後、データを出力する。
次に、図８により、ミスヒット時の動作の一例を説明する。図８はミスヒット時の動作の説明図を示す。
ここでは、（１，１）のブロックの画素にアクセスの際、ミスヒットが起こった場合について示している。参照画像格納先頭アドレスをＨ’００００、画像のＸ方向サイズを１７６画素とすると、（１，１）の先頭アドレスはＨ’０Ｂ１０、Ｙ方向のインクリメント値（Ｙ方向の次のアドレスの加算値）はＨ’Ｂ０となる。これらの値は、エントリ決定回路３１０から受け渡される。ブロック位置（１，１）は前述した式（１）よりエントリ番号４に格納される。
メモリコントローラ３１３は、メインメモリ３００にアクセスし、まず先頭アドレスであるＨ’０Ｂ１０の１ライン（１６バイト）をキャッシュメモリ１１３のエントリ番号４に上から順番に格納する。メインメモリ３００のアドレスにＹ方向インクリメント値（Ｈ’Ｂ０）を加算して、次のアドレス（Ｈ’０ＢＣ０）にアクセスをし、キャッシュメモリ１１３のエントリ番号４に順番に格納する。これを１６ライン繰り返し、１ブロック分（１６×１６画素）の置き換えが行われる。その後、キャッシュメモリ用実アドレスに従いキャッシュメモリ１１３にアクセスし、データバス１２１にデータを出力し、動作を完了する。
このように、本実施の形態のキャッシュシステムによれば、１エントリに矩形ブロックを格納し、画素の指定をブロック位置とブロック内の位置で行うことにより、画素の横方向と縦方向の両方に近傍の画素のキャッシュヒット率が向上する。また画像のサイズも自由に選択することができる。
（実施の形態４）
図９により、本発明による信号処理装置を適用した実施の形態４のキャッシュシステムの構成の一例を説明する。図９は本実施の形態のキャッシュシステムのブロック図を示す。
本実施の形態の特徴は、画像用のキャッシュ制御部と通常の演算処理装置用のキャッシュ制御部がそれぞれ別々にあり、バスを介してメインメモリに接続されていることにある。
すなわち、本実施の形態のキャッシュシステムは、画像データを処理するための画像処理装置１０１と、画像データのキャッシュ動作を制御するための画像用キャッシュ制御部４００と、キャッシュ動作の画像データを格納するための画像用キャッシュメモリ４０１と、画像データと演算処理装置用のインストラクションコードやその他のデータを格納するためのメインメモリ４０２と、演算処理装置用の他のデータを演算処理するための演算処理装置４０３と、他のデータのキャッシュ動作を制御するための演算処理装置用キャッシュ制御部４０４と、キャッシュ動作の他のデータを格納するための演算処理装置用キャッシュメモリ４０５などから構成されている。
次に、本実施の形態のキャッシュシステムの動作の一例について説明する。
画像処理装置１０１は、画像データに関する処理を行う。画像処理装置１０１が、画像用キャッシュ制御部４００に画像データのアクセス要求をする。このキャッシュ制御部４００では、画像データがキャッシュヒットであれば画像用キャッシュメモリ４０１にアクセスし、画像処理装置１０１にデータを出力する。ミスヒットであれば、バス４２０を通じてメインメモリ４０２にアクセスし、データを画像用キャッシュメモリ４０１のデータと置き換え、画像処理装置１０１に出力する。キャッシュの制御方法は、前記実施の形態１で説明した方式をとっており、画像に適した制御となっている。
次に、演算処理装置４０３の動作の一例について説明する。
演算処理装置４０３では、主に画像データ以外のデータを扱う。演算処理装置４０３が、演算処理装置用キャッシュ制御部４０４にデータのアクセス要求をする。このキャッシュ制御部４０４では、データがキャッシュヒットであれば演算処理装置用キャッシュメモリ４０５にアクセスし、演算処理装置４０３にデータを出力する。ミスヒットであれば、バス４２０を通じてメインメモリ４０２にアクセスし、データを演算処理装置用キャッシュメモリ４０５のデータと置き換え、演算処理装置４０３に出力する。演算処理装置４０３では、インストラクションコードなど、主に画像以外のデータを取り扱うため、それらの制御に適した従来方式のキャッシュ制御が行われている。
このように、本実施の形態のキャッシュシステムによれば、画像処理装置１０１には画像用キャッシュ制御部４００、演算処理装置４０３には演算処理装置用キャッシュ制御部４０４をそれぞれ独立に設けることにより、それぞれの処理に適したキャッシュ制御方式を適用することができる。その結果、それぞれの処理でキャッシュヒット率が高くなる。
（実施の形態５）
図１０により、本発明による信号処理装置を適用した実施の形態５の携帯電話システムの構成の一例を説明する。図１０は本実施の形態の携帯電話システムのブロック図を示す。
本実施の形態の特徴は、具体的な製品として、携帯電話システムに適用していることにある。
すなわち、本実施の形態の携帯電話システムは、携帯電話システムの主要部を搭載する携帯電話本体部５００と、音声を入力するためのマイク５０１と、音声を発声するためのスピーカ５０２と、対象物を撮像するためのカメラ５０３と、画像を表示するためのＬＣＤ５０４などから構成されている。
携帯電話本体部５００は、送受信信号を変調および復調する機能などを持つＲＦ回路５１０、送受信を制御する機能などを持つベースバンドプロセッサ５１１、音声および画像などのデータを記憶するメインメモリ５１２、カメラ５０３で撮像した画像信号をデジタル処理するカメラＤＳＰ５１３、各種アプリケーション処理を実行するキャッシュメモリ５１４を含むアプリケーションプロセッサ５１５、ＬＣＤ５０４とのインタフェースを司るＬＣＤインターフェイス５１６などから構成されている。メインメモリ５１２は、バス５２０を通じてベースバンドプロセッサ５１１、キャッシュメモリ５１４に接続され、音声データ、画像データなどが格納されている。
受信時の基本動作は、ＲＦ回路５１０において、アンテナで受信された電波がフィルタ、アンプ、ミキサなどを介して中間周波数の信号に変換される。そして、ベースバンドプロセッサ５１１において、中間周波数の信号は復調されてベースバンド信号となり、その後、チャネルコーデックによって分解され、必要なチェネルの音声信号は音声コーデックによってアナログ音声信号となり、スピーカ５０２から発声される。この際に、ベースバンドプロセッサ５１１では、随時、メインメモリ５１２にデータを格納し、また必要なデータを読み出して各処理を実行する。
送信時の基本動作は、ベースバンドプロセッサ５１１において、マイク５０１から入り音声コーデックでデジタル化された信号がチャネルコーデックで変換され、そして波形整形回路で伝送に適した波形に整形される。この際に、ベースバンドプロセッサ５１１では、随時、メインメモリ５１２にデータを格納し、また必要なデータを読み出して各処理を実行する。その後、ＲＦ回路５１０において、中間周波数で変調され、さらにミキサなどを介して無線周波数に変換され、アンプで増幅された後にフィルタを経てアンテナから送信される。
また、カメラ５０３による撮像機能およびＬＣＤ５０４への表示機能に関する動作は、カメラ５０３で撮像した画像信号をカメラＤＳＰ５１３でデジタル処理し、さらにアプリケーションプロセッサ５１５において、ＬＣＤ５０４へ表示するためのデータ処理や、音声とともに電波に載せて送信するためのデータ処理などを行う。この際に、アプリケーションプロセッサ５１５では、随時、メインメモリ５１２にデータを格納し、また必要なデータはキャッシュ動作によりキャッシュメモリ５１４に格納して各処理を実行する。
そして、ＬＣＤ５０４へ表示するためにデータ処理された信号は、ＬＣＤ５０４に画像として表示される。また、音声とともに電波に載せて送信するためにデータ処理された信号は、音声とともにアンテナから送信され、相手側のＬＣＤに画像として表示される。
このように、本実施の形態の携帯電話システムによれば、キャッシュシステムを携帯電話システムに適用したことにより、前記実施の形態１〜４と同様の効果を得ることができる。
以上、本発明者によってなされた発明をその実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】  以上のように、本発明にかかる信号処理装置は、特に画像用キャッシュメモリの制御方式、さらに画像用キャッシュメモリと通常の演算処理装置用キャッシュメモリをそれぞれ別々に設けた制御方式のキャッシュシステムなどに適用して有用であり、さらに携帯電話などの携帯端末システムなどにも広く適用することができる。
【図１】
2004017640.tif 000003
【図２】
2004017640.tif 000004
【図３】
2004017640.tif 000005
【図４】
2004017640.tif 000006
【図５】
2004017640.tif 000007
【図６】
2004017640.tif 000008
【図７】
2004017640.tif 000009
【図８】
2004017640.tif 000010
【図９】
2004017640.tif 000011
【図１０】
2004017640.tif 000012
【手続補正書】
【提出日】平成15年1月24日(2003.1.24)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】画像データの符号化画像用キャッシュメモリと、
前記符号化画像用キャッシュメモリに対するキャッシュ動作を制御する符号化画像用キャッシュ制御部と、
前記画像データの参照画像用キャッシュメモリと、
前記参照画像用キャッシュメモリに対するキャッシュ動作を制御する参照画像用キャッシュ制御部と、を有し、
前記参照画像用キャッシュメモリは前方予測参照画像用キャッシュメモリと後方予測参照画像用キャッシュメモリとを有し、
前記参照画像用キャッシュ制御部は前方予測参照画像用キャッシュ制御部と後方予測参照画像用キャッシュ制御部とを有し、
前記符号化画像用キャッシュ制御部によるキャッシュ制御と前記参照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、それぞれ独立した前記符号化画像用キャッシュメモリと前記参照画像用キャッシュメモリのエントリにキャッシュする画像データを格納する選択回路を有し、
前記前方予測参照画像と前記後方予測参照画像の一方を用いて画像符号化を行い又は両方を用いて画像符号化を行う制御をすることを特徴とする信号処理装置。


【手続補正００２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】請求項１記載の信号処理装置において、
前記選択回路は、前記前方予測参照画像用キャッシュ制御部によるキャッシュ制御と前記後方予測参照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、それぞれ独立した前記前方予測参照画像用キャッシュメモリと前記後方予測参照画像用キャッシュメモリのエントリにキャッシュするデータを格納することを特徴とする信号処理装置。


【手続補正００３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】画像データの符号化画像用キャッシュメモリと、前記符号化画像用キャッシュメモリに対するキャッシュ動作を制御する符号化画像用キャッシュ制御部と、前記画像データの参照画像用キャッシュメモリと、前記参照画像用キャッシュメモリに対するキャッシュ動作を制御する参照画像用キャッシュ制御部と、前記符号化画像用キャッシュ制御部によるキャッシュ制御と前記参照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、それぞれ独立した前記符号化画像用キャッシュメモリと前記参照画像用キャッシュメモリのエントリにキャッシュする画像データを格納する選択回路とを有し、前記参照画像用キャッシュメモリは前方予測参照画像用キャッシュメモリと後方予測参照画像用キャッシュメモリとを有し、前記参照画像用キャッシュ制御部は前方予測参照画像用キャッシュ制御部と後方予測参照画像用キャッシュ制御部とを有する信号処理装置と、
前記信号処理装置にバスを通じて接続され、前記画像データを格納する画像メモリと、
前記信号処理装置にバスを通じて接続され、前記前方予測参照画像と前記後方予測参照画像の一方を用いて画像符号化を行い又は両方を用いて画像符号化を行う制御を行い、前記画像データを処理する画像処理装置とを有することを特徴とするシステム。


【手続補正００４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１０
【補正方法】変更
【補正の内容】
【請求項１０】画像データの符号化画像用キャッシュメモリと、前記符号化画像用キャッシュメモリに対するキャッシュ動作を制御する符号化画像用キャッシュ制御部と、前記画像データの参照画像用キャッシュメモリと、前記参照画像用キャッシュメモリに対するキャッシュ動作を制御する参照画像用キャッシュ制御部と、前記符号化画像用キャッシュ制御部によるキャッシュ制御と前記参照画像用キャッシュ制御部によるキャッシュ制御とを独立に行い、それぞれ独立した前記符号化画像用キャッシュメモリと前記参照画像用キャッシュメモリのエントリにキャッシュする画像データを格納する選択回路とを有し、前記参照画像用キャッシュメモリは前方予測参照画像用キャッシュメモリと後方予測参照画像用キャッシュメモリとを有し、前記参照画像用キャッシュ制御部は前方予測参照画像用キャッシュ制御部と後方予測参照画像用キャッシュ制御部とを有する信号処理装置と、
前記信号処理装置にバスを通じて接続され、前記画像データと他のデータとを共有して格納するメモリと、
前記信号処理装置にバスを通じて接続され、前記前方予測参照画像と前記後方予測参照画像の一方を用いて画像符号化を行い又は両方を用いて画像符号化を行う制御を行い、前記画像データを処理する画像処理装置と、
前記メモリにバスを通じて接続され、前記他のデータを処理する演算処理装置とを有することを特徴とするシステム。




【国際調査報告】
2004017640.tif 000013
2004017640.tif 000014
2004017640.tif 000015
2004017640.tif 000016