(57)【要約】【課題】静止画に基づき、エフェクト処理を付した動画を生成する画像処理システムにおいて、プロセッサの演算負荷の軽減を図る。【解決手段】画像処理システムにおけるメモリインターフェイス３は、プロセッサ１と画像メモリ２との間に介在し、アドレス変換部３ａと、補間演算部３ｂとが設けられている。アドレス変換部３ａは、プロセッサ１からの論理アドレスに基づいて、論理アドレスの周辺に位置する複数の実アドレスを算出するとともに、画素メモリ２に対して、算出された複数の実アドレスのそれぞれに対応する複数の画素値データの読み出しを指示する。また、補間演算部３ｂは、画像メモリ２より読み出された複数の画素値データを入力とした補間演算を行うことによって、論理アドレスに対応する補間データを算出するともに、算出された補間データをプロセッサ１に出力する。【選択図】図１
2006190134.tif 000002
【特許請求の範囲】
【請求項１】
画像処理システムにおいて、
実アドレスに対応付けられた画素値データの集合としての画像データが格納されている画像メモリと、
前記画像データに基づいて画像処理を行うプロセッサと、
前記画像メモリと前記プロセッサとの間に介在しており、アドレス変換部と、補間演算部とを有するメモリインターフェイスとを有し、
前記アドレス変換部は、前記プロセッサから出力された二次元平面上の論理アドレスに基づいて、前記論理アドレスの周辺に位置する複数の前記実アドレスを算出するとともに、前記画素メモリに対して、前記算出された複数の実アドレスのそれぞれに対応する複数の画素値データの読み出しを指示し、
前記補間演算部は、前記画像メモリより読み出された前記複数の画素値データを入力とした補間演算を行うことによって、前記論理アドレスに対応する補間データを算出するともに、当該算出された補間データを前記プロセッサに出力することを特徴とする画像処理システム。
【請求項２】
前記論理アドレスは、所定のビット数で構成された整数部と、所定のビット数で構成された小数部とを有し、
前記アドレス変換部は、前記整数部に基づいて、前記論理アドレスから複数の前記実アドレスを算出し、
前記補間演算部は、前記複数の画素値データと、前記小数部とに基づいて、前記補間データを算出することを特徴とする請求項１に記載された画像処理システム。
【請求項３】
前記アドレス変換部が算出する複数の前記実アドレスは、二次元平面において前記論理アドレスの近傍に位置する少なくとも４点の実アドレスを含み、
前記補間演算部は、前記少なくとも４点の実アドレスに対応した画素値データを入力とした補間演算を行うことを特徴とする請求項１または２に記載された画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムに関する。
【背景技術】
【０００２】
従来より、画像処理における画素の補間演算が数多く知られている。例えば、特許文献１には、補間する画素位置において、所定の周辺画素の画素値における画素値の階調差を求め、この階調差と所定の閾値とを比較することにより、補間演算処理の手法を決定する補間処理方法が開示されている。
【特許文献１】特開２００３−１７４５５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、画像処理を行うプロセッサは、画像メモリに格納された画素値データを取り扱う際、プロセッサが処理を行うアドレス形式（以降、論理アドレスと呼ぶ）から、画像メモリ上のアドレス形式（以降、実アドレスと呼ぶ）に変換するアドレス変換処理や、これら複数の画素値データに基づいて、目的の論理アドレスにおける画素値データを得る補間演算処理など、多くの処理の実行を必要とする。そのため、プロセッサに対する負担は非常に大きく、その結果、画像処理における演算負荷の増大を招く。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、特に静止画に基づいて、エフェクト処理を付した動画を生成する画像処理において、特にプロセッサにおける演算負荷の軽減を図ることである。
【課題を解決するための手段】
【０００５】
かかる課題を解決するために、本発明の画像処理システムは、画像メモリと、プロセッサと、メモリインターフェイスとを有する。画像メモリは、実アドレスに対応付けられた画素値データの集合としての画像データが格納されている。プロセッサは、画像データに基づいて画像処理を行う。メモリインターフェイスは、画像メモリとプロセッサとの間に介在し、アドレス変換部と、補間演算部とを有する。アドレス変換部は、プロセッサからの出力された二次元平面上論理アドレスに基づいて、論理アドレスの周辺に位置する複数の実アドレスを算出するとともに、画像メモリに対して、算出された複数の実アドレスのそれぞれに対応する複数の画素値データの読み出しを指示する。補間演算部は、画像メモリより読み出された複数の画素値データを入力とした補間演算を行うことによって、論理アドレスに対応する補間データを算出するともに、算出された補間データをプロセッサに出力する。
【０００６】
また、本発明において、論理アドレスは、所定のビット数で構成された整数部と、所定のビット数で構成された小数部とで構成されていることが好ましい。このとき、アドレス変換部は、この整数部に基づいて、論理アドレスから複数の実アドレスを算出し、補間演算部は、この小数部に基づいて、補間データを算出する。
【０００７】
また、本発明において、アドレス変換部が算出する複数の実アドレスは、二次元平面において論理アドレスの近傍に位置する少なくとも４点の実アドレスを含み、補間演算部は、上記少なくとも４点の実アドレスに対応する画素値データを入力とした補間演算を行うことが好ましい。
【発明の効果】
【０００８】
本発明によれば、複数の画素値データの読み込みと、これら複数の画素値データを使った線形補間処理をメモリインターフェイス上で行うことで、プロセッサにおける演算負荷の軽減を図ることができる。
【発明を実施するための最良の形態】
【０００９】
図１は、本実施形態に係る画像処理システムの構成図である。画像処理システムは、プロセッサ１と、画像メモリ２と、メモリインターフェイス３とで構成されている。プロセッサ１は、画像データに基づいた画像処理を行う。画像メモリ２には、実アドレスに対応付けられた画素値データの集合としての画像データが格納されている。
【００１０】
メモリインターフェイス３は、プロセッサ１と画像メモリ２との間に介在し、アドレス変換部３ａと、補間演算部３ｂとを有する。アドレス変換部３ａは、プロセッサ１からの要求された論理アドレスに基づいて、二次元平面（画像平面）において論理アドレスの周辺に位置する複数の実アドレスを算出するとともに、画素メモリ２に対して、算出された複数の実アドレスのそれぞれに対応する複数の画素値データの読み出しを指示する。また、補間演算部３ｂは、画像メモリ２より読み出された複数の画素値データを入力とした補間演算を行うことによって、論理アドレスに対応する補間データを算出し、算出された補間データをプロセッサ１に出力する。
【００１１】
ここで、「実アドレス」とは、画像メモリ２上に割り当たえられた物理的な位置情報であり、絶対番地で管理される物理アドレスピクセルデータの占める位置を示す。また、「論理アドレス」とは、プロセッサ１上で実現される容量に対応する仮想アドレスを示す。画像処理において、プロセッサ１は、この論理アドレス空間上でエフェクト処理をはじめとした各種処理を実行する。つまり、プロセッサ１が各種処理を実行するために、仮想アドレスに対応する画素値を、実アドレスの画素値から算出する必要がある。
【００１２】
図２は、実アドレスと論理アドレスとの対応関係を示す図である。論理アドレス（同図中の黒点）は、二次元平面において、プロセッサ１が要求する整数部および小数部で構成されるアドレスである。本実施形態では、一例として、整数値が１３ビット、小数値が３ビットで表現されている。画像メモリ２上に存在する実アドレス（同図中の白点）は、小数部を含まないアドレスであり、論理アドレスの整数部に対応して、それぞれが隣接して二次元平面に設定されている。画像メモリ２には、それぞれの実アドレスに対応した画素値データが格納されている。
【００１３】
つぎに、図１の構成図に基づいて、プロセッサ１が要求する論理アドレスの画素値データの呼び出しから、メモリインターフェイスを経由して、補間データとしてプロセッサ１に出力するまでの一連の流れを説明する。なお、本実施形態では、一例として、補間演算部３ｂは、線形補間法を用いて補間データを算出する。
【００１４】
まず、プロセッサ１は、メモリインターフェイス３に設けられたアドレス変換部３ａに対して、画素値データが必要な論理アドレスを入力する。アドレス変換部３ａは、この入力された論理アドレスの整数部に基づいて、実アドレスを算出し、この実アドレスに対応する画素値データを画像メモリ２から呼び出す。呼び出された画素値データは、補間演算部３ｂへ一時的に格納される。一方、アドレス変換部３ａにて使用されない論理アドレスの小数部は、補間演算部３ｂに出力される。
【００１５】
図３は、実アドレスとアクセスされる実アドレスとの対応関係を示す図である。本実施形態において、メモリインターフェイス３にアクセスされる画素値データは、二次元平面上の論理アドレスに最も近い実アドレスの近傍４点である。例えば、同図に示すとおり、プロセッサ１から要求された論理アドレスが、実アドレスのｘ座標系における（i-1）から（i）までの間と、ｙ座標系における（j-1）から（j）までの間とに存在するものとする。この場合、アクセスされる画素値データの実アドレスは、アドレス（i-1,j-1）、（i-1,j）、（i,j-1）および（i,j）となる。
【００１６】
そして、補間演算部３ｂは、これら近傍４点における画素値データと、アドレス変換部３ａとに基づき、入力された論理アドレスの小数部を用いて、補間データを算出する。図３に示すように、論理アドレスが、実アドレス（i-1,j-1）からｘ軸方向に距離ｎ、ｙ軸方向に距離ｍとし、（i-1,j-1）、（i-1,j）、（i,j-1）および（i,j）の画素値データの値をｐ1、ｐ2、ｐ3およびｐ4とすると、補間データの値Ｐは以下の算出式にしたがって算出される（ただし、ｎ,ｍ＜１）。
【００１７】
Ｐ＝(１−ｎ)（１−ｍ）ｐ1＋（１−ｎ）ｍｐ2＋ｎ（１−ｍ）ｐ3＋ｎｍｐ4
【００１８】
上記の算出式にて算出された補間データは、プロセッサ１に出力され、プロセッサ１は、この要求した論理アドレスに対応する画素値データ（補間データ）を得ることで、一連の処理の流れが完了する。
【００１９】
このように、本実施形態によれば、複数の画素値データの読み込みと、これら複数の画素値データを使った線形補間処理をメモリインターフェイス３で行うことで、プロセッサ１における演算負荷の軽減を図ることができる。この点を、図４および図５に示すタイミングチャートを比較することにより、本発明における効果を説明する。なお、図４および図５において、論理アドレスの画素値データの出力には、タイミングｔ0〜ｔ8を要し、全てのタイミング間で、プロセッサ１またはメモリインターフェイス３のいずれかが、
何らかの処理を実行しているものとする。
【００２０】
図４は、従来の画像処理システムにおけるタイミングチャートである。まず、プロセッサ１は、タイミングｔ0〜ｔ1の間において、目的の論理アドレスを実アドレスに変換し、メモリインターフェイス３に対して、この実アドレスに対応する画素値データを読み込みを指示をする（pixel read）。メモリインターフェイス３は、プロセッサ１からの指示に対応する実アドレスの画素値データを画像メモリ２から読み込む（memory read）。そして、タイミングｔ1〜ｔ2の間において、プロセッサ１は、読込対象の実アドレスを再計算し、読込対象の実アドレスを変位させる（address increment）。この期間ｔ1〜ｔ2において、メモリインターフェイス３は処理を行わない。
【００２１】
また、タイミングｔ3〜ｔ7間において、プロセッサ１およびメモリインターフェイス３は、上記の処理を繰り返し行う。そして、論理アドレスに対して、少なくとも近傍４点の実アドレスの画素値データの読み込みが完了したタイミングｔ7において、プロセッサ１は、線形補間演算（bilinear interpolation）を行い、目的の論理アドレスにおける画素値データ（補間データ）を得る。
【００２２】
図５は、本実施形態の画像処理システムにおけるタイミングチャートである。まず、プロセッサ１は、タイミングｔ0〜ｔ1の間において、メモリインターフェイス３に対して、要求する論理アドレスに対応する画素値データを、読み出す指示をする（pixel request）。メモリインターフェイス３は、この指示された論理アドレスに対応する実アドレスを算出し、この実アドレスに対応する画素値データを、画像メモリ２から読み込む（memory read）。そして、タイミングｔ1〜ｔ2において、メモリインターフェイス３は、読込対象の実アドレスを再計算し、読込対象の実アドレスを変位させる（address increment）。
【００２３】
また、タイミングｔ3〜ｔ7間においては、メモリインターフェイス３のみが、近傍４点全ての実アドレスの画素値データの読み込みが完了するまで、画素値データの読み込みと、読込対象の実アドレスの変位とを交互に行う。一方、プロセッサ１は、論理アドレスの画素値データを得るための処理は実行を行わず、他の処理を実行する（execution time for other instruction）。タイミングｔ7において、近傍４点の画素値データの読み込みが終了すると、メモリインターフェイス３は、線形補間演算（bilinear interpolation）を行い、算出された補間データをプロセッサ１に出力する。
【００２４】
この比較例からわかるように、本実施形態によれば、プロセッサ１がメモリインターフェイス３に対して論理アドレスを指示するだけで、目的の論理アドレスにおける画素値データが得られる。これにより、プロセッサ１には、他の処理を実行できる時間的猶予が確保され、その結果、プロセッサ１の処理負担を軽減させることができる。
【００２５】
なお、上述した本実施形態において、補間演算部３ｂは、線形補間法を実行することにより補間データを算出しているが、本発明で扱う補間方法は、これに限定されるものではない。本発明は、バイキュービック法やスプライン法などといった、局所的補間法に基づく補間法を扱うものに対しても広く適用することができる。
【図面の簡単な説明】
【００２６】
【図１】本実施形態に係る画像処理システムの構成図
【図２】実アドレスと論理アドレスとの対応関係を示す図
【図３】実アドレスとアクセスされる実アドレスとの対応関係を示す図
【図４】従来の画像処理システムにおけるタイミングチャート
【図５】本実施形態の画像処理システムにおけるタイミングチャート
【符号の説明】
【００２７】
１  プロセッサ
２  画像メモリ
３  メモリインターフェイス
３ａ  アドレス変換部
３ｂ  補間演算部
【図１】
2006190134.tif 000003
【図２】
2006190134.tif 000004
【図３】
2006190134.tif 000005
【図４】
2006190134.tif 000006
【図５】
2006190134.tif 000007