(57)【特許請求の範囲】
【請求項１】
原画像を任意倍率ｍ／ｎにより拡大処理する画像任意倍率処理装置であり、
前記原画像の前記任意倍率ｍ／ｎの分子を“１６”とするべく、基準となる画素間隔基底値を算出する第１算出部と、
前記原画像の前記任意倍率ｍ／ｎを“１６／画素間隔規定値”として表すべく、前記画素間隔規定値の補正値である基底補正値と、補正する周期を示す基底補正周期とを算出する第２算出部と、
前記第２算出部で算出された前記基底補正値を、前記基底補正周期により選択的に出力するセレクタと、
前記第１算出部で算出された前記画素間隔基底値と、前記セレクタの出力である前記基底補正周期で出力される前記基底補正値とを受けて、これらを加算し出力する加算器と、
前記加算器の出力を受け、前記原画像の画像切り出し開始値を初期値として前記画素間隔基底値又は前記画素間隔基底値と前記基底補正値との和によりカウントしてカウンタ出力Ｐを求め前記カウンタ出力Ｐの１／１６の値を示す上位ビットと、前記カウンタ出力Ｐの１／１６の剰余を示す下位ビットを出力するカウンタと、
前記カウンタから前記カウンタ出力Ｐの１／１６の値を示す上位ビットを受け、これに応じて記憶領域から前記原画像を読み出し出力する画像メモリと、
前記カウンタから前記カウンタ出力Ｐの１／１６の剰余を示す下位ビットを受け、これに応じて前記画像メモリから読み出された前記原画像にフィルタリング処理を施すための係数を決定する係数決定部と、
前記画像メモリから読み出された前記原画像を、前記係数決定部が決定した係数によってフィルタリング処理を施して出力する乗算器と、
を具備することを特徴とする画像任意倍率処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の任意倍率を行う画像処理装置及びその方法であって、特にＭＰＥＧ２などで行うパンスキャン（画像の切り出し）をした後、画像の任意倍率変換などの処理を行うための装置及び方法に関するものである。
【０００２】
【従来の技術】
最近、画像処理装置においては、任意の指定された倍率画像により、画像情報を自在に拡大縮小する要求がなされている。これに対して、本発明に係る従来技術の一つとして特開平１０−６３８２６に示される「画像拡大縮小処理装置」が挙げられ、この例では、映像信号に対して拡大縮小を行う処理が示される。
【０００３】
この従来例では、任意の倍率処理を行う場合にＭ倍のアップサンプリングをした後、１／Ｎサブサンプルが行われている。
【０００４】
しかし、このためＭ倍のアップサンプリングする時と１／Ｎサブサンプルする時にフィルタリング処理が必要となるので、回路規模の増大を招いてしまうという傾向がある。
【０００５】
【発明が解決しようとする課題】
従って、従来例にあるように、Ｍ／Ｎの任意倍率処理を行う際は、Ｍ倍のアップサンプリング処理をした後１／Ｎサブサンプル処理をするので回路規模の増大を招くという問題がある。またＭ倍アップサンプリングする場合には、Ｍ個のフィルタ特性が必要となるのでやはり、回路規模の増大を招くという問題がある。
【０００６】
本発明は、任意倍率処理に必要な原画素に対してのみアップサンプリング処理を行うことにより、非常に小さいフィルタ回路によって画像の任意倍率処理を実現する画像処理装置を提供することを目的とする。
【０００７】
また更に本発明では、Ｍ倍のアップサンプルを２のべき乗の倍率に近似する方法を行なうことにより、一段と簡易な構成で任意倍率処理を実現することができる。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、原画像を任意倍率ｍ／ｎにより拡大処理する画像任意倍率処理装置であり、前記原画像の前記任意倍率ｍ／ｎの分子を“１６”とするべく、基準となる画素間隔基底値を算出する第１算出部と、前記原画像の前記任意倍率ｍ／ｎを“１６／画素間隔規定値”として表すべく、前記画素間隔規定値の補正値である基底補正値と、補正する周期を示す基底補正周期とを算出する第２算出部と、前記第２算出部で算出された前記基底補正値を、前記基底補正周期により選択的に出力するセレクタと、前記第１算出部で算出された前記画素間隔基底値と、前記セレクタの出力である前記基底補正周期で出力される前記基底補正値とを受けて、これらを加算し出力する加算器と、前記加算器の出力を受け、前記原画像の画像切り出し開始値を初期値として前記画素間隔基底値又は前記画素間隔基底値と前記基底補正値との和によりカウントしてカウンタ出力Ｐを求め前記カウンタ出力Ｐの１／１６の値を示す上位ビットと、前記カウンタ出力Ｐの１／１６の剰余を示す下位ビットを出力するカウンタと、前記カウンタから前記カウンタ出力Ｐの１／１６の値を示す上位ビットを受け、これに応じて記憶領域から前記原画像を読み出し出力する画像メモリと、前記カウンタから前記カウンタ出力Ｐの１／１６の剰余を示す下位ビットを受け、これに応じて前記画像メモリから読み出された前記原画像にフィルタリング処理を施すための係数を決定する係数決定部と、前記画像メモリから読み出された前記原画像を、前記係数決定部が決定した係数によってフィルタリング処理を施して出力する乗算器とを具備することを特徴とする画像任意倍率処理装置である。
【０００９】
本発明は、与えられた画像情報を任意倍率ｍ／ｎで拡大処理する画像任意倍率処理装置であり、アップサンプリングの倍率を、現行のコンピュータ装置で最も容易に処理しやすい  “１６”に固定するものである。この形態は、図３に示されるものであり、倍率を“１６”に固定することにより、ｍ倍アップサンプリングではｍ個必要となっていたアップサンプリングのフィルタ特性を１６倍の場合だけ用意すればよいので、回路構成を大幅に簡略化することができる。
【００２２】
【発明の実施形態】
以下、本発明の実施形態を図面を用いて詳細に説明する。
【００２３】
図１は、本発明に係るシステムの第１の実施形態の一例を示すブロック図、図２は、本発明に係るシステムの第１の実施形態の動作を説明するための説明図である。
【００２４】
本発明は、原画像の各画素をｍ／ｎ倍で拡大・縮小した変換画像を得る場合に、この変換画像を構成する各画素が、原画像のｎ番目の画素とｎ＋１番目の画素とのどのあたりに位置するかについて、▲１▼Ｐ／ｍの商→原画像のどの画素か、▲２▼Ｐ／ｍの余剰→原画像の二つの画素に対して相対的にどの辺に位置するか、を求めこの値に基づいてフィルタ処理を行うことで、画像任意倍率処理を行う装置である。従って、必要な原画像の画素に対してのみアップサンプリング処理を行うので、非常に小規模な回路で任意倍率処理を実現することができる。以下、本発明の二つの値を求め、この値に基づいてフィルタ処理を行う手順を図面を用いて説明する。なお、本発明に係る画像任意倍率処理装置は画像の水平処理と垂直処理とも同等な考え方で実現できるが、以下の実施形態の説明では水平方向処理について説明する。
【００２５】
図１において、任意倍率ｍ／ｎが与えられる計算手段１１は、加算機１２に接続され、この合成出力はセレクタ１３に接続され、セレクタは画像切りだし開始値を共に受け、この出力がＤ−フリップフロップ１４に与えられる。Ｄ−フリップフロップ１４の出力は、この出力に１／ｍ倍を行う回路１９と、１／ｍの余剰を求める回路１０に与えられ、これらの出力がそれぞれ画像メモリ１５と、係数処理機１７に与えられ、画像メモリ１５の出力がフィルタタップ１６に与えら得る。フィルタタップ１６と係数処理機１７の出力はそれぞれ乗算器１８に加えられれ、求めるべき任意倍率で処理された画像出力を供給することとなる。
【００２６】
このようなシステムにおいて、まず装置外部より画像の倍率を、例えばｍ／ｎの形で与えられた場合、図１の計算手段１１は任意倍率画像を作るため、画素間隔基底値を計算する。この実施形態では画素間隔基底値はｎとなる。
【００２７】
この画素間隔基底値は加算器１２に供給され、加算器１２出力はセレクタ１３に供給される。セレクタ１３は通常は加算器１２の出力をＤ−フリップフロップ１４へ接続するが、例えば一水平ラインの開始時点で発生する初期パルスが与えられた時はパンスキャンなどで与えられる画像の切り出し開始値をＤ−フリップフロップ１４へ接続するものである。
【００２８】
Ｄ−フリップフロップ１４出力はフィルタ演算部分に供給されると共に、加算器１２に供給される。つまり加算器１２とＤ−フリップフロップ１４とで、画像切り出し開始値を初期値として画素間隔基底値でカウントアップするカウンタが構成される。
【００２９】
Ｄ−フリップフロップ１４のカウントアップ出力は図２の動作図中では黒い三角印で示される位置を表す。ここで、図中の黒い三角印で示されたＤ−フリップフロップ１４出力Ｐを１／ｍした値、つまりＰ／ｍの商は、拡大処理後の画像の各画素が、どの原画素（図２中の丸印であり、通常は二つの原画素を一定の比率で合成することになる）に対応するかを示している。又、Ｄ−フリップフロップ１４出力Ｐの１／ｍの剰余、つまりＰ／ｍの剰余は、対応する複数原画素をどういう比率で合成すればよいかを示す、原画素間のｍ倍アップサンプリングした補間画素点を求めるフィルタ係数の値を示す。
【００３０】
このためＤ−フリップフロップ１４出力Ｐを１／ｍした値は、例えば画素メモリ１５に蓄えられている画像を読み出す際の画素アドレスとして供給され、必要な原画像の原画素が供給される。そして、Ｄ−フリップフロップ１４出力Ｐの１／ｍの剰余は、画素メモリから読み出した画素に対してどの程度の比率で補間処理を行うかを決定する、フィルタ処理を行う際の係数処理器１７に供給される。
【００３１】
画像メモリ１５から読み出された画素はフィルタタップ１６に供給され、フィルタタップ１６出力は係数処理器７から出力されるフィルタ係数と畳み込み乗算を乗算器１８で行い画像出力として出力される。なお係数処理器１７へはｍが入力され倍率数に応じてアップサンプリングのフィルタ特性が選択される。
【００３２】
上記の動作について７／５倍（１．４倍）で画像を任意倍処理する場合、ｍ＝７、ｎ＝５、画像切り出し開始値＝３を例として、動作図である図２を用いて説明する。
【００３３】
水平開始時点で、画像切り出し開始値＝３がＤ−フリップフロップ１４にセットされる。その後セレクタ１３は加算器２出力側に接続されるので、画素間隔基底値ごとにカウントアップされる。今、画素間隔基底値＝５であるので、Ｄ−フリップフロップ１４出力Ｐで表される図中の黒い三角印は、図２中のような数値でカウントされる。このカウント値Ｐを１／ｍとした値と、１／ｍの剰余は、ｍ＝７であるのでそれぞれ図２中のような数値となる。このＰ／ｍの値は、返還後の画素がどの原画素に対応してるかを示しているため、ここで指定された原画素を基準としてフィルタタップに必要な原画素をフィルタタップ１６に読み込むことが可能である。またＰ／ｍの剰余は、図中の黒い三角印の両側の原画素に対して、どのあたりに位置するかを意味する。これはフィルタをかける際の位相に他ならない。この為この値を係数処理器１７に供給すれば画素位相に応じたフィルタ係数を選択することができる。
【００３４】
つまり、この方法で変換後の画像の各画素がそれぞれ、どの二つの原画素のどのあたりに位置するかを求め、必要な原画素の値を剰余に応じて補間処理することで、従来に比べ非常に小さいフィルタにより、任意倍率処理を行うことができる。従って、上記実施形態によれば画像の切り出しを行いながら任意倍率処理を行うことが可能になる。
【００３５】
次に本発明の第２の実施形態について説明する。第１の実施形態ではｍ倍アップサンプリングすることによって任意倍率を行っていた。しかしｍ倍アップサンプリングに対応するとフィルタ特性がｍ個必要となる。このため第２の実施形態ではアップサンプリングの倍数を固定とし、画素間隔基底値を可変することにより任意倍率を可能にする方法である。この方法であればアップサンプリングに必要となるフィルタ特性の数を減らすことができる。
【００３６】
本実施形態ではこの固定するアップサンプリングの倍数を１６倍として説明する。
【００３７】
図３は本発明に係るシステムの第２の実施形態を示すブロック図であり、図４は第２の実施形態の動作を示す動作図である。以下、これらの図を用いて第２の実施形態を説明する。
【００３８】
第１の実施形態と同様にｍ＝７、ｎ＝５とすると倍率数は７／５である。今アップサンプリングの倍率を１６倍としているため分子を１６倍にあわせようとすると与えられた倍率は７／５＝１６／１１．４となる。
【００３９】
このため画素間隔基底値を１１．４とすれば第１の実施形態と同じで良いが、この場合小数の部分は１６倍アップサンプリングの画素上には存在しないので実現不可能である。
【００４０】
このため、画素間隔基底値をある周期ごとに可変することで全体的なサンプル間隔を等しくする。例えば上記の例であれば画素間隔基底値を１１，１２，１１，１２，…などのように数値１１を基本に考え、ある周期ごとに画素間隔基底値を１２に補正することで、実質的に１１．４の値を実現することができる。
【００４１】
従って、装置外部より画像の倍率を、ｍ／ｎの形で与えられた場合、計算手段１は分子を１６倍にあわせるべく、基準となる画素間隔基底値を整数として計算出力する。次に計算手段１１、２１において前記整数化された画素間隔基底値を補正するように画素間隔基底値をどういう周期でどれだけの数を補正すれば良いかを計算する。これにより求められるのが、基底補正周期と基底補正値である。
【００４２】
計算手段１１により計算した画素間隔基底値に、計算手段２１で計算した基底補正周期ごとに基底補正値を加算する。セレクタ２２は基底補正周期ごとに基底補正値を選択するセレクタでセレクタ２２出力は加算器２３に供給され画素間隔基底値と加算される。加算器２３出力は基底周期ごとに可変する画素間隔基底値となる。
【００４３】
この加算器２３出力を加算器１２とＤ−フリップフロップ１４で構成されるカウンタへ供給する。
【００４４】
画像切り出し開始値＝７とするとＤ−フリップフロップ１４出力は図４中の図中の黒い三角印を示す。
【００４５】
初期値７に対して１１，１２，１１，１２，１１と基底値が加算されている。今画素間隔基底値は１１で基底補正周期は１画素ごとで基底補正値は１で１１に対して基底補正値を加算することで１２となっている。
【００４６】
ここで第１の実施形態と同様に、このＤ−フリップフロップ１４出力の１／ｍしたものは原画素の画素位置を示しており、１／ｍの剰余は補間画素点を求めるフィルタ係数の位相を示すが、本実施形態ではｍを１６倍にあわせて処理しているために１／１６と１／１６の剰余はそれぞれＤ−フリップフロップ１４の５ビット目より上のビット、下位４ビットで表現されるため第１の実施形態で必要とした１／ｍ（９）、１／ｍの剰余（１０）は単なるビットシフトで良い。
【００４７】
以降、画像メモリ１５から読み出した画像信号に対してフィルタ処理を行う手順については本実施形態も第１の実施形態と同様に計算することにより画像出力が得られる。
【００４８】
上記実施形態によれば少数のアップサンプリングフィルタにより任意倍率処理を行うことができる。
【００４９】
なお、第２の実施形態ではアップサンプリングフィルタを１６倍で説明したが２のべき乗であれば、３２でも６４でも同様の利点が得られることは言うまでもない。
【００５０】
次に本発明の第３の実施形態について説明する。
【００５１】
図５は本発明の第３の実施形態を示すフローチャートである。
【００５２】
第３の実施形態は第１の実施形態をマイクロプロセッサを有するコンピュータシステムにより、ソフトウェアを用いて同等の処理を実現する場合の方法である。以下、順を追ってフローチャートを用いてその手順を説明する。
【００５３】
初めに、画像の倍率を、例えばｍ／ｎの形で与えられた場合、画素間隔基底値計算ステップで画素間隔基底値を計算する（Ｓ１１）。
【００５４】
次に、画素間隔基底値は加算ステップに供給され、画素間隔基底値を基底として累積加算を行う（Ｓ１２）。そして、最初のカウントについては（Ｓ１３）、画像切り出し開始値を加える（Ｓ１４）。
【００５５】
そして、累積加算出力Ｐは１／ｍされ、画像信号を取得するための位置情報（ｉｍａｇｅ−ａｄｄｒ）とされ、また累積加算出力の１／ｍの剰余（ｍｏｄ−ｍ）はフィルタ係数の位相情報とされる（Ｓ１５）。
【００５６】
そして、ｍｏｄ−ｍからフィルタの係数を選択する。係数はこの例ではＴタップの係数としている。
【００５７】
最終的に、フィルタ係数ｃｏｅｆ［ｋ］（ｍｏｄ−ｍ）と画像信号ｉｍａｇｅ［ｉｍａｇｅ−ａｄｄｒ＋ｋ］との乗算処理を行ない、フィルタ処理の畳み込み演算を行うことにより、変換画像出力が得られる（Ｓ１６）。
【００５８】
本実施形態の動作については第１の実施形態と同様なので、図２の動作図と同様の処理がプロセッサを用いたシステムにより上記した手順のプログラムにより行われる。
【００５９】
次に本発明の第４の実施形態について以下に詳細に説明する。
【００６０】
図６は本発明の第４の実施形態を示すフローチャートであり、第４の実施形態は第２の実施形態をソフトウェアなどで実現する場合の方法である。
【００６１】
最初に、画像の倍率がｍ／ｎの形で与えられた場合、分子を１６倍にあわせるように画素間隔基底値、基底補正値、基底補正周期を各計算ステップで計算する（Ｓ２１）。
【００６２】
変換画像を作る計算サイクルごとに基底補正周期を観測し（Ｓ２２）、基底補正周期になったら画素間隔基底値に基底補正値を加算して画素間隔基底を補正する（Ｓ２３）。
【００６３】
補正された画素間隔基底値は、加算ステップへ入力され加算される（Ｓ２４）。この加算は計算サイクルごとに累積加算される。又、画像の初めには、画像切り出し開始値が与えられる（Ｓ２５，Ｓ２６）。
【００６４】
この場合、第２の実施形態と同様にアップサンプリングの倍率を１６倍としているため累積加算値の上位ビットが画像信号を取得するための位置情報（ｉｍａｇｅ−ａｄｄｒ）とされる（Ｓ２７）。また累積加算出力の下位ビット（ｍｏｄ−ｍ）はフィルタ係数の位相情報とされる（Ｓ２７）。
【００６５】
その後の計算処理は第３の実施形態と同様にフィルタリング処理することにより変換画像出力が得られる（Ｓ２８）。
【００６６】
本実施形態の動作については第２の実施形態と同様なので、図４の動作説明図と同様の手順で画像変換が行われる。
【００６７】
以上本発明に関して詳細に説明したが、本発明はこれらの記載に限定されるものではなく、同等の趣旨の範囲で当業者が想定できる範囲であれば、同様の作用効果を生じるものであることは言うまでもない。
【００６８】
【発明の効果】
本発明によれば、任意倍率変換後の画像の画素ごとに、与えられた任意倍率に基づいて、必要な原画像の原画素と、その原画像のフィルタリング処理の際の比率とをそれぞれ求めることで画像の任意倍率変換を行うことによって、画像の任意倍率変換に必要なフィルタ回路を大幅に低減することができる。
【図面の簡単な説明】
【図１】本発明に係るシステムの第１の実施形態の一例を示すブロック図。
【図２】本発明に係るシステムの第１の実施形態の動作を説明するための説明図。
【図３】本発明に係るシステムの第２の実施形態の一例を示すブロック図。
【図４】本発明に係るシステムの第２の実施形態の動作を説明するための説明図。
【図５】本発明に係るシステムの第３の実施形態の動作を説明するためのフローチャート。
【図６】本発明に係るシステムの第４の実施形態の動作を説明するためのフローチャート。
【符号の説明】
１１…計算手段
１２…加算機
１３…セレクタ回路
１４…Ｄ−フリップフロップ回路
１５…画像メモリ
１６…フィルタタップ
１７…係数処理機
１８…乗算器
【図１】
0003545619.tif 000002
【図２】
0003545619.tif 000003
【図３】
0003545619.tif 000004
【図４】
0003545619.tif 000005
【図５】
0003545619.tif 000006
【図６】
0003545619.tif 000007