(57)【要約】【課題】各画素に合成演算処理を与えるために使用するワイプ情報のデータ量を削減して、小規模な回路を用いて低負荷で画像の合成演算処理を行なう。【解決手段】縦ワイプ用のワイプ情報は、水平位置が同じになる画素間では濃淡値が同一であるから、画面垂直方向に１画素分のワイプ情報を持つことで、複数画素でワイプ情報を共有する。ワイプ処理する際には、画面の同じ水平位置の各画素に対して同じワイプ情報を繰り返し使用する。すなわち、処理画素の水平位置が垂直方向に移動する度に、１回だけワイプ情報を読み出してリファレンス情報との比較演算を行ない、その演算結果を水平方向の各画素に適用する。【選択図】  図１
2008131518.tif 000002
【特許請求の範囲】
【請求項１】
画面に表示される画像をワイプ効果により遷移するための画像処理装置であって、
画面遷移前の画像データを記憶する第１の画像メモリと、
画面遷移後の画像データを記憶する第２の画像メモリと、
各画素についての演算処理を指定するワイプ情報用メモリと、
時間的に変化するリファレンス情報を生成するリファレンス情報生成手段と、
画素位置毎に前記第１及び第２の画像メモリから画素データを読み出すとともに、当該画素位置に対応するワイプ情報を前記ワイプ情報用メモリから読み出す読み出し制御部と、
ワイプ情報とリファレンス情報を比較し、画素データの演算合成式を該比較結果に基づいて決定し、該決定した演算合成式に従って前記第１及び第２の画像メモリからそれぞれ読み出された画素データを合成する演算部と、
前記演算部により合成された画素データからなる画像を出力する出力部を備え、
ワイプ情報は演算処理を濃淡値で表したグラデーション・データからなり、
前記ワイプ情報用メモリは、該グラデーション値が同じになる複数の画素で共通化したワイプ情報を格納し、
前記読み出し制御部は、前記ワイプ情報用メモリからワイプ情報を読み出すアドレス順又はデータ読み取り手順を変更して、前記の各画像メモリから各画素位置の画素データを読み出す際に該当するワイプ情報を使用する、
ことを特徴とする画像処理装置。
【請求項２】
前記ワイプ情報用メモリは、画面垂直方向に１画素分のワイプ情報を持つことにより複数画素でワイプ情報を共通化した縦ワイプ用のワイプ情報を格納し、
前記読み出し制御部は、縦ワイプを行なう際に、前記の各画像メモリから１水平ライン上の各画素データを逐次読み出す間に前記ワイプ情報用メモリから当該水平位置のワイプ情報を１回だけ読み出す、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ワイプ情報用メモリは、画面水平方向に１画素分のワイプ情報を持つことにより複数画素でワイプ情報を共通化した横ワイプ用のワイプ情報を格納し、
前記読み出し制御部は、横ワイプを行なう際に、各水平走査ラインの処理において、対応する水平位置毎にワイプ情報を再度読み込むように切り替える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画面を複数に分割して分割領域毎に同じワイプ・パターンでワイプ処理を行なう際に、
前記ワイプ情報用メモリは、１つの分割領域分のワイプ情報を格納し、
前記読み出し制御部は、前記演算部が各分割領域の画像データを合成する際に、前記ワイプ情報用メモリ内のワイプ情報を繰り返し読み出す、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画面に表示される画像を画面遷移前の第１の画像から画面遷移後の第２の画像へワイプ効果により遷移するための画像処理方法であって、
時間的に変化するリファレンス情報を生成するリファレンス情報生成ステップと、
処理対象となる画素に対応した演算処理を濃淡値で表したグラデーション・データからなるワイプ情報をリファレンス情報と比較し、画素データの演算合成式を該比較結果に基づいて決定し、該決定した演算合成式に従って前記第１及び第２の画像メモリからそれぞれ読み出された画素データを合成する演算ステップを備え、
前記ワイプ情報は該グラデーション値が同じになる複数の画素で共通化されており、
前記演算ステップでは、ワイプ情報を読み出すアドレス順又はデータ読み取り手順を変更して、各画素位置の画素データを合成する際に該当するワイプ情報を使用する、
ことを特徴とする画像処理方法。
【請求項６】
縦ワイプ用のワイプ情報は、画面垂直方向に１画素分のワイプ情報を持つことにより複数画素で共通化されており、
前記演算手順では、縦ワイプを行なう際に、前記の各画像メモリから１水平ライン上の各画素データを逐次読み出す間に前記ワイプ情報用メモリから当該水平位置のワイプ情報を１回だけ読み出す、
ことを請求項５に記載の特徴とする画像処理方法。
【請求項７】
横ワイプ用のワイプ情報は、画面水平方向に１画素分のワイプ情報を持つことにより複数画素で共通化されており、
前記演算手順では、横ワイプを行なう際に、各水平走査ラインの処理において、対応する水平位置毎にワイプ情報を再度読み込むように切り替える、
ことを請求項５に記載の特徴とする画像処理方法。
【請求項８】
前記画面を複数に分割して分割領域毎に同じワイプ・パターンでワイプ処理を行なうために１つの分割領域分のワイプ情報を使用し、
前記演算手順では、各分割領域の画像データを合成する際にワイプ情報を繰り返し読み出す、
ことを請求項５に記載の特徴とする画像処理方法。
【請求項９】
画面に表示される画像を画面遷移前の第１の画像から画面遷移後の第２の画像へワイプ効果により遷移するための画像処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し
時間的に変化するリファレンス情報を生成するリファレンス情報生成手順と、
処理対象となる画素に対応した演算処理を濃淡値で表したグラデーション・データからなるワイプ情報をリファレンス情報と比較し、画素データの演算合成式を該比較結果に基づいて決定し、該決定した演算合成式に従って前記第１及び第２の画像メモリからそれぞれ読み出された画素データを合成する演算手順を実行させ、
前記ワイプ情報は該グラデーション値が同じになる複数の画素で共通化されており、
前記演算手順では、ワイプ情報を読み出すアドレス順又はデータ読み取りの手順を変更して、各画素位置の画素データを合成する際に該当するワイプ情報を使用する、
ことを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画や動画像の処理を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、複数の動画や静止画の合成を行なうなどの特殊効果を与える画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、画面に対して時間的な変化を与えながら、「ワイプ」などの画面遷移の手法に従って別の画面に転換していく画面転換若しくはシーン切り替え処理を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、各画素についての演算処理を指定したワイプ情報に従って合成対象となる複数の画像に対する合成演算を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
画像に対して特殊効果を行なう技術は、例えば放送業界を中心に広く普及している。例えば、放送局内で複数のビデオカメラからの映像出力を切り替える場合、ワイプなどの特殊効果（エフェクト）を用いて画面転換を行なうことが多い。また、最近では、デジタルスチルカメラやカムコーダなどで撮影された動画像や静止画などの複数のデジタル画像を合成する際、ワイプなどの特殊効果の手法を用いて画面転換若しくはシーン切り替えを行なうことが一般的となっている。
【０００４】
ワイプは、前の画像を特定のパターン（ワイプ・パターン）で拭い去るように消しながら、あるいは画面から押し出しながら、同時に次の画像を挿入していくエフェクトであり、例えば画面フレームの上から下へ、あるいは左から右へ向かって以前の表示画像を次の表示画像で上書きしていく。例えば、図１０Ａ左に示す画像を図１０Ａ右に示す画像に画面転換を行なうワイプ・パターンとしては、「縦ワイプ」すなわち画面フレームの上から下へ画像の上書きを行なう処理方法や（図１０Ｂを参照のこと）、「横ワイプ」すなわち画面フレームの左から右へ画像の上書きを行なう処理方法（図１０Ｃを参照のこと）がある。勿論、ワイプ処理は図示したものだけに限定されず、画面を複数に分割して分割領域毎に同じワイプ・パターンでワイプ表現を行なう、あるいはそれ以外にもさまざまなワイプ方法がある。
【０００５】
図１１には、画面遷移する前後の画像データを相補的に出力してワイプ表現を実現する画像処理装置の基本的な構成を示している。図示の例では、画面遷移する前後の画像信号が互いの画素位置（アドレス）が一致するように端子１０１及び１０２からそれぞれ同期的に入力される。また、端子１０５には、画面遷移する前後のいずれかの画像データを出力すべきかを画素位置毎に指定するワイプ信号が入力され、ゲート１０３及び１０４においてそれぞれの画素信号に対して相補的な処理が施される。そして、加算器１０６により各画像信号が重畳され、端子１０７からワイプされた映像信号が出力される（例えば、特許文献１を参照のこと）。
【０００６】
縦ワイプや横ワイプなど所望するワイプ・パターンを表現したグラデーション・データを、各画素についての演算処理を指定するワイプ情報として作成する。そして、時間的に変化するリファレンス情報をワイプ情報と比較演算を行ない、画面遷移する前後それぞれの画像データの画素に対する演算合成式を決定する。図１１に示した装置例では、画素位置毎にリファレンス値とワイプ情報のグラデーション値を大小比較し、その比較結果に従って、いずれの画像データから画素信号を出力すべきかを決定する。言い換えれば、ワイプ情報とリファレンス情報との比較結果に基づいてマスク・データを構成することができ、このマスク・データを用いて画面遷移する前後の画像データをそれぞれ切り抜き、これらの画面上で重畳するという処理を時間の経過とともにリファレンス情報を更新しながら繰り返し実行することでワイプ表現を実現することができる。
【０００７】
ワイプ情報は、図１２に示すような演算処理を濃淡値で表したグラデーション・データからなる。例えば、縦ワイプを行なう場合は画面の上から下に向かって徐々に濃淡値が高くなるグラデーション・データがワイプ情報として作成され、横ワイプを行なう場合は画面の左から右に向かって徐々に濃淡値が高くなるグラデーション・データがワイプ情報として作成される。一方、リファレンス情報は、時間の経過とともに逐次カウントアップされる。そして、リファレンス情報よりもワイプ情報が低い領域からなるマスク・データを作成して画面遷移前の画像データを切り取るとともに、リファレンス情報よりもワイプ情報が高い領域からなるマスク・データを作成して画面遷移後の画像データを切り取り、これらの切り取り画像を画面上で重畳させる。リファレンス情報を時々刻々と変化させながらこのような画面処理を繰り返すことで、画像が上からした又は左から右へ徐々に切り替わっていくワイプ効果が実現される。
【０００８】
図１２に示したようなワイプ情報は、数式から動的に生成ことができる。したがって、ワイプ処理を行なう時点でワイプ情報を逐次生成する方法が考えられる。この場合、より汎用的となるワイプ情報を生成するための数式を処理する演算回路は複雑で規模が大きくなり、加えて処理時間が必要になるという問題がある。これらの問題は、ワイプ情報のデータ・サイズの肥大化や、使用するワイプ・パターンの多様化によりさらに深刻となる。また、ワイプ情報を生成するための演算回路を簡素化するには特定のワイプ効果に特化した処理しかできない。
【０００９】
このため、グラデーション・データなどからなるワイプ情報を事前に作成しておき、フレーム・メモリなどで構成されるワイプ情報用メモリに格納しておく方法が考えられる。
【００１０】
例えば、フレーム・メモリからなるワイプ・パターン用メモリに格納されているワイプ情報を画素毎に読み出し、これとリファレンス情報との比較結果に基づいて画素位置毎に演算処理を決定して、画面遷移前後の画像同士を合成処理することによって、画面遷移が急激に行なわれるのを回避し、ワイプ画像の品質を向上させる映像信号合成装置について提案がなされている（例えば、特許文献２を参照のこと）。
【００１１】
ところが、ワイプ情報用のフレーム・メモリを備える場合、ワイプ情報のデータ・サイズが増大すると、画像処理装置としてのメモリ領域を余分に必要とするため、装置のコストアップに結び付き、不利である。使用するワイプ・パターンが多様化すれば、格納しなければならないワイプ情報のデータ・サイズの合計が大きくなるから、よりさらに深刻となる。
【００１２】
ワイプ情報のデータ・サイズを削減するために、ランレングス法などの圧縮技術を利用する方法が挙げられる（ランレングス法は、隣り合った画素間で色の変化が少なく、値が連続して出現するという画像データが持つ冗長性を利用して、「同じ色が連続する長さ」を符号化する方法であり、ファクシミリ通信などにおいてよく使用される）。この場合、ワイプ情報のデータそのものをメモリに保持しておく際のデータ・サイズを削減し、ワイプ処理などの演算を行なう際に格納しておいたデータを展開して、各画素へのデータとして使用する。
【００１３】
例えば、ワイプ・パターンを極座標によって表すことによりデータ圧縮を行なうとともに、除算回路、乗算回路やリミッタを用いて処理することにより、ソフトワイプ用のパターン・データを得るワイプ・パターン発生装置について提案がなされている（例えば、特許文献３を参照のこと）。
【００１４】
データ圧縮を用いることでワイプ情報のデータ・サイズを削減できることは明白である。しかしながら、ワイプ処理を実施する際には、圧縮方法に則した展開処理を行なうための演算回路や、特定の数式のための演算回路を別途設ける必要があることから、回路規模が増大するとともに、処理速度の面でも不利となる。
【００１５】
ワイプ情報生成のための回路規模が増加すると、それだけで画像処理装置における回路部分のコストアップを招来し、さらには回路動作の際の消費電力が増加し、これに伴う発熱量の増大により装置の小型化が困難になってしまう。
【００１６】
ワイプ処理のための演算が複雑となることで、絶対的な処理時間が延びるため、システム構成上の速度的な制約が不利な方向に作用する。
【００１７】
【特許文献１】特開平５−３０４２３号公報
【特許文献２】特開２００４−２８２４４８号公報
【特許文献３】特開平１０−６５９６８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明の目的は、複数の動画や静止画の合成を行なうなどの特殊効果を好適に与えることができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１９】
本発明のさらなる目的は、テレビジョン画面などに表示されている画面に対して時間的な変化を与えながら、「ワイプ」などの画面遷移の手法に従って別の画面に転換していく画面転換若しくはシーン切り替え処理を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【００２０】
本発明のさらなる目的は、各画素についての演算処理を指定したワイプ情報に従って合成対象となる複数の画像に対する合成演算を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【００２１】
本発明のさらなる目的は、複数の画像を合成してワイプなどの特殊効果を与える際に、各画素に合成演算処理を与えるために使用するワイプ情報のデータ・サイズを削減して、小規模な回路を用いて低負荷で合成演算処理を行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２２】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画面に表示される画像をワイプ効果により転移するための画像処理装置であって、
画面転移前の画像データを記憶する第１の画像メモリと、
画面転移後の画像データを記憶する第２の画像メモリと、
各画素についての演算処理を指定するワイプ情報用メモリと、
時間的に変化するリファレンス情報を生成するリファレンス情報生成手段と、
画素位置毎に前記第１及び第２の画像メモリから画素データを読み出すとともに、当該画素位置に対応するワイプ情報を前記ワイプ情報用メモリから読み出す読み出し制御部と、
ワイプ情報とリファレンス情報を比較し、画素データの演算合成式を該比較結果に基づいて決定し、該決定した演算合成式に従って前記第１及び第２の画像メモリからそれぞれ読み出された画素データを合成する演算部と、
前記演算部により合成された画素データからなる画像を出力する出力部を備え、
ワイプ情報は演算処理を濃淡値で表したグラデーション・データからなり、
前記ワイプ情報用メモリは、該グラデーション値が同じになる複数の画素で１つのワイプ情報を共通化し、
前期読み出し制御部は、前記ワイプ情報用メモリからワイプ情報を読み出すアドレス順又はデータ読み取り手順を変更して、前記の各画像メモリから各画素位置の画素データを読み出す際に該当するワイプ情報を使用する、
ことを特徴とする画像処理装置である。
【００２３】
動画像や静止画などの複数の画像を切り替える際に、「ワイプ」などの特殊効果の手法を用いて画面転換若しくはシーン切り替えを行なうことが一般的である。
【００２４】
本発明に係る画像処理装置は、ワイプなどの特殊効果を与えながら複数の画像を切り替える際、切り替えの対象となり、出力画面の作成に使用される複数の画像に加えて、時間の経過に応じた画素毎の演算方法を指定するワイプ情報を使用する。また、ワイプ情報を使用して時間的な画面遷移の表現を行なうために、カウンタ動作などによって値が時間的に変化していくリファレンス情報を用いる。そして、各画素位置において、時間的に変化するリファレンス情報をワイプ情報と比較演算を行ない、画面遷移する前後それぞれの画素に対する演算合成式を決定し、切り替え対象となる画像同士を合成することによりワイプ処理が実施される。
【００２５】
ワイプ情報は、数式から動的に生成ことができるが、より汎用的となるワイプ情報を生成するための数式を処理する演算回路は複雑で規模が大きくなり、加えて処理時間が必要になるという問題がある。そこで、ワイプ情報をフレーム・メモリなどで構成されるワイプ情報用メモリに格納しておく方法が一般的である。
【００２６】
ワイプ情報のデータ・サイズが増大すると、画像処理装置としてのメモリ領域を余分に必要とするため、装置のコストアップに結び付き、不利である。ワイプ情報を削減するために、ランレングス法などの圧縮技術を利用する方法が挙げられる。ところが、ワイプ処理を実施する際には、圧縮方法に則した展開処理を行なうための演算回路や、特定の数式のための演算回路を別途も受ける必要があり、回路規模が増大するとともに、処理速度の面でも不利となる。
【００２７】
１画素当たり１ワイプ情報とすると、画像サイズと、表現するワイプの内容により選択されるワイプ情報の単位当たりの大きさによって全ワイプ情報のデータ・サイズが決定されてしまう。これに対し、本発明に係る画像処理装置では、ワイプ情報の冗長性に着目し、目的とする画像処理効果の内容に応じて複数の画素に対して１つのワイプ情報を与えること、すなわち、複数の画素で１つのワイプ情報を共通化することによって、ワイプ情報のデータ・サイズを削減することができる。そして、読み出し制御部は、各画像メモリから各画素位置の画素データを読み出す際に、目的とする画像処理効果の内容に応じて、ワイプ情報用メモリからワイプ情報を読み出すアドレス順又はデータ読み取り手順を変更すればよい。
【００２８】
例えば、縦ワイプ用のワイプ情報は、水平位置が同じになる画素の間では濃淡値が同一であるから、画面垂直方向に１画素分のワイプ情報を持つことで、複数画素でワイプ情報を共通化することができる。そして、ワイプ処理する際には、演算部では、画面の同じ水平位置の各画素に対して共通化された１つのワイプ情報を繰り返し使用すればよい。すなわち、処理画素の水平位置が垂直方向に移動する度に、１回だけワイプ情報を読み出してリファレンス情報との比較演算を行ない、その演算結果を水平方向のすべての画素に対して適用していく。
【００２９】
画像処理装置が水平方向の画素で共通化したワイプ情報を使用する場合、縦ワイプ処理を行なうための制御としては、画像を水平方向に１ラインだけ走査する際に、各画像メモリからは１水平ライン上の各画素データを逐次読み出す間にワイプ情報用メモリからは当該水平位置のワイプ情報を１回だけ読み出すという具合に、読み出し制御部においてワイプ情報用メモリからワイプ情報読み出す速度を変更するのみであり、後続する演算部での処理については特別な処理や回路を変更する必要はない。
【００３０】
また、横ワイプ用のワイプ情報の場合、垂直位置が同じになる画素間では濃淡値が同一であるから、画面水平方向に１画素分のワイプ情報を持ち、ワイプ情報を共通化して、データ・サイズを削減することができる。そして、ワイプ処理する際には、演算部では、画面の同じ垂直位置の各画素に対しては、共通化された１つのワイプ情報を使用すればよい。すなわち、画面上の各水平位置に対応するワイプ情報を逐次読み出してこれとリファレンス値との比較演算を行なって当該画素に対する演算方法を決定する。そして、１水平ラインの走査が終了して、処理画素の水平位置が垂直方向に移動すると、同様に、各水平位置に対応するワイプ情報を逐次読み出してこれとリファレンス値との比較演算を行なって当該画素に対する演算方法を決定する。
【００３１】
画像処理装置が垂直方向の画素で共通化したワイプ情報を使用する場合、横ワイプ処理を行なうための制御としては、各水平走査ラインの処理において、読み出し制御部は、対応する水平位置毎にワイプ情報を再度読み込むように切り替えるだけでよく、後続する演算部１４での処理については特別な処理や回路を変更する必要はない。
【００３２】
また、前記画面を複数に分割して分割領域毎に同じワイプ・パターンでワイプ処理を行なう際には、複数の分割領域でワイプ情報を共通化するとともに、分割領域内では垂直方向又は水平方向でワイプ情報をさらに共通化することで、データ・サイズを大幅に削減することができる。このような場合、前記読み出し制御部は、前記演算部が各分割領域の画像データを合成する際に、前記ワイプ情報用メモリ内のワイプ情報を繰り返し読み出してリファレンス値との比較演算に使用すればよい。
【００３３】
また、本発明の第２の側面は、画面に表示される画像を画面遷移前の第１の画像から画面遷移後の第２の画像へワイプ効果により遷移するための画像処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し
時間的に変化するリファレンス情報を生成するリファレンス情報生成手順と、
処理対象となる画素に対応した演算処理を濃淡値で表したグラデーション・データからなるワイプ情報をリファレンス情報と比較し、画素データの演算合成式を該比較結果に基づいて決定し、該決定した演算合成式に従って前記第１及び第２の画像メモリからそれぞれ読み出された画素データを合成する演算手順を実行させ、
前記ワイプ情報は該グラデーション値が同じになる複数の画素で共通化されており、
前記演算手順では、ワイプ情報を読み出すアドレス順又はデータ読み取りの手順を変更して、各画素位置の画素データを合成する際に該当するワイプ情報を使用する、
ことを特徴とするコンピュータ・プログラムである。
【００３４】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００３５】
本発明によれば、テレビジョン画面などに表示されている画面に対して時間的な変化を与えながら、「ワイプ」などの画面遷移の手法に従って別の画面に転換していく画面転換若しくはシーン切り替え処理を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３６】
また、本発明によれば、複数の画像を合成してワイプなどの特殊効果を与える際に、各画素に合成演算処理を与えるために使用するワイプ情報のデータ量を削減して、小規模な回路を用いて低負荷で画像の合成演算処理を行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３７】
本発明に係る画像処理装置は、例えば縦ワイプや横ワイプといったような、画面を複数に分割して分割領域毎に同じワイプ・パターンでワイプ表現を行なう際に、ワイプ情報をワイプ処理の最小の分割単位で構成し、それぞれの分割領域において同じワイプ情報を用いて画面の合成を行なう。このような場合、複数の画素で１つのワイプ情報を共用することとなるから、画素毎にワイプ情報を持つ従来技術に比べるとワイプ情報のデータ量を削減することができ、特別な回路を用いることなくワイプ表現を実現可能である。
【００３８】
また、本発明では、データ量の削減のためにワイプ情報を圧縮する訳ではないので、ワイプ情報を使用する際にデータ伸張処理が必要でないので低付加でワイプ処理を行なうことができる。特別に複雑な処理回路を追加する必要がないことから、ワイプ表現のバリエーションをある程度拡張しても、システム全体の処理速度に影響を及ぼすこともない。
【００３９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００４０】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００４１】
図１には、２つの画像をワイプ処理する画像処理装置１０の機能的構成を模式的に示している。合成の対象となる複数の画像、並びに各画素についての演算処理を指定するワイプ情報は、記憶部１１内の各フレーム・メモリにそれぞれ格納される。制御部１２により合成の制御が開始されると、読み出し制御部１３により画像遷移する前後の画像1及び画像２から処理対象となる画素位置の画素データがそれぞれ読み出されるとともに、フレーム・メモリからは同画素位置におけるワイプ情報が読み出され、演算部１４に与えられる。また、制御部１２からは、演算部１４に対して合成の演算を決定するためのリファレンス値が与えられる。リファレンス値は、カウンタ動作などによって値が時間的に変化していく。
【００４２】
演算部１４では、与えられたリファレンス値及びワイプ情報に従って画像１及び画像２に対する演算を行ない、その画素の演算値を求め、出力部１５に出力する。
【００４３】
具体的には、各画素位置においてワイプ情報と時々刻々と変化するリファレンス情報との大小比較結果に基づいて、画像１及び画像２からワイプに使用する画素データを相補的に出力する。これによって、画面遷移する前後の画像１及び画像２をそれぞれ切り抜いた画像領域が画面上で重畳され、時間の経過とともに画像１及び画像２の各画像領域が画面上で占める割合が入れ替わっていき、ワイプ処理を行なうことができる。
【００４４】
例えば、画像１の画像データ値をp１、画像２の画像データ値をp２とする。ワイプ情報ｗが１画素当たり８ビットのサイズを持つものとし、リファレンス値ｒも８ビットの値を持ち、演算を決定する例として、画素位置毎の画素データが画像１又は画像２のいずれか一方から相補的に出力される下記の例について考えてみる。
【００４５】
ｗ＞ｒの場合：        演算式  ：  ｐｏｕｔ＝ｐ１
ｗ≦ｒの場合：        演算式  ：  ｐｏｕｔ＝ｐ２
【００４６】
時間経過に従ってリファレンス値ｒを変化させると、上記式よりワイプ情報の側を変化させることなく出力ｐｏｕｔを変えて、ワイプすなわち画面の遷移を表現することができる。このようにワイプ情報を使用したワイプ表現を行なう場合には、画素毎にリファレンス値との比較演算を行なって、画面遷移の前後の画像データの一方から出力の画素を選択する。
【００４７】
ワイプ情報が図１２Ａに示したように画面上から下に向かって濃淡が変化するグラデーション・データであり、リファレンス値ｒをカウントアップさせていくとき、リファレンス値ｒがワイプ情報の濃淡レベルよりも大きくなる領域は画面の上から下に向かって徐々に拡大していく。これに伴って、画面遷移後の画像によって元の画像を上書きする処理が画面の上から下に向かって進行するので、ワイプ効果を得ることができる。
【００４８】
図２Ａには、図１２Ａに示したグラデーション・データからなるワイプ情報を用いるとともに、リファレンス値ｒを時間の経過とともに増加させることによって縦ワイプを実現する様子を示している。例えば２５６階調のグラデーション・データからなるワイプ情報に対し、リファレンス値の初期値を０とするとともに一定時間当たりに＋１ずつリファレンス値を増分する演算を行なって２５５まで加算して演算部１４に加えてゆく場合、最初の画面出力は画像１（ｐ１）であったものが上部より画像２（ｐ２）が現れてゆくような縦方向のワイプ表現となる。このときの画面遷移の所要時間は、（リファレンス値を＋１とする時間間隔）×２５５となる。
【００４９】
また、ワイプ情報が図１２Ｂに示したように画面左から右に向かって濃淡が変化するグラデーション・データであり、リファレンス値ｒをカウントアップさせていくとき、リファレンス値ｒがワイプ情報の濃淡レベルよりも大きくなる領域は画面の上から下に向かって徐々に拡大していく。これに伴って、画面遷移後の画像によって元の画像を上書きする処理が画面の上から下に向かって進行するので、ワイプ効果を得ることができる。
【００５０】
図２Ｂには、図１２Ｂに示したグラデーション・データからなるワイプ情報を用いるとともに、リファレンス値ｒを時間の経過とともに増加させることによって縦ワイプを実現する様子を示している。例えば２５６階調のグラデーション・データからなるワイプ情報に対し、リファレンス値の初期値を０とするとともに一定時間当たりに＋１ずつリファレンス値を増分する演算を行なって２５５まで加算して演算部１４に加えてゆく場合、最初の画面出力は画像１（ｐ１）であったものが上部より画像２（ｐ２）が現れてゆくような縦方向のワイプ表現となる。このときの画面遷移の所要時間は、（リファレンス値を＋１とする時間間隔）×２５５となる。
【００５１】
ここで、１画素当たり１ワイプ情報（すなわち、画素毎にワイプ情報を持つこと）とすると、画像サイズと、表現するワイプの内容（ワイプ・パターン）により選択されるワイプ情報の単位当たりの大きさによって全ワイプ情報のデータ・サイズが決定されてしまう。
【００５２】
本実施形態では、このワイプ情報の削減を行なうため、この１画素当たり１ワイプ情報の対応から複数の画素に対して１つのワイプ情報を与えること（すなわち、複数の画素で１つのワイプ情報を共通化すること）を考える。ここで、単純に幾つかの画素をまとめてそれに対するワイプ情報を与えるのではなく、表現したいワイプの動きに対して影響の現れない削減方法とする。
【００５３】
例えば、縦ワイプ処理を行なう場合、画面水平方向のラインで表示される画素は、必ず同じ（すなわち一方のフレーム・メモリから読み出された）画面となる。図１２Ａに示したような縦ワイプ用のワイプ情報の場合、画面の上から下に向かって徐々に濃淡値が高くなるグラデーション・データで構成され、水平位置が同じになる画素間では濃淡値が同一であるから、水平方向では画素毎にワイプ情報を持つ必要がない。したがって、図３に示すように、画面垂直方向に１画素分のワイプ情報を持ち、水平方向の画素でワイプ情報を共通化して、データ・サイズを削減することができる。
【００５４】
図３に示した縦ワイプ用のワイプ情報は、画面垂直方向の画素数分のみとなるから、大きなデータ・サイズの削減となる。例えば、家庭用デジタルビデオなどで一般的なＤＶフォーマットに相当する７２０×４８０の画素サイズからなる画面を扱う画像処理装置において、図２に示したような縦ワイプ表現を実現する場合について考えてみると、１画素当たり１バイトからなるワイプ情報を持つとすると、画面全体についてのワイプ情報は７２０×４８０＝３４５，６００バイトのサイズとなる。これに対し、上述したように、ワイプ情報の水平方向の冗長性を考慮して、水平位置が同じ複数の画素においてワイプ情報を共通化すると（図３を参照のこと）、ワイプ情報は画素１列分に相当する４８０バイトのサイズとなり、７２０分の１にデータ・サイズを削減することができる。
【００５５】
このように水平方向の画素についてワイプ情報を共通化した場合、演算部１４では、画面の同じ水平位置の各画素に対して同じワイプ情報を使用すればよい。例えば、水平走査により画面出力を行なう場合、画面上の各水平位置において、ワイプ情報を読み出してこれとリファレンス値との比較演算を１回行なうと、その結果を水平方向のすべての画素位置に順次適用する。そして、１水平ラインの走査が終了して、処理画素の水平位置が垂直方向に移動する度に、１回だけワイプ情報を読み出してリファレンス情報との比較演算を行ない、その演算結果を水平方向のすべての画素に対して適用していく。このような処理を画面垂直方向にわたって繰り返し実施することによって、画面全体についてワイプ情報を持ち、１画素毎にリファレンス値ｒとワイプ情報ｗを比較演算する場合と同様のワイプ処理を実現することができる。
【００５６】
画像処理装置が水平方向の画素で共通化したワイプ情報（図３を参照のこと）を使用する場合、縦ワイプ処理を行なうための制御としては、画像を水平方向に１ラインだけ走査する間に記憶部１１内に格納されている画像１及び画像２からは同じ水平ライン上の各画素データを逐次読み出す間に、ワイプ情報用メモリからは当該水平位置のワイプ情報を１回だけ読み出すという具合に、データ読み込み制御部１３において記憶部１１から読み出す速度を変更するのみであり、後続する演算部１４での処理については特別な処理や回路を変更する必要はない。
【００５７】
続いて、横ワイプ処理を行なう場合について考えてみる。横ワイプでは、画面垂直方向のラインで表示される画素は、必ず同じ（すなわち一方のフレーム・メモリから読み出された）画面となる。横ワイプ用のワイプ情報の場合、図１２Ｂに示したように、画面の左から右に向かって徐々に濃淡値が高くなるグラデーション・データで構成され、垂直位置が同じになる画素間では濃淡値が同一であるから、垂直方向では画素毎にワイプ情報を持つ必要がない。したがって、図４に示すように、画面水平方向に１画素分のワイプ情報を持ち、ワイプ情報を共通化して、データ・サイズを削減することができる。
【００５８】
横ワイプ用のワイプ情報は、画面水平方向の画素数分のみとなるから、大きなデータ・サイズの削減となる。例えば、家庭用デジタルビデオなどで一般的なＤＶフォーマットに相当する７２０×４８０の画素サイズからなる画面を扱う画像処理装置において横ワイプ表現を実現する場合について考えてみると、１画素当たり１バイトからなるワイプ情報を持つとすると、画面全体についてのワイプ情報は７２０×４８０＝３４５，６００バイトのサイズとなる。これに対し、上述したように、ワイプ情報の垂直方向の冗長性を考慮して、垂直位置が同じ複数の画素においてワイプ情報を共通化すると、ワイプ情報は画素１行分に相当する７２０バイトのサイズとなり、４８０分の１にデータ・サイズを削減することができる。
【００５９】
このように垂直方向の画素についてワイプ情報を共通化した場合、演算部１４では、画面の垂直位置が同じとなる各画素に対して同じワイプ情報を共通化すればよい。例えば、水平走査により画面出力を行なう場合、画面上の各水平位置において対応する画素のワイプ情報を逐次読み出してこれとリファレンス値との比較演算を行なって当該画素に対する演算方法を決定する。そして、１水平ラインの走査が終了して、処理画素の水平位置が垂直方向に移動すると、同様に、各水平位置において対応する画素のワイプ情報を逐次読み出してこれとリファレンス値との比較演算を行なって当該画素に対する演算方法を決定する。このような処理を画面垂直方向にわたって繰り返し実施することによって、画面全体についてワイプ情報を持ち、１画素毎にリファレンス値ｒとワイプ情報ｗを比較演算する場合と同様のワイプ処理を実現することができる。
【００６０】
画像処理装置が垂直方向の画素で共通化したワイプ情報を使用する場合、横ワイプ処理を行なうための制御としては、データ読み込み制御部１３において垂直方向の読み取り画素位置の移動が起きた際に（各水平走査ラインの処理において）、対応する水平位置毎にワイプ情報を再度読み込むように切り替えるだけでよく、後続する演算部１４での処理については特別な処理や回路を変更する必要はない。
【００６１】
これまでは、垂直方向並びに水平方向という比較的単純なワイプ・パターンを例に挙げて、ワイプ情報のデータ・サイズ削減方法について説明してきた。ワイプ処理には、これら以外にも、画面を複数に分割して、分割領域毎に同じく垂直方向又は水平方向のワイプ・パターンでワイプ表現する方法も挙げられる。このような場合、複数の分割領域でワイプ情報を共通化するとともに、分割領域内では垂直方向又は水平方向でワイプ情報をさらに共通化することで、データ・サイズを大幅に削減することができる。
【００６２】
図５には、画面を水平方向に４分割するとともに、分割された領域毎に同じワイプ・パターンで横ワイプする様子を示している。１画素当たり１ワイプ情報（すなわち、画素毎にワイプ情報を持つこと）とすると、画面全体のワイプ情報は図６Ａに示すように、分割領域毎に同じ横ワイプするワイプ・パターンを持つことになる。ＤＶフォーマットに相当する７２０×４８０の画素サイズからなる画面では、画面全体についてのワイプ情報は７２０×４８０＝３４５，６００バイトのサイズとなる。これに対し、複数の分割領域でワイプ情報を共通化する場合、図６Ｂに示すように、１画素当たり１ワイプ情報を画面の４分の１に相当するデータ・サイズだけ持てばよいので、ワイプ情報のデータ・サイズは４分の１に削減される。さらに、分割領域内では、ワイプ情報は同領域の左から右に向かって徐々に濃淡値が高くなるグラデーション・データで構成され、垂直位置が同じになる画素間では濃淡値が同一であるから、垂直方向では画素毎にワイプ情報を持つ必要がない。したがって、図６Ｃに示すように、１つの分割領域について水平方向に１画素分のワイプ情報を持ち、すべての分割領域にわたってワイプ情報を共通化して、データ・サイズを削減することができる。この場合、必要となるワイプ情報は１つの分割領域の画素１行分に相当する１８０（＝７２０÷４）バイトのサイズとなり、１９２０（＝４８０×４）分の１にデータ・サイズを削減することができる。
【００６３】
このように分割領域について垂直方向の画素についてワイプ情報を共通化した場合、演算部１４では、画面の各分割領域を処理する際、領域内で同じ垂直位置の各画素に対しては、垂直方向の相対位置が同じとなるワイプ情報を読み出してリファレンス値との比較演算を行なえばよい。例えば、水平走査により画面出力を行なう場合、分割領域の水平方向の相対位置に対応する画素のワイプ情報を逐次読み出してこれとリファレンス値との比較演算を行なって、当該画素に対する演算方法を決定する。そして、１つの分割領域を走査して次の分割領域に到達すると、同様に、分割領域の水平方向の相対位置に対応する画素のワイプ情報を逐次読み出してこれとリファレンス値との比較演算を行なって当該画素に対する演算方法を決定する。また、処理画素の水平位置が垂直方向に移動すると、同様に、各分割領域において、分割領域の水平方向の相対位置に対応する画素のワイプ情報を逐次読み出してこれとリファレンス値との比較演算を行なって当該画素に対する演算方法を決定する。このような処理を画面垂直方向にわたって繰り返し実施すると、画面全体についてワイプ情報を持ち１画素毎にリファレンス値ｒとワイプ情報ｗを比較演算する場合と同様のワイプ処理を実現することができる。
【００６４】
勿論、図５に示したように、画面を垂直又は水平方向のいずれかの方向にのみ分割して垂直又は水平方向に同一の画面が出るワイプ・パターンに限定されることなく、画面を分割した各分割領域で同じワイプ・パターンを用いてワイプ表現を行なう場合には、同様に複数の分割領域でワイプ情報を共通化してそのデータ・サイズを削減することができる。
【００６５】
図７には、画面を垂直及び水平方向にそれぞれ４分割（すなわち４×４分割）するとともに、分割された領域毎に同じワイプ・パターンで横ワイプする様子を示している。１画素当たり１ワイプ情報とすると、ワイプ情報を１画素毎にこの場合、図示のワイプ・パターンを実現する画面全体のワイプ情報は図８Ａのようになる。ワイプ情報がこのようなグラデーション・データからなる場合、垂直及び水平のいずれの方向でもワイプ情報を共通化することはできないが、ワイプ情報の最小の繰り返し単位は図８Ｂに示す通りとなる。よって、ワイプ情報を読み込む際には、このブロック単位で水平、垂直方向の読み込みを繰り返すことで、データ・サイズは８分の１に削減される。
【００６６】
また、水平、垂直どの方向でも共通のワイプ情報とできない場合であっても、そのワイプ表現を考えると、ある縦×横の大きさを持つ分割領域でワイプ情報が共通とできるものがあることが考えられる。
【００６７】
図９Ａには、全画面を８×８＝６４の領域に分割し、一定時間毎にこの分割された領域単位で画面を切り替えていくというワイプ表現を実現する様子を示している。図示のワイプ・パターンを実現する画面全体のワイプ情報は図９Ｂのようになる。しかし、分割領域単位での画面遷移であることに着目すると、画面が７２０×４８０画素で構成されるとすると、６４分割された８０×６０画素のサイズ毎にワイプ情報は一定である。よって、この場合のワイプ情報は、図９Ｃに示すように８×８のデータ・サイズに削減することができる。
【００６８】
これまでの説明では、ワイプ情報１画素分のデータ単位は１バイトすなわち８ビットとしたので、ワイプ処理において画面が時間的に遷移する表現は２５５（＝２8）階調となる。画像サイズと切り替えの時間によっては、滑らかな表現を行なうにはさらに細かい制御を行なう必要があるが、この場合はこのワイプ情報単位のデータ・サイズを１バイトよりも大きいものにすれば対応することができる。
【００６９】
例えば、横７２０画素の画像を１画素／Ｖで遷移するワイプ表現を行なうならば、７２０5だけかかるため、ワイプ情報のビット数を１０ビット（１０２４＞７２０）とすれば可能である。
【産業上の利用可能性】
【００７０】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７１】
本発明に係るワイプ処理は、放送局内で複数のビデオカメラからの映像出力を切り替える映像システムから、家庭内で使用されるデジタルスチルカメラやカムコーダに至るまで、複数の静止画や動画像を扱うシステムに幅広く適用することができる。
【００７２】
本明細書では、リファレンス値とワイプ情報の比較結果に応じて画面遷移の前後の画像の一方から相補的に画素データを出力してワイプ表現を行なう場合を例にとったが、ワイプ表現はこれに限定されるものではない。例えば、リファレンス値とワイプ情報の比較結果に応じた比率で各画像の画素データを混合する、あるいはその他の合成方法を適用するようにしてもよい。
【００７３】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００７４】
【図１】図１は、２つの画像をワイプ処理する画像処理装置１０の機能的構成を模式的に示した図である。
【図２Ａ】図２Ａは、図１２Ａに示したグラデーション・データからなるワイプ情報を用いるとともに、リファレンス値ｒを時間の経過とともに増加させることによって縦ワイプを実現する様子を示した図である。
【図２Ｂ】図２Ｂは、図１２Ｂに示したグラデーション・データからなるワイプ情報を用いるとともに、リファレンス値ｒを時間の経過とともに増加させることによって横ワイプを実現する様子を示した図である。
【図３】図３は、１画素当たり１ワイプ情報からなる画面全体の縦ワイプ用のワイプ情報を、画面垂直方向に１画素分のワイプ情報を持ち、水平方向の画素でワイプ情報を共通化して、データ・サイズを削減する様子を示した図である。
【図４】図４は、１画素当たり１ワイプ情報からなる画面全体の横ワイプ用のワイプ情報を、画面垂直方向に１画素分のワイプ情報を持ち、垂直方向の画素でワイプ情報を共通化して、データ・サイズを削減する様子を示した図である。
【図５】図５は、画面を水平方向に４分割するとともに、分割された領域毎に同じワイプ・パターンで横ワイプする様子を示した図である。
【図６Ａ】図６Ａは、図５に示したワイプ処理に使用する、１画素当たり１ワイプ情報からなる画面全体のワイプ情報を示した図である。
【図６Ｂ】図６Ｂは、図６Ａに示した画面全体のワイプ情報を分割領域で共通化してデータ・サイズを削減した様子示した図である。
【図６Ｃ】図６Ｃは、図６Ｂに示した分割領域のワイプ情報を垂直方向のガソで共通化してデータ・サイズを削減した様子を示した図である。
【図７】図７は、画面を垂直及び水平方向にそれぞれ４分割（すなわち４×４分割）するとともに、分割された領域毎に同じワイプ・パターンで横ワイプする様子を示した図である。
【図８Ａ】図８Ａは、図７に示したワイプ処理に使用する画面全体のワイプ情報を示した図である。
【図８Ｂ】図８Ｂは、図８Ａに示したワイプ情報の最小の繰り返し単位を示した図である。
【図９Ａ】図９Ａは、全画面を８×８＝６４の領域に分割し、一定時間毎にこの分割された領域単位で画面を切り替えていくというワイプ表現を実現する様子を示した図である。
【図９Ｂ】図９Ｂは、図９Ａに示したワイプ処理に使用する画面全体のワイプ情報を示した図である。
【図９Ｃ】図９Ｃは、図９Ｂに示したワイプ情報を、分割領域単位での画面遷移であることに着目してデータ・サイズを削減した様子を示した図である。
【図１０Ａ】図１０Ａは、ワイプ効果により画面遷移する前後の画像データを示した図である。
【図１０Ｂ】図１０Ｂは、縦ワイプにより画面遷移する様子を示した図である。
【図１０Ｃ】図１０Ｃは、横ワイプにより画面遷移する様子を示した図である。
【図１１】図１１は、ワイプ表現を実現する画像処理装置の基本的な構成を示した図である。
【図１２Ａ】図１２Ａは、縦ワイプ用のワイプ情報の構成例を示した図である。
【図１２Ｂ】図１２Ｂは、横ワイプ用のワイプ情報の構成例を示した図である。
【符号の説明】
【００７５】
１０…画像処理装置
１１…記憶部
１２…制御部
１３…読み出し制御部
１４…演算部
１５…出力部
【図１】
2008131518.tif 000003
【図１０Ａ】
2008131518.tif 000004
【図１０Ｂ】
2008131518.tif 000005
【図１０Ｃ】
2008131518.tif 000006
【図１１】
2008131518.tif 000007
【図２Ａ】
2008131518.tif 000008
【図２Ｂ】
2008131518.tif 000009
【図３】
2008131518.tif 000010
【図４】
2008131518.tif 000011
【図５】
2008131518.tif 000012
【図６Ａ】
2008131518.tif 000013
【図６Ｂ】
2008131518.tif 000014
【図６Ｃ】
2008131518.tif 000015
【図７】
2008131518.tif 000016
【図８Ａ】
2008131518.tif 000017
【図８Ｂ】
2008131518.tif 000018
【図９Ａ】
2008131518.tif 000019
【図９Ｂ】
2008131518.tif 000020
【図９Ｃ】
2008131518.tif 000021
【図１２Ａ】
2008131518.tif 000022
【図１２Ｂ】
2008131518.tif 000023