(57)【特許請求の範囲】
【請求項１】
第１の画像の一部を透過処理して第２の画像に重畳して表示するための処理を行う画像処理装置であって、
前記第１の画像を構成する画素のうち、透過処理の対象とする画素の色味を指定する透過処理対象指定情報を記憶する透過処理対象指定情報記憶部と、
前記第１の画像を構成する画素のうち、前記透過処理対象指定情報によって指定される色味を有する画素の領域である透過処理対象領域に隣接している隣接領域の色味を参照する隣接領域参照部と、
前記透過処理対象指定情報を、参照された前記隣接領域の色味と前記透過処理対象指定情報によって指定される色味との差分が所定の閾値を超えている場合に、参照された前記隣接領域の色味を所定量変更することにより、前記隣接領域の色味とは異なり且つ近似した色味を指定するように更新する透過処理対象指定情報更新部と、
前記透過処理対象領域の画素の色味を、更新された前記透過処理対象指定情報によって指定される色味に更新する透過処理対象領域更新部と、
前記透過処理対象領域が更新された前記第１の画像を前記第２の画像の画像サイズに応じて拡大する画像拡大部と、
拡大された前記第１の画像を、更新された前記透過処理対象指定情報に基づいて透過処理する透過処理部と、
透過処理された前記第１の画像を前記第２の画像に重畳して出力する出力部と、を含むことを特徴とする画像処理装置。
【請求項２】
前記透過処理対象指定情報更新部は、前記第１の画像の種別に応じて異なる値を前記閾値として用いることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記隣接領域参照部、前記透過処理対象指定情報更新部、前記透過処理対象領域更新部は、処理対象の前記第１の画像に、前記透過処理対象指定情報によって指定される色味が含まれる場合に動作することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
処理対象の前記第１の画像に、前記透過処理対象指定情報によって指定される色味が含まれない場合に、前記第１の画像の拡大処理によって生成され得ない色味を指定するように前記透過処理対象指定情報を更新する指定回避部を含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
入力された前記第１の画像を構成する画素について、近似する色味を有し且つ隣接している画素を連結して連結領域として定義する連結処理部を含み、
前記隣接領域参照部、前記透過処理対象指定情報更新部、前記透過処理対象領域更新部は、前記第１の画像において定義された前記連結領域を処理対象の前記第１の画像として処理を実行することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記隣接領域参照部、前記透過処理対象指定情報更新部、前記透過処理対象領域更新部は、前記第１の画像において定義された複数の前記連結領域毎に処理を実行することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記連結領域に含まれる画素値が、前記透過処理対象指定情報によって指定される色味を有する画素の画素値以外に２種以上の画素値を含む場合、前記透過処理対象指定情報によって指定される色味を有する画素の画素値と、これと異なる画素値を１つ含む領域に細分化して細分化領域として定義する細分化処理部を含み、
前記隣接領域参照部、前記透過処理対象指定情報更新部、前記透過処理対象領域更新部は、前記第１の画像において定義された前記細分化領域を処理対象の前記第１の画像として処理を実行することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
第１の画像の一部を透過処理して第２の画像に重畳して表示するための処理を行う画像処理方法であって、
前記第１の画像を構成する画素のうち、透過処理の対象とする画素の色味を指定する透過処理対象指定情報を参照し、
前記第１の画像を構成する画素のうち、前記透過処理対象指定情報によって指定される色味を有する画素の領域である透過処理対象領域に隣接している隣接領域の色味を参照し、
前記透過処理対象指定情報を、参照された前記隣接領域の色味と前記透過処理対象指定情報によって指定される色味との差分が所定の閾値を超えている場合に、参照された前記隣接領域の色味を所定量変更することにより、前記隣接領域の色味とは異なり且つ近似した色味を指定するように更新し、
前記透過処理対象領域の画素の色味を、更新された前記透過処理対象指定情報によって指定される色味に更新し、
前記透過処理対象領域が更新された前記第１の画像を前記第２の画像の画像サイズに応じて拡大し、
拡大された前記第１の画像を、更新された前記透過処理対象指定情報に基づいて透過処理し、
透過処理された前記第１の画像を前記第２の画像に重畳して出力することを特徴とする画像処理方法。
【請求項９】
第１の画像の一部を透過処理して第２の画像に重畳して表示するための処理を行う画像処理プログラムであって、
前記第１の画像を構成する画素のうち、透過処理の対象とする画素の色味を指定する透過処理対象指定情報を参照するステップと、
前記第１の画像を構成する画素のうち、前記透過処理対象指定情報によって指定される色味を有する画素の領域である透過処理対象領域に隣接している隣接領域の色味を参照するステップと、
前記透過処理対象指定情報を、参照された前記隣接領域の色味と前記透過処理対象指定情報によって指定される色味との差分が所定の閾値を超えている場合に、参照された前記隣接領域の色味を所定量変更することにより、前記隣接領域の色味とは異なり且つ近似した色味を指定するように更新するステップと、
前記透過処理対象領域の画素の色味を、更新された前記透過処理対象指定情報によって指定される色味に更新するステップと、
前記透過処理対象領域が更新された前記第１の画像を前記第２の画像の画像サイズに応じて拡大するステップと、
拡大された前記第１の画像を、更新された前記透過処理対象指定情報に基づいて透過処理するステップと、
透過処理された前記第１の画像を前記第２の画像に重畳して出力するステップと、を情報処理装置に実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
２つの画像を合成して１つの表示装置に表示させる技術の１つとして、クロマキー合成処理が用いられる。クロマキー合成処理は、ベース画像に重ねるオーバーレイ画像に含まれる画素のうち、キーカラーとして特定された色の画素を透過処理することで、オーバーレイ画像の不透過部分がベース画像に重ねられて見えるように表示する技術である。
【０００３】
このような技術として、ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面上に存在するオブジェクト領域をクロマキマスク領域と定義し、クロマキマスク領域以外に対してクロマキー合成処理を行う方法が提案されている（例えば、特許文献１参照）。特許文献１に開示された技術によれば、オブジェクト領域内の画素がキーカラーと同色になった場合、この画素において透過処理されることを防げる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように２つの画像を合成して１つの表示装置に表示させる際には、ベース画像とオーバーレイ画像との画像サイズが一致していることを前提にする。したがって、入力されたベース画像とオーバーレイ画像とのサイズが異なる場合は、両者のサイズを一致させるために、いずれか一方の画像サイズを変更することとなる。
【０００５】
このような場合において、オーバーレイ画像を拡大処理してベース画像に重ね合わせようとすると課題が生じる。画像の拡大処理に際しては、拡大前の画像を構成する画素を拡大後の画像サイズに対応した画素空間に均等に配置した上で、拡大によって生じた画素間の隙間に対応する画素の画素値を補完する。隙間に対応する画素の画素値の補完を行う方法として、その画素の周囲の画素の画素値に基づいて算出する方法が一般的である。
【０００６】
このような一般的な拡大処理を用いる場合、オーバーレイ画像においてキーカラーに指定されている部分、即ちクロマキー合成処理によって透過処理される領域と、その部分に隣接する領域であってキーカラー以外の画素値の領域との境界にノイズが発生する。具体的には、拡大処理により、キーカラーに指定された領域とこれに隣接する領域との境界部分に、キーカラーの画素値とそれ以外の画素値に基づいて算出される画素値の画素が生成される。
【０００７】
この新たに生成された画素はキーカラーではないから、透過処理されずにオーバーレイ画像として合成後も表示される。しかし、この新たに生成された画素の色味は、拡大処理においてキーカラーとそれ以外の画素値とに基づいて生成された色味である。したがって、拡大前の画像においてキーカラー以外の画素値であった領域の画素値とは異なり、拡大後の画像において目立ってしまう。その結果、クロマキー合成処理によって表示された画像において、オーバーレイ画像のエッジ部分に存在するノイズとして視認されることとなる。
【０００８】
本発明は、このような課題を解決するためになされたものであり、オーバーレイ画像を拡大するときに、透過処理をしない部分の周囲にノイズが発生することを防ぐことを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の一態様は、第１の画像の一部を透過処理して第２の画像に重畳して表示するための処理を行う画像処理装置であって、前記第１の画像を構成する画素のうち、透過処理の対象とする画素の色味を指定する透過処理対象指定情報を記憶する透過処理対象指定情報記憶部と、前記第１の画像を構成する画素のうち、前記透過処理対象指定情報によって指定される色味を有する画素の領域である透過処理対象領域に隣接している隣接領域の色味を参照する隣接領域参照部と、前記透過処理対象指定情報を、参照された前記隣接領域の色味と前記透過処理対象指定情報によって指定される色味との差分が所定の閾値を超えている場合に、参照された前記隣接領域の色味を所定量変更することにより、前記隣接領域の色味とは異なり且つ近似した色味を指定するように更新する透過処理対象指定情報更新部と、前記透過処理対象領域の画素の色味を、更新された前記透過処理対象指定情報によって指定される色味に更新する透過処理対象領域更新部と、前記透過処理対象領域が更新された前記第１の画像を前記第２の画像の画像サイズに応じて拡大する画像拡大部と、拡大された前記第１の画像を、更新された前記透過処理対象指定情報に基づいて透過処理する透過処理部と、透過処理された前記第１の画像を前記第２の画像に重畳して出力する出力部と、を含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、オーバーレイ画像を拡大するときに、透過処理をしない部分の周囲にノイズが発生することを防ぐことを目的とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。
【図２】本発明の第１実施形態に係るクロマキーコントローラの機能構成を示すブロック図である。
【図３】本発明の実施形態に係るキーカラーの指定態様を示す図である。
【図４】クロマキー合成の態様を示す図である。
【図５】オーバーレイ画像の拡大を伴うクロマキー合成の態様を示す図である。
【図６】画像の拡大態様を示す図である。
【図７】オーバーレイ画像の拡大におけるノイズの発生態様を示す図である。
【図８】本発明の第１実施形態に係るクロマキーコントローラの動作を示すフローチャートである。
【図９】本発明の第１実施形態に係るオーバーレイ画像の一例を示す図である。
【図１０】本発明の実施形態に係る画像の解析に対して保持される情報の例を示す図である。
【図１１】本発明の実施形態に係るキーカラー処理の動作を示すフローチャートである。
【図１２】本発明の実施形態に係るエッジノイズの低減態様を示す図である。
【図１３】本発明の実施形態に係るキーカラーの指定態様の他の例を示す図である。
【図１４】本発明の実施形態に係る閾値のテーブルを示す図である。
【図１５】本発明の第２実施形態に係るクロマキーコントローラの機能構成を示すブロック図である。
【図１６】本発明の第２実施形態に係るクロマキーコントローラの動作を示すフローチャートである。
【図１７】本発明の第２実施形態に係るオーバーレイ画像の一例を示す図である。
【図１８】本発明の第２実施形態に係るオーバーレイ画像の一例を拡大した図である。
【図１９】本発明の第２実施形態に係る矩形細分化処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
●本発明の実施形態●
以下、図面を参照して、本発明の実施形態について説明する。本実施形態は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）をはじめとする情報処理装置においてオーバーレイ画像とベース画像とを取得し、オーバーレイ画像の一部を透過処理してベース画像に重畳するクロマキー合成を行う画像処理装置について説明する。そのような画像処理装置において、オーバーレイ画像の拡大処理に伴って発生するノイズを低減することが本実施形態に係る要旨の１つである。
【００１３】
図１は、本実施形態に係る画像処理装置１のハードウェア構成を示す図である。図１に示すように、本実施形態に係る画像処理装置１は、一般的なサーバやＰＣ等と同様の構成を含む。即ち、本実施形態に係る画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）４０及びＩ／Ｆ５０を備え、これらがバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。
【００１４】
ＣＰＵ１０は演算手段であり、画像処理装置１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。
【００１５】
Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。ＬＣＤ６０は、各種の情報を表示するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが画像処理装置１に情報を入力するためのユーザインタフェースである。
【００１６】
このようなハードウェア構成において、ＲＯＭ３０に格納されたプログラムや、ＨＤＤ４０等の外部記憶装置からＲＡＭ２０にロードされたプログラムに従ってＣＰＵ１０が演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と上記のハードウェアにより、本実施形態に係る画像処理装置１の機能を実現する機能ブロックが構成される。
【００１７】
●本発明に係る第１実施形態の機能構成
次に、本実施形態に係る画像処理装置１の機能構成について図２を参照して説明する。以下の説明は、本発明に係る第１実施形態である。図２に示すように、画像処理装置１は、図１において説明したＬＣＤ６０、操作部７０に加えて、クロマキーコントローラ１００、表示制御部１１０、操作制御部１２０を含む。
【００１８】
表示制御部１１０は、ＬＣＤ６０に情報を表示させるための制御を行う。操作制御部１２０は、操作部７０に対するユーザの操作を認識してクロマキーコントローラ１００に伝える。クロマキーコントローラ１００は、画像処理装置１において第１の画像である「オーバーレイ画像」と「第２の画像」であるベース画像とを取得して、クロマキー合成による画像処理を行う。クロマキーコントローラ１００を実現するためのプログラムが画像処理プログラムとして用いられる。
【００１９】
図２に示すように、クロマキーコントローラ１００は、ベース画像取得部１０１、オーバーレイ画像取得部１０２、画像管理部１０３、画像解析部１０４、キーカラー管理部１０５、画像拡大部１０６、画像合成部１０７、表示出力部１０８を含む。ベース画像取得部１０１は、クロマキーコントローラ１００に入力されるベース画像を取得する。本実施形態に係るベース画像は、映像の情報であれば動画であっても静止画であってもどちらでもよい。オーバーレイ画像取得部１０２は、クロマキーコントローラ１００に入力されるオーバーレイ画像を取得する。
【００２０】
クロマキーコントローラ１００へのベース画像とオーバーレイ画像の入力は、例えば操作部７０に対するユーザの操作に基づき、ネットワークを介して取得された画像情報やＨＤＤ４０に格納された画像情報が用いられる。この他、例えばオーバーレイ画像として予め定められた画像が用いられる場合には、ＨＤＤ４０等の記憶媒体や、オーバーレイ画像取得部１０２がオーバーレイ画像を保持している。
【００２１】
画像管理部１０３は、ベース画像取得部１０１により取得されたベース画像と、オーバーレイ画像取得部１０２により取得されたオーバーレイ画像と、を管理し、キーカラーの調整処理やオーバーレイ画像の拡大処理のための制御を行う。また、画像管理部１０３は、一般的なラベリング処理を行うラベリング部１３０を含む。画像解析部１０４は、画像管理部１０３によって入力された画像を解析し、キーカラーの変更に関する処理を行う。
【００２２】
図２に示すように、画像解析部１０４は、隣接領域参照部１４１、キーカラー更新部１４２、オーバーレイ画像更新部１４３を含む。画像解析部１０４に含まれる詳細な機能については後に詳述する。
【００２３】
キーカラー管理部１０５は、クロマキーコントローラ１００においてキーカラーとして指定されている画素値を管理する。図３は、キーカラー管理部１０５におけるキーカラーの管理情報を示す図である。図３に示すように、キーカラー管理部１０５は、キーカラーとして指定される画素値の情報をＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）夫々の値として記憶している。このキーカラーの指定値の情報が、透過処理の対象とする画素の色味を指定する透過処理対象指定情報であり、キーカラー管理部１０５が、透過処理対象指定情報記憶部として機能する。
【００２４】
本実施形態に係る画素値は、８ｂｉｔ、２５６階調の値である。これにより、本実施形態に係るクロマキーコントローラ１００においては、ＲＧＢ夫々の値が指定された値に一致する１つの色がキーカラーとして指定される。クロマキーコントローラ１００におけるデフォルトのキーカラーは、例えばＲ：２５５、Ｇ：０、Ｂ：２５５のマゼンタが指定される。したがって、オーバーレイ画像として入力される画像のうち、透過処理されるべき領域の画素値もマゼンタに対応する値となっている。
【００２５】
画像拡大部１０６は、画像管理部１０３の制御に従い、指定されたオーバーレイ画像をベース画像の画像サイズに応じて拡大処理をする。画像拡大部１０６による画像拡大のアルゴリズムとしては、公知の様々な技術を用いることが可能であるが、拡大により元の画像を構成する画素を分散配置した隙間を、元の画像の画素値に基づいて算出する方法を基本とする。
【００２６】
画像合成部１０７は、画像管理部１０３の制御に従い、指定されたオーバーレイ画像をキーカラー管理部１０５によって管理されているキーカラーの情報に基づいて透過処理し、ベース画像に重畳する。表示出力部１０８は、画像合成部１０７によって合成処理された画像を、ＬＣＤ６０に表示させるために出力する。即ち、表示出力部１０８が出力部として機能する。
【００２７】
●合成処理の例
次に、一般的なクロマキー合成の処理及びオーバーレイ画像の拡大を伴うクロマキー合成について説明する。図４は、一般的なクロマキー合成の態様を示す図であって、オーバーレイ画像である第１画像１０１１にベース画像である第２画像１０１２を重ね合わせて合成した合成画像１１００が生成される態様を例示している。図４においては、第１画像１０１１のうち指定されたキーカラーに一致する画素値の透過領域１０１３が斜線で示されている。そして、斜線の透過領域１０１３が透過処理された上で第１画像１０１１が第２画像１０１２に重畳される。
【００２８】
図５は、第１画像１０１１の拡大を伴うクロマキー合成の態様を示す図である。図５に示すように、第２画像１０１２よりも画像サイズの小さい第１画像１０１１を第２画像１０１２と同一のサイズに拡大した拡大第１画像１１１１を生成し、この拡大第１画像１１１１を用いて、図４と同様にクロマキー合成を行う。
【００２９】
次に、図５に示したような拡大第１画像１１１１を用いたクロマキー合成において生じる問題について説明する。図６は、一般的な画像の拡大処理の態様の例を示す図である。図６は、説明を簡略化するために、縦横３画素の画像を縦横５画素の画像に拡大する場合を例示している。
【００３０】
図６における画像Ｐ１に示すように、拡大前の画像Ｐ１を構成する画素は縦３画素、横３画素とする。ここで、画像Ｐ１を構成する９画素におけるそれぞれの画素値をＡ〜Ｉとする。この画像Ｐ１を、縦５画素、横５画素の合計２５画素からなる拡大画像にする場合、画像拡大部１０６は、図６における画像Ｐ２に示すように、まずは拡大前の画像Ｐ１を構成する各画素の画素値Ａ〜Ｉを、拡大前の画像Ｐ１の画素配置に従って均等に配置する。
【００３１】
その上で、図６における画像Ｐ３に示すように、拡大によって生じた隙間に相当する画素を、その周囲のＡ〜Ｉの画素値に基づいて補完する。図６の画像Ｐ３に示すように、例えば「Ａ」の画素と「Ｂ」の画素との間の画素を「ａｂ」とする。これは、「Ａ」及び「Ｂ」の画素値に基づいて算出された画素値「ａｂ」により補完されることを示す。また、「Ａ」、「Ｂ」、「Ｄ」、「Ｅ」の中心に位置する画素は「ａｂｄｅ」となっている。これは、「Ａ」、「Ｂ」、「Ｄ」、「Ｅ」の画素値に基づいて算出された画素値「ａｂｄｅ」により補完されることを示す。
【００３２】
図７は、上記のような拡大処理によって生じる問題を示す図である。図７（ａ）における拡大前画像Ｐ１１は、拡大前の透過領域Ｒ１３と非透過領域Ｒ１２の例を示す。図７（ａ）において、Ａ、Ｂ、Ｃ、Ｄ、Ｇが透過領域Ｒ１３である。拡大前の透過領域Ｒ１３は、各画素（Ａ，Ｂ，Ｃ，Ｄ，Ｇ）の画素値はキーカラーとして指定された値に一致する。他方、Ｅ、Ｆ、Ｈ、Ｉは、非透過領域Ｒ１２である。拡大前の非透過領域Ｒ１２は、各画素（Ａ，Ｂ，Ｃ，Ｄ，Ｇ）の画素値はキーカラーとして指定された値以外の値である。
【００３３】
図７（ａ）に示す拡大前画像Ｐ１１を用いて、図６において説明したように拡大処理を実行すると、図７（ｂ）に示す拡大後画像Ｐ１１１のようになる。拡大後画像Ｐ１１１には、“拡大後の透過領域Ｒ１１３”及び“拡大後の非透過領域Ｒ１１２”に加えて、“ノイズ領域Ｒ１３１”が生じる。拡大後画像Ｐ１１１における透過領域Ｒ１１３の画素は、拡大前画像Ｐ１１における透過領域Ｒ１３において元々キーカラーとして指定されていた画素値の画素であるＡ、Ｂ、Ｃ、Ｄ、Ｇ及びその画素値に基づいて算出される画素値を有する画素である。即ち、透過領域Ｒ１１３の画素は、キーカラーとして指定されていた画素値からなる画素と、キーカラーとして指定されていた画素値のみを用いて補完された画素値からなる画素である。したがって、透過領域Ｒ１１３は、キーカラーとして透過処理される。
【００３４】
また、拡大後画像Ｐ１１１における非透過領域Ｒ１１２の画素は、拡大前画像Ｐ１１における非透過領域Ｒ１２において元々キーカラー以外として指定されていた画素値の画素であるＥ，Ｆ，Ｈ，Ｉ及び、その画素値に用いて算出される画素値を有する画素である。言い換えると、非透過領域Ｒ１１２の画素には、キーカラーからなる画素は含まれない。すなわち、非透過領域Ｒ１１２は、透過処理されない領域になる。
【００３５】
これに対して、図７（ｂ）に示すノイズ領域Ｒ１３１の画素は、キーカラーである画素の画素値と、キーカラーではない画素の画素値とに基づいて算出される画素値を有する。そのため、ノイズ領域Ｒ１３１の画素値はキーカラーとは異なる値（異なる色味）になる。したがって、ノイズ領域Ｒ１３１はクロマキー合成処理において透過処理されず、表示される領域となる。
【００３６】
しかしながら、ノイズ領域Ｒ１３１の色味は、非透過領域Ｒ１１２の色味とキーカラーである透過領域Ｒ１１３の色味に基づいて算出された画素値の色味である。したがって、ノイズ領域Ｒ１３１は、ノイズ領域Ｒ１３１が表示されると非透過領域Ｒ１１２の色味とは“異なる色味”で表示される。このような表示は、ユーザにはノイズとして認識される。このような、オーバーレイ画像の拡大によってキーカラー領域と他の領域とのエッジ部分に生じるエッジノイズを低減することが本実施形態に係る要旨の１つである。
【００３７】
●第１実施形態の処理動作
次に、本発明に係る画像処理方法の実施形態について説明する。本実施形態に係る画像処理方法は、すでに説明したクロマキーコントローラ１００において実行されるクロマキー合成処理の動作方法である。
【００３８】
図８は、本実施形態に係るクロマキーコントローラ１００の動作を示すフローチャートである。図８を参照して、本実施形態に係るクロマキー合成動作について説明する。図８に示すように、まずはベース画像取得部１０１及びオーバーレイ画像取得部１０２が夫々画像を取得する（Ｓ８０１）。これにより、ベース画像及びオーバーレイ画像は、画像管理部１０３において保持される。
【００３９】
ベース画像及びオーバーレイ画像が取得されると、続いて、画像管理部１０３のラベリング部１３０が、オーバーレイ画像に対するラベリング処理を行う（Ｓ８０２）。ラベリング処理とは、画像を構成する各画素の画素値に基づき、画像中に表示されているオブジェクトとして同一のオブジェクトに含まれる画素に対して同一のラベルを付与する処理である。換言すると、近似する色味を有し且つ隣接している画素を連結領域として定義する処理である。即ち、ラベリング部１３０が、連結処理部として機能する。これにより、オーバーレイ画像中に含まれるオブジェクトを識別することが可能となる。
【００４０】
図９は、ラベリング処理の結果の一例を示す図である。図９において斜線の付された領域がキーカラーとして指定されている画素値を有する透過領域Ｒ９１である。他方、領域Ｒ８１、領域Ｒ８２、領域Ｒ８３はそれぞれ、個別のラベルが付されたオブジェクトの領域である。領域Ｒ８１、領域Ｒ８２、領域Ｒ８３のような領域が、ラベリング処理によって連結処理された連結領域として処理される。尚、Ｓ８０２のラベリング処理に際しては、キーカラーの領域に対する無駄な処理を回避するため、キーカラー管理部１０５においてキーカラーとして指定されている画素値の領域を処理対象外としても良い。
【００４１】
Ｓ８０２の処理により、ラベリング部１３０の機能によってラベリング処理を行った画像管理部１０３は、生成したラベルを順番に選択し、そのラベルの付された画素を囲む外接矩形の画素領域を抽出する（Ｓ８０３）。図９においては、領域Ｒ８２の外接矩形を抽出した場合の抽出結果が示されている。そして、画像管理部１０３は、抽出した矩形領域を画像解析部１０４に入力し、キーカラー処理を要求する。
【００４２】
画像解析部１０４は、キーカラー処理の要求に応じて、入力された矩形領域を構成する各画素の画素値を順番に参照し、キーカラー管理部１０５においてキーカラーとして指定されている画素値と一致する画素の有無を確認する（Ｓ８０４）。Ｓ８０４における処理において、画像解析部１０４は、処理対象となっている矩形領域内の各画素におけるＲＧＢそれぞれの画素値を参照し、図１０に示すように、ＲＧＢ夫々の値のうち最大値及び最小値を記憶する。新たに参照した画素の画素値が、既に記憶している最大値よりも大きい場合や、最小値よりも小さい場合には、新たに参照した画素の画素値によって値が更新される。
【００４３】
このような処理の結果、キーカラーとして指定されている値と一致する画素が矩形領域に含まれている場合には（Ｓ８０４／ＹＥＳ）、画像解析部１０４はキーカラー処理を行う（Ｓ８０５）。Ｓ８０５の処理において、画像解析部１０４は、キーカラー管理部１０５において図３に示すように管理されているキーカラーの指定値を更新する。また、矩形領域に含まれる各画素のうち元のキーカラーとして指定されている画素値を、更新したキーカラーの値に変更する。Ｓ８０５の処理は後に詳述する。
【００４４】
他方、Ｓ８０４の処理により、矩形領域の全ての画素を解析しても、キーカラーの値と一致する画素が抽出されなかった場合（Ｓ８０４／ＮＯ）、画像解析部１０４は、誤ヒット回避処理を行う（Ｓ８０６）。Ｓ８０６の誤ヒット回避処理は、拡大処理前の画像においてキーカラーが含まれていないにも関わらず、図６において説明した処理により補完のために生成された画素値が偶然にキーカラーにヒットしてしまい、その部分が透過処理されてしまうことを防ぐ処理である。
【００４５】
そのため、画像解析部１０４はＳ８０６において、図１０に示すように記憶したＲＧＢ夫々の画素の最大値よりも大きな値または最小値よりも小さな値を、キーカラーの指定色として設定するように、キーカラー管理部１０５によって管理されている値を更新する。このようなキーカラーの再設定を行うことにより、図６において説明した補完処理によって生成されることのない画素値がキーカラーとして指定されることとなる。尚、図１０に示すような情報を用いた誤ヒット回避処理は一例であり、Ｒ：２５５，Ｇ：２５５，Ｂ：２５５等、補完によっては生じ得ない値を指定しても良い。即ち、Ｓ８０６において、画像解析部１０４が指定回避部として機能する。
【００４６】
Ｓ８０５またはＳ８０６の処理が完了すると、画像管理部１０３は、画像解析部１０４によって処理された矩形領域の画像を画像拡大部１０６に入力して拡大処理を実行させ、その結果得られた拡大画像を保存する（Ｓ８０７）。尚、画像拡大部１０６は、入力された矩形領域の画像の拡大に加えて、オーバーレイ画像上における矩形領域の位置も取得し、拡大後の画像における矩形領域の位置を算出する。
【００４７】
画像管理部１０３は、上記の処理において保存された矩形領域の拡大画像及び拡大後の画像における矩形領域の位置をベース画像と共に画像合成部１０７に入力する。これにより、画像合成部１０７は、入力された矩形領域の画像に対して、キーカラー管理部１０５において管理されているキーカラーの指定情報に基づいて矩形領域の画像の透過処理を行う。また、画像合成部１０７は、同じく入力された位置の情報に基づいてベース画像に重畳して合成する（Ｓ８０８）。即ち、画像合成部１０７が、透過処理部として機能する。
【００４８】
画像管理部１０３は、Ｓ８０２の処理において生成された全てのラベルについて処理が完了するまでＳ８０３からの処理を繰り返し（Ｓ８０９／ＮＯ）、全てのラベルについて処理が完了したら、処理を終了する。即ち、ラベリングによって定義された全ての連結領域毎に処理が実行される。
【００４９】
次に、図８のＳ８０５におけるキーカラー処理の詳細について、図１１を参照して説明する。図１１に示すように、画像解析部１０４において、まず隣接領域参照部１４１が、解析対象の矩形領域の画像について、キーカラーの画素に隣接している画素の画素値を参照する（Ｓ１１０１）。Ｓ１１０１において参照される領域は、キーカラー画素に隣接する隣接領域である。また、キーカラーの画素の領域は、透過処理対象領域である。尚、矩形領域の画像はラベリングされた画像であることが前提であるため、Ｓ１１０１において参照される画素の画素値は、実質的には矩形領域に含まれる画素の画素値のうちキーカラーではない画素値となる。
【００５０】
隣接領域参照部１４１が隣接画素の画素値を参照すると、キーカラー更新部１４２が、参照された画素値とキーカラーとして指定された画素値との差分値をＲＧＢ各色について算出し、その算出結果が所定の閾値を超えているか否か判断する（Ｓ１１０２）。Ｓ１１０２においては、ＲＧＢ各色の差分値に対して個別に閾値を適用しても良いし、ＲＧＢ各色の差分値の合計値や平均値に対して閾値を適用しても良い。
【００５１】
Ｓ１１０２の判断の結果、差分値が閾値を超えていなければ（Ｓ１１０２／ＮＯ）、キーカラー更新部１４２は、キーカラーの指定値を変更することなくそのまま処理を終了する。他方、差分値が閾値を超えていた場合（Ｓ１１０２／ＹＥＳ）、キーカラー更新部１４２は、Ｓ１１０１において参照した画素値に基づいてキーカラーを決定する（Ｓ１１０３）。即ち、キーカラー更新部１４２が、透過処理対象指定情報更新部として機能する。
【００５２】
Ｓ１１０３において画像解析部１０４は、Ｓ１１０１において参照したＲＧＢ夫々の画素値を所定量変更することにより得られる画素値をキーカラーの指定値として決定する。例えば、Ｓ１１０１において参照した画素値がＲ：２３，Ｇ：１３５，Ｂ：５６であった場合、画像解析部１０４は、ＲＧＢ夫々の値に「１」を加算し、Ｒ：２４，Ｇ：１３６，Ｂ：５７をキーカラーの指定値として決定してキーカラー管理部１０５に記憶させる。
【００５３】
その後、オーバーレイ画像更新部１４３が、解析対象の矩形領域の画像を構成する画素のうち、変更前のキーカラーの画素値を有する画素に対して、その画素の画素値を変更後のキーカラーの画素値に更新する（Ｓ１１０４）。即ち、オーバーレイ画像更新部１４３が、透過処理対象領域更新部として機能する。このような処理により、本実施形態に係るキーカラー処理が完了する。
【００５４】
Ｓ１１０３の処理の趣旨は、キーカラーとして透過処理される対象となる色を、キーカラーの領域に隣接する領域の色に近似し且つ異なる色とすることにある。従って、上述したようにＲＧＢ夫々の値に「１」を加算する態様の他、ＲＧＢのいずれか１つまたは２つに対して「１」を加算しても良い。また、近似した色とする処理であれば、加算する値は「１」でなくともよい。
【００５５】
このようなキーカラー処理を行った上で、図８のＳ８０７、Ｓ８０８の処理を行った場合の効果について図１２を参照して説明する。図１２は、図７と同様に、画像の拡大前後におけるオーバーレイ画像の領域を示す図である。図１２（ｂ）に示すように、拡大された透過領域Ｒ１２２と拡大されたオーバーレイ画像領域Ｒ１２１との間にノイズ領域Ｒ１２３が発生することは同様である。
【００５６】
ここで、図１２（ｂ）に示すオーバーレイ画像領域Ｒ１２１は、図１１のＳ１１０１において参照される隣接画素の領域に相当する。したがって、ノイズ領域Ｒ１２３の画素値は、オーバーレイ画像領域Ｒ１２１の画素値と、その画素値に近似する色に変換されたキーカラーとに基づいて算出された画素値である。このノイズ領域Ｒ１２３の画素値による色味は、オーバーレイ画像領域Ｒ１２１とノイズ領域Ｒ１２３との色味と比べると、肉眼ではほとんど判別不可能な程度の差異になる。その結果、ノイズ領域Ｒ１２３はユーザによってオーバーレイ画像領域Ｒ１２１の一部として視認され、ノイズとは視認されなくなる。
【００５７】
そして、このような処理が図９に示すような夫々の表示領域毎に付与されたラベル毎に行われることにより、夫々の表示領域の色味に応じたキーカラー設定が行われた上でＳ８０７及びＳ８０８の処理が行われる。従って、色味の異なる複数の表示領域がオーバーレイ画像に含まれる場合であっても、夫々の領域毎にエッジノイズの目立たないオーバーレイ画像の拡大処理及びクロマキー合成が行われる。
【００５８】
以上説明したように、本実施形態に係る画像処理装置１においては、クロマキー合成処理を行うにあたり、オーバーレイ画像を拡大してベース画像に重畳する場合に、オーバーレイ画像中でキーカラーに指定された画素に隣接する画素の画素値を参照する。そして、参照した画素値とは異なる画素値であって且つ参照した画素値に色味が近似している画素値をキーカラーとして決定する。
【００５９】
これにより、オーバーレイ画像を拡大しても、キーカラー領域とそれに隣接する領域との境界部分において、補完によって生じる画素の色味は、キーカラーとは異なる色で且つ隣接する領域の色味に近い色となる。したがって、拡大処理されたオーバーレイ画像をクロマキー合成によってベース画像に重畳したとしても、オーバーレイ画像において透過処理されない表示領域と透過処理される部分との境界に、表示領域の色味と異なるエッジノイズが発生することを防げる。
【００６０】
尚、上記の実施形態においては、図１１のＳ１１０２に示すように、キーカラーの指定値と隣接する領域の画素値との差分が所定の閾値を超える場合に、上述したようなキーカラーの設定変更を行う場合を例として説明した。これにより、キーカラーの設定変更を行わなくても、エッジノイズが目立たない場合には処理を省略し、処理負荷を軽減することができる。しかしながらこれは一例であり、Ｓ１１０２の判断を行うことなく、必ずＳ１１０３、Ｓ１１０４の処理を行うようにしてもよい。
【００６１】
また、上記実施形態においては、図９に示すようにオーバーレイ画像に複数の表示領域が含まれることを前提とし、ラベリングを行った上でラベルごとに処理を行う場合を例として説明した。この他、例えばＳ８０２において抽出されたラベルが１つであった場合には、Ｓ８０３の処理を省略し、オーバーレイ画像全領域を上述した矩形領域として、Ｓ８０４以降の処理を実行してもよい。
【００６２】
但し、Ｓ８０２において抽出されたラベルが１つであったとしても、上記と同様にラベル部分の外接矩形に対して処理を行ってもよい。これにより、Ｓ８０４においてキーカラーの有無を判断する対象の画素数や、Ｓ１１０４において画素値を変更する対象の画素数を低減し、処理を簡略化することができる。
【００６３】
また、上記実施形態においては、図３に示すように、キーカラーとして設定されるのは、ＲＧＢ各色の画素値が指定された１つの値に一致する１通りの色である場合を例として説明した。しかしながらこれは一例であり、例えば図１３に示すようにＲＧＢ各色の画素値として上限値、下限値によって定まる範囲を指定するようにしても良い。この場合、Ｓ１１０２において判断される差分値は、隣接領域の画素値が上限値を上回っている場合には上限値との差分値が用いられ、下限値を下回っている場合には下限値との差分値が用いられる。
【００６４】
また、Ｓ１１０２において比較対象となる閾値は、エッジノイズの発生を厳しく抑制するためにはなるべく小さい値とすることが好ましく、最も厳しい例としては、「１」である。これに対して、キーカラーを変更しなくてもエッジノイズが目立たない程度の差分値であればキーカラー処理を省略して処理負荷を低減する場合には、閾値を大きくしてある程度の差分値を許容することとなる。
【００６５】
そのような閾値の設定は、例えば操作部７０に対するユーザの操作によって手動で行うことが可能であるが、オーバーレイ画像の種類に応じて自動的に閾値が変更されてもよい。図１４は、オーバーレイ画像の種類に応じて閾値が変更される場合に、画像解析部１０４が保持する閾値テーブルの例を示す図である。
【００６６】
図１４に示すように、閾値テーブルにおいては、“オーバーレイ種類”と“閾値”とが関連付けられている。そして、画像解析部１０４は、オーバーレイ画像取得部１０２が取得したオーバーレイ画像の種類に関連付けられている閾値を取得し、Ｓ１１０２において適用する。このような態様により、オーバーレイ画像の種別に応じてＳ１１０２における閾値を自動的に変更することが可能となる。
【００６７】
また、上記実施形態においては、入力されたオーバーレイ画像に対して必ず図８及び図１１に示す動作を実行する場合を例として説明した。しかしながら、本実施形態に係る処理が必要となるのは、上述したようにオーバーレイ画像を拡大する場合のみである。したがって、ベース画像の画像サイズよりもオーバーレイ画像の画像サイズの方が小さい場合にのみ、上述した処理を実行するようにしてもよい。
【００６８】
●本発明に係る第２実施形態の機能構成
以下、本発明に係る第２実施形態について図１５を参照して説明する。図１５は、本実施形態に係る画像処理装置１ａの機能構成を示す図である。なお、画像処理装置１ａのハードウェア構成は、図１を用いて説明した画像処理装置１のハードウェア構成と同じである。本実施形態に係る画像処理装置１ａは、ＰＣをはじめとする情報処理装置において特定の画像処理を実行する画像処理装置である。そのような画像処理装置において、クロマキー合成処理を行う際に、オーバーレイ画像に含まれる不透過オブジェクトが重なり合っている場合であっても、オーバーレイ画像の拡大処理に伴って発生するノイズを低減することが本実施形態に係る要旨の１つである。
【００６９】
図１５に示すように、本実施形態に係る画像処理装置１ａは、図１において説明したＬＣＤ６０、操作部７０に加えて、クロマキーコントローラ１００ａ、表示制御部１１０、操作制御部１２０を含む。クロマキーコントローラ１００ａは、ベース画像取得部１０１、オーバーレイ画像取得部１０２、画像管理部１０３、画像解析部１０４ａ、キーカラー管理部１０５、画像拡大部１０６、画像合成部１０７、表示出力部１０８を含む。
【００７０】
画像管理部１０３は、ベース画像取得部１０１により取得されたベース画像と、オーバーレイ画像取得部１０２により取得されたオーバーレイ画像と、を管理し、キーカラーの調整処理やオーバーレイ画像の拡大処理のための制御を行う。また、画像管理部１０３は、一般的なラベリング処理を行うラベリング部１３０を含む。
【００７１】
画像解析部１０４は、画像管理部１０３によって入力された画像を解析し、ラベリング処理において連結された領域の細分化に関する処理、及び、キーカラーの変更に関する処理を行う。図１５に示すように、画像解析部１０４は、隣接領域参照部１４１、キーカラー更新部１４２、オーバーレイ画像更新部１４３、矩形細分化部１４４を含む。画像解析部１０４に含まれる詳細な機能については後に詳述する。
【００７２】
●第２実施形態の処理動作
次に、第２実施形態に係る画像処理装置１ａにおいて実行可能な画像処理方法の実施形態について説明する。本実施形態に係る画像処理方法は、すでに説明したクロマキーコントローラ１００ａにおいて実行されるクロマキー合成処理の動作方法である。
【００７３】
図１６は、本実施形態に係るクロマキーコントローラ１００ａの動作を示すフローチャートである。図１６を参照して、本実施形態に係るクロマキー合成動作の処理ステップについて説明する。なお、図８を用いてすでに説明した第１実施形態と同様の処理については、詳細な説明を省略する。
【００７４】
ベース画像取得部１０１及びオーバーレイ画像取得部１０２が夫々画像を取得し（Ｓ１６０１）、画像管理部１０３のラベリング部１３０が、オーバーレイ画像に対するラベリング処理を行う（Ｓ１６０２）。
【００７５】
ここで、ラベリング処理の結果の例を図１７に示す。図１７において、斜線の付された領域がキーカラーとして指定されている画素値を有する透過領域Ｒ９１である。他方、斜線が付されていない領域は、キーカラーとして指定されている画素値と異なる画素値を有する不透過領域である。図１７において、不透過領域は、領域Ｒ１７１、領域Ｒ１７２、領域Ｒ１７３の３カ所が設定されている。領域Ｒ１７１、領域Ｒ１７２、領域Ｒ１７３はそれぞれ、個別のラベルが付されたオブジェクトの領域である。領域Ｒ１７１、領域Ｒ１７２、領域Ｒ１７３のような領域が、ラベリング処理によって連結処理された連結領域となる。
【００７６】
Ｓ１６０２の処理により、ラベリング部１３０の機能によってラベリング処理を行った画像管理部１０３は、生成したラベルを順番に選択し、そのラベルの付された画素を囲む外接矩形の画素領域を抽出する（Ｓ１６０３）。図１８においては、領域Ｒ１７２の外接矩形を抽出した場合の抽出結果が示されている。抽出された連結領域には、単一のオブジェクトのみが含まれることを前提とするが、場合によって、図１８に示す領域Ｒ１７２のように、他の領域（ここでは、領域Ｒ１７３）が重なることもある。
【００７７】
そこで、画像管理部１０３は、抽出した矩形領域を画像解析部１０４ａに入力し、重なり判定処理を要求する。画像解析部１０４ａは、重なり判定処理の要求に応じて、処理対象となっている領域Ｒ１７２に含まれる各画素におけるＲＧＢそれぞれの画素値を参照して、図３に示すように管理されているキーカラーのＲＧＢ夫々の値とを比較する。
【００７８】
比較の結果、キーカラーのＲＧＢと異なるＲＧＢの組が１つのみであれば（Ｓ１６０４／ＮＯ）、矩形細分化処理（Ｓ１６０５）を行わずに、画像管理部１０３は、抽出した矩形領域を画像解析部１０４に入力し、キーカラー処理を要求する。
【００７９】
比較の結果、キーカラーのＲＧＢと異なるＲＧＢの組が２種以上ある場合は（Ｓ１６０４／ＹＥＳ）、画像解析部１０４は、矩形細分化部１４４に対して、矩形細分化処理を要求する。
【００８０】
ここで、図１６のＳ１６０５における矩形細分化処理の詳細について、図１９を参照して説明する。図１９に示すように。画像解析部１０４ａにおいて、矩形細分化部１４４は、処理対象となっている矩形領域（対象矩形領域）の高さ又は幅が「１」であるか否かの判定処理を実行する（Ｓ１９０１）。高さ又は幅が１であれば（Ｓ１９０１／ＹＥＳ）、対象矩形領域を２分割する（Ｓ１９０２）。高さ又は幅が１でなければ（Ｓ１９０１／ＮＯ）、対象矩形領域を４分割する（Ｓ１９０３）。
【００８１】
続いて、分割された矩形領域内の各画素の画素値とキーカラーとして指定されている画素値とを比較する。キーカラーとして指定されている画素値と異なる画素値が複数種類ある場合は（Ｓ１９０４／ＹＥＳ）、再度の分割が必要になるので、処理対象とする矩形領域を分割した各矩形領域（対象分割矩形領域）として設定し、処理をＳ１９０１に戻す。
【００８２】
比較の結果、キーカラーとして指定されている画素値と異なる画素値は１種類しかなければ（Ｓ１９０４／ＮＯ）、その分割矩形領域を後段のキーカラー処理（図１６のＳ１６０６）の対象にするための、分割矩形リストに保存する（Ｓ１９０５）。
【００８３】
矩形細分化部１４４は、対象分割矩形領域に対する処理がすべて終了していなければ（Ｓ１９０６／ＮＯ）、処理をＳ１９０１に戻す。対象分割矩形領域に対する処理がすべて終了していれば（Ｓ１９０６／ＹＥＳ）、矩形細分化処理を終了する。即ち、矩形細分化部１４４が、細分化処理部として機能する。
【００８４】
矩形細分処理が終了した後、画像管理部１０３は、分割矩形リストから抽出した分割矩形領域を画像解析部１０４に入力し、キーカラー処理を要求する。この分割化矩形リストに保存されている対象領域群が、細分化領域である。
【００８５】
画像解析部１０４は、キーカラー処理の要求に応じて、入力された細分化領域を構成する各画素の画素値を順番に参照し、キーカラー管理部１０５においてキーカラーとして指定されている画素値と一致する画素の有無を確認する（Ｓ１６０６）。この処理は、Ｓ８０４と同様である。
【００８６】
Ｓ１６０６の処理において、画像解析部１０４ａは、処理対象となっている矩形領域内（分割矩形領域内）の各画素におけるＲＧＢそれぞれの画素値を参照し、図１０に示すように、ＲＧＢ夫々の値のうち最大値及び最小値を記憶する。新たに参照した画素の画素値が、既に記憶している最大値よりも大きい場合や、最小値よりも小さい場合には、新たに参照した画素の画素値によって値が更新される。
【００８７】
このような処理の結果、キーカラーとして指定されている値と一致する画素が矩形領域に含まれている場合には（Ｓ１６０６／ＹＥＳ）、画像解析部１０４ａはキーカラー処理を行う（Ｓ１６０７）。Ｓ１６０７の処理において、画像解析部１０４ａは、キーカラー管理部１０５において図３に示すように管理されているキーカラーの指定値を更新する。また、矩形領域に含まれる各画素のうち元のキーカラーとして指定されている画素値を、更新したキーカラーの値に変更する。Ｓ１６０７の処理はＳ８０５の処理と同じ内容になるので、詳細は省略する。
【００８８】
他方、Ｓ１６０６の処理により、矩形領域の全ての画素を解析しても、キーカラーの値と一致する画素が抽出されなかった場合（Ｓ１６０６／ＮＯ）、画像解析部１０４ａは、誤ヒット回避処理を行う（Ｓ１６０８）。Ｓ１６０８の誤ヒット回避処理は、Ｓ８０６の誤ヒット回避処理と同様である。
【００８９】
Ｓ１６０７またはＳ１６０８の処理が完了すると、画像管理部１０３は、画像解析部１０４ａによって処理された矩形領域の画像を画像拡大部１０６に入力して拡大処理を実行させ、その結果得られた拡大画像を保存する（Ｓ１６０９）。Ｓ１６０９の処理は、Ｓ８０７の処理と同様である。
【００９０】
画像管理部１０３は、上記の処理において保存された矩形領域の拡大画像及び拡大後の画像における矩形領域の位置をベース画像と共に画像合成部１０７に入力する。これにより、画像合成部１０７は、入力された矩形領域の画像に対して、キーカラー管理部１０５において管理されているキーカラーの指定情報に基づいて矩形領域の画像の透過処理を行う。また、画像合成部１０７は、同じく入力された位置の情報に基づいてベース画像に重畳して合成する（Ｓ１６１０）。Ｓ１６１０の処理は、Ｓ８０８の処理と同様である。
【００９１】
画像管理部１０３は、Ｓ１６０５の処理において生成された分割矩形領域の全てについて処理が完了するまで、Ｓ１６０６からの処理を繰り返す（Ｓ１６１１／ＮＯ）。全ての分割矩形領域について処理が完了したら（Ｓ１６１１／ＹＥＳ）、Ｓ１６０２の処理において生成された全てのラベルについて処理が完了しているか否かを判定する（Ｓ１６１２）。全てのラベルについて処理が完了していなければ、Ｓ１６０３からの処理を繰り返し（Ｓ１６１２／ＮＯ）、全てのラベルについて処理が完了したら、処理を終了する（Ｓ１６１２／ＹＥＳ）。即ち、ラベリングによって定義された全ての連結領域毎に処理が実行され、さらに、重なり合う連結領域がある場合は、全ての分割矩形領域毎に処理が実行される。
【符号の説明】
【００９２】
１  画像処理装置
１０  ＣＰＵ
２０  ＲＡＭ
３０  ＲＯＭ
４０  ＨＤＤ
５０  Ｉ／Ｆ
６０  ＬＣＤ
７０  操作部
８０  バス
１０１  ベース画像取得部
１０２  オーバーレイ画像取得部
１０３  画像管理部
１０４  画像解析部
１０５  キーカラー管理部
１０６  画像拡大部
１０７  画像合成部
１０８  表示出力部
１１０  表示制御部
１２０  操作制御部
１３０  ラベリング部
１４１  隣接領域参照部
１４２  キーカラー更新部
１４３  オーバーレイ画像更新部
【先行技術文献】
【特許文献】
【００９３】
【特許文献１】特開２００１−２４２８４８号公報
【図１】
0006705242.tif 000002
【図２】
0006705242.tif 000003
【図３】
0006705242.tif 000004
【図４】
0006705242.tif 000005
【図５】
0006705242.tif 000006
【図６】
0006705242.tif 000007
【図７】
0006705242.tif 000008
【図８】
0006705242.tif 000009
【図９】
0006705242.tif 000010
【図１０】
0006705242.tif 000011
【図１１】
0006705242.tif 000012
【図１２】
0006705242.tif 000013
【図１３】
0006705242.tif 000014
【図１４】
0006705242.tif 000015
【図１５】
0006705242.tif 000016
【図１６】
0006705242.tif 000017
【図１７】
0006705242.tif 000018
【図１８】
0006705242.tif 000019
【図１９】
0006705242.tif 000020