(57)【特許請求の範囲】
【請求項１】
一枚または数枚の電子画像とそれを領域分割した分割結果から同一領域に属す画素をグループにし、少なくともグループ毎の平均色、グループ毎の画像上の位置、グループ毎のグループに含まれる画素数、グループ毎の画素の集団が作る外形から計算される方向要素と扁平さをグループ特徴として計算するグループ特徴計算部と計算されたグループ特徴を記憶しておくグループ特徴記憶部とグループ特徴記憶部に記憶されているグループごとの特徴情報を選択的に加工するグループ特徴加工部とグループ特徴をもとに画像を構成するに際し、注目画素の位置とグループの位置との差を変数とする距離関数の値を計算し、その値がもっとも小さくなるグループをその画素が属するグループと定め、その定められたグループのグループ特徴、または加工された後のそのグループのグループ特徴を新たに注目画素の情報とする画像構成部からなる画像加工合成装置。
【請求項２】
請求項１に記載されたグループ特徴を加工するに際し、注目グループから空間配置が近い複数のグループのもつグループ特徴を参考にしながら、注目グループのグループ特徴を加工することを特徴とする画像加工合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は電子画像の加工合成技術に関する。
【０００２】
【従来の技術】
写真画像などをスキャナーで読み込み電子画像にし、コンピューターを利用してそれに人間の感性を加え芸術的な作品を作りだすという画像加工の技術は長足の進歩を見せた。画素の色を変えたり画像をひずませたりする色変換、ひずみ変換なども画像処理で行えるようになった。
【０００３】
しかし、色変換処理は画素の色以外の特徴を判断して適応的に変えるものではなく、あらかじめ決められた色の対応関係を用いて色を変えており、ひずみ変換では画素の位置情報以外の特徴を判断せずに、画像を歪ませている。このほか、よく使われるエッジ強調処理は、注目画素の値と注目画素の周囲の画素の値から注目画素がエッジを構成している画素かどうかを判定し、その結果に応じて画素を強調するという処理を行っている。どの処理にも共通しているのは、注目画素一つずつが変更される際の単位になっていることである。
【０００４】
これらの手法は、見た目に劇的な変化を与えることはできるが、人間が作成する絵画のような感性の豊かな変換は不可能であった。ところで、絵画に代表される感性の豊かな表現は画家の一筆一筆の筆触（タッチ）で表現されていると考えられる。従って、画像を加工する際に筆触を表現できることが重要である。
【０００５】
また、いろいろな表現形式の多くが筆触の表れ方に大きく左右されていることを考えると、いろいろな種類の筆触を表現することのできる画像加工方法が重要であることがわかる。電子画像にされた絵画から筆触を抽出する技術として、中島ら：「計算機による絵画画像の解析−油絵画像のタッチへの自動分割−」、電子情報通信学会春期全国大会予講集、Ｄ（１９９４）があったが、これらの技術は写真画像から筆触を構成する画素のグループ（以下単にグループと呼ぶ）を作る際にも応用可能である。
【０００６】
また泉ら：「色情報と位置情報とを併用したセグメンテーション手法の一検討」、電子情報通信学会春期全国大会予講集、Ｄ６８０（１９９１）に示された５次元のＫ−平均アルゴリズムなども利用可能である。
【０００７】
一方、中島ら：「周波数情報を用いた自然画像の油絵風表現の自動生成」、電子情報通信学会春期全国大会予講集、Ｄ（１９９４）、斎藤ら: 「ＦＦＴを用いた写真からの手書き風画像の自動生成」、情報処理学会研究報告グラフィックスとＣＡＤ、７４−３、（１９９５）には色とテクスチャーの似た画素を集めグループを作ってはそのグループを構成する画素をそのグループの平均色に置き換えるという処理により絵画風表現を作り出す手法が示されている。
【０００８】
しかし、この手法では、グループの数やグループを構成する画素の組み合わせを変更する以外にオペレーターの制御できる要素がなく、多様な表現を筆触を通じて表現することができなかった。
【０００９】
また、この技術では複数枚の画像から一枚の画像を作る画像合成はできなかった。画像合成処理においては画素単位の合成、または、オペレーターによって切り出された任意の領域ごとに合成する手法しかなく、上で述べたグループを単位とした合成は行われていなかった。そのため多様な合成方法を実現できなかった。
【００１０】
【発明が解決しようとする課題】
以上述べたように、従来の技術においては、筆触を制御することで、画像に様々な表現を加えることが不可能であった。また、二つの画像を一つに合成する際にも、筆触のようなグループを単位として、両者のグループを一枚の画像に合成することは不可能であった。
【００１１】
本発明は上記従来例に鑑みてなされたもので、上述のグループを単位として、画像の加工や合成を統一的な処理で実現し、多様な表現の加工、多様な種類の合成を提供することを目的とする。
【００１２】
【課題を解決するための手段】
図１に図示した装置の構成を示すブロック図の番号と対応づけて説明する。上記課題を解決するために、請求項１の画像加工合成装置は
一枚または数枚の電子画像とそれを領域分割した分割結果から同一領域に属す画素をグループにし、少なくともグループ毎の平均色、グループ毎の画像上の位置、グループ毎のグループに含まれる画素数、グループ毎の画素の集団が作る外形から計算される方向要素と扁平さをグループ特徴として計算するグループ特徴計算部1と計算されたグループ特徴を記憶しておくグループ特徴記憶部２とグループ特徴記憶部２に記憶されているグループごとの特徴情報を選択的に加工するグループ特徴加工部３とグループ特徴をもとに画像を構成するに際し、注目画素の位置とグループの位置との差を変数とする距離関数の値を計算し、その値がもっとも小さくなるグループをその画素が属するグループと定め、その定められたグループのグループ特徴、または加工された後のそのグループのグループ特徴を新たに注目画素の情報とする画像構成部４からなる。
【００１４】
請求項２の画像加工合成装置は、請求項１に記載されたグループ特徴を加工するに際し、注目グループから空間配置が近い複数のグループのもつグループ特徴を参考にしながら、注目グループのグループ特徴を加工する方法である。
【００１６】
【発明の実施の形態】
請求項１の画像加工合成装置であれば、入力された画像とここには記載されていない領域分割処理部により分割された結果を用いて、分割された領域に属する画素を一つのグループと考え、少なくともグループ毎の平均色、グループ毎の画像上の位置、グループ毎のグループに含まる画素数をグループ特徴としてグループ特徴計算部１で計算し、その結果をグループ特徴記憶部２に記憶しておくことで、以下の画像加工または画像合成で必要となるグループ特徴を加工のたびに計算し直さなくてすみ、効率的な画像加工または画像合成が可能になる。
【００１７】
次に、このグループ特徴記憶部２から読み出されたグループ特徴は特徴情報加工部３で加工されるが、このとき画素の特徴が画素の属するグループごとに記述されているので、グループを単位とした多種多様な画像加工を行うことがでる。さらに、加工された、グループ特徴をもとに、画像を構成する画像構成部４はグループ特徴に応じて異なる画像構成の方法を用いることで、より多様な表現を実現することができる。
【００１８】
また、グループ特徴としてグループ毎の画素が作る外形情報を後段のグループ特徴を加工する際や画像を構成する際に利用可能となるため、グループ毎の画素が作る外形を加工できるようになり、一層豊富な表現が可能となる。
【００１９】
請求項2の画像加工合成装置であれば、注目グループが鑑賞に堪えうる十分満足な特徴を備えていなくても、注目グループから空間配置が近い複数のグループのもつグループ特徴を参考にしながら、注目グループのグループ特徴を変更するため、周囲のグループと調和し、かつ、特徴の豊富なグループに変えることができ、結果的に、表現の豊かな画像加工合成が可能になる。
【００２０】
請求項１の画像加工合成装置であれば、先に述べた事項に加えグループ特徴をもとに画像を構成するに際し、注目画素の位置とグループの位置との差を変数とする距離関数の値を計算し、その値がもっとも小さくなるグループをその画素が属するグループと定め、その定まったグループのグループ特徴、または加工された後のそのグループのグループ特徴を注目画素の情報とする方法であるため、グループ特徴を完全に保存した画像の構成ができない場合でも、全ての画素がなるべくグループの特徴を残したまま、かつどのグループにも属さぬことなく、自然に配置することが可能になる。
【００２１】
また、画像構成に距離計算を利用したため、この距離を表す式の定義を様々に変えることで、より豊富な表現を作り上げることが可能になる。
【００２２】
【実施例】
［実施例１］  以下、本発明の実施例を図面に基づいて説明する。
図２は本発明の一実施例の全体構成を示すブロック図であり、ＲＧＢ、グレースケール、Ｌ＊ａ＊ｂ＊などで表された電子画像５が図示されていないスキャナー等の入力部から入力される。本実施例では色空間としてＣＩＥ(国際照明委員会)で推賞するＬ＊ａ＊ｂ＊を用いることにする。
【００２３】
以下それぞれｌ、ａ、ｂと記載する。画像サイズは縦１０００画素、横７００画素であり、１画素はｌ、ａ、ｂそれぞれ８ビットで表されるものとする。
【００２４】
また、同じく図示されていない領域分割部により入力画像５は分割され、その分割結果６が得られているものとする。図示されていない領域分割処理としては、先に触れた絵画から筆触を抽出する手法（中島ら：「計算機による絵画画像の解析−油絵画像のタッチへの自動分割−」、電子情報通信学会春期全国大会予講集、Ｄ（１９９４））や５次元のＫ−平均アルゴリズム（泉ら：「色情報と位置情報とを併用したセグメンテーション手法の一検討」、電子情報通信学会春期全国大会予講集、Ｄ６８０（１９９１））などが使える。
【００２５】
電子画像５と分割結果６がネットワークなどを通じてグループ特徴計算部１に渡される。分割結果６は図３に示すように、電子画像５の画素がどの領域に属すかが分かるように電子画像５の画素に対応する２次元平面ｘｙの位置に領域番号が書き込まれている。
【００２６】
この領域分割の分割結果６は１画素あたり１６ビットの深さを持たせ、６５５３６個のグループまで表現できるようにしてある。本装置においては全体の処理の制御はコンピューターなどの制御装置８で行われている。
【００２７】
電子画像５と分割結果６の二つの情報からグループ特徴を計算する手法を以下に説明する。領域番号をｎで表し、領域の総数を３０００個とする。つまり、１≦ｎ≦３０００。領域一つずつを画素のグループと考え、全てのグループのグループ特徴を書き込めるようにハードディスクなどで構成されているグループ特徴記憶部２に３０００行の特徴テーブルを用意する。
【００２８】
１番目の行にはグループ１の平均色ｌ１、ａ１、ｂ１とそのグループ１の画素の分布の重心ｘ１、ｙ１、グループ１に属する画素数Ｎ１を設け、以下同様に３０００個のグループについてグループ特徴を書き込めるようにしてあり、初期値は全て０とする。
【００２９】
電子画像と分割結果を左上から順に一つずつ読み、同じ領域番号ｎを持つ画素のｌ、ａ、ｂの値とその画素のｘ、ｙの値をそれぞれに対応する特徴テーブルのｎ行目にあるｌｎ、ａｎ、ｂｎ、ｘｎ、ｙｎに加えるとともに領域に属している画素数を数えるカウンターＮｎに１を加える。
【００３０】
この操作を全ての画素に対して行い右下隅の画素まで計算した後で、ｌｎ／Ｎｎ、ａｎ／Ｎｎ、ｂｎ／Ｎｎ、ｘｎ／Ｎｎ、ｙｎ／Ｎｎを計算し、その値を新規にｌｎ、ａｎ、ｂｎ、ｘｎ、ｙｎに書き込み直す。このようにして、全てのグループの平均色と重心、そのグループに属す画素数が特徴テーブルに記憶されたことになる。
【００３１】
次におおよその形状を直感的に捕らえやすいパラメータで表現し、それらもグループ特徴として、グループ特徴記憶部２の特徴テーブルのｌｎ、ａｎ、ｂｎ、ｘｎ、ｙｎ、Ｎｎの後に新たなグループ特徴としてｄｘｎ、ｄｙｎ、ｋｎ、Ｄｎ、Ｈｎをつけ加えることにする。どれも初期値は０とする。
【００３２】
左上から順にグループｎを構成する画素位置（ｘ、ｙ）とグループ特徴記憶部２の特徴テーブルに既に記憶されているグループｎの重心（ｘｎ、ｙｎ）との差を計算し、グループ特徴記憶部２の特徴テーブルに新たにつけ加えたｄｘｎに（ｘ−ｘｎ）の二乗を、ｄｙｎに（ｙ−ｙｎ）の二乗を、ｋｎに両者の積（ｘ−ｘｎ）×（ｙ−ｙｎ）をそれぞれ加える。この操作を全ての画素に対して行い右下隅の画素まで計算した後で、グループ毎にｄｘｎ／Ｎｎ、ｄｙｎ／Ｎｎ、ｋｎ／Ｎｎをもとめ、それを新たなｄｘｎ、ｄｙｎ、ｋｎの値とし、グループ特徴記憶部２の特徴テーブルに記憶する。
【００３３】
ｄｘｎ、ｄｙｎはそれぞれグループｎを構成する画素の重心からのずれ量に関するｘ方向の分散、ｙ方向の分散を計算したことになる。さらに、おおよそのグループの形状を直感的に捕らえやすいパラメータで表現するため、グループに属す画素の配置はおおよそ楕円形に広がっていると仮定し、楕円の長径が向いている方向を表した方向要素Ｄｎと値が大きくなるほど楕円の扁平さが増すように定めた扁平要素Ｈｎを導入する。
【００３４】
すでに計算の終わった３つ値ｄｘｎ、ｄｙｎ、ｋｎからグループ毎に第一主成分Ｌ１と第二主成分Ｌ２を計算し、さらにそれらから外形を表す方向要素Ｄｎと扁平要素Ｈｎを求める過程を（１）式から（６）式に表した。
【数１】
Ｌ１＝［ｄｘｎ＋ｄｙｎ＋ＳＱＲＴ（（ｄｘｎ−ｄｙｎ）＊＊２−４×ｋｎ＊＊２）］／２
【数２】
Ｌ２＝［ｄｘｎ＋ｄｙｎ−ＳＱＲＴ（（ｄｘｎ−ｄｙｎ）＊＊２−４×ｋｎ＊＊２）］／２
【数３】
ＳＱＲＴ｛ｋｎ＊＊２＋（Ｌ１−ｄｘｎ）＊＊２｝≠０のとき
Ｗ１＝ｋｎ／ＳＱＲＴ（ｋｎ＊＊２＋（Ｌ１−ｄｘｎ）＊＊２）
ＳＱＲＴ｛ｋｎ＊＊２＋（Ｌ１−ｄｘｎ）＊＊２｝＝０のとき
Ｗ１＝０
【数４】
Ｗ２＝ＳＱＲＴ（１−Ｗ１＊＊２）
【数５】
Ｄｎ＝ａｔａｎ（−Ｗ１／Ｗ２）／π＋１／２
【数６】
Ｈｎ＝（Ｌ１−Ｌ２）／（Ｌ１＋Ｌ２）
【００３５】
ただし＊＊２は二乗を意味し、ＳＱＲＴ（Ｘ）はＸの平方根を意味するものとする。また、 ａｔａｎ（ｘ）はｔａｎ（ｘ）の逆関数である。
【００３６】
この計算を全てのグループに関して行うことで、グループｎの方向要素Ｄｎと扁平要素Ｈｎが求まる。この２つの値をグループ特徴記憶部２の特徴テーブルに書き込む。
【００３７】
Ｄｎは０から１までの値を取り、横に長い楕円状の分布であればＤｎは１／２に近い値になり、縦に長い楕円状の分布であればＤｎが０または１に近い値になる。Ｈｎは０から１までの値を取り、扁平した分布をもつグループほどＨｎは大きな値を取る。
【００３８】
以上の手続きによって、グループ特徴計算部１はグループ特徴を計算し、その結果は図４に示したグループ特徴記憶部２の特徴テーブルに記憶された。
【００３９】
次に、グループ特徴加工部３はグループ特徴記憶部２に記憶されている特徴テーブルをオペレーターから与えられるパラメータに従って変換する。グループの扁平要素が変化していくときの上限を決めるパラメータＫ１と電子画像の明度を変化させる大きさを決めるパラメータＫ２の２つを導入する。本実施例ではＫ１＝０．７、Ｋ２＝０．３を好ましい値として採用した。
【００４０】
グループ一つ一つを絵画の筆触と考え、このグループをいろいろ変化させることで、様々な印象を与えることが可能になる。ここでは扁平要素の少ないグループの扁平要素を高くし、しかも、自然な画像にする手法に関して図５に示したフローチャートに従って説明する。
【００４１】
ステップ１
グループ１に注目し、このグループの重心と他のグループの重心との距離を全て求め、その距離が短い順に１０個までのグループの番号をジオグラフテーブルＡに書き込む。この処理を順に繰り返しグループ３０００までジオグラフテーブルＡに書き込む（ＳＴ１）。ジオグラフテーブルＡを図６に示した。
【００４２】
ステップ２
カウンターｍを1にする。（ＳＴ２）
【００４３】
ステップ３
まず、カウンターｎを1にする（ＳＴ３１）。
グループｎに注目し、グループｎのＨｎをＫ１と比べ（ＳＴ３２）、Ｈｎ＞Ｋ１であれば、何もしないで、次の処理（ＳＴ３４）に移る。Ｈｎ≦Ｋ１であれば、ジオグラフテーブルＡのグループｎの行に書き込まれている最近傍グループ（ｊで表す）１０個の扁平要素をグループ特徴記憶部２から読み出す。その中でＨｎより大きい扁平要素のものだけを集めて平均し、その値を新たなＨｎとし、グループ特徴記憶部２の特徴テーブルに書き込む。
【００４４】
次にＨｎより大きい扁平要素をもつグループｊの方向要素ＤｊのＤｎからのずれをθＤｊで表し、θＤｊをｊについて算術平均を取ったものをＤｎに加え、それを新たなＤｎとする。ただしグループ同士のなす角は小さい方の角度で表すことにし、−π／２からπ／２の角度をθＤｊでは−０．５から０．５の間で表現してあるので、θＤｊ≧０．５であればθＤｊを１−θＤｊで表し。θＤｊ＜−０．５であればθＤｊを１＋θＤｊとして計算する。
【００４５】
また、グループの形は半回転しても同じであるため、計算結果であるＤｎは０から１の間で表現されるので、Ｄｎ≧１であればＤｎはＤｎ−１で表し、Ｄｎ＜０であればＤｎは１＋Ｄｎで表す。この様にして、Ｄｎを求めグループ特徴記憶部２の特徴テーブルに書き込む（ＳＴ３３）。
【００４６】
次にカウンターｎに１を加え（ＳＴ３４）、次のグループに処理を移し同様の手続きを続ける。この処理を続けカウンターｎが３０００を越えたら（ＳＴ３５）、カウンターｍに１を加える（ＳＴ３６）。
【００４７】
カウンターｍを１００と比較し（ＳＴ３７）、カウンターｍが１００をこえた場合は処理を終了し次のステップ４に進み、カウンターｍが１００をこえない場合は、１の処理に戻り同じ処理を繰り返す。
【００４８】
ステップ４
ステップ３までで形の処理を終了したので、ここでは明度ｌｎと色度ａｎ、ｂｎの加工に移る。カウンターｎを１にする（ＳＴ４１）。グループ特徴記憶部２の特徴テーブルからグループｎのｌｎ、ａｎ、ｂｎを読み出し、ｌｎを（７）式で計算する。
【数７】
｛ｌｎ／２５５×（１−Ｋ２）＋Ｋ２｝×２５５
ａｎ、ｂｎは、その値に−５から＋５の範囲の整数を出力する乱数を加える（ＳＴ４２）。
【００４９】
この処理によって値が０から２５５の範囲に入っているかを調べ（ＳＴ４３）、入っていれば次の処理（ＳＴ４５）に移り、２５５を越えていた場合は２５５を代入し、０より小さくなった場合は０を代入する（ＳＴ４４）。カウンターｎに１を加え、ｌｎ、ａｎ、ｂｎを新たな値としてグループ特徴記憶部２の特徴テーブルに書き込む（ＳＴ４５）。
【００５０】
カウンターｎが３０００を越えたかどうかを調べ（ＳＴ４６）、越えていなければ次のグループに処理を移し、越えていれば処理を終了する。これらの処理により、画像の明度は明るい方向にシフトし、絵画風にするとともに、一つ一つのグループの外形つまり筆触が目立つようにグループの色をばらつかせた。
【００５１】
次に処理は画像構成部４に移る。ここでの処理を図７に示したフローチャートに従って説明する。
まず、ジオグラフテーブルＢを作る。 グループ１に注目し、このグループの重心と他のグループの重心との距離を全て求め、その距離が短い順に５０個までをジオグラフテーブルＢに書き込む（ＳＴ５１）。
【００５２】
ｋ＝１とする（ＳＴ５２）。
左上から順に画素を走査する。画素のｘ、ｙ座標をｘｋ、ｙｋとする。ｋ＝１の場合はこの値と、ジオグラフテーブルＢのグループ１の近傍グループｊのグループ特徴ｘｊ、ｙｊ、Ｎｊ、Ｄｊ、Ｈｊを用いてまず
ｇｘｊ＝ｘｋ−ｘｊ、ｇｙｊ＝ｙｋ−ｙｊ
を計算する。
【００５３】
これを用いて
ｆｊ＝ａｔａｎ（−ｇｙｊ／ｇｘｊ）／π＋１／２
｜ｆｊ−Ｄｊ｜＜０．５の場合
ｆ２ｊ＝｜ｆｊ−Ｄｊ｜×４−１
｜ｆｊ−Ｄｊ｜≧０．５の場合
ｆ２ｊ＝４−｜ｆｊ−Ｄｊ｜×４−１
以上のようにｆ２ｊを計算する。（８）式で画素の座標ｘｋ、ｙｋとグループ特徴との距離を計算する。（ＳＴ５３）
【数８】
Ｌｊ＝［｛ｇｘｊ×（１．２＋ｆ２ｊ×Ｈｊ）｝＊＊２＋｛ｇｙｊ×（１．２＋ｆ２ｊ×Ｈｊ）｝＊＊２］／Ｎｊ
【００５４】
ジオグラフテーブルＢに書き込まれている５０個のグループ特徴全てとの距離計算をした後、もっとも距離の短かったグループｊ’にその画素は含まれるものとし、そのグループ番号をオリジナルの電子画像の画素位置に対応する図８のグループ対応表の位置(ｘｋ,ｙｋ)に書き込む（ＳＴ５４）。
【００５５】
グループ対応表は１画素あたり１６ビットの深さを持たせ、６５５３６個のグループまで表現できるようにした。そして、そのグループのｌｊ’、ａｊ’、ｂｊ’を加工画像を書き込むために用意した同じく図８の加工画像エリアの(ｘｋ,ｙｋ)に書き込む（ＳＴ５５）。本実施例ではｊ’＝２、ｌｊ’＝２０、ａｊ’＝１４、ｂｊ’＝９０であったものとして、図８に示した。
【００５６】
大きなグループほどそれに含まれていた画素数が多くなるので、（８）式では距離計算の式をＮｊで割り、Ｌｊを小さくすることで、大きなグループには離れた画素も含まれやすくした。図９（ａ）に示したように、注目画素ｋがグループｊの第一主成分の方向、つまり、グループが細ながく伸びている方向に存在するときはｆ２ｊは−１に近くなりＬｊも小さくなる。
【００５７】
つまり、二次元平面上での距離が離れていても、見かけ上近くなるため、そのグループに含まれやすくなる。一方、図９（ｂ）に示したように、第二主成分の方向に注目画素ｋがあるときはｆ２ｊは１に近くなるのでＬｊは大きくなり、近くにあっても見かけ上距離は大きくなる。
【００５８】
よって注目画素はそのグループに含まれにくくなる。このようにして、グループの大きさだけでなく、グループの扁平した形も考慮して、画素が属するグループを決定していくので、タッチに似た加工画像を得られるようになる。
【００５９】
次にｋに１を加え（ＳＴ５６）、ｋを７０００と比較する（ＳＴ５７）。ｋが７０００より大きければ、処理を終了し、小さければ処理（ＳＴ５３）に戻り、新たなｋ番目の画素について計算を行う。
【００６０】
新たなｋ番目の画素はｋ−１の画素とほとんど同じ座標値なので、 ｋ−１の画素が属したグループｊ’の近傍グループに属すものと考えられるので、距離計算は、ジオグラフテーブルＢのグループｊ’の近傍グループに関してのみ計算する。
【００６１】
以下同様にｋ番目の画素はｋ−１番目の画素の属したグループの近傍グループに関して計算すればよい（ＳＴ５３）。このようにジオグラフテーブルＢを用いることで、全てのグループとの比較をしないですむため、短時間で処理を終了することができるようになる。
【００６２】
繰り返し計算を続け全ての画素について計算を終えたときには、加工画像ができあがっている。また、グループ対応表も完成していることになる。
【００６３】
このようにして完成した加工画像７を、ｌａｂをＲＧＢに変換するＲＧＢ色変換部９を通し画像表示部１０に出力し可視化したり、ｌａｂをＣＭＹＫに変換するＣＭＹＫ色変換部１１を通しプリンターなどの画像出力部１２を通じて出力し、美術作品を作成することができるようになる。
【００６４】
図１０に処理前の画像と処理後の画像をそれぞれ上下に並べて示した。ただしこの変換では、 （ＳＴ４２）の処理においてｌの値は変えなかった。
【００６５】
本実施例ではグループ特徴加工部３において、１００回の繰り返し処理を行ったが、この回数は十分な処理が得られると考えられる回数に変更することが可能である。また、繰り返し処理により変更したのは扁平要素のみであったが、そのほか色などのグループ特徴を変更することも同様に可能である。
【００６６】
［実施例２］
先の実施例においては処理される画像は１枚であったが、本実施例では処理される画像は２枚とし、それをもとに合成する手法を図１１に基づいて先の実施例との違いについてのみ示す。
【００６７】
１枚目の電子画像５とそれを分割した分割結果６を先の実施例で示したグループ特徴計算部１で特徴テーブルを計算し、計算結果をグループ特徴合成部１７に渡す。グループ特徴合成部１７は１枚目のグループ特徴に関しては何も処理せずに、グループ特徴記憶部２に書き込む。
【００６８】
ここで、本実施例では１枚目の電子画像５から作られた特徴テーブルには３０００のグループが存在するものとする。次に第２の画像１８と第２の分割結果１９を入力し、同様にグループ特徴計算部１で特徴テーブルを計算し、それをグループ特徴合成部１７に渡す。グループ特徴合成部１７は２枚目のグループ特徴に関しては全てのグループ番号に３０００を加えたあと、グループ特徴記憶部２にある既に作られている特徴テーブルに書き加えていく。
【００６９】
本実施例では合成後のグループが６５００個であったとする。このようにして二枚の画像からグループ数６５００の一つの特徴テーブルがグループ特徴記憶部２に保持される。これ以降の処理はグループ数が６５００に増えたこと以外は先の実施例と全く同様に処理することで、合成画像が得られる。
【００７０】
本実施例において、グループ特徴合成部１７で２枚目の画像の特徴テーブルを合成する際に、２枚目の画像の特徴テーブルのグループに含まれていたグループｎ画素数Ｎｎ全てに一定の定数（ここでは２とする）を掛けると、（８）式の計算から明らかなように１枚目の画像に対し、２枚目の画像のグループの方がおよそ２倍の面積を合成画像上で占めるようになる。一方１より小さな値を掛けて、合成すれば、１枚目の画像に対し、２枚目の画像のグループの方が少ない面積で合成される。
【００７１】
また、１枚目の画像も２枚目の画像も７００画素がｘ方向に並んでいるとした場合は、画素のｘ座標をｘｎとして、定数のかわりに関数Ｆ（ｘｎ）＝ｘｎ／７００＋１／２を２枚目の画像のＮｎに掛ければ、合成画像は一番左側では１枚目の画像のグループが大きく、右に行くに従って２枚目の画像のグループが大きくなる。
【００７２】
さらに、２つの関数をＮｎ以外のグループ特徴ｌｎ、ａｎ、ｂｎ、ｘｎ、ｙｎ、Ｎｎ、ｄｘｎ、ｄｙｎ、ｋｎ、Ｄｎ、Ｈｎを変数とする関数Ｆ１（ｌｎ、ａｎ、ｂｎ、ｘｎ、ｙｎ、Ｎｎ、ｄｘｎ、ｄｙｎ、ｋｎ、Ｄｎ、Ｈｎ）、Ｆ２（ｌｎ、ａｎ、ｂｎ、ｘｎ、ｙｎ、Ｎｎ、ｄｘｎ、ｄｙｎ、ｋｎ、Ｄｎ、Ｈｎ）と定義し（以下この二つの関数を略して、Ｆ１（）、Ｆ２（）と表す）、１枚目の画像のＮｎにＦ１（）を２枚目の画像のＮｎにＦ２（）を掛けることにより一層複雑な合成を可能にすることができるようになる。
【００７３】
本実施例では、
Ｆ１（）＝ｌｎ／２５５＋Ｈｎ
Ｆ２（）＝２５５−ｌｎ／２５５＋１−Ｈｎ
【００７４】
と定義する。この定義に従うと、１枚目の画像は明るく扁平要素の大きいグループの面積が大きくなり、２枚目の画像は暗く扁平要素の小さいグループの面積が大きくなるように合成される。
【００７５】
またさらに、オペレーターが上記関数Ｆ１（）とＦ２（）の関数形をグループ特徴合成部１７に適宜指示できるようにキーボードなど合成関数形指示部を設けてもよい。
【００７６】
本実施例により画像のグループ単位の特徴を利用することで、多様な合成方法を提供することができるようになる。また、本実施例では２枚の画像を用いたが、２枚以上の画像を合成することも可能である。
【００７７】
［実施例３］
第１の実施例、第２の実施例で示したグループ特徴計算部１をグループを構成する画素の空間配置からグループ内に生じている模様を表現する模様方向要素と模様強度要素も計算するように変更しそれを後段の処理で利用する例を示す。
【００７８】
本実施例では実施例１で導入したグループの外形が変化していくときの扁平要素上限を決めるパラメータＫ１と電子画像の明度を変化させる大きさを決めるパラメータＫ２の２つに加えて、グループの模様が変化していくときの模様強度要素の上限を決めるパラメータＫ３を用いることにする。本実施例ではＫ３＝０．７とする。
【００７９】
ｌのみに対して模様方向要素と模様強度要素を抽出する。模様方向／強度抽出マスクとして図１２に示した３×３の正方マスク２つＭ１、Ｍ２用いる。この二つのマスクを電子画像５の左上から順に走査し、マスクが重なった画素の組Ｇｅを抽出し、その画素の組みＧｅとマスクＭ１、Ｍ２との
ＣＣ＝Ｇｅ＊Ｍ１、ＬＬ＝Ｇｅ＊Ｍ２
を計算する。ただし、 Ｇｅ＊ＭはＧｅとＭとの畳み込みの計算を表す。さらに、
ｄａ＝１６／π×ａｔａｎ（ＬＬ／ＣＣ）＋８
ｌｏｇ（ＬＬ＊＊２＋ＣＣ＊＊２＋１）＞１ならば
ｄｈ＝１
ｌｏｇ（ＬＬ＊＊２＋ＣＣ＊＊２＋１）＞１ならば
ｄｈ＝０
を計算し、ｄａは少数以下を切り捨て、ｄｈは０か１の整数をとることになる。
【００８０】
図１３にｄａと方向の関係を示した。グループ毎に
（グループ毎のｄｈの総和）／（グループに含まれる画素数）
を計算しそれをそのグループｎの模様強度要素とし、Ｔｓｎで表す。また、グループ毎にｄａのヒストグラムをとり、ヒストグラム最大のｄａにたいし、ｄａ／１６を計算し、そのグループｎの模様方向要素とし、Ｔｄｎで表す。ＴｄｎもＴｓｎも実数。
【００８１】
このようにしてＴｄｎ、Ｔｓｎをもとめ、これらをグループ特徴に加える。
つぎに、Ｔｄｎ、Ｔｓｎをグループ特徴加工部で利用できるように、第一の実施例で図５に示したステップ３の代わりにステップ３のＳＴ３３の部分を変更したステップ３’で計算する。以下図１４に従って説明する。
【００８２】
［ステップ３’の処理］
まず、カウンターｎを1にする。（ＳＴ３１’）
グループｎに注目し、Ｔｓｎ＞Ｋ３を調べ（ＳＴ３２’）、Ｔｓｎ＞Ｋ３であれば、何もしないで、次の処理（ＳＴ３４’）に移る。
【００８３】
Ｔｓｎ≦Ｋ３であれば、ジオグラフテーブルＡのグループｎの行に書き込まれている最近傍グループ１０個の模様強度要素をグループ特徴記憶部２から読み出す。その中でＴｓｎより大きい模様強度要素のものだけを集めてその平均を求め、その値を新たなＴｓｎとする。
【００８４】
次にＴｓｎより大きい模様強度要素をもつグループ（ｋで表す）の模様方向要素ＴｄｋのＴｄｎからのずれをθＴｋで表し、選ばれたθＴｋを算術平均したものを新たなＴｄｎとする。ただしθＴｋは−０．５から０．５の間で表現されるので、θＴｋ＞０．５であればθＴｋは１−θＴｋで置き換え、θＴｋ≦−０．５であればθＴｋは１＋θＴｋとして計算する。
【００８５】
また、計算結果であるＴｄｎは０から１の間で表現されるので、Ｔｄｎ≧１であればＴｄｎはＴｄｎ−１で表し、Ｔｄｎ＜０であればＴｄｎは１＋Ｔｄｎで表す。この様にして得られたＴｓｎとＴｄｎをグループ特徴記憶部２の特徴テーブルに書き込む（ＳＴ３３’）。
【００８６】
グループｎのＨｎをＫ１と比べ（ＳＴ３４’）、Ｈｎ＞Ｋ１であれば、何もしないで、次の処理（ＳＴ３６’）に移る。Ｈｎ≦Ｋ１であれば、ジオグラフテーブルＡのグループｎの行に書き込まれている最近傍グループ１０個の扁平要素をグループ特徴記憶部２から読み出す。その中でＨｎより大きい扁平要素のものだけを集めてその平均を求め、その値を新たなＨｎとする。
【００８７】
次にＨｎより大きい扁平要素をもつグループ（ｊで表す）の方向要素ＤｊのＤｎからのずれをθＤｊで表し、θＤｊをｊについて算術平均を取ったものをＤｎに加え、それを新たなＤｎとする。ただしθＤｊは−０．５から０．５の間で表現し、θＤｊ≧０．５であればθＤｊを１−θＤｊで表し。θＤｊ＜−０．５であればθＤｊを１＋θＤｊとして計算する。
【００８８】
また、計算結果であるＤｎは０から１の間で表現されるので、Ｄｎ≧１であればＤｎはＤｎ−１で表し、Ｄｎ＜０であればＤｎは１＋Ｄｎで表す。この様にして得られたＨｎとＤｎをグループ特徴記憶部２の特徴テーブルに書き込む（ＳＴ３５’）。
【００８９】
次にカウンターｎに１を加え（ＳＴ３６’）、カウンターｎを３０００と比較する（ＳＴ３７’）。カウンターｎが３０００より小さければ、初めの処理（ＳＴ３２’）に戻し同様の処理を続ける。こカウンターｎが３０００を越えたら、カウンターｍに１を加える（ＳＴ３８’）。カウンターｍと１００を比較し（ＳＴ３９’）、カウンターｍが１００をこえたなら処理を終了し次のステップ４に進む。カウンターｍが１００をこえない場合は、（ＳＴ３１’）の処理に戻り同じ処理を繰り返す。
【００９０】
以上のようにステップ３をステップ３’に変えることで、模様強度要素Ｔｓｎと模様方向要素Ｔｄｎも周囲グループのグループ特徴に応じて加工できるようになる。
【００９１】
ＳＴ３５’とＳＴ３６’の間に次のステップＳＴ３５’’を入れることで、模様方向要素Ｔｄｎと模様強度要素Ｔｓｎに応じて、方向要素Ｄｎと扁平要素Ｈｎを変えることができるようになる。
【００９２】
［ステップＳＴ３５’’の処理］
扁平要素Ｈｎを１−（１−Ｈｎ）×（１−Ｔｓｎ）を計算した値で置き換える。次に、ＴｄｎのＤｎからのずれＤｎ− ＴｄｎをθＤＴｎで表し、θＤＴｎ≧０．５であればθＤＴｎは１−θＤＴｎで表し、θＤＴｎ＜−０．５であればθＤＴｎは１＋θＤＴｎとして方向要素ＤｎをＤｎ−Ｔｓｎ×θＤＴｎ／（Ｈｎ＋Ｔｓｎ）を計算した値で置き換える。ここでも、計算結果であるＤｎは０から１の間で表現されるので、Ｄｎ≧１であればＤｎはＤｎ−１で表し、Ｄｎ＜０であればＤｎは１＋Ｄｎで表す。
【００９３】
このようにステップＳＴ３５’’を入れることで、模様強度要素に応じて扁平要素を加工する事と模様方向要素に応じて方向要素を加工することができるようになる。
【００９４】
このように、模様方向要素と模様強度要素に応じて、方向要素と扁平要素を変えた場合には実施例１で示した画像構成部４の処理をそのまま行うだけで模様方向要素と模様強度要素に応じた画像構成がなされることになる。しかし、画像構成部４において新たに模様方向要素と模様強度要素を直接利用できるようにすることで、より表現力を豊かにすることができるようになる。
【００９５】
たとえば、（８）式の計算の結果、注目画素の属するグループｊ’が決まった後で、画像加工エリア１４に代入するｌｊ’、ａｊ’、ｂｊ’をそのまま入れずに分散Ｖのガウス分布をもった乱数でばらつかせ、その分散ＶをＴｓｊ’の関数にするなどの手法がある。
【００９６】
［実施例４］
次に、周囲のグループの配置によって注目グループを移動させる方法を示す。グループ特徴合成部１７で行う処理として、実施例２に示したグループ特徴合成部１７が行った処理に、さらに、グループ特徴テーブルにそのグループ特徴が何番目の画像から得られたものであるかを示す項目をつけ加える処理を加える。そしてこの新たなグループ特徴である画像番号をグループ特徴加工部３で利用する。以下にグループ特徴加工部３のステップ３を変更したステップ３’’の処理について述べる。ここでも、入力されるのは電子画像５と第２の電子画像１８、分割結果６と第２の分割結果１９とし、大きさは７００画素×１０００画素とする。
【００９７】
ステップ３’’
まず、カウンターｎを1にする。
グループｎに注目し、ジオグラフテーブルＡのグループｎの行に書き込まれている最近傍グループ（ｊで表す）１０個の重心座標ｘｊ、ｙｊをグループ特徴記憶部２から読み出しそのグループがグループｎと同じ画像に属すグループのものであれば−Ｎｊ／（ｘｎ−ｘｊ）＊＊２、−Ｎｊ／（ｙｎ−ｙｊ）＊＊２を求め、そのグループがグループｎと異なる画像に属すグループのものであればＮｊ／（ｘｎ−ｘｊ）＊＊２、Ｎｊ／（ｙｎ−ｙｊ）＊＊２を求め、得られた１０個の値の平均をｘｎ’、ｙｎ’する。さらに、グループ１０個の画素数Ｎｊの総和をＮ、平均グループ間距離をＱ、定数Ｋ４として、新しいグループｎの重心ｘｎ＋ Ｋ４×Ｑ×（ｘｎ’／Ｎ）、ｙｎ＋ Ｋ４×Ｑ×（ｙｎ’／Ｎ）を計算し、グループ特徴記憶部２の特徴テーブルに書き込み値を更新する。ここではＫ４＝５とする。
【００９８】
次にカウンターｎを一つ増やし、次のグループに処理を移し同様の処理を続ける。この処理を続けカウンターｎが３０００を越えたら、カウンターｍに１を加える。カウンターｍが１００をこえたら処理を終了し次のステップ４に進む。カウンターｍが１００をこえない場合は、次のグループの処理に戻り同じ処理を繰り返す。
【００９９】
このステップ３’’の処理は局所的に同一画素に属するグループを集める効果がある。本実施例ではカウンターｍを終了させる値を１００にしたが、カウンターｍを終了させる値を小さくすると、二枚の画像は完全に散らばり、カウンターｍを終了させる値を大きく設定するに従って同一画像のグループが集中してくる。しかし、この処理を続けると、局所的にグループの重心が集まりすぎてしまうので、適切なカウンターｍの値で止める必要がある。また、ｘ方向のみｙ方向のみの重心を移動させることも可能である。
【０１００】
【発明の効果】
以上のように請求項１の発明は画像を加工する際に、画素から画素へダイレクトに変換するのではなく、グループごとに特徴をまとめ、そのグループを単位として特徴を加工し、加工された特徴を保存するようにグループに画素を割り付けて画像を構成しているため、グループを筆触に見立てることができ、写真画像などの原画像を様々な筆触の画像に加工することができるという特有の効果を奏する。
【０１０１】
また、グループ特徴としてグループ毎の画素が作る外形情報を後段のグループ特徴を加工する際や画像を構成する際に利用可能となるため、一層豊富な表現が可能になるという特有の効果を奏する。
【０１０２】
請求項２の発明は請求項１の効果に加え、すでに領域分割されているグループの形が十分に扁平しておらず、筆触らしい形が得られないなどのようなグループ特徴が不十分な場合に、その周囲のグループの特徴を取り込む処理を行うことで、筆触の豊かな変換画像を得るなど特徴の豊富な画像の加工ができるという特有の効果を奏する。
【０１０３】
請求項1の発明は先に述べた事項に加え、グループの特徴を完全に保存したまま画像を再構成することが困難な場合も、全ての画素がなるべくグループの特徴を残したまま、かつ余白を残さずに自然に配置されるという特有の効果を奏する。また、画像構成する際に距離計算を利用したため、この距離を表す式の定義を様々に変えることで、より豊富な表現を作り上げることが可能になる。
【０１０４】
【図面の簡単な説明】
【図１】  本発明の全体の構成を表す図
【図２】  実施例１の構成を示すブロック図
【図３】  電子画像の画素と領域分割の結果から計算されたグループの  との対応関係を示す図
【図４】  特徴テーブルの例
【図５】  グループを単位とした画像加工方法を表すフローチャート
【図６】  ジオグラフテーブルＡの例
【図７】  グループを単位とした画像構成方法を表すフローチャート
【図８】  電子画像の画素とグループ対応表のグループ番号と画像加工エリアの画素のｌ、ａ、ｂとの対応関係を示す図
【図９】  注目画素ｋとグループｊの主成分の方向との関係を表した図
【図１０】  実施例１で示した処理前の画像と処理後の画像を示した図
【図１１】  実施例２の構成を示すブロック図
【図１２】  グループの模様方向要素と模様強度要素を抽出するフィルターを示した図
【図１３】  ｄａの番号とその番号が示す方向の説明図
【図１４】  実施例３のステップ３’での処理を表すフローチャート
【符号の説明】
１  グループ特徴計算部、２  グループ特徴記憶部、３  グループ特徴加工部、４  画像構成部、５  電子画像、  ６  分割結果、７  加工画像または合成画像、８  制御装置、９  ＲＧＢ色変換部、１０  画像表示部、１１  ＣＭＹＫ色変換部、１２  画像出力部、１３  グループ対応表、１４  画像加工エリア、１５グルーブｊの外形、１６  注目画素ｋ、１７  グループ特徴合成部、１８  第２の電子画像、１９  第２の分割結果
【図１】
0003766140.tif 000002
【図２】
0003766140.tif 000003
【図３】
0003766140.tif 000004
【図４】
0003766140.tif 000005
【図５】
0003766140.tif 000006
【図６】
0003766140.tif 000007
【図７】
0003766140.tif 000008
【図８】
0003766140.tif 000009
【図９】
0003766140.tif 000010
【図１０】
0003766140.tif 000011
【図１１】
0003766140.tif 000012
【図１２】
0003766140.tif 000013
【図１３】
0003766140.tif 000014
【図１４】
0003766140.tif 000015