(57)【特許請求の範囲】
【請求項１】
複数のカテゴリ毎に、該カテゴリに属する実際のモデル画像を用意し、該モデル画像の中から該モデル画像の特徴を表すブロックを選択し、該選択されたブロックのデータの共分散行列から主成分分析により求められたＴ個（Ｔは任意の整数）の基底データを主成分データとして記憶する基底メモリと、
第１の入力画像を所定ブロックに分割し、所定ブロック毎に分割した第１の入力画像データと、前記基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第１の画像分析手段と、
第２の入力画像を所定ブロックに分割し、所定ブロック毎に分割した第２の入力画像データと、前記基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第２の画像分析手段と、
前記第１の画像分析手段から出力されたＴ個の内積データと前記第２の画像分析手段から出力されたＴ個の内積データとを加重平均してＴ個の加重平均データを係数として合成する係数合成手段と、
前記係数合成手段から出力されたＴ個の加重平均データを係数として前記基底メモリから読み出したＴ個の主成分データを線形結合して画像を合成する画像合成手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
複数のカテゴリ毎に、該カテゴリに属する実際のモデル画像を用意し、該モデル画像の中から該モデル画像の特徴を表すブロックを選択し、該選択されたブロックのデータの共分散行列から主成分分析により求められたＴ個（Ｔは任意の整数）の基底データを主成分データとして記憶する基底メモリと、
第１の入力画像を所定ブロックに分割し、所定ブロック毎に分割した第１の入力画像データと、前記基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第１の画像分析手段と、
第２の入力画像を所定ブロックに分割し、所定ブロック毎に分割した第２の入力画像データと、前記基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第２の画像分析手段と、
前記第１の画像分析手段から出力されたＴ個の内積データと前記第２の画像分析手段から出力されたＴ個の内積データとを加重平均してＴ個の加重平均データを係数として合成する係数合成手段と、
前記係数合成手段から出力されたＴ個の加重平均データを係数として前記基底メモリから読み出したＴ個の主成分データを線形結合して画像を合成する画像合成手段と、
前記第１の画像分析手段から出力されたＴ個の内積データを係数として前記係数合成手段から出力されたＴ個の主成分データを線形結合することにより第１の入力画像に対応する再生画像を計算する画像再生手段と、
前記画像合成手段により合成された合成画像データから前記画像再生手段により計算された再生画像データを減算し、さらに第１の入力画像を加算して画像を補正する画像補正手段と
を備えたことを特徴とする画像処理装置。
【請求項３】
第１の入力画像を空間周波数に応じた複数のスケール画像に分解する第１の画像階層化手段と、
第２の入力画像を空間周波数に応じた複数のスケール画像に分解する第２の画像階層化手段と、
前記第１の画像階層化手段により分解された第１の入力画像に対応したスケール画像及び前記第２の画像階層化手段により分解された第２の入力画像に対応したスケール画像に基づいて、各スケール毎に変換画像を計算する複数の画像変換手段と、
前記複数の画像変換手段から出力された各スケール毎の変換画像を結合して出力する変換画像結合手段と
を備えた画像処理装置であって、
前記複数の画像変換手段は、
複数のカテゴリ毎に、該カテゴリに属する実際のモデル画像を用意し、該モデル画像の中から該モデル画像の特徴を表すブロックを選択し、該選択されたブロックのデータの共分散行列から主成分分析により求められたＴ個（Ｔは任意の整数）の基底データを主成分データとして記憶する基底メモリと、
第１の入力画像に対するスケール画像を所定ブロックに分割し、所定ブロック毎に分割したスケール画像データと、前記基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第１の画像分析手段と、
第２の入力画像に対するスケール画像を所定ブロックに分割し、所定ブロック毎に分割したスケール画像データと、前記基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第２の画像分析手段と、
前記第１の画像分析手段から出力されたＴ個の内積データと前記第２の画像分析手段から出力されたＴ個の内積データとを加重平均してＴ個の加重平均データを係数として合成する係数合成手段と、
前記係数合成手段から出力されたＴ個の加重平均データを係数として前記基底メモリから読み出したＴ個の主成分データを線形結合して画像を合成する画像合成手段と
を備えたことを特徴とする画像処理装置。
【請求項４】
さらに、前記モデル画像をスケッチした様子を示す画像データであるスケッチ画像データを入力する入力手段を備え、
前記第１の画像分析手段は、被変換画像データを第１の入力画像として前記内積を計算し、
前記第２の画像分析手段は、前記入力手段により入力されたスケッチ画像データを第２の入力画像として前記内積を計算するように構成したことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２の画像分析手段は、前記内積計算したＴ個の内積データのうち、第１主成分から第Ｓ主成分（Ｓ≦Ｔ）に対応する内積データをそのまま出力し、（Ｔ−Ｓ）個の内積データを０として出力するように構成したことを特徴とする請求項１、２、３又は４のいずれかに記載の画像処理装置。
【請求項６】
前記第１の画像分析手段は、前記内積計算したＴ個の内積データの各々について、各々の内積データの絶対値が所定の値より小さい場合、該当する内積データを０として出力するように構成したことを特徴とする請求項１、２、３又は４のいずれかに記載の画像処理装置。
【請求項７】
前記第１の画像分析手段は、前記内積計算したＴ個の内積データの全体値が所定の値より小さい場合、Ｔ個の内積データを０として出力するように構成したことを特徴とする請求項１、２、３又は４のいずれかに記載の画像処理装置。
【請求項８】
さらに、上記請求項３に記載の画像処理装置において、
前記複数の画像変換手段が、
前記第１の画像分析手段から出力されたＴ個の内積データを係数として前記係数合成手段から出力されたＴ個の主成分データを線形結合することにより第１の入力画像に対応する再生画像を計算する第１の画像再生手段と、
前記画像合成手段により合成された合成画像データから前記第１の画像再生手段により計算された再生画像データを減算し、さらに第１の入力画像に対するスケール画像を加算して画像を補正する画像補正手段と
を備えたことを特徴とする画像処理装置。
【請求項９】
さらに、上記請求項３に記載の画像処理装置において、
前記複数の画像変換手段のうち１又は２以上の画像変換手段については、画像変換を禁止し第１の入力画像に対応するスケール画像を変換画像としてそのまま出力する手段を備えたことを特徴とする画像処理装置。
【請求項１０】
さらに、上記請求項３に記載の画像処理装置において、
対象とするモデル画像データ群のカテゴリに応じて、前記第１の画像階層化手段及び前記第２の画像階層化手段において分解されるスケール画像の数及び、又は分解方法を変更可能に構成したことを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの変換処理等に用いられる画像処理装置に係り、詳細には、画像の編集、加工等の目的に用いる画像処理装置に関する。
【０００２】
【従来の技術】
デザインのシミュレーションやプレゼンテーションシステムに画像情報を利用する場合、編集、加工等の画像処理を行って画像を作成するのが一般的である。
【０００３】
従来、このような画像処理の方法としては、例えば「テレビジョン学会画像情報工学ハンドブック（第１版）」４４８〜４４９頁、オーム社（１９９０年）に開示されるものがある。
【０００４】
上記文献による画像処理方法の代表的なものを以下に示す。
【０００５】
（ａ）画像中の特定領域を別の挿入画像に置き換える。（画像合成）
（ｂ）画像中の不要な部分を取り除くため周囲の画素をコピーする。（画素コピー）
（ｃ）好みの色で、画像の部分を強制的に書き換える。（ペイント）
（ｄ）画像全面について明度やコントラスト、３原色の階調を調整する。（階調調整）
（ｅ）画像中の特定の色相のみを調整する。（色相別色調整）
これらの方法を組み合わせ、目視で確認しながら不具合のある画像領域を順次処理することによって、入力画像を所望の画像に変換することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理方法にあっては、入力画像中の対象物の印象を微妙に変更する目的で上記（ａ）〜（ｅ）の方法を用いる場合、以下のような問題点があった。
【０００７】
例えば、上記（ａ）では挿入画像の候補を多数用意したのち、その中から好みの画像を選択する、
上記（ｂ）及び（ｃ）では対象物周辺のテクスチャに注意して、画素毎にその値を変更する、
上記（ｄ）では明度、コントラスト、３原色などの各要素毎にガンマ特性を設定する、
上記（ｅ）では例えば特定の色相を持つ画素に対して画素値の変換特性を設定するなどの手段を要するため、オペレータの作業負担が大きいという問題点があった。
【０００８】
しかも、これらの方法は必ずしも入力画像に対する直観的操作でないため、熟練していないオペレータにとっては、所望の画像を得るために試行錯誤を繰り返さなければならないという問題点があった。
【０００９】
特に、入力画像中の対象物と背景との境界付近では画素値が大きく変化するため、オペレータは両者の境界に注意を払いつつ作業を進める必要があり、作業上の操作性が悪いという問題点があった。
【００１０】
さらに、一般的に自然画像は大柄な構造から微細な構造まで複数のスケールの特徴が重畳されて構成されることが多いため、オペレータが手入力で現実感の高い画像の生成を行うことは困難であった。
【００１１】
何れにしても従来の方法では、画像に手を加えて印象を変えた画像を作る場合、相当な時間とオぺレータの技量、費用がかかり、素人が簡単に扱えるものではない。
【００１２】
本発明は、上述のような問題点に鑑みてなされたものであり、オペレータの意志を反映し、かつ自然な画像の印象変更を実現でき、熟練していないオペレータにとっても、直観的操作により所望の画像を作成することができる画像処理装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
請求項１の発明に係る画像処理装置は、複数のカテゴリ毎に、該カテゴリに属する実際のモデル画像を用意し、該モデル画像の中から該モデル画像の特徴を表すブロックを選択し、該選択されたブロックのデータの共分散行列から主成分分析により求められたＴ個（Ｔは任意の整数）の基底データを主成分データとして記憶する基底メモリと、第１の入力画像を所定ブロックに分割し、所定ブロック毎に分割した第１の入力画像データと、基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第１の画像分析手段と、第２の入力画像を所定ブロックに分割し、所定ブロック毎に分割した第２の入力画像データと、基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第２の画像分析手段と、第１の画像分析手段から出力されたＴ個の内積データと第２の画像分析手段から出力されたＴ個の内積データとを加重平均してＴ個の加重平均データを係数として合成する係数合成手段と、係数合成手段から出力されたＴ個の加重平均データを係数として基底メモリから読み出したＴ個の主成分データを線形結合して画像を合成する画像合成手段とを備えている。
【００１４】
また、請求項２の発明に係る画像処理装置は、複数のカテゴリ毎に、該カテゴリに属する実際のモデル画像を用意し、該モデル画像の中から該モデル画像の特徴を表すブロックを選択し、該選択されたブロックのデータの共分散行列から主成分分析により求められたＴ個（Ｔは任意の整数）の基底データを主成分データとして記憶する基底メモリと、第１の入力画像を所定ブロックに分割し、所定ブロック毎に分割した第１の入力画像データと、基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第１の画像分析手段と、第２の入力画像を所定ブロックに分割し、所定ブロック毎に分割した第２の入力画像データと、基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第２の画像分析手段と、第１の画像分析手段から出力されたＴ個の内積データと第２の画像分析手段から出力されたＴ個の内積データとを加重平均してＴ個の加重平均データを係数として合成する係数合成手段と、係数合成手段から出力されたＴ個の加重平均データを係数として基底メモリから読み出したＴ個の主成分データを線形結合して画像を合成する画像合成手段と、第１の画像分析手段から出力されたＴ個の内積データを係数として係数合成手段から出力されたＴ個の主成分データを線形結合することにより第１の入力画像に対応する再生画像を計算する画像再生手段と、画像合成手段により合成された合成画像データから画像再生手段により計算された再生画像データを減算し、さらに第１の入力画像を加算して画像を補正する画像補正手段とを備えている。
【００１５】
また、請求項３の発明に係る画像処理装置は、第１の入力画像を空間周波数に応じた複数のスケール画像に分解する第１の画像階層化手段と、第２の入力画像を空間周波数に応じた複数のスケール画像に分解する第２の画像階層化手段と、第１の画像階層化手段により分解された第１の入力画像に対応したスケール画像及び第２の画像階層化手段により分解された第２の入力画像に対応したスケール画像に基づいて、各スケール毎に変換画像を計算する複数の画像変換手段と、複数の画像変換手段から出力された各スケール毎の変換画像を結合して出力する変換画像結合手段とを備えた画像処理装置であって、複数の画像変換手段は、複数のカテゴリ毎に、該カテゴリに属する実際のモデル画像を用意し、該モデル画像の中から該モデル画像の特徴を表すブロックを選択し、該選択されたブロックのデータの共分散行列から主成分分析により求められたＴ個（Ｔは任意の整数）の基底データを主成分データとして記憶する基底メモリと、第１の入力画像に対するスケール画像を所定ブロックに分割し、所定ブロック毎に分割したスケール画像データと、基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第１の画像分析手段と、第２の入力画像に対するスケール画像を所定ブロックに分割し、所定ブロック毎に分割したスケール画像データと、基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第２の画像分析手段と、第１の画像分析手段から出力されたＴ個の内積データと第２の画像分析手段から出力されたＴ個の内積データとを加重平均してＴ個の加重平均データを係数として合成する係数合成手段と、係数合成手段から出力されたＴ個の加重平均データを係数として基底メモリから読み出したＴ個の主成分データを線形結合して画像を合成する画像合成手段とを備えている。
【００１６】
また、基底メモリは、複数のカテゴリ毎に、対応する画像に対する主成分分析の基底データを記憶したメモリであってもよい。
【００１７】
また、本発明に係る画像処理装置が、さらに、前記モデル画像をスケッチした様子を示す画像データであるスケッチ画像データを入力する入力手段を備え、第１の画像分析手段は、被変換画像データを第１の入力画像として内積を計算し、第２の画像分析手段は、入力手段により入力されたスケッチ画像データを第２の入力画像として内積を計算するように構成してもよい。
【００１８】
また、第２の画像分析手段は、内積計算したＴ個の内積データのうち、第１主成分から第Ｓ主成分（Ｓ≦Ｔ）に対応する内積データをそのまま出力し、（Ｔ−Ｓ）個の内積データを０として出力するように構成してもよく、第１の画像分析手段は、内積計算したＴ個の内積データの各々について、各々の内積データの絶対値が所定の値より小さい場合、該当する内積データを０として出力するように構成したものであってもよい。また、第１の画像分析手段は、内積計算したＴ個の内積データの全体値が所定の値より小さい場合、Ｔ個の内積データを０として出力するように構成してもよい。
【００１９】
また、第１の画像分析手段及び第２の画像分析手段は、基底メモリからの出力を基に入力画像に対して直交変換を実行する直交変換手段を備えた構成としてもよく、第１の画像分析手段及び第２の画像分析手段は、入力画像を分割するブロックを直交変換手段に用いられるブロックと同様の大きさに分割するよう構成したものであってもよい。また、直交変換手段は、入力画像に対してデータにカルーネン・レーベ変換を実行するＫＬ変換手段、若しくは離散コサイン変換を実行する離散コサイン変換手段であってもよい。
【００２０】
さらに、本発明に係る画像処理装置において、複数の画像変換手段が、第１の画像分析手段から出力されたＴ個の内積データを係数として係数合成手段から出力されたＴ個の主成分データを線形結合することにより第１の入力画像に対応する再生画像を計算する第１の画像再生手段と、画像合成手段により合成された合成画像データから第１の画像再生手段により計算された再生画像データを減算し、さらに第１の入力画像に対するスケール画像を加算して画像を補正する画像補正手段とを備えた構成としてもよい。
【００２１】
さらに、本発明に係る画像処理装置において、複数の画像変換手段のうち１又は２以上の画像変換手段については、画像変換を禁止し第１の入力画像に対応するスケール画像を変換画像としてそのまま出力する手段を備えた構成としてもよい。
【００２２】
さらに、本発明に係る画像処理装置において、対象とするモデル画像データ群のカテゴリに応じて、第１の画像階層化手段及び第２の画像階層化手段において分解されるスケール画像の数及び、又は分解方法を変更可能に構成しもよい。
【００２３】
さらに、本発明に係る画像処理装置において、第１の画像階層化手段及び第２の画像階層化手段において分解されるスケール画像を、空間周波数の低い成分を持つマクロ入力画像と、空間周波数が中間のバンドに属する成分を持つメソ入力画像と、空間周波数の高い成分を持つマイクロ入力画像とに分解するように構成しものであってもよい。
【００２４】
また、第１の画像階層化手段及び第２の画像階層化手段は、分解するスケール画像の数を、対象とするカテゴリの画像が複雑な構造を持つ場合には大きく設定し、対応するカテゴリの画像が単純な構造を持つ場合には小さく設定するように構成してもよく、第１の画像階層化手段及び第２の画像階層化手段は、入力画像信号から所定の空間周波数成分を取り出すフィルタから構成したものであってもよく、さらには、フィルタが、入力画像信号から空間周波数成分を取り出すフィルタ特性が、対象とするカテゴリに応じて変更されるように構成したものであってもよい。
【００２５】
【発明の実施の形態】
本発明に係る画像処理装置は、編集、加工等の画像処理を行って画像を作成する画像処理装置に適用することができる。
【００２６】
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置は、画像データを変換する画像変換装置に適用した例である。
【００２７】
図１において、画像処理装置１００は、画像入力部１０１、画像表示部１０２、変換指示部１０３（入力手段）、入力画像分析部１０４（第１の画像分析手段）、係数合成部１０５（係数合成手段）、画像合成部１０６（画像合成手段）、基底メモリ１０７及びスケッチ分析部１０８（第２の画像分析手段）から構成される。
【００２８】
上記入力画像分析部１０４、係数合成部１０５、画像合成部１０６、基底メモリ１０７及びスケッチ分析部１０８は全体として画像変換装置１０９を構成する。
【００２９】
上記画像入力部１０１は、入力画像を記憶する入力画像メモリであり、ＲＡＭ等により構成される。画像入力部１０１は、外部から入力された１フレーム分の入力画像信号Ｓ１０１と後述する画像変換装置１０９から入力された変換画像信号Ｓ１１０とを記憶し、変換指示部１０３からの変換領域指示信号Ｓ１０５に基づいて入力画像信号Ｓ１０１又は変換画像信号Ｓ１１０のいずれか一方の領域データを被変換画像信号Ｓ１０２（第１の入力画像）として出力する。また、画像入力部１０１は、変換領域指示信号Ｓ１０５に基づき入力画像信号Ｓ１０１又は変換画像信号Ｓ１１０のいずれか一方又は両方を被変換画像信号Ｓ１０３として出力する。
【００３０】
上記画像表示部１０２は、ＣＲＴ等のディスプレイ及び画像制御装置等を備えており、画像入力部１０１から入力された被変換画像信号Ｓ１０３と変換指示部１０３から入力された表示制御信号Ｓ１０４とを重ね合わせてオペレータに画像呈示する。
【００３１】
上記変換指示部１０３は、ポインティングデバイス（例えば、マウス、トラックボール、電磁誘導方式タブレット等）を含んで構成され、ポインティングデバイスの入力状態に基づいて各種信号、すなわち表示制御信号Ｓ１０４、変換領域指示信号Ｓ１０５、基底信号Ｓ１０６及びスケッチ画像信号Ｓ１０７を、画像表示部１０２、画像入力部１０１、基底メモリ１０７及びスケッチ分析部１０８の各部にそれぞれ出力する。
【００３２】
すなわち、上記変換指示部１０３は、オぺレータによりマウス等のポインティングデバイスの操作があるとその入力状態によって画像表示部１０２に表示制御信号Ｓ１０４を出力し、画像入力部１０１に変換領域指示信号Ｓ１０５を出力し、画像変換装置１０９に基底選択信号Ｓ１０６及びスケッチ画像信号Ｓ１０７を出力する。
【００３３】
ここで、画像表示部１０２に出力される表示制御信号Ｓ１０４は、ポインティングデバイスの位置を示す画像信号であり、画像入力部１０１に出力される変換領域指示信号Ｓ１０５はポインティングデバイスにより指定される矩形領域の座標データである。基底メモリ１０７に出力される基底選択信号Ｓ１０６は、ポインティングデバイスにより指定される基底選択番号であり、変換すべき画像の内容（例、雲、山、川など）を示す信号である。さらに、スケッチ分析部１０８に出力されるスケッチ画像信号Ｓ１０７は、ポインティングデバイスにより入力されるスケッチ画像データである。
【００３４】
一方、画像データの変換を行う画像変換装置１０９は、上述したように入力画像分析部１０４、係数合成部１０５、画像合成部１０６、基底メモリ１０７、スケッチ分析部１０８から構成される。
【００３５】
上記入力画像分析部１０４には、画像入力部１０１からの被変換画像信号Ｓ１０２と基底メモリ１０７からの基底データＳ１１１が入力され、入力画像分析部１０４は、画像入力部１０１から入力された被変換画像信号Ｓ１０２に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底データＳ１１１に対する係数データを計算し、その計算結果を入力画像係数信号Ｓ１０８として係数合成部１０５に出力する。
【００３６】
また、上記スケッチ分析部１０８は、上記入力画像分析部１０４と同様の構成である。すなわち、上記スケッチ分析部１０８には、変換指示部１０３からのスケッチ画像信号Ｓ１０７（第２の入力画像）と基底メモリ１０７からの基底信号Ｓ１１３が入力され、スケッチ分析部１０８は、入力されたスケッチ画像信号Ｓ１０７に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底信号Ｓ１１３に対する係数データを計算し、その計算結果をスケッチ係数信号Ｓ１１４として係数合成部１０５に出力する。
【００３７】
上記係数合成部１０５には、入力画像分析部１０４からの入力画像係数信号Ｓ１０８とスケッチ分析部１０８からのスケッチ係数信号Ｓ１１４が入力され、係数合成部１０５は、この２つの係数データの加重平均を求め、その加重平均された係数データを係数合成信号Ｓ１０９（加重平均データ）として画像合成部１０６に出力する。
【００３８】
上記画像合成部１０６は、係数合成信号Ｓ１０９として入力された加重平均された係数データを用いて、基底メモリ１０７からの基底データＳ１１２を線形結合してこれを変換画像信号Ｓ１１０として画像変換装置１０９外部に出力するとともに、画像入力部１０１に入力する。
【００３９】
上記基底メモリ１０７は、複数のカテゴリ（例えば、雲、山、川等）毎に、対応する画像に対する主成分分析の基底データを記憶したメモリであり、変換指示部１０３からの基底選択信号Ｓ１０６に応じた基底データを基底信号Ｓ１１１、Ｓ１１２及びＳ１１３として入力画像分析部１０４、画像合成部１０６及びスケッチ分析部１０８に出力する。基底データの詳細については後述する。
【００４０】
このように、上記画像変換装置１０９は、入力画像分析部１０４が被変換画像信号Ｓ１０２に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底データに対する係数データを計算するとともに、スケッチ分析部１０８がスケッチ画像信号Ｓ１０７に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底データに対する係数データを計算し、係数合成部１０５が前記の２つの係数データの加重平均を求め、画像合成部１０６が前記の加重平均された係数データを用いて前記基底データを線形結合してこれを変換画像として出力するように構成されている。
【００４１】
図２は、画像表示部１０２が呈示する表示画面の例である。
【００４２】
図２において、符号２０１は画像表示部１０２の表示画面であり、表示画面２０１には、被変換画像信号Ｓ１０３に対応した被変換画像データ２０２、変換領域指示信号Ｓ１０５に対応した変換領域枠２０３、スケッチ画像信号Ｓ１０７に対応したスケッチ画像データ２０４、表示制御信号Ｓ１０４に対応したカーソル画像データ２０５、基底選択信号Ｓ１０６に対応した基底選択マーク群２０８の他、変換の度合いを示す変換レベルバー２０６、スケッチ画像を指示する際の画素値（濃淡及び色）を示す画素値選択マーク群２０９、及び被変換画像の選択や画像変換の実行／取り消し等を指示する処理指示パネル２０７が表示可能である。
【００４３】
オペレータは必要に応じてマウス等のポインティングデバイスを操作し、入力画像の選択、基底の選択、画像変換の実行／取り消し等を行う。例えば、図２中では、カーソル位置は被変換画像データ２０２上の「＋」で示され、ポインティングデバイスを操作することによってカーソルを表示画面２０１上で自由に移動させることができ、所望の画像変換指示ができる。
【００４４】
以下、このように構成された画像処理装置１００の動作を説明する。
【００４５】
ここでは白黒多値画像を画像変換する場合を例にとり説明するが、他の種類の画像、例えば３原色カラー画像に対しても同様の方法をとることができる。
【００４６】
まず、変換指示部１０３の指示により画像入力部１０１に白黒多値画像データの入力画像信号Ｓ１０１が入力されると、画像入力部１０１はこの入力画像信号Ｓ１０１を記憶し、さらにこの入力画像信号Ｓ１０１を被変換画像信号Ｓ１０３として出力する。これにより、図２に示すように画像表示部１０２には入力画像信号Ｓ１０１に対応した画像データ（被変換画像データ）２０２が表示される。
【００４７】
次に、オペレータのポインティングデバイス操作により変換指示部１０３が以下のような信号を各部に出力する。例えば、オペレータの操作により図２に示す変換領域枠２０３を指定すると、変換領域指示信号Ｓ１０５を画像入力部１０１に出力する。また、オペレータの操作により表示画面２０１左側の基底選択マーク群２０８のうちのいずれかを選択すると、基底選択信号Ｓ１０６を基底メモリ１０７に出力し、さらに、ポインティングデバイス操作により指定した変換領域枠２０３中の画像をスケッチすると、スケッチしたスケッチ画像データ２０４をスケッチ画像信号Ｓ１０７としてスケッチ分析部１０８に出力する。ここで、図２に示す変換領域枠２０３のスケッチ画像データ２０４は、特定のカテゴリとして、「雲」をスケッチした様子を示している。
【００４８】
さらに、オペレータの操作により図２に示す処理指示パネル２０７が指示されると、変換指示部１０３が画像変換実行信号（図示せず）を出力する。処理指示パネル２０７は、被変換画像の選択や画像変換の実行／取り消し等を指示するときに使用される。オペレータの処理指示パネル２０７操作により変換指示部１０３が上記画像変換実行信号を出力すると、画像入力部１０１が変換領域枠２０３に対応する入力画像データ２０２を被変換画像信号Ｓ２０２として出力するとともに、画像変換装置１０９が動作を開始する。
【００４９】
以下、画像変換装置１０９の動作を詳細に説明する。
【００５０】
入力画像分析部１０４は、画像入力部１０１から被変換画像信号Ｓ１０２が入力されると、この画像信号を所定のブロックサイズに分割する。このブロックサイズの分割について図３を用いて説明する。
【００５１】
図３は入力画像分析部１０４及びスケッチ分析部１０８の動作を説明するための図である。
【００５２】
図３において、符号３０１は変換領域枠２０３の枠内の領域データ、符号３０２は上記領域データ３０１をＮ×Ｍ画素の大きさ分割したブロック、符号３０３は、上記各ブロック３０２内の画素である。各ブロック３０２内の画素３０３には、番号１，２，…，Ｎ，Ｎ＋１，…，Ｎ×Ｍを付している。Ｎ、Ｍの大きさについては取り扱う画像の特徴に応じて設定してよいし、固定値としてもよいが、ここではＮ＝Ｍ＝８とする。これにより、８×８画素毎のブロックに分割される。
【００５３】
なお、基底メモリ１０７に記憶する基底データの作成データの作成方法としては、従来公知の方法を適用可能であり、ここではカルーネン・レーベ（Karuhunen-Loevz：ＫＬ）変換を適用し、以下の手順にしたがって予め基底データ（基底ベクトル）を準備しておくものとする。
【００５４】
（１）まず、特定のカテゴリ（例えば、雲）に属する実際のモデル画像を用意し、この中から特徴的なａ個（ａは任意の整数）のブロックを選択する。例えば、「雲」に属する実際のモデル画像の中から雲の特徴を表すａ＝５００個のブロックを選択する。
【００５５】
（２）選択されたブロックデータをＢ１，Ｂ２，…，Ｂａ（それぞれＮ×Ｍ次元ベクトル）として、数１に示すブロックデータ｛Ｂｉ｝の共分散行列Ｃを作成する。
【００５６】
【数１】
0003838685.tif 000002
【００５７】
ここで、μは｛Ｂｉ｝の平均ベクトルを表す。
【００５８】
（３）次に、共分散行列ＣのＮ×Ｍ組の固有値及び固有ベクトル（Ｎ×Ｍ次元）を計算する。
【００５９】
（４）Ｎ×Ｍ個の固有値を大きい順にＴ個（Ｔ＜Ｎ×Ｍ）並べ、対応するＴ個の固有ベクトルを、それぞれ第１主成分から第Ｔ主成分までの基底データＫｎ（ｎ＝１〜Ｔ）とする。例えば、Ｔ＝８とする。
【００６０】
主成分分析による基底データの特性は、上位の主成分（第１主成分に近い主成分）ほど対象モデルの特徴をよく表わすということであり、したがって、対象モデルに類似した画像を少数の上位主成分の基底データの線形結合により表現することができる。逆に、入力画像が対象モデルに類似していなくても、式（１）に示すように入力画像データＩ（Ｎ×Ｍ次元ベクトル）と基底データＫｎ（ｎ＝１〜Ｔ）（Ｎ×Ｍ次元ベクトル）の内積を計算することにより基底データに対する係数Ｗｎ（ｎ＝１〜Ｔ）を求め、これを用いて数２に従って少数の上位主成分の基底データの線形結合を行えば、入力画像中から対象モデルに一致した特徴のみを選択した画像Ｏ（Ｎ×Ｍ次元ベクトル）を表現できる。
【００６１】
Ｗｎ＝（Ｉ，Ｋｎ）          但し、（）は内積を表す    …式（１）
【数２】
0003838685.tif 000003
【００６２】
図１に戻って、入力画像分析部１０４は、上記式（１）に従って被変換画像信号Ｓ１０２をブロック分割したデータ（Ｉと表現する）と基底信号Ｓ１１１に対応する基底データ（Ｋｎと表現する）とに基づいて内積を計算し、計算したＴ個の内積データ（Ｗｎと表現する）を入力画像係数信号Ｓ１０８として係数合成部１０５に出力する。
【００６３】
一方、スケッチ分析部１０８は、変換指示部１０３からのスケッチ画像信号Ｓ１０７の入力に対して、上記入力画像分析部１０４が被変換画像信号Ｓ１０２を入力して入力画像係数信号Ｓ１０８を出力したのと同様の動作を行い、その結果スケッチ係数信号Ｓ１１４を出力する。すなわち、スケッチ分析部１０８は、上記式（１）に従って入力されたスケッチ画像信号Ｓ１０７をブロック分割したデータ（Ｉ）と基底信号Ｓ１１１に対応する基底データ（Ｋｎ）とに基づいて内積を計算し、計算したＴ個の内積データ（ΔＷｎと表現する）をスケッチ係数信号Ｓ１１４として係数合成部１０５に出力する。
【００６４】
これにより、変換指示部１０３で指示された特定のカテゴリに対応した入力画像信号Ｓ１０１に基づく被変換画像信号Ｓ１０２が入力画像分析部１０４に入力されて主成分分析による係数データ計算され、また、この特定のカテゴリと同じカテゴリに対応したスケッチ画像信号Ｓ１０７がスケッチ分析部１０８に入力されて主成分分析による係数データが計算される。その結果、変換指示部１０３により指示された特定のカテゴリに対応した、入力画像信号Ｓ１０１及びスケッチ画像信号Ｓ１０７の主成分分析による係数データが、それぞれ入力画像係数信号Ｓ１０８及びスケッチ係数信号Ｓ１１４として得られる。
【００６５】
次に、係数合成部１０５は、式（２）に従って入力画像係数信号Ｓ１０８（Ｗｎと表現する）とスケッチ係数信号Ｓ１１４（ΔＷｎと表現する）に基づいて係数合成信号Ｓ１０９（Ｗｎ′と表現する）を計算し、画像合成部１０６に出力する。
【００６６】
Ｗｎ′＝（１−α）・Ｗｎ＋α・ΔＷｎ                    …式（２）
但し、ｎ＝１〜Ｔ、０≦α≦１
ここで、式（２）中、αは変換指示部１０３から出力されるスケッチ画像信号Ｓ１０７の特徴をどの程度画像変換に反映させるかを決定するパラメータであり、図２に示す変換レベルバー２０６の操作により設定される。
【００６７】
上記式（２）に示すように、α＝０の時、入力画像信号Ｓ１０１に基づく係数データのみが係数合成信号Ｓ１０９として出力され、α＝１の時スケッチ画像信号Ｓ１０７に基づく係数データのみが係数合成信号Ｓ１０９として出力される。したがって、スケッチ画像信号Ｓ１０７の特徴を画像変換に大きく反映させたいときには、ポインティングデバイスを操作して変換レベルバー２０６を例えば右に移動させてαを「１」に近づけ、また入力画像信号Ｓ１０１を画像変換に大きく反映させたいときにはその逆の操作を行う。
【００６８】
次に、画像合成部１０６は、上記数２に示す式と同様な数３に示す式に従って係数合成信号Ｓ１０９（Ｗｎ′）及び基底信号Ｓ１１２（Ｋｎ）に基づいて変換画像信号Ｓ１１０（Ｏと表現する）を計算し、画像変換装置１０９外部及び画像入力部１０１に出力する。
【００６９】
【数３】
0003838685.tif 000004
【００７０】
上述した画像変換装置１０９の動作を、図３に示す変換領域枠２０３の枠内の領域データ３０１に含まれる全てのブロックに対して繰り返すことにより、該当する変換領域に対する変換画像信号Ｓ１１０が出力されることになる。
【００７１】
このように、第１の実施形態に係る画像処理装置１００では、画像変換装置１０９で画像変換された変換画像信号Ｓ１１０が再び画像入力部１０１に入力され、これにより画像表示部１０２には変換後の画像データが表示される。また、変換指示部１０３の指示により、画像変換後に画像入力部１０１に戻された画像データを新たな被変換画像信号Ｓ１０２として入力画像分析部１０４に出力し、更に画像変換することも可能である。
【００７２】
なお、本実施形態に係る画像処理装置１００では、基底メモリ１０７に記憶する基底データの作成データの作成方法としては、ＫＬ変換を適用している。ＫＬ変換は、演算が複雑で、入力画像の局所的性質によって最適な変換行列が変動する特徴があり、特定のカテゴリに属する入力画像の局所的性質を基底データ（基底ベクトル）で十分に表現できる点で適しているが、高速演算アルゴリズムが存在し、ＬＳＩ化が容易なＤＣＴ（Discrete Cosine Transform：離散コサイン変換）を用いてもよい。
【００７３】
以上のように第１の実施形態に係る画像処理装置１００は、画像入力部１０１、画像表示部１０２及び変換指示部１０３と、入力画像分析部１０４、係数合成部１０５、画像合成部１０６、基底メモリ１０７及びスケッチ分析部１０８からなる画像変換装置１０９とから構成され、画像変換装置１０９は、入力画像分析部１０４が被変換画像信号Ｓ１０２に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底データに対する係数データを計算するとともに、スケッチ分析部１０８がスケッチ画像信号Ｓ１０７に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底データに対する係数データを計算し、係数合成部１０５が前記の２つの係数データの加重平均を求め、画像合成部１０６が前記の加重平均された係数データを用いて前記基底データを線形結合してこれを変換画像として出力するように構成しているので、スケッチ分析部１０８では、スケッチ画像信号Ｓ１０７に含まれる、指定されたカテゴリに整合した特徴のみが係数データとして得られることになり、画像合成部１０６から出力される変換画像信号Ｓ１１０は、オペレータの意志を反映し、かつ自然な画像の印象変更を実現した出力とすることができる。しかも、この場合、画像の印象を変える手段としてスケッチ画像の入力という方法を採るため、熟練していないオペレータにとっても、直観的操作により所望の画像を作成することができる。
【００７４】
したがって、熟練していないオペレータにとって試行錯誤を繰り返すことなく所望の画像を容易に得ることができるとともに、オペレータの作業負担自体も軽減することができ、直観的動作により自然な画像修正効率良く実現可能となる。
【００７５】
なお、第１の実施形態に係る画像処理装置１００では、入力画像分析部１０４及びスケッチ分析部１０８におけるブロックサイズを８×８画素の固定としたが、取り扱う画像の特徴に応じてブロックサイズを可変としてもよい。例えば、基底選択信号Ｓ１０６に応じたブロックサイズを予め基底メモリ１０７に記憶しておき、基底メモリ１０７から入力画像分析部１０４及びスケッチ分析部１０８にブロックサイズを出力して適切なブロックサイズで画像変換動作をするように構成してもよい。
【００７６】
また、本画像処理装置１００では、入力画像信号Ｓ１０１として白黒多値画像の場合を例にとり説明しているが、他の種類の画像、例えば３原色カラー画像に対しても同様の画像変換処理を行うことができ、カラー画像に対しても効果を得ることができる。
【００７７】
また、本画像処理装置１００では、スケッチ画像信号Ｓ１０７を入力する方法として、変換指示部１０３におけるポインティングデバイス操作で指示する場合を例にとり説明しているが、他の画像入力手段を用いても本実施形態と同様の効果が得られる。例えば、写真等の媒体をイメージスキャナ等の光電変換装置で読み取り、読み取った信号をスケッチ画像信号Ｓ１０７として利用することも可能である。
【００７８】
さらに、本画像処理装置１００では、スケッチ分析部１０８がＴ個の係数データを計算し出力する例を示したが、他の構成として、計算されたＴ個の係数データのうち、第１主成分から第Ｓ主成分（Ｓ≦Ｔ）に対応する係数データをそのまま出力し、残りの（Ｔ−Ｓ）個の係数データを０として出力するようにスケッチ分析部１０８を構成してもよい。このように構成すれば、Ｔ個の係数データのうち上位の主成分に対する係数データのみを利用することができ、指定されたカテゴリにより一層整合させることができる。したがって、入力画像に対しより一層整合した特徴を付与した変換画像を得ることができる効果がある。
【００７９】
上述した第１の実施形態に係る画像処理装置１００により、直観的操作により所望の画像を作成することが可能になった。ところで、入力画像中の対象物と背景との境界付近では画素値が大きく変化するため、オペレータは両者の境界に注意を払いつつ作業を進める必要がある。熟練していないオペレータにとっては、作業上の操作性が更に困難になるという問題点があった。
【００８０】
このような問題点に鑑み、より一層の操作性の向上を実現できる装置を以下の第２の実施形態係る画像処理装置において述べる。
【００８１】
図４は本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。図４に示す画像処理装置は、画像データを変換する画像変換装置に適用した例である。なお、本実施形態に係る画像処理装置の説明にあたり図１に示す画像処理装置１００と同一構成部分には同一符号を付して重複部分の説明を省略する。
【００８２】
図４において、画像処理装置４００は、画像入力部１０１、画像表示部１０２、変換指示部１０３、入力画像分析部１０４、係数合成部１０５、画像合成部１０６、基底メモリ１０７、スケッチ分析部１０８、画像合成部４０１（画像再生手段）及び画像補正部４０２（画像補正手段）から構成される。
【００８３】
上記入力画像分析部１０４、係数合成部１０５、画像合成部１０６、基底メモリ１０７、スケッチ分析部１０８、画像合成部４０１及び画像補正部４０２は全体として画像変換装置４０３を構成する。
【００８４】
すなわち、上記画像変換装置４０３は、図１に示す画像変換装置１０９に、画像合成部４０１及び画像補正部４０２が付加された構成となっている。
【００８５】
上記画像合成部４０１は、入力画像分析部１０４からの入力画像係数信号Ｓ１０８（Ｗｎ）を用いて、基底メモリ１０７からの基底信号Ｓ１１２（Ｋｎ）を線形結合してこれを被変換画像再生信号Ｓ１１６（Ｉ＾と表現する）（再生画像データ）として画像補正部４０２に出力する。ここで、画像合成部４０１は、前述した画像合成部１０６と同様の機能を持つ処理部であるが、前記画像合成部１０６が係数データを用いて、基底メモリ１０７からの基底データＳ１１２を線形結合するのに対し、画像合成部４０１は、入力画像係数信号Ｓ１０８（Ｗｎ）と基底信号Ｓ１１２（Ｋｎ）とに基づいて被変換画像再生信号Ｓ１１６（Ｉ＾）を計算し画像補正部４０２に出力する。
【００８６】
上記画像補正部４０２には、画像合成部１０６からの仮変換画像信号Ｓ１１５（Ｏと表現する）、画像入力部１０１からの被変換画像信号Ｓ１０２（Ｉと表現する）、及び画像合成部４０１からの被変換画像再生信号Ｓ１１６（Ｉ＾）が入力され、画像補正部４０２は、被変換画像再生信号Ｓ１１６（Ｉ＾）及び被変換画像信号Ｓ１０２（Ｉと表現）を基に仮変換画像信号Ｓ１１５（Ｏ）（合成画像データ）を補正し、補正後の変換画像信号を変換画像信号Ｓ１１０（Ｏ′と表現する）として画像変換装置４０３外部に出力するとともに、画像入力部１０１に入力する。
【００８７】
なお、上記画像合成部４０１における被変換画像再生信号Ｓ１１６（Ｉ＾）の計算方法、及び画像補正部４０２における変換画像信号Ｓ１１０（Ｏ′）の計算方法については動作例にて後述する。
【００８８】
このように、上記画像変換装置４０３は、画像合成部１０６と同様な構成を持つ画像合成部４０１と、被変換画像信号Ｓ１０２（Ｉ）及び画像合成部４０１からの被変換画像再生信号Ｓ１１６（Ｉ＾）を基に仮変換画像信号Ｓ１１５（Ｏ）を補正する画像補正部４０２とを備え、仮変換画像信号Ｓ１１５（Ｏ）に対する被変換画像再生信号Ｓ１１６（Ｉ＾）の誤差を仮変換画像信号Ｓ１１５（Ｏ）に加算して出力するように構成している。
【００８９】
以下、上述のように構成された画像処理装置４００の動作を説明する。
【００９０】
第２の実施形態に係る画像処理装置４００は、画像変換装置４０３部分に特徴があり、他の部分は第１の実施形態に係る画像処理装置１００と同様である。したがって、画像変換装置４０３について詳細に説明する。
【００９１】
オペレータの操作により変換指示部１０３が画像変換実行信号を出力すると、画像入力部１０１が変換領域枠２０３（前記図２参照）に対応する入力画像データ２０２を被変換画像信号Ｓ２０２として出力するとともに、画像変換装置４０３が動作を開始する。
【００９２】
画像変換装置４０３の入力画像分析部１０４は、画像入力部１０１から被変換画像信号Ｓ１０２が入力されると、この画像信号を所定のブロックサイズに分割する。このブロックサイズの分割については前記図３と同様である。
【００９３】
入力画像分析部１０４は、前記式（１）に従って被変換画像信号Ｓ１０２をブロック分割したデータ（Ｉ）と基底信号Ｓ１１１に対応する基底データ（Ｋｎ）とに基づいて内積を計算し、計算したＴ個の内積データ（Ｗｎ）を入力画像係数信号Ｓ１０８（Ｗｎ）として係数合成部１０５及び画像合成部４０１に出力する。
【００９４】
一方、スケッチ分析部１０８は、前記式（１）に従って入力されたスケッチ画像信号Ｓ１０７をブロック分割したデータ（Ｉ）と基底信号Ｓ１１１に対応する基底データ（Ｋｎ）とに基づいて内積を計算し、計算したＴ個の内積データ（ΔＷｎ）をスケッチ係数信号Ｓ１１４として係数合成部１０５に出力する。
【００９５】
これにより、変換指示部１０３により指示された特定のカテゴリに対応した、入力画像信号Ｓ１０１及びスケッチ画像信号Ｓ１０７の主成分分析による係数データが、それぞれ入力画像係数信号Ｓ１０８及びスケッチ係数信号Ｓ１１４として得られることになる。
【００９６】
係数合成部１０５は、前記式（２）に従って入力画像係数信号Ｓ１０８（Ｗｎ）とスケッチ係数信号Ｓ１１４（ΔＷｎ）に基づいて係数合成信号Ｓ１０９（Ｗｎ′）を計算し、画像合成部１０６に出力する。式（２）に示すαを変えることによってスケッチ画像信号Ｓ１０７の特徴を画像変換に適当に反映させることができる。
【００９７】
画像合成部１０６は、前記数３に示す式に従って係数合成信号Ｓ１０９（Ｗｎ′）及び基底信号Ｓ１１２（Ｋｎ）に基づいて仮変換画像信号Ｓ１１５（Ｏ）を計算し、画像変換装置４０３外部及び画像入力部１０１に出力する。なお、上記仮変換画像信号Ｓ１１５（Ｏ）は、第１の実施形態に係る画像合成部１０６から出力される変換画像信号Ｓ１１０（Ｏ）と完全同一な変換画像信号であるが、本実施形態に係る画像処理装置４００では、再生画像の誤差を変換画像信号に加算する点に特徴があるため、説明の便宜上、信号の名称を変えている。
【００９８】
一方、入力画像分析部１０４で計算された入力画像係数信号Ｓ１０８（Ｗｎ）は、画像合成部４０１に出力され、画像合成部４０１は、この入力画像係数信号Ｓ１０８（Ｗｎ）と基底メモリ１０７からの基底信号Ｓ１１２（Ｋｎ）とに基づき数４に示す式に従って被変換画像再生信号Ｓ１１６（Ｉ＾）を計算し、画像補正部４０２に出力する。
【００９９】
【数４】
0003838685.tif 000005
【０１００】
画像補正部４０２には、画像合成部１０６からの仮変換画像信号Ｓ１１５（Ｏ）と、画像合成部４０１からの被変換画像再生信号Ｓ１１６（Ｉ＾）と、画像入力部１０１からの被変換画像信号Ｓ１０２（Ｉ）とがそれぞれ入力され、画像補正部４０２は、これらの信号を基に式（３）に従って変換画像信号Ｓ１１０（Ｏ′）を計算し、外部に画像変換装置４０３を出力する。
【０１０１】
Ｏ′＝Ｏ＋Ｉ−Ｉ＾                                      …式（３）
上記式（３）において、Ｉ＾は、変換指示部１０３により指定されたカテゴリと整合する特徴を被変換画像Ｉから取り出した場合の再生画像であり、Ｉ−Ｉ＾はその誤差信号である。したがって、被変換画像Ｉが指定カテゴリによく一致する場合にはＩ−Ｉ＾は「０」に近い値を持ち、逆に、被変換画像Ｉが指定カテゴリにあまり一致しない場合にはＩ−Ｉ＾は「０」から離れた値を持つ。すなわち、Ｉ−Ｉ＾は画像合成部１０６により再生される仮変換画像Ｏ中から欠落されると予想される被変換画像Ｉ中の成分であり、両者を加算することにより変換画像Ｏ′は被変換画像Ｉと類似した出力となり、自然な印象の変化を与えることができる。
【０１０２】
したがって、被変換画像Ｉ中に、目的とする対象物以外の物、例えば背景が存在する場合には、該当する領域に対しては、被変換画像と基底データとの相関が小さいため、前記数３に示す式及び前記数４に示す式から明らかなように仮変換画像Ｏ及び再生画像Ｉ＾は「０」に近い値を持つことになり、上記式（３）式に適用するとＯ′≒Ｉとなって変換画像Ｏ′は被変換画像Ｉと類似し、被変換画像Ｉがそのまま変換画像Ｏ′として出力される。
【０１０３】
一方、目的とする対象物が存在する領域に対しては、被変換画像と基底データとの相関が大きいため前記数４に示す式より再生画像Ｉ＾は被変換画像Ｉとほぼ等しくなり、上記式（３）よりＯ′≒Ｏとなり、スケッチ画像信号Ｓ１０７に応じた画像の印象変更を実現した出力を得ることができる。
【０１０４】
上述した画像変換装置４０３の動作を、前記図３に示す変換領域枠２０３の枠内の領域データ３０１に含まれる全てのブロックに対して繰り返すことにより、該当する変換領域に対する変換画像信号Ｓ１１０が出力されることになる。
【０１０５】
この場合、第２の実施形態に係る画像処理装置４００では、再生画像の誤差を計算してこれを仮変換画像に加算することにより画像変換された変換画像信号Ｓ１１０が再び画像入力部１０１に入力され、これにより画像表示部１０２には変換後の画像データが表示される。また、変換指示部１０３の指示により、画像変換後に画像入力部１０１に戻された画像データを新たな被変換画像信号Ｓ１０２として入力画像分析部１０４に出力し、更に画像変換することも可能である。
【０１０６】
以上のように第２の実施形態に係る画像処理装置４００は、画像変換装置４０３が、画像合成部４０１と、画像補正部４０２とを備え、入力画像分析部１０４が被変換画像信号Ｓ１０２に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底データに対する係数データを計算するとともに、スケッチ分析部１０８がスケッチ画像信号Ｓ１０７に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底データに対する係数データを計算し、係数合成部１０５が前記の２つの係数データの加重平均を求め、画像合成部１０６が前記の加重平均された係数データを用いて前記基底データを線形結合して仮変換画像を求め、画像合成部４０１が前記被変換画像信号Ｓ１０２に対応した係数データを用いて前記基底データを線形結合して被変換画像に対する再生画像を求め、画像補正部４０２が前記被変換画像信号Ｓ１０２に対する前記再生画像の誤差を計算してこれを仮変換画像に加算することにより変換画像を出力するように構成しているので、スケッチ分析部１０８では、スケッチ画像信号Ｓ１０７に含まれる指定されたカテゴリに整合した特徴のみが係数データとして得られることになり、画像補正部４０２から出力される変換画像信号Ｓ１１０は、オペレータの意志を反映し、かつ自然な画像の印象変更を実現した出力となる。
【０１０７】
しかも、画像の印象を変える手段としてスケッチ画像の入力という形を取るため、熟練していないオペレータにとっても、直観的操作により所望の画像を作成することができる。
【０１０８】
特に、第２の実施形態に係る画像処理装置４００では、画像合成部４０１が被変換画像に対する再生画像を求め、画像補正部４０２が被変換画像に対する再生画像の誤差を変換画像出力に加算するように構成しているので、入力画像中に対象物と背景が混在する場合、背景に対しては入力画像がほぼそのままの形で出力されるよう動作することになり、オペレータは対象物と背景の境界に注意を払うことなく作業を進めることができる。
【０１０９】
したがって、入力画像中の対象物と背景との境界付近を画像変換する作業中の負担を大幅に軽減することができ、特に熟練していないオペレータにとって操作性を向上させることができる。
【０１１０】
なお、第２の実施形態に係る画像処理装置４００では、入力画像分析部１０４がＴ個の係数データを計算し出力する場合につき説明したが、他の構成として、係数データが「０」に近い場合には該当する係数データを「０」として出力するよう構成してもよいし、また、Ｔ個の係数データ全体として係数データが小さい場合にはＴ個の係数データ全てを「０」として出力してもよい。このような構成にすれば、入力画像中の背景部分に対して係数データが「０」となり、その結果、背景領域に関しては入力画像と同一の変換画像が得ることができるという効果が期待できる。
【０１１１】
上述した第１、第２の実施形態に係る画像処理装置１００，４００により、直観的操作により所望の画像を作成することが可能になった。ところで、一般的に自然画像は大柄な構造から微細な構造まで複数のスケールの特徴が重畳されて構成されることが多いため、オペレータが手入力で現実感の高い画像の生成を行うことは困難であった。
【０１１２】
このような問題点に鑑み、複数のスケールからなる構造物について、より現実感の高い画像変換を実現できる装置を以下の第３の実施形態係る画像処理装置において述べる。
【０１１３】
図５は本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。図５に示す画像処理装置は、画像データを変換する画像変換装置に適用した例である。なお、本実施形態に係る画像処理装置の説明にあたり図１に示す画像処理装置１００と同一構成部分には同一符号を付して重複部分の説明を省略する。
【０１１４】
図５において、画像処理装置５００は、画像入力部１０１、画像表示部１０２、変換指示部１０３、入力画像階層化部５０１（第１の画像階層化手段）、スケッチ階層化部５０２（第２の画像階層化手段）、画像変換部５０３，５０４，５０５（画像変換手段）及び変換画像結合部５０６（変換画像結合手段）から構成される。
【０１１５】
上記入力画像階層化部５０１、スケッチ階層化部５０２、画像変換部５０３，５０４，５０５及び変換画像結合部５０６は全体として画像変換装置５０７を構成する。
【０１１６】
すなわち、上記画像変換装置５０７は、画像信号を複数のスケール画像に分解する入力画像階層化部５０１と、スケッチ画像信号を複数のスケール画像に分解するスケッチ階層化部５０２と、入力画像階層化部５０１及びスケッチ階層化部５０２で階層化された各画像信号に対してそれぞれ各スケール毎に画像変換を行う画像変換部５０３，５０４，５０５と、各スケール毎に画像変換された変換画像を結合する変換画像結合部５０６とから構成されている。
【０１１７】
ここで、上記画像変換部５０３，５０４，５０５は、図７で後述するように、前記図１に示す画像変換装置１０９と同一構成となっており、従って画像変換装置５０７はスケール毎に画像変換を行う３つの画像変換部５０３，５０４，５０５に、入力画像階層化部５０１、スケッチ階層化部５０２及び変換画像結合部５０６が付加された構成となっている。
【０１１８】
上記入力画像階層化部５０１には、画像入力部１０１から被変換画像信号Ｓ１０２が入力され、入力画像階層化部５０１は、この被変換画像信号Ｓ１０２を空間周波数に応じた３つのスケール画像に分解し、画像変換部５０３，５０４，５０５にそれぞれマクロ入力画像信号Ｓ１０８、メソ入力画像信号Ｓ１０９及びマイクロ入力画像信号Ｓ１１０を出力する。上記入力画像階層化部５０１の具体的構成については図６により後述する。
【０１１９】
一方、上記スケッチ階層化部５０２は、上記入力画像階層化部５０１と同様の構成であり、スケッチ画像信号Ｓ１０７を入力すると、この信号を空間周波数に応じた３つのスケール画像に分解し、マクロスケッチ画像信号Ｓ１１１、メソスケッチ画像信号Ｓ１１２及びマイクロスケッチ画像信号Ｓ１１３を出力する。すなわち、上記スケッチ階層化部５０２には、変換指示部１０３からスケッチ画像信号Ｓ１０７が入力され、スケッチ階層化部５０２は、このスケッチ画像信号Ｓ１０７を空間周波数に応じた３つのスケール画像に分解し、画像変換部５０３，５０４，５０５にそれぞれマクロスケッチ画像信号Ｓ１１１、メソスケッチ画像信号Ｓ１１２及びマイクロスケッチ画像信号Ｓ１１３を出力する。
【０１２０】
上記画像変換部５０３，５０４，５０５には、それぞれマクロ入力画像信号Ｓ１０８及びマクロスケッチ画像信号Ｓ１１１、メソ入力画像信号Ｓ１０９及びメソスケッチ画像信号Ｓ１１２、マイクロ入力画像信号Ｓ１１０及びマイクロスケッチ画像信号Ｓ１１３が入力され、画像変換部５０３，５０４，５０５は、基底選択信号Ｓ１０６に応じてそれぞれマクロ変換画像信号Ｓ１１４、メソ変換画像信号Ｓ１１５、マイクロ変換画像信号Ｓ１１６を出力する。
【０１２１】
すなわち、上記画像変換部５０３は、入力画像階層化部５０１からのマクロ入力画像信号Ｓ１０８とスケッチ階層化部５０２からのマクロスケッチ画像信号Ｓ１１１を基に、変換指示部１０３からの基底選択信号Ｓ１０６によりマクロ入力画像信号に対し画像変換を行い、変換画像結合部５０６にマクロ変換画像信号Ｓ１１４を出力する。また、上記画像変換部５０４は、入力画像階層化部５０１からのメソ入力画像信号Ｓ０９とスケッチ階層化部５０２からのメソスケッチ画像信号Ｓ１１２を基に、変換指示部１０３からの基底選択信号Ｓ１０６によりメソ入力画像信号に対し画像変換を行い、変換画像結合部５０６にメソ変換画像信号Ｓ１１５を出力する。同様に、上記画像変換部５０５は、入力画像階層化部５０１からのマイクロ入力画像信号Ｓ１１０とスケッチ階層化部５０２からのマイクロスケッチ画像信号Ｓ１１３を基に、変換指示部１０３からの基底選択信号Ｓ１０６によりマイクロ入力画像信号に対し画像変換を行い、変換画像結合部５０６にマイクロ変換画像信号Ｓ１１６を出力する。
【０１２２】
ここで、上記画像変換部５０３，５０４，５０５は、図１に示す画像処理装置１００の画像変換装置１０９と同様の構成であり、具体的構成については図７により後述する。
【０１２３】
上記変換画像結合部５０６には、画像変換部５０３からのマクロ変換画像信号Ｓ１１４、画像変換部５０４からのメソ変換画像信号Ｓ１１５及び画像変換部５０５からのマイクロ変換画像信号Ｓ１１６が入力され、変換画像結合部５０６は、これら３つの信号を加算して変換画像の結合を行い、変換画像信号Ｓ１１７として外部及び画像入力部１０１に出力する。
【０１２４】
図６は入力画像階層化部５０１及びスケッチ階層化部５０２の構成を示すブロック図である。
【０１２５】
入力画像階層化部５０１及びスケッチ階層化部５０２は同一構成のため、入力画像階層化部５０１を例にとると、図６において、入力画像階層化部５０１は、ローパスフィルタ（ＬＰＦ）６０１，６０２、減算器６０３，６０４から構成されている。
【０１２６】
上記ローパスフィルタ（ＬＰＦ）６０１，６０２は、入力信号中の低い空間周波数成分を取り出すもので、従来公知の方法により実現できる。例えば、入力画像上の座標（ｘ，ｙ）での画素値をＡ（ｘ，ｙ）、ＬＰＦによる出力画像上の座標（ｘ，ｙ）での画素値をＢ（ｘ，ｙ）とすると、画素値Ｂ（ｘ，ｙ）は数５で示される。
【０１２７】
【数５】
0003838685.tif 000006
【０１２８】
数５に示す式において、ｊ0，ｊ0，Ｗ（ｉ，ｊ）（ｉ＝−ｉ0〜ｉ0，ｊ＝−ｊ0〜ｊ0）はＬＰＦの空間周波数特性に応じて予め設定されるパラメータである。
【０１２９】
上記ＬＰＦ６０１は、被変換画像信号Ｓ１０２を入力して入力信号中の低い空間周波数成分を取り出し、取り出した信号をマクロ入力画像信号Ｓ１０８として外部及び減算器６０３に出力する。また、ＬＰＦ６０２は、非マクロ入力画像信号Ｓ６０３を入力して入力信号中の低い空間周波数成分を取り出し、取り出した信号をメソ入力画像信号Ｓ１０９として外部及び減算器６０４に出力する。
【０１３０】
上記減算器６０３は、被変換画像信号Ｓ１０２からマクロ入力画像信号Ｓ１０８を減算して非マクロ入力画像信号Ｓ６０３としてＬＰＦ６０２及び減算器６０３に出力する。また、減算器６０４は、非マクロ入力画像信号Ｓ６０３からメソ入力画像信号Ｓ１０９を減算してマイクロ入力画像信号Ｓ１１０として外部に出力する。
【０１３１】
このように、入力画像階層化部５０１は、２つのＬＰＦ６０１，６０２、２つの減算器６０３，６０４から構成され、被変換画像信号Ｓ１０２から順次低い空間周波数成分を取り出してマクロ入力画像信号Ｓ１０８、メソ入力画像信号Ｓ１０９及びマイクロ入力画像信号Ｓ１１０として入力画像階層化部５０１外部に出力するものである。
【０１３２】
なお、スケッチ階層化部５０２についても同様な構成となっており、ローパスフィルタの周波数特性も上記ＬＰＦ６０１，６０２と同一なものが使用される。
【０１３３】
また、第３の実施形態では、被変換画像信号Ｓ１０２からメソ入力画像信号Ｓ１０９及びマイクロ入力画像信号Ｓ１１０を作る方法としてローパスフィルタを使用しているが、空間周波数に応じた複数の画像信号を取り出すものであれば、ローパスフィルタでなくてもよく、例えば他のフィルタを用いてもよい。また、フィルタ等の数も本実施形態に限定されないことは言うまでもない。
【０１３４】
図７は上記画像変換部５０３，５０４，５０５各々の共通した内部構成を示すブロック図である。画像変換部５０３，５０４，５０５は共通した内部構成となっており、画像変換部５０３を代表して説明する。画像変換部５０３は、基本的には図１に示す画像処理装置１００の画像変換装置１０９と同様の構成であるが、入出力の信号が異なる。
【０１３５】
図７において、画像変換部５０３は、入力画像分析部７０１、係数合成部７０２、画像合成部７０３、基底メモリ７０４及びスケッチ分析部７０５から構成される。
【０１３６】
上記入力画像分析部７０１には、入力画像階層化部５０１で階層化された入力画像信号Ｓ７０１（図５に示すマクロ入力画像信号Ｓ１０８、メソ入力画像信号Ｓ１０９及びマイクロ入力画像信号Ｓ１１０に対応）と基底メモリ７０４からの基底データＳ７０７が入力され、入力画像分析部７０１は、入力画像階層化部５０１で階層化された入力画像信号Ｓ７０１に対して、基底選択信号Ｓ７０２（図５に示す基底選択信号Ｓ１０６に対応）に応じたカテゴリの基底データＳ７０７に対する係数データを計算し、その計算結果を入力画像係数信号Ｓ７０４として係数合成部７０２に出力する。
【０１３７】
上記スケッチ分析部７０５には、スケッチ階層化部５０２で階層化されたスケッチ画像信号Ｓ７０３（図５に示すマクロスケッチ画像信号Ｓ１１１、メソスケッチ画像信号Ｓ１１２及びマイクロスケッチ画像信号Ｓ１１３に対応）と基底メモリ７０４からの基底信号Ｓ７０９が入力され、スケッチ分析部７０５は、スケッチ階層化部５０２で階層化されたスケッチ画像信号Ｓ７０３に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底信号Ｓ７０９に対する係数データを計算し、その計算結果をスケッチ係数信号Ｓ７１０として係数合成部７０２に出力する。
【０１３８】
上記係数合成部７０２には、入力画像分析部７０１からの入力画像係数信号Ｓ７０４とスケッチ分析部７０５からのスケッチ係数信号Ｓ７１０が入力され、係数合成部７０２は、この２つの係数データの加重平均を求め、その加重平均された係数データを係数合成信号Ｓ７０５として画像合成部７０３に出力する。
【０１３９】
上記画像合成部７０３は、係数合成信号Ｓ７０５として入力された加重平均された係数データを用いて、基底メモリ７０４からの基底データＳ７０８を線形結合してこれを階層化された変換画像信号Ｓ７０６（図５に示すマクロ変換画像信号Ｓ１１４、メソ変換画像信号Ｓ１１５及びマイクロ変換画像信号Ｓ１１６に対応）として画像変換部５０３外部に出力する。
【０１４０】
上記基底メモリ７０４は、複数のカテゴリ（例えば、雲、山、川等）毎に、対応する画像に対する主成分分析の基底データを記憶したメモリであり、変換指示部１０３からの基底選択信号Ｓ７０２（図５に示す基底選択信号Ｓ１０６に対応）に応じた基底データを基底信号Ｓ７０７、Ｓ７０８及びＳ７０９として入力画像分析部７０１、画像合成部７０３及びスケッチ分析部７０５に出力する。基底データの詳細については後述する。
【０１４１】
このように、上記画像変換部５０３は、入力画像分析部７０１が階層化された入力画像信号Ｓ７０１に対して、基底選択信号Ｓ７０２に応じたカテゴリの基底データに対する係数データを計算するとともに、スケッチ分析部７０５が階層化されたスケッチ画像信号Ｓ７０３に対して、基底選択信号Ｓ７０２に応じたカテゴリの基底データに対する係数データを計算し、係数合成部７０２が前記の２つの係数データの加重平均を求め、さらに画像合成部７０３が前記の加重平均された係数データを用いて前記基底データＳ７０８を線形結合してこれを階層化された変換画像信号Ｓ７０６として出力するように構成されている。
【０１４２】
以下、このように構成された画像処理装置５００の動作を説明する。
【０１４３】
第３の実施形態に係る画像処理装置５００は、階層毎に画像変換を行う画像変換装置５０７部分に特徴があり、他の部分は第１、第２の実施形態に係る画像処理装置１００，４００と同様である。したがって、画像変換装置５０７について詳細に説明する。
【０１４４】
図５において、オペレータの操作により変換指示部１０３が画像変換実行信号を出力すると、画像入力部１０１が変換領域枠２０３（前記図２参照）に対応する入力画像データ２０２を被変換画像信号Ｓ２０２として出力するとともに、画像変換装置５０７が動作を開始する。
【０１４５】
画像入力部１０１には、外部からの１フレーム分の入力画像信号Ｓ１０１、画像変換装置５０７からの変換画像信号Ｓ１１７、及び変換指示部１０３からの変換領域指示信号Ｓ１０５が入力され、画像入力部１０１は、画像変換装置５０７及び画像表示部１０２にそれぞれ被変換画像信号Ｓ１０２及びＳ１０３を出力する。画像表示部１０２には、変換指示部１０３からの表示制御信号Ｓ１０４と画像入力部１０１からの被変換画像信号Ｓ１０３が入力され、画像表示部１０２はこれらの画像信号を表示する。
【０１４６】
オペレータの操作により変換指示部１０３は、画像表示部１０２に表示制御信号Ｓ１０４を出力するとともに、画像入力部１０１に変換領域指示信号Ｓ１０５を出力し、さらに画像変換装置５０７に基底選択信号Ｓ１０６及びスケッチ画像信号Ｓ１０７を出力する。
【０１４７】
以下、画像変換装置５０７の動作を詳細に説明するが、まず画像変換装置５０７の入力画像階層化部５０１の動作について述べる。
【０１４８】
図６に示すように、入力画像階層化部５０１のＬＰＦ６０１には、被変換画像信号Ｓ１０２が入力され、ＬＰＦ６０１は入力信号中の低い空間周波数成分を取り出してマクロ入力画像信号Ｓ１０８として外部及び減算器６０３に出力する。また、減算器６０３は、被変換画像信号Ｓ１０２からマクロ入力画像信号Ｓ１０８を減算して非マクロ入力画像信号Ｓ６０３としてＬＰＦ６０２及び減算器６０３に出力する。
【０１４９】
そして、ＬＰＦ６０２は、減算器６０３から出力された非マクロ入力画像信号Ｓ６０３から入力信号中の低い空間周波数成分を取り出し、取り出した信号をメソ入力画像信号Ｓ１０９として外部及び減算器６０４に出力する。さらに、減算器６０４は、非マクロ入力画像信号Ｓ６０３からメソ入力画像信号Ｓ１０９を減算してマイクロ入力画像信号Ｓ１１０として外部に出力する。
【０１５０】
したがって、被変換画像信号Ｓ１０２をＬＰＦ６０１に通すことにより空間周波数の低い成分、すなわち大柄な特徴を持つ画像信号（マクロ入力画像信号Ｓ１０８）が出力される。また、被変換画像信号Ｓ１０２からマクロ入力画像信号Ｓ１０８を除いた画像信号（非マクロ入力画像信号Ｓ６０３）をＬＰＦ６０２に通すことにより空間周波数が中間のバンドに属する成分がメソ入力画像信号Ｓ１０９として出力される。さらに、非マクロ入力画像信号Ｓ６０３からメソ入力画像信号Ｓ１０９を除くことによって空間周波数の高い成分、すなわち微細な特徴を持つ画像信号（マイクロ入力画像信号Ｓ１１０）が出力される。
【０１５１】
このように、入力画像階層化部５０１は、被変換画像信号Ｓ１０２を入力すると、この画像信号を空間周波数に応じた３つのスケール画像に分解し、マクロ入力画像信号Ｓ１０８、メソ入力画像信号Ｓ１０９及びマイクロ入力画像信号Ｓ１１０を出力として入力画像階層化部５０１外部に出力するものである。また、スケッチ階層化部５０２についても同様な処理が行われる。
【０１５２】
図５に戻って、被変換画像信号Ｓ１０２を入力画像階層化部５０１に入力すると、入力された被変換画像信号Ｓ１０２が上述したように入力画像階層化部５０１により空間周波数に応じた３つのスケール画像に分解され、スケール毎に分解されたマクロ入力画像信号Ｓ１０８、メソ入力画像信号Ｓ１０９及びマイクロ入力画像信号Ｓ１１０が、各スケール毎の被変換画像信号として画像変換部５０３，５０４，５０５の入力画像分析部７０１（図７参照）に出力される。
【０１５３】
一方、スケッチ画像信号Ｓ１０７をスケッチ階層化部５０２に入力すると、入力されたスケッチ画像信号Ｓ１０７がスケッチ階層化部５０２により空間周波数に応じた３つのスケール画像に分解され、スケール毎に分解されたマクロスケッチ画像信号Ｓ１１１、メソスケッチ画像信号Ｓ１１２及びマイクロスケッチ画像信号Ｓ１１３が、各スケール毎のスケッチ画像信号として画像変換部５０３，５０４，５０５のスケッチ分析部７０５（図７参照）に出力される。
【０１５４】
したがって、画像変換部５０３，５０４，５０５には、被変換画像信号として３つのスケール画像に分解されたマクロ入力画像信号Ｓ１０８、メソ入力画像信号Ｓ１０９及びマイクロ入力画像信号Ｓ１１０がそれぞれ入力され、またスケッチ画像信号として３つのスケール画像に分解されたマクロスケッチ画像信号Ｓ１１１、メソスケッチ画像信号Ｓ１１２及びマイクロスケッチ画像信号Ｓ１１３がそれぞれ入力される。画像変換部５０３，５０４，５０５は、スケール画像に分解されたこれら被変換画像信号Ｓ１０８，Ｓ１０９，Ｓ１１０及びスケッチ画像信号Ｓ１１１，Ｓ１１２，Ｓ１１３を基に基底選択信号Ｓ１０６に応じて各スケール毎にそれぞれ画像変換を行って変換後のマクロ変換画像信号Ｓ１１４、メソ変換画像信号Ｓ１１５、マイクロ変換画像信号Ｓ１１６を変換画像結合部５０６に出力する。
【０１５５】
すなわち、画像変換部５０３には、入力画像階層化部５０１からのマクロ入力画像信号Ｓ１０８とスケッチ階層化部５０２からのマクロスケッチ画像信号Ｓ１１１を入力し、変換指示部１０３からの基底選択信号Ｓ１０６により変換画像結合部５０６にマクロ変換画像信号Ｓ１１４を出力する。また、画像変換部５０４には、入力画像階層化部５０１からのメソ入力画像信号Ｓ０９とスケッチ階層化部５０２からのメソスケッチ画像信号Ｓ１１２を入力し、変換指示部１０３からの基底選択信号Ｓ１０６により変換画像結合部５０６にメソ変換画像信号Ｓ１１５を出力する。同様に、画像変換部５０５には、入力画像階層化部５０１からのマイクロ入力画像信号Ｓ１１０とスケッチ階層化部５０２からのマイクロスケッチ画像信号Ｓ１１３を入力し、変換指示部１０３からの基底選択信号Ｓ１０６により変換画像結合部５０６にマイクロ変換画像信号Ｓ１１６を出力する。
【０１５６】
以下、図７に示す画像変換部５０３を例にとり、上記画像変換部５０３，５０４，５０５の動作をより詳細に説明する。
【０１５７】
図７において、入力画像階層化部５０１からマクロ入力画像信号Ｓ１０８が入力されると、入力画像分析部７０１はこのマクロ入力画像信号Ｓ１０８を所定のブロックサイズに分割する。このブロックサイズの分割については前記図３で述べた方法と同様な方法が適用できる。
【０１５８】
画像変換部５０３の入力画像分析部７０１には、入力画像階層化部５０１で階層化された入力画像信号Ｓ７０１（図５に示すマクロ入力画像信号Ｓ１０８、メソ入力画像信号Ｓ１０９及びマイクロ入力画像信号Ｓ１１０に対応）と基底メモリ７０４からの基底データＳ７０７が入力され、入力画像階層化部５０１で階層化された入力画像信号Ｓ７０１に対して、基底選択信号Ｓ７０２（図５に示す基底選択信号Ｓ１０６に対応）に応じたカテゴリの基底データＳ７０７に対する係数データを計算し、その計算結果を入力画像係数信号Ｓ７０４として係数合成部７０２に出力する。
【０１５９】
また、スケッチ分析部７０５には、スケッチ階層化部５０２で階層化されたスケッチ画像信号Ｓ７０３（図５に示すマクロスケッチ画像信号Ｓ１１１、メソスケッチ画像信号Ｓ１１２及びマイクロスケッチ画像信号Ｓ１１３に対応）と基底メモリ７０４からの基底信号Ｓ７０９が入力され、スケッチ階層化部５０２で階層化されたスケッチ画像信号Ｓ７０３に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底信号Ｓ７０９に対する係数データを計算し、その計算結果をスケッチ係数信号Ｓ７１０として係数合成部７０２に出力する。
【０１６０】
そして、係数合成部７０２は、入力画像分析部７０１からの入力画像係数信号Ｓ７０４とスケッチ分析部７０５からのスケッチ係数信号Ｓ７１０の加重平均を求め、その加重平均された係数データを係数合成信号Ｓ７０５として画像合成部７０３に出力する。
【０１６１】
一方、基底メモリ７０４は、変換指示部１０３からの基底選択信号Ｓ７０２（図５に示す基底選択信号Ｓ１０６に対応）に応じた基底データを基底信号Ｓ７０７、Ｓ７０８及びＳ７０９として入力画像分析部７０１、画像合成部７０３及びスケッチ分析部７０５に出力する。
【０１６２】
画像合成部７０３は、係数合成信号Ｓ７０５として入力された加重平均された係数データを用いて、基底メモリ７０４からの基底データＳ７０８を線形結合してこれを階層化された変換画像信号Ｓ７０６（図５に示すマクロ変換画像信号Ｓ１１４、メソ変換画像信号Ｓ１１５及びマイクロ変換画像信号Ｓ１１６に対応）として画像変換部５０３外部に出力する。
【０１６３】
このような動作が画像変換部５０４，５０５についても行われ、画像変換部５０３，５０４，５０５では、それぞれマクロ入力画像信号Ｓ１０８及びマクロスケッチ画像信号Ｓ１１１、メソ入力画像信号Ｓ１０９及びメソスケッチ画像信号Ｓ１１２、マイクロ入力画像信号Ｓ１１０及びマイクロスケッチ画像信号Ｓ１１３が入力され、上述したスケール毎の画像変換処理の結果、画像変換部５０３，５０４，５０５からは基底選択信号Ｓ１０６に応じてそれぞれマクロ変換画像信号Ｓ１１４、メソ変換画像信号Ｓ１１５、マイクロ変換画像信号Ｓ１１６が変換画像結合部５０６に出力される。
【０１６４】
図５に戻って、変換画像結合部５０６には、画像変換部５０３からマクロ変換画像信号Ｓ１１４が、画像変換部５０４からメソ変換画像信号Ｓ１１５が、画像変換部５０５からマイクロ変換画像信号Ｓ１１６がそれぞれ入力され、変換画像結合部５０６は、これら３つの信号、マクロ変換画像信号Ｓ１１４、メソ変換画像信号Ｓ１１５及びマイクロ変換画像信号Ｓ１１６の加算を行い、変換画像信号Ｓ１１７として画像変換装置５０７外部及び画像入力部１０１に出力する。
【０１６５】
以上のように第３の実施形態に係る画像処理装置５００は、画像変換装置５０７が入力画像階層化部５０１、スケッチ階層化部５０２、画像変換部５０３，５０４，５０５及び変換画像結合部５０６を備え、入力画像階層化部７０１が被変換画像信号Ｓ１０２を複数のスケール画像に分解し、スケッチ階層化部７０２がスケッチ画像信号Ｓ１０７を複数のスケール画像に分解し、画像変換部５０３，５０４，５０５が各スケール毎に変換画像を計算し、変換画像結合部５０６がスケール毎の変換画像を結合して画像変換装置５０７外部に出力する。ここで、画像変換部５０３，５０４，５０５においては、入力画像分析部７０１が階層化された入力画像の基底選択信号Ｓ１０６に応じたカテゴリの基底データに対する係数データを計算し、スケッチ分析部７０５が階層化されたスケッチ画像に対して、基底選択信号Ｓ１０６に応じたカテゴリの基底データに対する係数データを計算し、係数合成部７０２が前記２つの係数データの加重平均を求め、画像合成部７０３が前記の加重平均された係数データを用いて前記基底データを線形結合してこれをスケール毎の変換画像として出力するように構成しているので、スケッチ分析部７０５では、スケッチ画像信号Ｓ７０３に含まれる指定されたカテゴリに整合した特徴のみが係数データとして得られることになり、画像合成部７０３から出力される階層化された変換画像Ｓ７０６はオペレータの意志を反映しかつ自然な画像の印象変更を実現した出力となる。したがって、スケール毎の変換画像を結合した最終的な変換画像Ｓ１１７についても同様の効果を得ることができる。
【０１６６】
しかも、本実施形態によれば画像の印象を変える手段としてスケッチ画像の入力という形を取るため、熟練していないオペレータにとっても、直観的操作により所望の画像を作成することができる。
【０１６７】
したがって、オペレータの作業負担が大きいという従来の問題点を解決し、直観的操作により自然な画像修正が可能となる。
【０１６８】
特に、第３の実施形態では、上述したように入力画像、スケッチ画像をスケール毎に分解し、それぞれのスケール別に画像の変換を行った後、結合して出力するように構成しているので、複数のスケール特徴からなる一般の自然画像に対し現実感を損うことなく画像の加工を行うことができる。
【０１６９】
なお、第３の実施形態に係る画像処理装置５００では、画像変換部５０３，５０４，５０５が入力画像とスケッチ画像とに基づいて変換画像を出力する態様について説明しているが、他の構成例として、変換指示部１０３が各画像変換部５０３，５０４，５０５にスケッチ画像有効フラグ信号を出力し、各画像変換部５０３，５０４，５０５は入力されたスケッチ画像有効フラグ信号に基づいて、入力画像とスケッチ画像とに応じた変換画像を出力するか、あるいは、入力画像をそのまま出力するかを決定するようにしてもよい。この場合、オペレータが例えば入力画像に対し微細な特徴の変更のみを行う際には、画像変換部５０３，５０４に対してはスケッチ画像を無効と指示し、画像変換部５０５に対してはスケッチ画像を有効と指示することにより、画像変換部５０３，５０４からは入力画像と同一の変換画像が出力され、最終的に微細特徴のみが変更された変換画像を得ることができる。
【０１７０】
また、第３の実施形態に係る画像処理装置５００では、入力画像及びスケッチ画像のスケールの数をマクロ、メソ及びマイクロの「３」として説明したが、「３」以外の固定数としても良いことは勿論であり、さらにはスケール数を基底選択信号Ｓ１０６に応じて変化するようにしてもよい。
【０１７１】
例えば、スケールの数を基底選択信号Ｓ１０６に応じて設定する際、基底選択信号Ｓ１０６に対応するカテゴリの画像が複雑な構造を持つ場合にはスケール数を大きく設定し、逆に、基底選択信号Ｓ１０６に対応するカテゴリの画像が単純な構造を持つ場合にはスケール数を小さく設定すればよい。また、スケールの数と同様に、入力画像階層化部７０１及びスケッチ階層化部７０２におけるＬＰＦの特性についても、基底選択信号Ｓ１０６に応じて設定してもよい。このように、対象とするカテゴリに応じてカケールの数やＬＰＦの特性を変えるようにすれば、対象画像に適合したより適切な画像変換が実現できるようになる。
【０１７２】
また、上記各実施形態に係る画像処理装置１００，４００，５００では、編集、加工等の画像処理を行って画像を作成する画像処理装置に適用した例であるが、画像処理を行うものであればどのような装置に用いてもよく、例えば汎用画像処理装置、あるいは局所並列型画像処理装置、画像処理プロセッサ等に適用できることは言うまでもなく、画像処理をソフトウェア処理で実現するものであってもよい。
【０１７３】
また、上記各実施形態に係る画像処理装置１００，４００，５００では、入力画像分析部１０４及びスケッチ分析部１０８におけるブロックサイズを８×８画素の固定としたが、取り扱う画像の特徴に応じてブロックサイズを可変としてもよい。また、この場合基底メモリ１０７に記憶する基底データ（基底ベクトル）の作成データの作成方法としてＫＬ変換を適用しているが、他の直交変換方式例えばＤＣＴ、アダマール変換、ハール（Harr）変換、傾斜変換（スラント変換）、対称性サイン変換などを用いてもよい。
【０１７４】
また、上記各実施形態に係る画像処理装置１００，４００，５００では、説明の便宜上、入力画像信号Ｓ１０１として白黒多値画像の場合を例にとり説明しているが、他の種類の画像、例えば３原色カラー画像に対しても同様の画像変換処理を行うことができ、カラー画像に対しても効果を得ることができる。
【０１７５】
また、スケッチ画像信号Ｓ１０７を入力する方法として、変換指示部１０３におけるポインティングデバイス操作で指示する場合を例示しているが、例えば、写真等の媒体をイメージスキャナ等の光電変換装置で読み取り、読み取った信号をスケッチ画像信号Ｓ１０７として利用することも可能である。
【０１７６】
さらに、上記各実施形態に係る画像処理装置では、上記画像処理装置１００，４００，５００や入力画像階層化部５０１、画像変換部５０３，５０４，５０５等を構成する部材の種類・個数、接続状態などは前述した上述の各実施形態に限られないことは言うまでもない。
【０１７７】
【発明の効果】
請求項１の発明に係る画像処理装置では、第１の入力画像データと基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第１の画像分析手段と、第２の入力画像データと基底メモリから読み出したＴ個の主成分データ各々との内積を計算する第２の画像分析手段と、第１の画像分析手段から出力されたＴ個の内積データと第２の画像分析手段から出力されたＴ個の内積データとを加重平均する係数合成手段と、この加重平均データを係数として基底メモリから読み出したＴ個の主成分データを線形結合して画像を合成する画像合成手段とを備えて構成しているので、第２の画像分析手段では、第２の入力画像データに含まれる指定されたカテゴリに整合した特徴のみが係数データとして得られることになり、画像合成手段から出力される変換画像は、オペレータの意志を反映し、かつ自然な画像の印象変更を実現した出力とすることができ、熟練していないオペレータにとっても、直観的操作により所望の画像を作成することができる。
【０１７８】
したがって、熟練していないオペレータにとって試行錯誤を繰り返すことなく所望の画像を容易に得ることができるとともに、オペレータの作業負担自体も軽減することができ、直観的動作により自然な画像修正効率良く実現可能となる。
また、請求項２の発明に係る画像処理装置は、第１の画像分析手段から出力されたＴ個の内積データを係数として係数合成手段から出力されたＴ個の主成分データを線形結合することにより第１の入力画像に対応する再生画像を計算する画像再生手段と、画像合成手段により合成された合成画像データから画像再生手段により計算された再生画像データを減算し、さらに第１の入力画像を加算して画像を補正する画像補正手段とを備えて構成しているので、請求項１の発明に係る画像処理装置と同様な効果を得ることができることに加え、入力画像中に対象物と背景が混在する場合、背景に対しては入力画像がほぼそのままの形で出力されるよう動作することになり、オペレータは対象物と背景の境界に注意を払うことなく作業を進めることができる。
【０１７９】
したがって、入力画像中の対象物と背景との境界付近を画像変換する作業中の負担を大幅に軽減することができ、特に熟練していないオペレータにとって操作性を向上させることができる。
【０１８０】
また、請求項３の発明に係る画像処理装置は、第１の入力画像を空間周波数に応じた複数のスケール画像に分解する第１の画像階層化手段と、第２の入力画像を空間周波数に応じた複数のスケール画像に分解する第２の画像階層化手段と、第１の画像階層化手段により分解された第１の入力画像に対応したスケール画像及び第２の画像階層化手段により分解された第２の入力画像に対応したスケール画像に基づいて、各スケール毎に変換画像を計算する複数の画像変換手段と、複数の画像変換手段から出力された各スケール毎の変換画像を結合して出力する変換画像結合手段とを備えて構成しているので、請求項１の発明に係る画像処理装置と同様な効果を得ることができることに加え、複数のスケール特徴からなる一般の自然画像に対し現実感を損うことなく画像の加工を行うことができる。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置の表示画面を示す図である。
【図３】上記画像処理装置の入力画像分析部及びスケッチ分析部の動作を説明するための図である。
【図４】本発明を適用した第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図５】本発明を適用した第３の実施形態に係る画像処理装置の構成を示すブロック図である。
【図６】上記画像処理装置の入力画像階層化部及びスケッチ階層化部の構成示すブロック図である。
【図７】上記画像処理装置の画像変換部の構成示すブロック図である。
【符号の説明】
１００，４００，５００  画像処理装置、１０１  画像入力部、１０２  画像表示部、１０３  変換指示部（入力手段）、１０４  入力画像分析部（第１の画像分析手段）、１０５  係数合成部（係数合成手段）、１０６  画像合成部（画像合成手段）、１０７  基底メモリ、１０８  スケッチ分析部（第２の画像分析手段）、１０９  画像変換装置１０９、４０１  画像合成部（画像再生手段）、４０２  画像補正部（画像補正手段）、５０１  入力画像階層化部（第１の画像階層化手段）、５０２  スケッチ階層化部（第２の画像階層化手段）、５０３，５０４，５０５  画像変換部（画像変換手段）、５０６  変換画像結合部（変換画像結合手段）、Ｓ１０２  被変換画像信号（第１の入力画像）、Ｓ１０７  スケッチ画像信号（第２の入力画像）、Ｓ１０９  係数合成信号Ｓ１０９（加重平均データ）、Ｓ１１０  変換画像信号、Ｓ１１６  被変換画像再生信号Ｓ１１６（再生画像データ）、Ｓ１１５  仮変換画像信号Ｓ１１５（合成画像データ）
【図１】
0003838685.tif 000007
【図２】
0003838685.tif 000008
【図３】
0003838685.tif 000009
【図４】
0003838685.tif 000010
【図５】
0003838685.tif 000011
【図６】
0003838685.tif 000012
【図７】
0003838685.tif 000013