(57)【特許請求の範囲】
【請求項１】
原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成し、
生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出し、抽出した輪郭を用いて該輪郭内で略同一の色領域または輪郭の相似性により原画像を複数のクラス画像にクラス分けし、該クラス分けしたクラス画像から物体画像を分離し、
分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めると共に、物体画像の色情報を符号化することにより部品化し、
部品化した物体画像を拡大または縮小する場合に、前記物体画像のアウトライン情報を用いて、前記部品化した物体画像を拡大または縮小し、
前記拡大または縮小した後の部品化した物体画像によって、画像を形成する
画像部品化方法。
【請求項２】
前記物体画像の輪郭はパラメトリック曲線でアウトライン化し、前記色情報はパラメトリック曲面で符号化することを特徴とする請求項１に記載の画像部品化方法。
【請求項３】
前記物体画像を構成する要素画像毎にさらに分離して部品化することを特徴とする請求項１または２に記載の画像部品化方法。
【請求項４】
コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、
前記画像部品化プログラムは、
原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、
生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて該輪郭内で略同一の色領域または輪郭の相似性により原画像を複数のクラス画像にクラス分けさせ、該クラス分けされたクラス画像から物体画像を分離させ、
分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、物体画像の色情報を符号化させることにより部品化させ、
部品化された物体画像を拡大または縮小する場合に、前記物体画像のアウトライン情報を用いて、前記部品化された物体画像を拡大または縮小させ、
前記拡大または縮小された後の部品化された物体画像によって、画像を形成させる
ことを特徴とする画像部品化プログラムを記録した記録媒体。
【請求項５】
前記物体画像の輪郭はパラメトリック曲線でアウトライン化され、前記色情報はパラメトリック曲面で符号化されることを特徴とする請求項４に記載の画像部品化プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像部品化方法及び画像部品化プログラムを記録した記録媒体にかかり、特に、原画像から該原画像に含まれる物体を表す物体画像を部品化する画像部品化方法及び画像部品化プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、コンピュータ技術の発展に伴って、カラー画像を画像データとしてデジタル化し、その画像データを保存させたり流通させたりして利用することがある。このデジタル化した画像データには、デジタルカメラ等のデジタル撮影装置で撮影することによって生成された撮影画像を表す画像データや、スキャナでカラー原稿をスキャンすることによって生成されたスキャン画像を表す画像データ等がある。
【０００３】
上記画像データは加工が容易であることから、原画像に含まれる山や人物等の風景や物体を表す一部の画像（以下、物体画像という。）を再利用したいという要望がある。物体画像を再利用するためには、原画像から物体画像を抽出しなければならない。この抽出は、実用化されているアプリケーションによって、原画像を、予め指定した形状で切り出したり、一定面積切り出したりすることによって、物体画像を含む領域を切り出し可能であるが、必要とする物体画像以外の非対象画像を含む場合がある。
【０００４】
このため、原画像から所定の領域を抽出する技術が多数提案されている。例えば、本出願人は、原画像から所望の色領域を分離する技術を提案している（特開平８−２２１５６７号公報参照）。
【０００５】
【発明が解決しようとする課題】
しかしながら、物体画像が所望の色領域であり原画像からその所望の色領域を分離して得た物体画像は、再利用時に制限がある。すなわち、再利用時には、物体画像を拡大したり縮小したりする場合がある。この場合、物体画像の解像度の変更が要求されることがあり、その解像度に合致した物体画像が必要になる。例えば、撮影画像では再度撮影が必要となり、スキャン画像では再度スキャンが必要となる。従って、所望の色領域を分離した場合であっても、単に切り出した領域の画像であり、再利用には制限がある。このため、物体画像は、再利用目的で部品化する必要性がある。
【０００６】
本発明は、上記事実を考慮して、原画像に含まれる物体画像を再利用が容易な部品化をすることができる画像部品化方法及び画像部品化プログラムを記録した記録媒体を得ることが目的である。
【０００７】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明は、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成し、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出し、抽出した輪郭を用いて該輪郭内で略同一の色領域または輪郭の相似性により原画像を複数のクラス画像にクラス分けし、該クラス分けしたクラス画像から物体画像を分離し、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めると共に、物体画像の色情報を符号化することにより部品化し、部品化した物体画像を拡大または縮小する場合に、前記物体画像のアウトライン情報を用いて、前記部品化した物体画像を拡大または縮小し、前記拡大または縮小した後の部品化した物体画像によって、画像を形成する。
【０００８】
請求項２に記載の発明は、請求項１に記載の画像部品化方法であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化し、前記色情報はパラメトリック曲面で符号化することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の画像部品化方法であって、前記物体画像を構成する要素画像毎にさらに分離して部品化することを特徴とする。
【００１０】
請求項４に記載の発明は、コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、前記画像部品化プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて該輪郭内で略同一の色領域または輪郭の相似性により原画像を複数のクラス画像にクラス分けさせ、該クラス分けされたクラス画像から物体画像を分離させ、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、物体画像の色情報を符号化させることにより部品化させ、部品化された物体画像を拡大または縮小する場合に、前記物体画像のアウトライン情報を用いて、前記部品化された物体画像を拡大または縮小させ、前記拡大または縮小された後の部品化された物体画像によって、画像を形成させることを特徴とする。
【００１１】
請求項５に記載の発明は、請求項４に記載の画像部品化プログラムを記録した記録媒体であって、前記物体画像の輪郭はパラメトリック曲線でアウトライン化され、前記色情報はパラメトリック曲面で符号化されることを特徴とする。
【００１２】
請求項１に記載の画像部品化方法では、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成する。ラインプロセスは、色情報の不連続性、すなわち色情報が連続か不連続かを表すものであり、色情報とラインプロセスとでエネルギ関数を定義してエネルギ関数を用いたエネルギの最小化を行うと、原画像で色情報が不連続となる箇所にラインプロセスが値を有することとなる。この値を有するラインプロセスで原画像の不連続情報を表すことができる。この不連続情報は、原画像で色情報が不連続となる箇所を表すので、同一または類似の色情報で構成されない異なる色情報で構成される隣り合う色領域では色情報の境界となる。従って、同一または類似の色情報からなる色領域は、その輪郭部分に不連続情報が現れる。原画像に含まれる物体画像は、同一または類似の色情報で構成されたり、予め定めた複数の色情報で構成されたりする。そこで、不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出する。この抽出した輪郭を用いて物体画像を分離する。
【００１３】
次に、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求める。アウトライン情報とは、原情報（すなわち輪郭に関する情報）の殆どを維持したまま大きさを変化、例えば拡大させたりや縮小させたりすることが可能な情報である。例えば、アウトライン情報には、点と線分や面情報等のベクトル情報とから構成される形状情報がある。なお、この形状情報は、数式による記述も可能である。このように、物体画像の輪郭をアウトライン情報で記述することで、物体画像の輪郭は解像度に依存することなく表現することができる。物体画像の色情報は、アウトライン情報で記述された物体画像の輪郭に内包され、不連続を伴わずに連続になるので、連続情報による表現で符号化される。この符号化には、色情報を近似表現する符号化が一例としてあり、再利用可能な形式ではＪＰＥＧ等で知られる画像データフォーマットがある。
【００１４】
このように、物体画像の輪郭をアウトライン情報で記述すると共に、物体画像の色情報を、再利用可能な形式で符号化しているので、物体画像を再利用するときに、拡大したり縮小したりする必要がある場合であっても、物体画像の輪郭は拡大したり縮小したりしたときの解像度に依存することなく元の物体画像の輪郭を維持した形式で利用することができる。
【００１５】
物体画像を表現する場合、その輪郭は物体画像の最外周であり、２次元的な曲線となる。また、色情報は、物体画像の輪郭に内包されて連続になる。色情報は、各色毎にその位置と濃度との３次元表現が可能である。従って、連続的な色情報は、３次元的な曲面に対応させることが可能となる。このような曲線や曲面は取り扱いが容易な形式で表現されることが好ましい。そこで、請求項２にも記載したように、前記物体画像の輪郭を、パラメトリック曲線でアウトライン化し、色情報をパラメトリック曲面で符号化する。このようにすることによって、物体画像の輪郭及び色情報を数式を用いて簡単な記述形式で表現することができ、容易に利用することが可能となる。
【００１６】
物体画像は、複数の要素画像から構成されることがある。例えば、人物の物体画像である場合、頭部、腕、胴体、足等の要素画像で構成されることがある。そこで、請求項３にも記載したように、前記物体画像を構成する要素画像毎にさらに分離して部品化する。このようにすることによって、物体画像として、その物体画像の要素画像で原画像から部品化することができ、再利用の物体画像を細分化することができる。
【００１７】
上記画像部品化方法による物体画像の部品化は、請求項４に記載の記録媒体に記録した画像部品化プログラムの実行によってコンピュータ上において実現可能である。詳細には、コンピュータによって原画像から該原画像に含まれる物体を表す物体画像を部品化するための画像部品化プログラムを記録した記録媒体であって、前記画像部品化プログラムは、原画像の色情報に基づいて、ラインプロセスによって表される色情報の不連続性を表す原画像の不連続情報を生成させ、生成した不連続情報に基づいて原画像に含まれている物体画像の輪郭を抽出させ、抽出された輪郭を用いて物体画像を分離させ、分離した物体画像について、不連続情報に基づいて物体画像の輪郭をアウトライン化したアウトライン情報を求めさせると共に、物体画像の色情報を符号化させる。これによって、コンピュータ上において、物体画像の輪郭が拡大縮小時の解像度に依存することなく部品化することができる。
【００１８】
なお、請求項５にも記載したように、前記物体画像の輪郭は、その扱いを容易にすることが可能なパラメトリック曲線でアウトライン化することができ、前記色情報はパラメトリック曲面で符号化することができる。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施の形態はカラー原画像内に含まれる物体画像を部品化する物体画像部品化装置に本発明を適用したものである。
【００２０】
図１に示すように、本実施の形態の物体画像部品化装置１０は、画像を表示するための表示装置等のディスプレイ装置１２、外部からコマンドやデータを入力するためのキーボード等の入力装置１４、装置本体１６、及びカラー原稿からカラー原画像を読み取るための画像読取装置３０から構成されている。
【００２１】
装置本体１６は、ＣＰＵ１８、ＲＡＭ２０、ＲＯＭ２２、入出力ポート（Ｉ／Ｏ）２８、からなるマイクロコンピュータで構成され、各々はコマンドやデータの授受が可能なようにバス２６によって接続されている。なお、ＲＯＭ２２には、装置本体１６において実行される後述する処理ルーチンが記憶されている。
【００２２】
装置本体１６の入出力ポート２８には、画像データを記憶するためのメモリ２４が接続されている。また、装置本体１６の入出力ポート２８には、入力装置１４が接続されると共に、ディスプレイ装置１２が接続されている。また、入出力ポート２８には、カラースキャナ等の画像読取装置３０が接続されている。
【００２３】
なお、画像読取装置３０は、印刷物等のカラー原稿、及び被写体の撮影後に現像処理されてネガ画像またはポジ画像が可視化された写真フィルムから多値のカラー原画像を読み取ることができる。
【００２４】
上記の入出力ポート２８には、記録媒体としてのフロッピーディスク（以下、ＦＤという）が挿抜可能なフロッピーディスクユニット（以下、ＦＤＵという）が接続されている。なお、後述する処理ルーチン等は、ＦＤＵを用いてＦＤに対して読み書き可能である。従って、後述する処理ルーチンは、ＲＯＭ２２に記憶することなく、予めＦＤに記録しておき、ＦＤＵを介してＦＤに記録された処理プログラムを実行してもよい。また、装置本体１６にハードディスク装置等の大容量記憶装置（図示省略）を接続し、ＦＤに記録された処理プログラムを大容量記憶装置（図示省略）へ格納（インストール）して実行するようにしてもよい。また、記録媒体としては、ＣＤ−ＲＯＭ等の光ディスクや、ＭＤ，ＭＯ等の光磁気ディスクがあり、これらを用いるときには、上記ＦＤＵに代えてまたはさらにＣＤ−ＲＯＭ装置、ＭＤ装置、ＭＯ装置等を用いればよい。
【００２５】
なお、本実施の形態では、一例として、カラースキャナ等の画像読取装置３０により多値のカラー原画像を入力する場合を説明するが、本発明はこれに限定されるものではなく、ＦＤ等の記憶媒体に予め記憶された画像データを入力するようにしてもよい。また、入出力ポート２８にネットワークボード等の信号授受装置を接続し、他の装置との間で信号授受を可能とする所謂ＬＡＮを構成して、他の装置から画像データを受け取るようにしてもよい。
【００２６】
また、多値のカラー原画像は、白黒画像や異なる色の組み合わせによる２値画像から、実写画像や自然画像等の画像を含むものである。
【００２７】
次に、本実施の形態の作用を説明する。物体画像部品化装置１０に電源が投入されると図２に示す処理ルーチンが実行される。なお、この処理ルーチンは、ＦＤ等の記録媒体に格納してコンピュータで実行可能なアプリケーションとして提供され、実行指示によって実行されるようにしてもよい。
【００２８】
まず、ステップ１００において画像読取装置３０に載置されたカラー原稿を読み取ることによって、カラー原画像（以下、原画像という）を読み取る。本実施の形態では、画像読取装置３０からＲＧＢデータが出力され、この出力されたＲＧＢデータを用いるものとする。なお、画像データとしてＣＭＹＫデータ等のように他の表色系で表された画像データであるときには、ＲＧＢ変換を行うようにすればよい。
【００２９】
図３には、読み取りが終了した原画像４０の一例を示した。原画像４０は、人物５２の周囲に草花５０が散在し、その近傍に植木４８が位置し、遠方（画像の上方）には山４２と小山４４とが位置し、上方に雲４６が位置している。
【００３０】
次のステップ１０２では、原画像について、ラインプロセスにより不連続情報の検出がなされる。ラインプロセス（線素）不連続を示す仮想の素子をいうものである。本実施の形態では、ラインプロセスを用いたニューラルネットワークによって、画像の不連続情報を検出する場合を説明する。まず。ラインプロセスについて詳細を説明する。
【００３１】
図４（Ａ）は、画素について位置と濃度との関係を求めた１次元データの一例を示したものであり、点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２は略近傍に位置し、点Ｐ６と点Ｐ７の間が大きく離れている。これらの１次元データに沿う曲線を求める場合、最小二乗法等の近似方法や補間方法で求めると、図４（Ｂ）に示すように、点Ｐ１〜Ｐ６から点Ｐ７〜Ｐ１２を曲線で連続させるために、点Ｐ６及び点Ｐ７から曲線３４が大きく離れるが滑らかになるよう求められる。
【００３２】
しかし、点Ｐ６及び点Ｐ７は曲線３４から大きく離れることになるので、得られる特性（すなわち曲線３４）は、実際のデータに則していないことになる。そこで、図４（Ｃ）に示すように、略近傍に位置する点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２について、各点に沿うように曲線３４ａ，３４ｂを求める。このように求めると、大きく離れている点Ｐ６と点Ｐ７の間に、不連続が生じる。この点Ｐ６と点Ｐ７の間の位置に不連続点３６を伴って曲線３４ａ，３４ｂを定めれば、実際のデータに則した特性を求めることができることになる。すなわち、点Ｐ６と点Ｐ７の間の位置の不連続点３６で不連続が発生することを表すラインプロセスがオンとなる。また、点Ｐ１〜点Ｐ６及び点Ｐ７〜点Ｐ１２の各間、すなわち、点Ｐ１と点Ｐ２、点Ｐ２と点Ｐ３、・・・点Ｐ５と点Ｐ６、及び点Ｐ７と点Ｐ８、点Ｐ８と点Ｐ９、・・・、点Ｐ１１と点Ｐ１２の各々の間はラインプロセスがオフとなる。
【００３３】
上記では、１次元データの場合を説明したが、２次元データで代表される画像にラインプロセスを適用する場合は、ラインプロセスを、２つの画素間について仮想的な関数として定義する。従って、定義されたラインプロセスが局所的な濃度差によってオンまたはオフすることにより画像中の不連続部分が不連続情報、この不連続部分を連結させたものが物体画像の輪郭として抽出することができる。
【００３４】
このラインプロセスを用いてニューラルネットワークでエネルギ関数の計算とその最小化を行って画像の不連続（情報）を求める。この詳細について説明する。
【００３５】
図５はラインプロセスを用いたニューラルネットワークを説明するための概念構成図である。図５に示すようにこのニューラルネットワークは、入力が画像であるときは画像に対応する一つの画素に対して３つのニューロンｆi,j ，ｈi,j ，ｖi,j が対応する。
【００３６】
ここで、ｆi,j は画素の値であり、ｈi,j ，ｖi,j はｆi,j 間の不連続性の存在、非存在を示すラインプロセスとよばれる隠れた関数である。すなわち、ｆi,j は入力される値の強度変化を、ｈi,j ，ｖi,j はそれぞれｆi,j の水平方向、垂直方向の連続性、不連続性を示している。
【００３７】
この３つの変数ｆi,j ，ｈi,j ，ｖi,j により、系全体のエネルギ関数を以下の（１）式に示すように定義する。
【００３８】
【数１】
0003782239.tif 000002
【００３９】
但し、ＥI ：曲面（奥行き）データの連続性
ＥD ：観測データ（初期値）の信頼性
ＥV ：ラインプロセスが超球面の角（０or１）に向かうこと
ＥP ：近傍の平行したラインプロセスが１となるための条件
ＥC ：単一のラインプロセスが１となるための条件
ＥL ：連続したマルチラインプロセスを好み、交差と不連続を嫌う条件
ＥG ：（２）式におけるｍ，ｎが発散しないための条件
ＣD ，ＣV ，ＣP ，ＣC ，ＣL ，ＣG ：パラメータ値
ｇ（）：シグモイド関数
ｄi,j ：初期値
【００４０】
また、変数の時間則を以下の（２）式により定義した。
【００４１】
【数２】
0003782239.tif 000003
【００４２】
但し、ｇ（Ｕi ）＝１／ｅ（−２λＵi ）
なお、ｅ（−２λＵi ）は指数関数であり、（  ）内部は指数部を表す
ｈi,j ＝ｇ（ｍi,j ）
ｖi,j ＝ｇ（ｎi,j ）
ｍ，ｎ：内部状態変数
【００４３】
上記（２）式の偏微分の計算例を次の（３）、（４）、（５）式に示す。
【００４４】
【数３】
0003782239.tif 000004
【００４５】
上記（３）〜（５）式の計算結果が小さくなる、すなわち０に近いもしくは０の値をとるということは、隣接する値ｆi,j+1 と値ｆi,j 、およびｆi+1,j とｆi,j が略同一の値となるときである。従って、上記の（１）式で表したエネルギＥI について、ｆi,j+1 ≒ｆi,j 、およびｆi+1,j ≒ｆi,j であるとすると、エネルギＥI は比較的小さくなることからラインプロセスｈi,j ，ｖi,j は値を持つ必要はないためｈi,j ，ｖi,j は比較的小さな値となる。
【００４６】
一方、隣接する値ｆi,j+1 と値ｆi,j 、および値ｆi+1,j と値ｆi,j との差が大きい場合、すなわち隣接する値の間に境界があるときは、（ｆi,j+1 −ｆi,j ）2 および（ｆi+1,j −ｆi,j ）2 は大きくなる。従って、エネルギＥI を小さくするにはｈi,j あるいはｖi,j が値を有し、（１−ｈi,j ）または（１−ｖi,j ）が比較的小さくなる必要がある。このように互いに隣接する値ｆi,j とｆi,j+1 またはｆi,j とｆi+1,j に差がある場合は、各値の間にあるラインプロセスｈi,j ，ｖi,j が値を有するようになり、異なる色の領域間に境界線が出現することになる。
【００４７】
この係数からラインプロセスが発生する条件を決定する。一例として、図６（Ａ）に示す単一ラインプロセスが発生する条件はＥP ＝０，ＥC ＝０，ＥL ＝２ＣL 、図６（Ｂ）に示す連続するラインプロセスが発生する条件はＥP ＝０，ＥC ＝０，ＥL ＝ＣL 、図６（Ｃ）に示す互いに平行なラインプロセスが発生する条件は、ＥP ＝ＣP ，ＥC ＝ＣC ，ＥL ＝２ＣL 、そして図６（Ｄ）に示すように互いに交差するラインプロセスが発生する条件は、ＥP ＝０，ＥC ＝２ＣC ，ＥL ＝10ＣL である。
【００４８】
上記の（１）〜（５）式により、系全体のエネルギを最小にする計算を繰り返すエネルギ学習を行った結果が、与えられた入力に対するニューラルネットワークの解となる。
【００４９】
このニューラルネットワークは、(a) 入力がノイズを付加された画像であった場合、得られたエネルギ最小でのｆi,j は復元画像に相当し、(b) 入力が明度画像の場合、得られたエネルギ最小でのｈij，ｖijは輪郭に相当し、(c) 入力が山などの測量データの場合、得られたエネルギ最小でのｆijは測量点から推定される各地点の高度を示すこととなる。本実施の形態では、(b) の画像入力に利用した例である。
【００５０】
なお、上記ニューラルネットワークは、変数に何を割り当てるかにより、様々な逆問題に適用できる拡張性を有しており、アルゴリズムが局所計算で実現されているため、光等の並列処理ハード装置化が容易であり、高速処理を行うことができるという利点も備えている。
【００５１】
従って、図２のステップ１０２では、上記ラインプロセスを用いたニューラルネットワークによって、エネルギ関数とその最小化を行って、不連続検出がなさることにより画像の輪郭部分が抽出される。
【００５２】
次に、ステップ１０４では、原画像における類似色の色領域設定がなされる。この類似色設定処理は、例えば、同系色や同一色、そして予め定めた色の組み合わせで指定される色や色群を、原画像上においてラベリングする処理である。例えば、原画像上の各画素について、各々直交する色相値軸、彩度値軸及び明度値軸から成る座標系の色空間（以下、ＨＬＳ色空間という）において求めた距離に基づいて反復型領域拡張法により統合処理等を行う方法がある。
【００５３】
具体的には、まず、原画像上から何れか１つの画素を選択する。次に、その画素の周囲の１画素（所謂、８近傍の１画素）を選択し、その選択された画素が既に何れかのラベルが付与された領域に含まれているときは、そのラベルを付与する。一方、含まれていないときは、選択された２つの画素のＨＬＳ色空間における距離、すなわち２つの画素の明度、彩度及び色相の類似性を求める。距離が長ければ類似性が低く、距離が短ければ類似性が高いことになる。距離が所定値未満のとき、２つの画素が類似しているとして、２つの画素に同一のラベルを付与する（ラベリング）。所定値以上のときは、類似していないとしてラベリングすることなく、８近傍の他の画素について上記処理を実行する。８近傍の全画素が終了すると、同一ラベルの付与された領域（原画像における）の最外周の１画素を選択し、上記処理を繰り返し実行する。上記処理を全画素について実行する。同一ラベルの付与された領域の最外周の画素から類似性の高い周囲の画素について同一ラベル付与を順次実行することによって、原画像上における色相、明度及び彩度が類似した画素による色領域を設定する。なお、同一ラベルが付与された画素群は、色相値、彩度値及び明度値のそれぞれの平均値を求め、求めた平均値をラベルの色相値、彩度値及び明度値とする。
【００５４】
なお、同一ラベルで指定された色領域は、不連続部分を含むことはないので、少なくともステップ１０２で検出された不連続すなわち輪郭が分割されることはない。
【００５５】
上記のように、ステップ１０４で、原画像の隣接した画素について色相、明度及び彩度の類似性で色領域が設定された後には、次のステップ１０６において、原画像がクラス分けされる。このクラス分けは、上記原画像に設定された類似色の色領域の間で関係を定める処理である。すなわち、１つのラベルが付与された色領域である同一または類似の色相、明度及び彩度による画素群は、同一物体である可能性が高いが、隣接せずに、原画像上で離れた位置にある類似色の色領域は、同一種類の物体である可能性が高い。そこで、予め類似色領域を種類分け（クラス分け）するための色相、明度及び彩度の値や範囲を定めておき、定められた値や範囲で、色領域を分類することによって原画像をクラス分けする。
【００５６】
なお、本実施の形態では、原画像に設定された類似色の色領域の間で関係を定めてクラス分けする例を説明するが、不連続情報は、物体画像の輪郭部分に相当することから、不連続情報（輪郭）の相似性でクラス分けすることもできる。
【００５７】
具体的には、図３に示す原画像４０を一例にすると、山４２、小山４４、及び雲４６を含んだ風景クラスＣＡ、散在した草花５０及び植木４８を含んだ環境クラスＣＢ、人物５２を含んだ人物クラスＣＣにクラス分けすることができる。
【００５８】
次のステップ１０８では、クラス分け毎に画像を抽出する。具体的には、図３に示す原画像４０を一例にすると、風景クラスＣＡは、山４２、小山４４、及び雲４６を含んだクラス画像５４として抽出される。このクラス画像５４は、山４２、小山４４、及び雲４６の原画像上の位置関係をそのまま維持し、これらの画像が少なくとも分断されないように、大きめの領域が設定される。なお、クラス画像５４に原画像４０上の背景をそのまま残存させてもよく、また、新規の背景、例えば予め定めた背景色上に上記画像を張り付けてもよい。同様にして、環境クラスＣＢは、散在した草花５０及び植木４８を含んだクラス画像５６、人物クラスＣＣは、人物５２を含んだクラス画像５８として抽出される。
【００５９】
上記のようにして抽出されたクラス画像上には、複数の物体画像が含まれていることがある。そこで、詳細な具体例は後述するが、まずステップ１１０では、上記ステップ１０８で抽出されたクラス画像のうち１つのクラス画像を指定する。次に、ステップ１１２において、１つの物体画像を抽出し、次のステップ１１４でベジェ曲線を用いて不連続情報をアウトライン化する。
【００６０】
次のステップ１１６において、物体画像をアウトライン化された輪郭及び物体画像の色情報が符号化された色で記述する。次のステップ１１８では、上記ステップ１１０で指定したクラス内に含まれている物体画像を全て抽出したか否かを判断し、未抽出の物体画像が残存するときに否定されてステップ１１２へ戻り、全物体画像の抽出が終了したときに次のステップ１２０へ進む。ステップ１２０では、原画像内に含まれているクラス画像の上記処理を全て終了したか否かを判断し、未処理のクラス画像が残存するときに否定されてステップ１１０へ戻り、全クラス画像の処理が終了したときに本ルーチンを終了する。
【００６１】
次に、図２のステップ１１０以降の処理を図３を参照して具体的に説明する。図３に示す風景クラスＣＡのクラス画像５４には、山４２、小山４４、及び雲４６の物体画像が含まれている。これらの物体画像をクラス画像５４から分離し抽出する。この分離抽出は、不連続情報を用いてなされる。不連続情報は、物体画像の輪郭部分に相当することから、不連続情報に囲まれた領域を物体画像として設定する。この不連続情報に囲まれた領域とは、物体画像の輪郭部分に相当する不連続点を連結した曲線よる閉領域であるが、１つの閉領域に限定されない。すなわち複数の閉領域からなる群であってもよい。なお、不連続点を連結した曲線による閉領域は、後述するように、パラメトリック曲線で連結して得た曲線によって閉領域を生成してもよい。
【００６２】
例えば、クラス画像５４内は、不連続情報に囲まれた領域が３つ設定される。この３つの領域を順次設定し、不連続情報と、不連続情報で囲まれた領域の色情報、すなわち領域内の画素について色相、明度及び彩度の各値が抽出され、山画像６０、小山画像６２、及び雲画像６４が抽出される。なお、図３の例では、山画像６０、小山画像６２、及び雲画像６４の各々について、抽出された各画像に背景画像を付加したものを物体画像として設定したものである。
【００６３】
同様に、環境クラスＣＢから、草花画像６６及び植木画像６８が抽出され、人物クラスＣＣから、人物の頭部画像７０、腕部画像７２、胴体部画像７４及び脚部画像７６が抽出される。
【００６４】
次に、抽出した画像の輪郭（不連続情報）を以下のようにしてアウトライン化する。不連続情報をアウトライン化するために記述が容易なパラメトリック曲線を採用し、特に本実施の形態では、パラメトリック曲線のうち扱いが簡便なベジェ曲線を採用する。このベジェ曲線Ｐ（ｔ）を定める数式を次の（６）式に示す。
【００６５】
【数４】
0003782239.tif 000005
【００６６】
0003782239.tif 000006
【００６７】
このようにして物体画像の輪郭部分をアウトライン化することによって、物体画像を拡大したり縮小したりしても、その輪郭形状は維持されることになる。そして、このアウトライン化した輪郭と、物体画像の色情報（符号化することが好ましい）による色とで物体画像を記述することによって、物体画像を再利用可能な形式で記述（部品化）できることになる。
【００６８】
なお、上記では、アウトライン化した輪郭と、物体画像の色情報による色とで物体画像を記述した例を説明したが、本発明はこれに限定されるものではなく、物体画像を記述する上での情報を付与してもよい。例えば、物体画像に線画やパターン等の画像が含まれていたり物体画像がマスク処理やフォーカス処理等の一定の処理を施されていたりする場合に、その画像や処理を属させてもよい。すなわち、物体画像に関する記述を、線やグラデーション等の模様等で細分化したり、施された処理で細分化したりすることもできる。
【００６９】
また、上記では、パラメトリック曲線を用いた場合を説明したが、パラメトリック曲線に限定されるものではなく、他の近似曲線を用いてもよい。
【００７０】
次に、部品化された物体画像を拡大する場合を説明する。以下の説明では、物体画像の色情報をＮＵＲＢＳ（Non Unifom Rational B-Spline）曲面を用いて符号化した場合を例にして説明する。このパラメトリック曲面としてＮＵＲＢＳを定める数式を次の（７）式に示す。
【００７１】
【数５】
0003782239.tif 000007
ｍ，ｎ：表面形状
ｕ，ｖ，ｔ：パラメータ
ｔi ：ノット点
Ｎi n ，Ｎj m ：基本関数
ｗij：重み
Ｐij：制御点
pn，pm：制御点の番号
【００７２】
以下、図７及び図８を参照して３次のＮＵＲＢＳを用いて解像度を２倍（面積比４倍）に拡大する場合を説明する。
【００７３】
図８のステップ２００では、図２のステップ１００に相当する原画像の読み取りがなされる。この読み取った原画像は、次のステップ２０２において、図２のステップ１０２に相当する、ラインプロセスによる不連続検出がなされ、次のステップ２０４において図２のステップ１１４に相当するアウトライン化がなされる。次のステップ２０６では、アウトライン化された不連続情報が拡大され、次のステップ２０８において、拡大された不連続情報とパラメトリック曲面を用いて解像度が大きくされる。そして、次のステップ２１０において、解像度が大きくされた画像が出力される。
【００７４】
図７は、原画像の一部を構成する縦横４個（合計１６個）の画素で画像８０を構成するものとして、各画素を制御点Ｐij（０≦ｉ≦３，０≦ｊ≦３）として用いる構成を示したものである。曲線８２は、上記説明したラインプロセスにより抽出した不連続情報を、そのまま拡大した場合に得られる曲線であり、曲線８４は、上記説明した不連続情報をアウトライン化した後に、拡大した場合に得られる曲線である。
【００７５】
画像は、その半分が白画素で他が黒画素であるものとして、各画素値として、制御点Ｐ00，Ｐ10，Ｐ20，Ｐ01，Ｐ11，Ｐ20が白、制御点Ｐ30，Ｐ21，Ｐ31，Ｐ12，Ｐ22，Ｐ32，Ｐ03，Ｐ13，Ｐ23が黒の値が設定される。
【００７６】
本実施の形態では、上記の拡大時に、制御点Ｐ00〜Ｐ33内に新規に画素を仮想点Ｓとして追加する。例えば、制御点Ｐ11，Ｐ12，Ｐ21，Ｐ22で囲まれた範囲内には、仮想点Ｓmn（０≦ｍ≦３，０≦ｎ≦３）が追加される。
【００７７】
これら追加された仮想点Ｓの画素値は、その周囲の原画像の画素値（制御点の画素値）を参照して求められる。本実施の形態では原画像中の不連続を考慮して画素値が決定される。すなわち、不連続情報である曲線８４を超えた画素の画素値を用いないものとした。例えば、仮想点Ｓ20の画素値を求めるとき、制御点Ｐ11は、仮想点Ｓ20とを結ぶ直線が曲線８４と交差することがないので参照するが、制御点Ｐ22は、仮想点Ｓ20とを結ぶ直線が曲線８４と交差するので参照しない。より詳細には、上記ＮＵＲＢＳを表す（７）式における重みを「０」に設定することで計算に反映させる。これによって、仮想点Ｓ20の画素値は白画素の値となる。同様にして他の仮想点の計算を行って画素値を求める。
このように、不連続情報をアウトライン化して拡大すると、ボケが抑制されたエッジを得ることができる。これによって、画像拡大時におけるエッジのジャギ（所謂ギザギザ）を抑えることができる。
【００７８】
なお、上記では、白画素と黒画素の例を説明したが、濃度を有する画素や色を有する画素であるときは、平均化や勾配による予測値を求めることによって画素値を求めてもよい。
【００７９】
以上説明したように、本実施の形態では、原画像をラインプロセスを用いて不連続情報を検出し、その不連続情報を用いて原画像に含まれる物体画像を抽出する。また、不連続情報を用いて物体画像の輪郭をアウトライン化して解像度変更、例えば拡大を行った場合であっても物体画像の輪郭がぼけたり粗くなったりすることなく、画像を生成することができる。これによって、解像度に依存することなく物体画像を部品化して記述することができ、再利用を容易にすることができる。
【００８０】
本実施の形態では、パラメトリック曲面のうちＮＵＲＢＳを用いて色情報を符号化した場合について説明したが不連続を含まない曲面では、バイキュービックを用いることができる。また、不連続を含む曲面ではＮＵＲＢＳを用い、不連続を含まない曲面ではバイキュービックを用いてもよい。
【００８１】
【発明の効果】
以上説明したように本発明によれば、物体画像の輪郭をアウトライン情報で記述すると共に、物体画像の色情報を、再利用可能な形式で符号化しているので、物体画像を再利用するときに、拡大したり縮小したりする必要がある場合であっても、物体画像の輪郭は拡大したり縮小したりしたときの解像度に依存することなく元の物体画像の輪郭を維持した形式で利用することができる、という効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる物体画像部品化装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態にかかる物体画像部品化装置で実行される処理の流れを示すフローチャートである。
【図３】原画像から物体画像を抽出する過程を示すイメージ図である。
【図４】ラインプロセスを説明するための説明図である。
【図５】ラインプロセスを用いたニューラルネットワークを説明するための概念構成図である。
【図６】画像に適用したラインプロセスを説明するための説明図である。
【図７】ＮＵＲＢＳを用いて解像度を拡大するときの画像の構成を説明するための説明図である。
【図８】原画像を拡大する処理の流れを示すフローチャートである。
【符号の説明】
１０    物体画像部品化装置
３０    画像読取装置
４０    原画像
５４    クラス画像
６０    山画像（物体画像）
【図１】
0003782239.tif 000008
【図２】
0003782239.tif 000009
【図３】
0003782239.tif 000010
【図４】
0003782239.tif 000011
【図５】
0003782239.tif 000012
【図６】
0003782239.tif 000013
【図７】
0003782239.tif 000014
【図８】
0003782239.tif 000015