(57)【特許請求の範囲】
【請求項１】
立体物の手書き画像等の立体イメージ画像（１）から直交面を認識する装置であって、
立体イメージ画像（１）から立体の各稜線を閉じた線分セグメント（Ｌ）として抽出する稜線抽出手段（２）と、
各稜線の線分セグメント（Ｌ）を方向（Ｄ）毎に分類する稜線方向分類手段（３）と、
各稜線の線分セグメント（Ｌ）が交差する頂点（Ｐ）を求める稜線頂点抽出手段（４）と、
この稜線頂点抽出手段（４）にて求められた頂点（Ｐ）のうち３本の線分セグメント（Ｌ）が交差する頂点（Ｐ）において面を構成する側の２本の線分セグメント（Ｌ）を求める認識対象面特定手段（５）と、
稜線方向分類手段（３）を参照し、認識対象面特定手段（５）で特定された面が構成される２本の線分セグメント（Ｌ）の方向情報から当該認識対象面の方向に関する面属性（Ｍ）を分類する面属性分類手段（６）と、
認識処理前若しくは認識処理後に認識対象面から例外の面が除外指定される例外面指定手段（７）とを備えたことを特徴とする立体イメージ画像の直交面認識装置。
【請求項２】
請求項１記載のものにおいて、認識対象面の面属性（Ｍ）に対し所定の面属性表示が付与される面属性表示手段（８）を設けたことを特徴とする立体イメージ画像の直交面認識装置。
【請求項３】
請求項１記載のものにおいて、例外面指定手段（７）にて指定された認識対象外の例外面に対し例外面属性表示が付与される例外面属性表示手段（９）を設けたことを特徴とする立体イメージ画像の直交面認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、立体物の手書き画像等の立体イメージ画像の直交面認識装置に係り、特に、デザイナーが描いたスケッチ画（平面）を読取り、ＣＡＤの入力となるように、三次元座標に復元することを目的とする立体イメージ画像の直交面認識装置の改良に関する。
【０００２】
【従来の技術】
昨今のＣＡＤシステムは機能が充実してきており、一度入力をおこなった形状に対して手を加えることが容易にできるようになった。
【０００３】
【発明が解決しようとする課題】
しかし、まだ形状の初期入力において、造形的な試行錯誤をするための道具には至っておらず、あらかじめ決められた形状以外の初期入力の場合には、例えばＣＡＤオペレーションの習熟の困難さやマウス操作による造形創造の困難さのように、デザイナーに困難を強いている。
また、デザイナーが伝統的におこなってきた手描きスケッチがあるにもかかわらず、改めて形状を入力することは、二重の手間（描画入力作業）を発生させている。
【０００４】
この発明は、以上の技術的課題を解決するためになされたものであって、ＣＡＤの初期入力段階に、手書きスケッチを活用することで、効果的にＣＡＤの入力を可能とする立体イメージ画像の直交面認識装置を提供するものである。
【０００５】
【課題を解決するための手段】
すなわち、この発明の基本的着想は、スケッチ画として描かれている形状がすべて直交面で成り立っていることを前提とし、図１に示すように、立体物の手書き画像等の立体イメージ画像１から直交面を認識するに際し、立体イメージ画像１から立体の各稜線を閉じた線分セグメントＬとして抽出する稜線抽出工程１１と、抽出された各稜線の線分セグメントＬの方向Ｄ及び交差する頂点Ｐに関する稜線属性を抽出する稜線属性抽出工程１２と、抽出された稜線属性に基づいて認識対象面の方向に関する面属性Ｍを判別する面属性判別工程１３とを備えたことを特徴とするものである。
【０００６】
また、このような着想を具現化する装置発明の基本的構成は、図２に示すように、立体物の手書き画像等の立体イメージ画像１から直交面を認識する装置であって、立体イメージ画像１から立体の各稜線を閉じた線分セグメントＬとして抽出する稜線抽出手段２と、各稜線の線分セグメントＬを方向Ｄ毎に分類する稜線方向分類手段３と、各稜線の線分セグメントＬが交差する頂点Ｐを求める稜線頂点抽出手段４と、この稜線頂点抽出手段４にて求められた頂点Ｐのうち３本の線分セグメントＬが交差する頂点Ｐにおいて面を構成する側の２本の線分セグメントＬを求める認識対象面特定手段５と、稜線方向分類手段３を参照し、認識対象面特定手段５で特定された面が構成される２本の線分セグメントＬの方向情報から当該認識対象面の方向に関する面属性Ｍを分類する面属性分類手段６とを備えたことを特徴とするものである。
【０００７】
このような技術的手段において、立体イメージ画像１については、各種透視図法（一点透視図法〜三点透視図法など）に則って正確に描画されたものは勿論のこと、直交面の構成が判別できる画像であれば不正確に（ラフに）描画されたものをも対象とする。
また、稜線方向分類手段３については、稜線抽出手段２にて抽出された線分セグメントＬの方向を分類するものであれば、分類数、分類領域を適宜選定して差し支えない。
このとき、例えば３方向分類の一般的アルゴリズムとしては、各２線分毎の延長線交点（消失点）の散らばりをゾーン分けして３グループに分類する、稜線でできる面の１つの稜線を基準として他を矛盾のないようにトレースする、などの方法が考えられるが、簡易的に分類するという観点からすれば、各種図法の特性に基づいて各線分セグメントＬを予め定めた境界毎に分類するようにすればよい。
【０００８】
また、ラフなスケッチ画像については線分セグメントＬが端点で一致しない場合があり得るので、稜線頂点抽出手段４で頂点を正確に抽出するという観点からすれば、共通端点の算出には座標誤差の許容範囲を加味することが好ましい。
【０００９】
更に、認識対象面特定手段５にて特定した面に対し面属性分類手段６にて面属性Ｍを分類した後の処理については適宜選定して差し支えない。
例えば、認識対象面の面属性を目視確認するという観点からすれば、認識対象面の面属性に対し所定の面属性表示が付与される面属性表示手段８を設けるようにすればよい。
ここで、所定の面属性表示としては、色分けや同系色の濃淡表示あるいはこれらの組み合わせなど適宜選定して差し支えない。
【００１０】
特に、本発明においては、認識対象中のスケッチ画像中に認識対象面から除外したい面（例外の面）がある場合には、認識処理前若しくは認識処理後に認識対象面から例外の面が除外指定される例外面指定手段７を設けるようにしたものである。
更に、例外面の面属性を目視確認するという観点からすれば、例外面指定手段７にて指定された認識対象外の例外面に対し例外面属性表示が付与される例外面属性表示手段９を設けるようにすればよい。
【００１１】
次に、上述した技術的手段の作用について説明する。
図２において、稜線抽出手段２は立体イメージ画像１から立体の各稜線を閉じた線分セグメントＬとして抽出する（図１の稜線抽出工程１１に相当）。
次いで、稜線方向分類手段３は各稜線の線分セグメントＬを方向Ｄ毎に分類し、稜線頂点抽出手段４は各稜線の線分セグメントＬが交差する頂点Ｐを求める（図１の稜線属性抽出工程１２に相当）。
更に、認識対象面特定手段５は、稜線頂点抽出手段４にて求められた頂点Ｐのうち３点で交差する頂点Ｐにおいて面を構成する側の２本の線分セグメントＬを求め、面属性分類手段６は、稜線方向分類手段３を参照し、認識対象面特定手段５で特定された面が構成される２本の線分セグメントＬの方向情報から当該認識対象面の方向に関する面属性Ｍを分類する（図１の面属性判別工程１３に相当）。
この結果、立体物の手書き画像等の立体イメージ画像１から直交面が認識される。
【００１２】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいてこの発明を詳細に説明する。尚、実施の形態１は本発明に係る立体イメージ画像の直交面認識装置の基本的構成を含む態様である。
◎実施の形態１
図３は本発明に係る立体イメージ画像の直交面認識装置が組込まれた画像処理装置（ワークステーション）の実施の形態１の概要を示す説明図である。
同図において、符号２１は例えば３点透視図法にて描かれた１枚の手書き立体透視画像を読取るイメージスキャナ等の画像入力装置、２２は画像入力装置２１にて読取られた立体イメージ画像データ（ラスタタイプのデータ形式）をベクトルタイプのデータ形式に変換するベクトル変換装置、２３はベクトル変換装置２２で変換された二次元データ（Ｘ，Ｙ）及び直交面認識に伴う各種データ（例えば稜線の線分セグメントなど）が書き換え可能に格納される記憶装置、２４は記憶装置２３に取り込まれた二次元データ（Ｘ，Ｙ）に基づいて一連の演算処理を行ない、最終的に立体イメージ画像の直交面を認識する演算装置、２５は記憶装置２３に格納された直交面認識された立体イメージ画像を表示するディスプレイなどの画像表示装置、２６は画像表示装置２５上に表示された立体イメージ画像の任意の図形箇所を選択し、当該選択された図形箇所に施されるハッチング／色を指示する図形選択ハッチング／色指示装置である。
【００１３】
また、前記記憶装置２３には、例えば図４に示すような直交面認識処理プログラムが格納されており、演算装置２４はこの直交面認識処理プログラムを実行し、読み込んだスケッチ画像（立体イメージ画像）の直交面を認識し、これをデータに反映するようになっている。
以下、図４に基づいて直交面認識処理のアルゴリズムについて説明する。
【００１４】
（１）稜線のセグメント化（図４：ステップ１）
先ず、画像入力装置２１にて読み込んだスケッチ画像の稜線をベクトル変換装置２２にてセグメント化し、稜線を線分セグメントとして記憶装置２３に用意する。
（２）稜線の分類（図４：ステップ２）
次いで、各線分セグメントを三点透視図法（図５（ａ）参照）の３つの消失点のいずれに向かっているかを分別する。
この処理は、線分セグメントが、物体の稜線として、垂直稜線（Ｙ方向）／右水平稜線（Ｚ方向）／左水平稜線（Ｘ方向）のいずれかになるかを決定するものである。
一般的には、一点透視図法（図５（ｂ）参照）、二点透視図法（図５（ｃ）参照）、三点透視図法に分類されるが、ここでは、斜め上から見下ろした場合の画像が、デザイナーの描く立体描写の主なアングルであることに着目して、三点透視図法による、３消失点の方向分類を対象とする。
但し、二次元画像として処理を行うため、不正確な（ラフな）三点透視スケッチ画像であっても、本アルゴリズムは適用できる。尚、稜線を３方向に分類可能であれば、一点透視図法も二点透視図法も対象範囲となる。
【００１５】
本実施の形態で用いられた３方向分類のアルゴリズムとしては、図６（ａ）に示すように、三点透視図の線分セグメントを４５度／１３５度／２２５度／３１５度を境界として、左右稜線と垂直稜線とに分類するという簡易なものを採用した。尚、図６（ａ）の「上からのアングル」とは図６（ｂ）の状態を指し、「下からのアングル」とは図６（ｃ）の状態を指す。
例えば図７（ａ）の直方体の稜線を分類すると、図７（ｂ）に示すように表される。
【００１６】
（３）面の抽出（図４：ステップ３）
次に、各線分セグメントから共通端点を探し出し、物体の角（頂点）を求める。この後、求めた角を用いて集中する稜線を逆算する。
ラフなスケッチ画像の場合、線分セグメントが端点で一致しない場合が発生する（図８（ａ）参照）。このとき、共通端点の算出には座標誤差の許容範囲を加味し、相互の交点を一致させる（図８（ｂ）参照）。
共通の端点（頂点）を辿る方向を一定にして追跡することにより、閉じた線分セグメントが抽出され、これが面になる（図８（ｃ）参照）。
【００１７】
共通端点には、図９（ａ）に示すように、頂点に接している線分セグメントの個数を情報として保持する。直交面の画像であれば、頂点に接する個数は、２個または３個である。また、Ｔ字型に接している線分セグメントは、端点に接する個数が１個となる。
このとき、Ｔ字型に接する線分セグメントは、前後に稜線が交差している状況を示している。また、追跡した線分セグメントは共有端点が切れることになり面にならない。したがって、事前にＴ字型に接している線分セグメントについては、接点になる箇所で線分セグメントを仮分解しておく。本実施の形態では、端点に接する個数が１個である箇所の接点情報としては、例えば“−３”として仮であることを示す。
【００１８】
（４）面の方向分類（図４：ステップ４〜ステップ７）
この段階で立体図形を構成しているすべての線分セグメントが面として操作可能である。次の段階として、面の直交方向への３分類の判定をする。
各面は頂点において、厚みをもった立体であれば２個または３個の共有頂点情報を持っている。このうちから、３個の共有頂点を持ついずれか１つの頂点に着目し、着目した頂点から、その面を構成している線分セグメントを取り出す。面を構成する頂点は２本の線分セグメントからなっているから、この２本の線分セグメントから、稜線の分類を当てはめると、各面はＸ方向とＹ方向、Ｙ方向とＺ方向、Ｚ方向とＸ方向の組み合わせで表される。
例えば図１０（ａ）に示す各面は、図１０（ｂ）に示すように、左面（ＸＹ面）、右面（ＹＺ面）、上下面（ＺＸ面）になる。
このように、線分セグメントの分類において、ＸＹＺの軸が具体的に特定できない場合であっても、３つの面方向に分類することは可能である。
尚、厚みをもたない立体（ＸＹ平面またはＹＺ平面またはＺＸ平面に平行な面）の場合には、共有頂点数が２個である。この場合はいずれの頂点の両側の稜線も同じ対の組合せになるため、そのまま判定に利用できる。
【００１９】
（５）分類情報のデータへの反映（図４：ステップ８）
以上の面の分類判定が本アルゴリズムの主眼であるが、図形選択ハッチング／色指示装置２６（図３参照）にて対象図形部分を選択し、分類した面をハッチング又は色により塗り分けることが可能であり、これによって、表示画像が理解し易くなる。例えば図１１（ａ）の立体イメージ画像をハッチングにより塗り分けると、図１１（ｂ）に示すようになる。
更に、ハッチング又は色に濃淡の変化を与えるようにすれば立体感を強調または効果的に表現することが可能になる。
このとき、面の向きが特定されている場合においては、左上に光源がある陰影が自然に感じられ易いことから、例えば図１１（ｃ）に示すように、上下面（ＺＸ面）を明るく、左面（ＸＹ面）を中程度、右面（ＹＺ面）を暗くした陰影色を用いるとより自然な効果が得られ易い。また、スケッチ画像が下からのアングルの場合には、上下面（ＺＸ面）を最も暗くすると適切である。
【００２０】
また、陰影（濃淡）の度合として、３分類に手動で指示する方法と、演算により自動で指示する方法とがある。
このとき、自動で陰影の度合を算出する手法としては、
・３分類された各面の合計を比率として、陰影（明度）に比例（正比例、対数比例など）させる、
・３分類された稜線の方向の平均（角度の平均など）から３分類された面の向きを算出し、面向きを陰影（明度）と関連づけるテーブル又は式に当てはめ、陰影の度合を決定する、
・上記のような手法に対して、左上又は右上からの光源が人の立体認識により自然なものと捉えられる場合には、予め３分類の面に陰影の量を加味する演算を加える、
等の手法が挙げられる。
【００２１】
尚、本実施の形態においては、「稜線の分類」の後に、「面の抽出」を行っているが、「稜線の分類」の前に「面の抽出」を行うようにしてもよい。
【００２２】
以下に、画像入力装置２１にて読み込んだ各種立体画像の認識結果（各例はいずれも２面を濃淡表示したもの）を示す。
図１２（ａ）は複雑に組み合った立体画像（透視図がゆがんでいても稜線の分類ができれば対応可能）の一例であり、この認識結果を図１２（ｂ）に示す。これによれば、複雑に組み合った立体画像であっても、正確に面分けが可能であることが理解される。
また、図１３（ａ）は錯視状態の立体画像の一例であり、この認識結果を図１３（ｂ）に示す。これによれば、凹凸の解釈がはっきりしていなくても面分けが可能であることが理解される。
更に、図１４（ａ）は面の凹凸が矛盾している立体画像の一例であり、この認識結果を図１４（ｂ）に示す。これによれば、面の凹凸が矛盾している立体画像であっても、三次元として認識していないため、面分け処理について矛盾が生じないことが理解される。
【００２３】
本実施の形態で用いられるアルゴリズムは、スケッチ画像を高速に直交面認識し、色分けすることができることから、立体表示のビジネスグラフの色付けへの応用が考えられる。
例えば図１５に示すように、ペーパードキュメントとなっている状態のグラフ表示箇所を例えばマーカーでＣ(1)，Ｃ(2)，Ｃ(3)のようにかたまりとして夫々色指示し、編集パッドなどを有する複写機で処理（直交面色分け濃淡処理）するようにすれば、Ｃ(1)，Ｃ(2)，Ｃ(3)の指示領域の立体画像の各面に対して色付きの濃淡表示を一度に施すことが可能である。
【００２４】
◎実施の形態２
実施の形態１では、面を抽出する段階で、線分セグメントがスケッチ画像の立体を取り囲んでいることを前提に面を再構成している。このため、実施の形態１のアルゴリズムでは、図１６（ａ）に示すように、立体画像３０の凹形状の部分３１（図中斜線部分）が貫通しているかどうかを認識することができない。
また、図１６（ｂ）に示すように、貫通箇所３２にＴ字で稜線３３が前後する立体画像３０の場合には、３共有頂点の条件が上手く働かず、実施の形態１のアルゴリズムが適用できない。これは、複数個の独立した物体がある場合に、面の一貫性や対象の外側空間に対して考慮されていないためである。しかし、これらの判断は３次元処理や画像認識などのコストの高い処理が必要であり、実施の形態１のアルゴリズムの簡便さを損なうことになってしまう。
【００２５】
そこで、本実施の形態では、例えば図形選択ハッチング／色指示装置２６にて認識処理前に例外（穴、斜面、曲面等）の面を認識対象から除外指示し、例外面に対して所定のハッチング／色処理を施すようにしたものである。
本実施の形態における直交面認識処理のアルゴリズムを図１７に示す。
同図においては、例外の面を構成する線分セグメントをＸＹＺ軸以外の第４の分類とし、この第４の分類の線分セグメントを除いた線分セグメントから直交面を分類すると共に、第４の分類の線分セグメントを有する面、すなわち、面が３交点の頂点を含まない面を直交面以外の例外面として分類し、直交面及び例外面に対して所定のハッチング／色処理を行う。尚、図１７において、「稜線の分類」と「面の抽出」との処理順を逆にしてもよいことは勿論である。
【００２６】
本実施の形態で用いられる例外面に対するハッチング／色処理としては以下の手法が採用されている。
すなわち、例外として穴を表現する箇所には、表示をしない（ハッチングなし若しくは色なし）、又は、背景色で表示する。
例外として、斜面、曲面に対しては、
・直交面であることを明示する陰影と異なる（斜面、曲面であることを明示する）ハッチング又は色で表示する。また、この面は手動で陰影の度合を指示する、
・直交面の３分類の陰影の中間のハッチング又は色で表示する、
・斜面又は曲面に隣接する２つ以上の直交面がある場合に、それらの面の陰影の度合を内分する度合で表示する、
などの手法が挙げられる。
【００２７】
◎実施の形態３
本実施の形態は、実施の形態２（認識処理前に例外面を認識対象から除外する方式）と異なり、例えば図１８に示すような直交面認識処理のアルゴリズムを採用し、認識処理後に例外面を除外処理するようにしたものである。
特に、本実施の形態では、例外面として指示される場合のほか、３本以上の線分セグメントが交差する頂点において面を構成する側の２本の線分セグメントが同じ軸分類である場合も直交面以外の分類として処理するようにしている。
【００２８】
【発明の効果】
以上説明してきたように、本発明によれば、スケッチ画に描かれている物体の面を直交面のみとした条件において、立体画像の各稜線の属性を抽出し、抽出された稜線属性に基づいて認識対象面の方向に関する面情報を判別するようにしたので、三次元処理を一切必要とせずに、直交面で表現された立体画像の面の向きを自動的に判断することができる。
これを利用することにより、立体画像認識においては、三次元処理を必要としない高速な面判断そのものに利用することができるばかりか、他の方法により導き出された三次元立体情報の検証（三次元立体情報の認識の整合性のチェックなど）としての支援手段として利用することができる。
【００２９】
また、本発明においては、認識対象面の面属性に対し所定の面属性表示を施すようにしたので、立体画像の立体感を強調するなど立体画像の表示品質をより向上させることができる。
更に、ドキュメントとして二次元平面に描かれた立体図面、立体グラフなどをカラー複写機などの色付け操作に対して、いままで個々に領域指示していたものを自動で処理することが可能になる。また、陰影の色指定も、物体の色を指示するだけで簡易的に陰影付け効果の濃淡にすることも可能である。
【００３０】
更に、本発明においては、認識処理前若しくは認識処理後に、認識対象面から例外（穴、斜面、曲面など）の面を除外するようにしたので、直交面以外の面を含む立体画像に対しても直交面の認識処理を確実に行うことができる。
更にまた、例外の面に対して例外面属性表示を施すようにすれば、立体画像の直交面以外の例外面についても直交面と区別した状態で適切に表示することができる。
【図面の簡単な説明】
【図１】  この発明における立体イメージ画像の直交面認識方法の基本的着想を示す説明図である。
【図２】  この発明に係る立体イメージ画像の直交面認識装置の概要を示す説明図である。
【図３】  実施の形態１に係る立体イメージ画像の直交面認識装置が組込まれた画像処理装置の概要を示す説明図である。
【図４】  実施の形態１で用いられる直交面認識処理のアルゴリズムを示すフローチャートである。
【図５】  本実施の形態の対象画像の透視図法を示すもので、（ａ）は三点透視図法、（ｂ）は一点透視図法、（ｃ）は二点透視図法を夫々示す説明図である。
【図６】  （ａ）は稜線の分類を示す説明図、（ｂ）は（ａ）の中の上からのアングルの説明図、（ｃ）は（ａ）の中の下からのアングルの説明図である。
【図７】  （ａ）は立体画像の一例である直方体画像を示す説明図、（ｂ）は（ａ）に対する稜線の分類状態を示す説明図である。
【図８】  （ａ）〜（ｃ）は面の抽出過程を示す説明図である。
【図９】  （ａ）は各線分セグメントが交差する頂点の交差数を示す説明図、（ｂ）は交差数が１個である頂点の扱いを示す説明図である。
【図１０】  （ａ）〜（ｂ）は面の方向分類過程を示す説明図である。
【図１１】  （ａ）〜（ｃ）は分類情報のデータへの反映処理例を示す説明図である。
【図１２】  （ａ）は立体画像例、（ｂ）はその認識結果を示す説明図である。
【図１３】  （ａ）は立体画像例、（ｂ）はその認識結果を示す説明図である。
【図１４】  （ａ）は立体画像例、（ｂ）はその認識結果を示す説明図である。
【図１５】  ペーパードキュメントに対して直交面認識処理を施したコピー例を示す説明図である。
【図１６】  （ａ）（ｂ）は実施の形態１で用いた直交面認識処理のアルゴリズムでは適用しにくい例外画像例を示す説明図である。
【図１７】  実施の形態２で用いられる直交面認識処理のアルゴリズムを示すフローチャートである。
【図１８】  実施の形態３で用いられる直交面認識処理のアルゴリズムを示すフローチャートである。
【符号の説明】
１…立体イメージ画像，２…稜線抽出手段，３…稜線方向分類手段，４…稜線頂点抽出手段，５…認識対象面特定手段，６…面属性分類手段，７…例外面指定手段，８…面属性表示手段，９…例外面属性表示手段，１１…稜線抽出工程，１２…稜線属性抽出工程，１３…面属性判別工程，Ｌ…線分セグメント，Ｐ…頂点，Ｄ…方向，Ｍ…面属性，２１…画像入力装置，２２…ベクトル変換装置，２３…記憶装置，２４…演算装置，２５…画像表示装置，２６…図形選択ハッチング／色指示装置
【図１】
0003757996.tif 000002
【図２】
0003757996.tif 000003
【図３】
0003757996.tif 000004
【図４】
0003757996.tif 000005
【図５】
0003757996.tif 000006
【図６】
0003757996.tif 000007
【図７】
0003757996.tif 000008
【図８】
0003757996.tif 000009
【図９】
0003757996.tif 000010
【図１０】
0003757996.tif 000011
【図１１】
0003757996.tif 000012
【図１２】
0003757996.tif 000013
【図１３】
0003757996.tif 000014
【図１４】
0003757996.tif 000015
【図１５】
0003757996.tif 000016
【図１６】
0003757996.tif 000017
【図１７】
0003757996.tif 000018
【図１８】
0003757996.tif 000019