【手続補正書】
【提出日】平成29年12月8日(2017.12.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段によって抽出された前記複数の輪郭の中から所定の輪郭状態を持った前記輪郭を選択する選択手段と、
前記選択手段によって選択された前記輪郭に基づいて、前記処理対象の画像を前景領域、背景領域、境界領域に区分する区分手段と、
前記区分手段によって区分された前記処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して、前記境界領域を前記前景領域と前記背景領域とに分割する所定の画像分割処理を行う分割処理手段と、
を備える、
ことを特徴とする画像処理装置。
【請求項２】
前記所定の輪郭状態は、前記輪郭の包含関係で規定され、
前記選択手段は、前記輪郭抽出手段によって抽出された前記複数の輪郭の中から最外殻の輪郭を選択する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の輪郭状態は、前記輪郭の長さで規定され、
前記選択手段は、前記複数の輪郭の中から前記輪郭の長さが所定の条件を満たす前記輪郭を選択する、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
ユーザ操作によって前記輪郭の長さを任意に指定する指定手段を更に備え、
前記選択手段は、前記複数の輪郭の中から前記指定手段によって指定された長さの前記輪郭を選択する、
ことを特徴とする請求項１乃至３のいずれか1項に記載の画像処理装置。
【請求項５】
前記処理対象の画像に対して、所定のエッジ検出処理を行うエッジ検出手段を更に備え、
前記輪郭抽出手段は、前記エッジ検出手段によって検出されたエッジ部分を基に複数の領域候補の各々を区分する前記複数の輪郭を抽出する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記エッジ検出手段は、画像内の局所的な前記エッジ部分を検出し、
前記輪郭抽出手段は、前記エッジ検出手段によって検出される画像内の局所的な前記エッジ部分が連結して構成される前記輪郭を複数抽出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記輪郭抽出手段は、前記処理対象の画像に含まれる複数の領域候補の中から前記前景領域に対応する前記領域候補が確定する前の段階で、前記前景領域以外の領域を含む前記複数の領域候補の各々を区分する前記複数の輪郭を抽出し、
前記所定の画像分割処理は、前記前景領域に対応する前記領域候補が確定した後、確定した前記前景領域に対応する前記領域候補内の画素情報を用いて、前記前景領域以外の領域を含まずに、前記前景領域のみの前記輪郭が抽出されるように画像を分割する、
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記区分手段は、前記選択手段によって選択された前記輪郭を、前記前景領域か前記背景領域かの不確かさに応じた幅で拡張することで前記境界領域を設定する、
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記区分手段は、前記選択手段によって選択された前記輪郭に基づいて、前記前景領域、前記背景領域、前記境界領域に区分した３値マップの画像を生成し、
前記分割処理手段は、前記区分手段によって生成された前記３値マップの画像を用いて、前記処理対象の画像に対して、前記境界領域に含まれる前記境界画素を前記前景領域に含まれる前記前景画素又は前記背景領域に含まれる前記背景画素のいずれかに確定して、前記境界領域を前記前景領域と前記背景領域とに分割する前記所定の画像分割処理を行う、
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記区分手段は、前記選択手段によって選択された前記輪郭の内部を前記前景領域の指定色で塗りつぶすと共に、前記選択手段によって選択された前記輪郭を前記境界領域の指定色で描画することによって前記３値マップの画像を生成する、
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記所定の画像分割処理は、前景か背景かが未確定の前記境界領域内の画素については、隣接する画素における輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前記前景か前記背景かを決定する処理である、
ことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記所定の画像分割処理は、前記所定のエッジ検出処理よりも領域分割の処理速度は遅いが領域分割の精度が高い処理である、
ことを特徴とする請求項１乃至請求項１１のいずれか１項に記載の画像処理装置。
【請求項１３】
画像処理装置における画像処理方法であって、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する処理と、
抽出された前記複数の輪郭の中から所定の輪郭状態を持った前記輪郭を選択する処理と、
選択された前記輪郭に基づいて、前記処理対象の画像を前景領域、背景領域、境界領域に区分する処理と、
区分された前記処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して、前記境界領域を前記前景領域と前記背景領域とに分割する所定の画像分割処理を行う処理と、
を含む、
ことを特徴とする画像処理方法。
【請求項１４】
画像処理装置のコンピュータに対して、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する機能と、
抽出された前記複数の輪郭の中から所定の輪郭状態を持った前記輪郭を選択する機能と、
選択された前記輪郭に基づいて、前記処理対象の画像を前景領域、背景領域、境界領域に区分する機能と、
区分された前記処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して、前記境界領域を前記前景領域と前記背景領域とに分割する所定の画像分割処理を行う機能と、
を実現させる、
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
しかしながら、上述した特許文献の技術にあっては、抽出対象の一点をタップ指定するだけで、セグメンテーション処理が実行可能となるためにユーザの負担を大幅に軽減することが可能となるが、例えば、抽出対象が複雑な形状の場合や、抽出候補が複数ある場合など、抽出対象の状態によっては、その抽出対象の全体を正しく領域内に収めることができない場合があり、画像内を背景画素と前景画素に分割する処理に悪影響を及ぼしてしまう虞があった。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
前記課題を解決するために本発明の画像処理装置の一態様は、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段によって抽出された前記複数の輪郭の中から所定の輪郭状態を持った前記輪郭を選択する選択手段と、
前記選択手段によって選択された前記輪郭に基づいて、前記処理対象の画像を前景領域、背景領域、境界領域に区分する区分手段と、
前記区分手段によって区分された前記処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して、前記境界領域を前記前景領域と前記背景領域とに分割する所定の画像分割処理を行う分割処理手段と、
を備える、
ことを特徴とする。
また、前記課題を解決するため、本発明の画像処理法の一態様は、
画像処理装置における画像処理方法であって、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する処理と、
抽出された前記複数の輪郭の中から所定の輪郭状態を持った前記輪郭を選択する処理と、
選択された前記輪郭に基づいて、前記処理対象の画像を前景領域、背景領域、境界領域に区分する処理と、
区分された前記処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して、前記境界領域を前記前景領域と前記背景領域とに分割する所定の画像分割処理を行う処理と、
を含む、
ことを特徴とする。
また、前記課題を解決するため、本発明のプログラムの一態様は、
画像処理装置のコンピュータに対して、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する機能と、
抽出された前記複数の輪郭の中から所定の輪郭状態を持った前記輪郭を選択する機能と、
選択された前記輪郭に基づいて、前記処理対象の画像を前景領域、背景領域、境界領域に区分する機能と、
区分された前記処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して、前記境界領域を前記前景領域と前記背景領域とに分割する所定の画像分割処理を行う機能と、
を実現させる、
ことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
【図１】画像処理装置として適用したタブレット端末装置の基本的な構成要素を示したブロック図。
【図２】画像メモリ３ｃから処理対象として読み出した画像データ（元画像）を例示した図。
【図３】元画像に対して所定のエッジ検出処理を施した画像（エッジ検出結果）を示した図。
【図４】エッジ検出後の画像から最外殻の輪郭を抽出した画像（輪郭抽出結果）を示した図。
【図５】図５（１）、図５（２）は、輪郭のカウント方法を説明するための図。
【図６】白色の紙に手描きで描いた絵を撮影した画像（元画像）の中からその絵を切り抜くための処理を示したフローチャート。
【図７】図６のステップＡ４（３値マップ作成処理）を詳述するためのフローチャート。
【図８】図８（１）は、図２の元画像に対するエッジ検出結果の他の例を示した図、図８（２）は、最外殻の輪郭を抽出した画像（輪郭抽出結果）の他の例を示した図。
【図９】輪郭抽出結果から３値マップ作成処理によって得られた画像を例示した図。
【図１０】３値マップ画像に基づいて切り抜いた画像を例示した図。
【図１１】図１１（１）は、文字列を含む元画像を示した図、図１１（２）は、この元画像を基に作成した３値マップの画像を例示した図。
【図１２】本実施形態の変形例を説明するためのフローチャート。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
図２は、画像メモリ３ｃの中から処理対象として読み出した画像データ（元画像）を例示した図である。
元画像は、例えば、横８００ピクセル×縦６００ピクセルのサイズを持った画像で、白紙やホワイトボードの略中央部に青インクのペンなどを使用して手書きで描いた絵（青線で描いた鬼の顔）Ｐを撮影した画像（グレイスケール画像）である。図示の例の元画像は、撮影時に反射などの影響を受けてその画像全体に輝度のバラつき、明るさのむらが起き、画像の下半分が暗く、上半分が明るくなっている画像を例示した場合である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本実施形態では、図２に示した元画像の中から白紙やホワイトボードに描いた手書き絵Ｐを切り抜く処理を行うための前処理として、その画像の全体に対して所定のエッジ検出処理を行うようにしている。なお、元画像は、グレイスケール画像に限らず、勿論、カラー画像であってもよい。また、描画媒体として白紙やホワイトボードを例示したが、これに限らず、色紙や黒板などを描画媒体としてもよい。更に、元画像のサイズは、横８００ピクセル×縦６００ピクセルに限らず、任意である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本実施形態では、輪郭抽出処理として、opencvのFindContoursを使用する。このFindContoursは、輪郭近似手法の関数で、エッジ検出処理が施された２値画像の中から全ての輪郭を抽出するもので、図示の例では、元画像の背景部分は白色で表し、手書き絵Ｐの部分は、その最も外側の輪郭（最外殻）を赤色、その内側（１番目の内側）の輪郭を緑色、次の内側（２番目の内側）の輪郭を青色、更に内側（３番目の内側）の輪郭を黄色で表現した場合を示している。なお、関数FindContoursによる輪郭近似手法は、画像認識処理として一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
このようにして最外殻の輪郭を抽出した後、本実施形態では、この最外殻の輪郭抽出結果から３値マップの画像を作成するようにしている。この３値マップの画像は、明らかに前景ピクセルとして確定することができる前景領域、明らかに背景ピクセルとして確定することができる背景領域、前景ピクセルか背景ピクセルかを確定することができない不確定な境界領域の３つに区分した画像である。これによって得られた３値マップの画像に対して所定の画像分割処理（例えば、Grab  Cutのセグメンテーション処理）を実行することによりその画像内から所望する手書き絵Ｐの領域（線画部分の領域）を切り抜くようにしている。なお、この画像分割処理は、画像全体を前景画素（前景領域）と背景画素（背景領域）に分割する処理であり、Grab  Cutと呼ばれるセグメンテーション処理である。この画像分割処理において、前景領域とは、対象となる領域（ユーザの所望する手書き絵Ｐの領域：切り抜き領域）、また、背景領域とは、前景領域以外の領域を意味している（言い換えると、対象となる領域に対応する輪郭の内部、対象となる領域に対応する輪郭の外部を意味している）。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
図７は、３値マップ作成処理（図６のステップＡ４）を詳述するためのフローチャートである。
先ず、初期化処理として、制御部１は、切り抜き対象の画像（輪郭抽出結果）と同じサイズ（例えば、横８００ピクセル、縦６００ピクセル）の画像を作成し（ステップＢ１）、この作成画像（同サイズの画像）の全体を、明らかな背景ピクセルを指定する色（背景領域の指定色）で塗りつぶす（ステップＢ２）。この場合、背景領域の指定色が黒色であれば、画像全体を黒色で塗りつぶす。そして、切り抜き対象の画像（輪郭抽出結果）の中から各々の輪郭で区分される各々の領域の包含関係に基づいて、最も外側にある輪郭（最外殻の輪郭）を全て抽出した後、最外殻の輪郭が複数存在する場合には、最初の最外殻の輪郭を選択する（ステップＢ３）。例えば、図８（２）に例示した輪郭抽出結果に対して、最も外側にある輪郭としては、例えば、画像の左上隅部の斜め線（鬼の手書き絵以外の余分な輪郭）が最初の最外殻の輪郭として選択される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
このような初期化処理（ステップＢ１〜Ｂ３）を行った後、全ての最外殻輪郭を選択してそれに対する処理が終わったか否かを調べるが（ステップＢ４）、いま、最初の最外殻の輪郭を選択した場合であるから（ステップＢ４でＮＯ）、次のステップＢ５に移り、選択した最外殻輪郭の長さを計測し、この計測した長さは所定の長さ（比較基準用の長さ）よりも長いか否かを調べる（ステップＢ６）。すなわち、エッジ検出を基に検出された複数の輪郭の中から所定の輪郭状態を持った輪郭を最外殻の輪郭として抽出するために、最外殻輪郭の長さは、比較基準用の長さよりも長いか否かを調べる。ここで、比較基準用の長さとは、手書き絵の画像部分の中からその最外殻の輪郭を特定するために最適な値で、予め決められた固定値である。例えば、比較基準用の長さは、画像の横サイズに相当する８００ピクセルとなっているが、その値はこれに限らないことは勿論である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
ここで、図８（２）に示したように最初に選択した最外殻の輪郭の長さは、比較基準用の長さ（例えば、８００ピクセル）よりも短いので（ステップＢ６でＮＯ）、ステップＢ１０に移って次の最外殻の輪郭を選択した後、上述のステップＢ４に戻り、以下、全ての最外殻の輪郭を選択し終わるまで上述の動作を繰り返す。いま、次の最外殻の輪郭として、鬼の手書き絵Ｐの中からその最外殻の輪郭が選択されたものとする（ステップＢ１０）。この場合、図８（２）の例では、未選択の最外殻輪郭がまだ残っているので（ステップＢ４でＮＯ）、次のステップＢ５に移り、選択した最外殻輪郭の長さを計測し、この計測した長さは比較基準用の長さよりも長いか否かを調べる（ステップＢ６）。この場合、図８（２）に示したように鬼の手書き絵Ｐにおける最外殻の輪郭は、比較基準用の長さよりも長いので（ステップＢ６でＹＥＳ）、３値マップを作成する処理に移る（ステップＢ７〜Ｂ９）。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
図９は、図８（２）の輪郭抽出結果に基づいて作成された３値マップの画像を例示した図である。
この場合、選択した最外殻輪郭の内部を塗りつぶす処理（ステップＢ７）と、その最外殻の輪郭線を描画する処理（ステップＢ９）の実行時には、opencvのdrawContoursを使用し、また、その輪郭線の太さを１０ピクセルのラインとした。なお、図中、破線の円は、便宜上、３値マップ画像の一部を拡大して示したもので、最外殻輪郭の内部が塗りつぶされた白色の前景領域となり、また、太さ１０ピクセルの灰色の輪郭線が境界領域となり、その他の領域が黒色の背景領域となり、色分けされた３値マップの画像が得られる。なお、関数drawContoursは、画像認識処理として一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
このように選択した最外殻輪郭の長さが所定の長さ（比較基準用の長さ）よりも長いか否かを判別する際に、この比較基準用の長さをユーザ操作により任意に調整可能とすれば、ユーザは、３値マップ画像を目視確認しながら比較基準用の長さを調整することができ、どのような切り抜きであっても正確に切り抜くことが可能となる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
上述した実施形態においては、比較基準用の長さの中心値のみをユーザ操作で調整するようにしたが、比較基準用の長さの上限値と下限値の両方をユーザ操作で調整するようにしてもよい。この場合、図１２のステップＣ６において、比較基準用の長さの下限値を長くし、ステップＣ９において、比較基準用の長さの上限値を短くするように変更すればよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
上述した実施形態においては、所定の画像分割処理としてGrab Cutと呼ばれるセグメンテーション手法を使用するようにしたが、その他のセグメンテーション手法であってもよい。更に、上述した実施形態においては、画像の一部の領域を切り抜くようにしたが、切り抜き処理に限らず、一部の領域内を着色する処理などを行うようにしてもよい。
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2016122367.tif 000001
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2016122367.tif 000002