(57)【要約】【課題】画像中から簡単な操作で所定の領域を選択することが可能な情報処理装置を提供する。【解決手段】情報処理装置は、画像を取得する画像取得部１１００と、取得した画像における領域を階層的に複数のカテゴリに識別する領域識別部１３００と、画像を表示する表示部１４００と、表示部に表示された画像に対するユーザの操作に応じて、所定の位置の領域を選択領域の初期領域として設定する初期領域設定部１５００と、ユーザの所定の操作に応じて、階層的なカテゴリ判定結果に従って選択領域の拡張及び縮小を行い、該選択領域を更新する領域制御部１６００と、を備える。【選択図】図１
2019086899.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
取得した前記画像における領域を階層的に複数のカテゴリに識別する領域識別手段と、
前記画像を表示する表示手段と、
前記表示手段に表示された画像に対するユーザの操作に応じて、所定の位置の領域を選択領域の初期領域として設定する初期領域設定手段と、
ユーザの所定の操作に応じて、前記階層的なカテゴリ判定結果に従って前記選択領域の拡張及び縮小を行い、前記選択領域を更新する領域制御手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
前記領域制御手段は、ユーザの所定の第１操作に応じて同一階層で前記選択領域と隣接する同一カテゴリの領域を該選択領域に結合することで領域を拡張し、
ユーザの所定の第２操作に応じて、前記選択領域の中から初期領域を含まない領域を削除して該選択領域を縮小することを特徴とする、
請求項１記載の情報処理装置。
【請求項３】
前記領域制御手段は、前記第１操作及び前記第２操作を、タッチパネルもしくはマウスによるスライド操作の向きで区別することを特徴とする、
請求項２記載の情報処理装置。
【請求項４】
前記領域制御手段は、前記第１操作及び前記第２操作を、タッチパネルにおける圧力によって区別することを特徴とする、
請求項２記載の情報処理装置。
【請求項５】
前記領域制御手段は、前記第１操作及び前記第２操作を、マウスによるクリックと特殊キーとの組み合わせで区別することを特徴とする、
請求項２記載の情報処理装置。
【請求項６】
前記領域制御手段は、前記第１操作及び第２操作を、マウスによるクリック操作を特殊キーにより切り替えることで区別することを特徴とする、
請求項２記載の情報処理装置。
【請求項７】
前記領域制御手段は、前記第１操作及び前記第２操作を、タッチパネルのロングタップと特殊キーの組み合わせで区別、もしくは切り替えることを特徴とする、
請求項２記載の情報処理装置。
【請求項８】
前記領域制御手段は、前記第１操作及び前記第２操作を、タッチパネルがロングタップとメニューを別にタップされることで区別、もしくは切り替えることを特徴とする、
請求項２記載の情報処理装置。
【請求項９】
前記領域制御手段は、前記第１操作及び前記第２操作を、マウスにおけるスクロールウィールの回転操作に従って区別することを特徴とする、
請求項２記載の情報処理装置。
【請求項１０】
前記領域制御手段は、ユーザの所定の第３操作に応じて、同一階層で前記初期領域と連結しない領域を含んだ前記選択領域と同一カテゴリとなる領域を、該選択領域に結合することで領域を拡張し、
ユーザの所定の第４操作に応じて、前記選択領域の中から前記初期領域に連結しない領域を優先的に削除することで該選択領域を縮小することを特徴とする、
請求項１〜９のいずれか１項記載の情報処理装置。
【請求項１１】
前記領域制御手段は、前記第３操作及び前記第４操作を、タッチパネルもしくはマウスによるスライド操作により認識することを特徴とする、
請求項１０記載の情報処理装置。
【請求項１２】
前記領域制御手段は、前記第３操作及び前記第４操作を、マウスにおけるスクロールウィールの回転操作に従って認識することを特徴とする、
請求項１０記載の情報処理装置。
【請求項１３】
前記領域制御手段は、前記第３操作及び前記第４操作を、選択領域から離れた別領域に対するタップ操作により認識することを特徴とする、
請求項１０記載の情報処理装置。
【請求項１４】
前記領域制御手段は、前記第３操作及び前記第４操作を、特殊キーによって前記第１操作及び前記第２操作と区別することを特徴とする、
請求項１０記載の情報処理装置。
【請求項１５】
前記領域制御手段は、
ユーザの所定の第５操作に応じて、前記選択領域から不要領域を指定して、前記不要領域を領域分割することにより、該選択領域の輪郭を修正し、
ユーザの所定の第６操作に応じて、選択領域外から不足領域を指定して、前記不足領域のカテゴリを選択領域のカテゴリと一致させることにより、該不足領域を該選択領域に追加することを特徴とする、
請求項１〜１４のいずれか１項記載の情報処理装置。
【請求項１６】
前記領域制御手段は、前記第５操作を、タッチパネルに表示された前記不要領域をタップ又はフリックする操作により認識することを特徴とする、
請求項１５記載の情報処理装置。
【請求項１７】
前記領域制御手段は、前記第５操作及び前記第６操作を、前記不要領域をマウスによりクリックする操作により認識することを特徴とする、
請求項１５記載の情報処理装置。
【請求項１８】
前記領域制御手段は、前記第６操作を、タッチパネルに表示された前記不足領域をタップする操作により認識することを特徴とする、
請求項１５〜１７のいずれか１項記載の情報処理装置。
【請求項１９】
情報処理装置が、
画像を取得するステップと、
前記取得した画像における領域を階層的に複数のカテゴリに識別するステップと、
前記画像を表示するステップと、
表示された前記画像に対するユーザの操作に応じて、所定の位置の領域を選択領域の初期領域として設定するステップと、
ユーザの所定の操作に応じて、前記階層的なカテゴリ判定結果に従って前記選択領域の拡張及び縮小を行って、前記選択領域を更新するステップと、を含む、
画像領域選択方法。
【請求項２０】
コンピュータを、
画像を取得する画像取得手段、
取得した前記画像における領域を階層的に複数のカテゴリに識別する領域識別手段、
前記画像を表示する表示手段、
前記表示手段に表示された画像に対するユーザの操作に応じて、所定の位置の領域を選択領域の初期領域として設定する初期領域設定手段、
ユーザの所定の操作に応じて、前記階層的なカテゴリ判定結果に従って前記選択領域の拡張及び縮小を行い、前記選択領域を更新する領域制御手段、
として機能させるためのコンピュータプログラム。
【請求項２１】
請求項２０記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から所定の領域を選択するための情報処理装置に関する。
【背景技術】
【０００２】
情報処理装置は、画像内の選択された領域を対象として所定の処理を行うことがある。このための対象領域の選択方法として、様々なユーザインタフェースが提案されている。最も一般的な方法には、画像中の一点をマウス等のポインティングデバイスでクリックし、ドラッグすることでバウンディングボックスを選択する方法である。この他に、切り抜きたい領域の輪郭を複数回クリックすることで輪郭を切り出すスライスツールなども一般的に用いられる方法である。これらの方法は、いずれもユーザが手動で領域の選択を行う。これら手動による領域選択に対して、自動／半自動による領域選択を行う方法も提案されている。
【０００３】
特許文献１は、人の頭頂部及び眼を検出し、その検出結果から顔領域のサイズを自動調節してトリミングサイズを決定する画像処理装置を開示する。この画像処理装置の処理は、顔の領域選択に特化したボトムアップ手法を用いて行われる。特許文献２は、ボトムアップ手法として代表的な、領域成長（region growing）による領域選択を行う画像抽出装置を開示する。この画像抽出装置は、まず、背景差分やオプティカルフローなどの一次特徴を有する領域を分割する。画像抽出装置は、一次特徴で分割した領域から選択した領域を中心として、色成分などの二次特徴で類似した領域を連結し、物体の領域を抽出する。特許文献３は、グラフベースの手法を提案する。この手法は、選択すべき領域の輪郭より内側の領域を大雑把にユーザが指定することで、指定領域内部の特徴分布に従い、グラフカットを繰り返して物体領域を算出する。
【０００４】
一方で、画像を人物の領域、自動車の領域、道路の領域、建物の領域、空の領域などの、意味的な領域を切り出す課題が研究されている。このような課題は、意味的領域分割（Semantic Segmentation）と呼ばれ、物の種類に対応した画像補正や、シーン解釈などへの応用が期待される。意味的領域分割を行うにあたり、画像の各位置に関するカテゴリラベルの識別を、画素単位ではなく、小領域（superpixel）単位で行うことは、すでに一般的である。小領域は、主に類似した特徴を持つ小さな領域として画像から切り出されるものである。類似した特徴の小領域の切り出しは、様々な手法が提案されている。非特許文献１は、このような手法の代表的なものである。小領域は、その内部の特徴量、或いはその周辺のコンテクスト特徴量も一緒に用いてカテゴリラベルが識別される。通常は、様々な学習画像を用いてこのような局所ベースの領域識別器を学習させることで、領域識別が行われることになる。非特許文献２に開示される技術は、画像を複数レベルで小領域に分割し、各レベルにおける小領域を線形ＳＶＭ（Support Vector Machine）で識別する。各画素におけるすべてのレベルにおけるカテゴリ尤度を線形ＳＶＭの入力として、画像の各画素のカテゴリラベルが推定される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１５２４９２号公報
【特許文献２】特開平９−１８５７２０号公報
【特許文献３】米国特許第７６６０４６３号明細書
【非特許文献】
【０００６】
【非特許文献１】SLIC Superpixels,R.Achanta,A.Shaji,K.Smith,A.Lucchi,EPFL TechnicalReport,2010.
【非特許文献２】RGB-(D) Scene Labeling:Features and Algorithms,X.Ren,L.Bo and D.Fox,CVPR2012.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ユーザが選択したい画像中の領域が大きかったり不定形である場合、ユーザが正確に領域選択することは難しい。例えば両腕を広げた人物を囲むバウンディングボックスを指定する場合、最初の一点を正しい位置に置くことに失敗すると、腕が切れてしまったり、或いは人物に対して大きすぎるバウンディングボックスが得られてしまうことがある。また、複数点指定による輪郭切り出しは、領域輪郭の凹凸が多い場合には非常に手間のかかる作業となる。
【０００８】
前述したボトムアップ手法では、隣接した領域の類似性により領域を拡大していく。そのために、例えば赤いランニングシャツを着て走っている人物の背景に肌色に近い壁がある画像では、腕とランニングシャツよりも、腕と壁の方が類似した領域と判定される。この場合、腕と壁が連結された領域と判断されてしまい、画像中の人物が一つの領域として選択されない。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、画像中から簡単な操作で所定の領域を選択することが可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、画像を取得する画像取得手段と、取得した前記画像における領域を階層的に複数のカテゴリに識別する領域識別手段と、前記画像を表示する表示手段と、前記表示手段に表示された画像に対するユーザの操作に応じて、所定の位置の領域を選択領域の初期領域として設定する初期領域設定手段と、ユーザの所定の操作に応じて、前記階層的なカテゴリ判定結果に従って前記選択領域の拡張及び縮小を行い、前記選択領域を更新する領域制御手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ユーザが画像中から簡単な操作で所定の領域を選択することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】情報処理装置の説明図。
【図２】学習処理を表すフローチャート。
【図３】（ａ）〜（ｃ）は、学習画像及び領域カテゴリラベルデータの説明図。
【図４】領域カテゴリラベルの説明図。
【図５】（ａ）、（ｂ）は、画像領域選択処理を表すフローチャート。
【図６】（ａ）〜（ｃ）は、画像領域選択処理の説明図。
【図７】（ａ）〜（ｃ）は、画像領域選択処理の説明図。
【図８】（ａ）〜（ｄ）は、画像領域選択処理の説明図。
【図９】（ａ）、（ｂ）は、画像領域選択処理の説明図。
【図１０】（ａ）〜（ｄ）は、画像領域選択処理の説明図。
【図１１】（ａ）〜（ｇ）は、画像領域選択処理の説明図。
【図１２】（ａ）〜（ｃ）は、画像処理の説明図。
【図１３】Ｓ１６００の処理を表すフローチャート。
【図１４】（ａ）〜（ｃ）は、飛び地拡張操作及び飛び地縮小操作の説明図。
【図１５】（ａ）〜（ｅ）は、飛び地拡張操作の説明図
【図１６】Ｓ１６００の処理を表すフローチャート。
【図１７】（ａ）〜（ｄ）は、輪郭修正操作の説明図。
【図１８】（ａ）、（ｂ）は、領域追加操作の説明図。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、実施形態を詳細に説明する。
【００１４】
（第１実施形態）
図１は、本実施形態の画像領域選択装置を実現する情報処理装置の説明図である。画像領域選択装置は、ユーザが画像から所望の領域を選択するための画像領域選択処理を行うための機能と、画像領域選択処理を行うために必要な領域識別器を予め生成するための学習処理を行うための機能とを備える。
【００１５】
画像領域選択処理を行うための機能について説明する。この機能は、画像取得部１１００、領域分割部１２００、領域識別部１３００、表示部１４００、初期領域設定部１５００、領域制御部１６００、及び処理部１７００により実現される。各機能は、すべて同じ情報処理装置上で実現されるものでもよく、それぞれ独立したモジュールで実現されてもよい。情報処理装置は、例えばパーソナルコンピュータとモニタとの組み合わせや、タブレット端末やスマートフォンなどを用いることができる。各機能は、情報処理装置に実装されるコンピュータプログラムをＣＰＵ（Central Processing Unit）で実行することで実現されてもよい。また各機能は、カメラ等の撮影装置内部において、ハードウェアもしくはコンピュータプログラムの実行により実現されてもよい。
【００１６】
画像取得部１１００は、外部装置から入力画像を取得する。領域分割部１２００は、画像取得部１１００で取得した入力画像を複数の小領域に分割する。領域識別部１３００は、領域識別器記憶部５２００に記憶されている領域識別器を読み出し、領域分割部１２００で分割された各小領域の領域カテゴリを推定する。領域識別器記憶部５２００には、後述する学習処理によって生成された領域識別器が記憶されている。表示部１４００は、画像取得部１１００で取得された入力画像を表示する表示装置である。ユーザは、表示部１４００の表示により入力画像を確認することができる。初期領域設定部１５００は、所定のインタフェースによるユーザの指示に応じて、入力画像の所定の位置の領域を初期領域に設定する。領域制御部１６００は、ユーザにより行われた操作に応じて、初期領域の拡張／縮小を行い、選択領域を生成する。処理部１７００は、選択領域に対する所定の処理を行う。
【００１７】
画像領域選択処理で用いる領域識別器を生成するための学習処理を行うための機能について説明する。この機能は、学習データ取得部２１００、学習画像領域分割部２２００、及び領域識別器生成部２３００により実現される。各機能は、すべて同じ情報処理装置上で実現されるものでもよく、それぞれ独立したモジュールで実現されてもよい。各機能は、情報処理装置に実装されるコンピュータプログラムをＣＰＵ（Central Processing Unit）で実行することで実現されてもよい。
【００１８】
学習データ取得部２１００は、学習データ記憶部５１００から学習データを取得する。学習データ記憶部５１００は、学習処理で用いる学習データを予め記憶する。学習データは、複数の学習画像と、学習画像の各画素に対応して階層定義する領域カテゴリラベルが付与された領域カテゴリラベルデータと、から構成される。学習画像領域分割部２２００は、学習データ取得部２１００で取得した学習データについて、それぞれの学習画像を小領域に分割する。領域識別器生成部２３００は、学習画像領域分割部２２００で分割した各小領域の特徴量と領域カテゴリラベルとに基づいて学習処理を行い、小領域のカテゴリを識別する領域識別器を生成する。領域識別器生成部２３００は、生成した領域識別器を領域識別器記憶部５２００に記憶させる。学習データ記憶部５１００及び領域識別器記憶部５２００は、情報処理装置の内部もしくは外部ストレージにより実現される。
【００１９】
画像領域選択処理に用いる各機能と学習処理に用いる各機能とは、同じ情報処理装置上で実現してもよく、別々の情報処理装置で実現してもよい。学習処理と画像領域選択処理とを別々の情報処理装置で実現する場合、領域識別器記憶部５２００は、それぞれで異なるストレージにより実現されてもよい。その場合、学習処理で得られた領域識別器が、画像領域選択処理用の装置におけるストレージにコピーもしくは移動して用いられる。
【００２０】
以上のような構成の画像領域選択装置による学習処理及び画像領域選択処理について説明する。図２は、学習処理を表すフローチャートである。学習処理とは、画像領域選択処理を行うために利用される領域識別器を、事前に用意された学習画像から生成することである。一度学習して生成された領域識別器は、領域識別器記憶部５２００に記憶され、領域識別器記憶部５２００から読み出されて再利用される。そのために、画像領域選択処理時に学習処理を毎回行う必要はない。
【００２１】
学習処理を開始すると、学習データ取得部２１００は、学習データ記憶部５１００から学習画像及び階層定義された領域カテゴリラベルデータを含む学習データを取得する（Ｓ２１００）。学習画像は、具体的にはデジタルカメラ等で撮影された画像データである。学習画像の枚数をＮ枚とし、ｎ番目の学習画像を学習画像Ｉ＿ｎ（ｎ＝１…Ｎ）と記載する。領域カテゴリラベルデータは、各学習画像の各画素に対して階層的な領域カテゴリラベルが割り振られる。階層数をＬとし、階層のインデックスをインデックスｌ＝１…Ｌと記載する。第ｌ階層で定義されているカテゴリ数をＭ＿ｌとする。
【００２２】
図３は、学習画像及び領域カテゴリラベルデータの説明図である。この例では階層数Ｌ＝５層の場合を説明するが、階層数はこの値に限定されるものではない。図３（ａ）に示す学習画像５００は、対応する領域カテゴリラベルデータが図３（ｂ）の階層５１０〜５５０で示される。領域カテゴリラベルは、粗から詳細へと被写体のカテゴリを与える。図３（ｂ）の例では、階層５１０が最も粗なカテゴリラベルであり、階層５２０、５３０、５４０の順に詳細なカテゴリが与えられ、階層５５０が最も詳細なカテゴリ定義である。ここでは、最も粗な階層５１０から順番に、第１階層、第２階層、…と呼ぶ。
【００２３】
第１階層５１０では、空５１１と非空５１２とのカテゴリラベルが割り振られている。第２階層５２０では、第１階層５１０における空５１１が空５２１として継承され、第１階層５１０における非空５１２が人体５２２と植物５２３とに分解されている。第３階層５３０では、空５２１は空５３１として継承され、人体５２２は顔５３２と上半身５３３とに分解され、植物５２３は花５３４と茎葉５３５とに分解されている。第４階層５４０では、空５３１は空５４１に、上半身５３３は上半身５４４に、花５３４は花５４５に、茎葉５３５は茎葉５４６として継承され、顔５３２は髪５４２と顔５４３とに分解されている。第５階層５５０では、空５４１は空５５１に、髪５４２は髪５５２に、上半身５４４は上半身５５５として継承される。また、顔５４３は目５５３、顔肌５５４、及び口５５６に、花５４５は花弁５５７及び管状花５５８に、茎葉５４６は葉５５９及びと茎５６０に、分解されている。
【００２４】
学習画像Ｉ＿ｎに対応する、第ｌ階層における領域カテゴリラベルデータをＧＴ＿（ｎ，ｌ）と表す。図３の例示以外にも、これらの意味的な領域カテゴリは階層的に包含関係が定義される。図４は、図３の領域カテゴリラベルの説明図である。領域カテゴリラベルは、これ以外にもさまざまな領域カテゴリや階層レベルの定義が可能であることは言うまでもない。
【００２５】
学習画像領域分割部２２００は、取得した学習画像を小領域に分割する（Ｓ２２００）。小領域は、類似した特徴を持つ小さな領域として学習画像から切り出されるものである。学習画像を小領域に分割する手法はいくつか提案されている。代表的なものとして、非特許文献１のような手法がある。また、単純に、均一サイズの長方形に学習画像を分割して得られる領域を、小領域として用いてもよい。また、学習画像の各画素を小領域とみなしてもよく、その場合は特に分割処理を行う必要はない。図３（ｃ）では、学習画像５００を小領域に分割した結果を例示する。
学習画像Ｉ＿ｎに対する領域分割結果として、Ｒ＿ｎ個の小領域が生成される場合、学習用の小領域の総数はＲ＝ΣＲ＿ｎ個である。学習画像の小領域を通し番号でＳＰ＿ｒ（ｒ＝１…Ｒ）と記載する。
【００２６】
領域識別器生成部２３００は、小領域のカテゴリを識別するための領域識別器を学習して生成する（Ｓ２３００）。領域識別器生成部２３００は、学習に用いる小領域に関する領域特徴を抽出する。ここで抽出される領域特徴は、小領域内部における色平均値や色ヒストグラム、小領域の位置や大きさ、ＬＢＰ（Local Binary Pattern）などのテクスチャ特徴など、その種類によって限定されるものではない。また、領域特徴は、小領域の周囲に関する線分や色の分布などによるコンテクスト特徴であってもよい。また、ＣＮＮ（Convolutional Neural Network）を利用して、その畳み込み層を特徴抽出器とみなしてもよい。小領域ＳＰ＿ｒから抽出された領域特徴を小領域特徴ｘ＿ｒと記載する。
【００２７】
ＧＴ＿（ｎ，ｌ）の小領域ＳＰ＿ｒに対応する第ｌ階層の領域カテゴリラベルをｃ＿（ｒ，ｌ）とすると、小領域ＳＰ＿ｒに対する第ｌ階層の教師ベクトルτ＿（ｒ，ｌ）は下記の式で表される。
【００２８】
【数１】
2019086899.tif 000003
【００２９】
【数２】
2019086899.tif 000004
【００３０】
ここで領域カテゴリラベルｃ＿（ｒ，ｌ）は、小領域ＳＰ＿ｒが、第ｌ階層において領域カテゴリラベルとして割り振られているカテゴリのインデックスである。領域識別器の学習は、識別関数に対して小領域特徴ｘ＿ｒを入力したときに得られる出力ベクトルと教師ベクトルτ＿（ｒ，ｌ）との誤差が、全学習データを通して小さくなるように識別関数のパラメータを調整して、領域識別器を生成することである。領域識別器は、小領域特徴ｘ＿ｒを入力として、各階層における領域カテゴリのスコアベクトルｆ＿ｌ（ｘ＿ｒ）を出力する。スコアベクトルｆ＿ｌ（ｘ＿ｒ）は、Ｍ＿ｌ次元のベクトルである。スコアベクトルｆ＿ｌ（ｘ＿ｒ）の各要素は、各領域カテゴリに対するスコアであって、第ｌ階層のｃ番目の領域カテゴリに対するスコアをｆ＿ｃ（ｘ＿ｒ）（ｃ＝１…Ｍ＿ｌ）と記載する。
【００３１】
【数３】
2019086899.tif 000005
【００３２】
識別関数のモデルとその学習方法には、様々なものが考えられる。例えばＳＶＭや多層ニューラルネットワーク、ロジスティック回帰などを用いることができる。また、前述のＣＮＮを利用する場合には、その全結合層を識別関数のモデルとみなすことができ、特徴抽出を担う畳み込み層も含めて学習することが可能である。本実施形態の識別関数のモデルとその学習方法は、それらの種類によって限定されるものではない。領域識別器生成部２３００は、学習して得られた領域識別器を領域識別器記憶部５２００に記憶させる。
【００３３】
以上のように学習処理が行われる。情報処理装置は、学習処理によって得られた領域識別器を用いて画像領域選択処理を行う。図５は、画像領域選択処理を表すフローチャートである。図５（ａ）は、画像領域選択処理の全体処理を表す。図６、図７、図８、図９、図１０、図１１は、画像領域選択処理の説明図である。
【００３４】
画像取得部１１００は、入力画像を取得する（Ｓ１１００）。図６（ａ）は、入力画像１００を例示する。入力画像１００の取得方法に関しては様々なものが考えられるが、本実施形態はその取得方法に関して限定されるものではない。例えば、カメラなどの撮像装置から直接取得するものでもよく、予めハードディスクなどのストレージに保存されている画像データから取得するものでもよい。
【００３５】
領域分割部１２００は、取得した入力画像１００を小領域に分割する（Ｓ１２００）。ここで行われる小領域への分割処理は、学習画像領域分割部２２００がＳ２２００の処理と同様の処理であることが好ましい。各画素を小領域とみなす場合には、特に分割処理を行う必要はない。図６（ｂ）は、入力画像１００の領域分割結果２００を例示する。入力画像１００を領域分割して得られた小領域の総数をＫとする。
【００３６】
領域識別部１３００は、入力画像１００の各小領域に関して領域カテゴリを識別する（Ｓ１３００）。領域識別部１３００は、領域分割部１２００で生成される各小領域の領域特徴を抽出する。抽出する領域特徴は、例えば図２のＳ２３００の処理で領域識別器生成部２３００が学習画像の小領域から抽出する領域特徴と同じ種類のものである。小領域ＳＰ＿ｋ（ｋ＝１…Ｋ）から抽出された領域特徴をｘ＿ｋとする。領域識別部１３００は、領域識別器記憶部５２００に記憶される学習処理で得られた領域識別器を読み込む。領域識別部１３００は、読み込んだ領域識別器ｆ＿ｌ（ｌ＝１…Ｌ）に対して、それぞれの小領域ＳＰ＿ｋに関する領域特徴ｘ＿ｋを入力する。これにより領域識別部１３００は、第ｌ階層における各領域カテゴリのスコアベクトルｆ＿ｌ（ｘ＿ｋ）を生成する。
【００３７】
【数４】
2019086899.tif 000006
【００３８】
第ｌ階層の各小領域ＳＰ＿ｋに対する領域識別結果は、例えばスコアベクトルｆ＿ｌ（ｘ＿ｋ）が最大となるカテゴリｃ＿（ｋ，ｌ）として生成される。
【００３９】
【数５】
2019086899.tif 000007
【００４０】
領域識別部１３００は、すべての小領域ＳＰ＿ｋ（ｋ＝１…Ｋ）に関して、すべての階層ｌにおける領域識別器ｆ＿ｌを適用して、すべての領域識別結果であるカテゴリｃ＿（ｋ，ｌ）が得られると、Ｓ１３００の処理を終了する。図６（ｃ）は、領域識別結果１１０、１２０、１３０、１４０、１５０を例示する。最も詳細なカテゴリ識別結果として、第５階層における識別結果が領域識別結果１５０に示されている。この例では、口１５１、髪１５２、目１５３、顔肌１５４、腕１５５、胴１５６、手１５７、股１５８、脚１５９、足１６１、屋内壁１６２、家具１６３、外壁１６４、及び床１６５などの領域が得られる。第４階層における領域識別結果１４０では、髪１４１、顔肌１４２、腕１４３、胴体１４４、股１４５、脚１４６、頭１４７、及び屋内１４８といった領域が得られている。第３階層における領域識別結果１３０では、頭１３１、１３４、上半身１３２、下半身１３３、及び建物１３５といった領域が得られている。第２階層における領域識別結果１２０では、人工物１２１、人体１２２、１２３の領域が得られている。第１階層における領域識別結果１１０では、画面全体の領域が非空１１１と識別されている。
【００４１】
表示部１４００は、入力画像１００を表示する（Ｓ１４００）。表示部１４００は、表示された画像に対してグラフィカルなユーザインタフェースを有するものとするが、本実施形態は表示部１４００の形式に限定されるものではない。入力画像１００を表示する表示部１４００は、タッチパネルであってもよいし、マウスやペンタブレットを利用可能なパーソナルコンピュータに接続されたモニタでもよい。以下では、表示部１４００をタブレットやスマートフォンに用いられるタッチパネルを例として説明する。
【００４２】
初期領域設定部１５００は、表示部１４００に表示された入力画像１００に対してユーザが所定の位置を指定することで、初期領域の設定を行う（Ｓ１５００）。
ユーザは、図７（ａ）に例示するように表示部１４００に表示された入力画像１００の上で、選択したい領域の一部をタップする。初期領域設定部１５００は、領域分割部１２００により分割されて得られるすべての小領域Ｓ＿ｋ（ｋ＝１…Ｋ）のうち、タップされた位置を含む小領域Ｓ＿ｉを初期領域に設定する。例えば、図７（ａ）のようにしてタップした位置が、図８（ａ）に示す右側人物の顔肌の右半に対応する小領域４０１の内部である場合、図８（ｂ）に示すようにこの小領域４０１が初期領域４１１となる。
【００４３】
領域制御部１６００は、初期領域設定部１５００により設定された初期領域４１１を所定の操作に応じて拡張、縮小を行い、所望の領域を取得する（Ｓ１６００）。図５（ｂ）は、領域制御部１６００による処理の詳細を表す。
【００４４】
領域制御部１６００は、その時点で選択されている領域（選択領域）を表示部１４００に表示する（Ｓ１６９０）。選択領域の表示形式は、本実施形態において限定されるものではない。選択領域は、図９（ａ）に例示するように入力画像上に選択領域の輪郭を表示されてもよく、図９（ｂ）に例示するように選択領域の内部だけを表示されてもよい。
【００４５】
領域制御部１６００は、表示された選択領域に対してユーザが行う操作を取得する（Ｓ１６１０）。領域制御部１６００は、ユーザによる操作内容を判断して次の処理を決定する（Ｓ１６１５）。ユーザが行った操作が領域拡張操作である場合（Ｓ１６１５：領域拡張）、領域制御部１６００は、その時点の選択領域を拡張する（Ｓ１６２０）。ユーザが行った操作が領域縮小操作である場合（Ｓ１６１５：領域縮小）、領域制御部１６００は、その時点の選択領域を縮小する（Ｓ１６３０）。ユーザが行った操作が領域選択終了操作である場合（Ｓ１６１５：終了）、領域制御部１６００は、領域制御処理を終了する。これにより画像領域選択処理が終了する。
【００４６】
図７（ｂ）、７（ｃ）は、領域拡張操作及び領域縮小操作を説明する。ここでは、領域拡張操作及び領域縮小操作が、表示画面上の上下のスライド操作に割り当てている。ただし、領域拡張操作及び領域縮小操作はこれに限定されるものではない。例えば、左右スライド操作によって領域拡張操作及び領域縮小操作が行われてもよい。タッチパネルを押す際の圧力が増える場合は領域拡張操作、圧力が減る場合には領域縮小操作などとしてもよい。ロングタップをしながら別メニューをタップして操作を区別もしくは切り替えるとしてもよい。キーボードとの組み合わせであれば、ロングタップしながらＳＨＩＦＴやＣｔｒｌキーなどの特殊キーとの組み合わせによって区別もしくは切り替えてもよい。マウスを利用する場合は、マウスの上下動作もしくは左右動作で領域拡張操作及び領域縮小操作を行ってもよく、スクロールウィールの回転操作で制御してもよい。マウスのクリック操作とＳＨＩＦＴキーやＣｔｒｌキーなどの特殊キーとの組み合わせによって領域拡張操作及び領域縮小操作を区別する、もしくは切り替わる、などとしてもよい。領域選択終了操作は、例えば指をタッチパネルから離す、マウスでダブルクリックする、などの操作である。
【００４７】
領域制御部１６００は、Ｓ１６２０の処理で選択領域を拡張する場合、まず、同一階層中で、選択領域に対して空間的に隣接し且つ同一カテゴリである小領域を該選択領域に追加することで、選択領域を拡張する。領域制御部１６００は、当該階層内で隣接する同一カテゴリ領域がない場合、階層を一つ上に移して同様の処理を行う。一つの小領域を選択領域に追加すると、領域制御部１６００は、Ｓ１６９０の処理へ戻る。
【００４８】
Ｓ１６２０の処理を繰り返すことで領域が拡張されていく様子の具体例を以下に示す。図８（ｂ）に例示する初期領域４１１に対して領域拡張操作が行われる場合を例に説明する。
初期領域４１１は、図６（ｃ）の第５階層の領域識別結果１５０において顔肌カテゴリと判定された顔肌１５４の領域に含まれる。初期領域４１１に隣接する小領域のうち同じ顔肌カテゴリと判定された小領域は、図８（ａ）に示した小領域４０２、４０３である。領域制御部１６００は、まず、これらの領域のうち初期領域４１１に対して最も特徴の近い領域を選択する。選択に用いる特徴量は、色ヒストグラムやＬＢＰなどのテクスチャ特徴など、様々なものが考えられるが、本実施形態において限定されるものではない。
【００４９】
領域制御部１６００は、初期領域４１１と最も特徴の近い小領域４０２を初期領域４１１に結合した領域を、新たな選択領域として更新する。図８（ｃ）は、更新された選択領域４１２を例示する。さらに領域拡張操作が継続して行われた場合、領域制御部１６００は、残りの小領域４０３を選択領域４１２に結合させたものを選択領域として更新する。図８（ｄ）は、更新された選択領域４１０を例示する。ここまで領域の拡張が行われると、第５階層における初期領域と連結可能な顔肌領域はすべて連結されたことになる。
【００５０】
ここでさらに領域拡張操作が継続して行われた場合、領域制御部１６００は、階層を一つ上、この例では第４階層に処理階層を移す。第５階層における顔肌カテゴリ領域は、第４階層では顔カテゴリ領域に属する。
顔カテゴリ領域の中で、図１０（ａ）に示す目と口である小領域４０４、４０５、４０６は、この時点ではまだ選択領域に含まれていない。しかし、第４階層においては、選択領域４１０と同様に、図６（ｃ）の顔カテゴリ領域の顔肌１４２に属することとなる。そこで、領域制御部１６００は、先ほどと同様にして、選択領域４１０に隣接する小領域の中で、選択領域４１０と最も特徴の近い小領域を結合していく。図１０（ｂ）には、選択領域４１０に対して小領域４０４を結合して更新された選択領域４２１が例示される。図１０（ｃ）には、さらに小領域４０５を結合した選択領域４２２が例示される。図１０（ｄ）にはさらに小領域４０６を結合した選択領域４２０が例示される。
【００５１】
このようにして、同一階層内の同一カテゴリとなる小領域を連結していき、同一カテゴリの隣接する小領域がなくなった時点で一つ上の階層に移って同様の処理を繰り返していくことで、階層カテゴリに従って領域を拡張していくことができる。図１１（ａ）〜１１（ｇ）は、初期領域４１１から領域拡張操作を続けたときの、各階層における連結結果を示す。図１１（ｂ）は、第５階層において図１１（ａ）の初期領域４１１から同一カテゴリ領域を連結していって得られる選択領域４１０を例示する。さらに領域拡張操作を続けると、第４階層では図１１（ｃ）に例示する顔カテゴリ領域が選択領域４２０として得られ、第３階層では図１１（ｄ）に例示する頭部カテゴリ領域が選択領域４３０として得られる。
第２階層では、頭部カテゴリ領域から拡張していくことにより、図１１（ｅ）に例示する右側人物領域４４０が人物カテゴリ領域の途中結果として得られる。さらに拡張していくと、図１１（ｆ）のように、つないだ手を通して左側人物領域も連結された人物カテゴリ領域が選択領域４５０として得られる。第１階層でさらに連結を続けていくと、図１１（ｇ）のように、画像全体が非空カテゴリ領域として一つの領域に結合されたものが選択領域４６０として設定される。
【００５２】
領域制御部１６００は、Ｓ１６３０の処理で領域を縮小する場合、まず、現在の選択領域の中から、現在の階層から一つ下の階層において初期領域が含まれるカテゴリ領域を除いた小領域を、削除候補領域とする。領域制御部１６００は、削除候補領域の中で、選択領域と特徴が最も異なる小領域を選択領域から除き、選択領域を更新する。一つの小領域を選択領域から削除すると、領域制御部１６００は、Ｓ１６９０の処理へと戻る。Ｓ１６３０の処理を繰り返すことによって領域が縮小されていく具体例を以下に示す。
【００５３】
例えば、図１０（ｄ）に例示する選択領域４２０について領域縮小操作を行ったとする。このとき処理階層は第４階層で、処理対象カテゴリは図６（ｃ）で示される顔カテゴリ領域の顔肌１４２である。その一つ下の階層、すなわち第５階層において、初期領域の含まれる領域は、図６（ｃ）で例示する顔肌１５４のカテゴリ領域である。初期領域の含まれる顔肌１５４のカテゴリ領域は、図１０（ａ）に例示する選択領域４１０で、それを除いた領域は図１０（ａ）における小領域４０４、４０５、４０６となる。領域制御部１６００は、これらの小領域４０４、４０５、４０６を削除候補領域とし、選択領域４２０と特徴の最も異なる小領域を選択領域から削除する。これにより、選択領域４２０は、図１０（ｃ）、１０（ｂ）のように、顔肌カテゴリ領域以外の部分が削除されていくことで、顔肌カテゴリ領域だけが選択領域４１０のように残ることになる。選択領域４１０が顔肌カテゴリ領域だけになると、処理階層を一つ下げる。ここでは第５階層に移り、領域制御部１６００は、初期領域４１１を除いた図８（ａ）に示す小領域４０１、４０２、４０３を削除候補領域として、同様な縮小処理を続けていく。縮小処理を止めずに続けていけば、最終的には図１１（ａ）に例示する初期領域４１１の状態まで戻ることができる。
【００５４】
ユーザは、領域拡張操作及び領域縮小操作を行いながら、所望の領域が得られた時点で領域選択終了操作を行い、領域拡張操作を止めればよい。
以上のようにして、階層的な意味的カテゴリに従って領域の拡張及び縮小を制御することにより、ユーザは、意味のある塊である領域を選択することが容易になる。このようにして得られる領域は、さまざまな画像処理に対して非常に有用である。
【００５５】
図１２は、本実施形態の画像処理の説明図である。図１２における画像７００の例で人物を一杯に含む領域をクロッピングしたければ以下のようになる。まず人物の内部領域を初期領域として設定し、領域拡張・縮小操作を行うことで図１２（ａ）に例示する人物領域７１０が選択される。図１２（ｂ）に例示する選択領域の外接矩形７２０を算出することは容易である。これをもとに図１２（ｃ）に例示する人体領域７３０を一杯に含むようにクロッピングすることができる。同様にして、選択領域の外接矩形に合わせてズーム率を画面サイズに対して最適にすることも容易である。このようにして、本実施形態のように意味的カテゴリによる領域拡張及び縮小をユーザが自在に行うことができれば、ユーザの希望する範囲の領域に対して、自動的にクロッピングやズームの範囲を計算することができ、見切れや無駄な余白が発生することがなくなる。
【００５６】
（第２実施形態）
第１実施形態では、ユーザに指定された領域の拡張が、隣接領域を徐々に連結していくことで領域の選択が行われている。しかし、意味的な領域識別結果が得られていることにより、画像上の空間的な隣接関係に限定されずに、同一カテゴリの領域をまとめて選択することも可能である。本実施形態では、そのような飛び地による領域選択を可能とする。本実施形態の装置構成は、図１に示した第１実施形態と同様であるため、説明を省略する。また、本実施形態の学習処理も、図２に示した第１実施形態における学習処理と同様であるため、説明を省略する。
【００５７】
本実施形態の画像領域選択処理は、大まかな処理は図５（ａ）に示した第１実施形態における画像領域選択処理と同様である。本実施形態では、Ｓ１６００の領域制御処理の詳細が第１実施形態とは異なる。本実施形態のＳ１６００の領域制御処理は、第１実施形態で行われる領域拡張操作及び領地縮小操作に加えて、飛び地拡張操作及び飛び地縮小操作の２種類を加えた、計４種類の操作の組み合わせで行われる。
【００５８】
図１３は、本実施形態のＳ１６００の領域制御処理を表すフローチャートである。Ｓ１６９０、Ｓ１６１０、Ｓ１６１５、Ｓ１６２０、及びＳ１６３０の処理は、図５（ｂ）に示す第１実施形態の処理と同様である。本実施形態では、領域制御部１６００が、ユーザによる操作内容を判断して次の処理を決定するＳ１６１５の処理により、領域拡張操作及び領域縮小操作に加えて、飛び地拡張操作及び飛び地縮小操作の判断を行う。
【００５９】
領域制御部１６００は、ユーザが行った操作が領域拡張操作であればＳ１６２０の処理を行い、領域縮小操作であればＳ１６３０の処理を行い、ユーザが行った操作が領域選択終了操作であれば領域制御処理を終了する。領域制御部１６００は、ユーザが行った操作が飛び地拡張操作であればＳ１６４０の飛び地拡張処理を行い、飛び地縮小操作であればＳ１６５０の飛び地縮小処理を行う。
【００６０】
領域拡張操作及び領域縮小操作は、図７（ｂ）、７（ｃ）で説明した操作である。図１４は、飛び地拡張操作及び飛び地縮小操作の説明図である。図１４（ａ）は、飛び地拡張操作を表す。図１４（ｂ）は、飛び地縮小操作を表す。領域拡張操作及び領域縮小操作が上下スライド操作であるのに対し（図７（ｂ）、７（ｃ）参照）、飛び地拡張操作及び飛び地縮小操作は、左右スライド操作である。ここでスライド方向の区別は上下左右のスライド方向の組み合わせで４つの操作が区別できればよく、上に書かれている組み合わせに限定されるものではない。飛び地拡張操作及び飛び地縮小操作は、図１４（ｃ）に示すように、空間的に離れた別領域の別の指によるタップ操作やダブルタップ操作などで行われてもよい。
領域拡張操作、領域縮小操作、飛び地拡張操作、及び飛び地縮小操作は、マウスを利用する場合、マウスの上下動作もしくは左右動作を組み合わせて行われてもよく、いずれかをスクロールウィールの回転操作と組み合わせ行われてもよい。あるいは、領域拡張操作、領域縮小操作、飛び地拡張操作、及び飛び地縮小操作は、ＡｌｔキーやＴａｂキーなどの特殊キーとの組み合わせによって行われてもよい。
【００６１】
Ｓ１６４０の処理では、領域制御部１６００は、その時点における選択領域と同一カテゴリの小領域を、画像上の空間的な隣接関係にかかわらず、該選択領域に追加する。一つもしくは複数の小領域を追加すると、領域制御部１６００は、Ｓ１６９０の処理に戻る。Ｓ１６４０の処理の具体例を以下に示す。
【００６２】
例えば、図１０（ｃ）の状態で飛び地拡張操作が行われる場合、Ｓ１６４０の処理は、図６（ｃ）の第４階層の領域識別結果１４０において行われており、拡張中の領域カテゴリは顔カテゴリである。その時点の選択領域４２２に対して隣接する同一カテゴリの小領域は、図１０（ａ）の小領域４０６だけであるが、飛び地拡張操作では設定領域との隣接関係と関係なく、同一階層内の同一カテゴリの小領域が連結候補となる。
【００６３】
図１５は、飛び地拡張操作の説明図である。図１５（ａ）の左側人物の顔を構成する小領域４０７、４０８、４０９、４１１、４１２、４１３も、右側人物の小領域４０６に加えて、選択領域４２２の連結対象候補となる。左側人物の顔を構成する小領域４０７、４０８、４０９、４１１、４１２、４１３のうち、特徴が選択領域４２２に最も近い領域が連結される。
【００６４】
領域制御部１６００は、選択領域４２２と最も特徴の近い小領域（ここでは小領域４０７）を該選択領域４２２に加えた飛び地領域を含めたものを、新たな選択領域として更新する。図１５（ｂ）は、更新された選択領域４７１を例示する。選択領域４７１に対して最も特徴の近い小領域が小領域４０８の場合、次に得られる選択領域は、図１５（ｃ）に例示する選択領域４７２のようになる。残りの小領域４０６、４０９、４１１、４１２、４１３がそれぞれ追加されることで、この階層における選択領域は、最終的に図１５（ｄ）に例示する選択領域４７０のようになる。
【００６５】
図１５（ｄ）の状態で領域拡張操作が行われると、一段上の階層、ここでは第３階層、へと移って拡張処理が続けられることになる。この場合、領域制御部１６００は、右側人物と左側人物それぞれの隣接領域に対して頭部カテゴリ領域を拡張していくことになる。そのため、この階層では最終的に図１５（ｅ）に例示する選択領域４８０が得られることになる。さらに領域拡張処理を続けると、第２階層では図１１（ｆ）に例示する選択領域４５０が得られる。
【００６６】
Ｓ１６５０の処理では、領域制御部１６００は、現時点の選択領域の中から、現時点の階層において初期領域と空間的に連結していない部分に関して、優先的に小領域を削除していく。領域制御部１６００は、一つもしくは複数の小領域を選択領域から削除すると、Ｓ１６９０の処理へと戻る。Ｓ１６５０の処理の具体例を以下に示す。
【００６７】
ここでは、図１５（ｄ）に例示する選択領域４７０に対して飛び地縮小処理を行う場合について説明する。初期領域が右側人物の領域である場合、領域制御部１６００は、左側人物の顔領域における小領域の中から、選択領域４７０全体に対して最も特徴の異なる小領域を取り除く。このようにして、左側人物の顔における小領域がすべて選択領域から除かれると、図１１（ｃ）に例示する選択領域４２０が残る。さらに飛び地縮小操作が続けられた場合、領域縮小処理と同様にして右側人物の顔領域に関する領域縮小処理が行われる。
【００６８】
以上のように領域拡張処理及び領域縮小処理に飛び地拡張処理及び飛び地縮小処理を併用することで、ユーザは、目的に応じて好みの領域を容易に選択することができる。例えば、図６（ａ）に例示する入力画像１００において右側人物の体全体を選択したい場合、ユーザは、右側人物の内部領域を初期領域として選択する。情報処理装置は、この初期領域に基づいて領域拡張処理を続ける。図１１（ｅ）に例示する右側人物領域４４０が得られた時点でユーザが領域選択終了操作を行うことで、情報処理装置は、領域選択処理を終了する。
【００６９】
また、左右人物の両方の顔だけを選択したい場合、ユーザは、いずれかの人物の顔領域内部をタップして初期領域として選択する。ユーザがその人物の顔領域が得られた時点で飛び地拡張操作を行うことで、情報処理装置は、もう一人の顔領域を含んだ選択領域を得ることができる。同様な操作によって、二人以上の人物領域を選択することも可能である。また、人物領域以外、例えば複数の自動車領域を同時選択する、といったことも可能であることは言うまでもない。
【００７０】
（第３実施形態）
第１実施形態及び第２実施形態の領域制御時の処理単位となる小領域は、必ずしも所望の輪郭位置で分割されるとは限らない。例えば、黒髪の背景が暗い夜景であれば、髪と背景の領域が分割されずに一つの小領域となる可能性もある。本実施形態では、そのような場合に輪郭を修正して適切な小領域を得るようにする。本実施形態の装置構成は、図１に示した第１実施形態と同様であるため、説明を省略する。また、本実施形態の学習処理も、図２に示した第１実施形態における学習処理と同様であるため、説明を省略する。
【００７１】
本実施形態の画像領域選択処理は、大まかな処理は図５（ａ）に示した第１実施形態における画像領域選択処理と同様である。本実施形態では、Ｓ１６００の領域制御処理の詳細が第１実施形態とは異なる。本実施形態のＳ１６００の領域制御処理は、第２実施形態で行われる領域拡張操作、領地縮小操作、飛び地拡張操作、及び飛び地縮小操作に加えて、輪郭修正操作及び領域追加操作の２種類の操作を加えた、計６種類の操作の組み合わせで行われる。
【００７２】
図１６は、本実施形態のＳ１６００の領域制御処理を表すフローチャートである。Ｓ１６９０、Ｓ１６１０、Ｓ１６１５、Ｓ１６２０、Ｓ１６３０、Ｓ１６４０、及びＳ１６５０の処理は、図１３に示す第２実施形態の処理と同様である。本実施形態では、領域制御部１６００が、ユーザによる操作内容を判断して次の処理を決定するＳ１６１５の処理により、領域拡張操作、領地縮小操作、飛び地拡張操作、及び飛び地縮小操作に加えて、輪郭修正操作及び領域追加操作の判断を行う。
【００７３】
領域制御部１６００は、ユーザが行った操作が領域拡張操作であればＳ１６２０の処理を行い、領域縮小操作であればＳ１６３０の処理を行い、ユーザが行った操作が領域選択終了操作であれば領域制御処理を終了する。領域制御部１６００は、ユーザが行った操作が飛び地拡張操作であればＳ１６４０の処理を行い、飛び地縮小操作であればＳ１６５０の処理を行う。領域制御部１６００は、ユーザが行った操作が輪郭修正操作であればＳ１６６０の処理を行い、領域追加操作であればＳ１６７０の処理を行う。
【００７４】
領域拡張操作、領域縮小操作、飛び地拡張操作、及び飛び地縮小操作は、図７及び図１４で説明した操作である。図１７は、輪郭修正操作の説明図である。図１８は、領域追加操作の説明図である。
【００７５】
図１７（ａ）は、表示された入力画像８００に対して領域拡張操作及び領域縮小操作を行った結果得られる領域８５０を示す。ここでユーザが本当に得たい領域は、輪郭８１０で表される。実際に得られている領域は、輪郭８２０で表される。そのため、輪郭８１０と輪郭８２０との間の領域は、不要領域となる。
図１７（ｂ）では、輪郭修正操作として、ユーザが、領域選択に用いた指とは別の指で、表示された入力画像８００の不要領域部分に対してフリック操作を行っている。ここではフリック操作を輪郭修正操作としている。輪郭修正操作は、それ以外に、不要領域に対するタップ操作やダブルタップ操作であってもよい。情報処理装置は、輪郭修正操作を行った際にユーザが指定した不要領域の位置を、不要領域位置として記憶しておく。
【００７６】
領域制御部１６００は、Ｓ１６６０の処理により、不要領域位置の付近の画像に対する小領域分割を再び行う。図１７（ｃ）は、選択された不要領域位置を含む小領域８３０を例示する。領域制御部１６００は、この小領域８３０の内部で、小領域分割をさらに細かくするように領域分割パラメータを再設定し、図１７（ｄ）に例示するように、小領域８３０を細分割した小領域８３１、８３２を生成する。領域制御部１６００は、細分割して生成した不要領域位置を含む小領域８３２に関してはどのカテゴリにも属さない、というフラグを付与し、領域拡張及び領域縮小処理の対象外として選択領域から除外する。領域制御部１６００は、選択領域を更新するとＳ１６９０の処理に戻る。
【００７７】
領域追加操作について説明する。図１８（ａ）は、入力画像９００に対して領域拡張操作及び領域縮小操作を行った結果得られる領域９５０を示す。ここでユーザが本当に得たい領域は、輪郭９１０で表される。そのために、選択領域外に不足領域９２０が発生している。図１８（ｂ）では、領域追加操作として、ユーザは、領域選択に用いた指とは別の指で不足領域部分をロングタップする。情報処理装置は、領域追加操作を行った際にユーザが指定した位置を、追加領域位置として記憶しておく。
領域制御部１６００は、Ｓ１６７０の処理により、指定された追加領域位置にある小領域のカテゴリ判定結果を、選択領域のカテゴリと一致するように置き換えて選択領域に追加する。領域制御部１６００は、選択領域を更新するとＳ１６９０の処理に戻る。
【００７８】
このような処理により、小領域の細分割による輪郭修正と、欠けている領域の追加とをユーザが簡単に行えることができるようになる。そのために、情報処理装置は、小領域分割や領域認識が不適切であっても、簡単な操作でより正確な領域を選択することができる。
【００７９】
（第４実施形態）
第１〜第３実施形態では、画像の各小領域に対する領域識別結果として一つのカテゴリだけが得られるように説明したが、カテゴリの多義性を考慮して複数カテゴリが得られるようにしてもよい。本実施形態では、複数カテゴリの出力を許容する画像領域選択方法について説明する。なお、カテゴリの多義性とは、画像中の所定の領域について、所属するカテゴリが一意に決まらないような状態を指す。例えば、木の幹がむき出しで建てられているログハウスは、カテゴリとして自然物の木と判定されても、人工物の建物と判定されても差し支えない、といった場合がある。学習画像においてそのような領域があった場合には、領域カテゴリラベルとして複数のラベルが重複して付与される。
【００８０】
本実施形態では、学習処理において、領域識別器生成部２３００が以下のような式により領域識別器の学習を行う。
【００８１】
【数６】
2019086899.tif 000008
【００８２】
ここでＣ＿（ｒ，ｌ）は、第ｌ階層における小領域ｒに関して重複を許容して割り当てられた、カテゴリラベルインデックスの集合である。その他については、第１実施形態と同様の学習処理が行われる。
【００８３】
画像領域選択処理では、領域識別部１３００が以下の式により各小領域ｋの領域識別結果を取得する。
【００８４】
【数７】
2019086899.tif 000009
【００８５】
ここでＣ＿（ｋ，ｌ）は、第ｌ階層における小領域ｋに関する識別結果となるカテゴリインデックスの集合である。θは所定の閾値であって、例えばθ＝０．５などと設定される。これにより、入力画像の領域によっては複数のクラスラベルが識別結果として得られる場合が発生することになる。
【００８６】
第１〜第３実施形態で説明した領域拡張処理、領域縮小処理、飛び地拡張処理、飛び地縮小処理、輪郭修正処理、及び領域追加処理は、初期領域設定部１５００によるＳ１５００の初期領域設定処理でユーザが設定した初期領域にのみ依存する。そのために、上記のように各小領域に対して複数ラベルが割り当てられていても、同様の処理を行うことによって画像領域選択処理を実行することで、第１〜第３実施形態で説明した効果を得ることができる。
【００８７】
（第５実施形態）
第１〜第４実施形態では、領域拡張及び領域縮小が、選択領域に対する小領域の追加及び削除により行われる。領域拡張及び領域縮小は、小領域単位で行う他に、画素単位で行われてもよい。この場合、領域制御部１６００は、Ｓ１６２０の処理で、選択領域と隣接する同一カテゴリ画素の中で、選択領域に対して最も類似度の高い画素を追加する。このときに利用できる類似度としては、選択領域内の色分布を混合ガウス分布として表したときの、画素色輝度値の尤度を用いてもよい。同様にして領域制御部１６００は、Ｓ１６３０の処理で、選択領域の一番外側の画素で、選択領域との類似度の最も低い画素を該選択領域から削除する。
【００８８】
以上のような各実施形態では、事前知識を使って学習することによって得られる意味的なカテゴリに基づいて領域を設定するため、ボトムアップな領域成長と比べて正確な領域を選択することができる。また、意味的なカテゴリの上位／下位の概念に従って、さまざまなレベルの意味的な領域が選択可能である。これによりユーザは、画像中の領域を簡単に選択できるようになり、従来の点指定では煩雑であった領域単位のユーザインタフェースによる諸作業を簡単に行うことができるようになる。
【００８９】
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019086899.tif 000010
【図２】
2019086899.tif 000011
【図３】
2019086899.tif 000012
【図４】
2019086899.tif 000013
【図５】
2019086899.tif 000014
【図６】
2019086899.tif 000015
【図７】
2019086899.tif 000016
【図８】
2019086899.tif 000017
【図９】
2019086899.tif 000018
【図１０】
2019086899.tif 000019
【図１１】
2019086899.tif 000020
【図１２】
2019086899.tif 000021
【図１３】
2019086899.tif 000022
【図１４】
2019086899.tif 000023
【図１５】
2019086899.tif 000024
【図１６】
2019086899.tif 000025
【図１７】
2019086899.tif 000026
【図１８】
2019086899.tif 000027