(57)【要約】【課題】煩雑なユーザ操作を要することなく、画像に対し、適切な画像処理を施すことを目的とする。【解決手段】画像に対し、修正対象として設定される設定領域の設定指示と、設定領域に対する修正指示と、を受け付ける受付手段と、修正指示に従い、設定領域に対して施す画像処理に係るパラメータを決定するパラメータ決定手段と、画像に関し予め定められた条件に従い、パラメータを適用する適用領域を決定する適用領域決定手段と、適用領域に対し、パラメータを用いた画像処理を行う画像処理手段と、画像処理の結果を出力するよう制御する出力制御手段とを有する。【選択図】図３
2020140659.tif 000002
【特許請求の範囲】
【請求項１】
画像に対し、修正対象として設定される設定領域の設定指示と、前記設定領域に対する修正指示と、を受け付ける受付手段と、
前記修正指示に従い、前記設定領域に対して施す画像処理に係るパラメータを決定するパラメータ決定手段と、
前記画像に関し予め定められた条件に従い、前記パラメータを適用する適用領域を決定する適用領域決定手段と、
前記適用領域に対し、前記パラメータを用いた画像処理を行う画像処理手段と、
画像処理の結果を出力するよう制御する出力制御手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記画像を複数の部分領域に分割する分割手段と、
前記分割手段により得られた各部分領域の属性を取得する取得手段と
をさらに有し、
前記適用領域決定手段は、前記属性に基づいて、複数の部分領域の中から前記適用領域を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記画像を色や輝度の属性に基づき複数の部分領域に分割する分割手段をさらに有し、
前記適用領域決定手段は、前記色や輝度の属性に基づいて、前記部分領域の中から前記適用領域を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記画像を複数の部分領域に分割する分割手段と、
前記分割手段により得られた各部分領域の属性を取得する取得手段と、
前記属性に基づいて、複数の部分領域の中から適用領域候補を決定する適用領域候補決定手段をさらに有し、
前記適用領域決定手段は、ユーザ操作に応じて、前記適用領域候補の中から前記適用領域を決定することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記出力制御手段は、前記適用領域候補と前記適用領域候補以外の領域とを識別可能に表示することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記出力制御手段は、前記適用領域候補と前記適用領域候補以外の領域の境界を、前記画像と異なる色で表示することを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記出力制御手段は、前記適用領域候補以外の領域に対し、所定の色の画像の重畳または明るさの変換を行った上で画像を表示することを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記出力制御手段は、前記部分領域の単位で順に前記適用領域候補を他の領域と識別可能に表示することを特徴とする請求項４に記載の情報処理装置。
【請求項９】
前記パラメータ決定手段は、前記設定領域に対し、所定のパラメータで前記画像処理を実行し、パラメータを変更しながら、前記画像処理の実行を繰り返し、画像処理の結果に基づいて、前記画像処理に用いるパラメータを決定することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
【請求項１０】
前記パラメータ決定手段は、ユーザ操作に応じて前記パラメータを決定することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記設定領域として指定された領域を記憶手段に格納する管理手段をさらに備え、
前記適用領域決定手段は、前記設定領域として既に設定された領域以外の領域から前記適用領域を決定することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
前記パラメータ決定手段は、複数の設定領域それぞれに対するパラメータを決定し、
前記複数の設定領域それぞれに対応したパラメータに基づいて、前記設定領域以外の領域のパラメータを補間する補間手段をさらに有し、
前記画像処理手段は、前記補間手段により得られたパラメータを用いた前記画像処理を行うことを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
【請求項１３】
前記属性は、画像特徴、前記画像に対して施された所定のオブジェクトの検知結果、座標、ＣＮＮ特徴量から取得するヒストグラムのうち少なくとも１つを含むことを特徴とする請求項２に記載の情報処理装置。
【請求項１４】
前記適用領域決定手段は、前記属性とユーザ操作に基づき、前記部分領域から前記適用領域を決定の際に用いる前記属性の基準を決定することを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
撮影画像からひび割れを検知した検知結果に対し、
修正対象として設定される設定領域の設定指示と、前記設定領域に対する修正指示と、を受け付ける受付手段と、
前記修正指示に従い、前記設定領域に対して施す画像処理に係るパラメータを決定するパラメータ決定手段と、
前記検知結果に対し、前記パラメータを用いた画像処理を行う画像処理手段と、
画像処理の結果を出力するよう制御する出力制御手段と、
を有することを特徴とする情報処理装置。
【請求項１６】
撮影画像から検知対象を検知した検知結果に対し、
修正対象として設定される設定領域の設定指示と、前記設定領域に対する修正指示と、を受け付ける受付手段と、
前記修正指示に従い、前記設定領域に対して施す画像処理に係るパラメータを決定するパラメータ決定手段と、
適用領域に対し、撮影画像の検知対象を検知した確率マップと前記パラメータを用いた画像処理を行う画像処理手段と、
画像処理の結果を出力するよう制御する出力制御手段と、
を有することを特徴とする情報処理装置。
【請求項１７】
情報処理装置が実行する情報処理方法であって、
画像に対し、修正対象として設定される設定領域の設定指示と、前記設定領域に対する修正指示と、を受け付ける受付ステップと、
前記修正指示に従い、前記設定領域に対して施す画像処理に係るパラメータを決定するパラメータ決定ステップと、
前記画像に関し予め定められた条件に従い、前記パラメータを適用する適用領域を決定する適用領域決定ステップと、
前記適用領域に対し、前記パラメータを用いた画像処理を行う画像処理ステップと、
画像処理の結果を出力するよう制御する出力制御ステップと
を含むことを特徴とする情報処理方法。
【請求項１８】
コンピュータを、請求項１乃至１６の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像処理においては、適切なパラメータを決定することが重要である。適切なパラメータを決定するとき、一般的には、複数の候補パラメータによる画像処理を画像全体に繰り返し適用し、処理の結果を人が目視で確認することで比較的良好なパラメータを選択する。ただし、画像中の領域に適したパラメータが別の領域には適さない場合があり、このようなケースでは、領域単位で適切なパラメータを設定することで、良好な処理結果を取得できる可能性がある。
【０００３】
特許文献１には、適切なパラメータを領域単位で設定する方法が開示されている。具体的には、画像から所定の色と近い領域を自動で抽出し、抽出した領域に対して人が適切なパラメータを設定する。この方法は、属性の似ている領域にパラメータを一度に設定できる点で効率がよい。
【０００４】
これに対し、特許文献２には、人が見るべき箇所が小さい領域で済むパラメータ調整方法が開示されている。具体的には、まず、画像の修正したい領域をユーザが指定し、ユーザがその領域を修正することで目標画像を作成する。そして、その目標画像と元の画像に対して画像処理を実行した結果が一致するよう、画像処理パラメータを調整する。この方法では、人がパラメータを直接指定しなくても、修正を通してパラメータを決定できるため、操作が簡単になることも期待できる。また、特に修正したい部分を確実に修正できる利点もある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４３０５９号公報
【特許文献２】特開２００８−８９５７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、抽出した領域は画像上で分散している可能性がある。このような場合、特許文献１の技術では、パラメータの決定の際に画像上に分散した各領域に注目する必要があるため、特に扱う画像が大きいようなケースではユーザ操作が面倒である。また、特許文献２の技術においては、複数の領域に対してパラメータを設定したい場合に、それぞれの領域を指定する必要がある。
【０００７】
本発明はこのような問題点に鑑みなされたもので、煩雑なユーザ操作を要することなく、画像に対し、適切な画像処理を施すことを目的とする。
【課題を解決するための手段】
【０００８】
そこで、本発明は、情報処理装置であって、画像に対し、修正対象として設定される設定領域の設定指示と、前記設定領域に対する修正指示と、を受け付ける受付手段と、前記修正指示に従い、前記設定領域に対して施す画像処理に係るパラメータを決定するパラメータ決定手段と、前記画像に関し予め定められた条件に従い、前記パラメータを適用する適用領域を決定する適用領域決定手段と、前記適用領域に対し、前記パラメータを用いた画像処理を行う画像処理手段と、画像処理の結果を出力するよう制御する出力制御手段と
を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、煩雑なユーザ操作を要することなく、画像に対し、適切な画像処理を施すことができる。
【図面の簡単な説明】
【００１０】
【図１】情報処理装置の構成図である。
【図２】画像の説明図である。
【図３】画像処理を示すフローチャートである。
【図４】表示画面の一例を示す図である。
【図５】分割領域の説明図である。
【図６】管理表の一例を示す図である。
【図７】表示画面の一例を示す図である。
【図８】処理部の説明図である。
【図９】パラメータを調整する処理の説明図である。
【図１０】適用領域候補を修正する処理の説明図である。
【図１１】強調表示処理の説明図である。
【図１２】適用領域候補を決定する処理の説明図である。
【図１３】第２の実施形態に係る表示画面の一例を示す図である。
【図１４】第２の実施形態に係る画像処理の説明図である。
【図１５】第３の実施形態に係る適用領域を決定する処理の説明図である。
【図１６】第４の実施形態に係る情報処理装置の構成図である。
【図１７】修正対象データの一例を示す図である。
【図１８】パラメータ補間処理を示すフローチャートである。
【図１９】パラメータ補間処理の説明図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面に基づいて説明する。
【００１２】
（第１の実施形態）
第１の実施形態に係る情報処理装置は、画像処理に用いるパラメータと、このパラメータを適用する領域を決定する装置である。図１（Ａ）は、第１の実施形態に係る情報処理装置１００のハードウェア構成図である。図１（Ｂ）は、情報処理装置１００の機能構成図である。
【００１３】
前提として、実施形態で用いるデータについて説明する。本実施形態の情報処理装置１００は、インフラ構造物の壁面画像から変状部分（ひび割れ）を認識処理によって検知した結果を修正する。ここで、変状部分は検知対象のオブジェクトの一例である。本実施形態においては、修正対象の画像を、修正対象データと称する。本実施形態においては、修正対象データを用意するため、撮影画像からひび割れを検知するためのモデルを予め生成しておく。そのモデルをインフラ構造物の壁面を写した画像に適用することで、変状らしい画素に１に近い値、そうでない画素に０に近い値が格納された、その画像と同じサイズのデータを取得する。このような方法で取得するデータを、以降では確率マップと記載する。
【００１４】
本実施形態では、確率マップに対して閾値処理（ここでは二値化処理）を適用して得られる二値画像を修正対象データとして扱うものとする。二値画像の例を図２に示す。図２（Ａ）に示す画像２１０はコンクリート壁面を撮影した画像の例であり、曲線２１１は、ひび割れが存在する箇所を表している。図２（Ｂ）に示す画像２２０は、撮影画像２１０にひび割れ検知のためのモデルを適用することで得る確率マップに対し、二値化処理を適用することで得られる二値画像であり、領域２２１、２２２は、ひび割れらしいと判断された領域である。以降では、撮影画像にモデルを適用して取得する確率マップに閾値処理を適用することで得られる画像のことを、検知結果と称する。また、検知結果上の０より大きい値が格納されている連続画素領域、例えば領域２２１、２２２を検知領域と称するものとする。
【００１５】
本実施形態の情報処理装置１００は、検知結果の検知領域のうち、面積が所定のサイズより小さい検知領域はひび割れでないものを誤って検知した誤検知領域であると解釈し、検知結果から削除する修正を行う。本実施形態の情報処理装置１００が着目するパラメータは、検知結果から検知領域を削除する基準となる、検知領域の面積とする。
【００１６】
続いて、以上に説明した修正対象データを修正するための、情報処理装置１００の処理手順の概要を述べる。まず、ユーザに検知結果上で修正したい小領域を設定させる。具体的には、検知結果の検知領域の中から、誤検知と考えられる検知領域を選択させ、その領域を削除する指示をさせる。このようにユーザの選択操作により設定される領域を、以降では設定領域と称する。削除する指示を受けると、情報処理装置１００は、設定領域とした検知領域が削除されるよう、パラメータ（ここでは検知領域を削除する基準の面積）を調整する。その後、情報処理装置１００は、撮影画像上で設定領域と画像特徴（ここでは撮影画像のテクスチャ）が類似している領域には、設定領域で調整したパラメータを用いて検知領域を削除する処理を適用するのが好ましいと仮定し、その処理を実行する。以降では、設定領域で調整したパラメータを用いた画像処理を適用する領域を適用領域と称する。さらに、調整したパラメータを用いた画像処理を修正対象データに対して実行することで得られるデータを、処理実行結果と記載する。
【００１７】
このように、本実施形態の情報処理装置１００は、画像の一部に対してパラメータを調整し、調整したパラメータを用いた画像処理をより広い範囲に適用する。利点として、画像全体ではなく画像の小領域を理想に近づくようにユーザに修正させるため、ユーザが見るべき領域は小さい領域で済む。また、調整したパラメータを用いた画像処理をより広い領域に適用するため効率がよい。概要の最後に、本実施形態の情報処理装置１００の入力と出力について述べる。入力は、修正対象データ、ユーザによる設定領域の設定の指示、設定領域に対する修正の指示である。出力は、設定領域に適したパラメータによる処理を、修正対象データの適用領域に実行して得られる処理実行結果である。
【００１８】
図１に示すように、情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、操作部１０６と、通信部１０７とを有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。表示部１０５は、各種情報を表示する。操作部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１０７は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。
【００１９】
なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ１０１は、ＲＯＭ１０２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。
【００２０】
また、他の例としては、情報処理装置１００の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、情報処理装置１００の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。
【００２１】
図１（Ｂ）は、情報処理装置１００の機能構成図である。情報処理装置１００は、データ取得部２０１、受付部２０２、パラメータ調整部２０３、適用領域決定部２０４、処理部２０５、表示制御部２０６及び管理部２０７を有している。データ取得部２０１は、ＨＤＤ１０４から修正対象データを取得する。なお、取得元は、ＨＤＤ１０４に限定されるものではなく、データ取得部２０１は、通信部１０７を介して外部装置から取得してもよい。受付部２０２は、ユーザから、設定領域の設定と、設定領域の修正の指示を受け付ける。パラメータ調整部２０３は、設定領域に適したパラメータを調整する。適用領域決定部２０４は、設定領域の属性に基づき、調整したパラメータでの処理が適した適用領域を決定する。管理部２０７は、データ取得部２０１で取得する修正対象データ、パラメータ調整部２０３で調整したパラメータ、適用領域決定部２０４の処理の中で取得する情報を管理する。
【００２２】
処理部２０５は、管理部２０７からパラメータと適用領域の情報を受け取り、適用領域に対しパラメータを用いた処理を実行し、処理実行結果を取得する。表示制御部２０６は、データ取得部２０１から受け取った修正対象データや、処理部２０５から受け取った処理実行結果を表示画面に表示する。このとき、処理実行結果を用いて元の修正対象データを更新することを承諾する判断に関する操作を、受付部２０２がユーザから受け付ける。管理部２０７は、ユーザが承諾すると、処理実行結果を最新の修正対象データとして更新し、管理する。
【００２３】
なお、管理部２０７は情報処理装置１００の必須の構成要素ではない。パラメータ調整部２０３や適用領域決定部２０４が処理部２０５に直接情報を送る場合や、ユーザが一度だけ修正を行う場合、情報処理装置１００は、管理部２０７を有さなくともよい。
【００２４】
図３は、情報処理装置１００による画像処理を示すフローチャートである。まず、Ｓ３０１において、データ取得部２０１は、修正対象データを取得する。上記で述べたように、修正対象データは、インフラ構造物を撮影した壁面画像からひび割れを検知した結果得られる検知結果である。本実施形態では、図４に示す画像を修正対象データ４００とする。修正対象データ４００は、壁面画像の全体像とする。
【００２５】
次に、Ｓ３０２において、管理部２０７は、修正対象データを受け取り、これをＲＯＭ１０２などの記憶部に格納する。管理部２０７が修正対象データを記憶しておくことで、以降の処理でユーザが修正対象データに適用した処理を取り消したい場合に、修正対象データを元の状態に戻すことができる。
【００２６】
次に、Ｓ３０３において、表示制御部２０６は、修正対象データを表示部１０５に表示する。図４は、修正対象データを表示する表示画面例を示す図である。表示画面４１０の画像４１１は検知結果であり、修正対象データ４００の一部の領域４０１の拡大画像である。検知結果４１１中の検知領域４１３はひび割れを正しく検知した部分であり、４１２は壁面上の傷を誤って検知した部分であるものとする。なお、表示画面４１０のように修正対象データを拡大して表示することは必須ではないが、本実施形態では巨大な壁面画像を修正対象データとするため、拡大して表示した方が修正したい部分を目視で確認しやすい。表示スケールの変更方法として、例えば、受付部２０２を介してユーザに、拡大したい部分にマウスポインタをかざした状態でＣｔｒｌキーを押しながらマウスホイールを動かす操作をさせる。そして、表示制御部２０６が、マウスポインタのある位置を拡大または縮小して表示することにより、ユーザの操作を反映する。
【００２７】
なお、データ取得部２０１が修正対象データである検知結果の他に、元の撮影画像を取得しておき、表示制御部２０６が撮影画像上の検知結果と対応する位置に検知結果を重畳して表示してもよい。これにより、ユーザは撮影画像のひび割れ位置と検知領域を照合しやすくなる。その他に、重畳画像の検知結果を透過色で表示する機能や、検知結果をずらして表示する機能、重畳画像と撮影画像を切り替えて表示する機能を取り入れると、検知結果の視認性が向上してなおよい。
【００２８】
次に、Ｓ３０４において、受付部２０２は、ユーザ操作に応じて、検知結果４１１の中で特に修正したい領域の設定指示、すなわち設定領域の設定指示を受け付ける。次に、Ｓ３０５において、受付部２０２は、設定領域の修正指示を受け付ける。本実施形態では、ユーザは撮影画像と検知結果を照合しながら、検知結果のうち、誤検知した領域と考えられる、面積の小さい検知領域を設定領域として設定し、削除する操作を行う。図４の表示画面４１０の例では、ユーザは、誤検知の検知領域４１２を削除したいものとする。この場合、ユーザは、マウスポインタ４１４により検知領域４１２を選択することにより、検知領域４１２を設定領域として設定し、さらに削除ボタン４１５を選択する。なお、設定した設定領域を異なる色で表示したり、設定領域をまたは設定領域の境界を周囲と異なる色で表示したりすることによって、ユーザはどの部分を選択したのか認識しやすくなる。
【００２９】
次に、Ｓ３０６において、パラメータ調整部２０３及び処理部２０５は、設定領域に適したパラメータを、ユーザの指示に合うよう調整する。手順としてはパラメータの値を変更しながら設定領域に対して処理部２０５による処理を実行する。そして、パラメータ調整部２０３は、処理実行結果の中にユーザの指示と合うものがあれば、その処理実行結果を取得したときに用いたパラメータを適切なパラメータとする。具体的には、図４の表示画面４１０に示される検知領域４１２を削除するとき、削除する基準のパラメータである、検知領域の面積を小さい値から大きい値へと変更していく。パラメータの変更に応じて、検知領域４１２に対し、処理部２０５が処理を実行して処理実行結果を取得することを繰り返す。その結果、検知領域４１２が最初に削除されたときのパラメータを適切なパラメータとして採用する。このように、パラメータの調整は、適切なパラメータを自動で探索することにより行われる。
【００３０】
さらに、パラメータが調整されると、表示制御部２０６は、図４の右端に示すように、修正結果を示す表示画面４２０を表示する。表示画面４２０においては、検知領域４１２が削除された処理実行結果４２１が表示される。
【００３１】
なお、上記では設定領域に適したパラメータを探索する方法を述べたが、設定領域を包含する任意のサイズの小領域（例えば、画像４１１）を対象として適切なパラメータを探索してもよい。なお、その他のパラメータの決め方として、本実施形態の場合は、選択した検知領域の面積の大きさを算出し、算出した値をパラメータとして採用することもできる。なお、Ｓ３０６の処理は、パラメータ決定処理の一例である。
【００３２】
次に、Ｓ３０７において、表示制御部２０６は、上記の方法で採用したパラメータによる処理実行結果を、ユーザの修正を反映したデータとして表示する。以降では、設定領域に対してユーザの修正を反映したデータを修正反映データと記載する。
【００３３】
以下では、修正反映データ上で、調整したパラメータを用いた処理を適用する適用領域を決定する。そして、決定した適用領域に、調整したパラメータを用いた処理を適用することで、修正対象データを修正する。Ｓ３０８以降のステップでは、この処理について説明する。Ｓ３０８からＳ３１０では、適用領域決定部２０４が設定領域に基づいて、パラメータ調整部２０３で調整したパラメータを用いた処理を適用する適用領域を決定する。
【００３４】
まず、Ｓ３０８において、適用領域決定部２０４は、修正対象データを分割する。以下、分割により得られた各部分領域を分割領域と称する。本実施形態においては、適用領域決定部２０４は、修正対象データを任意のサイズの矩形領域に分割する。なお、領域の座標情報は、管理部２０７により、記憶部に格納され、管理される。適用領域決定部２０４は、例えば、図５に示すように、修正対象データ５００を、格子状の複数の部分領域（例えば、５１１、５１２、５１３）に分割する。
【００３５】
次に、Ｓ３０９において、適用領域決定部２０４は、分割領域及び設定領域の属性を取得する。本実施形態においては、画像特徴を属性として取得する。なお、他の例としては、属性は、検知結果に関する情報、座標情報などであってもよい。画像特徴には、色、彩度、明度、テクスチャ情報などがあるが、ここではテクスチャ情報を使用する。適用領域決定部２０４は、例えば画像に対してフーリエ解析などの手法を適用することによりテクスチャ情報を取得できる。本実施形態では、分割領域ごとに、修正対象データの元の壁面画像からテクスチャ情報を属性として取得する。
【００３６】
次に、Ｓ３１０において、適用領域決定部２０４は、分割領域の属性の類似性に基づき、適用領域候補を決定する。具体的には、適用領域決定部２０４は、設定領域を含む分割領域と各分割領域の属性の類似性を判定し、設定領域を含む分割領域及びその領域と類似性の近い分割領域を、適用領域候補として決定する。類似性を判定するため、本実施形態では、適用領域決定部２０４は、撮影画像の分割領域ごとのテクスチャ情報に基づきクラスタリングを行うことで、分割領域をグループ分けする。クラスタリングとは、データ群を分布に基づき複数のグループに分類する方法である。適用領域決定部２０４は、グループ分けの結果、設定領域を含む分割領域と同じグループに属す分割領域を適用領域候補とする。なお、Ｓ３１０の処理は、画像に関し予め定められた条件（属性の類似性）に従い、適用領域を決定する適用領域候補決定処理の一例である。
【００３７】
例えば、図５の分割領域５１２と分割領域５１１は同じグループに属すのに対し、分割領域５１３と分割領域５１１は異なるグループに属すものとする。また、分割領域５１１の領域５０１が設定領域であるものとする。この場合、適用領域決定部２０４は、設定領域５０１を含む領域５１１と、分割領域５１１と同じグループの分割領域５１２を適用領域候補として決定する。
【００３８】
なお、本実施形態においては、適用領域決定部２０４は、上記では類似性を判定する際に、設定領域を含む分割領域と各分割領域の属性の類似性を判定する。ただし、他の例としては、適用領域決定部２０４は、設定領域が例えば１００画素以内の極端に小さい領域でない場合には、設定領域自体と各分割領域の属性の類似性を判定してもよい。
【００３９】
なお、必須ではないが、適用領域決定部２０４の処理の中で取得する分割領域、属性、類似性などの情報は、管理部２０７が、管理表として記憶部に格納して管理することができる。図６は、管理表６００の一例を示す図である。この管理表６００において、分割領域の番号と、分割領域の属するグループを対応付けたレコードが、複数の分割領域それぞれに対応して記憶されている。このように、管理部２０７で情報を管理することで、ユーザから複数の設定領域について修正を受ける場合には分割領域ごとの属性情報を何度も算出し直す必要がなくなる。
【００４０】
次に、Ｓ３１１において、表示制御部２０６は、適用領域候補を表示画面に強調して表示する。図７（Ａ）及び図７（Ｂ）用いて、適用領域候補の強調表示方法を２つ説明する。
【００４１】
１つ目は、適用領域候補の境界に色を付けて表示する方法である。具体例を図７（Ａ）に示す。図７（Ａ）の表示画面７００に含まれる画像７１０は、修正対象データを表しており、図５の修正対象データ５１０と同一のデータである。領域７１１は適用領域候補を表しており、適用領域候補の領域７１１の境界に、例えば赤色のような、壁面画像上に表示すると目立つ色、すなわち、処理対象データと異なる色を表示する。これにより、調整したパラメータによる処理が、どのくらいの範囲に適用されるのかが、ユーザにとって認識しやすくなる。
【００４２】
２つ目は、適用領域候補を除く領域に所定の色を重畳する方法である。具体例を図７（Ｂ）に示す。図７（Ｂ）の表示画面７００では、修正対象データ７２０の適用領域候補７２２を除く領域に暗い色が重畳されている。このように適用領域候補以外の領域を暗い色で表示すると、適用領域候補以外の領域の視認性が低化することから、ユーザは見る必要のない領域を見ずに必要最低限の領域だけ確認しながら作業できるようになる。なお、適用領域候補以外の領域が適用領域候補より暗くなるように、適用領域候補以外の領域に対し、一般的な画像処理により明るさを変換する処理を行ってもよい。この処理により、適用領域候補以外の領域に所定の色を重畳する方法と同様の効果が得られる。
【００４３】
なお、上述の適用領域候補を強調した画像と、強調する前の画像をユーザがマウスをクリックする操作などにより切り替えて表示することもできる。これにより、ユーザにとって変化した部分を認識しやすくなり、承諾の判断が容易になる。
【００４４】
次に、Ｓ３１２において、受付部２０２は、適用領域候補を適用領域として承諾するか否かの指示をユーザ操作に応じて受け付ける。図７（Ａ）の表示画面７００及び図７（Ｂ）の表示画面７００の例では、ユーザは、承認する場合には、マウスポインタ７１２を用いて、承諾ボタン７１３を選択する。また、ユーザは、拒否する場合は、拒否ボタン７１４を選択する。受付部２０２は、承諾の指示を受け付けた場合には（Ｓ３１２でＹＥＳ）、処理をＳ３１３へ進める。受付部２０２は、拒否の指示を受け付けた場合には（Ｓ３１２でＮＯ）、処理をＳ３１８へ進める。Ｓ３１３において、適用領域決定部２０４は、適用領域候補を適用領域として決定する。Ｓ３１８においては、表示制御部２０６は、強調表示を停止し、表示画面を元に戻す。以上で、画像処理は終了する。
【００４５】
Ｓ３１３の処理の後、Ｓ３１４において、処理部２０５は、適用領域に対して処理を実行して処理実行結果を取得する。本実施形態においては、処理部２０５は、適用領域に対し、ひび割れを検知した結果から所定の面積より小さい検知領域を誤検知とみなして削除する処理を行う。処理部２０５で使用するパラメータは、削除するか判断する基準となる面積である。
【００４６】
ここで、図８を参照しつつ処理部２０５の処理について説明する。図８（Ａ）の画像８００及び図８（Ｂ）の画像８２０は、それぞれ図５に示す領域５０２、５０３に対応する。ここで、領域５０２を含む分割領域５１２は適用領域であり、領域５０３を含む分割領域５１３は適用領域でないものとする。領域８０１、８０２、８０３、８０４、８２１、８２２はひび割れの検知結果の検知領域を表している。画像８１０は画像８００に対して処理部２０５で処理を実行して得られた処理実行結果とする。画像８００は適用領域決定部２０４で決定した適用領域に含まれるため、処理実行結果８１０では処理部２０５による処理の結果、削除する基準の面積より小さい検知領域８０３、８０４が削除されている。一方、画像８２０、画像８３０は適用領域に含まれない領域の処理前後の修正対象データであり、処理は実行されず、削除する基準の面積より小さい検知領域８２２が削除されずに残っている。
【００４７】
次に、Ｓ３１５において、表示制御部２０６は、処理実行結果を表示画面に表示するよう制御する。本処理は、出力制御処理の一例である。これにより、ユーザに確認を促す。次に、Ｓ３１６において、受付部２０２は、修正対象データを処理実行結果に更新することについての承諾の指示を受け付けたか否かを判定する。受付部２０２は、承諾の指示を受け付けた場合には（Ｓ３１６でＹＥＳ）、処理をＳ３１７へ進める。受付部２０２は、承諾の指示を受け付けなかった場合、すなわち拒否の指示を受け付けた場合には（Ｓ３１６でＮＯ）、処理をＳ３１８へ進める。Ｓ３１７において、管理部２０７は、処理実行結果を最新の修正対象データとし、管理している修正対象データを更新する。以上で、画像処理が完了する。
【００４８】
以上のように、本実施形態の情報処理装置１００は、画像の一部の領域である設定領域を用いることでパラメータを調整し、さらに調整したパラメータを用いた画像処理を適用する適用領域を適切に決定することができる。
【００４９】
さらに、情報処理装置１００は、画像処理が終了した時点における処理実行結果を最新の修正対象データとみなし、設定領域を変更しながら一連の処理を繰り返して実行してもよい。これにより、画像全体に対し簡単に修正を行うことができ、最終的にユーザにとって理想的な画像を取得することができる。
【００５０】
なお、上記ではＳ３０５でユーザから修正の指示を受けると、Ｓ３０６、Ｓ３０７で適切なパラメータを自動で探索し、修正を反映した修正反映データを表示するものとした。ただし、他の例としては、情報処理装置１００は、これらの処理はまとめて行うこととし、適切なパラメータをユーザ操作に応じて探索してもよい。この方法を、図９の表示画面９００を用いて説明する。ユーザは表示画面９００を見て、表示画面９００の設定領域の変化を確認しながら適切なパラメータを決定する。操作には、パラメータを調整するバー９０１を利用することができる。ユーザがマウスポインタ４１４で調整バー９０１のつまみ部分を左右に動かすと、その時選択しているパラメータを用いて、処理部２０５が処理を行い、表示制御部２０６が処理実行結果を表示する。この操作および表示により、ユーザは検知領域４１２を削除できるパラメータを、調整バーを調整しながら決定する。
【００５１】
また、上述の方法では類似性の調べ方としてグループ分けする方法を説明したが、他の例としては、情報処理装置１００は、設定領域または設定領域を含む分割領域と各分割領域の類似度を算出してもよい。情報処理装置１００は、設定領域を含む分割領域と、各分割領域のうち設定領域を含む領域と属性の類似度が高い分割領域を適用領域候補とする。この方法では、グループ分けする方法と異なり、設定領域を変更する度に類似性を算出し直さなければならないため計算量が増加する。しかし、類似度が高い分割領域は適用領域の可能性がより高いと解釈すると、適用領域の可能性が高い、ユーザに先に確認させたい情報から順に提示する使い方ができる点で有効である。
【００５２】
＜適用領域候補の修正＞
以上の説明の中で、Ｓ３１２で、ユーザから、適用領域候補を適用領域として承諾する判断に関する操作を受け付けるステップを説明した。しかし、適用領域候補の一部は承諾したいが、一部は承諾したくない場合がある。このような場合に、受付部２０２が適用領域候補の修正に関する操作を受け付ける機能を持つと、ユーザの好みにより柔軟に沿った修正を行うことができる。以下において、修正方法を３つ説明する。
【００５３】
１つ目の修正方法として、適用領域候補をマウスポインタの位置に基づいて拡大、縮小する方法を、図１０（Ａ）に示す表示画面１０００を参照しつつ説明する。表示画面１０００では、修正対象データ１００１の中で、領域１００２を適用領域候補として決定し、強調表示している。ユーザは、マウスポインタ１００４を用いて、適用領域候補１００２の頂点１００３を選択し、拡大する方向（矢印１００６の方向）にドラッグする操作を行う。この操作により、修正対象データ１００１の適用領域候補１００２が、図１０（Ａ）の右に示す、表示画面１０００の領域１０１２に示すように修正される。適用領域候補がユーザの好みに合う領域に修正されたら、マウスポインタ１００４によりユーザは確定ボタン１００５を選択することで、適用領域候補を適用領域として決定する。この方法により、ユーザは修正領域の候補の範囲を微調整することができるようになる。
【００５４】
２つ目の修正方法として、適用領域候補を分割領域単位で追加または削除する方法を、図１０（Ｂ）に示す表示画面１０２０を参照しつつ説明する。表示画面１０２０においては、修正対象データ１０２１の適用領域候補でない領域を、適用領域候補として分割領域単位で追加することができる。ユーザはマウスポインタ１０２４を用いて分割領域１０２３を選択する。この操作により適用領域候補１０２２に分割領域１０２３が追加される。ユーザは適用領域候補が好みの範囲に修正された後は、マウスポインタ１０２４を用いて確定ボタン１０２５を選択する。この操作により適用領域候補は適用領域として決定される。なお、同様の手順により適用領域候補の一部を除外することもできる。この場合、適用領域候補に含まれている分割領域を選択すると、適用領域候補から選択した分割領域を除外する。以上に示した方法では、１回のクリックで適用領域を変更できる点で、ユーザの操作が容易になる。
【００５５】
３つ目の修正方法として、適用領域候補の領域に非適用領域を指定する方法を、図１０（Ｃ）に示す表示画面１０３０を参照しつつ説明する。表示画面１０３０に示される修正対象データ１０３１の適用領域候補１０３２から、ユーザは領域１０３３を除外したいとする。ユーザはマウスポインタ１０３４を用いて領域１０３３を選択する。選択方法として、例えば領域１０３３の左上の頂点から右下の頂点までマウスをドラッグする。この操作の結果、適用領域候補１０３２は領域１０３３を除いた領域に変更される。適用領域候補が好みの範囲になれば、ユーザは確定ボタン１０３５を選択することで、適用領域候補を適用領域として決定する。この方法により、パラメータによる処理を実行したくない領域を避けながら修正を行うことができるようになる。
【００５６】
なお、上記の例では、適用領域の確認を促す方法として、表示制御部２０６が修正対象データ全体を表示していたが、強調表示をしながら、表示範囲のスケールを変更してもよい。具体例を図１０（Ｄ）の表示画面１０４０に示す。表示画面１０４０の画像１０４４は、修正対象データ１０４５の適用領域候補１０４２に含まれるある領域１０４３を拡大した画像である。修正対象データ上で拡大している領域１０４３は、周辺と異なる色で表示して強調することで、ユーザは、修正対象データの全体像のどこを見ているのか確認しながら、拡大した画面を見ることができ、より確実な判断ができるようになる。
【００５７】
＜順番に強調表示＞
上記では、表示制御部２０６は適用領域候補を一度に強調して表示する方法を説明したが、複数の分割領域が適用領域候補となっている場合は、適用領域候補は一度に強調表示せずに少しずつ表示してもよい。具体例を図１１に示す。表示画面１１００においては、適用領域候補の強調する領域が分割領域単位（部分領域単位）で変更しながら表示される。表示制御部２０６は、修正対象データ１１０１の適用領域候補として１つの分割領域１１０２を強調して表示する。ユーザが適用領域候補１１０２を適用領域とすることを承諾または拒否すると、図１１の右図のように、強調される適用領域候補が分割領域１１０２から分割領域１１０３に変更される。強調する順序には、設定領域から近い順に表示する方法や、設定領域を含む分割領域と各分割領域の類似性の高い順に表示する方法がある。強調する領域を変更していくことで、ユーザは１つ１つの分割領域を確実に確認しながら修正をしていくことができる。また、本実施形態では、適用領域が１つの領域に固まっている例を示したが、離間している場合もある。その場合は、まとまっている領域ごとに順に表示してもよい。
【００５８】
＜適用領域候補を複数表示する＞
上述の説明では、属性としてテクスチャ情報を取得したが、他の例としては、適用領域決定部２０４は、複数の種類の属性を取得してもよい。適用領域決定部２０４は、属性毎に適用領域候補を決定する。表示制御部２０６は、決定した適用領域候補を属性ごとに表示する。受付部２０２は、属性によって異なる複数の適用領域候補の中からユーザにとって好ましいものを選択させる。表示制御部２０６は、適用領域候補を属性毎に切り替えながら強調して表示する。これにより、ユーザにとって、属性ごとの適用領域候補を比較しやすくなる。以上のように、表示制御部２０６は、適用領域候補を、他の領域と識別可能に表示する。
【００５９】
＜確定的な部分の管理＞
上述の説明では管理部２０７は分割領域毎に属性を管理することを述べたが、ユーザが直接操作した部分は、確定領域とみなして別途管理するようにしてもよい。例えば、管理部２０７は、既に設定領域として修正の操作が行われた部分は確定領域として管理し、以降の処理では、属性に関わらず、確定領域以外の領域を適用領域候補として設定するようにする。確定領域を管理することで、一度修正した部分は変更されなくなり、適用領域候補として承諾を求められなくなるため、ユーザにとって煩わしい確認作業を減らすことができる。
【００６０】
上述の説明では、１つの設定領域に対して１度修正の指示をすると、パラメータ調整部２０３が適切なパラメータを決定したが、修正の指示の回数は複数回であってもよい。例えば、ユーザは受付部２０２を介して、複数の検知領域を含むウィンドウ（矩形領域）を設定領域として設定し、設定領域の検知領域を選択して削除する操作を複数回実行する。設定領域の設定は、例えば、設定領域としたい領域の周辺でマウスをドラッグし、ドラッグ操作の開始点と終了点を対角とするウィンドウを設定領域とする。パラメータ調整部２０３では、各検知領域を削除する上で適切なパラメータを調べた上で、各検知領域を修正するために調整したパラメータの平均値を算出し、平均値を設定領域に適切なパラメータとみなす。このように複数の修正指示を考慮してパラメータを統計的に調整すると、外れ値の影響を小さくすることができる。
【００６１】
適用領域決定部２０４は、過去の操作履歴に基づき、適用領域候補を決定してもよい。図１２を参照しつつ本処理を説明する。表の１列目には、ある修正対象データの分割領域の情報を示し、２列目には、分割領域ごとに設定領域との属性の類似度を算出した結果を示す。ここでは、設定領域との類似度が高い分割領域は、適用領域としてユーザから承諾される確率が高いと仮定し、類似度が例えば０．７以上の分割領域は、適用領域候補として決定する。この基準をみたす分割領域としてａｒｅａ１、ａｒｅａ２、ａｒｅａ３、ａｒｅａ４を適用領域候補とし、表示制御部２０６と受付部２０２を介してユーザに、適用領域候補を適用領域として承諾する判断を促す。図１２の表の３列目はユーザの承諾の判断の結果を表すものとし、承諾が得られた場合は可、承諾が得られなかった場合は否、と記載している。ここでは、適用領域候補ａｒｅａ１、ａｒｅａ２、ａｒｅａ４はユーザから適用領域として承諾されたものとする。適用領域決定部２０４は、ユーザから承諾を受けた分割領域の属性の類似度を用いて、分割領域から適用領域候補を決定するための基準を再設定する。例えば、ａｒｅａ１、ａｒｅａ２、ａｒｅａ４の属性の類似度である０．９５、０．７５、０．９０の平均値や最小値を新たな基準として設定する。
【００６２】
なお、平均値や最小値を求める方法の他に、類似度の分布から、判別分析によって適用領域候補を決定するための基準を決めることもできる。判別分析は、データの分布に基づきデータがどのグループに属すかを推定する手法である。この手法により、過去のデータの類似度と承諾の情報に基づき基準を決めて、適用領域決定部２０４が新たに取得した分割領域の属性から適用領域候補とするか否かを決定する。このように、過去の履歴から基準を決めることにより、表示方法をユーザの好みに合わせていくことができる。なお、本実施形態では、修正対象データ上の一部の領域を適用領域として決定したが、修正対象データ全体を適用領域としてもよい。
【００６３】
最後に、先に説明したフローについて補足する。まず、Ｓ３１０からＳ３１６の処理は、この順番通りに行わなくてもよい。例えば、情報処理装置１００は、Ｓ３１０で適用領域候補を決定した後、Ｓ３１４で適用領域候補に処理を実行してＳ３１５で処理実行結果を表示し、その後、Ｓ３１５でユーザに承諾する判断を促してもよい。このようにユーザから承諾の判断を得る前に処理部２０５で処理を実行することにより、処理実行結果を見ながら承諾の判断ができるため、ユーザは判断しやすくなる。また、情報処理装置１００は、Ｓ３１２、Ｓ３１６のユーザの承諾する判断に関する処理は省略してもよい。この場合、情報処理装置１００は、適用領域候補はそのまま適用領域として決定すればよい。これにより、処理時間を短縮できる。
【００６４】
（第２の実施形態）
第２の実施形態に係る情報処理装置１００について、第１の実施形態に係る情報処理装置１００と異なる点を主に説明する。本実施形態に係る情報処理装置１００が扱う修正対象データは、第１の実施形態において説明したのと同様に、インフラ構造物の壁面画像からひび割れを検知した検知結果とする。第１の実施形態に係る情報処理装置１００は、検知結果から誤検知の領域を削除する修正を行ったのに対し、第２の実施形態に係る情報処理装置１００は、未検知の可能性のある領域を修正する。例えば、１本のひび割れを全て検知できずに、部分的に検知できている場合がある。本実施形態ではこのようなケースを想定し、処理部２０５では２つの検知領域を連結することにより未検知の可能性のある領域を修正する。
【００６５】
また、第２の実施形態の情報処理装置１００においては、第１の実施形態と異なり、確率マップを用いて検知領域を修正する。確率マップに閾値処理を適用する際に用いる閾値により、検知領域が変化することを利用した方法を利用することができる。閾値が高いときには検知量は少なく精度が高くなる傾向があり、閾値が低いときには検知量が多く精度が下がる傾向がある。本実施形態の情報処理装置１００は、確率マップに第一の閾値（高い閾値）を適用して得られる検知結果を修正対象のデータとし、確率マップに第二の閾値（低い閾値）を適用して得られる検知結果を参照して修正する。具体的には、情報処理装置１００は、修正対象のデータ上の検知領域が途切れている箇所に対応する、参照するデータの画素情報を取得し、検知領域が途切れている箇所を補間する。本実施形態では、修正のために用いるパラメータは、第二の閾値とする。
【００６６】
まず、データ取得部２０１について説明する。データ取得部２０１では、修正対象データとして、第１の実施形態と同様にインフラ構造物の壁面の画像からひび割れを検知した確率マップに、閾値処理を適用して得られる二値画像を取得する。第２の実施形態においては、データ取得部２０１は、さらに、修正の際に使用するため確率マップも取得する。
【００６７】
次に、表示制御部２０６について説明する。表示制御部２０６は、ユーザに修正させるための修正対象データを表示する。具体例を、図１３の表示画面１３１０に示す。表示画面１３１０上の画像１３１１は、図５の修正対象データ全体を示す画像５００の領域５０１に相当するものとする。ただし、第１の実施形態とは異なる閾値により閾値処理を行ったため、異なる検知結果が得られているものとする。領域１３１２、１３１３は検知領域を表す。また、表示制御部２０６は、表示画面１３１０に、離間した検知領域を連結する指示をするためのツール１３１４を表示する。
【００６８】
次に、受付部２０２について説明する。受付部２０２では、ユーザが連結したい検知領域を包含する領域を設定領域として設定し、検知領域を連結する修正をするための操作を行う。ここでは、表示画面１３１０に表示される検知領域１３１２、１３１３を連結する処理を行いたいものとする。ユーザは、マウスポインタ１３１５を検知領域１３１２、１３１３にかざしてクリックして選択する。この操作を受けると、これらの検知領域を包含する領域、画像１３１１の全領域を設定領域として設定する。設定領域の設定後、ユーザはマウスポインタ１３１５を連結ボタン１３１４にかざしてクリックすることで、検知領域を連結する指示をする。
【００６９】
パラメータ調整部２０３では、第二の閾値を変更しながら、処理部２０５が確率マップの二値画像を用いて上述の連結処理の実行を繰り返し、第二の閾値として適切な値を探索する。具体的には、設定領域を対象として、第二の閾値を低い値に徐々に変更しながら検知結果の取得を繰り返すことで、画像１３１１を修正する上で適切なパラメータを見つける。パラメータ調整部２０３による処理の終了後、表示制御部２０６は修正の結果を表示する。このときの表示画面を図１３（Ｂ）に示す。表示画面１３１０の検知領域１３１２、１３１３は、例えば領域１３２２のように修正される。
【００７０】
その後、適用領域決定部２０４が調整したパラメータを適用する適用領域を決定する。本実施形態では、適用領域決定部２０４は、検知結果が類似している分割領域を同じ属性のグループとみなし、設定領域を含む領域と同じグループの分割領域を適用領域候補とする。例えば、分割領域ごとの検知領域の密度を属性とすることができる。ここでは、検知領域の数が多い分割領域で連結処理を行わないようにすることで、連結すべきでない検知領域の組を誤って連結することを防ぐ。適用領域候補を決定した後は、第１の実施形態と同様の方法でユーザから受付部２０２を介して承諾する判断に関する操作を受けることで、適用領域候補から適用領域を決定する。
【００７１】
次に、処理部２０５の処理について説明する。処理部２０５では、調整したパラメータを用いて適用領域に対して上述の画像処理を実行し、処理実行結果を取得する。処理実行結果を図１４（Ａ）、図１４（Ｂ）に示す。図１４（Ａ）の画像１４００の領域１４０１、１４０２、１４０３、１４０４は、いずれも検知領域である。また、図１４（Ｂ）の画像１４２０の領域１４２１、１４２２は、いずれも検知領域である。また、画像１４００は適用領域に含まれる領域であるのに対し、画像１４２０は適用領域に含まれない領域とする。
【００７２】
画像１４００には処理部２０５の処理が適用され、画像１４１０に示す処理実行結果が得られる。画像１４００の検知領域１４０１、１４０２は、検知領域１４１１のように修正されている。一方、画像１４２０は、処理部２０５による処理が適用されない領域における処理の前後の画像であり、検知領域が変化していないことを表している。以上に示した方法により、確率マップを用いて修正対象データを修正する上で、適切なパラメータとそのパラメータを用いた処理を適用する適用領域を適切に決定することができる。
【００７３】
（第３の実施形態）
第３の実施形態に係る情報処理装置１００について、他の実施形態に係る情報処理装置１００と異なる点を主に説明する。本実施形態に係る情報処理装置１００は、風景の撮影画像を修正対象データとして扱う。また、第１、第２の実施形態の情報処理装置１００は、修正対象データを任意のサイズに分割することで分割領域を取得していたのに対し、第３の実施形態の情報処理装置１００は、領域分割処理を実施することで分割領域を取得する。本実施形態の領域分割処理は、画像を輝度や色情報などの属性が近く、隣接する画素をひとまとまりのグループとして各画素に同一のラベルを設定する処理である。本実施形態では、同一のラベルが設定されている領域は、１つの分割領域とみなすものとする。
【００７４】
第３の実施形態の処理内容を、図１５（Ａ）、図１５（Ｂ）を用いて説明する。本実施形態で扱う修正対象データは撮影画像であり、複数の花が写っている。ここでは、１つの花の領域を選択して彩度を修正するための適切なパラメータを調整し、調整したパラメータを他の複数の花にも適用することを狙う。
【００７５】
まず、データ取得部２０１は、撮影画像を修正対象データとして取得し、表示制御部２０６は、データ取得部２０１が修正対象データとして取得した撮影画像を表示する。図１５（Ａ）に示す表示画面１５１０の画像１５１１は、修正対象データである。
【００７６】
次に、受付部２０２は、ユーザから、修正対象データ１５１１上に設定領域１５１２を設定する操作を受け付ける。設定方法としては、マウスポインタ１５１４を用いて設定領域としたい箇所の周辺の２点を設定し、２点を対角上に持つウィンドウを設定する。その後、設定領域の彩度を修正するための処理を行う。ここでは、表示制御部２０６が表示画面上に彩度調整バー１５１３を表示し、受付部２０２を介してユーザがマウスポインタ１５１４により彩度調整バー１５１３のつまみを左右に動かす操作をするものとする。
【００７７】
この操作を受けると、つまみの位置によってパラメータが変化する。処理部２０５は、その時点で設定されているパラメータを用いて、設定領域１５１２に彩度を変更する処理を適用して処理実行結果を取得する。表示制御部２０６は、処理実行結果を受け取ると、表示画面に随時表示する。ユーザは設定領域１５１２の彩度の変化を確認しながら、好みの彩度になった時点でマウスポインタ１２１４を確定ボタン１５１５に合わせて選択することにより、修正を完了する。パラメータ調整部２０３は、この時点で設定されているパラメータを、設定領域に適したパラメータとして決定する。
【００７８】
次に、適用領域決定部２０４の処理について説明する。本実施形態では、修正対象データの撮影画像に、領域分割処理を適用する。修正対象データ１５１１は、領域分割処理によって、色や輝度の属性に応じて分割される。具体的には、修正対象データ１５１１は、色の近い領域に分割され、画像１５２０に示すように、斜線に示すような花領域、ドット領域で示すような草の領域、空の領域に分割されたとする。この場合、適用領域決定部２０４は、修正対象データの分割領域の色や輝度の情報を属性として取得し、設定領域と属性の近い分割領域を適用領域候補として決定する。図１５（Ａ）の例では、図１５（Ｂ）に示すように、複数の花の領域１５２２、１５２３、１５２４が適用領域候補として決定され、これらの領域に対し、パラメータ調整部２０３で決定したパラメータを用いて処理部２０５が彩度の修正を行う。以上の処理により、領域分割処理によって分割した分割領域を利用して、修正対象データを修正することができる。
【００７９】
（第４の実施形態）
第４の実施形態に係る情報処理装置１００について、他の実施形態に係る情報処理装置１００と異なる点を主に説明する。第４の実施形態の情報処理装置１００は、設定領域で調整したパラメータを用い、調整したパラメータを用いた画像処理を適用していない領域を対象としてパラメータを補間する。本実施形態の情報処理装置１００は、風景の撮影画像を修正対象データとし、修正対象データに対して領域毎に明るさを変換する修正をする。
【００８０】
図１６は、第４の実施形態に係る情報処理装置１００の機能構成図である。第４の実施形態に係る情報処理装置１００は、他の実施形態の機能構成に加えて、パラメータ補間部１６０１をさらに有している。パラメータ補間部１６０１は、調整したパラメータを用い、調整したパラメータを用いた画像処理を適用していない領域を対象としてパラメータを補間するための補間式を構築する。補間式に、分割領域の属性を入力すると、適切なパラメータが得られる。補間したパラメータは処理部２０５に送られ、処理部２０５は、補間処理により得られたパラメータを用いて画像処理を行う。
【００８１】
まず、パラメータ補間部１６０１を使用する前の準備段階の処理の流れについて説明し、その後、パラメータ補間部１６０１の処理を説明する。まず、パラメータ補間部１６０１を使用する前の準備段階の処理を説明する。準備段階の処理は基本的には第１の実施形態の処理と同じであり、第１の実施形態と同様の手順を、パラメータ補間部１６０１の処理に必要な量のデータが集まるまで繰り返す。はじめに、データ取得部２０１が修正対象データを取得する。本実施形態では、修正対象データは、空、海、砂浜を写した風景画像とする。ここで取得した修正対象データは、管理部２０７が管理しておく。
【００８２】
次に、表示制御部２０６は、修正対象データを図１７（Ａ）に示すように表示画面１７１０に表示する。ここで、１７１１は、修正対象データである。表示画面１７１０において、ユーザに設定領域の設定と修正の指示を促す。次に、受付部２０２は、ユーザから設定領域の設定と修正の指示を受け付ける。ここでは、ユーザは設定領域を２か所設定したとする。ユーザは、第３の実施形態と同様に修正対象データ上にウィンドウを設定する方法により、修正対象データ１７１１の領域１７１２、１７１３を設定領域として設定したとする。続いて、第３の実施形態と同様の方法で、明るさ調整バー１７１４の操作に従い、パラメータ調整部２０３は、設定領域の明るさを変更するためのパラメータを調整する。
【００８３】
次に、適用領域決定部２０４は、修正対象データを任意のサイズの矩形に分割し、分割領域毎の属性を取得し、属性に基づき適用領域の候補を決定する。本実施形態では、分割は座標に基づいて行う。修正対象データを分割した画像を図１７（Ｂ）に示す。画像１７２０は修正対象データ１７１１と同じ画像を表しており、これらの画像の領域１７１２、１７１３は同一の領域を表している。修正対象データ１７２０の格子状のラインは修正対象データを分割して得る分割領域の境界とする。
【００８４】
適用領域決定部２０４は、領域分割の後、分割領域ごとに属性を求める。本実施形態では、適用領域決定部２０４は、分割領域の属性として座標情報を取得するものとし、例えば分割領域の中央の座標を取得する。そして、設定領域と座標の近い領域には、設定領域と同じパラメータが適していると考え、適用領域決定部２０４は、設定領域を含む分割領域や設定領域からの距離が近い分割領域を適用領域の候補とする。本実施形態では、ユーザからの承諾操作を受け、設定領域１７１２、１７１３で調整したパラメータを用いた画像処理を適用する適用領域はそれぞれ、分割領域１７２１、１７２５に決定されたものとする。
【００８５】
これらの適用領域に対して、処理部２０５が調整したパラメータを用いて明るさを変換する処理を適用する。処理実行結果は管理部２０７に送られ、管理部２０７が最新の修正対象データとして、記憶及び管理する。また、管理部２０７は、各分割領域の属性情報、適用領域とした分割領域の情報、適用領域とした分割領域で使用したパラメータの情報を、記憶及び管理する。これらの情報はパラメータ補間部１６０１で使用する。以上がパラメータ補間部１６０１による処理を行うための準備段階の処理である。
【００８６】
続いて、パラメータ補間部１６０１によるパラメータ補間処理について説明する。図１８は、補間処理を示すフローチャートである。本実施形態においては、画像近傍は同様のパラメータが適用できると仮定する。そして、パラメータ補間部１６０１は、設定領域で調整したパラメータと、そのパラメータを用いた処理を適用した分割領域の属性の情報を用いて、パラメータの調整を行っていない領域に、パラメータを補間する。
【００８７】
まず、Ｓ１８０１において、パラメータ補間部１６０１は、管理部２０７から、修正対象データの分割領域のうち、パラメータを補間する対象の領域の情報を取得する。パラメータ調整を行っていない領域として、本実施形態では準備段階で画像処理を実行していない領域、例えば分割領域１７２２、１７２３、１７２４の情報を管理部２０７から取得する。以降、このような補間処理の対象となる分割領域を、補間領域と記す。補間領域は設定領域以外の領域である。
【００８８】
次に、Ｓ１８０２において、パラメータ補間部１６０１は、管理部２０７から分割領域ごとの属性と、処理部２０５で使用したパラメータの情報を取得し、補間領域に適したパラメータを補間するための式を構築する。例えば、（式１）に示すように、分割領域の属性に基づき適切なパラメータを補間する線形補間式を構築する。
ｙ＝ａｘ＋ｂ        …（式１）
ここで、ｘとｙは、分割領域ごとの属性とパラメータの組み合わせである。ａ、ｂは重みパラメータである。重みパラメータａ、ｂは、処理部２０５の処理を実行済みの分割領域の属性とパラメータの情報を管理部２０７から取得して決定する。図１７の修正対象データ１７１１の例では、処理を実行済みの領域１７２１、１７２５の、それぞれの座標情報とパラメータの情報を用いる。
【００８９】
次に、Ｓ１８０３において、パラメータ補間部１６０１は補間領域ごとに属性の情報を取得する。次に、Ｓ１８０４において、パラメータ補間部１６０１は、Ｓ１８０３で取得した補間領域の属性の情報を式のｘに代入することにより、ｙを補間領域に適したパラメータの補間した結果として算出する。
【００９０】
図１９は、パラメータを補間する処理の説明図である。図１９は、分割領域とパラメータの組み合わせを示すパラメータテーブル１９００を示している。点線１９０１、１９０３に示す箇所には、パラメータ調整部２０３で調整したパラメータを記載している。点線１９０２に示す箇所には、パラメータ補間部１６０１が補間したパラメータを記載しており、パラメータを調整して決めた領域に近い領域では、調整したパラメータに近い値が補間されている。
【００９１】
図１８に戻り、Ｓ１８０４の処理の後、Ｓ１８０５において、処理部２０５は、補間したパラメータを用いて、補間領域ごとに処理を実行する。なお、ユーザに補間の結果を確認させるため、補間領域ごとに表示制御部２０６が処理実行結果を表示してもよい。確認を促すことで、ユーザの好みに合った修正を行うことができる。以上の処理により、調整したパラメータを用いて、調整を行っていない領域のパラメータを補間することができる。
【００９２】
なお、第４の実施形態においては、パラメータ補間部１６０１は、設定領域を２か所設定し、調整したパラメータを用いて補間処理を行ったが、設定領域を２か所以上設定してもよい。
【００９３】
上記実施形態においては、属性として、画像特徴、検知結果、座標情報を利用する方法を示したが、この他にもＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）特徴量であってもよい。ＣＮＮ特徴量は、画像に対してＤｅｅｐ Ｌｅａｒｎｉｎｇのアーキテクチャを適用することで取得できる特徴量のマップから生成されるデータである。他の属性は人が手動で設定する特徴量であるのに対し、ＣＮＮ特徴量は機械が自動で設定する特徴量である。例えば、特徴量のマップからヒストグラムを算出し、ヒストグラムを属性として利用することで、より柔軟性のある特徴量に基づき適用領域の候補を決定することができる。
【００９４】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００９５】
以上、上述した各実施形態によれば、情報処理装置は、煩雑なユーザ操作を要することなく、画像に対し、適切な画像処理を施すことができる。
【００９６】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００９７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９８】
１００  情報処理装置
２０２  受付部
２０３  パラメータ調整部
２０４  適用領域決定部
２０５  処理部
２０６  表示制御部
【図１】
2020140659.tif 000003
【図２】
2020140659.tif 000004
【図３】
2020140659.tif 000005
【図４】
2020140659.tif 000006
【図５】
2020140659.tif 000007
【図６】
2020140659.tif 000008
【図７】
2020140659.tif 000009
【図８】
2020140659.tif 000010
【図９】
2020140659.tif 000011
【図１０】
2020140659.tif 000012
【図１１】
2020140659.tif 000013
【図１２】
2020140659.tif 000014
【図１３】
2020140659.tif 000015
【図１４】
2020140659.tif 000016
【図１５】
2020140659.tif 000017
【図１６】
2020140659.tif 000018
【図１７】
2020140659.tif 000019
【図１８】
2020140659.tif 000020
【図１９】
2020140659.tif 000021