(57)【要約】少ない操作でより正確に画像からユーザの関心領域を抽出する画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置を提供する。取得した画像を複数の領域に分割し、分割された複数の領域のうち少なくとも１つの領域を選択し、選択された領域と選択された領域以外の領域との間の関係性を解析し、解析された関係性から選択された領域と同一のグループに属する領域のグルーピング候補を出力する画像処理装置によって上記課題を解決する。
2020059529.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記取得した画像を複数の領域に分割する領域分割部と、
前記分割された複数の領域のうち少なくとも１つの領域を選択する選択部と、
前記選択された領域と前記選択された領域以外の領域との間の関係性を解析する解析部と、
前記解析された関係性から前記選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力部と、
を備えた画像処理装置。
【請求項２】
前記出力部は、複数のグルーピング候補を出力する請求項１に記載の画像処理装置。
【請求項３】
前記選択部は、ユーザ入力に基づいて前記少なくとも１つの領域を選択する請求項１又は２に記載の画像処理装置。
【請求項４】
前記選択部は、学習済み機械学習モデルに基づいて前記少なくとも１つの領域を選択する請求項１又は２に記載の画像処理装置。
【請求項５】
前記グルーピング候補に対して補正処理を行う処理部を備える請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記補正処理は幾何変換処理である請求項５に記載の画像処理装置。
【請求項７】
前記補正処理は輪郭線の修正処理である請求項５に記載の画像処理装置。
【請求項８】
前記領域分割部は、画素情報に基づいてクラスタリングすることで前記複数の領域に分割する請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記解析部は、前記選択された領域と前記選択された領域に隣接する領域との間の関係性を解析する請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記解析部は、前記選択された領域と前記選択された領域以外の領域との間の類似度を解析する請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記解析部は、学習済み機械学習モデルに基づいて前記関係性を解析する請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記取得した画像から範囲を限定する限定部を備え、
前記領域分割部は、前記限定された範囲の画像を前記複数の領域に分割する請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
請求項１から１２のいずれか１項に記載の画像処理装置と、
撮像レンズと、
前記撮像レンズにより結像される光学像を撮像する撮像素子と、
表示部と、
を備え、
前記画像取得部は、前記撮像素子から出力される画像データを画像として取得し、
前記出力部は、前記グルーピング候補を前記表示部に表示させる携帯端末装置。
【請求項１４】
画像を取得する画像取得工程と、
前記取得した画像を複数の領域に分割する領域分割工程と、
前記分割された複数の領域のうち少なくとも１つの領域を選択する選択工程と、
前記選択された領域と前記選択された領域以外の領域との間の関係性を解析する解析工程と、
前記解析された関係性から前記選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力工程と、
を備えた画像処理方法。
【請求項１５】
請求項１４に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１６】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１５に記載のプログラムをコンピュータに実行させる記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置に係り、特に画像から関心領域を抽出する技術に関する。
【背景技術】
【０００２】
ユーザが画像から所望の関心領域を抽出したいという要望がある。このような要望を実現するために、非特許文献１には、ＡＩ（Artificial Intelligence、人工知能）を用いて、画像内の全ての画素に意味のあるラベルを割り当ててセグメンテーションを行う技術が開示されている。また、非特許文献２には、ユーザが一筆描きの要領でドラッグ入力することで選択範囲を指定する技術が開示されている。【０００３】
さらに、特許文献１には、拡大、トリミング等の画像処理のために一つの画像から部分領域を選択する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０７８２９０号公報
【非特許文献】
【０００５】
【非特許文献１】TensorFlowでのDeepLabによるセマンティックイメージ セグメンテーション＜ＵＲＬ：https://developers-jp.googleblog.com/2018/04/semantic-image-segmentation-with.html＞
【非特許文献２】Adobe Photoshopのなげなわツール＜ＵＲＬ：https://helpx.adobe.com/jp/photoshop/kb/227192.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１に開示された技術では、ＡＩ作成時に使用していないデータには対応できないという問題点があった。また、非特許文献２に開示された技術では、細かな領域を選択する際に、又は、誤選択を修正する際に、多くの操作を有するという問題点があった。【０００７】
さらに、特許文献１に記載の技術では、出力される部分領域は矩形の領域に限定されており、矩形でない領域を抽出することはできなかった。【０００８】
本発明はこのような事情に鑑みてなされたもので、少ない操作でより正確に画像からユーザの関心領域を抽出する画像処理装置、画像処理方法及びプログラム、並びに携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために画像処理装置の一の態様は、画像を取得する画像取得部と、取得した画像を複数の領域に分割する領域分割部と、分割された複数の領域のうち少なくとも１つの領域を選択する選択部と、選択された領域と選択された領域以外の領域との間の関係性を解析する解析部と、解析された関係性から選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力部と、を備えた画像処理装置である。【００１０】
本態様によれば、取得した画像を複数の領域に分割し、分割された複数の領域のうち少なくとも１つの領域を選択し、選択された領域と選択された領域以外の領域との間の関係性を解析し、解析された関係性から選択された領域と同一のグループに属する領域のグルーピング候補を出力するようにしたので、少ない操作でより正確に画像からユーザの関心領域をグルーピング候補として抽出することができる。【００１１】
出力部は、複数のグルーピング候補を出力することが好ましい。これにより、より正確にユーザの関心領域を抽出することができる。【００１２】
選択部は、ユーザ入力に基づいて少なくとも１つの領域を選択することが好ましい。また、選択部は、学習済み機械学習モデルに基づいて少なくとも１つの領域を選択してもよい。これにより、関心領域を適切に抽出することができる。【００１３】
グルーピング候補に対して補正処理を行う処理部を備えることが好ましい。これにより、補正処理された関心領域を抽出することができる。【００１４】
補正処理は幾何変換処理であることが好ましい。これにより、幾何変換処理された関心領域を抽出することができる。【００１５】
補正処理は輪郭線の修正処理であることが好ましい。これにより、輪郭線が修正処理された関心領域を抽出することができる。【００１６】
領域分割部は、画素情報に基づいてクラスタリングすることで複数の領域に分割することが好ましい。これにより、画像を適切に複数の領域に分割することができる。【００１７】
解析部は、選択された領域と選択された領域に隣接する領域との間の関係性を解析することが好ましい。これにより、適切なグルーピング候補を出力することができる。【００１８】
解析部は、選択された領域と選択された領域以外の領域との間の類似度を解析することが好ましい。これにより、適切なグルーピング候補を出力することができる。【００１９】
解析部は、学習済み機械学習モデルに基づいて関係性を解析することが好ましい。これにより、適切なグルーピング候補を出力することができる。【００２０】
取得した画像から範囲を限定する限定部を備え、領域分割部は、限定された範囲の画像を複数の領域に分割することが好ましい。これにより、画像のうち必要な範囲から関心領域を抽出することができ、演算量を減らすことができる。【００２１】
上記目的を達成するために携帯端末装置の一の態様は、上記に記載の画像処理装置と、撮像レンズと、撮像レンズにより結像される光学像を撮像する撮像素子と、表示部と、を備え、画像取得部は、撮像素子から出力される画像データを画像として取得し、出力部は、グルーピング候補を表示部に表示させる携帯端末装置である。【００２２】
本態様によれば、少ない操作でより正確に撮像した画像からユーザの関心領域を抽出し、抽出したグルーピング候補を表示部に表示させることができる。【００２３】
上記目的を達成するために画像処理方法の一の態様は、画像を取得する画像取得工程と、取得した画像を複数の領域に分割する領域分割工程と、分割された複数の領域のうち少なくとも１つの領域を選択する選択工程と、選択された領域と選択された領域以外の領域との間の関係性を解析する解析工程と、解析された関係性から選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力工程と、を備えた画像処理方法である。【００２４】
本態様によれば、少ない操作でより正確に画像からユーザの関心領域を抽出することができる。上記の画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。
【発明の効果】
【００２５】
本発明によれば、少ない操作でより正確に画像からユーザの関心領域を抽出することができる。
【図面の簡単な説明】
【００２６】
【図１】図１は、タブレットＰＣの正面斜視図である。
【図２】図２は、タブレットＰＣの背面斜視図である。
【図３】図３は、タブレットＰＣのシステム構成を示すブロック図である。
【図４】図４は、領域抽出部のシステム構成を示すブロック図である。
【図５】図５は、画像処理方法を示すフローチャートである。
【図６】図６は、画像取得部が取得した画像のうち範囲限定部によって限定された範囲の画像の一例を示す図である。
【図７】図７は、領域分割部によって分割された複数の領域の一例を示す図である。
【図８】図８は、解析部の解析結果の一例である。
【図９】図９は、文字が複数の領域に分割されている一例を示す図である。
【図１０】図１０は、各領域が一文字を構成している一例を示す図である。
【図１１】図１１は、各領域が１つのオブジェクトを構成している一例を示す図である。
【図１２】図１２は、隣接しない各領域が１つのオブジェクトを構成している一例を示す図である。
【発明を実施するための形態】
【００２７】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【００２８】
＜タブレット型コンピュータ端末＞
本実施形態に係る画像処理装置は、少ない操作で正確に画像からユーザの関心領域を抽出することができる。例えば、ロゴ又は看板等が写った画像から、ユーザの興味のあるロゴ又は看板の領域を抽出することができる。また、フェイスペイントが施された顔が写った画像から、フェイスペイントの図柄の領域を抽出することができる。
【００２９】
図１は、本実施形態に係る画像処理装置を適用した携帯端末装置の一例であるタブレット型コンピュータ端末１０（以下、タブレットＰＣ１０と呼ぶ。ＰＣはPersonal Computerの略）の正面斜視図であり、図２は背面斜視図である。図１及び図２に示すように、タブレットＰＣ１０は、矩形の輪郭を有する平板状の筐体１２を備えている。筐体１２は、タッチパネルディスプレイ１４と、操作ボタン１６と、スピーカ１８と、内蔵カメラ２０と、外部接続端子２４と、を備えて構成される。
【００３０】
図３は、タブレットＰＣ１０のシステム構成を示すブロック図である。図３に示すように、タブレットＰＣ１０は、タブレットＰＣ１０の全体の動作を制御するＣＰＵ（Central Processing Unit）３０を備えている。ＣＰＵ３０には、システムバス３２を介して、メインメモリ３４と、不揮発性メモリ３６と、モバイル通信部３８と、無線ＬＡＮ（Local Area Network）通信部４０と、近距離無線通信部４２と、有線通信部４４と、タッチパネルディスプレイ制御部４６と、キー入力部５０と、音声処理部５２と、撮像処理部５４と、領域抽出部６０と、が接続されている。
【００３１】
ＣＰＵ３０は、不揮発性メモリ３６に記憶されたＯＳ（Operating System）、及びＯＳ上で動作するアプリケーションプログラム、及び定型データ等を読み出し、メインメモリ３４に展開して動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。
【００３２】
メインメモリ３４は、例えば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３０のワークメモリとして機能する。
【００３３】
不揮発性メモリ３６は、例えば、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）で構成され、ＯＳ、アプリケーションプログラム、及び各種定型データを記憶する。また、不揮発性メモリ３６は、タブレットＰＣ１０の記憶部として機能し、各種データを記憶する。
【００３４】
モバイル通信部３８は、第４世代移動通信システム（４Ｇ：4th Generation）又は第５世代移動通信システム（５Ｇ：5th Generation）によって、アンテナ３８Ａを介して不図示の最寄りの無線基地局との間でデータの送受信を行う。
【００３５】
無線ＬＡＮ通信部４０は、アンテナ４０Ａを介して、無線ＬＡＮアクセスポイント又は無線ＬＡＮ通信が可能な外部機器との間で例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇ／ｎ規格等の無線ＬＡＮ通信規格に従った無線ＬＡＮ通信を行う。
【００３６】
近距離無線通信部４２は、アンテナ４２Ａを介して、例えばクラス２（半径約１０ｍ以内）の範囲にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器との間で通信を行う。
【００３７】
有線通信部４４は、外部接続端子２４を介して不図示のケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。
【００３８】
タッチパネルディスプレイ１４（表示部の一例）は、画像等を表示するカラーＬＣＤ（Liquid Crystal Display）パネル等のディスプレイ部１４Ａと、カラーＬＣＤパネルの前面に配置され、タッチ入力を受け付ける透明電極等のタッチパネル部１４Ｂと、を備えている。
【００３９】
タッチパネル部１４Ｂは、例えばガラス又はプラスチック等からなり、光透過性を有する基板本体と、基板本体の上に面状に設けられ、光透過性を有する位置検出用電極と、位置検出用電極上に設けられた絶縁層とを有する静電容量式タッチパネルである。タッチパネル部１４Ｂは、ディスプレイ部１４Ａの前面に配置されており、ユーザのタッチ操作に対応した２次元の位置座標情報を生成して出力する。
【００４０】
タッチパネルディスプレイ制御部４６は、タッチパネルディスプレイ１４を制御する。タッチパネルディスプレイ制御部４６は、ディスプレイ部１４Ａに表示した画像の座標とタッチパネル部１４Ｂにおいてタッチ操作された座標とを対応付ける。
【００４１】
なお、以下の説明において、ディスプレイ部１４Ａの表示、及びタッチパネル部１４Ｂに対するタッチ操作を、単にタッチパネルディスプレイ１４の表示、及びタッチパネルディスプレイ１４に対する操作と表記する。
【００４２】
キー入力部５０は、複数の操作ボタン１６を駆動する駆動回路で構成される。
【００４３】
音声処理部５２は、システムバス３２を介して与えられるデジタル音声データをアナログ化する。アナログ化された音声信号は、スピーカ１８から再生出力される。
【００４４】
内蔵カメラ２０は、撮像レンズ２０Ａと、撮像素子２０Ｂとを備える。撮像レンズ２０Ａは、入射した被写体の光学像を結像させる。撮像素子２０Ｂは、結像された光学像を撮像し、アナログの画像信号を出力する。
【００４５】
撮像処理部５４は、内蔵カメラ２０（撮像素子２０Ｂ）から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
【００４６】
領域抽出部６０は、タッチパネルディスプレイ１４に表示された画像からユーザの関心領域を抽出する画像処理装置である。
【００４７】
図４は、領域抽出部６０のシステム構成を示すブロック図である。図４に示すように、領域抽出部６０は、画像取得部６２と、領域分割部６６と、選択部６８と、解析部７０と、出力部７２と、を備えている。
【００４８】
タッチパネルディスプレイ制御部４６（図３参照）は、例えば内蔵カメラ２０によって撮像された撮像画像（撮像素子から出力される画像データの一例）を取得し、タッチパネルディスプレイ１４に表示させる。タッチパネルディスプレイ制御部４６は、不揮発性メモリ３６から読み出した画像を取得してタッチパネルディスプレイ１４に表示させてもよいし、モバイル通信部３８、無線ＬＡＮ通信部４０、近距離無線通信部４２、及び有線通信部４４を介して取得した画像をタッチパネルディスプレイ１４に表示させてもよい。画像取得部６２は、これらのタッチパネルディスプレイ１４に表示されている画像を取得する。画像取得部６２が取得する画像は、動画でもよい。
【００４９】
また、画像取得部６２は、範囲限定部６４を備えている。範囲限定部６４は、例えばユーザ入力に従って、画像取得部６２が取得した画像の範囲を限定する。範囲限定部６４へのユーザ入力は、ユーザがタッチパネルディスプレイ１４を用いて画像の所望の範囲を囲む等のタッチ操作を行うことで行う。
【００５０】
領域分割部６６は、前処理として、画像取得部６２が取得した画像を複数の領域に分割する。範囲限定部６４によって画像の範囲が限定されている場合は、領域分割部６６は、画像取得部６２が取得した画像のうち範囲限定部６４によって限定された範囲について複数の領域に分割する。これにより、画像全体について複数の領域に分割する場合よりも、関心領域の抽出の演算を減らすことができる。
【００５１】
領域分割部６６は、例えば画素情報に基づいてクラスタリングすることで画像を複数の領域に分割する。これにより、画像を複数の領域に適切に分割することができる。また、領域分割部６６は、例えばＳＬＩＣ（Simple Linear Iterative Clustering）を適用して複数の領域に分割してもよい。ＳＬＩＣとは、画像を入力として、距離的、色的に近い画素をひとまとまりにとらえたsuperpixelへの分割を出力とするアルゴリズムである。画像認識の前処理としてsuperpixelを計算しておくことで、画像の情報量を減らし、他の画像認識アルゴリズムを適用しやすくなる。
【００５２】
選択部６８は、分割された複数の領域のうち少なくとも１つの領域を選択する。選択部６８は、例えばユーザ入力に基づいて領域を選択する。選択部６８へのユーザ入力は、ユーザがタッチパネルディスプレイ１４を用いて画像の所望の領域をなぞる、又は所望の領域を囲む等のタッチ操作を行うことで行う。ユーザに領域を選択させることで、関心領域を適切に抽出することができる。
【００５３】
また、選択部６８は、学習済み機械学習モデルに基づいて領域を選択してもよい。この場合は、領域分割部６６の分割結果を学習済み機械学習モデルに入力し、学習済み機械学習モデルにおいて一般的なユーザの関心領域を推定し、推定した関心領域を選択部６８の出力とすればよい。学習済み機械学習モデルに基づいて領域を選択することで、ユーザの操作を減らすことができ、関心領域を適切に抽出することができる。
【００５４】
この学習済み機械学習モデルは、ユーザが選択した関心領域を学習データとして追加学習させてもよい。
【００５５】
解析部７０は、選択部６８において選択された領域と選択された領域以外の領域との間の関係性（同一性、又は類似性）を解析する。解析部７０が行う解析は、各々の領域に含まれる画素の色及び輝度等の画素値の類似度から、領域毎の類似度を解析することを含む。なお、類似度が最大とは、両者が同一の領域であることを意味する。類似度を解析することで、適切なグルーピング候補を出力することができる。
【００５６】
また、解析部７０が行う解析は類似度の解析に限定されない。例えば、各々の領域を組み合わせた際にオブジェクト、文字、又は文字列として意味を成す関係にあるか否かを解析することを含む。この場合は、解析部７０は、学習済み機械学習モデルが好適に用いられる。
【００５７】
出力部７２は、解析部７０において解析された関係性から、選択部６８において選択された領域と同一のグループに属する領域のグルーピング候補を出力する。出力部７２は、タッチパネルディスプレイ制御部４６を介して、例えば最も確信度が高いグルーピング候補をタッチパネルディスプレイ１４に表示させる。複数のグルーピング候補が存在する場合、タッチパネルディスプレイ１４に対するユーザ操作に応じて、それぞれ異なるグルーピング候補の表示に切り替えてもよい。
【００５８】
また、出力部７２は、複数のグルーピング候補について、確信度に応じてソートしてタッチパネルディスプレイ１４に一覧表示させてもよい。
【００５９】
出力部７２は、学習済み機械学習モデルを適用してもよい。また、選択部６８、解析部７０、及び出力部７２の各学習済み機械学習モデルを同時に学習することも可能である。なお、ここでいう学習済み機械学習モデルは、異なる学習用データセットを適用して更なる追加学習が行われてもよい。即ち、学習済み機械学習モデルは、学習が完了したものに限定されず、後に更新され得るものを含む。
【００６０】
また、出力部７２は、補正処理部７４を備えている。補正処理部７４は、グルーピング候補に対して補正処理を行う。補正処理は、例えば歪み補正等の幾何変換処理である。また、補正処理は、輪郭線の修正処理であってもよい。出力部７２は、補正処理部７４によって補正処理を施したグルーピング候補を出力する。このように、出力部７２は、幾何変換処理、又は輪郭線が修正処理されたグルーピング候補を出力することができる。
【００６１】
＜画像処理方法＞
図５は、タブレットＰＣ１０による画像処理方法を示すフローチャートである。図５に示すように、画像処理方法は、画像取得工程（ステップＳ１）と、領域分割工程（ステップＳ２）と、領域選択工程（ステップＳ３）と、関係性解析工程（ステップＳ４）と、出力工程（ステップＳ５）と、を含んでいる。
【００６２】
ステップＳ１では、画像取得部６２は、タッチパネルディスプレイ１４に表示されている画像を取得する。ここでは、範囲限定部６４は、タッチパネルディスプレイ１４に表示された画像のうち、ユーザによるタッチパネルディスプレイ１４のタッチ操作により囲まれた範囲を限定する。
【００６３】
図６は、画像取得部６２が取得した画像のうち範囲限定部６４によって限定された範囲の一例を示す図である。図６にように、領域Ｒ１が範囲限定部６４によって限定された範囲の領域である。
【００６４】
ステップＳ２では、領域分割部６６は、画像取得部６２が取得した画像を複数の領域に分割する。ここでは、領域分割部６６は、画像取得部６２が取得した画像のうち範囲限定部６４によって限定された範囲を複数の領域に分割する。
【００６５】
図７は、領域分割部６６によって分割された複数の領域の一例を示す図である。図７に示すように、図６に示した領域Ｒ１が複数の領域Ｒ１１〜Ｒ１９に分割されている。
【００６６】
ステップＳ３では、選択部６８は、分割された複数の領域のうち少なくとも１つの領域を選択する。ここでは、例えば、タッチパネルディスプレイ制御部４６において、ユーザによる領域選択を促す旨の表示をタッチパネルディスプレイ１４に行う。これに対して、ユーザは、タッチパネルディスプレイ１４のタッチ操作により所望の領域を囲む。選択部６８は、タッチパネルディスプレイ１４に表示された複数の領域のうち、ユーザによるタッチ操作により囲まれた領域を選択する。例えば、図７に示す複数の領域Ｒ１１〜Ｒ１９のうち、領域Ｒ１３が選択されたものとする。
【００６７】
ステップＳ４では、解析部７０は、ステップＳ３において選択された領域と選択された領域以外の領域との間の関係性を解析する。解析部７０は、例えば、選択された領域Ｒ１３と、領域Ｒ１３以外の領域Ｒ１１、Ｒ１２、Ｒ１４〜Ｒ１９の全てについて、各々の領域に含まれる画素の色及び輝度等の画素値の類似度を解析する。また、各領域間の距離の関係性を解析してもよい。ここでの距離とは、画素単位での距離でもよいし、実寸換算した際の距離でもよい。互いの距離が近い領域ほど関係性が高いと考えられる。
【００６８】
また、解析部７０は、選択された領域Ｒ１３と、領域Ｒ１３に隣接する領域Ｒ１４との関係性を解析してもよい。ここで領域Ｒ１３と領域Ｒ１４との関係性が高いと判断した場合には、解析部７０は、領域Ｒ１３と、領域Ｒ１４にさらに隣接する領域Ｒ１５との関係性を解析する。このように、解析部７０は、隣接する領域が関係性の高い領域である場合に、隣接する領域を順に広げて関係性を解析してもよい。隣接する領域について関係性を解析することで、適切なグルーピング候補を出力することができる。
【００６９】
ステップＳ５では、出力部７２は、ステップＳ４において解析された関係性からステップＳ３において選択された領域と同一のグループに属する領域のグルーピング候補を出力する。補正処理部７４において、幾何変換処理、又は輪郭線の修正処理を施してもよい。ここでは、出力部７２は、２つのグルーピング候補について、確信度に応じてソートしてタッチパネルディスプレイ１４に表示させる。
【００７０】
図８は、解析部７０の解析結果に基づくグルーピング候補の一例である。グルーピング候補Ｇ１は、ステップＳ３で選択された領域Ｒ１３は領域Ｒ１２、Ｒ１４、Ｒ１５と同じ領域Ｒ２２としてグルーピングされている。また、ここでは、領域Ｒ１１は単独で領域Ｒ２１とグルーピングされており、領域Ｒ１６〜Ｒ１９は領域Ｒ２３としてグルーピングされている。
【００７１】
一方、グルーピング候補Ｇ２は、ステップＳ３で選択された領域Ｒ１３は領域Ｒ１２、Ｒ１４〜Ｒ１９と同じ領域Ｒ３２としてグルーピングされている。また、領域Ｒ１１は単独で領域Ｒ３１としてグルーピングされている。
【００７２】
出力部７２は、グルーピング候補Ｇ１及びグルーピング候補Ｇ２を、それぞれタッチパネルディスプレイ１４に表示させる。ステップＳ３で選択された領域Ｒ１３に関するグルーピング候補として、領域Ｒ２２及び領域Ｒ３２のみを表示してもよい。
【００７３】
タッチパネルディスプレイ１４に表示された複数のグルーピング候補のうち、ユーザがタッチパネルディスプレイ１４のタッチ操作により所望のグルーピング候補を選択することで、選択されたグルーピング候補をユーザの関心領域として決定する。出力部７２は、決定した関心領域についてタッチパネルディスプレイ１４への表示、及び不揮発性メモリ３６への記憶を行い、本フローチャートの処理を終了する。出力部７２は、全てのグルーピング候補を不揮発性メモリ３６に記憶させてもよい。
【００７４】
このように、複数のグルーピング候補を表示し、ユーザに選択させることで、より正確にユーザの関心領域を抽出することができる。
【００７５】
図８に示した例では、解析部７０は、画素の色及び輝度等の画素値の類似度を関係性として解析したが、解析部７０が解析する関係性は類似度に限定されない。
【００７６】
例えば、解析部７０が解析する関係性は、各々の領域が文字の一部を構成している場合に、それらを組み合わせて１つの文字を構成する関係であるか否かを含む。
【００７７】
図９は、文字が複数の領域に分割されている一例を示す図である。図９に示す場合は、解析部７０は、領域Ｒ４１の「イ」と領域Ｒ４２の「尹」との関係性を解析し、１つの文字「伊」を構成する関係であると判断する。したがって、出力部７２は、領域Ｒ４１と領域Ｒ４２とを１つの領域Ｒ４３としてグルーピングして出力する。
【００７８】
同様に、解析部７０は、領域Ｒ４４の「・」と領域Ｒ４５の「|」との関係性を解析し、１つの文字「ｉ」を構成する関係であると判断する。したがって、出力部７２は、領域Ｒ４４と領域Ｒ４５とを１つの領域Ｒ４６としてグルーピングして出力する。
【００７９】
また、解析部７０が解析する関係性は、各々の領域が一文字又は複数文字を構成している場合に、それらを組み合わせて１つの単語、略称、及び商号等のいずれかに該当する関係性であるか否かを含む。
【００８０】
図１０は、各領域が一文字を構成している一例を示す図である。図１０に示す場合は、解析部７０は、領域Ｒ５１の「Ｊ」と領域Ｒ５２の「Ｒ」との関係性を解析し、１つの商号（の一部）である「ＪＲ」を構成する関係であると判断する。したがって、出力部７２は、領域Ｒ５１と領域Ｒ５２とを１つの領域Ｒ５３としてグルーピングして出力する。
【００８１】
同様に、解析部７０は、図７に示した領域Ｒ１２〜Ｒ１９について、それぞれ「Ｆ」「Ｕ」「Ｊ」「Ｉ」「Ｆ」「Ｉ」「Ｌ」「Ｍ」の文字からなる領域であると認識した場合、これらの領域の関係性を解析し、「ＦＵＪＩ」という単語を構成する領域と「ＦＩＬＭ」という単語を形成する関係であると判断することができる。したがって、出力部７２は、これらの領域を「ＦＵＪＩ」と「ＦＩＬＭ」としてグルーピングして出力する。
【００８２】
この場合、解析部７０は、「ＦＵＪＩ」という単語を構成する領域と「ＦＩＬＭ」という単語を形成する領域との関係性をさらに解析し、「ＦＵＪＩＦＩＬＭ」という商号を形成する関係であると判断することもできる。この場合は、出力部７２は、これらの領域を「ＦＵＪＩＦＩＬＭ」としてグルーピングして出力する。
【００８３】
さらに、解析部７０が解析する関係性は、各々の領域が、それぞれ組み合わせた際にオブジェクトを形成する関係性であるか否かを含む。
【００８４】
図１１は、各領域が１つのオブジェクトを構成している一例を示す図である。図１１に示す場合は、解析部７０は、金属部の領域Ｒ６１及び領域Ｒ６２、樹脂部の領域Ｒ６３、プラスチック部の領域Ｒ６４、ガラス部の領域Ｒ６５及び領域Ｒ６６、ゴム部の領域Ｒ６７及び領域Ｒ６８の関係性を解析し、領域Ｒ６１〜領域Ｒ６８が自動車を構成する関係性を有すると判断することができる。したがって、出力部７２は、領域Ｒ６１〜領域Ｒ６８を１つの領域Ｒ７０としてグルーピングして出力する。
【００８５】
ここまでの説明では、解析部７０は、選択された選択領域と選択領域に隣接する領域との関係性を解析してきたが、関係性を解析する領域は、隣接する領域に限定されない。
【００８６】
図１２は、範囲限定部６４によって限定された範囲の一例を示す図であり、隣接しない各領域が１つのオブジェクトを構成している一例を示す図である。図１２に示す例では、画像が格子状に領域分割されており、画素値の類似度の関係性が互いに高い領域Ｒ８１〜Ｒ８８がそれぞれ隣接せずに分散して存在している。
【００８７】
ここで、選択部６８において、領域Ｒ８１が選択されたものとする。解析部７０は、選択された領域Ｒ８１に隣接する領域だけでなく、近傍の領域についても関係性を解析する。近傍の領域とは、一定の距離の範囲に存在する領域をいう。
【００８８】
その結果、解析部７０は、領域Ｒ８１の近傍の領域のうち、領域Ｒ８１と、領域Ｒ８２及び領域Ｒ８８との関係性が高いと判断する。この場合、解析部７０は、領域Ｒ８２及び領域Ｒ８８のさらに近傍の領域について、領域Ｒ８１との関係性を解析する。その結果、解析部７０は、領域Ｒ８１と、領域Ｒ８３及び領域Ｒ８７との関係性が高いと判断する。このように、近傍の領域が関係性の高い領域である場合に、解析部７０が近傍の領域を順に広げて関係性を解析していくことで、出力部７２は、図１２に示すように、領域Ｒ８１〜Ｒ８８を１つの領域Ｒ９０としてグルーピングして出力することができる。
【００８９】
なお、出力部７２は、領域Ｒ８１〜Ｒ８８のみを領域Ｒ９０としてもよいし、領域Ｒ８１〜Ｒ８８以外の各領域の間に存在する領域を含めて領域Ｒ９０としてもよい。領域Ｒ８１〜Ｒ８８のみを領域Ｒ９０とする場合は、各領域の間に存在する領域を透明領域として扱ってもよい。
【００９０】
以上のように、本実施形態によれば、ユーザが画像から関心領域を抽出したい場合に、少ない操作でより正確に抽出することができる。
【００９１】
＜その他＞
ここでは画像処理装置を適用した携帯端末装置の一例としてタブレット型コンピュータ端末について説明したが、スマートフォン、携帯電話機等の移動体通信端末、ノート型のパーソナルコンピュータ等に適用することも可能である。
【００９２】
上記の画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
【００９３】
ここまで説明した実施形態において、領域抽出部６０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【００９４】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
【００９５】
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
【００９６】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【００９７】
１０…タブレット型コンピュータ端末（タブレットＰＣ）
１２…筐体
１４…タッチパネルディスプレイ
１４Ａ…ディスプレイ部
１４Ｂ…タッチパネル部
１６…操作ボタン
１８…スピーカ
２０…内蔵カメラ
２０Ａ…撮像レンズ
２０Ｂ…撮像素子
２４…外部接続端子
３２…システムバス
３４…メインメモリ
３６…不揮発性メモリ
３８…モバイル通信部
３８Ａ…アンテナ
４０…無線ＬＡＮ通信部
４０Ａ…アンテナ
４２…近距離無線通信部
４２Ａ…アンテナ
４４…有線通信部
４６…タッチパネルディスプレイ制御部
５０…キー入力部
５２…音声処理部
５４…撮像処理部
６０…領域抽出部
６２…画像取得部
６４…範囲限定部
６６…領域分割部
６８…選択部
７０…解析部
７２…出力部
７４…補正処理部
Ｇ１，Ｇ２…グルーピング候補
Ｒ１…領域
Ｒ１１〜Ｒ１９…領域
Ｒ２１〜Ｒ２３…領域
Ｒ３１，Ｒ３２…領域
Ｒ４１〜Ｒ４６…領域
Ｒ５１〜Ｒ５３…領域
Ｒ６１〜Ｒ６８…領域
Ｒ７０…領域
Ｒ８１〜Ｒ８８…領域
Ｒ９０…領域
Ｓ１〜Ｓ５…画像処理方法の各ステップ
【図１】
2020059529.tif 000003
【図２】
2020059529.tif 000004
【図３】
2020059529.tif 000005
【図４】
2020059529.tif 000006
【図５】
2020059529.tif 000007
【図６】
2020059529.tif 000008
【図７】
2020059529.tif 000009
【図８】
2020059529.tif 000010
【図９】
2020059529.tif 000011
【図１０】
2020059529.tif 000012
【図１１】
2020059529.tif 000013
【図１２】
2020059529.tif 000014
【手続補正書】
【提出日】令和3年5月11日(2021.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記取得した画像を複数の領域に分割する領域分割部と、
前記分割された複数の領域のうち少なくとも１つの領域を選択する選択部と、
前記選択された領域と前記選択された領域以外の領域との間の関係性を解析する解析部と、
前記解析された関係性から前記選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力部と、
を備えた画像処理装置。
【請求項２】
前記出力部は、複数のグルーピング候補を出力する請求項１に記載の画像処理装置。
【請求項３】
前記選択部は、ユーザ入力に基づいて前記少なくとも１つの領域を選択する請求項１又は２に記載の画像処理装置。
【請求項４】
前記選択部は、学習済み機械学習モデルに基づいて前記少なくとも１つの領域を選択する請求項１又は２に記載の画像処理装置。
【請求項５】
前記グルーピング候補に対して補正処理を行う処理部を備える請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記補正処理は幾何変換処理である請求項５に記載の画像処理装置。
【請求項７】
前記補正処理は輪郭線の修正処理である請求項５に記載の画像処理装置。
【請求項８】
前記領域分割部は、画素情報に基づいてクラスタリングすることで前記複数の領域に分割する請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記解析部は、前記選択された領域と前記選択された領域に隣接する領域との間の関係性を解析する請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記解析部は、前記選択された領域と前記選択された領域以外の領域との間の類似度を解析する請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記解析部は、学習済み機械学習モデルに基づいて前記関係性を解析する請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
グルーピング候補が複数ある場合に、前記出力部は、前記複数のグルーピング候補の内、ユーザの選択に基づいてグルーピング候補を決定し、
前記解析部は、前記機械学習モデルに基づいて前記関係性を解析し、前記機械学習モデルは、前記決定されたグルーピング候補の選択領域と選択された領域以外の領域とが満たす関係性を用いて追加学習する、
請求項１１に記載の画像処理装置。
【請求項１３】
前記取得した画像から範囲を限定する限定部を備え、
前記領域分割部は、前記限定された範囲の画像を前記複数の領域に分割する請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
請求項１から１３のいずれか１項に記載の画像処理装置と、
撮像レンズと、
前記撮像レンズにより結像される光学像を撮像する撮像素子と、
表示部と、
を備え、
前記画像取得部は、前記撮像素子から出力される画像データを画像として取得し、
前記出力部は、前記グルーピング候補を前記表示部に表示させる携帯端末装置。
【請求項１５】
画像を取得する画像取得工程と、
前記取得した画像を複数の領域に分割する領域分割工程と、
前記分割された複数の領域のうち少なくとも１つの領域を選択する選択工程と、
前記選択された領域と前記選択された領域以外の領域との間の関係性を解析する解析工程と、
前記解析された関係性から前記選択された領域と同一のグループに属する領域のグルーピング候補を出力する出力工程と、
を備えた画像処理方法。
【請求項１６】
グルーピング候補が複数ある場合に、前記複数のグルーピング候補の内、前記複数のグルーピング候補の内、ユーザの選択に基づいてグルーピング候補を決定する決定工程と、
機械学習モデルに基づいて前記関係性を解析する解析工程と、
前記機械学習モデルに、前記決定されたグルーピング候補の選択領域と選択された領域以外の領域とが満たす関係性を用いて追加学習させる追加学習工程と、
を更に備える請求項１７に記載の画像処理方法。
【請求項１７】
請求項１５又は１６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１８】
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１７に記載のプログラムをコンピュータに実行させる記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
同様に、解析部７０は、図７に示した領域Ｒ１２〜Ｒ１９について、それぞれ「Ｆ」「Ｕ」「Ｊ」「Ｉ」「Ｆ」「Ｉ」「Ｌ」「Ｍ」の文字からなる領域であると認識した場合、これらの領域の関係性を解析し、「ＦＵＪＩ」という単語を構成する領域と「ＦＩＬＭ」という単語を形成する領域であると判断することができる。したがって、出力部７２は、これらの領域を「ＦＵＪＩ」と「ＦＩＬＭ」としてグルーピングして出力する。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2020059529.tif 000015
【国際調査報告】
2020059529.tif 000016
2020059529.tif 000017
2020059529.tif 000018
2020059529.tif 000019