(57)【要約】      （修正有）【課題】事前の教材データセットなしに、静止画や動画のデータに対して、被写体のカテゴリの判別を行うことが可能な、画像判別装置及び画像判別方法を提供する。【解決手段】装置外部から画像データを取得する画像取得部と、前記画像データを、各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成部と、前記局所領域の特徴を抽出するパラメータを保持する符号化基準保持部と、前記局所領域を符号化によって低次元化を図る符号化処理部と、前記低次元化された局所領域を、任意の数の集合に分類する領域判別部と、前記領域判別部によって分類された集合に、ラベルを付すラベル付与部と、前記ラベル付与部によって付与されたラベルを、ユーザによって任意の名前で確定するラベル確定部と、領域判別によって判別された各領域を表示する結果表示部と、を備える。【選択図】図１
2018018313.tif 000002
【特許請求の範囲】
【請求項１】
装置外部から画像データを取得する画像取得部と、
前記画像データにおける各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成部と、
前記局所領域の特徴を抽出するためのパラメータを保持する符号化基準保持部と、
前記符号化基準保持部が有するパラメータを用いて、前記局所領域を符号化によって低次元化を図る符号化処理部と、
前記符号化処理部によって低次元化された局所領域を、任意の数の集合に分類する領域判別部と、
前記領域判別部によって分類された集合に、ラベルを付すラベル付与部と、
前記ラベル付与部によって付与されたラベルを、ユーザによって任意の名前で確定するラベル確定部と、
前記ラベル確定部によって確定されたラベルを保持するラベル保持部と、
領域判別によって判別された各領域をユーザに示すよう表示する結果表示部と、
を備えることを特徴とする画像判別装置。
【請求項２】
前記ラベル付与部は、それまでラベルの付与されていない集合に対して仮ラベルを付与し、あわせて、前記ラベル確定部によって確定されたラベルが、前記ラベル保持部に保持されている集合に対して、前記確定されたラベルを付与することを特徴とする請求項１記載の画像判別装置。
【請求項３】
前記ラベル付与部は、前記ラベル確定部によって確定されたラベルが、１つの集合に２以上重複して付与される場合、当該重複を解消するよう、前記符号化基準保持部のパラメータを変更することを特徴とする請求項１または２記載の画像判別装置。
【請求項４】
前記符号化処理部による処理に、畳み込み自己符号化器を用いることを特徴とする、請求項１から３のいずれか１項記載の画像判別装置。
【請求項５】
装置外部から画像データを取得する画像取得工程と、
前記画像データにおける各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成工程と、
装置中の符号化基準保持部が有するパラメータを用いて、前記局所領域を符号化によって低次元化を図る符号化処理工程と、
前記符号化処理工程によって低次元化された局所領域を、任意の数の集合に分類する領域判別工程と、
前記領域判別工程によって分類された集合に、ラベルを付すラベル付与工程と、
領域判別によって判別された各領域をユーザに示すよう表示する結果表示工程と、
を備えることを特徴とする画像判別方法。
【請求項６】
前記ラベル付与工程によって付与されたラベルを、ユーザが任意の名前で確定するラベル確定工程と、
をさらに備えることを特徴とする、請求項５記載の画像判別方法。
【請求項７】
前記ラベル確定工程によって確定されたラベルが、１つの集合に２以上重複して付与された場合、当該重複を解消するよう、前記符号化基準保持部が有するパラメータを変更するパラメータ変更工程と、
をさらに備えることを特徴とする、請求項５または６記載の画像判別方法。
【請求項８】
前記符号化処理工程による処理に、畳み込み自己符号化器を用いることを特徴とする、請求項５から７のいずれか１項記載の画像判別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像判別技術に関し、特に、任意の画像から領域を抽出し、各領域の特徴に基づいて、被写体を判別する装置に関する。
【背景技術】
【０００２】
近年、コンピュータによる一般物体認識技術は著しく進歩しており、これには、畳み込みニューラルネットワーク（Convolutional Neural Network、CNNs）の研究が大きく寄与している。CNNsは、古典的な多層パーセプトロンの延長であり、脳の視覚野の構造に基づいて、画像中の特徴の抽出を行う畳み込み層を有する、多層のニューラルネットワークである（非特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１００１１０号公報
【非特許文献】
【０００４】
【非特許文献１】Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proc. of the IEEE, pages 2278-2324,1998.
【非特許文献２】Jonathan Masci, Ueli Meier, Dan Ciresan, and Jurgen Schmidhuber. Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction. Artificial Neural Networks and Machine Learning - ICANN 2011. Volume 6791 of the series Lecture Notes in Computer Science pp 52-59. 2011.
【非特許文献３】G. Mori, Guiding Model Search Using Segmentation, IEEE International Conference on Computer Vision, 2005.
【非特許文献４】Martin Ester , Hans-peter Kriegel , Jorg Sander , Xiaowei Xu,A density-based algorithm for discovering clusters in large spatial databases with noise,AAAI Press,p226--231,1996
【非特許文献５】Mihael Ankerst, Markus M. Breunig, Hans-Peter Kriegel, Jorg Sander. OPTICS: Ordering Points To Identify the Clustering Structure. ACM SIGMOD international conference on Management of data. ACM Press. pp. 49-60. 1999.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
CNNsを用いた一般物体認識では、コンピュータが画像認識を行うために学習するための大量のラベル付け（アノテーション）された教材データセットが必要となる。しかし、予め状況を予測することが困難な状況、例えば、災害時に倒壊した施設内部等においては、教材データセットの蓄積はなく、また、適切な教材データセットを作成することも困難である。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明者らは、CNNsが本来有する強みと、「Active Learning Approach」の考え方を組み合わせて、教師なし学習を原則として、ユーザからの最小限のフィードバックにより学習することで、事前の教材データセットなしに画像の領域分割と被写体の種別を行うことが可能な装置を見出し、本発明を完成させるに至った。本発明は、事前の教材データセットなしに、静止画や動画のデータに対して、被写体のカテゴリの判別を行うことが可能な、画像判別装置及び画像判別方法を提供することを目的とする。
【０００７】
即ち請求項１記載の本発明は、装置外部から画像データを取得する画像取得部と、前記画像データにおける各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成部と、前記局所領域の特徴を抽出するためのパラメータを保持する符号化基準保持部と、前記符号化基準保持部が有するパラメータを用いて、前記局所領域を符号化によって低次元化を図る符号化処理部と、前記符号化処理部によって低次元化された局所領域を、任意の数の集合に分類する領域判別部と、前記領域判別部によって分類された集合に、ラベルを付すラベル付与部と、前記ラベル付与部によって付与されたラベルを、ユーザによって任意の名前で確定するラベル確定部と、前記ラベル確定部によって確定されたラベルを保持するラベル保持部と、領域判別によって判別された各領域をユーザに示すよう表示する結果表示部と、を備えることを特徴とする画像判別装置である。
【０００８】
また請求項２記載の本発明は、前記ラベル付与部は、それまでラベルの付与されていない集合に対して仮ラベルを付与し、あわせて、前記ラベル確定部によって確定されたラベルが、前記ラベル保持部に保持されている集合に対して、前記確定されたラベルを付与することを特徴とする、請求項１記載の画像判別装置である。
【０００９】
また請求項３記載の本発明は、前記ラベル付与部は、前記ラベル確定部によって確定されたラベルが、１つの集合に２以上重複して付与される場合、当該重複を解消するよう、前記符号化基準保持部のパラメータを変更することを特徴とする請求項１または２記載の画像判別装置である。
【００１０】
また請求項４記載の本発明は、前記符号化処理部による処理に、畳み込み自己符号化器を用いることを特徴とする、請求項１から３のいずれか１項記載の画像判別装置である。
【００１１】
また請求項５記載の本発明は、装置外部から画像データを取得する画像取得工程と、前記画像データにおける各画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する局所領域生成工程と、装置中の符号化基準保持部が有するパラメータを用いて、前記局所領域を符号化によって低次元化を図る符号化処理工程と、前記符号化処理工程によって低次元化された局所領域を、任意の数の集合に分類する領域判別工程と、前記領域判別工程によって分類された集合に、ラベルを付すラベル付与工程と、領域判別によって判別された各領域をユーザに示すよう表示する結果表示工程と、を備えることを特徴とする画像判別方法である。
【００１２】
また請求項６記載の本発明は、前記ラベル付与工程によって付与されたラベルを、ユーザが任意の名前で確定するラベル確定工程と、をさらに備えることを特徴とする、請求項５記載の画像判別方法である。
【００１３】
また請求項７記載の本発明は、前記ラベル確定工程によって確定されたラベルが、１つの集合に２以上重複して付与された場合、当該重複を解消するよう、前記符号化基準保持部が有するパラメータを変更するパラメータ変更工程と、をさらに備えることを特徴とする、請求項５または６記載の画像判別方法である。
【００１４】
また請求項８記載の本発明は、前記符号化処理工程による処理に、畳み込み自己符号化器を用いることを特徴とする、請求項５から７のいずれか１項記載の画像判別方法である。
【発明の効果】
【００１５】
本発明によれば、画像の被写体について、事前教材データセットなしに、かつ、ユーザからの少ないフィードバックで判別することが可能な画像判別装置を提供することが可能である。
【図面の簡単な説明】
【００１６】
【図１】実施形態の一例に係る画像判別装置の機能構成図である。
【図２】畳み込み自己符号化器のイメージである。
【図３】実施形態の一例に係る画像判別装置のハードウェア構成である。
【図４】実施形態の一例における認識処理の流れを示すフローチャートである。
【図５】入力画像の例と、スーパーピクセル生成を行った画像の例である。
【図６】領域生成部によるクラスタリングのイメージである。
【図７】結果表示部による結果表示画面のイメージである。
【発明を実施するための形態】
【００１７】
以下、本発明に係る画像判別装置及び画像判別方法の実施の形態について説明する。
【００１８】
（装置構成）
図１は、本実施形態に係る画像判別装置の機能構成図である。本実施形態に係る画像判別装置は、外部から入力された画像を処理して、画像の被写体それぞれを対象物、カテゴリごとに判別して出力する。本実施形態に係る画像判別装置は、画像取得部１００、局所領域生成部１１０、符号化処理部１２０、符号化基準保持部１６０、領域判別部１３０、結果表示部１４０から構成される。
【００１９】
画像取得部１００は、本実施形態に係る装置のインタフェースの役割を果たす部分であり、装置に備えられたデータ入力部、または外部入力装置から判別対象の画像を取得し、これを局所領域生成部１１０に送る。前記データ入力部の例としては、画像をデータとして取り込むためのネットワークインタフェース等が挙げられ、外部入力装置の例としては、カメラ、ビデオカメラ等が挙げられる。
【００２０】
局所領域生成部１１０は、画像取得部１００によって取得された画像を入力し、前記画像のそれぞれの画素の特徴量に基づいて連結された複数の画素からなる局所領域に分割する。また、以降の処理で、当該画像で前記局所領域を画素単位として扱うよう記録した上で、符号化処理部１２０に送る。局所領域は、スーパーピクセルとも呼ばれ、所定の特徴量の類似する画素の集合をいう。特徴量の例としては、RGB、CMYK、HSL、線情報、形状情報等が挙げられる。入力される画像は、1枚の静止画でも良く、また複数の静止画が連続的に入力される動画でも良いが、特に、本発明においては、処理する画像の枚数が増えるにつれて、判別結果をよりユーザの感覚に近づけることが可能であるため、動画について、好適に処理が可能である。
【００２１】
符号化処理部１２０は、局所領域生成部１１０から入力された画像の局所領域について、所定のパラメータに基づく符号化によって低次元化を図る。符号化とは、デジタルデータを一定の規則に従って、目的に応じた符号に変換することであり、エンコードともいう。符号化処理のアルゴリズムとしては、ニューラルネットワークを用いた自己符号化器（Auto Encoder）が好適に適用可能である（非特許文献２）。これにより、各局所領域について、パラメータの最適化を行う。一方で、パラメータの最適化と交互もしくは独立に、局所領域を低次元化表現することが可能になる。符号化処理部１２０の例としては畳み込み自己符号化器（Convolutional Auto Encoder）が好適に適用される。図２に畳み込み自己符号化器のイメージを示す。
【００２２】
符号化基準保持部１６０は、符号化処理部１２０で低次元化を行う際に使用するパラメータを記録する。パラメータは、符号化処理部１２０から参照されるほか、符号化処理部１２０による最適化処理によって適宜更新され、入力画像をよりユーザの判断基準に近い判別が行えるようにする。符号化基準保持部内のパラメータ更新は、基本的に符号化処理部１２０の処理ごとに随時行われるほか、例えば、ユーザがラベルを確定させた後、その後の領域判別処理に齟齬が生じた場合に、パラメータを漸次変更して、判別基準をユーザの感覚に近づける。
【００２３】
領域判別部１３０は、符号化処理部１２０によって低次元化されたデータの集合を、類似する任意の数の集合に分類する。各集合は、符号化処理部１２０によって低次元化された時点において、類似する性質を有しており、この判別結果は、画像中の被写体判別結果に対応する。例えば、分類された集合はクラスタとも呼ばれ、この分類処理はクラスタリングともいう。分類されたデータは、仮のラベルまたは確定ラベルを付与するため、ラベル付与部１４０に受け渡される。
【００２４】
ラベル付与部１４０は、領域判別部１３０によって判別された各集合に対して、それぞれ所定のラベルを付与する。付与されるラベルは、ラベル保持部２１０に記録されたユーザによる確定ラベルから参照されるほか、付与すべきラベルが存在していない場合には、所定の仮ラベルから任意に付与する。
【００２５】
ラベル保持部２１０は、ラベル付与部がラベル付与を行う際に使用する確定ラベルを記録する。確定ラベルは、ユーザが結果表示部１６０に表示された判別結果を確認し、自身の判断によって任意の名前で付与するラベルであり、ユーザ自身で変更、更新を行うことはできるが、画像判別装置の判断で更新を行うことはできない。
【００２６】
結果表示部１５０は、領域判別によって判別され、それぞれラベルが付された各集合をユーザに示すよう表示する。表示は、例えばディスプレイ画面上などで判別結果が分かる形態で行われ、これによりユーザは、画像判別装置による判別結果を、局所領域ごとに確認することができる。ユーザが判別結果を確認した結果、任意の局所領域の判別結果、自身の判別で確定する場合、これを画像判別装置に示すため、後のラベル確定部１６０によって、当該局所領域に確定したラベルを付与しても良い。付与される確定されたラベルとしては、「柱」や「壁」などのユーザの判別結果と対応したものが挙げられる。ユーザによって確定された確定ラベルは、ラベル保持部に記録され、その後の処理において、ラベル付与部１４０によって参照される。
【００２７】
（ハードウェア構成）
図３に、本実施形態に係る画像判別装置のハードウェア構成を示す。画像判別装置に用いるハードウェアとしては、一般的なパーソナルコンピュータ装置を用いることが可能である。この場合、装置は、画像取得部としての外部インタフェースと、その他の機能を記憶し、実行するための、ハードディスクドライブ（ＨＤＤ）、半導体メモリ等の記憶装置、演算処理を行うＣＰＵ、処理の途中情報を保持するためのメモリ（ＲＡＭ）、判別結果を出力するためのディスプレイ等を備える。また、並列処理を行うため、グラフィックス  プロセッシング  ユニット（ＧＰＵ）を備えていても良い。
【００２８】
（判別処理の説明）
図４は、本実施形態における認識処理の流れを示すフローチャートである。以下に、図４のフローチャートに従って本実施形態に係る画像判別装置の具体的な処理について述べる。
【００２９】
ステップＳ１００では、判別対象となる画像が入力される。入力の方法は、カメラ等の外部装置によりリアルタイムに入力されることも可能であり、予め記憶装置等に記憶された画像データを入力することも可能である。入力される画像の形式は、静止画および動画の場合があり、動画の場合には、フレームごとに画像の判別処理を行う。
【００３０】
ステップＳ１１０では、入力された画像データをそれぞれの画素の特徴量に基づいて連結された複数の画素からなる局所領域（スーパーピクセル）に分割する。スーパーピクセル生成のアルゴリズムは当業者が既知の方法から任意に選択可能であり、例えば、特許文献１、非特許文献３等の方法が挙げられる。本ステップ以降の処理では本ステップで生成したスーパーピクセルを画像の要素単位として扱う。図５に入力画像の例と、スーパーピクセル生成を行った画像の例を示す。図中、左画像が入力画像であり、右画像が処理画像である。図から、入力画像が局所領域（スーパーピクセル）に分割されている様子が確認される。
【００３１】
ステップＳ１２０では、入力された局所領域について、符号化によって低次元化を図る。符号化処理のアルゴリズムとしては、例えば、畳み込みニューラルネットワークを用いた自己符号化器が好適に適用可能である。CNNsを適用した場合には、各局所領域について、符号化器による最適化を行いながら、判別を行うためのパラメータを学習させると同時に、前記パラメータに基づいて、各局所領域を低次元化表現することが可能になる。CNNsでは、符号化器の入力データと出力データは同一であり、前記パラメータを用いることで、低次元化された画像から、入力画像を復元することが可能である。なお、ここで学習されたパラメータは、その後適宜に更新され、ユーザの判断基準に近づくよう最適化される。
【００３２】
ステップＳ１３０では、低次元化されたデータの集合を、類似する任意の数の集合に分類する。具体的な処理としては、N次元のデータに符号化処理された局所領域データを、N次元の空間上にマッピングして、その後、所定のクラスタリングのアルゴリズムを用いて、各データを距離によって分類する。クラスタリングのアルゴリズムの例としては、当業者に既知の手法から任意のものが選択可能であり、代表的な例としては、K-Means、DBSCAN（非特許文献４）、Mean-shift、OPTICS（非特許文献５）が挙げられ、特にOPTICSが望ましい。図６にクラスタリングのイメージを示す。出力されたクラスタは、それぞれが画像中の被写体と対応しており、例えば、同一クラスタをつなぎ合わせることで、画像中におけるそれぞれの対象物であると判別することが可能となる。
【００３３】
ステップＳ１４０では、被写体ごとに判別された各局所領域に対して、それぞれ所定のラベルを付与する。ラベル付与に際しては、ラベル付与部１４０は自身に接続されたラベル保持部２１０を参照し、対象となるクラスタと類似する性質を持つ、確定ラベルを付与された局所領域があるか確認する。ここで、ラベル保持部２１０には、以降の処理において、ユーザによって任意の集合について付与された、確定ラベルが記録されている。確認の結果、対象となる集合に付与すべき確定ラベルが確認された場合には、当該確定ラベルを対象となる集合に付与する。
【００３４】
上記検索の結果、ラベル保持部２１０内に、対象となる集合に、確定ラベルが付された局所領域が含まれていない場合には、当該対象には、一時的な仮ラベルを付与して、次の処理へ進むこととなる。反対に、対象となる集合に付与すべき確定ラベルが２以上確認された場合には、画像判別装置による判別結果が、ユーザの感覚と乖離していると認められるため、符号化基準保持部２００に記録されたパラメータを更新する。その後、確定ラベルもしくは仮ラベルが付与された集合は、ユーザに結果を通知するため、結果表示を行うステップＳ１５０に受け渡される。
【００３５】
ステップＳ１５０では、各局所領域が被写体ごとに判別された結果を表示してユーザに示す。表示方法は、例えば、局所領域の画像を、クラスタごとに所定の色やテキストを付して表示し、どの領域が一つの被写体であるかとユーザが区別できる形式で表示する。ユーザは、表示された判別結果を確認し、自らも被写体の判別を行うことができる。ユーザによる判別の結果、任意の領域が所定の被写体であるとユーザが判断した場合には、例えば、結果表示部に表示されたラベル確定部から、確定ラベルを付与する。確定ラベルが付与された場合には、画像判別装置は、当該確定ラベルをラベル保持部２１０に記録し、ラベル付与ステップＳ１４０によって参照される確定ラベルとして、以降の画像または領域を処理する際に使用される。
【００３６】
本実施形態に係る画像判別装置では、例えば局所領域の低次元化に自己符号化器を適用した場合には、判別装置自らが判別基準を学習し、最適化しながら局所領域の判別を行うため、ユーザがあらかじめ提供した教材を用いた事前学習処理を行わなくても、画像判別を行うことが可能である。ただし、判別結果は必ずしもユーザの判別基準と一致するものではなく、低次元化を行う際のパラメータ如何によっては、画像中の領域をユーザの認識と異なる被写体であると判別する可能性がある。この場合、例えば、ユーザは、判別結果が自身の判断で確定させるステップＳ１６０を設け、その結果を以降の処理に反映させることで修正することが可能である。図７に結果表示画面のイメージを示す。図から、判別されたクラスタが、システムによって一つの物体であると推測されている様子が確認できる。
【００３７】
以上により、本実施形態に係る画像判別装置を用いて、カメラ等から入力された画像について、ユーザの判断を参照しながら、人間の判断に近い判断で被写体を分類することが可能となる。本発明では、前記実施形態に係る機能を実現するプログラムをネットワーク又は記憶媒体を介して、コンピュータ等の装置に供給して、当該システムのCPUやGPUが当該プログラムを読みだして実行する形態で実行することが可能である。
【産業上の利用可能性】
【００３８】
本発明に係る画像判別装置を使用することで、例えば、災害現場等で人間が立ち入ることが困難な環境下において、無人ロボットによる調査を行う場合に、倒壊した建材、瓦礫、要救助者等を判別することが可能となり、より迅速な救助に資することが可能になる。
【符号の説明】
【００３９】
１００  画像取得部
１１０  局所領域生成部
１２０  符号化処理部
１３０  領域判別部
１４０  ラベル付与部
１５０  結果表示部
１６０  ラベル確定部
２００  符号化基準保持部
２１０  ラベル保持部
【図１】
2018018313.tif 000003
【図２】
2018018313.tif 000004
【図３】
2018018313.tif 000005
【図４】
2018018313.tif 000006
【図５】
2018018313.tif 000007
【図６】
2018018313.tif 000008
【図７】
2018018313.tif 000009