(57)【要約】本発明は、畳み込み人工ニューラルネットワークベースのイメージ及び映像認識システム及びその方法に関する。そのような認識システムは、下位層の分析を行い、ユーザの質疑事項をサーバ５に伝送及び受信して管理するモバイルデバイス３と；モバイルデバイス３とネットワークを介して接続され、畳み込み人工ニューラルネットワークの中位及び上位層に該当するニューラルネットワークの各層でデータ処理を行い、特定の事物（イメージ）及び映像を登録、分析、検索、分類するサーバ５と；コンテンツ提供者が登録したイメージ及び映像の人工ニューラルネットワーク処理のＦＣレイヤ値と、モバイルデバイス３から伝送されたイメージ及び映像の人工ニューラルネットワーク処理のＦＣレイヤ値とを比較する検索器７とを含む。
2020537274.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ提供者がイメージターゲット及びコンテンツをサーバ（５）のＫ−Ｄツリー構造の検索器（７）に登録する第１ステップ（Ｓ１０）と、
モバイルデバイス（３）のユーザが第１ステップ（Ｓ１０）で登録されたコンテンツの提供を受けるためにカメラ（１０）で対象物を撮影し、前記モバイルデバイス（３）が、取得されたイメージ及び映像データを畳み込み人工ニューラルネットワークの下位層であるＬ１〜Ｌ６層によって処理する第２ステップ（Ｓ２０）と、
第２ステップ（Ｓ２０）で処理されたデータをサーバ（５）が受信して、前記畳み込み人工ニューラルネットワークの中、上位層であるＬ７〜Ｌ１２層によって処理することによって、前記取得されたイメージ及び映像データの主な方向として決定し、回転不変の特徴を再生成する第３ステップ（Ｓ３０）と、
第３ステップ（Ｓ３０）で処理されたデータのうち、前記畳み込み人工ニューラルネットワークの全結合層のＦＣレイヤ値をサーバ（５）のＫ−Ｄツリー検索器（７）に伝送して検索することによって、コンテンツ提供者が登録した最近接ターゲットを検索する第４ステップ（Ｓ４０）と、
最近接ターゲットの類似度と閾値を比較して、ターゲットの検索が成功したか否かを判断する第５ステップ（Ｓ５０）と、
ターゲットとコンテンツの結合情報をモバイルデバイス（３）に伝送して、検索した対象に連結されたコンテンツを再生する第６ステップ（Ｓ６０）とを含む、人工ニューラルネットワークベースの認識方法。
【請求項２】
第１ステップ（Ｓ１０）では、サーバ（５）に含まれた前記畳み込み人工ニューラルネットワークを介して多数の層を順次に行うことによって、イメージターゲット及びコンテンツが前記検索器（７）に登録され、前記多数の層は、
サーバ（５）でイメージデータを準備し、データにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する少なくとも１つの層と；マックスプーリング（Ｍａｘ  ｐｏｏｌｉｎｇ）を１次で実施する層と；マックスプーリングされたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する少なくとも１つの層と；マックスプーリングを２次で実施する層と；マックスプーリングされたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する少なくとも１つの層と；マックスプーリングを３次で実施する層と；少なくとも１つ以上の全結合層と；全結合層のＦＣレイヤ値をウェブサーバ（５）のメモリ（１４）上に格納されたＫ−Ｄツリー構造の検索器（７）に格納することによって登録する層と；全結合層の出力値に対してソフトマックス（Ｓｏｆｔｍａｘ）を介して出力値を分類する層とを含む、請求項１に記載の人工ニューラルネットワークベースの認識方法。
【請求項３】
第２ステップ（Ｓ２０）では、前記モバイルデバイス（３）が前記畳み込み人工ニューラルネットワークによってイメージ及び映像データを処理し、前記第２ステップ（Ｓ２０）は、モバイルデバイス（３）のカメラ（１０）によってイメージ及び映像を取得するステップと；前記取得されたイメージ及び映像データにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する少なくとも１つの層が行われるステップと；マックスプーリング（Ｍａｘ  ｐｏｏｌｉｎｇ）を１次で実施するステップと；マックスプーリングされたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する少なくとも１つの層が行われるステップと；マックスプーリングを２次で実施するステップと；２次でマックスプーリングされたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する少なくとも１つの層が行われるステップとを含むことによって、データをサーバ（５）に伝送することを特徴とする、請求項１に記載の人工ニューラルネットワークベースの認識方法。
【請求項４】
第３ステップ（Ｓ３０）では、前記畳み込み人工ニューラルネットワークによって回転不変の再生成を処理し、第３ステップ（Ｓ３０）は、モバイルデバイス（３）からサーバ（５）に伝送されたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成するステップと；マックスプーリングを３次で実施する層が行われるステップと；少なくとも１つ以上の全結合層が行われるステップと；全結合層の出力値に対してソフトマックス（Ｓｏｆｔｍａｘ）を介して出力値を分類するステップとを含む、請求項３に記載の人工ニューラルネットワークベースの認識方法。
【請求項５】
第５ステップ（Ｓ５０）では、ターゲットの検索が成功したか否かの判断時に、最近接ターゲットの類似度が閾値以上で一致する場合は、特定事物認識と一致するターゲットを検索するのに成功したものと判断し、最近接ターゲットの類似度が閾値未満である場合には、出力値にソフトマックスを取った値で類似のカテゴリを選定する、請求項１に記載の人工ニューラルネットワークベースの認識方法。
【請求項６】
第５ステップ（Ｓ５０）において、ターゲットの検索が成功したか否かの判断時に、選定されたカテゴリの類似度と閾値を比較した結果、類似度が閾値以上である場合に、コンテンツメタデータを検索、再生し、類似度が閾値以下である場合に、カメラ（１０）によって新しいイメージを取得することを特徴とする、請求項５に記載の人工ニューラルネットワークベースの認識方法。
【請求項７】
下位層の分析を行い、ユーザの質疑事項をサーバ（５）に伝送及び受信して管理するモバイルデバイス（３）と、
モバイルデバイス（３）とネットワークを介して接続され、畳み込み人工ニューラルネットワークの中位及び上位層に該当するニューラルネットワークの各層でデータ処理を行い、特定の事物（イメージ）及び映像を登録、分析、検索、分類するサーバ（５）と、
コンテンツ提供者が登録したイメージ及び映像の人工ニューラルネットワーク処理のＦＣレイヤ値と、モバイルデバイス（３）から伝送されたイメージ及び映像の人工ニューラルネットワーク処理のＦＣレイヤ値とを比較する検索器（７）とを含む、人工ニューラルネットワークベースの認識システム。
【請求項８】
前記モバイルデバイス（３）は、映像及びイメージを取得するカメラ（１０）と；前記カメラ（１０）によって取得した映像及びイメージデータを処理する畳み込み人工ニューラルネットワークの下位２層を実行する下位層処理モジュール（１２）と；前記下位層処理モジュール（１２）によって処理されたデータを格納するメモリ（１４）と；イメージを表示する表示窓（１６）とを含む、請求項７に記載の人工ニューラルネットワークベースの認識システム。
【請求項９】
前記下位層処理モジュール（１２）は、前記カメラ（１０）によって取得されたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する少なくとも１つの層が行われ、マックスプーリング（Ｍａｘ  ｐｏｏｌｉｎｇ）を少なくとも１回実施し、マックスプーリングされたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する少なくとも１つの層が行われ、データを前記サーバ（５）に伝送することを特徴とする、請求項８に記載の人工ニューラルネットワークベースの認識システム。
【請求項１０】
前記サーバ（５）は、前記モバイルデバイス（３）から伝送された畳み込み人工ニューラルネットワークの下位層の出力値を入力イメージの主な方向として決定し、回転不変の特徴を再生成する第１モジュール（Ｍ１）と、
前記コンテンツ提供者から伝送されたイメージターゲットを人工ニューラルネットワークによって処理する第２モジュール（Ｍ２）と、
第２モジュール（Ｍ２）から伝送された下位層情報を全結合（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）することによって特徴記述子層から得た情報を検索器（７）に登録する第３モジュール（Ｍ３）と、
モバイルデバイス（３）の第１モジュール（Ｍ１）から伝送された下位層情報を全結合することによって特徴記述子層から得た情報を前記検索器（７）に伝送して検索を行う第４モジュール（Ｍ４）と、
最近接ターゲットの類似度と閾値を比較して、ターゲットの検索が成功したか否かを判断する第５モジュール（Ｍ５）と、
一般的なイメージ及び映像の形態を認識するための検索器（７）層の入力値を得る第６モジュール（Ｍ６）とを含む、請求項７に記載の人工ニューラルネットワークベースの認識システム。
【請求項１１】
前記第１モジュール（Ｍ１）は、前記モバイルデバイス（３）から前記サーバ（５）に伝送されたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成し、マックスプーリングを実施し、少なくとも１つ以上の全結合層が行われ、全結合層の出力値に対してソフトマックス（Ｓｏｆｔｍａｘ）を介して出力値を分類することを特徴とする、請求項１０に記載の人工ニューラルネットワークベースの認識システム。
【請求項１２】
前記第３モジュール（Ｍ３）は、全結合層のＦＣレイヤ値をウェブサーバ（５）のメモリ（１４）上に格納されたＫ−Ｄツリー構造の検索器（７）に伝送することによって、コンテンツ提供者が登録した最近接ターゲットを登録することを特徴とする、請求項１０に記載の人工ニューラルネットワークベースの認識システム。
【請求項１３】
前記第５モジュール（Ｍ５）は、最近接ターゲットの類似度が閾値以上で一致する場合は、特定事物認識と一致するターゲットを検索するのに成功したものと判断し、最近接ターゲットの類似度が閾値未満である場合には、全結合層の出力値にソフトマックスを取った値で類似のカテゴリを選定し、
選定されたカテゴリの類似度と閾値を比較した結果、類似度が閾値以上である場合に、コンテンツメタデータを検索、再生し、類似度が閾値以下である場合に、前記カメラ（１０）によって新しいイメージを取得することを特徴とする、請求項１１に記載の人工ニューラルネットワークベースの認識システム。
【請求項１４】
前記第６モジュール（Ｍ６）は、前記ターゲットと連結されたコンテンツを再生し、コンテンツ提供者が予め登録したコンテンツを関連ターゲットと連動することによって、前記モバイルデバイス（３）上で再生することを特徴とする、請求項１０に記載の人工ニューラルネットワークベースの認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、畳み込み人工ニューラルネットワークベースの認識システムに関し、より詳細には、モバイルデバイスに搭載されたカメラから入力された映像から検索のための情報を導出し、畳み込み人工ニューラルネットワークをベースとしてデータの学習によって事物を判別し、事前に登録されたデータのデジタル指紋を生成し、畳み込み人工ニューラルネットワーク又はインメモリツリー検索技術を通じて対象を検索し、ターゲットとコンテンツの結合情報をモバイルデバイスに伝送して、検索した対象に連結されたコンテンツを再生する技術に関する。
【背景技術】
【０００２】
一般に、人工ニューラルネットワークは、人間の脳がパターンを認識する方式を模写したアルゴリズムを意味する。人工ニューラルネットワークは、視覚、聴覚入力データをパーセプトロンや分類、クラスタを用いて解析し、このように解析した結果を用いれば、イメージ、音、文字、時系列データから特定のパターンを認識することができる。
【０００３】
人工ニューラルネットワークを用いれば、各種分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）及びクラスタ化（ｃｌｕｓｔｅｒｉｎｇ）が可能であるところ、分類やクラスタ化を望むデータの上に様々な層（ｌａｙｅｒ）を載せて所望の作業を行うようになる。
【０００４】
各層では、ラベリングされていないデータを互いに比較して類似度を求めるか、またはラベリングされているデータをベースとして検索器を学習して自動でデータを分類することができる。
【０００５】
より詳細には、人工ニューラルネットワークで特徴を抽出し、その特徴を再び他の機械学習アルゴリズムの入力値として使用することで、分類やクラスタ化を行うことができる。
【０００６】
このような人工ニューラルネットワークは深層ニューラルネットワークを含むところ、深層ニューラルネットワークは、ニューラルネットワークアルゴリズムの中で複数の層からなるニューラルネットワークを意味する。
【０００７】
一つの層は複数のノードで構成され、各ノードでは実際に演算が行われ、この演算過程は、人間のニューラルネットワークを構成するニューロンで起こる過程を模写するように設計される。
【０００８】
ノードは、一定の大きさ以上の刺激を受けると反応するが、その反応の大きさは、入力値とノードの係数（又は重み、ｗｅｉｇｈｔｓ）を乗じた値と略比例する。一般に、ノードは、複数の入力を受け取り、入力の数だけの係数を有する。したがって、この係数を調節することによって、複数の入力に互いに異なる重みを付けることができる。
【０００９】
最終的に、乗じた値はすべて合算され、その和は、活性関数（ａｃｔｉｖａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）の入力として入るようになる。活性関数の結果がノードの出力に該当し、この出力値が、究極的に分類や回帰分析に使用される。
【００１０】
各層は複数のノードからなり、入力値に応じて各ノードの活性化／非活性化が決定される。このとき、入力データは１番目の層の入力となり、その後には、各層の出力が再び次の層の入力となる方式である。
【００１１】
全ての係数は学習過程で少しずつ変化し続けるが、結果的に、各ノードがどの入力を重要視するかを反映する。そして、ニューラルネットワークの学習（ｔｒａｉｎｉｎｇ）は、この係数をアップデートする過程である。
【００１２】
このような深層ニューラルネットワークでは、各層ごとに互いに異なる層位の特徴が学習される。
【００１３】
すなわち、低い層位の特徴は、単純で具体的な特徴が学習され（例えば：イメージをなす水平線、垂直線、対角線）、高い層位の特徴は、さらに複雑で抽象的な特徴が学習される。（例えば：人の形状、自動車の形状、猫の形状、顔の形状。）
【００１４】
このような抽象化学習過程を通じて、深層ニューラルネットワークが非常に大きい、高次元のデータを理解し、この過程には数億、数十億個の係数が関与するようになる。（この過程で非線形関数が用いられる。）
【００１５】
また、深層ニューラルネットワークは、データを用いてデータの潜在的な構造（ｌａｔｅｎｔ  ｓｔｒｕｃｔｕｒｅｓ）を把握することができる。すなわち、写真、文章、ビデオ、音声、音楽の潜在的な構造（どのような物体が写真にあるのか、文章の内容と感情が何であるのか、音声の内容と感情が何であるのか等）を把握することができる。これを通じて、データがラベリングされていなくてもデータ間の類似性を効果的に把握することができ、結果的に、深層ニューラルネットワークはデータのクラスタ化に効果的である。
【００１６】
例えば、ニューラルネットワークを用いて、大量の写真データを受け取り、類似の写真同士を集めて分類することができる。
【００１７】
このような深層ニューラルネットワークが一般の機械学習と異なる点は、特徴抽出（ｆｅａｔｕｒｅ  ｅｘｔｒａｃｔｉｏｎ）が自動的に行われるという点である。
【００１８】
従来は、効果的な特徴を抽出するために、関連分野の専門家が直接、長い時間の間、特徴を抽出する数式や方法を考案して適用しなければならなかった。この方法は、開発、評価及び補完に多くの時間がかかるという問題がある。
【００１９】
深層ニューラルネットワークは、このような過程をコンピュータが代わりに行うようにアルゴリズムを組んだもので、人間に比べて遥かに速く効果的に行うように学習させる。
【００２０】
ラベリングされていないデータを学習する場合にも、ニューラルネットワークは、データの特徴を自動的に抽出することができる。この自動抽出は様々な方法があるが、通常、この過程は、ニューラルネットワークを通過させたときの出力が入力と同一になるように学習するようになる。
【００２１】
ラベルがどのような種類でも（入力をそのまま使用／別途のラベルを使用）、ニューラルネットワークは入力と出力の相関関係を探す。場合によっては、ラベリングされたデータでニューラルネットワークをある程度学習させた後、ラベリングされていないデータを追加して学習させ続けることもできる。この方法を用いると、ニューラルネットワークの性能を極大化することができる。
【００２２】
深層ニューラルネットワークの最後の層は出力層である。出力層の活性関数はロジスティック（ｌｏｇｉｓｔｉｃ）あるいはソフトマックス（ｓｏｆｔｍａｘ）である場合がほとんどであり、出力層では、最終的に特定のラベルの確率を求めることができる。例えば、写真を入力として入れたとき、写真の物体が人であるか、猫であるか、犬であるか、それぞれの確率を求めることができる。
【００２３】
このような人工ニューラルネットワークの学習の目的は、出力の誤りを最小化することにある。
【００２４】
まず、学習が始まる前にニューラルネットの全ての係数を初期化する。そして、繰り返してデータを入力して学習を進める。仮に、学習が円滑に進んでいたら、係数は適切な値にアップデートされているはずであり、この人工ニューラルネットワークで各種分類及び予測が可能である。
【００２５】
学習過程の内部では、このような係数のアップデート過程が繰り返して起こる。
【００２６】
係数のアップデートの原理は、まず、係数を推定し、その係数を使用したときに発生するエラーを測定した後、そのエラーを基にして係数を少しずつアップデートする方式である。
【００２７】
このとき、ニューラルネットワークの複数の係数を合わせてモデルと呼び、モデルは、初期化された状態であってもよく、学習が完了した状態であってもよい。
【００２８】
初期化されたモデルは、意味のある作業を行うことができないが、学習が進むほど、モデルは、任意の値ではなく、実際と類似の結果を出力するようになる。
【００２９】
これは、人工ニューラルネットワークが、データが入力される前には何にも知らない状態であるためであり、係数を任意の値に初期化する理由も同様である。そして、データを読み取りながら、係数を少しずつ正しい方向にアップデートするようになる。
【００３０】
しかし、従来は、特定のイメージを特徴点記述子検索技術をベースとした拡張現実を具現するか、または一般の事物に対する人工ニューラルネットワーク学習方法に限定して散発的に存在する問題点がある。
【００３１】
また、従来技術では、特定事物認識は特徴点抽出子、特徴点記述子を使用した検索方法で、一般事物認識は特徴点記述子をＢａｇ  ｏｆ  Ｗｏｒｄｓ技法で分類学習をしたり、人工ニューラルネットワークを活用する方法が存在したが、それぞれ、特定事物認識において特徴点記述子方式の検索は、モバイルデバイスの演算量が多く、サーバに大量の情報を送らなければならないので、サーバ側のネットワークトラフィックが過度に発生、及びモバイルデバイスでは、通信環境に大きな影響を受ける問題点がある。
【００３２】
また、一般事物認識では、特徴点記述子方式は認識率が低く、人工ニューラルネットワーク構造の場合に特定事物認識と結合が困難であったり、既存の方式では、イメージの回転に弱い特性情報を有していることが限界であるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【００３３】
したがって、本発明は、このような問題点を解決するために案出されたものであって、本発明の目的は、特定事物認識と一般事物認識を一つの過程で処理することによって、速いイメージ検索、及び大量のイメージデータベースの構築が可能であり、また、モバイルデバイスの演算量を最小化し、サーバの負荷を最小化することができる人工ニューラルネットワークシステムを提供することである。
【００３４】
また、本発明の目的は、特定事物認識において、回転不変の特性を有する人工ニューラルネットワークを活用することによって認識率を高めることができる人工ニューラルネットワークシステムを提供することである。
【課題を解決するための手段】
【００３５】
上記の目的を達成するために、本発明の一実施例は、
コンテンツ提供者がイメージターゲット及びコンテンツをサーバ５のＫ−Ｄツリー構造の検索器７に登録する第１ステップ（Ｓ１０）と；
モバイルデバイス３のユーザが第１ステップ（Ｓ１０）で登録されたコンテンツの提供を受けるためにカメラ１０で対象物を撮影し、前記モバイルデバイス３が、取得されたイメージ及び映像データを畳み込み人工ニューラルネットワークの下位層であるＬ１〜Ｌ６層によって処理する第２ステップ（Ｓ２０）と；
第２ステップ（Ｓ２０）で処理されたデータをサーバ５が受信して、前記畳み込み人工ニューラルネットワークの中、上位層であるＬ７〜Ｌ１２層によって処理することによって、前記取得されたイメージ及び映像データの主な方向として決定し、回転不変の特徴を再生成する第３ステップ（Ｓ３０）と；
第２ステップ（Ｓ２０）で処理されたデータのうち、前記畳み込み人工ニューラルネットワークの全結合層のＦＣレイヤ値をサーバ５のＫ−Ｄツリー検索器７に伝送して検索することによって、コンテンツ提供者が登録した最近接ターゲットを検索する第４ステップ（Ｓ４０）と；
最近接ターゲットの類似度と閾値を比較して、ターゲットの検索が成功したか否かを判断する第５ステップ（Ｓ５０）と；
ターゲットとコンテンツの結合情報をモバイルデバイス３に伝送して、検索した対象に連結されたコンテンツを再生する第６ステップ（Ｓ６０）とを含む人工ニューラルネットワークベースの認識方法を提供する。
【００３６】
また、本発明の他の実施例は、
下位層の分析を行い、ユーザの質疑事項をサーバ５に伝送及び受信して管理するモバイルデバイス３と；
モバイルデバイス３とネットワークを介して接続され、畳み込み人工ニューラルネットワークの中位及び上位層に該当するニューラルネットワークの各層でデータ処理を行い、特定の事物（イメージ）及び映像を登録、分析、検索、分類するサーバ５と；
コンテンツ提供者が登録したイメージ及び映像の人工ニューラルネットワーク処理のＦＣレイヤ値と、モバイルデバイス３から伝送されたイメージ及び映像の人工ニューラルネットワーク処理のＦＣレイヤ値とを比較する検索器７とを含む人工ニューラルネットワークベースの認識システムを提供する。
【発明の効果】
【００３７】
本発明の一実施例に係る畳み込み人工ニューラルネットワークベースの認識システムは、次のような利点がある。
【００３８】
第一に、一つの完成された畳み込み人工ニューラルネットワークを２つの接続された畳み込み人工ニューラルネットワークに分離し、このうち下位層に該当するニューラルネットワークはモバイルデバイスで、中、上位層に該当するニューラルネットワークはサーバで処理することによって、サーバに伝送するデータのサイズが減少して、トラフィック、通信速度の改善、認識処理に対する負荷の一部をモバイルデバイスが担当してサーバの負荷軽減、源泉データはサーバに存在するので、コンテンツ提供者が新規データを追加することが容易であるという利点がある。
【００３９】
第二に、イメージ学習を基にした一般事物認識技術と、イメージの特徴の整合を基にした特定事物認識技術との利点を結合し、これを、畳み込み人工ニューラルネットワークベースの認識システムとして具現した。
【００４０】
すなわち、大量のイメージを多層の畳み込み人工ニューラルネットワークを介して学習する場合に、下位層であるほど、イメージの局所領域の特徴情報を抽出する従来の特徴ベースのイメージ認識の特徴抽出子の役割をする層として学習される傾向があり、上位層であるほど、従来の学習ベースのイメージ認識の意味検索と従来の特徴ベースのイメージ認識の特徴整合の役割をする層として学習される傾向があるところ、
これによって、一つの完成された畳み込み人工ニューラルネットワークを用いて下位層、上位層の出力値をそれぞれ処理するように変形し、このときに得られた畳み込み人工ニューラルネットワークを介して、事物の範疇を理解する目的で上位層の出力値を用いながら、下位層と中間層の出力値を結合した結果を用いて、これを特徴の集合のように取り扱うことで、事前に特定のイメージを登録することができるステップと、イメージ検索質疑に対して同じ層の出力値を結合した結果と比較／整合して検索するステップと、適正な閾値を決定して、整合の結果が整合するか否かを判定するステップを通じて、既存の特徴抽出演算なしにも事物の範疇を分類する完成された畳み込み人工ニューラルネットワークをそのまま用い、中間結果値を比較する程度の軽い処理のみで特定事物認識を同時に実施することができる。
【００４１】
第三に、コンテンツ提供者は、ユーザに広告、学習、情報の提供などの様々なコンテンツを提供する者であって、本システムに特定事物認識のためのターゲットと、これに連結されるコンテンツを登録したり、本プラットホームで事前に設計された範疇にコンテンツを登録したりする過程でユーザが取らなければならない行動の制限が減少して、より多くのユーザにコンテンツの提供が可能である。
【００４２】
第四に、既存の一般事物認識を用いて、当該製品と同一ではないが類似の製品に対してもコンテンツを提供できるので、多くのユーザにコンテンツ及び広告を提供することができる。
【００４３】
第五に、雑誌や語学教材などの製品を購入したユーザを特定してコンテンツを提供する場合に、ＱＲコード（登録商標）あるいはクーポン番号を提供することなく、特定事物認識技術を通じて、製品の購買者のみがアクセスできるページ又は販売過程で印刷物を伝達する方法などで容易にアクセスすることができる。
【００４４】
第六に、モバイルデバイスによって製品、事物、ポスター、チラシ、教材、雑誌、映画、ドラマ、スポーツ中継、ホームショッピング放送などのコンテンツを提供する場合に、ユーザにとって特定事物認識方式の限界であった対象認知の問題を、一般事物認識に拡張して、敢えてユーザが当該事物が対象であるか否かを考えることなく、ほとんどの事物、状況、場面を映して、コンテンツの提供を受ける経験を持続的に提供することで、使用性を高め、活用価値があるサービスを提供してユーザのサービス従属（Ｌｏｃｋ−ｉｎ）を誘導することができ、これを通じて、従来に比べて多数の常時ユーザを確保することができ、これは、ユーザには満足のいく経験、コンテンツ提供者には流通経路の拡大の機会となり得る。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施例に係る畳み込み人工ニューラルネットワークベースの認識システムの全体構造を示す図である。
【図２】図１に示されたモバイルデバイスの構造を概略的に示す図である。
【図３】図１に示されたサーバの構造を概略的に示す図である。
【図４】図１に示されたモバイルデバイス及びサーバで畳み込み人工ニューラルネットワークが分割されて処理される過程を概略的に示すブロック図である。
【図５】図１に示されたモバイルデバイス及びサーバで第２モジュール及び第３モジュールが畳み込み人工ニューラルネットワークによってデータを処理し、検索器に登録する過程を概略的に示すブロック図である。
【図６】図１に示されたモバイルデバイス及びサーバで第４〜第６モジュールが畳み込み人工ニューラルネットワークによってターゲットの検索及びクエリー応答過程を概略的に示すブロック図である。
【図７】本発明の他の実施例に係る畳み込み人工ニューラルネットワークベースの認識方法を示すフローチャートである。
【図８】モバイルデバイスの検索クエリーの結果の判定及びコンテンツの再生過程を示すフローチャートである。
【発明を実施するための形態】
【００４６】
以下、本発明の一実施例に係るイメージ及び映像の登録、検索、再生をモバイルデバイス及びサーバで分割して行う畳み込み人工ニューラルネットワークベースの認識システムを詳細に説明する。
【００４７】
図１乃至図３に示されたように、本出願が提案するシステム１は、
下位層の分析を行い、ユーザの質疑事項をサーバ５に伝送及び受信して管理するモバイルデバイス３と；モバイルデバイス３とネットワークを介して接続され、畳み込み人工ニューラルネットワークの中位及び上位層に該当するニューラルネットワークの各層でデータ処理を行い、特定の事物イメージ及び映像を登録、分析、検索、分類するサーバ５と；コンテンツ提供者が登録したイメージ及び映像の人工ニューラルネットワーク処理のＦＣレイヤ値と、モバイルデバイス３から伝送されたイメージ及び映像の人工ニューラルネットワーク処理のＦＣレイヤ値とを比較する検索器７とを含む。
【００４８】
このような構造を有するシステムにおいて、
モバイルデバイス３は、イメージあるいは動画情報を得ることができ、これを、ネットワークを介して伝送することができる装置を意味するところ、例えば、スマートフォン、タブレットＰＣなどを意味する。
【００４９】
このようなモバイルデバイス３は、映像及びイメージを取得するカメラ１０と；カメラ１０によって取得した映像及びイメージデータを処理する畳み込み人工ニューラルネットワークの下位２層であるレイヤ１〜６層を実行する下位層処理モジュール１２と；前記モジュールによって処理されたデータを格納するメモリ１４と；イメージを表示する表示窓１６とを含む。
【００５０】
前記下位層処理モジュール１２は、通常の畳み込み人工ニューラルネットワークによって局所領域及び大きさ不変の特徴を導出するようになる。
【００５１】
より詳細に説明すると、畳み込みニューラルネットワークは、入力層、隠れ層、出力層で構成される。このとき、隠れ層は、一つの層で構成されてもよく、多層で構成されてもよく、本発明では６層で構成される。
【００５２】
また、各層は多数のノードで構成され、各ノードは値を有する。各ノードは、前方ノード及び後方ノードとウェイトで接続されるところ、このウェイトは接続重みを意味する。
【００５３】
そして、各層には活性化関数があるところ、以前のノードの値、ウェイトの接続重み、及び以前のノードが有した活性化関数を用いて当該ノード値を求める。
【００５４】
このような畳み込みニューラルネットワークの学習過程を、図４を参照して説明する。
【００５５】
まず、イメージデータを入力し、例えば、４１０×４１０ピクセル（Ｐｉｘｅｌ）にチャネルが合わせられた３次元イメージデータを準備する。
【００５６】
そして、第１層Ｌ１を行うところ、４×４フィルター（Ｆｉｌｔｅｒ）を適用してディメンション（Ｄｉｍｅｎｓｉｏｎ）を２０４×２０４×１２８サイズに縮小して特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。（以下の図を参照）
【００５７】
2020537274.tif 000003
【００５８】
このとき、必要であれば、パディング（Ｐａｄｄｉｎｇ）過程を行うこともできる。すなわち、パディングは、主に出力データのサイズを調整するために使用される。例えば、４×４の入力データに３×３フィルターを適用すると、出力は２×２になり、入力データよりも２だけ減少するようになる。
【００５９】
これは、畳み込み演算を多数回行う深層ニューラルネットワークでは問題となり得る。畳み込み演算を行うたびにサイズが減少すると、ある時点では出力データのサイズが１になるので、これ以上畳み込み演算を行うことができなくなる。したがって、このようなケースを防止するためにパディング過程を行うようになる。
【００６０】
このようなパディング過程を詳細に説明すると、畳み込み演算を行う前に入力データの周辺を特定の値、例えば、０で埋めるようになる。
【００６１】
すなわち、下記の図は、４×４サイズの入力データに、幅が１であるパディングを適用した場合であって、入力データの四方１ピクセルを特定の値で埋める。
【００６２】
したがって、最初のサイズが４×４である入力データにパディングが追加されて６×６になる。
【００６３】
2020537274.tif 000004
【００６４】
このように、４×４である入力データがパディングが追加されて６×６になり、３×３サイズのフィルターを適用すると、４×４サイズの出力データが生成される。もちろん、パディングを１に設定したが、これに限定されるものではなく、２や３などにも設定することができる。
【００６５】
本発明の第１層Ｌ１ではパディングを０とする。
【００６６】
併せて、ストライド（Ｓｔｒｉｄｅ）を行うこともできる。ストライドは、フィルターが適用される位置の間隔を意味するところ、ストライドが１であってもよく、２であってもよい。
【００６７】
例えば、下記の図のように、１である場合には、フィルターを適用するウィンドウが１マスずつ移動し、２である場合には２マスずつ移動する。
【００６８】
本発明の第１層Ｌ１では、ストライドを２に設定する。
【００６９】
2020537274.tif 000005
【００７０】
このように、第１層Ｌ１を行った後、第２層Ｌ２を行う。
【００７１】
すなわち、２０４×２０４×１２８サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは１とし、ストライドも１に設定する。
【００７２】
第２層Ｌ２を行った後、マックスプーリング（Ｍａｘ  ｐｏｏｌｉｎｇ）を実施する第３層Ｌ３を行う。
【００７３】
プーリングは、パディングとストライドのようにデータの空間的なサイズを縮小するために使用される。このようなプーリングは、出力データのサイズを入力データのサイズのまま維持し、プーリング層でのみサイズを調節することによって、イメージ内の位置の変更による感度を下げることで、以前の層の微細な平行移動が次の層に影響を及ぼさないようにする機能を行う。
【００７４】
2020537274.tif 000006
【００７５】
2020537274.tif 000007
【００７６】
すなわち、前記に示されたように、プーリング層は、細分化された層、例えば、４×４マスに入っている値から特定の値を持ってくるか、または平均値を持ってくるとき、４×４に入っている一部の数字が変わっても、最も大きい値を持ってくるため、以前の層で生じた微細な変化は、次の層に影響を及ぼさない。
【００７７】
このとき、プーリング層は、以前の層のノードの局所的な部分を統合するようになる。特に、局所的な部分の最大値を取る処理をマックスプーリングという。
【００７８】
また、プーリング層では、プーリングのウィンドウサイズとストライドの値は同じ値に設定する。
【００７９】
本３層では、マックスプーリングを２×２サイズで実施することによって、１０２×１０２×１２８サイズのイメージデータを得る。
【００８０】
このように第３層Ｌ３を行った後、第４層Ｌ４を行う。
【００８１】
すなわち、１０２×１０２×１２８サイズの特徴マップを、４×４フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは０とし、ストライドは２に設定する。したがって、５０×５０×２５６サイズの特徴マップを生成するようになる。
【００８２】
第４層Ｌ４を行った後、第５層Ｌ５を行うところ、５０×５０×２５６サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは１とし、ストライドも１に設定する。
【００８３】
したがって、５０×５０×２５６サイズの特徴マップを生成するようになる。
【００８４】
このように第５層Ｌ５を行った後、マックスプーリングを実施することによって第６層Ｌ６を行う。
【００８５】
すなわち、５０×５０×２５６サイズの特徴マップを２×２サイズでマックスプーリングを実施することによって、２５×２５×２５６サイズのイメージデータを得る。
【００８６】
そして、前記２５×２５×２５６サイズのイメージデータを圧縮して出力値として導出する。このとき、出力値は、約３３６ｋｂのサイズで出力されるが、これに限定されるものではなく、データの種類に応じて適宜出力され得る。
【００８７】
前記では、モバイルデバイス３で６個の層を行うものとして説明したが、本発明はこれに限定されるものではなく、モバイルデバイス３の性能に応じて適宜変更可能である。
【００８８】
このように、モバイルデバイス３で第１〜第６層Ｌ１〜Ｌ６を行うことによって導出される出力値は、サーバ５に伝送して第７〜第１２層Ｌ７〜Ｌ１２を行うようになる。
【００８９】
前記サーバ５は、モバイルデバイス３から伝送された畳み込み人工ニューラルネットワークの下位層の出力値を入力イメージの主な方向として決定し、回転不変の特徴を再生成する第１モジュールＭ１と；コンテンツ提供者から伝送されたイメージターゲットを人工ニューラルネットワークによって処理する第２モジュールＭ２と；第２モジュールＭ２から伝送された下位層情報を全結合（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）することによって特徴記述子層から得た情報を検索器７に登録する第３モジュールＭ３と；モバイルデバイス３の第１モジュールＭ１から伝送された下位層情報を全結合することによって特徴記述子層から得た情報を検索器７に伝送して検索を行う第４モジュールＭ４と；最近接ターゲットの類似度と閾値を比較して、ターゲットの検索が成功したか否かを判断する第５モジュールＭ５と；一般的なイメージ及び映像の形態を認識するための検索器７層の入力値を得る第６モジュールＭ６とを含む。
【００９０】
このような構造を有するサーバ５において、第１モジュールＭ１は第７〜第１２層Ｌ７〜Ｌ１２を行う。
【００９１】
すなわち、モバイルデバイス３から伝送されたデータがサーバ５に受信されると、第７層Ｌ７が行われるところ、２５×２５×２５６サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは０とし、ストライドは２に設定する。
【００９２】
したがって、１２×１２×５１２サイズの特徴マップを生成するようになる。
【００９３】
このように第７層Ｌ７を行った後、第８層Ｌ８を行うところ、１２×１２×５１２サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは１とし、ストライドも１に設定する。
【００９４】
したがって、１２×１２×５１２サイズの特徴マップを生成するようになる。
【００９５】
そして、第９層Ｌ９では、第８層Ｌ８と同じ過程をさらに繰り返すようになる。
【００９６】
すなわち、１２×１２×５１２サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用して特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成し、パディングは１とし、ストライドも１に設定する。
【００９７】
したがって、１２×１２×５１２サイズの特徴マップを生成するようになる。
【００９８】
第９層Ｌ９の完了後、マックスプーリングをする第１０層Ｌ１０を行うようになる。
【００９９】
すなわち、１２×１２×５１２サイズの特徴マップを、２×２サイズでマックスプーリングを実施することによって、６×６×５１２サイズのイメージデータを得る。
【０１００】
このように、第１モジュールＭ１によって第１〜第１０層Ｌ１〜Ｌ１０を行った後、第２モジュールＭ２によって第１１層Ｌ１１で全結合層を生成するようになる。
【０１０１】
すなわち、全結合層は、前層のノードと本層のノードが全てウェイトで接続されている層を意味する。このとき、ノード値は、接続重みと活性化関数で演算され得る。
【０１０２】
全結合層は、ウェイトでノードとノードとを接続し、組み合わせるので、この層を処理するには計算量が増加するところ、ノードの個数が多い層では、演算に多くの時間がかかる。このような全結合層は、隠れ層の後半又は出力層に主に使用される。
【０１０３】
このように、第１１層Ｌ１１で１次で全結合層を生成した後、第１２層Ｌ１２で全結合層を追加で生成することができる。
【０１０４】
そして、第１２層Ｌ１２で全結合層を生成した後、ソフトマックス（Ｓｏｆｔｍａｘ）を介して出力値を分類するようになる。
【０１０５】
ソフトマックスは、主に出力ノード（ｏｕｔｐｕｔ  Ｎｏｄｅ）で分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）するときに使用される。すなわち、複数のシグモイド値を全て合算した後、ノーマライズ（ｎｏｒｍａｌｉｚｅ）した確率で計算したものである。これは、Ｌｏｇｉｓｔｉｃ  Ｒｅｇｒｅｓｓｉｏｎを２つ以上のｍｕｌｔｉｐｌｅ  ｃａｔｅｇｏｒｉｃａｌ  ｖａｒｉａｂｌｅに拡張させるためのものである。すなわち、ｋ個のカテゴリ変数に対する分類においてどのカテゴリに属するかに該当する“確率値”を計算する。
【０１０６】
【数１】
2020537274.tif 000008
【０１０７】
このように、第１２層Ｌ１２では、ソフトマックスを介して出力されたレイヤの出力値を最終的に分類することによって、一般事物認識を行うようになる。
【０１０８】
一方、上述したように、モバイルデバイス３の下位層（１〜６層）と、サーバ５での中、上位層（７〜１２層）の出力値を通じて一般事物認識を行うところ、
本発明は、第２モジュールＭ２によって、一般事物認識のみならず特定事物認識も同一の過程で処理することができる。
【０１０９】
このような特定事物認識の過程は図５に示されているところ、コンテンツ提供者がウェブサーバ５にイメージを登録するようになる。
【０１１０】
図示のように、第２モジュールＭ２は、ウェブサーバ５に装着されることによって、モバイルデバイス３で処理される下位層と、サーバ５で処理される中、上位層とをいずれも処理するようになる。
【０１１１】
このような第２モジュールＭ２は、前記第１〜第１２層Ｌ１〜Ｌ１２を全て連続的に処理し、同じ過程であるので、以下、詳細な説明は省略する。
【０１１２】
そして、前記第３モジュールＭ３は、最近接ターゲットをＫＤ−Ｔｒｅｅ検索器７に登録するようになる。
【０１１３】
すなわち、サーバ５側に管理者ウェブを介してイメージターゲット登録の要求がある場合に、前記第１２層Ｌ１２でソフトマックスを取る直前にＦＣレイヤの結果値を導出し、この結果値を、特定のコンテンツターゲットとしてＫＤ−Ｔｒｅｅ検索器７に登録する。
【０１１４】
前記ＫＤツリーは、バイナリサーチツリー（Ｂｉｎａｒｙ  ｓｅａｒｃｈ  ｔｒｅｅ）を多次元空間に拡張したものであって、基本構造及びアルゴリズムはバイナリサーチツリーに似ているが、ツリーのレベル次元を交互に比較する特徴がある。
【０１１５】
このようなｋ−ｄツリーでノードを検索する方法は、主に２つの方法を用いており、１番目がレンジサーチ（ｒａｎｇｅ  ｓｅａｒｃｈ）方法であって、探そうとするキー値の範囲を定め、この範囲に含まれるノードを探すようになる。
【０１１６】
２番目は、最近接サーチ（ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ  ｓｅａｒｃｈ）方法であって、与えられたキー値に最も近接するノードを探すもので、ハイパーキューブ（ｈｙｐｅｒ  ｃｕｂｅ）を使用してノードの両側に空間を分割しながら探す方法である。
【０１１７】
第４モジュールＭ４は、モバイルデバイス３の第１モジュールＭ１から伝送された下位層情報を全結合することによって、第１２層Ｌ１２のＦＣレイヤ値を前記ＫＤ−Ｔｒｅｅ検索器７に伝送して最近接ターゲットを検索するようになる。
【０１１８】
すなわち、２つの全結合層のうち２番目の全結合層で下位層情報を全結合（Ｆｕｌｌｙ−ｃｏｎｎｅｃｔｅｄ）することによって得られた特徴記述子である１６ＫＢ（４Ｂｙｔｅ×４０９６）の特徴情報をＫ−Ｄツリー構造の検索器７に伝送する。
【０１１９】
第５モジュールＭ５は、Ｋ−Ｄツリー構造の検索器７において、コンテンツ提供者が登録した最近接ターゲットとモバイルデバイス３のユーザが伝送したイメージとを互いに比較し、類似度が閾値以上あるいは未満であるかを判断して、成功したか否かを判断するようになる。
【０１２０】
すなわち、ＫＤ−Ｔｒｅｅ検索器７では、最近接ターゲットの類似度が閾値以上で一致する場合は、特定事物認識と一致するターゲットを検索するのに成功したものと判断する。
【０１２１】
成功と判断した場合、当該イメージに連結された動作実行情報をモバイルデバイス３に伝送することによって、当該動作を行うことができるようにする。
【０１２２】
反対に、最近接ターゲットの類似度が閾値未満である場合は、第１２層Ｌ１２の出力値にソフトマックスを取った値で最も類似のカテゴリを選定するようになる。
【０１２３】
仮に、類似のイメージがないと判別した場合、一般的な事物（イメージ）の形態を認識するための検索器７層の出力を得て、該当する一般事物を判定し、一般事物（人、ダルマシアン、バラ、コンピュータなど）と推測された推測値が閾値以上であるかを判別して、閾値以上である場合に、該当する動作実行情報をモバイルデバイスに伝送する。
【０１２４】
このとき、該当する動作実行情報を探せなかった場合は、動作なしの状態をモバイルデバイス３に伝送する。
【０１２５】
そして、局所領域の特徴を導出する層から得た値の標準偏差を求め、閾値以下である場合、またはサーバ５から検索結果として応答を受けた検索結果が動作なしである場合、最後に処理した畳み込み人工ニューラルネットワークの結果値を臨時格納した後、モバイルデバイス３のカメラ１０から新たに映像を取得して、以前のフレームの処理結果と閾値以上の差がない場合、新たに取得した当該フレームデータは無視するようになる。
【０１２６】
第６モジュールＭ６は、前記ターゲットと連結されたコンテンツを再生するところ、コンテンツ提供者が予め登録したコンテンツを関連ターゲットと連動することによって、モバイルデバイス３上で再生するようになる。
【０１２７】
従来の特定事物認識技術を用いる場合は、チラシ、ポスター、製品パッケージなどのように、認識する対象をユーザが予め有していなければならず、これを検索対象として認知してモバイルデバイス３を用いて検索するに至る行動の流れが必要であったが、不特定多数を対象とする広告領域では、これは、接近性の制約となるという問題があった。
【０１２８】
また、製品を購買はしなかったとしても少なくとも今手元にあり、印刷された案内などを通じて当該製品が本システムで検索できるように登録されているという言及がなければならなかった。
【０１２９】
しかし、本発明は、このような既存の方式に加えて、“一般事物認識”を用いることで、必ず当該製品ではないが、同じ範疇に属する類似の製品に対してもコンテンツを提供できるようにして、より多くのユーザにコンテンツを提供することができる。
【０１３０】
また、場合によっては、特定の対象を相手にコンテンツを提供できるところ、特に、雑誌や語学教材などの製品を購入したユーザを特定してコンテンツを提供する場合に、従来の一般事物認識技術ではこれを具現できないので、ＱＲコードを使用するか、またはユーザにクーポン番号を提供したが、特定事物認識技術を通じて、製品購買者のみがアクセスできるページ又は販売過程で印刷物を伝達する方法などで解決することができる。
【０１３１】
一方、モバイルデバイス３は、位置情報を取得できる場合、例えば、ユーザが権限を許容し、同時にＧＰＳ衛星信号を取得するか、またはＢｅａｃｏｎもしくはＷｉｆｉから位置情報を推測できる情報を受信できる状態である場合に、検索要求情報の付加情報として位置情報をサーバ５に送ることができ、サーバ５では、検索結果の動作実行情報に位置制限の有無を判別して、動作許容の有無を判定することができる。
【０１３２】
このとき、動作制限である場合、モバイルデバイス３に認識結果に加え、動作制限情報を共に送ることで、モバイルデバイス３でユーザに動作が制限されたことを表示する。
【０１３３】
以下、本発明の好ましい実施例に係る人工ニューラルネットワークシステムによってイメージ及び映像を認識する方法についてより詳細に説明する。
【０１３４】
本発明が提供する人工ニューラルネットワークベースの認識方法は、
コンテンツ提供者がイメージターゲット及びコンテンツをサーバ５のＫ−Ｄツリー構造の検索器７に登録する第１ステップ（Ｓ１０）と；モバイルデバイス３のユーザが第１ステップ（Ｓ１０）で登録されたコンテンツの提供を受けるために、カメラ１０で対象物を撮影し、前記モバイルデバイス３が、取得されたイメージ及び映像データを畳み込み人工ニューラルネットワークの下位層であるＬ１〜Ｌ６層によって処理する第２ステップ（Ｓ２０）と；第２ステップ（Ｓ２０）で処理されたデータをサーバ５が受信して、前記畳み込み人工ニューラルネットワークの中、上位層であるＬ７〜Ｌ１２層によって処理することによって、前記取得されたイメージ及び映像データの主な方向として決定し、回転不変の特徴を再生成する第３ステップ（Ｓ３０）と；第２ステップ（Ｓ２０）で処理されたデータのうち、前記畳み込み人工ニューラルネットワークの全結合層のＦＣレイヤ値をサーバ５のＫ−Ｄツリー検索器７に伝送して検索することによって、コンテンツ提供者が登録した最近接ターゲットを検索する第４ステップ（Ｓ４０）と；最近接ターゲットの類似度と閾値を比較して、ターゲットの検索が成功したか否かを判断する第５ステップ（Ｓ５０）と；ターゲットとコンテンツの結合情報をモバイルデバイス３に伝送して、検索した対象に連結されたコンテンツを再生する第６ステップ（Ｓ６０）とを含む。
【０１３５】
前記の順序で構成されたイメージ及び映像の認識方法において、第１ステップ（Ｓ１０）では、コンテンツ提供者が、イメージターゲット及びコンテンツをウェブサーバ５のＫ−Ｄツリー構造の検索器７に登録するようになる。
【０１３６】
このような第１ステップ（Ｓ１０）では、ウェブサーバ５でイメージデータを準備し、データにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する層が少なくとも１つ以上行われ、マックスプーリング（Ｍａｘ  ｐｏｏｌｉｎｇ）を少なくとも１回以上実施し、マックスプーリングされたデータにフィルターを適用し、パディング及びストライドを実施して特徴マップを生成する層が追加で実施される。
【０１３７】
より詳細に説明すると、まず、ウェブサーバ５で、イメージデータを入力し、例えば、４１０×４１０ピクセル（Ｐｉｘｅｌ）にチャネルが合わせられた３次元イメージデータを準備する。
【０１３８】
そして、第１層Ｌ１を行うところ、４×４フィルター（Ｆｉｌｔｅｒ）を適用してディメンション（Ｄｉｍｅｎｓｉｏｎ）を２０４×２０４×１２８サイズに縮小して特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。
【０１３９】
このとき、必要であれば、パディング（Ｐａｄｄｉｎｇ）過程を行うこともできる。すなわち、パディングは、主に出力データのサイズを調整するために使用される。例えば、４×４の入力データに３×３フィルターを適用すると、出力は２×２になり、入力データよりも２だけ減少するようになる。
【０１４０】
このようなパディング過程を詳細に説明すると、畳み込み演算を行う前に入力データの周辺を特定の値、例えば、０で埋めるようになる。
【０１４１】
したがって、最初のサイズが４×４である入力データにパディングが追加されて６×６になる。
【０１４２】
このように、４×４である入力データがパディングが追加されて６×６になり、３×３サイズのフィルターを適用すると、４×４サイズの出力データが生成される。本発明の第１層Ｌ１では、パディングを０とする。
【０１４３】
併せて、ストライド（Ｓｔｒｉｄｅ）を行うこともできる。ストライドは、フィルターが適用される位置の間隔を意味するところ、ストライドが１であってもよく、２であってもよい。本発明の第１層Ｌ１では、ストライドを２に設定する。
【０１４４】
このように第１層Ｌ１を行った後、第２層Ｌ２を行う。
【０１４５】
すなわち、２０４×２０４×１２８サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは１とし、ストライドも１に設定する。
【０１４６】
第２層Ｌ２を行った後、マックスプーリング（Ｍａｘ  ｐｏｏｌｉｎｇ）を実施する第３層Ｌ３を行う。
【０１４７】
プーリングは、パディングとストライドのようにデータの空間的なサイズを縮小するために使用される。このようなプーリングは、出力データのサイズを入力データのサイズのまま維持し、プーリング層でのみサイズを調節することによって、イメージ内の位置の変更による感度を下げることで、以前の層の微細な平行移動が次の層に影響を及ぼさないようにする機能を行う。
【０１４８】
このとき、プーリング層は、以前の層のノードの局所的な部分を統合するようになる。特に、局所的な部分の最大値を取る処理をマックスプーリングという。
【０１４９】
また、プーリング層では、プーリングのウィンドウサイズとストライドの値は同じ値に設定する。
【０１５０】
本３層では、マックスプーリングを２×２サイズで実施することによって、１０２×１０２×１２８サイズのイメージデータを得る。
【０１５１】
このように第３層Ｌ３を行った後、第４層Ｌ４を行う。
【０１５２】
すなわち、１０２×１０２×１２８サイズの特徴マップを、４×４フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは０とし、ストライドは２に設定する。したがって、５０×５０×２５６サイズの特徴マップを生成するようになる。
【０１５３】
第４層Ｌ４を行った後、第５層Ｌ５を行うところ、５０×５０×２５６サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは１とし、ストライドも１に設定する。したがって、５０×５０×２５６サイズの特徴マップを生成するようになる。
【０１５４】
このように第５層Ｌ５を行った後、マックスプーリングを実施することによって第６層Ｌ６を行う。
【０１５５】
すなわち、５０×５０×２５６サイズの特徴マップを２×２サイズでマックスプーリングを実施することによって、２５×２５×２５６サイズのイメージデータを得る。
【０１５６】
そして、第７層Ｌ７では、２５×２５×２５６サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは０とし、ストライドは２に設定する。
【０１５７】
したがって、１２×１２×５１２サイズの特徴マップを生成するようになる。
【０１５８】
このように第７層Ｌ７を行った後、第８層Ｌ８を行うところ、１２×１２×５１２サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディングは１とし、ストライドも１に設定する。
【０１５９】
したがって、１２×１２×５１２サイズの特徴マップを生成するようになる。
【０１６０】
そして、第９層Ｌ９では、第８層と同じ過程をさらに繰り返すようになる。
【０１６１】
すなわち、１２×１２×５１２サイズの特徴マップを、３×３フィルター（Ｆｉｌｔｅｒ）を適用して特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成し、パディングは１とし、ストライドも１に設定する。
【０１６２】
したがって、１２×１２×５１２サイズの特徴マップを生成するようになる。
【０１６３】
第９層Ｌ９の完了後、マックスプーリングをする第１０層Ｌ１０を行うようになる。
【０１６４】
すなわち、１２×１２×５１２サイズの特徴マップを、２×２サイズでマックスプーリングを実施することによって、６×６×５１２サイズのイメージデータを得る。
【０１６５】
このように第１０層Ｌ１０を行った後、第１１層Ｌ１１で全結合層を生成するようになる。
【０１６６】
そして、１次で全結合層を生成した後、第１２層Ｌ１２で全結合層を追加で生成することができる。
【０１６７】
そして、第１２層Ｌ１２で全結合層を生成した後、ソフトマックス（Ｓｏｆｔｍａｘ）を介して出力値を分類するようになる。
【０１６８】
このように、第１２層Ｌ１２では、ソフトマックスを介して出力されたレイヤの出力値を最終的に分類することによって、一般事物認識を行うようになる。
【０１６９】
そして、２次全結合層のＦＣレイヤ値を、ウェブサーバ５のメモリ１４上に格納されたＫ−Ｄツリー構造の検索器７に格納することによって登録する。
【０１７０】
このように、コンテンツ提供者がイメージ及び映像をウェブサーバ５のＫ−Ｄツリー構造の検索器７に登録する第１ステップ（Ｓ１０）が完了すると、一般の需要者は、所持しているモバイルデバイス３のカメラ１０で対象物を撮影することによって当該対象物を認識し、当該コンテンツの提供を受ける第２〜第６ステップ（Ｓ２０〜Ｓ６０）が順に進行され得る。
【０１７１】
まず、第２ステップ（Ｓ２０）では、モバイルデバイス３のユーザがカメラ１０で対象物を撮影し（Ｓ２１）、取得されたイメージ及び映像データを畳み込み人工ニューラルネットワークの下位層（Ｌ１〜Ｌ６）によって処理する（Ｓ２２）（Ｓ２３）。
【０１７２】
このような第２ステップ（Ｓ２０）の下位層処理過程は、モバイルデバイス３で行われる点を除いては、第１ステップ（Ｓ１０）の下位層処理過程と同一に行われる。
【０１７３】
すなわち、モバイルデバイス３に装着されたカメラ１０で対象物を撮影することによってイメージデータを取得する（Ｓ２１）。
【０１７４】
そして、イメージデータを用いて、第１層Ｌ１でフィルター（Ｆｉｌｔｅｒ）を適用して特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成し、パディングを実施し、ストライドを行い、第２層Ｌ２でフィルターを適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成し、パディング及びストライドを実施する。
【０１７５】
そして、第３層Ｌ３でマックスプーリング（Ｍａｘ  ｐｏｏｌｉｎｇ）を実施し、第４層Ｌ４ではさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成し、パディング及びストライドを実施する。
【０１７６】
また、第５層Ｌ５でも同一に特徴マップを生成し、パディング及びストライドを実施する。そして、第６層Ｌ６では、マックスプーリングを実施し、パディング及びストライドを実施する。
【０１７７】
このように第２ステップ（Ｓ２０）を完了した後、第３ステップ（Ｓ３０）が行われる。
【０１７８】
第３ステップ（Ｓ３０）では、第２ステップ（Ｓ２０）のモバイルデバイス３で処理されたデータがサーバ５に伝送され、中、上位層によって処理する。このとき、サーバ５で処理される中、上位層の処理過程は、前記第１ステップ（Ｓ１０）でコンテンツ提供者がサーバ５にイメージを登録する過程の上位層と同一である。
【０１７９】
すなわち、第７層Ｌ７では、特徴マップをフィルターを適用してさらに特徴マップ（Ｆｅａｔｕｒｅ  ｍａｐｓ）を生成する。このとき、パディング及びストライドを実施する。
【０１８０】
このように第７層Ｌ７を行った後、第８層Ｌ８を行うところ、特徴マップをフィルターを適用してさらに特徴マップを生成する。このとき、パディング及びストライドも実施する。
【０１８１】
そして、第９層Ｌ９でも、第８層Ｌ８と同じ過程を繰り返すことによって特徴マップを生成するようになる。
【０１８２】
第１０層Ｌ１０ではマックスプーリングを実施し、第１１層Ｌ１１で１次全結合層を生成し、第１２層Ｌ１２で２次全結合層を生成するようになる。
【０１８３】
そして、第１２層Ｌ１２で全結合層を生成した後、ソフトマックス（Ｓｏｆｔｍａｘ）を介して出力値を分類することによって、一般事物認識を行うようになる。
【０１８４】
第３ステップ（Ｓ３０）が完了した後、第４ステップ（Ｓ４０）が行われるところ、第１２層Ｌ１２のＦＣレイヤ値をメモリ１４上に搭載されたＫ−Ｄツリー検索器７に伝送して（Ｓ３２）検索することによって、コンテンツ提供者が登録した最近接ターゲットを検索するようになる（Ｓ４１）。
【０１８５】
第４ステップ（Ｓ４０）が完了した後、第５ステップ（Ｓ５０）が行われる。
【０１８６】
第５ステップ（Ｓ５０）では、Ｋ−Ｄツリー検索器７に入力されたイメージのＦＣレイヤ値と、コンテンツ提供者が予め登録した最近接ターゲットの類似度を比較するようになる（Ｓ５１）。
【０１８７】
最近接ターゲットの類似度が閾値以上で一致する場合は、特定事物認識と一致するターゲットを検索するのに成功したものと判断する（Ｓ６１）。
【０１８８】
反対に、最近接ターゲットの類似度が閾値未満である場合には、第３ステップ（Ｓ３０）の第１２層Ｌ１２の出力値にソフトマックスを取った値で最も類似のカテゴリを選定するようになる（Ｓ５２）。
【０１８９】
選定されたカテゴリの類似度と閾値とを比較した結果（Ｓ５３）、類似度が閾値以上である場合に、コンテンツメタデータを検索、再生し（Ｓ６１）、類似度が閾値以下である場合に、カメラ１０によって新しいイメージを取得するようになる（Ｓ５４）。
【０１９０】
すなわち、類似のイメージがないと判別した場合、一般的な事物（イメージ）の形態を認識するための検索器７層の出力を得て、該当する一般事物を判定し、一般事物（人、ダルマシアン、バラ、コンピュータなど）と推測された推測値が閾値以上であるかを判別して、閾値以上である場合、該当する動作実行情報をモバイルデバイスに伝送する。
【０１９１】
このとき、該当する動作実行情報を探せなかった場合は、動作なしの状態をモバイルデバイス３に伝送する。
【０１９２】
そして、局所領域の特徴を導出する層から得た値の標準偏差を求め、閾値以下である場合、またはサーバ５から検索結果として応答を受けた検索結果が動作なしである場合、最後に処理した畳み込み人工ニューラルネットワークの結果値を臨時格納した後、モバイルデバイス３のカメラ１０から新たに映像を取得して、以前のフレームの処理結果と閾値以上の差がない場合、新たに取得した当該フレームデータは無視するようになる。
【０１９３】
このように第５ステップ（Ｓ５０）が完了した後、第６ステップが行われる。
【０１９４】
第６ステップ（Ｓ６０）では、前記ターゲットと連結されたコンテンツを再生する過程が行われるところ、コンテンツ提供者が予め登録したコンテンツを関連ターゲットと連動することによって、モバイルデバイス３上で再生するようになる。
【産業上の利用可能性】
【０１９５】
本発明は、畳み込み人工ニューラルネットワークベースの認識システムに関し、より詳細には、モバイルデバイスに搭載されたカメラから入力された映像から検索のための情報を導出し、畳み込み人工ニューラルネットワークをベースとしてデータの学習を通じた事物を判別し、畳み込み人工ニューラルネットワークをベースとして事前に登録されたデータのデジタル指紋を生成し、畳み込み人工ニューラルネットワーク又はインメモリツリー検索技術を通じて対象を検索し、ターゲットとコンテンツの結合情報をモバイルデバイスに伝送して、検索した対象に連結されたコンテンツを再生する技術分野に利用可能である。
【図１】
2020537274.tif 000009
【図２】
2020537274.tif 000010
【図３】
2020537274.tif 000011
【図４】
2020537274.tif 000012
【図５】
2020537274.tif 000013
【図６】
2020537274.tif 000014
【図７】
2020537274.tif 000015
【図８】
2020537274.tif 000016
【国際調査報告】
2020537274.tif 000017
2020537274.tif 000018
2020537274.tif 000019
2020537274.tif 000020