(57)【要約】      （修正有）【課題】画像解析の各種類毎に、簡略な結果から詳細な結果まで数段階に分けてそれぞれの神経網が解析し、結果値を素早く導出することができるディープラーニングベースの画像解析方法、システム及び携帯端末を提供する。【解決手段】ディープラーニングベースの画像解析システムにおいて、画像を撮影して送信する画像解析携帯端末１１０と、撮影された画像を受信しＳ２２０、多数の機能別神経網を介して解析結果値を生成しＳ２３０、生成した解析結果値の確率値に重み付け値による優先順位を反映してＳ２４０、画像解析携帯端末に提供するＳ２５０画像解析サーバ１２０と、を備える。【選択図】図５
2020087441.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影して送信する画像解析携帯端末と、
前記撮影された画像を受信し、多数の機能別神経網を介して解析結果値を生成し、生成した前記解析結果値の確率値に重み付け値による優先順位を反映して、前記画像解析携帯端末に提供する画像解析サーバと、を備えるディープラーニングベースの画像解析システム。
【請求項２】
前記画像解析サーバは、
前記撮影された画像を受信し、イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して解析結果値を生成する請求項１に記載のディープラーニングベースの画像解析システム。
【請求項３】
前記画像解析携帯端末は、
前記イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して生成した解析結果値のうち、優先順位が最も高い解析結果値を表示する請求項２に記載のディープラーニングベースの画像解析システム。
【請求項４】
前記画像解析携帯端末は、
入力されたスワイプ命令により、前記解析結果値を優先順位の順に表示する請求項３に記載のディープラーニングベースの画像解析システム。
【請求項５】
画像解析携帯端末が画像を撮影して送信する第１段階と、
画像解析サーバが前記撮影された画像を受信し、多数の機能別神経網を介して解析結果値を生成する第２段階と、
前記画像解析サーバが生成した前記解析結果値の確率値に重み付け値による優先順位を反映して、前記画像解析携帯端末に提供する第３段階と、を含むディープラーニングベースの画像解析方法。
【請求項６】
前記第２段階は、
前記画像解析サーバが前記撮影された画像を受信し、イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して解析結果値を生成する請求項５に記載のディープラーニングベースの画像解析方法。
【請求項７】
前記画像解析携帯端末が、前記イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して生成した解析結果値のうち、優先順位が最も高い解析結果値を表示する第４段階をさらに含む請求項６に記載のディープラーニングベースの画像解析方法。
【請求項８】
前記画像解析携帯端末が、入力されたスワイプ命令により、前記解析結果値を優先順位の順に表示する第５段階をさらに含む 請求項７に記載のディープラーニングベースの画像解析方法。
【請求項９】
画像を撮影する画像撮影部と、
前記撮影された画像を画像解析サーバに送信し、前記画像解析サーバから多数の機能別神経網を介して解析し、生成した解析結果値の確率値に重み付け値による優先順位を反映した結果を受信する通信部と、
情報の表示及び制御命令を入力されるタッチディスプレイ部と、
前記タッチディスプレイ部が解析結果値のうち、優先順位が最も高い解析結果値を表示するように制御する制御部と、を備えるディープラーニングベースの画像解析携帯端末。
【請求項１０】
前記制御部は、
前記通信部が前記画像解析サーバから受信したイメージ描写神経網、顔認識神経網、及び文字認識神経網を介して、優先順位を反映した解析結果値のうち、優先順位が最も高い解析結果値を、前記タッチディスプレイ部から表示するように制御する請求項９に記載のディープラーニングベースの画像解析携帯端末。
【請求項１１】
前記制御部は、
前記タッチディスプレイ部から入力されるスワイプ命令により、前記解析結果値を優先順位の順に表示する請求項９に記載のディープラーニングベースの画像解析携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ディープラーニングベースの画像解析方法、システム及び携帯端末に関する。
【背景技術】
【０００２】
ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）技術は、コンピュータが人間のように考えて学ぶようにする人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）技術であって、人工神経網理論に基づき、複雑な非線型問題を機械が自ら学習・解決できるようにする。
【０００３】
ディープラーニングは、人間の脳が、数多くのデータからパターンを見つけた上で、物事を判断するという情報処理方式を模倣して、コンピュータが物事を見分けるように機械を学習させる技術である。
【０００４】
ディープラーニング技術を適用すると、人間が全ての判断基準を決めておかなくても、コンピュータが自ら認知、推論、判断し、音声・イメージ認識と写真解析などに広範囲に活用することができる。
【０００５】
図１及び図２は、一般のディープラーニング技術を説明する図である。
【０００６】
図１を参照すると、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）は、人間の脳構造を模倣したものであって、人間の脳が最小単位であるニューロンからなるように、単一ノード群にモデリングすることである。
【０００７】
また、図２を参照すると、ＬＳＴＭ（Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）は、人間が考える方式において、全ての内容を受け入れてから考えることではないように、直前に受け入れた情報を一緒に活用するが、伝統的なＲＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）方式では、直前ではなく、何段階前の情報のようにギャップが大きくなるほど依存性の下がるという問題があり、長期間にわたって情報を記憶するように４つの相互作用可能なレイアが繰り返される。
【０００８】
しかしながら、従来の画像解析において、このようなディープラーニング技術を用いる場合は、それぞれのディープラーニング技術により画像の解析が行われ、それにより、断片的な画像解析が行われ、各画像に対して適した解析結果が導出され難く、各画像解析方法別に、使うたびにそれぞれの機能を作動させて撮影しなければならないという不便さがあり、一つの入力画像に対してイメージ描写、顔認識、文字認識などの多様かつ有用な結果を提供していないという問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記問題点に鑑みなされたものであり、画像解析の各種類毎に、簡略な結果から詳細な結果まで数段階に分けて、それぞれの神経網が解析し、結果値が素早く導出される簡略な結果値を優先的にユーザに表示し、多様なスワイプ命令により、各種類別の解析結果値と、各結果値の簡略な内容から具体的な解析までの深度調節が可能となり、さらに迅速かつ便利であり、効率的に結果値を提供されるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明の実施形態に係るディープラーニングベースの画像解析システムは、画像を撮影して送信する画像解析携帯端末と、前記撮影された画像を受信し、多数の機能別神経網を介して解析結果値を生成し、前記生成した解析結果値の確率値に重み付け値による優先順位を反映して、前記画像解析携帯端末に提供する画像解析サーバと、を備える。
【００１１】
本発明の他の一実施形態によれば、前記画像解析サーバは、前記撮影された画像を受信し、イメージ描写神経網、顔認識神経網、文字認識神経網、及びその他提供する多様な神経網を介して解析結果値を生成してもよい。
【００１２】
本発明の他の一実施形態によれば、前記画像解析携帯端末は、前記イメージ描写神経網、顔認識神経網、文字認識神経網、及びその他提供する多様な神経網を介して生成した解析結果値のうち、優先順位が最も高い解析結果値を表示してもよい。
【００１３】
本発明の他の一実施形態によれば、前記画像解析携帯端末は、入力されたスワイプ命令により、前記解析結果値を優先順位の順に表示してもよい。
【００１４】
本発明の一実施形態に係るディープラーニングベースの画像解析方法は、画像解析携帯端末が画像を撮影して送信する第１段階と、画像解析サーバが前記撮影された画像を受信し、多数の機能別神経網を介して解析結果値を生成する第２段階と、前記画像解析サーバが前記生成した解析結果値の確率値に重み付け値による優先順位を反映して、前記画像解析携帯端末に提供する第３段階と、を含む。
【００１５】
本発明の他の一実施形態によれば、前記第２段階は、前記画像解析サーバが前記撮影された画像を受信し、イメージ描写神経網、顔認識神経網、文字認識神経網、及びその他提供する多様な神経網を介して解析結果値を生成してもよい。
【００１６】
本発明の他の一実施形態によれば、前記画像解析携帯端末が、前記イメージ描写神経網、顔認識神経網、文字認識神経網、及びその他提供する多様な神経網を介して生成した解析結果値のうち、優先順位が最も高い解析結果値を表示する第４段階をさらに含んでもよい。
【００１７】
本発明の他の一実施形態によれば、前記画像解析携帯端末が、入力されたスワイプ命令により、前記解析結果値を優先順位の順に表示する第５段階をさらに含んでもよい。
【００１８】
本発明の一実施形態に係るディープラーニングベースの画像解析携帯端末は、画像を撮影する画像撮影部と、前記撮影された画像を画像解析サーバに送信し、前記画像解析サーバから多数の機能別神経網を介して解析し、生成した解析結果値の確率値に重み付け値による優先順位を反映した結果を受信する通信部と、情報の表示及び制御命令を入力されるタッチディスプレイ部と、前記タッチディスプレイ部が解析結果値のうち、優先順位が最も高い解析結果値を表示するように制御する制御部と、を備える。
【００１９】
本発明の他の一実施形態によれば、前記制御部は、前記通信部が前記画像解析サーバから受信したイメージ描写神経網、顔認識神経網、及び文字認識神経網を介して、優先順位を反映した解析結果値のうち、優先順位が最も高い解析結果値を、前記タッチディスプレイ部から表示するように制御してもよい。
【００２０】
本発明の他の一実施形態によれば、前記制御部は、前記タッチディスプレイ部から入力されるスワイプ命令により、前記解析結果値を優先順位の順に表示してもよい。
【発明の効果】
【００２１】
本発明の実施形態によれば、画像解析サーバが、イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して解析結果値を生成し、画像解析携帯端末が、前記イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して生成した解析結果値のうち、優先順位が最も高い解析結果値を先に表示するが、このとき、結果値を最少の内容で簡略に表現して、ユーザが短時間に結果値を確認し、ユーザが確認した結果値をさらに具体的に確認しようとすれば、スワイプ命令などの制御命令を入力して、前記解析結果値よりも具体的な結果値を確認することができる。
【００２２】
したがって、ユーザは、一つの解析結果値に対しても、最初の簡略な内容から、数段階を経て段階別にさらに具体的な解析内容まで、所望により、多様で深度ある結果値を伝達されるようにし、ユーザは、必要に応じて数種の画像解析結果値を選択して段階的に確認することができるので、さらに迅速かつ便利であり、効率的に結果値が提供される。
【図面の簡単な説明】
【００２３】
【図１】一般のディープラーニング技術を説明するための図である。
【図２】一般のディープラーニング技術を説明するための図である。
【図３】本発明の一実施形態に係るディープラーニングベースの画像解析システムの概念図である。
【図４】本発明の一実施形態に係るディープラーニングベースの画像解析携帯端末の概念図である。
【図５】本発明の一実施形態に係るディープラーニングベースの画像解析方法を説明するための図である。
【図６】本発明の一実施形態に係るディープラーニングベースの画像解析方法を説明するための図である。
【図７】本発明の一実施形態に係る画像解析方法の解析結果値の提供方法を説明するための図である。
【図８】本発明の一実施形態に係る画像解析方法の解析結果値の提供方法を説明するための図である。
【発明を実施するための形態】
【００２４】
以下、添付された図面を参照して、本発明の好適な実施形態について詳述する。但し、実施形態を説明するにあたって、関連した公知の機能若しくは構成についての具体的な説明が、本発明の要旨を不要に曖昧にすると判断される場合、それについての詳細な説明を省略する。また、図面における各構成要素の大きさは、説明のために誇張されてもよく、実際に適用される大きさを意味するものではない。
【００２５】
図３は、本発明の一実施形態に係るディープラーニングベースの画像解析システムの概念図である。
【００２６】
以下、図３を参照して、本発明の一実施形態に係るディープラーニングベースのシステムについて説明する。
【００２７】
図３に示すように、本発明の一実施形態に係るディープラーニングベースのシステムは、画像解析携帯端末１１０、及び画像解析サーバ１２０を備える。
【００２８】
本発明の一実施形態に係る画像解析携帯端末１１０は、解析すべき対象の画像を撮影し、このように撮影された画像を送信する。
【００２９】
このとき、前記画像解析携帯端末１１０は、アプリケーションのダウンロード及びインストールの可能なスマートデバイスで構成されてもよく、画像解析サーバ１２０または別途のアプリケーション提供サーバからディープラーニングベースの画像解析アプリケーションをダウンロードしてインストールしてもよい。
【００３０】
ユーザは、前記画像解析携帯端末１１０を用いて、オブジェクト、顔、または文字などを撮影し、このように撮影された画像を画像解析サーバ１２０に送信する。
【００３１】
それにより、画像解析サーバ１２０は、前記画像解析携帯端末１１０から受信した画像を解析する。
【００３２】
さらに具体的に、前記画像解析サーバ１２０は、前記撮影された画像を受信し、多数の機能別神経網を介して解析結果値を生成する。
【００３３】
このとき、前記画像解析サーバ１２０は、前記撮影された画像を受信し、イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して解析結果値を生成する。
【００３４】
また、前記画像解析サーバ１２０は、前記生成した解析結果値の確率値に重み付け値による優先順位を反映して結果値を生成し、このように優先順位が反映された結果値は、画像解析携帯端末１１０に提供される。
【００３５】
それにより、画像解析携帯端末１１０は、前記優先順位が反映された結果値を受信して表示する。
【００３６】
さらに詳述すると、前記画像解析携帯端末１１０は、前記イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して生成した解析結果値のうち、優先順位が最も高い解析結果値を表示し、ユーザから入力される命令により、前記解析結果値を優先順位の順に表示する。
【００３７】
すなわち、画像解析サーバ１２０から、一度に数種の神経網を介してイメージ認識した結果を導出し、各結果値に優先順位を付与して、画像解析携帯端末１１０に送信し、画像解析携帯端末１１０では、優先順位が最も高い結果からユーザに表示する。したがって、ユーザは、画像解析携帯端末１１０の画面をスワイプし、次の優先順位の結果を順次に提供される。
【００３８】
例えば、前記画像解析サーバ１２０が、イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して解析結果値を生成すると、画像解析携帯端末１１０は、前記画像解析サーバ１２０が、イメージ描写神経網、顔認識神経網、及び文字認識神経網を用いて生成した解析結果値のうち、優先順位が最も高い解析結果値を先に表示し、ユーザがスワイプ命令などの制御命令を入力すると、前記解析結果値を優先順位の順に表示する。
【００３９】
したがって、本発明の一実施形態によると、特定の画像またはイメージに対して多様な観点から解析する画像解析サーバ１２０の神経網が同時に作動し、それぞれ結果値を生成後、これを一度にユーザの画像解析携帯端末１１０に提供し、ユーザは、各結果値を、優先順位により一つずつ選択して解析結果を提供される。
【００４０】
このため、本発明の一実施形態によれば、画像解析携帯端末１１０のタッチディスプレイを上下または左右にスワイプしながら、結果値をフィードバックされ、数種の結果値を効果的に確認できる利便性と効率性の高い画像解析環境を提供することができる。
【００４１】
図４は、本発明の一実施形態に係るディープラーニングベースの画像解析携帯端末の概念図である。
【００４２】
以下、図４を参照して、本発明の一実施形態に係るディープラーニングベースの画像解析携帯端末の構成について説明する。
【００４３】
図４を参照すると、本発明の一実施形態に係るディープラーニングベースの画像解析携帯端末１１０は、画像撮影部１１１、通信部１１２、タッチディスプレイ部１１３、及び制御部１１４を備える。
【００４４】
画像撮影部１１１は、画像を撮影し、通信部１１２は、前記撮影された画像を画像解析サーバに送信する。
【００４５】
また、通信部１１２は、前記画像解析サーバから多数の機能別神経網を介して解析し、生成した解析結果値の確率値に重み付け値による優先順位を反映した結果を受信する。
【００４６】
タッチディスプレイ部１１３は、情報の表示及び制御命令を入力され、制御部１１４は、前記タッチディスプレイ部１１３を制御して、解析結果値のうち、優先順位が最も高い解析結果値を表示する。
【００４７】
さらに具体的に、前記制御部１１４は、前記通信部が、前記画像解析サーバから受信したイメージ描写神経網、顔認識神経網、及び文字認識神経網を介して優先順位を反映した解析結果値のうち、優先順位が最も高い解析結果値を、前記タッチディスプレイ部から表示するように制御する。
【００４８】
このとき、前記制御部１１４は、前記タッチディスプレイ部１１３から入力されるスワイプ命令により、前記解析結果値を優先順位の順に表示する。
【００４９】
図５及び図６は、本発明の一実施形態に係るディープラーニングベースの画像解析方法を説明するための図であり、図７及び図８は、本発明の一実施形態に係る画像解析方法の解析結果値の提供方法を説明するための図である。
【００５０】
以下、図５乃至図８を参照して、本発明の一実施形態に係るディープラーニングベースの画像解析方法について説明する。
【００５１】
まず、画像解析携帯端末１１０が画像を撮影し（Ｓ２１０）、前記撮影された画像を画像解析サーバ１２０に送信する（Ｓ２２０）。
【００５２】
したがって、画像解析サーバ１２０は、前記撮影された画像を受信し、多数の機能別神経網を介して解析結果値を生成する（Ｓ２３０）。
【００５３】
さらに具体的に、前記画像解析サーバ１２０は、前記撮影された画像を受信し、イメージ描写神経網、顔認識神経網、及び文字認識神経網などで構成される多数の人工神経網を介して解析結果値を生成する。
【００５４】
以降、前記画像解析サーバ１２０が、前記生成した解析結果値の確率値に重み付け値による優先順位を反映し（Ｓ２４０）、前記優先順位を反映した結果を前記画像解析携帯端末に送信する（Ｓ２５０）。
【００５５】
それにより、前記画像解析携帯端末１１０は、前記イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して生成した解析結果値のうち、優先順位が最も高い解析結果値を表示する（Ｓ２６０）。
【００５６】
また、前記画像解析携帯端末１１０は、ユーザが制御命令としてスワイプ命令を入力すると、前記解析結果値を優先順位の順に表示する。
【００５７】
このように、本発明の一実施形態によれば、画像解析サーバ１２０は、イメージ描写、顔認識、及び文字認識などの多様な神経網を含んで構成され、画像解析携帯端末１１０から提供された画像を前記神経網を介して結果値を算出し、各結果値において、点数の高い順に整列した後、全ての結果値を画像解析携帯端末１１０に送信し、ユーザに提供する。
【００５８】
したがって、画像解析携帯端末１１０は、画像解析サーバ１２０から提供された結果値に基づき、最も高い点数を受けた結果値を優先的に表出し、図６及び図７に示すように、次順位の結果値を、画像解析携帯端末のタッチディスプレイ部の上において、上下または左右に動くスワイプ命令により順次に確認することができる。
【００５９】
さらに具体的に、図７に示すように、文字認識結果値が先に表示され、ユーザが上下スワイプ命令を行い、或いは、図８に示すように、左右スワイプ命令を行うと、顔認識、イメージ描写などの結果値が順次に表示される。
【００６０】
すなわち、ユーザが撮影した画像のイメージ描写を先に表示し、ユーザがスワイプ命令を入力すると、前記画像の顔認識結果値を表示し、例えば、図７に示すように、机の上のデスクトップモニタを撮影したイメージである場合は、イメージ描写の結果として「机の上に置かれたデスクトップモニタのように見える」のような説明が表示され、ユーザがスワイプ命令を入力すると、顔認識の結果として「顔認識結果値がありません」のような説明が表示される。
【００６１】
このとき、図７の実施形態では、左右スワイプ命令により、文字認識、顔認識、イメージ描写などの解析結果が順次に表示され、上下スワイプ命令により、最初の簡略な解析結果から、段階別に順次にさらに具体的な解析内容まで多様で深度ある結果が提供される。
【００６２】
また、図８の実施形態では、上下スワイプ命令により、文字認識、顔認識、イメージ描写などの解析結果が順次に表示され、左右スワイプ命令により、最初の簡略な解析結果から、段階別に順次にさらに具体的な解析内容の結果を提供するようになる。
【００６３】
本発明の実施形態によれば、画像解析サーバが、イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して解析結果値を生成し、画像解析携帯端末が、前記イメージ描写神経網、顔認識神経網、及び文字認識神経網を介して生成した解析結果値のうち、優先順位が最も高い解析結果値を先に表示するが、このとき、結果値を最少の内容で簡略に表現して、ユーザが短時間に結果値を確認し、ユーザが確認した結果値をさらに具体的に確認しようとすれば、スワイプ命令などの制御命令を入力して、前記解析結果値よりも具体的な結果値を確認することができる。
【００６４】
したがって、ユーザは、一つの解析結果値に対しても、最初の簡略な内容から、数段階を経て段階別にさらに具体的な解析内容まで、所望により、多様で深度ある結果値を伝達されるようにし、ユーザは、必要に応じて数種の画像解析結果値を選択して段階的に確認することができるので、さらに迅速かつ便利であり、効率的に結果値が提供される。上述した本発明の詳細な説明では、具体的な実施形態について説明した。しかし、本発明の範疇を逸脱しない範囲内で様々な変形が可能である。本発明の技術的思想は、本発明の上述した実施形態に限られて定められてはならず、特許請求の範囲だけでなく、この特許請求の範囲と均等な物により定められなければならない。
【図１】
2020087441.tif 000003
【図２】
2020087441.tif 000004
【図３】
2020087441.tif 000005
【図４】
2020087441.tif 000006
【図５】
2020087441.tif 000007
【図６】
2020087441.tif 000008
【図７】
2020087441.tif 000009
【図８】
2020087441.tif 000010