(57)【要約】【課題】本発明は、新しい使用者経験及び面白さを提供することができるイメージ処理システム、方法及びコンピュータ判読可能な記録媒体を提供することを目的とする。【解決手段】イメージ処理システム、方法及びコンピュータ判読可能な記録媒体が開示される。本発明の一実施例に係るイメージ処理方法は、撮像装置を含む使用者端末機を用いて第１イメージを取得する段階、前記第１イメージから少なくとも１つのオブジェクトを含む第１オブジェクトグループを検出する段階、前記使用者端末機を用いて第２イメージを取得する段階、前記第２イメージから少なくとも１つのオブジェクトを含む第２オブジェクトグループを検出する段階、前記第１オブジェクトグループ及び前記第２オブジェクトグループを組み合わせて、新しいオブジェクトを生成する段階及び生成された前記新しいオブジェクトを前記使用者端末機の表示装置に表示する段階を含む。【選択図】図４
2020087462.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置を含む使用者端末機を用いて第１イメージを取得する段階と、
前記第１イメージから少なくとも１つのオブジェクトを含む第１オブジェクトグループを検出する段階と、
前記使用者端末機を用いて第２イメージを取得する段階と、
前記第２イメージから少なくとも１つのオブジェクトを含む第２オブジェクトグループを検出する段階と、
前記第１オブジェクトグループ及び前記第２オブジェクトグループを組み合わせて新しいオブジェクトを生成する段階、及び
生成された前記新しいオブジェクトを前記使用者端末機の表示装置に表示する段階を含むイメージ処理方法。
【請求項２】
前記第１オブジェクトグループで検出された少なくとも１つのオブジェクトに関する情報をオブジェクトデータベースに保存する段階、及び
前記第２オブジェクトグループで検出された少なくとも１つのオブジェクトに関する情報を前記オブジェクトデータベースに保存する段階をさらに含む請求項１に記載のイメージ処理方法。
【請求項３】
前記新しいオブジェクトに関する情報をオブジェクトデータベースに保存する段階をさらに含む請求項１に記載のイメージ処理方法。
【請求項４】
前記新しいオブジェクトを生成する段階は、
前記第１オブジェクトグループに含まれる少なくとも１つのオブジェクトと前記第２オブジェクトグループに含まれる少なくとも１つのオブジェクトを組み合わせて、新しいオブジェクトが生成され得る場合の数を判断する段階を含む請求項１に記載のイメージ処理方法。
【請求項５】
前記新しいオブジェクトを生成する段階は、
前記第１オブジェクトグループに含まれるオブジェクトと前記第２オブジェクトグループに含まれるオブジェクトとの可能なすべての組み合わせの結果として、新しいオブジェクトを生成する請求項１に記載のイメージ処理方法。
【請求項６】
前記第１オブジェクトグループに含まれる少なくとも１つのオブジェクトの認識結果を前記表示装置に表示する段階と、
前記第２オブジェクトグループに含まれる少なくとも１つのオブジェクトの認識結果を前記表示装置に表示する段階、及び
前記生成された新しいオブジェクトの種類または名称を前記表示装置に表示する段階をさらに含む請求項１に記載のイメージ処理方法。
【請求項７】
撮像装置を含む使用者端末機を用いてイメージを取得する段階と、
前記イメージに含まれた複数のオブジェクトを検出する段階と、
検出された前記複数のオブジェクトを組み合わせて、新しいオブジェクトを生成する段階、及び
生成された前記新しいオブジェクトを前記使用者端末機の表示装置に表示する段階を含むイメージ処理方法。
【請求項８】
検出された前記オブジェクトに関する情報をオブジェクトデータベースに保存する段階をさらに含む請求項７に記載のイメージ処理方法。
【請求項９】
生成された前記新しいオブジェクトに関する情報をオブジェクトデータベースに保存する段階をさらに含む請求項７に記載のイメージ処理方法。
【請求項１０】
前記新しいオブジェクトを生成する段階は、
前記イメージで検出されたすべてのオブジェクトに対して新しいオブジェクトが生成され得る場合の数を判断する段階を含む請求項７に記載のイメージ処理方法。
【請求項１１】
前記イメージでのオブジェクト認識結果を前記表示装置に表示する段階、及び
前記新しいオブジェクトの種類または名称を前記表示装置に表示する段階をさらに含む請求項７に記載のイメージ処理方法。
【請求項１２】
請求項１〜１１のいずれか１つの記載の方法を行うためのプログラムが記録されたコンピュータ判読可能な記録媒体。
【請求項１３】
イメージを取得する撮像部と、
前記撮像部を介して取得されるイメージに含まれた少なくとも１つのオブジェクトを検出する検出部と、
前記検出部で検出された複数のオブジェクトを組み合わせて、新しいオブジェクトを生成するオブジェクト生成部、及び
前記検出されたオブジェクト及び前記新しいオブジェクトを表示する表示部を含むイメージ処理システム。
【請求項１４】
前記検出部で検出されたオブジェクト及び前記オブジェクト生成部で生成された前記新しいオブジェクトに関する情報を保存する保存部をさらに含む請求項１３に記載のイメージ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージ処理システム、方法及びコンピュータ判読可能な記録媒体に関する。より具体的には、撮像された互いに異なるイメージを組み合わせて、新しいイメージを生成して提供するイメージ処理システム、方法及びコンピュータ判読可能な記録媒体に関する。
【背景技術】
【０００２】
通信技術が発展し、電子装置が小型化するに伴って個人用端末機が一般消費者に広く普及している。特に最近では、スマートフォンやスマートタブレットのような携帯用個人端末機が広く普及している。大部分の端末機は、イメージ撮影手段を含んでおり、使用者は個人端末機を用いて様々なオブジェクトを含むイメージを撮影することができる。また、マシンラーニング（Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ）技術の発達によって、イメージに含まれた客体を認識して、認識結果に対応して様々なイメージ処理が可能となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、新しい使用者経験及び面白さを提供することができるイメージ処理システム、方法及びコンピュータ判読可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の一実施例に係るイメージ処理システムは、イメージを取得する撮像部、前記撮像部を介して取得されるイメージに含まれた少なくとも１つのオブジェクトを検出する検出部、前記検出部で検出された複数のオブジェクトを組み合わせて、新しいオブジェクトを生成するオブジェクト生成部、及び前記検出されたオブジェクトを表示する表示部を含む。
【０００５】
また、前記イメージ処理システムは、前記検出部で検出されたオブジェクト及び前記オブジェクト生成部で生成された前記新しいオブジェクトに関する情報を保存する保存部をさらに含むことができる。
【０００６】
一方、本発明の一実施例に係るイメージ処理方法は、撮像装置を含む使用者端末機を用いて第１イメージを取得する段階、前記第１イメージから少なくとも１つのオブジェクトを含む第１オブジェクトグループを検出する段階、前記使用者端末機を用いて第２イメージを取得する段階、前記第２イメージから少なくとも１つのオブジェクトを含む第２オブジェクトグループを検出する段階、前記第１オブジェクトグループ及び前記第２オブジェクトグループを組み合わせて新しいオブジェクトを生成する段階及び生成された前記新しいオブジェクトを前記使用者端末機の表示装置に表示する段階を含む。
【０００７】
また、前記イメージ処理方法は、前記第１オブジェクトグループで検出された少なくとも１つのオブジェクトに関する情報をオブジェクトデータベースに保存する段階及び前記第２オブジェクトグループで検出された少なくとも１つのオブジェクトに関する情報を前記オブジェクトデータベースに保存する段階をさらに含むことができる。
【０００８】
また、前記イメージ処理方法は、前記新しいオブジェクトに関する情報をオブジェクトデータベースに保存する段階をさらに含むことができる。
【０００９】
また、前記新しいオブジェクトを生成する段階は、前記第１オブジェクトグループに含まれる少なくとも１つのオブジェクトと前記第２オブジェクトグループに含まれる少なくとも１つのオブジェクトを組み合わせて、新しいオブジェクトが生成され得る場合の数を判断する段階を含むことができる。
【００１０】
また、前記新しいオブジェクトを生成する段階は、前記第１オブジェクトグループに含まれるオブジェクトと前記第２オブジェクトグループに含まれるオブジェクトとの可能なすべての組み合わせの結果として、新しいオブジェクトを生成することができる。
【００１１】
また、前記イメージ処理方法は、前記第１オブジェクトグループに含まれる少なくとも１つのオブジェクトの認識結果を前記表示装置に表示する段階、前記第２オブジェクトグループに含まれる少なくとも１つのオブジェクトの認識結果を前記表示装置に表示する段階及び前記生成された新しいオブジェクトの種類または名称を前記表示装置に表示する段階をさらに含むことができる。
【００１２】
一方、本発明の他の実施例に係るイメージ処理方法は、撮像装置を含む使用者端末機を用いてイメージを取得する段階、前記イメージに含まれた複数のオブジェクトを検出する段階、検出された前記複数のオブジェクトを組み合わせて、新しいオブジェクトを生成する段階及び生成された前記新しいオブジェクトを前記使用者端末機の表示装置に表示する段階を含む。
【００１３】
また、前記イメージ処理方法は、検出された前記オブジェクトに関する情報をオブジェクトデータベースに保存する段階をさらに含むことができる。
【００１４】
また、前記イメージ処理方法は、生成された前記オブジェクトに関する情報をオブジェクトデータベースに保存する段階をさらに含むことができる。
【００１５】
また、前記新しいオブジェクトを生成する段階は、前記イメージで検出されたすべてのオブジェクトに対して新しいオブジェクトが生成され得る場合の数を判断する段階を含むことができる。
【００１６】
また、前記イメージ処理方法は、前記イメージでのオブジェクト認識結果を前記表示装置に表示する段階及び前記新しいオブジェクトの種類または名称を前記表示装置に表示する段階をさらに含むことができる。
一方、本発明に係るイメージ処理方法を行うためのプログラムが記録されたコンピュータ判読可能な記録媒体が提供されることができる。
【発明の効果】
【００１７】
本発明は、新しい使用者経験及び面白さを提供することができるイメージ処理システム、方法及びコンピュータ判読可能な記録媒体を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施例に係るイメージ処理システムが動作する環境を示すネットワーク構成図である。
【図２】本発明の一実施例に係るイメージ処理システムの構成を概略的に示す図である。
【図３】本発明の他の実施例に係るイメージ処理システムの構成を概略的に示す図である。
【図４】本発明の一実施例に係るイメージ処理方法を概略的に示すフローチャートである。
【図５】本発明の実施例によりオブジェクトが検出され、新しいオブジェクトが生成されることを例示的に示す図である。
【図６】本発明の実施例によりオブジェクトが検出され、新しいオブジェクトが生成されることを例示的に示す図である。
【図７】本発明の実施例によりオブジェクトが検出され、新しいオブジェクトが生成されることを例示的に示す図である。
【図８】本発明の他の実施例に係るイメージ処理方法を概略的に示すフローチャートである。
【図９】本発明の他の実施例に係るイメージ処理方法を概略的に示すフローチャートである。
【図１０】本発明の他の実施例に係るイメージ処理方法を概略的に示すフローチャートである。
【図１１】本発明のまた他の実施例に係るイメージ処理方法を概略的に示すフローチャートである。
【図１２】本発明のまた他の実施例に係るイメージ処理方法を概略的に示すフローチャートである。
【図１３】本発明の他の実施例によりオブジェクトが検出され、新しいオブジェクトが生成されることを例示的に示す図である。
【図１４】本発明の他の実施例によりオブジェクトが検出され、新しいオブジェクトが生成されることを例示的に示す図である。
【発明を実施するための形態】
【００１９】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付した図面と共に詳細に後述されている実施例を参照すると明確になる。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる様々な形態で具現されるものであり、単に本実施例は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指す。
【００２０】
「第１」または「第２」などが様々な構成要素を記述するために使用されるが、このような構成要素は、前記のような用語によって制限されるものではない。前記のような用語は、単に１つの構成要素を他の構成要素と区別するために使用することができる。したがって、以下に言及される第１構成要素は、本発明の技術的思想内で第２構成要素であることもできる。
【００２１】
本明細書で使用される用語は、実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」または「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素または段階が１つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。
【００２２】
他の定義がなければ、本明細書で使用されるすべての用語は、本発明が属する技術分野における通常の知識を有する者に共通的に理解され得る意味として解釈されることができる。また、一般的に使用される辞書に定義されている用語は、明白に定義されていない限り理想的にまたは過度に解釈されない。
【００２３】
以下では、図１から図１４を参照して、本発明に係るイメージ処理システム、方法及びコンピュータ判読可能な記録媒体について詳細に説明するようにする。
【００２４】
図１は、本発明の実施例に係るイメージ処理システムが動作する環境を示すネットワーク構成図である。図１を参照すると、イメージ処理システムが動作する環境は、サーバー２０及び使用者端末機１０を含むことができる。例えば、イメージ処理システムが動作する環境は、サーバー２０を含まないことがあり得る。
【００２５】
イメージ処理システムは、サーバー２０を媒介に連結されることができる。本発明の説明の便宜のために、図１には１つのイメージ処理システムが示されている。しかし、イメージ処理システムの数は、一個に限定されない。イメージ処理システムは、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェアラブルデバイス（ｗｅａｒａｂｌｅ  ｄｅｖｉｃｅ）、または携帯用電子機器のうちの１つで具現されることができる。イメージ処理システムは、プログラムまたはアプリケーションを実行することができる。
【００２６】
イメージ処理システムは、通信網に連結されることができる。イメージ処理システムは、通信網を介して外部の他のシステムと互いに連結されることができる。イメージ処理システムは、互いに連結された他のシステムにデータを出力したり、他のシステムからデータを受信することができる。
【００２７】
イメージ処理システムと連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は３Ｇ、ＬＴＥ、またはＬＴＥ−Ａなどのような移動通信網を含むことができる。通信網は、ワイファイ（Ｗｉ−Ｆｉ）、ＵＭＴＳ／ＧＰＲＳ、またはイーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ）などのような有線または無線通信網を含むことができる。通信網は、マグネチック保安出力（ＭＳＴ，Ｍａｇｎｅｔｉｃ  Ｓｅｃｕｒｅ  Ｔｒａｎｓｍｉｓｓｉｏｎ）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ジグビー（ＺｉｇＢｅｅ）、Ｚ−Ｗａｖｅ、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、低電力ブルートゥース（ＢＬＥ，Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）、または赤外線通信（ＩＲ，ＩｎｆｒａＲｅｄ  ｃｏｍｍｕｎｉｃａｔｉｏｎ）などのような近距離通信網を含むことができる。通信網は、近距離ネットワーク（ＬＡＮ，Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ，Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、またはワイド・エリア・ネットワーク（ＷＡＮ，Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含むことができる。
【００２８】
サーバー２０は、使用者端末機１０の使用者がイメージ処理システムを用いて検出したり、新たに生成されたオブジェクトを保存することができる。また、サーバー２０は、イメージ処理システムが検出することができるオブジェクトに関する情報及び検出されたオブジェクトを組み合わせて生成され得るオブジェクトに関する情報を保存することができる。
【００２９】
図２は、本発明の一実施例に係るイメージ処理システムの構成を概略的に示す図である。図２を参照すると、本発明の一実施例に係るイメージ処理システム１００は、撮像部１１０、検出部１２０、オブジェクト生成部１３０、及び表示部１４０を含む。
【００３０】
本発明の一実施例では、イメージ処理システム１００は、使用者端末機の形態で具現されることができ、このとき撮像部１１０と表示部１４０は、それぞれ前記使用者端末機に備えられたカメラ及び表示パネルに対応するものと理解することができる。
【００３１】
撮像部１１０を介してイメージが取得されると、検出部１２０は、前記イメージに含まれた少なくとも１つのオブジェクト（ｏｂｊｅｃｔ）を検出する。検出部１２０は、前記イメージに含まれた様々な種類のオブジェクトを検出することができ、予め学習されたモデルを用いてプレビュー（ｐｒｅ−ｖｉｅｗ）イメージに含まれたオブジェクトを検出することができる。
【００３２】
撮像部１１０は、使用者端末機に備えられたカメラなどの撮像装置を用いてイメージを取得することができ、一実施例で表示部１４０を介して見られる画像取得に対応するシャッター（ｓｈｕｔｔｅｒ）入力に対応してイメージを取得することができる。また他の実施例において、表示部１４０を介して予め設定された時間以上実質的に同一の画像が見られる場合、イメージを取得することができる。または、前記使用者端末機に保存されたイメージを読み込んでイメージを取得することができる。
【００３３】
一方、前記予め学習されたモデルは、前記プレビューイメージに含まれたオブジェクトを識別するために用いられるデータ認識モデルであることができる。前記データ認識モデルは、人工神経網（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を基盤とするモデルであることができる。例えば、学習モデルは、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｃｕｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、及びＢＲＤＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
【００３４】
準備された学習モデルは、プレビューイメージに含まれたオブジェクトの種類を識別するための学習モデルであることができる。オブジェクトの種類を識別するための学習モデルは、多数の写真イメージデータ及び多数の写真に含まれたオブジェクトの種類の間の相関関係について学習された結果であることができる。例えば、前記使用者端末機は、多数の写真イメージデータ及び多数の写真に含まれたオブジェクトの種類の間の相関関係を学習することができる。前記使用者端末機は、学習結果に基づいて人工神経網を訓練し、プレビューイメージに含まれたオブジェクトの種類を識別するための学習モデルを生成することができる。
【００３５】
他の実施例として、前記使用者端末機は、図１を参照して説明したようなサーバー３００からオブジェクトの種類を識別するための学習モデルを受信することができる。このような場合、サーバー３００がプレビューイメージに含まれたオブジェクトの種類を識別するための学習モデルを生成することができる。
【００３６】
このとき、サーバー３００から前記学習モデルを受信するために前記使用者端末機は、サーバー３００と通信するための通信部（図示せず）を用いることができる。前記通信部は、サーバー３００から前記学習モデルを受信して、これを検出部１２０に提供することができる。
【００３７】
前記通信部は例えば、３Ｇモジュール、ＬＴＥモジュール、ＬＴＥ−Ａモジュール、Ｗｉ−Ｆｉモジュール、ワイギグ（ＷｉＧｉｇ）モジュール、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）モジュール、またはＬＡＮカードなどのような遠距離用のネットワークインターフェースを含むことができる。また、前記通信部は、マグネチック保安送信出力（ＭＳＴ）モジュール、ブルートゥースモジュール、ＮＦＣモジュール、ＲＦＩＤモジュール、ジグビー（ＺｉｇＢｅｅ）モジュール、Ｚ−Ｗａｖｅモジュール、または赤外線モジュールなどのような近距離用のネットワークインターフェースを含むことができる。また、前記通信部は、その他ネットワークインターフェースを含むことができる。
【００３８】
一方、検出部１２０を介してオブジェクトが検出されると、検出された前記オブジェクトは、表示部１４０によって使用者に見られることができる。例えば、撮像部１１０によって取得されたイメージが自動車を含んでいる場合、検出部１２０は、前記イメージから自動車（ｃａｒ）、車輪（ｗｈｅｅｌｓ）、ガラス窓（ｗｉｎｄｏｗｓ）、鉄（ｓｔｅｅｌ）、ガラス（ｇｌａｓｓ）などをオブジェクトとして検出することができる。
【００３９】
例えば、検出部１２０が前記イメージで自動車をオブジェクトとして検出すると、表示部１４０は、自動車に対応するオブジェクトイメージを表示することができる。前記オブジェクトイメージは、前記イメージに含まれた前記自動車のそのままのイメージであるか、自動車に対応して予めデザインされたイラスト（ｉｌｌｕｓｔｒａｔｉｏｎ）であることができる。
【００４０】
表示部１４０は、検出部１２０が前記イメージからオブジェクトを検出すると、前記オブジェクトイメージを表示することができる。このとき、前記オブジェクトイメージは、撮像部１１０によって取得される前記イメージの上にオーバーレイ（ｏｖｅｒｌａｙ）形態で表示されるか、前記オブジェクトイメージ単独で表示されることができる。ただし、前記オブジェクトイメージの表示方法は、以上の例または方法に制限されない。
【００４１】
一方、表示部１４０は、検出されたオブジェクトに対応するオブジェクトイメージを表示すると同時に、前記検出されたオブジェクトの種類または名前を前記オブジェクトイメージと共に表示することができる。例えば、前述の例示で検出部１２０がイメージで自動車を検出すると、表示部１４０は自動車に対応するオブジェクトイメージを表示すると同時に、前記オブジェクトイメージの周囲にテキスト「ｃａｒ」を共に表示することができる。
【００４２】
表示部１４０は、前記使用者端末機に画面を表示することができ、使用者からの入力に対する応答として、様々な画面を表示することができる。また、表示部１４０は、前記使用者端末機に含まれたＣＰＵ（中央処理装置）によって行われた演算の結果及びデータを表示することができる。また、表示部１４０は、撮像部１１０によって取得されるイメージ、前記イメージに含まれて検出部１２０によって検出されるオブジェクトを表示することができ、オブジェクト生成部１３０によって生成される新しいオブジェクトを表示することができる。
【００４３】
また、表示部１４０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、またはＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などの平板表示装置を含むことができる。表示部１４０は、曲面ディスプレイまたはフレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｐｌａｙ）を含むことができる。
【００４４】
一方、オブジェクト生成部１３０は、検出部１２０で検出された複数のオブジェクトを組み合わせて、前記検出されたオブジェクトと異なる新しいオブジェクトを生成する。前記新しいオブジェクトは、検出部１２０で検出された前記複数のオブジェクトと異なる。このとき、検出部１２０で検出される複数のオブジェクトは、必ずしも互いに異なるものに制限されない。したがって、検出部１２０は、同一のオブジェクトを複数検出することもできる。
【００４５】
例えば、検出部１２０は、撮像部１１０によって取得されたイメージから２つの車輪（ｗｈｅｅｌ）をオブジェクトとして検出した場合、オブジェクト生成部１３０は、前記２つの車輪を組み合わせて自転車（ｂｉｃｙｃｌｅ）を新しいオブジェクトとして生成することができる。表示部１４０は、新しいオブジェクトである自転車に対応するオブジェクトイメージを表示し、前記オブジェクトイメージと共にテキスト「自転車」を表示することができる。また他の例において、検出部１２０がイメージから火（ｆｉｒｅ）と水（ｗａｔｅｒ）を検出した場合、オブジェクト生成部１３０は、水蒸気（ｓｔｅａｍ）を新しいオブジェクトとして生成することができる。そして、表示部１４０は、テキスト「火」と「水」、そして「水蒸気」を表示することができる。表示部１４０を介して表示されるテキストは、これまで説明した実施例で韓国語であるものとして説明したが、本発明が必ずしもこれに制限されるものではなく、表示部１４０は、使用者が設定した言語で前記テキストを表示することができる。
【００４６】
一方、オブジェクト生成部１３０は、３つ以上のオブジェクトを組み合わせて、新しいオブジェクトを生成することもできる。例えば、検出部１２０がイメージから４つの車輪をオブジェクトとして検出した場合、オブジェクト生成部１３０は、これを組み合わせて自動車を新しいオブジェクトとして生成することができる。または、検出部１２０によって、２つの車輪と１つの鉄（ｓｔｅｅｌ）がオブジェクトとして検出された場合、オブジェクト生成部１３０は、これを組み合わせてバイク（ｂｉｋｅ）を新しいオブジェクトとして生成することができる。
【００４７】
図３は、本発明の他の実施例に係るイメージ処理システムの構成を概略的に示す図である。図３を参照すると、本発明の他の実施例に係るイメージ処理システム２００は、図２を参照して説明したイメージ処理システム１００に比べて保存部２５０をさらに含む。
【００４８】
保存部２５０は、検出部２２０で検出されたオブジェクト及びオブジェクト生成部２３０で生成された新しいオブジェクトに関する情報を保存する。保存部２５０は、揮発性メモリーまたは不揮発性メモリーのうちの少なくとも１つを含むことができる。保存部２５０は、例えば、フラッシュ（ｆｌａｓｈ）メモリー、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ハードディスクドライブ（ＨＤＤ，Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、またはレジスタ（ｒｅｇｉｓｔｅｒ）のうちの少なくとも１つを含むことができる。保存部２５０は、例えば、ファイルシステム、データベース、または組込データベース（ｅｍｂｅｄｄｅｄ  ｄａｔａｂａｓｅ）などを含むことができる。
【００４９】
保存部２５０に保存されたオブジェクトに関する情報は、イメージ処理システム２００を使用する使用者の選択によって他の使用者に提供されることができる。例えば、第１使用者が、自分が検出したオブジェクトに関する情報と新たに生成したオブジェクトに関する情報を第２使用者に提供すると、これを提供された前記第２使用者は、イメージ処理システム２００を用いて検出可能なオブジェクトに関する情報及び新たに生成可能なオブジェクトに関する情報を取得することができる。これにより、他の使用者によって保存された、すなわち他の使用者が保有したオブジェクトに関する情報を確認することができ、新しいオブジェクトを取得しようとする動機が誘発されることができる。
【００５０】
図４は、本発明の一実施例に係るイメージ処理方法を概略的に示すフローチャートである。図４を参照すると、本発明の一実施例に係るイメージ処理方法は、第１イメージを取得する段階Ｓ１１０、第１オブジェクトグループを検出する段階Ｓ１２０、第２イメージを取得する段階Ｓ１３０、第２オブジェクトグループを検出する段階Ｓ１４０、オブジェクトを生成する段階Ｓ１５０、及びオブジェクトを表示する段階Ｓ１６０を含む。
【００５１】
本発明に係るイメージ処理方法は、撮像装置及び表示装置を含む使用者端末機を介して具現されることができ、前記使用者端末機は、前記撮像装置を介してイメージを取得することができ、前記表示装置は、前記使用者端末機の使用者に様々な情報及びデータを提供することができる。また、前記使用者端末機は、通信装置を用いて周辺または遠隔地に存在する装置とデータを送受信することができる。
【００５２】
第１イメージを取得する段階Ｓ１１０では、撮像装置を含む使用者端末機を用いて第１イメージを取得する。前記段階Ｓ１１０では、前記使用者端末機に備えられたカメラなどの撮像装置を用いてイメージを取得することができ、一実施例において、前記使用者端末機に備えられた表示装置を介して見られる画像取得に対応するシャッター（ｓｈｕｔｔｅｒ）入力に対応してイメージを取得することができる。また、他の実施例において、前記表示装置を介して予め設定された時間以上実質的に同一の画像が見られる場合、イメージを取得することができる。または、前記使用者端末機に保存されたイメージを読み込んでイメージを取得することができる。
【００５３】
前記第１イメージは、段階Ｓ１３０で取得される第２イメージと区分されるイメージであり、前記第１イメージと前記第２イメージは、互いに独立したイメージであるものと理解することができる。前記第１イメージと前記第２イメージは順次的に取得されることができる。
【００５４】
第１オブジェクトグループを検出する段階Ｓ１２０では、前記第１イメージから少なくとも１つのオブジェクトを含む第１オブジェクトグループを検出する。例えば、前記第１オブジェクトグループは、ｎ個のオブジェクトを含むことができる。前記第１オブジェクトグループに含まれるオブジェクトの数は、前記第１イメージに従属することができる。例えば、前記第１イメージが空を撮影した場合と街を撮影した場合、前記第１オブジェクトグループに含まれるオブジェクトの数は、街を撮影した場合により多いものと予想することができる。
【００５５】
また、本明細書で使用されるオブジェクト（ｏｂｊｅｃｔ）は、「客体」、「物体」、「事物」など、背景（ｂａｃｋｇｒｏｕｎｄ）と区分するための意味をはじめ、本発明に係るイメージ処理システム及び方法で検出可能な画像としての意味を含む。
【００５６】
第２イメージを取得する段階Ｓ１３０では、前記使用者端末機を用いて第２イメージを取得し、第２オブジェクトグループを検出する段階Ｓ１４０では、前記第２イメージから少なくとも１つのオブジェクトを含む第２オブジェクトグループを検出する。
【００５７】
前記段階Ｓ１２０及び段階Ｓ１４０では、前記第１イメージ及び第２イメージに含まれた様々な種類のオブジェクトを検出することができ、予め学習されたモデルを用いてプレビュー（ｐｒｅ−ｖｉｅｗ）イメージに含まれたオブジェクトを検出することができる。
【００５８】
前記学習されたモデルは、前記プレビューイメージ、すなわち前記第１及び第２イメージに含まれたオブジェクトを識別するために用いられるデータ認識モデルであることができる。前記データ認識モデルは、人工神経網（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を基盤とするモデルであることができる。例えば、学習モデルは、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｃｕｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、及びＢＲＤＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
【００５９】
準備された学習モデルは、プレビューイメージに含まれたオブジェクトの種類を識別するための学習モデルであることができる。オブジェクトの種類を識別するための学習モデルは、多数の写真イメージデータ及び多数の写真に含まれたオブジェクトの種類の間の相関関係について学習された結果であることができる。例えば、前記使用者端末機は、多数の写真イメージデータ及び多数の写真に含まれたオブジェクトの種類の間の相関関係を学習することができる。前記使用者端末機は、学習結果に基づいて人工神経網を訓練して、プレビューイメージに含まれたオブジェクトの種類を識別するための学習モデルを生成することができる。
【００６０】
前記第２イメージは、前記第１イメージと異なる時点に取得されたイメージを意味し、前記第２オブジェクトグループに含まれるオブジェクトは、前記第１オブジェクトグループに含まれるオブジェクトとその数と種類が異なることがある。または、前記第１及び第２オブジェクトグループに含まれるオブジェクトは、同一の種類の異なる形態のオブジェクトであることができる。一方、前記段階Ｓ１２０及び段階Ｓ１４０では、それぞれ２つ以上のオブジェクトが検出されることができる。
【００６１】
オブジェクトを生成する段階Ｓ１５０では、前記第１オブジェクトグループ及び前記第２オブジェクトグループを組み合わせて新しいオブジェクトを生成する。具体的には、前記段階Ｓ１５０では、前記第１オブジェクトグループに含まれたオブジェクトと前記第２オブジェクトグループに含まれたオブジェクトを組み合わせて、新しいオブジェクトを生成する。前記段階Ｓ１５０で生成される前記新しいオブジェクトは、前記第１オブジェクトグループまたは前記第２オブジェクトグループに含まれたオブジェクトと異なるオブジェクトであることができるが、必ずしもこれに限定されるものではない。
【００６２】
例えば、前記第１オブジェクトグループに自転車（ｂｉｃｙｃｌｅ）と車輪（ｗｈｅｅｌ）が含まれており、前記第２オブジェクトグループに車輪（ｗｈｅｅｌ）が含まれている場合、前記段階Ｓ１５０では、前記第１オブジェクトグループの車輪と前記第２オブジェクトグループの車輪を組み合わせて、自転車を新しいオブジェクトとして生成することができる。一方、自転車と車輪の組み合わせに対応するオブジェクトが存在しない場合には、前記段階Ｓ１５０で生成されるオブジェクトは、自転車１つで有り得る。
【００６３】
また、前記段階Ｓ１５０では、３つ以上のオブジェクトを組み合わせて、新しいオブジェクトを生成することもできる。例えば、前記段階Ｓ１２０及び段階Ｓ１４０で４つの車輪（ｗｈｅｅｌ）をオブジェクトとして検出した場合、前記段階Ｓ１５０ではこれを組み合わせて自動車を新しいオブジェクトとして生成することができる。または、前記段階Ｓ１２０及び段階Ｓ１４０で２つの車輪と１つの鉄（ｓｔｅｅｌ）がオブジェクトとして検出された場合、前記段階Ｓ１５０では、これを組み合わせてバイク（ｂｉｋｅ）を新しいオブジェクトとして生成することができる。
【００６４】
オブジェクトを表示する段階Ｓ１６０では、前記新しいオブジェクトを前記使用者端末機の表示装置に表示する。前記表示装置は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、またはＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などの平板表示装置を含むことができる。また、前記表示装置は、曲面ディスプレイまたはフレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｐｌａｙ）を含むことができる。
【００６５】
前記段階Ｓ１６０では、前記新しいオブジェクトを表示するにおいて、それぞれのオブジェクトに対応するオブジェクトイメージを用いることができる。前述した例示において、前記段階Ｓ１５０で自転車が生成された場合、前記段階Ｓ１６０では、自転車に対応するオブジェクトイメージを表示することができる。前記オブジェクトイメージは、新たに生成されたオブジェクトそのままのイメージであるか、それぞれのオブジェクトに対応して予めデザインされたイラスト（ｉｌｌｕｓｔｒａｔｉｏｎ）であることができる。
【００６６】
一方、前記オブジェクトイメージは、前記段階Ｓ１１０及び段階Ｓ１３０で取得される第１及び第２イメージの上にオーバーレイ（ｏｖｅｒｌａｙ）形態で表示されるか、前記オブジェクトイメージ単独で表示されることができる。ただし、前記オブジェクトイメージ表示方法は、以上の例または方法に制限されない。
【００６７】
図５から、図７は、本発明の実施例により、オブジェクトが検出されて新しいオブジェクトが生成されることを例示的に示す図である。
【００６８】
まず、図５は、使用者端末機に備えられる撮像装置（例えば、カメラなど）を用いて第１イメージを取得し、前記第１イメージから第１オブジェクトグループを検出する過程を例示的に示す。図５において、使用者端末機の表示部を介して表示される猫を含むイメージは、前記第１イメージに対応する。また、前記第１イメージに含まれた猫は、前記第１オブジェクトグループに含まれるオブジェクトと理解することができる。
【００６９】
図３を参照して説明したように、段階Ｓ１１０では第１イメージを取得し、段階Ｓ１２０では第１オブジェクトグループを検出する。したがって、本発明の一実施例に係るイメージ処理方法によると、段階Ｓ１１０では使用者端末機を用いて、図５に示された前記猫を含む前記第１イメージを取得する。そして、段階Ｓ１２０では前記第１イメージから第１オブジェクトグループを検出する。前述したように、図５の例では前記イメージには猫が含まれているので、前記第１オブジェクトグループには猫がオブジェクトとして含まれているものと理解することができる。
【００７０】
一方、図５を参照すると、前記第１イメージからオブジェクトが検出されると、検出されたオブジェクトに対応するオブジェクトイメージが前記使用者端末機の表示部を介して表示されることができ、図５に示すように、新たに検出されたオブジェクトを意味する記号（Ｎ）が共に表示されることができる。図５で前記オブジェクトイメージは、前記表示部の下端領域に表示されるものと示されているが、必ずしもこれに制限されるものではない。
【００７１】
使用者端末機の表示部を介して見られるイメージを前記第１イメージとして取得するために前記使用者端末機に備られる画像撮影ボタンを選択することができるが、本発明は必ずしもこのような方法に制限されるものではなく、撮像装置を介して取得される映像にオブジェクトが存在するものと判断される場合、別途の操作なしに前記第１イメージが取得されることもできる。
【００７２】
図３及び図６を参照して説明すると、段階Ｓ１３０では、第２イメージを取得し、図６は野球ボールが含まれた第２イメージを例として示す。段階Ｓ１４０では、野球ボールに対応するオブジェクトを含む第２オブジェクトグループを検出する。図６を参照すると、前記第２オブジェクトグループは、前記野球ボールに対応するオブジェクトとして円（ｃｉｒｃｌｅ）を検出し、図５を参照して説明したように前記円に対応するオブジェクトイメージと共に前記円が新たに検出されたオブジェクトを示すために記号（Ｎ）が共に表示されることができる。
【００７３】
図７を参照すると、段階Ｓ１５０では、既に検出されたオブジェクトを組み合わせて新しいオブジェクトを生成する。図５及び図６の例では、それぞれ猫と円が第１及び第２オブジェクトグループに含まれて検出され、図７を参照すると、段階Ｓ１５０では、猫と円が組み合わせわせて食べ物（ｆｏｏｄ）が新しいオブジェクトとして生成される。このとき、前記新しいオブジェクトとして生成された食べ物に対応するオブジェクトイメージが前記使用者端末機の表示部を介して表示されることができる。また、新しいオブジェクトであることを示す記号（Ｎ）が共に表示されることができ、既に検出されたオブジェクトに対応するオブジェクトイメージが共に表示されることができる。
【００７４】
図８から図１０は、本発明の他の実施例に係るイメージ処理方法を概略的に示すフローチャートである。
【００７５】
図８を参照すると、本発明の他の実施例に係るイメージ処理方法は、第１イメージを取得する段階Ｓ２１０、第１オブジェクトグループを検出する段階Ｓ２２０、オブジェクト情報を保存する段階Ｓ２３０、第２イメージを取得する段階Ｓ２４０、第２オブジェクトグループを検出する段階Ｓ２５０、オブジェクト情報を保存する段階Ｓ２６０、オブジェクトを生成する段階Ｓ２７０、オブジェクト情報を保存する段階Ｓ２８０、及びオブジェクトを表示する段階Ｓ２９０を含む。
【００７６】
第１イメージを取得する段階Ｓ２１０、第１オブジェクトグループを検出する段階Ｓ２２０、第２イメージを取得する段階Ｓ２４０、第２オブジェクトグループを検出する段階Ｓ２５０、オブジェクトを生成する段階Ｓ２７０、及びオブジェクトを表示する段階Ｓ２９０では、図４を参照して説明した第１イメージを取得する段階Ｓ１１０、第１オブジェクトグループを検出する段階Ｓ１２０、第２イメージを取得する段階Ｓ１３０、第２オブジェクトグループを検出する段階Ｓ１４０、オブジェクトを生成する段階Ｓ１５０、及びオブジェクトを表示する段階Ｓ１６０と実質的に同一の動作が行われるため、重複する内容に限って具体的な説明は省略するようにする。
【００７７】
前記段階Ｓ２３０では、第１オブジェクトグループから検出された少なくとも１つのオブジェクトに関する情報をオブジェクトデータベース（Ｏｂｊｅｃｔ  Ｄａｔａｂａｓｅ）に保存する。図４を参照して説明したように、前記第１オブジェクトグループは、複数のオブジェクトを含むことができ、前記段階Ｓ２３０では、前記第１イメージで検出されたオブジェクト、すなわち前記第１オブジェクトグループに含まれたオブジェクトに関する情報を前記オブジェクトデータベースに保存する。同様に、前記段階Ｓ２６０では、第２オブジェクトグループで検出された少なくとも１つのオブジェクトに関する情報を前記オブジェクトデータベースに保存する。
【００７８】
前記オブジェクトに関する情報は、検出されたオブジェクトの種類、名称、色相、形態などを含むことができる。また、いずれか１つのオブジェクトと共に検出された他のオブジェクトに関する情報が共に保存されることができる。
【００７９】
前記オブジェクトデータベースは、前記使用者端末機に備えられたデータ保存所であることができ、揮発性メモリーまたは不揮発性メモリーのうちの少なくとも１つを含むことができる。前記オブジェクトデータベースは、例えば、フラッシュ（ｆｌａｓｈ）メモリー、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ハードディスクドライブ（ＨＤＤ，Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、またはレジスタ（ｒｅｇｉｓｔｅｒ）のうちの少なくとも１つを含むことができる。前記オブジェクトデータベースは、例えばファイルシステム、データベース、または組込データベースなどを含むことができる。
【００８０】
前記第１オブジェクトグループと前記第２オブジェクトグループに含まれたオブジェクトに関する情報は、各使用者に対応して前記オブジェクトデータベースに保存されることができる。例えば、第１使用者が取得したイメージから検出されたオブジェクトに関する情報と第２使用者が取得したイメージから検出されたオブジェクトに関する情報が各使用者に応じて区分され、前記オブジェクトデータベースに保存されることができる。
【００８１】
また、前記段階Ｓ２８０では、段階Ｓ２７０で生成されたオブジェクトに関する情報を前記オブジェクトデータベースに保存する。前記生成されたオブジェクトに関する情報も使用者に応じて区分されて保存されることができる。
【００８２】
前記オブジェクトデータベースに保存されたオブジェクトに関する情報は、基本的に使用者に応じて区分されて保存され、いずれか１つの使用者端末機で検出されるか、生成されたオブジェクトに関する情報は、他の使用者端末機に提供されることができる。
【００８３】
本発明に係るイメージ処理方法を使用する使用者は、前記オブジェクトデータベースに保存されているオブジェクトに関する情報の提供を受けることができ、これにより、他の使用者が検出したオブジェクト及び他の使用者が生成したオブジェクトに関する情報を確認することができる。
【００８４】
本発明に係るイメージ処理方法により、検出または生成可能なオブジェクトの種類及び数が予め決められている場合、取得可能なすべてのオブジェクトを他の使用者より早く収集しようとする意欲を高めることができ、これにより、興味深い娯楽要素を提供することができる。
【００８５】
一方、前記オブジェクトデータベースに保存された情報を受信するために前記使用者端末機に備えられた通信手段を用いることができる。前記通信手段は、例えば３Ｇモジュール、ＬＴＥモジュール、ＬＴＥ−Ａモジュール、Ｗｉ−Ｆｉモジュール、ワイギグ（ＷｉＧｉｇ）モジュール、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）モジュール、またはＬＡＮカードなどのような遠距離用ネットワークインターフェースを含むことができる。また、前記通信手段は、マグネチック保安出力（ＭＳＴ）モジュール、ブルートゥースモジュール、ＮＦＣモジュール、ＲＦＩＤモジュール、ジグビー（ＺｉｇＢｅｅ）モジュール、Ｚ−Ｗａｖｅモジュール、または赤外線モジュールなどのような近距離用ネットワークインターフェースを含むことができる。また、前記通信手段は、その他ネットワークインターフェースを含むことができる。
【００８６】
次に、図９を参照すると、新しいオブジェクトを生成する段階Ｓ１５０は、第１オブジェクトグループに含まれる少なくとも１つのオブジェクトと第２オブジェクトグループに含まれる少なくとも１つのオブジェクトを組み合わせて、新しいオブジェクトが生成され得る場合の数を判断する段階Ｓ１５０ａを含む。
【００８７】
例えば、前記第１オブジェクトグループに検出可能なオブジェクトがｎ個存在し、前記第２オブジェクトグループに検出可能なオブジェクトがｍ個存在し、前記第１及び第２オブジェクトグループから、それぞれ１つのオブジェクトを選択して組み合わせる場合、前記段階Ｓ１５０ａで判断される組み合わせの場合の数は、最大ｎ×ｍ個であり得る。または、前記組み合わせの場合の数は、最小０個であり得る。
【００８８】
また、他の実施例では、前記第１及び第２オブジェクトグループのうちの少なくともいずれか１つのオブジェクトグループで２つ以上のオブジェクトを組み合わせの材料として選択する場合には、組み合わせの場合の数が最大ｎ×ｍ個よりも多いことがあり得る。
【００８９】
図１０を参照すると、本発明の他の実施例に係るイメージ処理方法は、第１イメージを取得する段階Ｓ３１０、第１オブジェクトグループを検出する段階Ｓ３２０、オブジェクト認識結果を出力する段階Ｓ３３０、第２イメージを取得する段階Ｓ３４０、第２オブジェクトグループを検出する段階Ｓ３５０、オブジェクト認識結果を出力する段階Ｓ３６０、オブジェクトを生成する段階Ｓ３７０、及びオブジェクトを表示する段階Ｓ３８０を含む。
【００９０】
第１イメージを取得する段階Ｓ３１０、第１オブジェクトグループを検出する段階Ｓ３２０、第２イメージを取得する段階Ｓ３４０、第２オブジェクトグループを検出する段階Ｓ３５０、オブジェクトを生成する段階Ｓ３７０、及びオブジェクトを表示する段階Ｓ３８０では、それぞれ図４を参照して説明した第１イメージを取得する段階Ｓ１１０、第１オブジェクトグループを検出する段階Ｓ１２０、第２イメージを取得する段階Ｓ１３０、第２オブジェクトグループを検出する段階Ｓ１４０、オブジェクトを生成する段階Ｓ１５０、及びオブジェクトを表示する段階Ｓ１６０と実質的に同一の動作が行われるため、重複する内容に限って具体的な説明は省略するようにする。
【００９１】
前記段階Ｓ３３０では、段階Ｓ３２０で検出された第１オブジェクトグループに含まれたオブジェクトに対応して認識結果を出力する。前記認識結果は、先に説明したオブジェクトイメージに相応し得るが、必ずしもこれに制限されるものではなく、前記認識結果は、前記オブジェクトイメージを含む視聴覚的効果に対応することができる。例えば、前記段階Ｓ３３０では、段階Ｓ３２０で検出されたオブジェクトの種類または名前をテキストで表示したり、これに対応する音声を出力することができる。または、前記テキストと音声を同時に出力することもできる。
【００９２】
一方、前記段階Ｓ３６０では、段階Ｓ３５０で検出された第２オブジェクトグループに含まれたオブジェクトに対応して認識結果を出力する。前記認識結果は、先に説明したオブジェクトイメージに相当し得るが、必ずしもこれに制限されるものではなく、前記認識結果は、前記オブジェクトイメージを含む視聴覚的効果に対応することができる。例えば、前記段階Ｓ３６０では、段階Ｓ３５０で検出されたオブジェクトの種類または名前をテキストで表示したり、これに対応する音声を出力することができる。または、前記テキストと音声を同時に出力することもできる。
【００９３】
図１１は、本発明のまた他の実施例に係るイメージ処理方法を概略的に示すフローチャートである。図１１を参照すると、本発明のまた他の実施例に係るイメージ処理方法は、イメージを取得する段階Ｓ４１０、オブジェクトを検出する段階Ｓ４２０、オブジェクトを生成する段階Ｓ４３０、及びオブジェクトを表示する段階Ｓ４４０を含む。
【００９４】
イメージを取得する段階Ｓ４１０では、撮像装置を含む使用者端末機を用いてイメージを取得する。前記使用者端末機は、前記撮像装置を用いてイメージを取得することができ、前記使用者端末機は、表示装置を備えて使用者に様々な情報及びデータを提供することができる。また、前記使用者端末機は、通信装置を用いて周辺または遠隔地に存在する装置とデータを送受信することができる。
【００９５】
一実施例において、前記段階Ｓ４１０では、前記使用者端末機に備えられた前記表示装置を介して見られる画像取得に対応するシャッター（ｓｈｕｔｔｅｒ）入力に対応してイメージを取得することができる。また他の実施例において、前記表示装置を介して予め設定された時間以上実質的に同一の画像が見られる場合や前記撮像装置を介して予め設定された時間以上実質的に同一の画像データが取得される場合、イメージを取得することができる。または、前記使用者端末機に保存されたイメージを読み込んでイメージを取得することができる。
【００９６】
オブジェクトを検出する段階Ｓ４２０では、前記段階Ｓ４１０で取得されたイメージに含まれた複数のオブジェクトを検出する。前記段階Ｓ４２０で検出される前記複数のオブジェクトは、１つのオブジェクトグループに含まれることができる。例えば、前記オブジェクトグループは、ｎ個のオブジェクトを含むことができる。前記オブジェクトグループに含まれるオブジェクトの数は、前記段階Ｓ４１０で取得されるイメージに従属することができる。例えば、前記イメージが空を撮影した場合と街を撮影した場合、前記オブジェクトグループに含まれるオブジェクトの数は、街を撮影した場合により多いものと予想することができる。
【００９７】
先に説明したように、本明細書で使用されるオブジェクトは、「客体」、「物体」、「事物」など、背景と区分するための意味をはじめ、本発明に係るイメージ処理システム及び方法で検出可能な画像としての意味を含む。
【００９８】
前記段階Ｓ４２０でオブジェクトを検出するために、予め学習されたモデルを用いることができる。前記学習されたモデルは、前記段階Ｓ４１０で取得されたイメージに含まれたオブジェクトを識別するために用いられるデータ認識モデルであることができる。前記データ認識モデルは、人工神経網（ニューラルネットワーク）（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を基盤とするモデルであることができる。例えば、前記学習されたモデルは、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｃｕｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、及びＢＲＤＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
【００９９】
前記学習されたモデルは、前記使用者端末機の表示装置を介して見られるプレビュー（ｐｒｅ−ｖｉｅｗ）イメージに含まれたオブジェクトの種類を識別するための学習モデルであることができる。オブジェクトの種類を識別するための学習モデルは、多数の写真イメージデータ及び多数の写真に含まれたオブジェクトの種類の間の相関関係について学習された結果であることができる。例えば、前記使用者端末機は、多数の写真イメージデータ及び多数の写真に含まれたオブジェクトの種類の間の相関関係を学習することができる。前記使用者端末機は、学習結果に基づいて人工神経網を訓練し、前記プレビューイメージに含まれたオブジェクトの種類を識別するための学習モデルを生成することができる。
【０１００】
段階Ｓ４３０では、前記段階Ｓ４２０で検出された複数のオブジェクトを組み合わせて新しいオブジェクトを生成する。図４から図１０を参照して説明した本発明の一実施例に係るイメージ処理方法は、互いに異なるイメージから検出されたオブジェクトを組み合わせて、新しいオブジェクトを生成することを特徴とし、図１１のフローチャートで定義されるイメージ処理方法は、１つのイメージから検出された複数のオブジェクトを組み合わせて、新しいオブジェクトを生成することを特徴とする。
【０１０１】
すなわち、本発明は、順次的に取得される互いに異なるイメージからそれぞれオブジェクトを検出して組み合わせるか、１つのイメージから複数のオブジェクトを検出して組み合わせる方法をすべて使用することができる。
【０１０２】
一方、段階Ｓ４４０では、前記段階Ｓ４３０で生成されたオブジェクトを前記使用者端末機の表示装置に表示する。前記表示装置は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、またはＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などの平板表示装置を含むことができる。また、前記表示装置は、曲面ディスプレイまたはフレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｐｌａｙ）を含むことができる。
【０１０３】
前記段階Ｓ４４０で前記生成されたオブジェクトを表示するにおいて、それぞれのオブジェクトに対応するオブジェクトイメージを用いることができる。図５から図７を参照して説明したように、猫、円、食べ物などに対応するオブジェクトイメージが使用者端末機に表示されることができる。また、前記オブジェクトイメージは、新たに生成されたオブジェクトそのままのイメージであるか、それぞれのオブジェクトに対応して予めデザインされたイラスト（ｉｌｌｕｓｔｒａｔｉｏｎ）であることができる。
【０１０４】
一方、前記オブジェクトイメージは、前記段階Ｓ４１０で取得されるイメージの上にオーバーレイ（ｏｖｅｒｌａｙ）形態で表示されるか、前記オブジェクトイメージは、単独で表示されることができる。ただし、前記オブジェクトイメージ表示方法は、以上の例または方法に制限されない。
【０１０５】
図１２及び図１３は、本発明の他の実施例に係るイメージ処理方法を説明するための例示面である。
【０１０６】
まず、図１２を参照すると、使用者端末機の撮像装置を介して所定のイメージが段階Ｓ４１０で取得され、段階Ｓ４２０では、人と人の腕がそれぞれオブジェクトとして検出される。前記段階Ｓ４１０で取得されるイメージは、子供と周辺の植物を含んでおり、前記段階Ｓ４２０では、前記子供を認識して人と人の腕をオブジェクトとして検出するものと理解することができる。一方、前記段階Ｓ４２０でオブジェクトとして検出された人と腕は、それぞれオブジェクトイメージとして表示されることができ、検出されたオブジェクトが過去に検出されなかった新しいオブジェクトである場合、「Ｎ」表示を介して新しいオブジェクトであることを表示することもできる。
【０１０７】
図１３は、段階Ｓ４２０で検出されたオブジェクトを組み合わせて段階Ｓ４３０で新しいオブジェクトを生成することを例示的に示す。図１３を参照すると、段階Ｓ４２０で検出された「人」と「腕」を組み合わせて、段階Ｓ４３０で「雷」ないし「エネルギー」が生成され得る。本明細書で説明されるオブジェクトの組み合わせは、説明の便宜のために任意の組み合わせを意味するので、図１３に示されるように、「人」と「腕」を組み合わせたといって、必ずしも「雷」や「エネルギー」が生成されるものではない。
【０１０８】
オブジェクトの組み合わせにより、新しいオブジェクトが生成されるのは予め決定された規則によることもでき、使用者の選択に基づいて決定されることもできる。例えば、本発明の一実施例で任意の２つ以上のオブジェクトを組み合わせたとき、生成され得る新しいオブジェクトが２つ以上存在する場合、前記使用者端末機の表示装置を介して生成可能なオブジェクトが表示されることができる。使用者は、前記表示装置に表示される２つ以上のオブジェクトのうちのいずれか１つを選択することによって、新たに生成されるオブジェクトを決定することができる。
【０１０９】
予め決定された規則によって新しいオブジェクトが生成される場合には、任意の２つ以上のオブジェクトを組み合わせるときに、生成可能な新しいオブジェクトがただ１つに設定されるか、使用者による選択が不可能なものと理解することができる。
【０１１０】
一方、互いに同一または互いに異なる複数のオブジェクトを組み合わせて、新しいオブジェクトを生成するために様々な規則が存在することができ、前記規則は段階Ｓ４２０で検出されたオブジェクトの特性を基盤とすることができる。前記特性は、例えば前記オブジェクトに対応する分子式であることができる。前記段階Ｓ４３０では、検出されたオブジェクトに対応する分子式を組み合わせて生成可能な新しいオブジェクトが存在するか否かを判断することができる。または、前記特性は、検出されたオブジェクトの形状であることができる。例えば、球（ｂａｌｌ）形状のオブジェクトが複数検出された場合、新しいオブジェクトとして雪だるま（ｓｎｏｗｍａｎ）が生成され得る。または、前記特性は、調理法（ｒｅｃｉｐｅ）になることができる。例えば、食材料に該当する複数のオブジェクトが検出された場合、検出されたオブジェクトを用いて作ることができる料理が新しいオブジェクトとして生成され得る。
【０１１１】
以上の例として説明したオブジェクトの特性は、説明の便宜のためのものであって、本発明が必ずしもこのような実施例に制限されるものではなく、前記オブジェクトの特性は、新しいオブジェクトを生成するために組み合わせ可能ないかなるものでもなり得ることは、通常の技術者に自明である。
【０１１２】
図１４は、本発明のまた他の実施例に係るイメージ処理方法を概略的に示すフローチャートである。図１４を参照すると、本発明のまた他の実施例に係るイメージ処理方法は、イメージを取得する段階Ｓ４１０、オブジェクトを検出する段階Ｓ４２０、オブジェクトを生成する段階Ｓ４３０、オブジェクトを表示する段階Ｓ４４０、及びオブジェクト情報を保存する段階Ｓ４５０を含む。イメージを取得する段階Ｓ４１０、オブジェクトを検出する段階Ｓ４２０、オブジェクトを生成する段階Ｓ４３０、及びオブジェクトを表示する段階Ｓ４４０は、図１１を参照して説明したイメージを取得する段階Ｓ４１０、オブジェクトを検出する段階Ｓ４２０、オブジェクトを生成する段階Ｓ４３０、及びオブジェクトを表示する段階Ｓ４４０と実質的に同一の段階と理解することができる。したがって、図１４によって説明される本発明のまた他の実施例に係るイメージ処理方法は、オブジェクト情報を保存する段階Ｓ４５０をさらに含むものと理解することができる。
【０１１３】
前記段階Ｓ４５０では、段階Ｓ４３０で生成された新しいオブジェクトに関する情報をオブジェクトデータベース（Ｏｂｊｅｃｔ  Ｄａｔａｂａｓｅ）に保存する。前記オブジェクトに関する情報は、新たに生成されたオブジェクトの種類、名称、色相、形態などを含むことができる。また、新たに生成されたオブジェクトに対応する分子式や調理法が知られている場合には、前記分子式や調理法も前記オブジェクトに関する情報として保存されることができる。
【０１１４】
前記オブジェクトデータベースは、使用者端末機に備えられたデータ保存所であることができ、揮発性メモリーまたは不揮発性メモリーのうちの少なくとも１つを含むことができる。前記オブジェクトデータベースは、例えば、フラッシュ（ｆｌａｓｈ）メモリー、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ハードディスクドライブ（ＨＤＤ，Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、またはレジスタ（ｒｅｇｉｓｔｅｒ）のうちの少なくとも１つを含むことができる。前記オブジェクトデータベースは、例えばファイルシステム、データベース、または組込データベースなどを含むことができる。
【０１１５】
また、前記段階Ｓ４５０では、段階Ｓ４２０で検出されたオブジェクトに関する情報を前記オブジェクトデータベースに共に保存することができる。段階Ｓ４２０で検出されたオブジェクトに関する情報も、段階Ｓ４３０で生成されるオブジェクトに関する情報と同様に、オブジェクトの種類、名称、色相、形態、分子式、調理法などを含むことができる。
【０１１６】
一方、前記オブジェクトに関する情報は、使用者に応じて区分されて保存されることができ、いずれか１つの使用者端末機で検出されるか、生成されたオブジェクトに関する情報は他の使用者端末機に提供されることができる。
【０１１７】
したがって、本発明に係るイメージ処理方法を使う使用者は、オブジェクトデータベースに保存されているオブジェクトに関する情報の提供を受けることができ、これにより、他の使用者が検出したオブジェクト及び他の使用者が生成したオブジェクトに関する情報を確認することができる。
【０１１８】
本発明に係るイメージ処理方法によって検出または生成可能なオブジェクトの種類及び数が予め決められている場合、取得可能なすべてのオブジェクトを他の使用者より早く収集しようとする意欲を高めることができ、これにより、興味深い娯楽要素を提供することができる。または、検出または生成可能なオブジェクトの種類または数に限定がない場合には、他の使用者より多くて新しいオブジェクトを取得しようとする意欲を高めることができ、これもまた新しい娯楽要素として作用することができる。
【０１１９】
以上で説明した実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態にも具現されることができる。コンピュータ判読可能媒体は、コンピュータによってアクセスされることができる任意の使用可能媒体であることができ、揮発性及び不揮発性媒体、分離型及び非分離型媒体をすべて含むことができる。
【０１２０】
また、コンピュータ判読可能媒体は、コンピュータ保存媒体を含むことができる。コンピュータ保存媒体は、コンピュータ判読可能命令語、データ構造、プログラムモジュールまたはその他データのような情報の保存のための任意の方法または技術で具現された揮発性及び不揮発性、分離型及び非分離型媒体をすべて含むことができる。
【０１２１】
以上、添付した図面を参照して、本発明の実施例を説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態で実施できるということを理解することができるだろう。したがって、以上で記述した実施例は、すべての面で例示的なものであり、限定的なものではないと理解しなければならない。
【符号の説明】
【０１２２】
１００、２００：イメージ処理システム
１１０、２１０：撮像部
１２０、２２０：検出部
１３０、２３０：オブジェクト生成部
１４０、２４０：表示部
２５０：保存部
【図１】
2020087462.tif 000003
【図２】
2020087462.tif 000004
【図３】
2020087462.tif 000005
【図４】
2020087462.tif 000006
【図５】
2020087462.tif 000007
【図６】
2020087462.tif 000008
【図７】
2020087462.tif 000009
【図８】
2020087462.tif 000010
【図９】
2020087462.tif 000011
【図１０】
2020087462.tif 000012
【図１１】
2020087462.tif 000013
【図１２】
2020087462.tif 000014
【図１３】
2020087462.tif 000015
【図１４】
2020087462.tif 000016