(57)【要約】  広告システムが提供される。前記広告システムは、カメラの映像から、使用者の性別、年齢、及び視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）の中の少なくとも一つに関する第１使用者情報を分析し、使用者の表情及び視標追跡に関する第２使用者情報を分析する情報分析部と、前記第１使用者情報に基づいて前記使用者のための話題情報を判断し、前記話題情報に係る第１広告をディスプレイ装置を通してディスプレイする広告提供部とを含む。
2020531987.tif 000002
【特許請求の範囲】
【請求項１】
カメラの映像から、使用者の性別、年齢、及び視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）の中の少なくとも一つに関する第１使用者情報を分析して使用者の表情及び視標追跡に関する第２使用者情報を分析する情報分析部と、
前記第１使用者情報に基づいて前記使用者のための話題情報を判断し、前記話題情報に係る第１広告をディスプレイ装置を通してディスプレイする広告提供部とを含み、
前記広告提供部は、
前記使用者が前記第１広告に集中する度合いを示す第１集中度を前記第２使用者情報に基づいて判断し、前記第１集中度に基づいて前記第１広告よりさらに多い情報を含む第２広告を前記ディスプレイ装置を通してディスプレイする、
広告システム。
【請求項２】
前記広告提供部は、
前記第１広告が前記ディスプレイ装置を通してディスプレイされる場合、前記使用者の瞳に対する視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）を通じて前記第１集中度を計算し、前記第１広告に対する使用者の表情及び前記第１集中度に基づいて前記第２広告のディスプレイ可否を決める、請求項１に記載の広告システム。
【請求項３】
前記広告提供部は、
前記使用者が前記第２広告に集中する度合いを示す第２集中度及び前記第２広告に対する使用者の表情に基づいて前記第２広告を継続的に前記ディスプレイ装置を通してディスプレイするか否かを決める、請求項２に記載の広告システム。
【請求項４】
前記第１広告または前記第２広告に係る商品に対する注文情報が入力される場合、前記商品に対する決済処理を遂行する購買処理部をさらに含む、請求項１に記載の広告システム。
【請求項５】
前記購買処理部は、
前記商品に対する注文情報が入力される場合、前記注文情報を決済処理機能を持つ移動端末に無線で送信する、請求項４に記載の広告システム。
【請求項６】
前記ディスプレイ装置は、人を運送する運送手段内の顧客の座席に取り付けられ、
前記ディスプレイ装置の第１スクリーン領域には前記第１広告及び前記第２広告がディスプレイされ、前記ディスプレイ装置の第２スクリーン領域には前記商品がディスプレイされる、請求項１に記載の広告システム。
【請求項７】
前記情報分析部は、
物体追跡アルゴリズム、表情認識アルゴリズム、性別推定アルゴリズム、及び年齢推定アルゴリズムを含む人工知能アルゴリズムを利用し、前記映像から前記使用者を追跡し、前記使用者の表情を認識して前記使用者の性別を推定し、前記使用者の年齢を推定する、請求項１に記載の広告システム。
【請求項８】
前記広告提供部は、
前記使用者の行動及び既に定義された行動パターンとの間のマッチング結果を利用して広告提供を変更する、請求項６に記載の広告システム。
【請求項９】
前記視標追跡は、
前記第１広告が前記ディスプレイ装置を通してディスプレイされる場合、前記使用者の目の焦点が前記ディスプレイ装置のスクリーン領域を離れたか否か、そして前記目の焦点が前記スクリーン領域をどれぐらい長い間離れたかを追跡することを含む、請求項１に記載の広告システム。
【請求項１０】
前記広告提供部は、
前記第１使用者情報の視標追跡情報に基づいて前記使用者の目の焦点が前記ディスプレイ装置のスクリーン領域に向けると判断される場合、前記第１広告を前記ディスプレイ装置を通してディスプレイする、請求項１に記載の広告システム。
【請求項１１】
前記使用者の行動は、
前記第１広告が前記ディスプレイ装置を通してディスプレイされる間に前記使用者が首または体を回す行動、手を振る行動、及び前記ディスプレイ装置に近付く行動の中の少なくとも一つを含む、請求項８に記載の広告システム。
【請求項１２】
広告システムが広告及び商品購買に関するサービスを提供する方法として、カメラの映像から使用者の性別、年齢、及び視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）の中で少なくとも一つに関する第１使用者情報、そして使用者の表情及び視標追跡に関する第２使用者情報を分析する段階と、
前記第１使用者情報に基づいて前記使用者のための話題情報を判断する段階と、
前記話題情報に係る第１広告をディスプレイ装置を通してディスプレイする段階と、
前記使用者が前記第１広告に集中する度合いを示す第１集中度を前記第２使用者情報に基づいて判断する段階と、
前記第１集中度及び前記第１広告に対する使用者の表情に基づいて前記第１広告よりさらに多い情報を含む第２広告を前記ディスプレイ装置を通してディスプレイする段階とを含む、サービス提供方法。
【請求項１３】
前記視標追跡は、
前記第１広告が前記ディスプレイ装置を通してディスプレイされる場合、前記使用者の目の焦点が前記ディスプレイ装置のスクリーン領域を離れたか否か、そして前記目の焦点が前記スクリーン領域をどれぐらい長い間離れたかを追跡することを含む、請求項１２に記載のサービス提供方法。
【請求項１４】
前記分析する段階は、
前記第１広告が前記ディスプレイ装置を通してディスプレイされる間に前記使用者が取る行動に関する第３使用者情報を分析する段階を含み、
前記ディスプレイする段階は、
前記第３使用者情報に基づいて前記第２広告の提供可否または前記第１広告に係る追加商品情報の提供可否を決める段階を含む、請求項１２に記載のサービス提供方法。
【請求項１５】
前記第１広告または前記第２広告に係る商品に対する注文情報が入力される場合、前記商品に対する決済処理を遂行する段階をさらに含む、請求項１２に記載のサービス提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表情、行動、性別、年齢などに関する認識及び推定データを活用してカスタマイズ型広告及び商品購買サービスを提供する装置、システム、及び方法に関する。
【背景技術】
【０００２】
人間の脳機能を模写した知能を持つ機械を作ることは、ＩＴ（ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ）の胎動以来続いてきた課題だった。１９５０年代胎動した記号的人工知能（ｓｙｍｂｏｌｉｃ ＡＩ（ａｒｔｉｆｉｃｉａｌ  ｉｎｔｅｌｌｉｇｅｎｃｅ））が試みられ始めた。脳の基本的な計算単位で思われた神経細胞を模写した人工神経網（ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）に基づいた情報処理機械の発展によって、字の認識、簡単な物体認識などを処理できるようになった。
【０００３】
しかし、実際に世界の複雑な情報（例えば、ウェブ上の自然イメージ、音声、テキスト、ユーチューブ動画、人の顔、表情、姿勢、行動など）を処理するには限界がある。このような問題を解決する方法にはディープラーニング技術がある。例えば、１３０万枚のイメージラベリングデータに基づいた物体認識大会（例えば、２０１２年Ｌａｒｇｅ  Ｓｃａｌｅ  Ｖｉｓｕａｌ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｃｈａｌｌｅｎｇｅ）で、ディープラーニング（ｄｅｅｐ  ｌｅａｒｎｉｎｇ）技術を利用したグループが、既存のｈａｎｄ−ｃｒａｆｔｅｄ特徴を利用したコンピューター視覚技術（例、ＳＩＦＴ（ｓｃａｌｅ  ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ、ＨＯＧｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔ）など）より遥かに高い性能を見せて注目を浴びるようになった。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、人工知能技術を利用してカスタマイズ製品、サービス、及び広告などを提供し、これに対する購買サービスを提供する方法、装置、及びシステムを提供することである。
【課題を解決するための手段】
【０００５】
本発明の実施例によれば、広告システムが提供される。前記広告システムは、カメラの映像から、使用者の性別、年齢及び視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）のうち、少なくとも一つに関する第１使用者情報を分析し、使用者の表情及び視標追跡に関する第２使用者情報を分析する情報分析部と、前記第１使用者情報に基づいて前記使用者のための話題情報を判断し、前記話題情報に係る第１広告をディスプレイ装置を通してディスプレイする広告提供部とを含んでもよい。
【０００６】
前記広告提供部は、前記使用者が前記第１広告に集中する度合いを示す第１集中度を前記第２使用者情報に基づいて判断し、前記第１集中度に基づいて前記第１広告よりさらに多い情報を含む第２広告を前記ディスプレイ装置を通してディスプレイすることができる。
【０００７】
前記広告システムは、前記第１広告または前記第２広告に係る商品に対する注文情報が入力される場合、前記商品に対する決済処理を行う購買処理部をさらに含むことができる。
【０００８】
前記広告提供部は、前記第１広告が前記ディスプレイ装置を通してディスプレイされる場合、前記使用者の瞳に対する視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）を通じて前記第１集中度を計算し、前記第１広告に対する使用者の表情及び前記第１集中度に基づいて前記第２広告のディスプレイ可否を決めることができる。
【０００９】
前記広告提供部は、前記使用者が前記第２広告に集中する度合いを示す第２集中度及び前記第２広告に対する使用者の表情に基づいて、前記第２広告を継続的に前記ディスプレイ装置を通してディスプレイするか否かを決めることができる。
【００１０】
前記購買処理部は、前記商品に対する注文情報が入力される場合、前記注文情報を決済処理機能を有する移動端末に無線で送信することができる。
【００１１】
前記ディスプレイ装置は、人を運送する運送手段内の顧客座席に取り付けられてもよい。
【００１２】
前記ディスプレイ装置の第１スクリーン領域には前記第１広告及び前記第２広告がディスプレイされ、前記ディスプレイ装置の第２スクリーン領域には前記商品がディスプレイされてもよい。
【００１３】
前記情報分析部は、物体追跡アルゴリズム、表情認識アルゴリズム、性別推定アルゴリズム、及び年齢推定アルゴリズムを含む人工知能アルゴリズムを利用して、前記映像から前記使用者を追跡し、前記使用者の表情を認識して前記使用者の性別を推定して前記使用者の年齢を推定することができる。
【００１４】
前記広告提供部は、前記使用者の行動及び既に定義された行動パターンの間のマッチング結果を利用して広告提供を変更することができる。
【００１５】
前記視標追跡は、前記第１広告が前記ディスプレイ装置を通してディスプレイされる場合、前記使用者の目の焦点が前記ディスプレイ装置のスクリーン領域を離れたか否か、そして前記目の焦点が前記スクリーン領域をどれくらい長い間離れたか否かを追跡することを含むことができる。
【００１６】
前記広告提供部は、前記第１使用者情報の視標追跡情報に基づいて前記使用者の目の焦点が前記ディスプレイ装置のスクリーン領域に向かっていると判断される場合、前記第１広告をディスプレイ装置を通してディスプレイすることができる。
【００１７】
前記使用者の行動は、前記第１広告が前記ディスプレイ装置を通してディスプレイされる間、前記使用者が首または体を回す行動、手を振る行動、及び前記ディスプレイ装置に近付く行動のうち、少なくとも一つを含むことができる。
【００１８】
また、本発明の別の実施例によれば、広告システムが広告及び商品購買に関するサービスを提供する方法が提供される。前記サービス提供方法は、カメラの映像から使用者の性別及び年齢に関する第１使用者情報、そして使用者の表情及び視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）に関する第２使用者情報を分析する段階と、前記第１使用者情報に基づいて、前記使用者のための話題情報を判断する段階と、前記話題情報に係る第１広告をディスプレイ装置を通してディスプレイする段階と、前記使用者が前記第１広告に集中する度合いを示す第１集中度を前記第２使用者情報に基づいて判断する段階と、及び前記第１集中度及び前記第１広告に対する使用者の表情に基づいて、前記第１広告よりさらに多い情報を含む第２広告を前記ディスプレイ装置を通してディスプレイする段階とを含むことができる。
【００１９】
前記分析する段階は、前記第１広告が前記ディスプレイ装置を通してディスプレイされる間に前記使用者が取る行動に関する第３使用者情報を分析する段階を含むことができる。
【００２０】
前記ディスプレイする段階は、前記第３使用者情報に基づいて、前記第２広告の提供可否または前記第１広告に係る追加商品情報の提供可否を決める段階を含むことができる。
【００２１】
前記サービス提供方法は、前記第１広告または前記第２広告に係る商品に対する注文情報が入力される場合、前記商品に対する決済処理を行う段階をさらに含むことができる。
【発明の効果】
【００２２】
本発明の実施例によれば、使用者の多様な情報（例えば、使用者の表情、年齢、行動、及び動きなど）を認識してカスタマイズ型製品、サービス、及び広告などを提供し、これに対する購買サービスを提供する方法、装置、及びシステムを提供できる。
【００２３】
また、本発明の実施例によれば、ディスプレイ装置（またはプラットフォーム）が取り付けられた航空機、列車などで広告及び商品販売の売上が向上することがある。
【００２４】
また、本発明の実施例によれば、特定個人が座る席に合う広告が特定個人に露出されるので、効果及び意味を持つ広告が使用者に効率的に提供できる。
【００２５】
また、本発明の実施例によれば、使用者反応が使用者の表情を通じて認識され、これを通じて集められたデータ（例えば、好感または非好感など）とリアルタイムデータ（例えば、リアルタイム視標追跡データ、リアルタイムで認識して推定した表情及び行動データなど）に基づいて使用者別に広告及び商品販売サービスが提供されるため、広告及び商品販売の満足度を向上できる。
【００２６】
また、本発明の実施例によれば、紙パンフレットで発行されていた免税品の販売をディスプレイ装置を通して提供することができるので、さらに多い商品群が備えられ、紙パンフレットの製作費用が節減できる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施例による広告システムを示す図面である。
【図２】本発明の実施例による各個人に合わせた広告と各個人に合わせた商品の購買に関するサービスを提供する方法を示す図面である。
【図３】本発明の実施例によるディスプレイ装置を示す図面である。
【図４】本発明の実施例による情報分析装置がカメラ映像によって人の年齢、性別、表情、及び行動などを認識する方法を示す図面である。
【図５】本発明の実施例による、顔認識結果及び行動認識結果を示す図面である。
【図６】本発明の実施例による、広告システム１０００が航空機に適用される場合のサービス提供方法を示す図面である。
【図７】本発明の実施例によるコンピューティング装置を示す図面である。
【発明を実施するための形態】
【００２８】
以下、添付の図面を参照して本発明の実施例に対して本発明が属する技術分野における通常の知識を有する者が容易に実施できるように詳しく説明する。しかし、本発明は多くの異なる形態で具現されてもよく、ここで説明する実施例に限定されない。そして図面で本発明を明確に説明するために説明と関係ない部分は省略し、明細書全体にわたって類似な部分に対しては類似な図面符号を付した。
【００２９】
本明細書において、同一な構成要素に対して重複説明は省略する。
【００３０】
また、本明細書において、ある構成要素が別の構成要素に「連結され」ていたり、「接続され」ていると言及された時は、別の構成要素に直接連結されていたり接続されていることもあるが、その中間に別の構成要素が存在することもあると理解しなければならない。一方、本明細書において、ある構成要素が別の構成要素に「直接連結され」ていたり「直接接続され」ていると言及された時は、その中間に別の構成要素が存在しないものと理解しなければならない。
【００３１】
また、本明細書で使われる用語は、単に特定の実施例を説明するために使われるもので、本発明を限定しようとする意図で使われたものではない。
【００３２】
また、本明細書において、単数の表現は文脈上明らかに違わない限り、複数の表現を含んでもよい。
【００３３】
また、本明細書において、「含む」または「持つ」などの用語は、明細書に記載された特徴、数字、段階、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定するに過ぎず、一つまたはそれ以上の別の特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものとして理解しなければならない。
【００３４】
また、本明細書において、「及び／または」という用語は、複数の記載された項目の組み合わせまたは複数の記載された項目のいずれかの項目を含む。本明細書において、「ＡまたはＢ」は、「Ａ」、「Ｂ」、または「ＡとＢともに」含んでもよい。
【００３５】
以下では、人工知能アルゴリズム（例えば、ディープラーニングアルゴリズム）に基づいた情報処理を通じてカスタマイズ型製品、サービス、及び広告などを提供し、これに対する購買サービスを提供する装置、方法、及びシステムについて説明する。ここで、人工知能アルゴリズム（例えば、ディープラーニングアルゴリズム）は、使用者の多様な情報（例えば、使用者の表情、年齢、行動、性別、または動きなど）を認識して、個人の状況による特性を分けることができる。本明細書では、説明の便宜のために、人工知能技術がディープラーニング技術の場合を挙げて本発明の実施例を説明する。ただし、これは例示であるだけで、ディープラーニング技術と違う人工知能技術が使われる場合に本発明が適用されてもよい。
【００３６】
具体的に、ディスプレイ装置に取り付け（または付着）されたカメラを通して使用者が感知及び追跡される。追跡される使用者の行動、感情、年齢、または性別などが推定され、これを通じて使用者の年齢帯、性別、及び気分が分析される。このような分析結果に基づいて、コンテンツ、商品、及びサービスがその使用者に露出され、ディスプレイ装置を通して商品についた決済が行われる。決済を完了すれば、該当商品が使用者に伝達される。
【００３７】
すなわち、本発明の実施例による、顧客の表情、行動、性別、または年齢などに関する推定データを活用してカスタマイズ広告と購買サービスを提供するシステム（以下「広告システム」）は、カメラまたは映像を通して人と物体を自動に見分けることができ、追跡された人の感情、年齢、及び性別などを推定することができる。そして、広告システムは前記推定結果を利用して各顧客に特化された広告、商品、及びサービスをおすすめすることができる。
【００３８】
既存のコンピュータービジョン（ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ）技術は、特定タスク（ｔａｓｋ）に合わせた特徴を加工して使用する。しかし、本発明の実施例による広告システムに適用されるディープラーニングモデルは、自ら大量のデータを入力し、そのデータの統計的特性をよく表現するリプリゼンテーション（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を学習する。これを通じて、本発明は多様な認知技術分野で優れた性能を持つことができる。
【００３９】
図１は、本発明の実施例による広告システムを示す図面である。
【００４０】
広告システム１０００は、表情認識データ、年齢推定データ、性別推定データ、及び行動認識データの中の少なくとも一つを利用して、各個人に合わせた広告と各個人に合わせた商品購買サービスを提供することができる。すなわち、広告システム１０００は、顧客の表情、年齢、性別、または行動などを認識及び分析し、顧客に特化した広告及び商品購買サービスを提供することができる。
【００４１】
広告システム１０００は使用者の多様な情報（例えば、表情、年齢、性別、または行動など）を認識して使用者の状況による特性を見分けることができるディープラーニングアルゴリズムを使用することができる。広告システム１０００に適用されるディープラーニングアルゴリズムは、使用者の感情、性別、及び年齢を推定し、そして／または使用者の行動を認識することができる。
【００４２】
以下では、説明の便宜のために広告システム１０００が航空機環境に適用された場合を例えて説明する。しかし、これは例示であるだけで、広告システム１０００はディスプレイ装置が取り付けられた環境（例えば、人を運送する航空機、列車など）に適用されてもよい。例えば、本発明はディスプレイ装置が各使用者のために個別的に（例えば、１：１認識）取り付けられる運送手段に適用されてもよい。
【００４３】
具体的に、広告システム１０００は、情報分析部ＩＡ１０、広告提供部４００、及び購買処理部５００を含んでもよい。
【００４４】
情報分析部ＩＡ１０は、カメラの映像から使用者の年齢、表情、性別、または行動に関する使用者情報を分析することができる。例えば、情報分析部ＩＡ１０は、物体追跡アルゴリズム、表情認識アルゴリズム、性別推定アルゴリズム、及び年齢推定アルゴリズムを含むディープラーニング（ｄｅｅｐ  ｌｅａｒｎｉｎｇ）アルゴリズムを利用してカメラ映像から使用者を追跡し、使用者の表情を認識して使用者の性別を推定し、使用者の年齢を推定することができる。他の例を挙げると、情報分析部ＩＡ１０は、行動認識アルゴリズムを含むディープラーニングアルゴリズムを利用して、使用者の行動を認識することができる。
【００４５】
具体的に、情報分析部ＩＡ１０は、人検出部１１０、人追跡部１２０、顔検出部１３０、行動認識部２１０、行動基盤使用者情報分析部２２０、表情認識部３１０、年齢推定部３２０、性別推定部３２１、及び顔基盤使用者情報分析部３３０を含むことができる。
【００４６】
人検出部１１０は、カメラの映像から人を検出することができる。
【００４７】
人追跡部１２０は、人検出部１１０によって検出された人を映像内で追跡（ｔｒａｃｋ）することができる。具体的に、人追跡部１２０は物体追跡アルゴリズムを利用することができる。例えば、人追跡部１２０の物体追跡アルゴリズムは、物体がどの位置へ行くかを予測し、前記予測された物体の位置と実際に検出された位置を比べることができる。そして、人追跡部１２０の物体追跡アルゴリズムは、位置を比較することで、次の位置に対する予測正確度を向上させ、追跡安定性を向上させる過程を繰り返すことができる。
【００４８】
顔検出部１３０は、人検出部１１０によって検出された人から顔領域を検出することができる。
【００４９】
行動認識部２１０は、行動認識アルゴリズムを通じて人の行動（例えば、歩くこと、立っていること、座っていること、ジャンプ、腕を振ることなど）を認識することができる。具体的に、行動認識部２１０の行動認識アルゴリズムは、ＲＧＢ（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ）映像と光学の流れ（ｏｐｔｉｃａｌ  ｆｌｏｗ）を利用する２ストリームＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）構造に基づいて、いくつかの条件（例えば、行動クラス、認識速度、認識の正確度、モデル作動環境など）を充たすＣＮＮモデルを設計及び高度化することができる。行動認識部２１０の行動認識アルゴリズムは、様々な環境（例えば、映像視点、明るさ、他の物体によって隠されるなど）での正確度を向上させるために、データセット追加学習を行うことができる。
【００５０】
行動基盤使用者情報分析部２２０は、行動認識部２１０の行動認識結果を利用して、行動基盤使用者情報を分析することができる。
【００５１】
表情認識部３１０は、表情認識アルゴリズムを利用して人の表情（例えば、怒り、恐れ、悲しみ、幸せ、驚き、疎ましさ、中立など）を認識することができる。表情認識部３１０の表情認識アルゴリズムは、約１００万枚以上のイメージで構成されたイメージネット（ＩｍａｇｅＮｅｔ）を利用してＣＮＮモデルを学習させることができ、顔表情認識に対するディープ（ｄｅｅｐ）ＣＮＮモデルを獲得することができる。表情認識部３１０の表情認識アルゴリズムは、獲得されたディープＣＮＮモデルを微細調整（ｆｉｎｅ−ｔｕｎｉｎｇ）することができ、ディープＣＮＮモデルの性能を向上させることができる。
【００５２】
年齢推定部３２０は、人の顔に基づいた年齢推定アルゴリズムを利用して人の年齢を推定することができる。具体的に、年齢推定部３２０の年齢推定アルゴリズムは、顔の角度を変化させて顔を検出する方法を利用して、年齢推定の正確度を向上させることができる。年齢推定部３２０の年齢推定アルゴリズムは、イメージネットを通してディープＣＮＮモデルを学習させることができ、これに対する転移学習（ｔｒａｎｓｆｅｒ  ｌｅａｒｎｉｎｇ）をデータセットを通して遂行し、年齢を推定するためのモデルを獲得することができる。年齢推定部３２０によって推定される年齢は人の現在の感情を推定するために利用されてもよい。
【００５３】
性別推定部３２１は、性別推定アルゴリズムを利用して人の性別を推定することができる。
【００５４】
顔基盤使用者情報分析部３３０は、表情認識部３１０の表情認識結果、年齢推定部３２０の年齢推定結果、及び性別推定部３２１の性別推定結果を利用して顔基盤使用者情報を分析することができる。
【００５５】
広告提供部４００は、情報分析部ＩＡ１０によって分析された使用者情報に基づいて使用者のための略式広告（例えば、ティーザー広告）をディスプレイ装置を通してディスプレイすることができる。そして、広告提供部４００は使用者が略式広告に集中する度合いを示す集中度に基づいて、略式広告よりさらに多い情報を含む正式広告（または、詳しい広告）をディスプレイ装置を通してディスプレイすることができる。
【００５６】
具体的に、広告提供部４００は行動基盤使用者情報分析部２２０の分析結果及び顔基盤使用者情報分析部３３０の分析結果の中で少なくとも一つを利用して、使用者に合う広告と商品を決めることができる。例えば、広告提供部４００は行動基盤使用者情報分析部２２０の分析結果を既に定義された行動パターンにマッチングし、前記マッチング結果によって広告（または商品）の提供を制御（例えば、ディスプレイスタート、ディスプレイ中断、ディスプレイ広告変更、ディスプレイの大きさ変更、詳細な商品情報提供など）することができる。もし広告（または商品）視聴を明示的にまたは暗黙的に否定する使用者の行動が分析される場合、広告提供部４００は分析結果に合うように、広告（または商品）のディスプレイを変更したり中断することができる。広告提供部４００が顔基盤使用者情報分析部３３０の分析結果を利用して使用者に適する広告（または商品）を決める方法については、図２を参考して後述する。
【００５７】
広告提供部４００は使用者に合う広告と商品を広告システム１０００に含まれたディスプレイ装置を通してディスプレイすることができる。
【００５８】
例えば、広告提供部４００は略式広告がディスプレイ装置を通してディスプレイされる場合、使用者の瞳に対する視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）を通じて略式広告に対する集中度を計算することができ、略式広告に対する集中度及び使用者の表情に基づいて正式広告のディスプレイ可否を決めることができる。そして、広告提供部４００は使用者が正式広告に集中する度合いを示す集中度及び正式広告に対する使用者の表情に基づいて、正式広告を継続的にディスプレイ装置を通してディスプレイするか否かを決めることができる。
【００５９】
購買処理部５００は使用者によって選択された商品に対する購買処理を行うことができる。具体的に、購買処理部５００は広告（例えば、略式広告、正式広告）に係る商品に対する注文情報が入力される場合、商品に対する決済処理を多様な方式で行うことができる。例えば、購買処理部５００はディスプレイ装置のタッチスクリーンを通じて商品注文情報が入力される場合、商品注文情報を決済処理機能を持つ移動端末（例えば、乗務員が保有している端末）に無線で送信することができる。他の例を挙げると、購買処理部５００は内蔵された決済モジュールを通じて決済処理を進めたり、乗務員が保有している端末で決済処理することができる。
【００６０】
一方、購買処理部５００は行動基盤使用者情報分析部２２０の分析結果を既に定義された行動パターンにマッチングし、前記マッチング結果によって購買処理を制御することができる。もし広告に係る商品の購買を肯定する使用者行動が分析される場合、購買処理部５００は分析結果に合うように該当商品に対する購買手続きを進めることができる。
【００６１】
図２は、本発明の実施例による各個人に合わせた広告と各個人に合わせた商品購買に関するサービスを提供する方法を示す図面である。そして、図３は本発明の実施例によるディスプレイ装置を示す図面である。
【００６２】
広告システム１０００は、顔検出、表情認識、年齢推定、性別推定、または行動認識などを通じて、乗客の表情、年齢、性別、または行動などを分析することができる（Ｓ１００）。具体的に、広告システム１０００はカメラまたは映像を通じて、顔認識、表情、性別、年齢（年齢帯）、または行動などを分析することができる。機内（例えば、機内の前方、顧客の座席など）にディスプレイ（例えば、ＩＦＥＣ（ｉｎｆｌｉｇｈｔ  ｅｎｔｅｒｔａｉｎｍｅｎｔ  ａｎｄ  ｃｏｎｎｅｃｔｉｖｉｔｙ））カメラが設置されてもよい。
【００６３】
広告システム１０００は、分析された感情情報、年齢情報、または性別情報などを利用して話題情報を抽出することができる（Ｓ１１０）。具体的に、広告システム１０００は乗客の年齢、性別、及び感情状態の中で少なくとも一つを分析したデータを利用し、データベース情報を検索するための話題情報（例えば、ｃｌａｓｓ  ｄａｔａ）を抽出することができる。
【００６４】
広告システム１０００は、抽出された話題情報に係る広告及び商品を検索することができる（Ｓ１２０）。具体的に、広告システム１０００は話題情報による分類と話題情報に係るデータをデータベースで検索することができる。広告システム１０００は検索されたデータに関連して抽出された広告及び商品情報を確認することができる。
【００６５】
広告システム１０００は検索された広告及び商品をディスプレイ装置を通してディスプレイすることができる（Ｓ１３０）。ここで、広告システム１０００のディスプレイ装置は、図３に例示されたように、航空機内の顧客の座席に取り付けられたディスプレイ装置ＤＳ１０であってもよい。ディスプレイ装置ＤＳ１０のスクリーンは、商品露出領域Ｒ１０と広告露出領域Ｒ２０を含むことができる。商品露出領域Ｒ１０には商品がディスプレイされ、広告露出領域Ｒ２０には広告がディスプレイされる。商品露出領域Ｒ１０または広告露出領域Ｒ２０は、使用者入力などによってディスプレイ装置ＤＳ１０の全スクリーンを占めることもできる。ディスプレイ装置ＤＳ１０の上段には本明細書で記述された認識及び推定動作のためのカメラＣＡＭ１が含まれてもよい。
【００６６】
具体的に、広告システム１０００はディスプレイ装置ＤＳ１０を通じて、話題情報に適する広告及び商品（例えば、機内明細商品）を簡略な形態（または略式形態）でディスプレイすることができる（以下「Ｓ１３１過程」）。例えば、広告システム１０００は、下の表１（商品及び広告区分）及び表２（商品及び広告の露出対象区分）を参考し、分析された顧客の性別及び年齢によって、商品及び広告を簡略に露出（例えば、ディスプレイ装置を通してディスプレイ）することができる。顧客に適する商品（または広告）が複数である場合、広告システム１０００は複数の商品（または広告）を順次ディスプレイすることができる。
【００６７】
【表１】
2020531987.tif 000003
【００６８】
【表２】
2020531987.tif 000004
【００６９】
例えば、広告システム１０００が分析した顧客の性別が男性で、顧客の年齢が２０代の場合、広告システム１０００はディスプレイ装置を通して、男性用スキンケアＡ、男性メーキャップＢ、男性用ボディー／ヘアＣ、男性用香水Ｄ、男性用かばん／財布Ｅ、男性時計／ジュエリーＦ、及び男性ファッション／雑貨Ｇに属する商品（または広告）を順次ディスプレイすることができる。
【００７０】
広告システム１０００は、Ｓ１３１過程で略式形態で露出された広告（または商品コンテンツ）に対する集中度（例えば、視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）を通じて瞳がディスプレイ装置のスクリーンを注視した時間を計算）及び表情（例えば、表情認識アルゴリズムに基づいた表情認識）を分析することができる。広告システム１０００は、分析された集中度及び表情に基づいて詳しい広告（または詳しい商品情報）を露出（例えば、ディスプレイ装置を通してディスプレイ）するか否かを決めることができる（以下「Ｓ１３２過程」）。例えば、男性用スキンケアＡの略式広告に対する顧客集中度が閾値より大きくて（例えば、顧客が略式広告を視聴した時間が５秒以上の場合）、分析された該当顧客の表情が幸せな表情の場合、広告システム１０００は男性用スキンケアＡの詳しい広告（または詳しい商品情報）をディスプレイ装置を通してディスプレイすることができる。
【００７１】
広告システム１０００は、Ｓ１３２過程で露出された詳しい広告（または商品）に対して集中度と表情（例えば、表情認識アルゴリズムに基づいた表情認識）を通じて該当広告（または商品）に対する関心度を判断することができる。例えば、男性用スキンケアＡの広告（または商品）に対する顧客の関心度が閾値より大きい場合、広告システム１０００は男性用スキンケアＡの広告（または商品）を持続的に露出（例えば、ディスプレイ装置を通してディスプレイ）することができる。広告システム１０００は、既に設定された最大露出回数（例えば、３回）及び最大露出時間（例えば、３分）に基づいて、広告または商品を顧客に露出することができる。例えば、男性用スキンケアＡの広告（または商品）に対する顧客の関心度が閾値より大きい場合、広告システム１０００は男性用スキンケアＡの広告（または商品）を最大３回、そして最大３分間繰り返してディスプレイすることができる。
【００７２】
広告システム１０００は顧客のスマートフォンと連動することができる。具体的に、広告システム１０００は広告または商品に対する情報をスマートフォンに送信することができる。例えば、広告システム１０００は広告に対する詳細内容を確認できるＵＲＬ（ｕｎｉｆｏｒｍ  ｒｅｓｏｕｒｃｅ  ｌｏｃａｔｏｒ）を顧客のスマートフォンに送信することができる。他の例を挙げると、広告システム１０００は、商品に対する詳細内容を確認できるＵＲＬを顧客のスマートフォンに送信することができる。
【００７３】
広告システム１０００は、商品を注文するために必須的に必要な情報を入力された場合、決済処理を行うことができる（Ｓ１４０）。具体的に、露出された商品に対する注文者情報（例えば、顧客の氏名、顧客のパスポート番号、飛行機便名（例えば、自動に入力可能）などが入力される場合、広告システム１０００は乗務員が保有している端末に商品注文情報（例えば、商品情報、注文者情報など）を送信することができる。例えば、男性用スキンケアＡの商品に対する注文者情報がディスプレイ装置のタッチスクリーンを通じて入力される場合、広告システム１０００は男性用スキンケアＡ商品に対する商品注文情報を乗務員が保有している端末に送信することができる。乗務員が保有している端末は、商品注文情報を確認することができる。
【００７４】
注文された商品が顧客に伝達されると、注文された商品に対する決済処理（例えば、カード決済処理など）が乗務員が保有している端末を通じて行われてもよい。
【００７５】
広告システム１０００は、商品を購買した顧客に対する分析情報（例えば、パターンデータ、広告（または商品）に対する集中度による購買決定度合いなど）をデータベースに保存することができる。広告システム１０００は、データベースに保存された情報を利用してディープラーニングすることができる。具体的に、広告システム１０００は、商品購買顧客に対するパターンデータ、そして顧客によって選択された商品（またはコンテンツ）を含む客体関連データを収集することができる。広告システム１０００は収集されたパターンデータ及び客体関連データに基づいた持続的な学習を通じて、顧客に対するパターンを分析することができる。広告システム１０００は、乗客の属性及び広告の属性との関係を設定することができ、類似する乗客にデータベースから抽出された広告情報または商品情報をディスプレイすることができる。広告システム１０００はデータベースで抽出された広告情報または商品情報に対する反応をフィードバックされることができ、これを利用して広告、商品、または顧客に対する適合性可否を判断することができる。
【００７６】
図４は、本発明の実施例による情報分析装置がカメラ映像から人の年齢、性別、表情、及び行動などを認識する方法を示す図面である。
【００７７】
広告システム１０００でディープラーニング技術を通じてデータを学習した情報分析装置６００がカメラに映された映像から人を検出し、検出された人の年齢、性別、及び行動などを認識（または推定）し、認識結果をフィードバックすることができる。具体的に、情報分析装置６００は情報分析部ＩＡ１０を含んでもよい。
【００７８】
情報分析装置６００は、ディープラーニングアルゴリズムを利用してカメラの映像から人を検出し、検出された人から胴体を検出することができる。情報分析装置６００は、検出された胴体から行動を認識することができる。例えば、情報分析装置６００は、歩くこと、立っていること、座っていること、ジャンプ、腕を振ることなどの行動を認識することができ、行動認識結果を出力することができる。
【００７９】
情報分析装置６００は、検出された人から顔を検出することができる。情報分析装置６００は、検出された顔から表情を認識することができ、年齢及び性別を推定することができる。例えば、情報分析装置６００は、怒り、恐れ、悲しみ、幸せ、驚き、疎ましさ、中立などの表情を認識することができ、顔認識（または推定）の結果を出力することができる。
【００８０】
図４に例示されたように、カメラ映像ＩＭＧ１が情報分析装置６００に入力される場合、情報分析装置６００は「立っている」、「笑っている」、「２０代前半」、及び「女性」などのような顔認識結果及び行動認識結果を使用者情報としてフィードバックすることができる。
【００８１】
図５は、本発明の実施例による顔認識結果及び行動認識結果を示す図面である。
【００８２】
情報分析装置６００は、カメラ映像ＩＭＧ２から目、鼻、口、及び眉間など動く角度を算出し、算出された角度によって表情を認識（または推定）することができる。例えば、カメラ映像ＩＭＧ３ａが入力される場合、情報分析装置６００は、目、口、及び眉間の動く角度に基づいて、恐れた表情を認識することができる。他の例を挙げると、カメラ映像ＩＭＧ３ｂが入力される場合、情報分析装置６００は、目、鼻、口、及び眉間の動く角度に基づいて、怒った表情を認識することができる。また他の例を挙げると、カメラ映像ＩＭＧ３ｃが入力される場合、情報分析装置６００は、目及び鼻の動く角度に基づいて、悲しむ表情を認識することができる。また他の例を挙げると、カメラ映像ＩＭＧ３ｄが入力される場合、情報分析装置６００は、目、鼻、及び口の動く角度に基づいて、喜ぶ表情を認識することができる。また他の例を挙げると、カメラ映像ＩＭＧ３ｅが入力される場合、情報分析装置６００は、目、鼻、及び眉間の動く角度に基づいて、疎ましい表情を認識することができる。また他の例を挙げると、カメラ映像ＩＭＧ３fが入力される場合、情報分析装置６００は、目、鼻、及び口の動く角度に基づいて、驚く表情を認識することができる。
【００８３】
情報分析装置６００は、頭を基準にして四肢の動き及び指の動きなどをカメラ映像ＩＭＧ４から算出し、算出された動きによって行動を認識（または推定）することができる。例えば、カメラ映像ＩＭＧ５ａが入力される場合、情報分析装置６００は脚の角度及び動きに基づいて、座る行動を認識することができる。他の例を挙げると、カメラ映像ＩＭＧ５ｂが入力される場合、情報分析装置６００は脚の角度及び動きに基づいて、起きる行動を認識することができる。また他の例を挙げると、カメラ映像ＩＭＧ５ｃが入力される場合、情報分析装置６００は頭の角度変化及び動きに基づいて、首または体を回す行動を認識することができる。また他の例を挙げると、カメラ映像ＩＭＧ５ｄが入力される場合、情報分析装置６００は複数の客体の重なり及び動きに基づいて、近づく行動を認識することができる。
【００８４】
図６は本発明の実施例による広告システム１０００が航空機に適用される場合のサービス提供方法を示す図面である。航空機内の顧客の座席にはディスプレイ装置ＤＳ１０が取り付けられてもよい。
【００８５】
広告システム１０００は、カメラを通じてカメラ映像内の人（使用者）を認識することができる（Ｓ２１０）。例えば、広告システム１０００は中立的な表情または恐れた表情を持ちながら座席に座っている使用者を認識することができる。この場合、広告システム１０００は広告または商品情報の掲示を準備することができる。
【００８６】
広告システム１０００は、認識された使用者の年齢及び性別を推定することができる（Ｓ２２０）。
【００８７】
広告システム１０００は、推定された年齢、性別、または感情を総合的に考慮して、これに合うおすすめの広告を提供することができる（Ｓ２３０）。
【００８８】
広告システム１０００は、おすすめの広告に対して、使用者の瞳の動き、感情（表情）、及び行動を推定することができる（Ｓ２４０）。
【００８９】
広告システム１０００は、Ｓ２４０段階で推定された結果を総合的（または複合的）に考慮し、延長広告を提供したり別の広告を提供することができる（Ｓ２５１、Ｓ２５２）。具体的に、Ｓ２４０段階の推定結果がＳ２３０段階のおすすめの広告に対する使用者関心度が基準値以上であることを示す場合、広告システム１０００は延長広告を提供することができる。Ｓ２４０段階の推定結果がＳ２３０段階のおすすめの広告に対する使用者関心度が基準値未満であることを示す場合、広告システム１０００は別の広告を提供することができる。
【００９０】
広告システム１０００は、使用者の行動に基づいて提供広告に係る商品の詳細情報を露出することができる（Ｓ２６０）。
【００９１】
例えば、広告が提供される間に使用者の表情が怒った表情の場合、広告システム１０００は広告（または商品）に対する使用者関心度が基準値未満（例えば、興味がない）であると判断することができる。
【００９２】
他の例を挙げると、広告が提供される間に使用者の表情が驚く表情または喜ぶ表情である場合、広告システム１０００は広告（または商品）に対する使用者関心度が基準値以上（例えば、興味がある）であると判断することができる。
【００９３】
また他の例を挙げると、広告が提供される間に使用者の表情が中立的な表情または恐れた表情である場合、広告システム１０００は広告（または商品）に対する使用者関心度が基準値未満（例えば、興味がない）であると判断することができる。
【００９４】
また他の例を挙げると、広告が提供される間に使用者が首を回したり反ったり、体を回す行動をする場合、広告システム１０００は使用者が追加商品情報を希望しないと判断して他の広告を提供することができる。
【００９５】
また他の例を挙げると、広告が提供される間に使用者がディスプレイ装置ＤＳ１０に近付く行動をする場合、広告システム１０００は使用者が追加商品情報を希望すると判断して商品の追加情報を提供することができる。
【００９６】
広告システム１０００は、使用者によって商品が選択されたり商品購買を肯定する使用者行動が分析される場合、商品に対する購買手続きを行うことができる（Ｓ２７０）。
【００９７】
広告システム１０００は、図６に例示された各段階のデータをディープラーニング基盤の学習データとして蓄積することができ、これを利用してディープラーニングモデルをアップグレードすることができる。
【００９８】
一方、本発明の他の実施例による広告システム１０００のサービス提供方法は次のとおりである。
【００９９】
広告システム１０００の情報分析部ＩＡ１０は、カメラの映像から使用者の性別、年齢、及び視標追跡（ｅｙｅ  ｔｒａｃｋｉｎｇ）の中で少なくとも一つに関する使用者情報（例えば、第１使用者情報）を分析し、使用者の表情及び視標追跡に関する使用者情報（例えば、第２使用者情報）を通じて分析することができる。
【０１００】
広告システム１０００の広告提供部４００は、第１使用者情報に基づいて使用者のための話題情報を判断することができる。
【０１０１】
広告システム１０００の広告提供部４００は、話題情報に係る第１広告（例えば、略式広告）をディスプレイ装置ＤＳ１０を通してディスプレイすることができる。具体的に、広告システム１０００の広告提供部４００は、第１使用者情報の視標追跡情報に基づいて使用者の目の焦点がディスプレイ装置ＤＳ１０のスクリーン領域に向かっている（見ていること）と判断する場合、第１広告をディスプレイ装置ＤＳ１０を通してディスプレイすることができる。
【０１０２】
広告システム１０００の広告提供部４００は、使用者が第１広告に集中する度合いを示す集中度（例えば、第１集中度）を第２使用者情報（例えば、目の動きを追跡、使用者の表情など）に基づいて判断することができる。
【０１０３】
広告システム１０００の広告提供部４００は、第１集中度に基づいて第１広告よりさらに多い情報を含む第２広告（例えば、正式広告）をディスプレイ装置ＤＳ１０を通してディスプレイすることができる。具体的に、広告システム１０００の広告提供部４００は、第１広告がディスプレイ装置ＤＳ１０を通してディスプレイされる場合、使用者の瞳に対する視標追跡を通じて第１集中度を計算することができる。広告システム１０００の広告提供部４００は、第１広告に対する使用者の表情及び第１集中度に基づいて第２広告のディスプレイ可否を決めることができる。視標追跡は、広告がディスプレイ装置ＤＳ１０を通してディスプレイされる場合、使用者の目の焦点がディスプレイ装置ＤＳ１０のスクリーン領域を離れたか否か、そして目の焦点がスクリーン領域をどれぐらい長い間離れたかを追跡することを含むことができる。使用者の表情は、眉間（二つの眉毛の間の距離）の変化の度合い、口模様の変化の度合い、口元（口の両側の隅）の変化の度合いなどを含むことができる。
【０１０４】
広告システム１０００の広告提供部４００は、使用者が第２広告に集中する度合いを示す第２集中度及び第２広告に対する使用者の表情に基づいて第２広告を継続的にディスプレイ装置ＤＳ１０を通してディスプレイするか否かを決めることができる。
【０１０５】
広告システム１０００の情報分析部ＩＡ１０は、広告（例えば、略式広告または正式広告）がディスプレイ装置ＤＳ１０を通してディスプレイされる間に使用者が取る行動に関する使用者情報（例えば、第３使用者情報）を分析することができる。使用者の行動は、身体や首を回す行動及びその度合い、手を振る行動及びその度合い、手の動作、ディスプレイ装置ＤＳ１０と使用者の顔との間の距離の変化度合い、ディスプレイ装置ＤＳ１０をインターフェースする行動（例えば、ディスプレイ装置ＤＳ１０をタッチする行動）及びその度合い、首を動かす行動及びその度合いなどを含むことができる。
【０１０６】
広告システム１０００の広告提供部４００は、第３使用者情報に基づいて広告提供可否（例えば、正式広告提供可否など）または広告に係る追加商品情報の提供可否を決めることができる。
【０１０７】
図７は、本発明の実施例によるコンピューティング装置を示す図面である。図７のコンピューティング装置ＴＮ１００は、本明細書に記述された装置（例えば、広告システム１０００に適用される装置など）であってもよい。例えば、コンピューティング装置ＴＮ１００は情報分析装置６００であってもよい。他の例を挙げると、コンピューティング装置ＴＮ１００は広告提供部４００を含む広告提供装置であってもよい。また他の例を挙げると、コンピューティング装置ＴＮ１００は購買処理部５００を含む購買処理装置であってもよい。
【０１０８】
図７の実施例において、コンピューティング装置ＴＮ１００は少なくとも一つのプロセッサＴＮ１１０、通信装置ＴＮ１２０、及びメモリーＴＮ１３０を含むことができる。また、コンピューティング装置ＴＮ１００は、保存装置ＴＮ１４０、入力インターフェース装置ＴＮ１５０、出力インターフェース装置ＴＮ１６０などをさらに含むことができる。コンピューティング装置ＴＮ１００に含まれた構成要素は、バス（ｂｕｓ）ＴＮ１７０によってつながって互いに通信することができる。
【０１０９】
プロセッサＴＮ１１０は、メモリーＴＮ１３０及び保存装置ＴＮ１４０の中の少なくとも一つに保存されたプログラム命令（ｐｒｏｇｒａｍ  ｃｏｍｍａｎｄ）を実行することができる。プロセッサＴＮ１１０は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、グラフィック処理装置（ＧＰＵ：ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）、または本発明の実施例による方法が行われる専用プロセッサを意味することもある。プロセッサＴＮ１１０は、本発明の実施例と関連して記述された手続き、機能、及び方法などを具現できるように構成されてもよい。プロセッサＴＮ１１０はコンピューティング装置ＴＮ１００の各構成要素を制御することができる。
【０１１０】
メモリーＴＮ１３０及び保存装置ＴＮ１４０のそれぞれは、プロセッサＴＮ１１０の動作に関連する多様な情報を保存することができる。メモリーＴＮ１３０及び保存装置ＴＮ１４０のそれぞれは、揮発性保存媒体及び非揮発性保存媒体の中の少なくとも一つで構成されてもよい。例えば、メモリーＴＮ１３０は読み取り専用メモリー（ＲＯＭ：ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）及びランダムアクセスメモリー（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）の中の少なくとも一つで構成されてもよい。
【０１１１】
通信装置ＴＮ１２０は、有線信号または無線信号を送信または受信することができる。通信装置ＴＮ１２０はネットワークにつながって通信することができる。
【０１１２】
一方、本明細書で記述された本発明の実施例は、多様な方式で結合（または混合、組み合わせ、併合）されてもよい。
【０１１３】
一方、本発明の実施例は、今まで説明した装置及び／または方法を通じてのみ具現されるのではなく、本発明の実施例の構成に対応する機能を実現するプログラム、またはそのプログラムが記録された記録媒体を通じて具現されてもよく、このような具現は上述した実施例の記載から本発明が属する技術分野における通常の技術者であれば容易に具現することができる。
【０１１４】
以上、本発明の実施例について詳細に説明したが、本発明の権利範囲はこれに限定されず、次の請求範囲で定義している本発明の基本概念を利用した通常の技術者の多くの変形及び改良形態もまた本発明の権利範囲に属する。
【図１】
2020531987.tif 000005
【図２】
2020531987.tif 000006
【図３】
2020531987.tif 000007
【図４】
2020531987.tif 000008
【図５】
2020531987.tif 000009
【図６】
2020531987.tif 000010
【図７】
2020531987.tif 000011
【国際調査報告】
2020531987.tif 000012
2020531987.tif 000013
2020531987.tif 000014
2020531987.tif 000015