(57)【要約】人工知能透明ディスプレイの動作方法は、人工知能透明ディスプレイに具現された複数のセンサがユーザーの情報をセンシングする段階、人工知能透明ディスプレイに具現された人工知能プロセッサがユーザー情報に基づいて反応動作情報を生成する段階と人工知能透明ディスプレイに具現された透明ディスプレイ上で出力される人工知能オブジェクトが反応動作情報による動作を行う段階を含むことができる。【選択図】図１
2019522273.tif 000002
【特許請求の範囲】
【請求項１】
人工知能透明ディスプレイの動作方法であって、
前記人工知能透明ディスプレイに具現された複数のセンサがユーザーの情報をセンシングする段階； 
前記人工知能透明ディスプレイに具現された人工知能プロセッサが前記ユーザー情報に基づいて反応動作情報を生成する段階；
前記人工知能透明ディスプレイに具現された透明ディスプレイ上で出力される人工知能オブジェクトが前記反応動作情報による動作を行う段階；を含む
ことを特徴とする方法。
【請求項２】
前記複数のセンサは、顔認識センサ、音声認識センサ及び動作認識センサを含み、
前記ユーザー情報は、前記顔認識センサにより生成された表情情報、前記音声認識センサにより生成された音声情報、前記動作認識センサにより生成された動作情報を含む
請求項１に記載の方法。
【請求項３】
前記顔認識センサは、初期に獲得されたユーザーの基本表情情報に基づいて前記ユーザーの顔に含まれる各構成部の動き及び前記顔の筋肉の動きを分析し、複数の表情カテゴリーの中から一つの表情カテゴリーを前記表情情報として決定し、
前記顔認識センサは、前記ユーザーの表情変化の程度を検出し、前記表情情報を生成するための表情変化センシング感度を決定する
請求項２に記載の方法。
【請求項４】
前記音声認識センサは、初期に取得された前記ユーザーの初期音声情報に基づいて前記ユーザーの音声に対する特徴情報を抽出し、前記特徴情報に基づいて入力される音の中から前記ユーザーの音声を抽出し、前記人工知能透明ディスプレイは、前記初期音声情報に基づいて変化した前記ユーザーの音声の大きさ及び速さの変化をセンシングして前記ユーザーの感情を判断し、前記反応動作情報を生成する
請求項３に記載の方法。
【請求項５】
前記動作認識センサは、前記ユーザーの動作のパターン及び前記ユーザーの動作の大きさをセンシングし、
前記人工知能透明ディスプレイは、前記動作のパターン及び前記動作の大きさを考慮して前記ユーザーの感情の大きさを決定し、前記反応動作情報を生成する
請求項４に記載の方法。
【請求項６】
人工知能透明ディスプレイは、
ユーザー情報をセンシングするように具現された複数のセンサ； 
前記ユーザー情報に基づいて反応動作情報を生成するように具現される人工知能プロセッサ； 
透明ディスプレイ上で出力される人工知能オブジェクトが前記反応動作情報による動作を行う人工知能オブジェクトを出力するように具現される透明ディスプレイ；を含む
ことを特徴とする人工知能透明ディスプレイ。
【請求項７】
前記複数のセンサは、顔認識センサ、音声認識センサ及び動作認識センサを含み、
前記ユーザー情報は、前記顔認識センサにより生成された表情情報、前記音声認識センサにより生成された音声情報、前記動作認識センサにより生成された動作情報を含む
請求項６に記載の人工知能透明ディスプレイ。
【請求項８】
前記顔認識センサは、初期に獲得されたユーザーの基本表情情報に基づいて前記ユーザーの顔に含まれる各構成部の動き及び前記顔の筋肉の動きを分析し、複数の表情カテゴリーの中から一つの表情カテゴリーを前記表情情報として決定し、
前記顔認識センサは、前記ユーザーの表情変化の程度を検出して前記表情情報を生成するための表情変化センシング感度を決定する
請求項７に記載の人工知能透明ディスプレイ。
【請求項９】
前記音声認識センサは、初期に取得された前記ユーザーの初期音声情報に基づいて前記ユーザーの音声に対する特徴情報を抽出し、前記特徴情報に基づいて入力される音の中から前記ユーザーの音声を抽出し、前記人工知能プロセッサは、前記初期音声情報に基づいて変化した前記ユーザーの音声の大きさ及び速さの変化をセンシングして前記ユーザーの感情を判断し、前記反応動作情報を生成する
請求項８に記載の人工知能透明ディスプレイ。
【請求項１０】
前記動作認識センサは、前記ユーザーの動作のパターン及び前記ユーザーの動作の大きさをセンシングし、
前記人工知能プロセッサは、前記動作のパターン及び前記動作の大きさを考慮して前記ユーザーの感情のサイズを決定し、前記反応動作情報を生成する
請求項９に記載の人工知能透明ディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに関し、より詳しくは、人工知能透明ディスプレイの動作方法及び人工知能透明ディスプレイに関する。
【背景技術】
【０００２】
ＣＲＴ（cathode ray tube）に次いで、ディスプレイの主役となったフラットパネルディスプレイがこれまで飛躍的に発展する過程で、大型化と薄型化を成し遂げたとすれば、将来の中核進化の方向にフレキシブル（flexible）化と透明（transparent）化が多く話されている。一般に、透明ディスプレイとは、映像がオフになっている状態で、ディスプレイ素子が認知可能なレベルの透過度を有し、映像が入っている状態でも、透過度が一部維持されるディスプレイを通称する。まだ開発の初期段階であるため、ｏｎ／ｏｆｆ状態で透過度がそれぞれあるレベル以上にならなければならないとか、透明ディスプレイの固有の画質測定基準が何かなどが確立されていない状態であるが、少なくとも画面のｏｆｆ状態で画面の背景を認知できるように製作されたディスプレイは、すべて透明ディスプレイに属すると言える。
【０００３】
現在、ディスプレイ市場の主力と言えるＬＣＤ（liquid crystal display）（ＬＥＤ（light emitting diode）ＬＣＤを含む）ＴＶの技術障壁が次第に低くなる中で、国家の全面的な支援を受ける中国のメーカーの供給能力の拡大により国内ＴＶ及びパネルメーカーの収益性が脅かされており、このような傾向が定着する可能性も非常に高いのが現実である。スマートフォン及びタブレットＰＣの登場とともに、その需要が増えている高級仕様の中小型ディスプレイの場合、いままでは韓国及び日本の先進企業が市場を掌握しているが、間もなくＴＶの前例に従う可能性が高いと言える。このような困難を克服するためには、新たな付加価値を有する競争力のある製品としてＴＶ、モバイル用など、既存のディスプレイ市場の支配力を強化しながら、同時に新たなディスプレイ市場を創出しなければならないが、透明ディスプレイが有力な突破口になると期待される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一側面は、人工知能透明ディスプレイの動作方法を提供する。
【０００５】
本発明の他の側面は、人工知能透明ディスプレイを提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面による人工知能透明ディスプレイの動作方法は、前記人工知能透明ディスプレイに具現された複数のセンサがユーザーの情報をセンシングする段階、前記人工知能透明ディスプレイに具現された人工知能プロセッサが前記ユーザー情報をベースに反応動作情報を生成する段階と、前記人工知能透明ディスプレイに具現された透明ディスプレイ上で出力される人工知能オブジェクトが前記反応動作情報による動作を行う段階を含むことができる。
【０００７】
一方、前記複数のセンサは、顔認識センサ、音声認識センサ及び動作認識センサを含み、前記ユーザー情報は、前記顔認識センサにより生成された表情情報、前記音声認識センサにより生成された音声情報、前記動作認識センサにより生成された動作情報を含むことができる。
【０００８】
また、前記顔認識センサは、初期に獲得されたユーザーの基本表情情報に基づいて前記ユーザーの顔に含まれる各構成部の動き及び前記顔の筋肉の動きを分析し、複数の表情カテゴリーのいずれか一つの表情カテゴリーを前記表情情報として決定し、前記顔認識センサは、前記ユーザーの表情変化の程度を探知して前記表情情報を生成するための表情変化センシング感度を決定することができる。
【０００９】
また、前記音声認識センサは、初期に取得された前記ユーザーの初期音声情報に基づいて前記ユーザーの音声に対する特徴情報を抽出し、前記特徴情報に基づいて入力される音の中から前記ユーザーの音声を抽出し、前記人工知能透明ディスプレイは、前記初期音声情報に基づいて変化した前記ユーザーの音声の大きさ及び速さの変化をセンシングして前記ユーザーの感情を判断し、前記反応動作情報を生成することができる。
【００１０】
また、前記動作認識センサは、前記ユーザーの動作のパターン及び前記ユーザーの動作の大きさをセンシングし、前記人工知能透明ディスプレイは、前記動作のパターン及び前記動作の大きさを考慮し、前記ユーザーの感情の大きさを決定して前記反応動作情報を生成することができる。
【００１１】
本発明のもう一つの側面による人工知能透明ディスプレイは、ユーザー情報をセンシングするように具現された複数のセンサ、前記ユーザー情報に基づいて反応動作情報を生成するように具現される人工知能プロセッサと透明ディスプレイ上で出力される人工知能オブジェクトが前記反応動作情報による動作を行う人工知能オブジェクトを出力するように具現される透明ディスプレイを含むことができる。
【００１２】
一方、前記複数のセンサは、顔認識センサ、音声認識センサ及び動作認識センサを含み、前記ユーザー情報は、前記顔認識センサにより生成された表情情報、前記音声認識センサにより生成された音声情報、前記動作認識センサにより生成された動作情報を含むことができる。
【００１３】
また、前記顔認識センサは、初期に獲得されたユーザーの基本表情情報に基づいて前記ユーザーの顔に含まれる各構成部の動き及び前記顔の筋肉の動きを分析し、複数の表情カテゴリーのいずれか一つの表情カテゴリーを前記表情情報と決定し、前記顔認識センサは、前記ユーザーの表情変化の程度を検出して前記表情情報を生成するための表情変化センシング感度を決定することができる。
【００１４】
また、前記音声認識センサは、初期に取得された前記ユーザーの初期音声情報に基づいて前記ユーザーの音声に対する特徴情報を抽出し、前記特徴情報に基づいて入力される音の中から前記ユーザーの音声を抽出し、前記人工知能プロセッサは、前記初期音声情報に基づいて変化した前記ユーザーの音声の大きさ及び速さの変化をセンシングして前記ユーザーの感情を判断し、前記反応動作情報を生成することができる。
【００１５】
また、前記動作認識センサは、前記ユーザーの動作のパターン及び前記ユーザーの動作の大きさをセンシングし、前記人工知能プロセッサは、前記動作のパターン及び前記動作の大きさを考慮し、前記ユーザーの感情の大きさを決定して前記反応動作情報を生成することができる。
【発明の効果】
【００１６】
本発明の実施例に係る人工知能透明ディスプレイの動作方法及び人工知能透明ディスプレイによると、ユーザーにより生成された表情情報、音声情報、動作情報に基づいてユーザーと相互作用を行うことにより、ユーザーのためのサービス分野において多様に活用され、ユーザーの利便性を向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例に係る人工知能透明ディスプレイを示す概念図
【図２】本発明の実施例に係る人工知能透明ディスプレイの動作を示す概念図
【図３】本発明の実施例に係る人工知能透明ディスプレイの表情情報の判断方法を示す概念図
【図４】本発明の実施例に係る人工知能透明ディスプレイの動作を示す概念図
【図５】本発明の実施例に係る人工知能透明ディスプレイの動作を示す概念図
【図６】本発明の実施例に係る人工知能透明ディスプレイの動作を示す概念図
【発明を実施するための形態】
【００１８】
後述する本発明の詳細な説明は、本発明が実施される特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施するのに十分であるように詳しく説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はない。例えば、これに記載されている特定の形状、構造及び特性は一実施例に関連し、本発明の精神及び範囲を逸脱しないながら他の実施例で具現されることができる。また、それぞれの開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱しないながら変更され得る。したがって、後述する詳細な説明は、限定的な意味として取ろうとしたものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似した参照符号は、種々の側面に亘って同一または類似した機能を指す。
【００１９】
以下、図面を参照し、本発明の望ましい実施例をより詳しく説明する。
【００２０】
図１は、本発明の実施例に係る人工知能透明ディスプレイを示す概念図である。
【００２１】
図１では、ユーザーとの実際の会話が可能な仮想キャラクターが提供される人工知能透明ディスプレイ装置が開示される。
【００２２】
図１を参照すると、人工知能透明ディスプレイは、ユーザーの表情、動き、音などを感知するセンサ（１００）及びセンサによりセンシングされた情報を分析し、ユーザーと相互作用を行える人工知能プロセッサ（１２０）及び透明ディスプレイ（１４０）を含むことができる。
【００２３】
人工知能透明ディスプレイに具現されたセンサ（１００）は、人工知能透明ディスプレイの前面に位置するユーザーの表情を検出する顔認識センサ、ユーザーの動きをセンシングする動作認識センサ、ユーザーの音声情報をセンシングする音声認識センサなどを含むことができる。このようなセンサ（１００）は、一つの例示として、他の多様なセンサが人工知能透明ディスプレイとユーザーとの相互作用のために活用されることができる。
【００２４】
人工知能プロセッサ（１２０）は、センサ（１００）から受信したセンシング情報（表情情報、動作情報、音声情報など）をベースにしたユーザーとの相互作用のために具現されることができる。人工知能透明ディスプレイは、透明ディスプレイ（１４０）を通じて人工知能オブジェクト（例えば、人のイメージ）を提供することができ、人工機能オブジェクトは、人工知能プロセッサ（１２０）に基づいて、ユーザーとの相互作用を行うすることができる。人工知能透明ディスプレイの画面は、透明ディスプレイ（transparent display）（１４０）で具現され、人工知能オブジェクトが出力される部分を除いた残りの部分は透明に表示されることができる。
【００２５】
例えば、人工知能プロセッサ（１２０）は、顔認識センサから受信したユーザーの表情情報／音声認識センサから受信した音声情報に基づいてユーザーの表情に応じた会話の内容を反応動作情報として生成することができる。人工知能プロセッサ（１２０）は、生成された会話の内容を反応動作情報として人工知能オブジェクトが発話するように制御することができる。
【００２６】
本発明の実施例に係る人工知能透明ディスプレイは、多様な分野で活用されることができる。
【００２７】
例えば、人工知能透明ディスプレイは、飲食店やバー（ｂａｒ）のような空間で活用されることができる。具体的には、人工知能透明ディスプレイは、ご飯を食べたり、お酒を飲むユーザーの表情情報、動作情報、音声情報などのユーザー情報を人工知能透明ディスプレイに具現された多様なセンサを通じて取得し、ユーザー情報に対する反応動作情報を生成することができる。人工知能透明ディスプレイの画面上で出力される人工知能オブジェクトは反応動作情報に基づいた動作を行うことができる。例えば、人工知能オブジェクトは、ユーザーの表情情報とユーザーにより発話した声の情報を分析し、ユーザーに最適の答えを提供することができる。
【００２８】
また他の例として、人工知能透明ディスプレイは、介護のための場所／病院等に設置され、患者に対話の相手としての役割を行うことができる。人工知能透明ディスプレイは車椅子に乗った挙動が不便な患者の対話の相手としての役割を行うことができる。
【００２９】
または人工知能透明ディスプレイは、患者の状態をセンシングし、介護するための役割を行うことができる。具体的には、人工知能透明ディスプレイは、認知症の患者、高齢介護対象者に対する介護、看護の役割を行うことができる。人工知能透明ディスプレイは、Ｂｌｕｅｔｏｏｔｈ（登録商標）で連結された「スマートバンド」とディスプレイ機器の上部に位置した「行動認識センサ、音声認識センサ、顔認識センサ」などのようなセンサを通じて患者の各種の健康情報（体温、脈拍、血圧、表情、動きなど）を継続的に測定、観察することができる。人工知能透明ディスプレイは、通常は、患者の話し相手をしながら認知症（痴呆、Alzheimer）の患者、高齢の介護対象者に必要な体操や脳の発達ゲーム、クイズなどを通じて無聊を慰めることができる。また、人工知能透明ディスプレイは、ユーザーが若い頃によく聞いていた音楽、映画、ドラマなどを検索し、タイムリーに再生して一人でいる患者が孤独を感じないように、多様なエンターテイメントサービスを提供することができる。
【００３０】
また、人工知能透明ディスプレイは、患者が薬を飲む時間、食事時間を知らせ、トイレに行きたいかについて聞いて必要な時に介護者を呼び出すことができる。睡眠時間以外に動きがないとか、健康に異常が発見されると、すぐに危険度に応じて呼び出しのターゲットを人工知能が判断し、医師、看護師、あるいは家族に通知することができる。
【００３１】
また、料理サポート、事務アシスタント、会社及び／またはホテルにおける案内・受付、カラオケ、幼稚園、保育園、学校、福祉施設などのために、人工知能透明ディスプレイが活用されることができる。具体的には、人工知能透明ディスプレイは、ユーザーが特定の料理をする場合、特定の料理のレシピに関する情報を人工知能オブジェクトを通じて提供することができる。また、人工知能オブジェクトが事務的な秘書の役割を実行し、簡単な電話業務とスケジューリング業務を行うこともできる。また、会社及びホテルのコンシェルジュ（concierge）でユーザーに対する部屋の予約のような業務が人工知能透明ディスプレイ上の人工知能オブジェクトを通じて行うことができる。また、カラオケのような場所で人工知能透明ディスプレイ上の人工知能オブジェクトが曲に応じた演奏を行うこともできる。また、学校、保育園、幼稚園で人工知能透明ディスプレイ上の人工知能オブジェクトが幼児、学生とのコミュニケーションを通じて学習カリキュラムを提供することもできる。それだけでなく、福祉施設において高齢者に話し相手になってくれたり、プログラムを提供するために人工知能透明ディスプレイ上の人工知能オブジェクトが利用されることもある。
【００３２】
人工知能オブジェクトは、ユーザーの選択に応じてダウンロードすることができる。例えば、アプリストアサーバーのようなダウンロード可能なサーバーを通じて、ユーザーは、人工知能オブジェクトを選択してダウンロードすることができ、ダウンロードされた人工知能オブジェクトは、人工知能透明ディスプレイ上で出力されることができる。人工知能オブジェクトとして多様なキャラクターが開発され、人工知能オブジェクトの販売が一つの収益モデルとして活用されることができる。例えば、アイドル、漫画のキャラクター、モデル、タレント、コメディアンまたはユーザーに関連する人物（例えば、家族）が人工知能オブジェクトとして利用することができる。
【００３３】
図２は、本発明の実施例に係る人工知能透明ディスプレイの動作を示す概念図である。
【００３４】
図２では、人工知能透明ディスプレイが多様なセンサから収集された情報に基づいて反応操作を行う方法が開示される。
【００３５】
図２を参照すると、顔認識センサ（２００）は、ユーザーの表情情報を決定することができる。例えば、顔認識センサ（２００）は、表情情報を、怒り、喜び、悲しみ、憂鬱、興奮、無表情など、多様な表情カテゴリーのいずれか一つに決定することができる。顔認識センサ（２００）は、ユーザーの顔から目の動き、唇の動き、顔筋肉の動きなどを分析して表情情報を多様な表情カテゴリーのいずれかに決定することができる。具体的には顔認識センサ（２００）は、ユーザーの基本的な顔の表情を基準に変化の程度を考慮し、表情情報（２５０）を、多様な表情カテゴリーのいずれかに決定することができる。ユーザーごとに感情により変化する顔筋肉の程度、目、口の形が異なるため、顔認識センサ（２００）は、ユーザーごとに検出感度を異なって設定することができる。
【００３６】
例えば、顔認識センサ（２００）は、設定された時間の間、ユーザーとの最初の相互作用を通じてユーザーの表情変化の程度を検出し、ユーザーの表情変化の感度を決定することができる。顔認識センサ（２００）は、表情の変化の幅が大きいユーザーの表情変化感度を１と設定して表情の変化のセンシング感度を相対的に下げ、表情の変化の幅が大きいユーザーの表情変化感度を５と設定して表情の変化のセンシング感度を相対的に高めることができる。
【００３７】
それだけでなく、ユーザーに適応的に分析アルゴリズムを変化させることができる。例えば、ユーザーが笑う顔をする場合には、ユーザーの目と口の変化に関する情報が取得されることができる。ユーザーにより目の変化、口の変化が異なることができ、このような具体的なユーザー別の表情変化の違いに関する情報は、ユーザーと人工知能透明ディスプレイの相互作用の間に獲得されることができる。
【００３８】
具体的には、顔認識センサ（２００）は、ユーザーの表情を笑顔と判断することができ、人工知能透明ディスプレイは顔認識センサ（２００）により認識された第１のユーザー情報（表情情報）に基づいて第１の反応動作情報を生成することができる。ユーザーは、人工知能透明ディスプレイの第１の反応動作情報に基づいて再度第２ユーザー情報（表情情報、動作情報、音声情報など）を生成することができる。人工知能透明ディスプレイは、受信した第２のユーザー情報に基づいて第１の反応動作情報が正確か否かについて判断し、結果的には、第１のユーザー情報が顔認識センサにより正確にセンシングされた結果かどうかを判断することができる。
【００３９】
もし、第１ユーザー情報が顔認識センサ（２００）により正確にセンシングされた結果である場合には、顔認識センサは、同じ分析アルゴリズムを使用してユーザーの表情情報を生成することができる。逆に、第１のユーザー情報が顔認識センサ（２００）により正確にセンシングされた結果ではないと判断された場合には、顔認識センサ（２００）は、解析アルゴリズムを変化させ、ユーザーの表情情報（２５０）を生成することができる。
【００４０】
具体的には、逆に、第１のユーザー情報が顔認識センサ（２００）により正確にセンシングされた結果ではないと判断された場合には、顔認識センサ（２００）は、解析アルゴリズムを変更することができる。例えば、ユーザーに同じ表情が発生した場合には、ユーザーの表情が第１のユーザー情報と判断されないように解析アルゴリズム上の目、口などの構成部の変化と顔の筋肉の変化度を調整することができる。
【００４１】
図２では、顔認識センサ（２００）が、ユーザー情報（表情情報）に関する判断まで行う場合を想定したが、顔認識センサ（２００）は、ユーザーの顔面に起こった変化に対してのみ検出され、人工知能プロセッサがユーザーの顔面に起こった変化に基づいてユーザー情報（表情情報（２５０））に関する判断を行うこともできる。
【００４２】
図３は、本発明の実施例に係る人工知能透明ディスプレイの表情情報の判断方法を示す概念図である。
【００４３】
図３では、ユーザーのユーザー情報として表情情報をより明確に判断するための方法が開示される。
【００４４】
図３を参照すると、複数の人工知能透明ディスプレイは、人工知能透明ディスプレイサーバー（３００）と連結することができ、複数の人工知能透明ディスプレイのそれぞれは、入力されたユーザーのイメージとユーザーのイメージに基づいて判断されたユーザーの表情情報及び表情情報の判断の正誤如何に関する情報（以下、表情判断エラー情報）を人工知能透明ディスプレイサーバー（３００）に送信することができる。表情判断エラー情報は、ユーザーのイメージに基づいて生成されたユーザーの表情情報が正確か不正確かについての情報であることができる。前述したように、表情判断エラー情報は、表情情報に基づいて生成された人工知能透明ディスプレイの反応動作情報に対するユーザーの反応であるユーザー情報を考慮して決定することができる。
【００４５】
人工知能透明ディスプレイサーバー（３００）は、複数の人工知能透明ディスプレイのそれぞれから受信したユーザーのイメージ、ユーザー表情情報及び表情判断エラー情報に基づいて学習を通じてより正確な表情情報を生成するための判断アルゴリズムを生成することができる。例えば、人工知能透明ディスプレイサーバー（３００）は、ディップランニングのような機械学習アルゴリズムに基づいて、より正確な表情情報を生成するための判断アルゴリズムを継続的に更新することができる。
【００４６】
人工知能透明ディスプレイサーバー（３００）は、更新された表情情報判断アルゴリズムを複数の人工知能透明ディスプレイのそれぞれに転送することができ、複数の人工知能透明ディスプレイのそれぞれは、更新された表情情報判断アルゴリズムに基づいて表情情報に対する判断を行うことができる。
【００４７】
具体的な例として、人工知能透明ディスプレイサーバー（３００）は、統一的な一つの表情情報判断アルゴリズムを人工知能透明ディスプレイに提供するものではなく、ユーザーのイメージ別に、最も適切な表情情報判断アルゴリズムを提供することができる。ユーザーのイメージに基づいて、ユーザーの性別、年齢、頭上、顔の筋肉などを分析し、ユーザーの性別、年齢、頭上、顔の筋肉などに最適な表情情報判断アルゴリズムが提供されることができる。
【００４８】
図４は、本発明の実施例に係る人工知能透明ディスプレイの動作を示す概念図である。
【００４９】
図４では、人工知能透明ディスプレイが多様なセンサから収集された情報に基づいて反応操作を行う方法が開示される。
【００５０】
図４を参照すると、音声認識センサ（４００）は、ユーザーの音声情報（４２０）を収集することができる。
【００５１】
音声認識センサ（４００）は、ユーザーから初期音声情報（４２０）を受信し、初期音声情報（４２０）に基づいて、ユーザーの音声に対する特徴情報を取得することができる。例えば、音声認識センサ（４００）は、周囲の環境により発生する騒音の中からユーザーの声を分離するために、ユーザーの音声に対する特徴情報を取得し、入力された音情報の中から、ユーザーの音声情報だけを取得することができる。
【００５２】
音声認識センサ（４００）は、受信された音声情報（４２０）をテキスト情報（４４０）に変換することができる。例えば、ユーザーが「明日遊園地に行くつもり」という文章を音声で発話した場合には、音声認識センサ（４００）は、ユーザーにより発話された音声をテキストに変換し、ユーザー情報として人工知能プロセッサに転送ことができる。
【００５３】
人工知能プロセッサは、テキスト化されたユーザーの発話音声をユーザー情報として受信し、テキスト化されたユーザーの発話音声に対する反応動作情報を生成し、人工知能オブジェクトが反応動作情報に基づいて動作を行うように具現ことができる。例えば、人工知能プロセッサは、ユーザー情報として「明日遊園地に行くつもり」というテキスト情報を受信した場合には、人工知能オブジェクトがテキスト情報に対する反応動作情報として「どの遊園地に行く？」、「楽しいだろう、乗り物は何乗ろうとして？」のような音声情報を出力するように具現することができる。
【００５４】
このような人工知能プロセッサにより生成された反応動作情報は、多様な方法に基づいて決定されることができる。
【００５５】
音声認識センサ（４００）は、初期音声情報に基づいてユーザーの感情状態もさらに判断することができる。例えば、音声認識センサ（４００）は、入力されたユーザーの音声の大きさ及びユーザーの声の速さを考慮し、ユーザーの感情を判断することができる。例えば、ユーザーの声が大きくなったり、ユーザーの音声の発話速度が速くなる場合には、ユーザーの感情が激したと判断し、表情認識センサにより判断されたユーザーの表情カテゴリーとのマッチング有無と感情の程度について判断することができる。
【００５６】
例えば、ユーザーの表情カテゴリーが怒りと判断された場合、音声認識センサ（４００）を通じて入力されるユーザーの音声の大きさとユーザーの声の速さがさらに考慮され、人工知能透明ディスプレイは、ユーザーの感情の程度（例えば、例えば、怒りの程度）の具体的な判断を行うことができる。
【００５７】
図５は、本発明の実施例に係る人工知能透明ディスプレイの動作を示す概念図である。
【００５８】
図５では、人工知能透明ディスプレイがテキスト化されたユーザーの発話音声に対する反応動作情報を生成するための方法が開示される。
【００５９】
図５を参照すると、人工知能透明ディスプレイと連結している人工知能透明ディスプレイサーバー（５００）は、既存に存在する多様なマルチメディア情報から対話情報を受信し、対話情報に基づいて機械学習を通じて反応情報を生成するように具現することができる。
【００６０】
例えば、人工知能透明ディスプレイサーバー（５００）は、既存に存在する多様なマルチメディア情報から対話情報を抽出し、抽出された会話情報に対する機械学習を通じて反応情報を生成し、データベースを形成することができる。人工知能透明ディスプレイサーバー（５００）は、ユーザーのテキスト化されたユーザーの発話音声を受信し、機械学習に基づいて具現されたデータベースに基づいて反応動作情報を生成することができる。
【００６１】
図６は、本発明の実施例に係る人工知能透明ディスプレイの動作を示す概念図である。
【００６２】
図６では、人工知能透明ディスプレイが多様なセンサから収集された情報に基づいて反応操作を行う方法が開示される。
【００６３】
図６を参照すると、動作認識センサ（６００）は、ユーザーの動作情報を収集することができる。動作認識センサ（６００）は、ユーザーの動作を認識し、ユーザーの動作情報（６５０）を生成して人工知能プロセッサに転送することができる。
【００６４】
人工知能プロセッサは、動作認識センサによりセンシングされた動作情報（６５０）を考慮して反応動作情報を生成することができる。例えば、ユーザーの腕の動き、体の動きに関する情報が動作情報（６５０）として生成されることができ、動作情報（６５０）は、反応動作情報を生成するために考慮されることができる。
【００６５】
例えば、ユーザーがある物をつまむ動作、食品を食べたり、お酒を飲む動作などが動作情報（６５０）として生成されることができ、これらの動作情報（６５０）に基づいて人工知能透明ディスプレイは、反応動作情報を生成することができる。また、人工知能プロセッサは、ユーザーの表情情報及び動作情報（６５０）に含まれるユーザーの操作のパターン、ユーザー操作の大きさを考慮し、ユーザーの感情情報を判断することもできる。例えば、ユーザーの表情情報に基づいてユーザーが怒り状態と判断された場合、人工知能透明ディスプレイは、ユーザーの動作情報（６５０）をさらに考慮し、ユーザーの怒りの程度をさらに判断し、さらに判断されたユーザーの怒りの程度に応じて反応動作情報を生成することができる。
【００６６】
他の例を挙げると、ユーザーの表情情報に基づいて、ユーザーが楽しい状態と判断された場合、人工知能透明ディスプレイは、ユーザーの動作情報（６５０）をさらに考慮してユーザーの楽しみの程度をさらに判断し、さらに判断されたユーザーの楽しみの程度に応じて反応動作情報を生成することができる。
【００６７】
このような人工知能透明ディスプレイの動作方法は、アプリケーションで具現されたり、多様なコンピュータの構成要素を通じて行うことができるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録されることができる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。
【００６８】
前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであることができ、コンピュータソフトウェア分野における当業者に公知となって使用可能なものであることもできる。
【００６９】
コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤなどの光記録媒体、プティカルディスク（floptical disk）のような磁気−光媒体（magneto-optical media）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令を保存して行うように特別に構成されたハードウェアデバイスが含まれる。
【００７０】
プログラムコマンドの例には、コンパイラにより作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行されることができる高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を行うための一つ以上のソフトウェアモジュールとして動作するように構成することができ、その逆も同様である。
【００７１】
以上では、実施例を参照して説明したが、当該技術分野の熟練した当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で、本発明を多様に修正及び変更させることができる。
【図１】
2019522273.tif 000003
【図２】
2019522273.tif 000004
【図３】
2019522273.tif 000005
【図４】
2019522273.tif 000006
【図５】
2019522273.tif 000007
【図６】
2019522273.tif 000008
【国際調査報告】
2019522273.tif 000009
2019522273.tif 000010
2019522273.tif 000011
2019522273.tif 000012