(57)【要約】      （修正有）【課題】ユーザの表情情報と音声情報のうちの少なくとも１つを利用して機械が自身を活性化させ、ユーザよりも先に会話を持ちかけることができる方法及びシステムを提供する。【解決手段】コンピュータで実現される人工知能会話方法は、会話機能が非活性化の状態で収集された情報からユーザの感情情報を抽出する段階、及び感情情報を会話活性トリガーとして使用して会話機能を活性化させる段階を含む。前記抽出する段階は、ユーザの音声入力を受信し、音声入力の文章から第１感情情報を抽出する段階、ユーザの顔映像を受信し、顔の表情から第２感情情報を抽出する段階、及び前記第１感情情報と前記第２感情情報を総合してユーザの感情情報を判断する段階を含んでよい。【選択図】図５
2019012506.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータで実現される人工知能会話方法であって、
会話機能が非活性化の状態で収集された情報からユーザの感情情報を抽出する段階、及び
前記感情情報を会話活性トリガーとして使用して前記会話機能を活性化させる段階
を含む、人工知能会話方法。
【請求項２】
前記抽出する段階は、
前記ユーザの音声入力を受信し、前記音声入力の文章から前記感情情報を抽出する、請求項１に記載の人工知能会話方法。
【請求項３】
前記抽出する段階は、
前記ユーザの顔映像を受信し、顔の表情から前記感情情報を抽出する、請求項１に記載の人工知能会話方法。
【請求項４】
前記抽出する段階は、
動作センサによって動作が感知された場合に映像入力装置を活性化させる段階、
前記映像入力装置から前記ユーザの顔映像を受信する段階、及び
前記顔映像に基づいて顔の表情から前記感情情報を抽出する段階
を含む、請求項１に記載の人工知能会話方法。
【請求項５】
前記動作センサの動作感知周期のためのタイマーが設定される、請求項４に記載の人工知能会話方法。
【請求項６】
前記抽出する段階は、
前記ユーザの音声入力を受信し、前記音声入力の文章から第１感情情報を抽出する段階、
前記ユーザの顔映像を受信し、顔の表情から第２感情情報を抽出する段階、及び
前記第１感情情報と前記第２感情情報を総合して前記ユーザの感情情報を判断する段階
を含む、請求項１に記載の人工知能会話方法。
【請求項７】
前記抽出する段階は、
前記収集された情報から感情の種類と強度を含む感情情報を抽出する、請求項１に記載の人工知能会話方法。
【請求項８】
前記活性化させる段階は、
前記感情情報に含まれた感情の強度が設定範囲を超過する場合に前記会話機能を活性化させる、請求項１に記載の人工知能会話方法。
【請求項９】
前記設定範囲は、前記ユーザの感情パターンに対する学習によって収斂された値で設定される、請求項８に記載の人工知能会話方法。
【請求項１０】
前記活性化させる段階は、
前記感情情報に含まれる感情の強度が設定範囲を超過するかを判断する段階、
前記感情の強度が前記設定範囲を超過する場合、前記ユーザと関連する状況情報が事前に設定された活性化条件に合致するかを判断する段階、及び
前記状況情報が前記活性化条件に合致する場合に前記会話機能を活性化させる段階
を含む、請求項１に記載の人工知能会話方法。
【請求項１１】
前記活性化条件は、前記ユーザの感情パターンや活動パターンに対する学習によって収斂された値で設定され、
前記活性化条件には、時間、発話の種類や大きさ、感情の種類、動作の大きさのうちの少なくとも１つの条件が含まれる、請求項１０に記載の人工知能会話方法。
【請求項１２】
請求項１乃至１１のうちのいずれか一項に記載の人工知能会話方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項１３】
請求項１乃至１１のうちのいずれか一項に記載の人工知能会話方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
【請求項１４】
コンピュータで実現される人工知能会話システムであって、
コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
ユーザの会話の意図を判断し、
会話機能が非活性化の状態で収集された情報からユーザの感情情報を抽出し、
前記感情情報を会話活性トリガーとして使用して前記会話機能を活性化させる、人工知能会話システム。
【請求項１５】
前記少なくとも１つのプロセッサは、前記感情情報を抽出するために、
前記ユーザの音声入力及び顔映像のうちの少なくとも１つを利用して前記ユーザの感情情報を抽出する、請求項１４に記載の人工知能会話システム。
【請求項１６】
前記少なくとも１つのプロセッサは、前記感情情報を抽出するために、
動作センサによって動作が感知された場合に映像入力装置を活性化させ、
前記映像入力装置から前記ユーザの顔映像を受信し、
前記顔映像に基づいて顔の表情から前記感情情報を抽出する、請求項１４に記載の人工知能会話システム。
【請求項１７】
前記少なくとも１つのプロセッサは、前記感情情報を抽出するために、
前記動作センサの動作感知周期のためのタイマーを設定する、請求項１６に記載の人工知能会話システム。
【請求項１８】
前記少なくとも１つのプロセッサは、前記感情情報を抽出するために、
前記収集された情報から感情の種類と強度を含む感情情報を抽出する、請求項１４に記載の人工知能会話システム。
【請求項１９】
前記少なくとも１つのプロセッサは、前記会話機能を活性化させるために、
前記感情情報に含まれた感情の強度が設定範囲を超過する場合に前記会話機能を活性化させる、請求項１４に記載の人工知能会話システム。
【請求項２０】
前記少なくとも１つのプロセッサは、前記会話機能を活性化させるために、
前記感情情報に含まれた感情の強度が設定範囲を超過するかを判断し、
前記感情の強度が前記設定範囲を超過する場合、前記ユーザと関連する状況情報が事前に設定された活性化条件に合致するかを判断し、
前記状況情報が前記活性化条件に合致する場合に前記会話機能を活性化させる、請求項１４に記載の人工知能会話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
以下の説明は、人工知能会話システムに関する。
【背景技術】
【０００２】
一般的に、個人秘書システム、チャットボットプラットフォーム（ｃｈａｔｂｏｔ  ｐｌａｔｆｏｒｍ）、人工知能（ＡＩ）スピーカなどで使用される人工知能会話システムは、人間の命令語に対する意図を理解し、これに対応する回答文書を提供する方式を採用している。
【０００３】
人工知能会話システムは、人間が機能的な要求を伝達すると、その人間の要求に対する回答を機械が提供する方式を主流としており、マイク（ｍｉｃｒｏｐｈｏｎｅ）でユーザの音声入力を受信し、受信した音声入力に基づいてデバイス動作やコンテンツ提供を制御することができる。
【０００４】
例えば特許文献１（公開日２０１１年１２月３０日）には、ホームネットワークサービスにおいて、移動通信網の範囲外にＷｉ−Ｆｉのような第２通信網を利用してホームネットワークサービスを提供することができ、ユーザが特別なボタン操作を行わなくても、ホーム内の複数のマルチメディア機器を音声命令によって多重制御することのできる技術が開示されている。
【０００５】
一般的に、人工知能会話システムは、事前に定められたキーワード（例えば機械の名前など）を会話活性トリガーとして使用している。機械は、ユーザが機械の名前を呼ぶと、これを認識して命令語収集モードとして活性化するようになるが、機械自らが会話を活性化することはできない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】韓国公開特許第１０−２０１１−０１３９７９７号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
人工知能会話のための機械の活性化を自らトリガーすることができる方法及びシステムを提供する。
【０００８】
ユーザの表情情報と音声情報のうちの少なくとも１つを利用して機械が自身を活性化させ、ユーザよりも先に会話を持ちかけることができる方法及びシステムを提供する。
【課題を解決するための手段】
【０００９】
コンピュータで実現される人工知能会話方法であって、会話機能が非活性化の状態で収集された情報からユーザの感情情報を抽出する段階、及び前記感情情報を会話活性トリガーとして使用して前記会話機能を活性化させる段階を含む、人工知能会話方法を提供する。
【００１０】
一側面によると、前記抽出する段階は、前記ユーザの音声入力を受信し、前記音声入力の文章から前記感情情報を抽出してよい。
【００１１】
他の側面によると、前記抽出する段階は、前記ユーザの顔映像を受信し、顔の表情から前記感情情報を抽出してよい。
【００１２】
また他の側面によると、前記抽出する段階は、動作センサによって動作が感知される場合に映像入力装置を活性化させる段階、前記映像入力装置から前記ユーザの顔映像を受信する段階、及び前記顔映像に基づいて顔の表情から前記感情情報を抽出する段階を含んでよい。
【００１３】
また他の側面によると、前記動作センサの動作感知周期のためのタイマーが設定されてよい。
【００１４】
また他の側面によると、前記抽出する段階は、前記ユーザの音声入力を受信し、前記音声入力の文章から第１感情情報を抽出する段階、前記ユーザの顔映像を受信し、顔の表情から第２感情情報を抽出する段階、及び前記第１感情情報と前記第２感情情報を総合して前記ユーザの感情情報を判断する段階を含んでよい。
【００１５】
また他の側面によると、前記抽出する段階は、前記収集した情報から感情の種類と強度を含む感情情報を抽出してよい。
【００１６】
また他の側面によると、前記活性化させる段階は、前記感情情報に含まれた感情の強度が設定範囲を超過する場合に前記会話機能を活性化させてよい。
【００１７】
また他の側面によると、前記設定範囲は、前記ユーザの感情パターンに対する学習によって収斂された値で設定されてよい。
【００１８】
また他の側面によると、前記活性化させる段階は、前記感情情報に含まれた感情の強度が設定範囲を超過するかを判断する段階、前記感情の強度が前記設定範囲を超過する場合、前記ユーザと関連する状況情報が事前に設定された活性化条件に合致するかを判断する段階、及び前記状況情報が前記活性化条件に合致する場合に前記会話機能を活性化させる段階を含んでよい。
【００１９】
また他の側面によると、前記活性化条件は、前記ユーザの感情パターンや活動パターンに対する学習によって収斂された値で設定され、前記活性化条件は、時間、発話の種類や大きさ、感情の種類、動作の大きさのうちの少なくとも１つの条件が含まれてよい。
【００２０】
人工知能会話方法をコンピュータに実行させるためのコンピュータプログラムを提供する。
【００２１】
前記人工知能会話方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータで読み取り可能な記録媒体を提供する。
【００２２】
コンピュータで実現される人工知能会話システムであって、コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ユーザの会話の意図を判断し、会話機能が非活性化の状態で収集された情報からユーザの感情情報を抽出し、前記感情情報を会話活性トリガーとして使用して前記会話機能を活性化させる、人工知能会話システムを提供する。
【発明の効果】
【００２３】
本発明の実施形態によると、ユーザの表情情報と音声情報のうちの少なくとも１つを利用して人工知能会話のための機械の活性化を自らトリガーすることができる。したがって、機械の活性化のために特別なキーワードやアクションを要求しなくてよく、ユーザが会話の意思を先に伝達しなくても、ユーザの感情に応じて機械が自ら活性化してユーザよりも先に会話を持ちかけることができるため、ユーザと機械との情緒的共感を更に深めることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の例を示した図である。
【図２】本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の他の例を示した図である。
【図３】本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。
【図４】本発明の一実施形態における、電子機器及びサーバの内部構成を説明するためのブロック図である。
【図５】本発明の一実施形態における、人工知能会話方法を示したフローチャートである。
【図６】本発明の一実施形態における、人工知能会話方法を示したフローチャートである。
【図７】本発明の一実施形態における、人工知能会話方法を示したフローチャートである。
【図８】本発明の一実施形態における、会話活性化過程の例を示したフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について、添付の図面を参照しながら詳細に説明する。
【００２６】
本発明の実施形態に係る人工知能会話システムは、ユーザとの会話に基づいて動作するインタフェースを提供する電子機器で実現されてよい。ここで、人工知能会話システムは、ユーザとの会話のための機械の活性化を自らトリガーすることができ、ユーザよりも先に会話を持ちかけることができる。
【００２７】
本発明の実施形態に係る人工知能会話方法は、上述した電子機器で実行されてよい。ここで、電子機器では、本発明の一実施形態に係るコンピュータプログラムがインストール及び駆動されてよく、電子機器は、駆動されるコンピュータプログラムの制御に従って本発明の一実施形態に係る人工知能会話方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器と結合され、人工知能会話方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に格納されてよい。
【００２８】
図１は、本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の例を示した図である。図１の実施形態では、スマートホーム（ｓｍａｒｔ  ｈｏｍｅ）やホームネットワークサービスのように宅内のデバイスを連結して制御する技術において、音声に基づいて動作するインタフェースを提供する電子機器１００がユーザ１１０の発話から受信した音声入力「電気消して」を認識及び分析し、家の中で電子機器１００と内部ネットワークを介して連係する室内照明機器１２０であるライトの電源を制御する例を示している。
【００２９】
例えば宅内のデバイスは、上述した室内照明機器１２０の他にも、テレビ、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、周辺機器、エアコン、冷蔵庫、ロボット清掃機などのような家電製品はもちろん、水道、電気、冷暖房機器のようなエネルギー消費装置、ドアロックや監視カメラのような保安機器など、オンライン上で連結して制御可能な多様なデバイスを含んでよい。また、内部ネットワークは、イーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）、ＨｏｍｅＰＮＡ、ＩＥＥＥ  １３９４のような有線ネットワーク技術、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＵＷＢ（ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）（登録商標）、Ｗｉｒｅｌｅｓｓ  １３９４、Ｈｏｍｅ  ＲＦのような無線ネットワーク技術などが活用されてよい。
【００３０】
電子機器１００は、宅内のデバイスのうちの１つであってよい。例えば電子機器１００は、家の中に備えられた人工知能スピーカやロボット清掃機などのようなデバイスのうちの１つであってよい。また、電子機器１００は、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、携帯電話、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、タブレットなどのようなユーザ１１０のモバイル機器であってもよい。このように電子機器１００は、ユーザ１１０の音声入力を受信して宅内のデバイスを制御するために宅内のデバイスと連結可能な機能を備える機器であれば特に制限されることはない。また、実施形態によっては、上述したユーザ１１０のモバイル機器が宅内のデバイスとして含まれてもよい。
【００３１】
図２は、本発明の一実施形態における、音声基盤インタフェースを活用したサービス環境の他の例を示した図である。図２は、音声に基づいて動作するインタフェースを提供する電子機器１００が、ユーザ１１０の発話から受信した音声入力「今日の天気」を認識及び分析し、外部ネットワークを介して外部サーバ２１０から今日の天気に関する情報を取得し、取得した情報を「今日の天気は・・・」のように音声で出力する例を示している。
【００３２】
例えば外部ネットワークは、ＰＡＮ（ｐｅｒｓｏｎａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ  ａｒｅａ  ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ  ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。
【００３３】
図２の実施形態でも、電子機器１００は、宅内のデバイスのうちの１つであるか、ユーザ１１０のモバイル機器のうちの１つであってよく、ユーザ１１０の音声入力を認識して処理するための機能と、外部ネットワークを介して外部サーバ２１０に接続し、外部サーバ２１０が提供するサービスやコンテンツをユーザ１１０に提供するための機能を含む機器であれば特に制限されることはない。
【００３４】
このように、本発明の実施形態に係る電子機器１００は、音声基盤インタフェースを利用してユーザ１１０の発話から受信される音声入力を少なくとも含むユーザ命令を処理することができる機器であれば、特に制限されることはない。例えば電子機器１００は、ユーザの音声入力を直接に認識及び分析し、音声入力に合った動作を実行することによってユーザ命令を処理してもよいが、実施形態によっては、ユーザの音声入力に対する認識や認識された音声入力の分析、ユーザに提供される音声の合成などの処理を、電子機器１００と連係する外部のプラットフォームで実行することも可能である。
【００３５】
図３は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図３は、電子機器３１０、クラウド人工知能プラットフォーム３２０及びコンテンツ・サービス３３０を示している。
【００３６】
一例として、電子機器３１０は、宅内に備えられたデバイスを意味してよく、少なくとも上述した電子機器１００を含んでよい。このような電子機器３１０や電子機器３１０でインストール及び駆動されるアプリケーション（以下、アプリとする）は、インタフェースコネクト３４０を介してクラウド人工知能プラットフォーム３２０と連係してよい。ここで、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０でインストール及び駆動されるアプリの開発のためのソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｋｉｔ）及び／又は開発文書を開発者に提供してよい。また、インタフェースコネクト３４０は、電子機器３１０や電子機器３１０でインストール及び駆動されるアプリが、クラウド人工知能プラットフォーム３２０の提供する機能を活用することができるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍ  Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者は、インタフェースコネクト３４０が提供するソフトウェア開発キット（ＳＤＫ）及び／又は開発文書を利用して開発した機器やアプリが、インタフェースコネクト３４０によって提供されるＡＰＩを利用して、クラウド人工知能プラットフォーム３２０によって提供される機能を活用することを可能にする。
【００３７】
ここで、クラウド人工知能プラットフォーム３２０は、音声基盤のサービスを提供するための機能を提供してよい。例えばクラウド人工知能プラットフォーム３２０は、受信した音声入を認識し、出力される音声を合成するための音声処理モジュール３２１、受信した映像や動画を分析して処理するためのビジョン処理モジュール３２２、受信した音声に従って適合する音声を出力するために適切な会話を決定するための会話処理モジュール３２３、受信した音声に適合する機能を勧めるための推薦モジュール３２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するようにサポートするニューラル機械翻訳（Ｎｅｕｒａｌ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ：ＮＭＴ）３２５などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。
【００３８】
例えば図１及び図２の実施形態において、電子機器１００は、ユーザ１１０の音声入力を、インタフェースコネクト３４０で提供するＡＰＩを利用してクラウド人工知能プラットフォーム３２０に送信してよい。この場合、クラウド人工知能プラットフォーム３２０は、受信した音声入力を、上述したモジュール３２１〜３２５を活用して認識及び分析してよく、受信した音声入力に応じて適切な返答音声を合成して提供したり、適切な動作を勧めたりしてよい。
【００３９】
また、拡張キット３５０は、第三者であるコンテンツ開発者又は会社がクラウド人工知能プラットフォーム３２０に基づいて新たな音声基盤機能を実現することが可能な開発キットを提供してよい。例えば図２の実施形態において、電子機器１００が、受信したユーザ１１０の音声入力を外部サーバ２１０に送信すると、外部サーバ２１０は、拡張キット３５０で提供されるＡＰＩを利用してクラウド人工知能プラットフォーム３２０に音声入力を送信してよい。この場合、上述したように、クラウド人工知能プラットフォーム３２０は、受信した音声入力を認識及び分析して適切な返答情報を合成して提供したり、音声入力に基づいて処理しなければならない機能に関する推薦情報を外部サーバ２１０に提供したりしてよい。一例として、図２において、外部サーバ２１０が、音声入力「今日の天気」をクラウド人工知能プラットフォーム３２０に送信すると、クラウド人工知能プラットフォーム３２０では、音声入力「今日の天気」の認識によって抽出されるキーワード「今日」及び「天気」を受信してよい。この場合、外部サーバ２１０は、キーワード「今日」及び「天気」から「今日の天気は・・・」のようなテキスト情報を生成した後、生成したテキスト情報をクラウド人工知能プラットフォーム３２０に再び送信してよい。このとき、クラウド人工知能プラットフォーム３２０は、テキスト情報から音声を合成して外部サーバ２１０に提供してよい。外部サーバ２１０は、合成された音声を電子機器１００に送信してよく、電子機器１００は、合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ１１０から受信した音声入力「今日の天気」が処理されるようになる。
【００４０】
このとき、電子機器１００は、ユーザとの会話に基づいたデバイス動作やコンテンツ提供のために、本発明の実施形態に係る人工知能会話方法を実行してよい。
【００４１】
図４は、本発明の一実施形態における、電子機器及びサーバの内部構成を説明するためのブロック図である。図４の電子機器４１０は、上述した電子機器１００に対応してよく、サーバ４２０は、上述した外部サーバ２１０やクラウド人工知能プラットフォーム３２０を実現する１つのコンピュータ装置に対応してよい。
【００４２】
電子機器４１０とサーバ４２０は、メモリ４１１、４２１、プロセッサ４１２、４２２、通信モジュール４１３、４２３及び入力／出力インタフェース４１４、４２４を含んでよい。メモリ４１１、４２１は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）及びディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ  ｍａｓｓ  ｓｔｏｒａｇｅ  ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭやディスクドライブのような永久大容量記憶装置は、メモリ４１１、４２１とは区分される、別の永久記憶装置として電子機器４１０やサーバ４２０に含まれてもよい。また、メモリ４１１、４２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電子機器４１０にインストールされ、特定のサービスの提供のために電子機器４１０で駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ４１１、４２１とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信モジュール４１３、４２３を通じてメモリ４１１、４２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者又はアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク４３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器４１０のメモリ４１１にロードされてよい。
【００４３】
プロセッサ４１２、４２２は、基本的な算術、ロジック及び入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ４１１、４２１又は通信モジュール４１３、４２３によって、プロセッサ４１２、４２２に提供されてよい。例えばプロセッサ４１２、４２２は、メモリ４１１、４２１のような記録装置に格納されたプログラムコードに従って受信される命令を実行するように構成されてよい。
【００４４】
通信モジュール４１３、４２３は、ネットワーク４３０を介して電子機器４１０とサーバ４２０とが互いに通信するための機能を提供してもよいし、電子機器４１０及び／又はサーバ４２０が他の電子機器又は他のサーバと通信するための機能を提供してもよい。一例として、電子機器４１０のプロセッサ４１２がメモリ４１１のような記録装置に格納されたプログラムコードに従って生成した要求が、通信モジュール４１３の制御に従ってネットワーク４３０を介してサーバ４２０に伝達されてよい。これとは逆に、サーバ４２０のプロセッサ４２２の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール４２３とネットワーク４３０を経て電子機器４１０の通信モジュール２１３を通じて電子機器４１０に受信されてもよい。例えば、通信モジュール４１３を通じて受信したサーバ４２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ４１２やメモリ４１１に伝達されてよく、コンテンツやファイルなどは、電子機器４１０が更に含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。
【００４５】
入力／出力インタフェース４１４は、入力／出力装置４１５とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード又はマウスなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース４１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置４１５は、電子機器４１０と１つの装置で構成されてもよい。また、サーバ４２０の入力／出力インタフェース４２４は、サーバ４２０と連結するかサーバ４２０が含むことのできる入力又は出力のための装置（図示せず）とのインタフェースのための手段であってよい。
【００４６】
また、他の実施形態において、電子機器４１０及びサーバ４２０は、図４の構成要素よりも少ないか、それよりも多い構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器４１０は、上述した入力／出力装置４１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素を更に含んでもよい。より具体的な例として、電子機器４１０がスマートフォンである場合は、スマートフォンに一般的に含まれる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が電子機器４１０に更に含まれるように実現されてよい。
【００４７】
本実施形態において、電子機器４１０は、ユーザの音声入力を受信するためのマイク及び／又はユーザの顔映像を受信するためのカメラを入力／出力装置４１５として基本的に含んでよく、ユーザの音声入力及び／又は顔映像に対応する返答音声やオーディオコンテンツのような音を出力するためのスピーカを入力／出力装置４１５として更に含んでよい。
【００４８】
本発明の実施形態に係る人工知能会話方法は、上述した電子機器４１０のようなコンピュータ装置によって実行されてよい。このとき、電子機器４１０のプロセッサ４１２は、メモリ４１１に含まれるオペレーティングシステムのコードや少なくとも１つのプログラムのコードによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ４１２は、電子機器４１０に格納されたコードが提供する制御命令に従って、電子機器４１０が以下で説明される人工知能会話方法に含まれる段階を実行するように、電子機器４１０を制御してよい。
【００４９】
図５は、本発明の一実施形態における、人工知能会話方法の例を示したフローチャートである。
【００５０】
段階Ｓ５１１において、電子機器４１０は、会話機能が非活性化の状態で、会話基盤インタフェースによってユーザの音声入力を受信してよい。例えば電子機器４１０は、会話基盤インタフェースとして、電子機器４１０が含むマイク又は電子機器４１０と連動するマイクのような音声入力装置によってユーザの発話による音声入力を受信してよい。言い換えれば、電子機器４１０は、会話機能が非活性化の状態で、音声入力装置を利用してユーザの音声情報を収集してよい。
【００５１】
段階Ｓ５２１において、電子機器４１０は、段階Ｓ５１１で受信した音声入力の文章から感情情報（以下、「文章感情情報」とする）を抽出してよい。ここで、文章感情情報は、感情種類と感情強度（感情程度）を含んでよい。感情を示す用語、すなわち感情用語は、事前に定められ、一定の基準に従って複数の感情種類（例えば喜び、悲しみ、驚き、悩み、苦しみ、不安、恐怖、嫌悪、怒りなど）のいずれかに分類され、感情用語の強弱に従って複数の感情強度の等級（例えば１〜１０）のいずれかに分類されてよい。一例として、電子機器４１０は、ＳＴＴ（ｓｐｅｅｃｈ  ｔｏ  ｔｅｘｔ）変換によってユーザの音声入力をテキスト形態の文章に変換してよい。また、電子機器４１０は、音声入力に対応する文章から形態素を抽出した後、抽出された形態素から予め定められた感情用語を抽出し、抽出された感情用語に対応する感情種類と感情強度を分類してよい。電子機器４１０は、音声入力の文章に複数の感情用語が含まれる場合には、感情用語が属する感情種類と感情強度に応じて加重値を計算してよく、これに基づいて文章の感情情報に対する感情ベクトルを計算し、該当の文章を代表する感情情報を抽出してよい。上述した文章感情情報を抽出する技術は例示的なものに過ぎず、これに限定されるものでもなく、周知の他の技術を利用することも可能である。
【００５２】
段階Ｓ５３０において、電子機器４１０は、段階Ｓ５２１で抽出された文章感情情報を利用し、文章感情情報に含まれる感情の強度が事前に定められた設定範囲を超過するかを確認してよい。感情の強度に対する設定範囲は、ユーザやシステムによって特定の値で事前に設定されてもよいし、ユーザの感情パターンに対する学習過程を経て収斂された値で定められてもよい。
【００５３】
段階Ｓ５４０において、電子機器４１０は、文章感情情報に含まれる感情の強度が設定範囲を超過する場合に会話機能を自動活性化させてよい。電子機器４１０は、ユーザの音声入力から設定範囲を超過する感情が感知された場合、自ら会話を活性化させてよい。
【００５４】
ユーザが特定のキーワードやアクションによって会話の意思を先に伝達することによって会話が活性化されていた既存の方式とは異なり、本実施形態では、特定のキーワードやアクションの代わりに、ユーザの感情強度を会話活性トリガーとして活用してよい。例えば感情の種類は、喜び、悲しみ、驚き、悩み、苦しみ、不安、恐怖、嫌悪、怒りなどに区分され、感情の強度は、複数の等級（例えば１〜１０）に区分されてよい。電子機器４１０は、感情の強度に対して一定範囲の等級、例えば１から６までを安定範囲として設定してよい。また、電子機器４１０は、ユーザの感情が安定範囲を超える強度、例えば、［悲しみ、８］、［怒り、９］、［喜び、７］などと示された場合には、会話を自動活性化させてよい。このとき、電子機器４１０は、会話活性化のときに、電子機器４１０に含まれるか電子機器４１０と連動可能な出力装置を利用して、ユーザが会話活性状態を認知することのできる情報を出力する、例えばディスプレイをターンオンしたり効果音を出力したりしてよい。
【００５５】
段階Ｓ５５０において、電子機器４１０は、設定範囲を超過するユーザ感情に対して会話を自動活性化させた後、文章感情情報に対応する会話情報を出力してよい。会話情報は、会話基盤インタフェースで出力可能な情報であって、音声メッセージ、表情情報、動作情報のうちの少なくとも１つを含んでよい。一例として、電子機器４１０は、電子機器４１０に含まれるスピーカ又は電子機器４１０と連動するスピーカのような音声出力装置から会話情報による音声メッセージを出力してよい。また、電子機器４１０は、電子機器４１０に含まれるディスプレイ又は電子機器４１０と連動するディスプレイのような映像出力装置から会話情報による表情情報を出力してよい。例えば映像出力装置は、会話基盤インタフェースに該当する所定のキャラクタを表示してよく、設定範囲を超過するユーザ感情に対し、これに対応する表情情報を該当のキャラクタに反映してよい。さらに、電子機器４１０は、電子機器４１０が含むモータ制御動作装置又は電子機器４１０と連動するモータ制御動作装置から会話情報による動作情報を出力してよい。例えば電子機器４１０が会話ロボットである場合、ユーザの感情に対応する会話情報に応じて該当の会話内容と関連する動作を実現してよい。ユーザ感情が設定範囲を超過する［悲しみ、８］と示された場合には、ロボットの悲しいジェスチャと表情を出力すると同時に、＜もしかして、嫌なことがありましたか？＞のような音声メッセージを共に出力してよい。
【００５６】
したがって、本実施形態では、ユーザの音声入力からユーザの現在の感情の種類と強度を把握することができ、このようなユーザ感情を会話活性トリガーとして使用し、感情の強度が設定範囲を超過する場合には、自動的に会話を活性化することができる。
【００５７】
図６は、本発明の一実施形態における、人工知能会話方法の他の例を示したフローチャートである。
【００５８】
段階Ｓ６１２において、電子機器４１０は、会話機能が非活性化の状態で、電子機器４１０に含まれるか電子機器４１０と連動可能な動作センサ（例えば赤外線センサなど）を利用して一定の距離（例えば３ｍ）以内の動作を感知してよい。言い換えれば、電子機器４１０は、赤外線センサのような動作センサによってユーザ動作を感知してよい。動作感知が極めて頻繁に発生する場合には、不必要な電力使用などの原因になり得るため、電子機器４１０は、動作センサに対してタイマーを設定して動作感知周期を適用させてよい。例えば電子機器４１０は、動作センサによって動作が感知された後、動作センサを１２時間非活性化させ、１２時間が経過した後に再び活性化させてよい。
【００５９】
段階Ｓ６１３において、電子機器４１０は、動作が感知されると、電子機器４１０に含まれるカメラ又は電子機器４１０と連動するカメラのような映像入力装置を活性化させ、該当の映像入力装置でユーザの顔映像を受信してよい。言い換えれば、電子機器４１０は、会話機能が非活性化の状態でユーザ動作が感知された場合にカメラを活性化させ、カメラによって、動作が感知されたユーザの顔情報を収集してよい。
【００６０】
段階Ｓ６２２において、電子機器４１０は、段階Ｓ６１３で受信した顔映像から感情情報（以下、「顔感情情報」とする）を抽出してよい。電子機器４１０は、映像に基づいて顔の表情から感情種類と感情強度を含む顔感情情報を抽出してよい。顔の表情は、眉毛、目、鼻、口、肌のような顔の要素に変形が起こるときに発生する顔の筋肉の収縮によって現れ、顔の表情の強度は、顔の特徴の幾何学的変化又は筋肉表現の密度によって決定されてよい。一例として、電子機器４１０は、表情による特徴を抽出するための関心領域（例えば目領域、眉毛領域、鼻領域、口領域など）を抽出した後、関心領域から特徴点（ｐｏｉｎｔ）を抽出し、特徴点を利用して一定の特徴値を決定してよい。特徴値は、それぞれの特徴点間の距離などに応じて人間の表情を示す特定の数値に該当する。電子機器４１０は、決定された特徴値を感情感応値モデルに適用するために、映像に示された特徴値に対する数値の程度に応じて一定の強度値を決定し、予め用意されたマッピングテーブルを利用して各特定値の数値にマッチングする一定の強度値を決定する。マッピングテーブルは、感情感応値モデルに応じて事前に用意される。電子機器４１０は、感情感応値モデルと強度値をマッピングさせ、該当の強度値を感情感応値モデルに適用した結果に従って決定された感情の種類と強度を抽出してよい。上述した顔感情情報を抽出する技術は例示的なものに過ぎず、これに限定されるものでもなく、周知の他の技術を利用することも可能である。
【００６１】
段階Ｓ６３０において、電子機器４１０は、段階Ｓ６２２で抽出された顔感情情報を利用し、顔感情情報に含まれる感情の強度が事前に定められた設定範囲を超過するかを確認してよい。
【００６２】
段階Ｓ６４０において、電子機器４１０は、顔感情情報に含まれる感情の強度が設定範囲を超過する場合に会話機能を自動活性化させてよい。電子機器４１０は、ユーザの顔映像から設定範囲を超過する感情が感知された場合、自ら会話を活性化させてよい。
【００６３】
感情の強度に基づいて会話を自動活性化する具体的な内容は、図５を参照しながら説明したものと同じであるため、具体的な説明は省略する。
【００６４】
段階Ｓ６５０において、電子機器４１０は、設定範囲を超過するユーザ感情に対して会話を自動活性化させた後、顔感情情報に対応する会話情報を出力してよい。会話情報は、音声メッセージ、表情情報、動作情報のうちの少なくとも１つを含んでよく、電子機器４１０は、スピーカのような音声出力装置、ディスプレイのような映像出力装置、ロボットのようなモータ制御動作装置のうちの少なくとも１つを利用して会話情報を出力してよい。会話情報を出力する具体的な内容も、図５を参照しながら説明したものと同じであるため、具体的な説明は省略する。
【００６５】
したがって、本実施形態では、ユーザの顔映像内の表情からユーザの現在の感情の種類と強度を把握することができ、このようなユーザ感情を会話活性トリガーとして使用し、感情の強度が設定範囲を超過する場合に会話を自動で活性化させることができる。
【００６６】
図７は、本発明の一実施形態における、人工知能会話方法の更に他の例を示したフローチャートである。
【００６７】
段階Ｓ７１１において、電子機器４１０は、会話機能が非活性化の状態で、会話基盤インタフェースによってユーザの音声入力を受信してよい。例えば電子機器４１０は、会話基盤インタフェースとして、電子機器４１０が含むマイク又は電子機器４１０と連動するマイクのような音声入力装置によってユーザの発話による音声入力を受信してよい。
【００６８】
段階Ｓ７１２において、電子機器４１０は、電子機器４１０に含まれる動作センサ（例えば赤外線センサなど）を利用して一定の距離（例えば３ｍ）以内の動作を感知してよい。言い換えれば、電子機器４１０は、赤外線センサのような動作センサによってユーザ動作を感知してよい。
【００６９】
段階Ｓ７１３において、電子機器４１０は、動作を感知すると、会話基盤インタフェースを活性化させ、該当のインタフェースによってユーザの顔映像を受信してよい。例えば電子機器４１０は、ユーザ動作を感知すると、電子機器４１０に含まれるカメラ又は電子機器４１０と連動するカメラのような映像入力装置を活性化させてユーザの顔映像を受信してよい。
【００７０】
段階Ｓ７２１において、電子機器４１０は、段階Ｓ７１１で受信した音声入力の文章から感情情報（すなわち、文章感情情報）を抽出してよい。このとき、文章感情情報は、感情種類と感情強度（感情程度）を含んでよい。文章感情情報を抽出する方法は、図５を参照しながら説明した段階Ｓ５２１と同じであるため、具体的な説明は省略する。
【００７１】
段階Ｓ７２２において、電子機器４１０は、段階Ｓ７１３で受信した顔映像から感情情報（すなわち、顔感情情報）を抽出してよい。電子機器４１０は、映像に基づき、顔の表情から感情種類と感情強度を含む顔感情情報を抽出してよい。顔感情情報を抽出する方法は、図６を参照しながら説明した段階Ｓ６２２と同じであるため、具体的な説明は省略する。
【００７２】
段階Ｓ７２３において、電子機器４１０は、段階Ｓ７２１で抽出された文章感情情報と段階Ｓ７２２で抽出された顔感情情報を総合した感情情報（以下、「ユーザ感情情報」とする）を判断してよい。一例として、電子機器４１０は、文章感情情報と顔感情情報に応じて加重値を計算してよく、これに基づいて総合的な感情情報を判断してよい。ユーザ感情情報も同じように、感情種類と感情強度を含んでよい。したがって、電子機器４１０は、ユーザの音声入力による文章から現れる感情とユーザ顔映像の表情から現れる感情を総合して最終的なユーザ感情を判断してよい。
【００７３】
段階Ｓ７３０において、電子機器４１０は、段階Ｓ７２３で抽出されたユーザ感情情報を利用し、ユーザ感情情報に含まれる感情の強度が事前に定められた設定範囲を超過するかを確認してよい。
【００７４】
段階Ｓ７４０において、電子機器４１０は、ユーザ感情情報に含まれた感情の強度が設定範囲を超過する場合に会話機能を自動活性化させてよい。電子機器４１０は、ユーザの音声入力から現れる感情と顔映像の表情から現れる感情を総合して判断された感情の強度が設定範囲を超過する場合、自ら会話を活性化させてよい。感情の強度に基づいて会話を自動活性化させる具体的な内容は、図５を参照しながら説明したものと同じであるため、具体的な説明は省略する。
【００７５】
段階Ｓ７５０において、電子機器４１０は、設定範囲を超過するユーザ感情に対して会話を自動活性化させた後、ユーザ感情情報に対応する会話情報を出力してよい。会話情報は、音声メッセージ、表情情報、動作情報のうちの少なくとも１つを含んでよく、電子機器４１０は、スピーカのような音声出力装置、ディスプレイのような映像出力装置、ロボットのようなモータ制御動作装置のうちの少なくとも１つを利用して会話情報を出力してよい。会話情報を出力する具体的な内容も、図５を参照しながら説明したものと同じであるため、具体的な説明は省略する。
【００７６】
したがって、本実施形態では、ユーザの音声入力と顔映像の両方を利用してユーザの現在感情の種類と強度を把握することができ、このようなユーザ感情を会話活性トリガーとして使用し、感情の強度が設定範囲を超過する場合に会話を自動で活性化させることができる。
【００７７】
さらに、本実施形態は、ユーザ感情を会話活性トリガーとして使用するが、ユーザと関連する状況情報を追加の活性化条件として適用することも可能である。
【００７８】
図８は、本発明の一実施形態における、会話活性化過程の例を示したフローチャートである。
【００７９】
段階Ｓ８３０において、電子機器４１０は、ユーザの音声入力及び／又は顔映像から判断された感情の強度が事前に定められた設定範囲を超過するかを確認してよい。
【００８０】
段階Ｓ８３１において、電子機器４１０は、段階Ｓ８３０の判断結果、感情の強度が設定範囲を超過する場合、ユーザと関連する状況情報が、事前に設定された活性化条件に合致するかどうかを判断してよい。活性化条件には、時間、発話の種類や大きさ、感情の種類、動作の大きさなどのような多様な状況条件のうちの少なくとも１つの条件が含まれてよい。上述した活性化条件は、ユーザやシステムによって特定値で事前に設定されてもよいし、ユーザの感情パターンや活動パターンに対する学習過程を経て収斂された値で定められることも可能である。
【００８１】
段階Ｓ８４０において、電子機器４１０は、ユーザの状況情報が活性化条件に合致する場合に会話機能を自動活性化させてよい。一例として、電子機器４１０は、活性化条件として、会話機能の非活性化状態が連続して維持された時間を利用してよく、非活性化状態の維持時間が活性化条件に設定された時間を超過した場合、設定範囲を超過した強度の感情に対して会話を自動活性化させてよい。他の例として、電子機器４１０は、活性化条件として、ユーザの普段の活動時間を利用してよく、ユーザの普段の活動時間以外の時間に設定範囲を超過した強度の感情が感知された場合、会話を自動活性化させてよい。また他の例として、電子機器４１０は、活性化条件として、ユーザの普段の活動時間とため息の大きさを利用してよく、ユーザの普段の活動時間以外の時間に設定された大きさ以上のため息が感知された場合、会話を自動活性化させてよい。また他の例として、電子機器４１０は、活性化条件として、ユーザに普段に現れる感情の種類を利用してよく、設定範囲を超過した強度の感情がユーザの普段の感情種類に該当しない場合、会話を自動活性化させてよい。更に他の例として、電子機器４１０は、活性化条件として、動作の大きさを利用してよく、設定範囲を超過した強度の感情と共に動作センサが感知した動作の大きさが設定範囲を超過する場合、会話を自動活性化させてよい。
【００８２】
したがって、本実施形態では、設定範囲を超過した強度の感情を会話活性トリガーとして使用するが、時間、発話の種類や大きさ、感情の種類、動作の大きさなどのような多様な状況情報を追加の活性化条件として適用してよい。
【００８３】
このように、本発明の実施形態によると、ユーザの表情情報と音声情報のうちの少なくとも１つを利用して人工知能会話のための機械の活性化を、機械が自らトリガーすることができる。したがって、機械活性化のための特別なキーワードやアクションを要求しなくてよく、ユーザが会話意思を先に伝達しなくても、ユーザの感情に応じて機械が自ら活性化してユーザよりも先に会話を持ちかけることができるため、ユーザと機械間の情緒的共感を更に高めることができる。
【００８４】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素及び／又はハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置及び構成要素は、プロセッサ、コントローラ、算術論理演算装置（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマグルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、プログラム可能論理ユニット（ＰＬＵ：ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサ、又は命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）及びＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理及び生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明されることもあるが、当業者には、処理装置が複数個の処理要素及び／又は複数種類の処理要素を含んでもよいことが理解されよう。例えば処理装置は、複数個のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【００８５】
ソフトウェアは、コンピュータプログラム、コード、命令又はこれらのうちの１つ以上の組み合わせを含んでもよく、所望のとおりに動作するように処理装置を構成したり、独立的又は集合的に処理装置に命令したりしてよい。ソフトウェア及び／又はデータは、処理装置に基づいて解釈されたり、処理装置に命令又はデータを提供したりするために、任意の種類の機械、コンポーネント、物理装置、コンピュータ格納媒体又は装置に具現化されてよい。ソフトウェアは、ネットワークに接続したコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェア及びデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてもよい。
【００８６】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このとき、媒体は、コンピュータによって実行可能なプログラムを継続して格納するか、実行又はダウンロードのために一時的に格納するものであってもよい。また、媒体は、単一又は数個のハードウェアが結合した形態の多様な記録手段又は格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されるものではなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令語が格納されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを流通するアプリストア、その他の多様なソフトウェアを供給又は流通するサイト、サーバなどで管理する記録媒体又は格納媒体も挙げられる。
【００８７】
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正及び変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたり又は組み合わされたり、他の構成要素又は均等物によって代替又は置換されたとしても、適切な結果を達成することができる。
【００８８】
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【符号の説明】
【００８９】
４１０：電子機器
４１１、４２１：メモリ
４１２、４２２：プロセッサ
４１３、４２３：通信モジュール
４１４、４２４：入力／出力インタフェース
４１５：入力／出力装置
４２０：サーバ
４３０：ネットワーク
【図１】
2019012506.tif 000003
【図２】
2019012506.tif 000004
【図３】
2019012506.tif 000005
【図４】
2019012506.tif 000006
【図５】
2019012506.tif 000007
【図６】
2019012506.tif 000008
【図７】
2019012506.tif 000009
【図８】
2019012506.tif 000010