(57)【要約】【課題】例えば、適切な情報に基づいて、香りの出力に関する制御を行う。【解決手段】手を認識した結果に基づいて、香りの出力を制御する情報を出力する制御部を有する制御装置である。【選択図】図１０
2019139465.tif 000002
【特許請求の範囲】
【請求項１】
手を認識した結果に基づいて、香りの出力を制御する情報を出力する制御部を有する
制御装置。
【請求項２】
前記制御部は、手を認識した結果に基づいて手の位置を識別し、当該位置からの香りの出力を制御するための情報を出力する
請求項１に記載の制御装置。
【請求項３】
前記情報には、香りを発生する複数の装置のうち、識別された前記手の位置に対して最も近傍にある装置に対する香りの出力を制御するための情報が含まれる
請求項２に記載の制御装置。
【請求項４】
前記制御部は、手の動きを認識した結果に基づいて、香りの出力を制御する情報を出力する
請求項１に記載の制御装置。
【請求項５】
前記香りの出力を制御する情報は、香りを発生させる情報、香りの強さを変化させる情報、香りがくる方向を変化させる情報、香りの発生を停止させる情報、香りの発生を継続する時間を示す情報の少なくとも一つを含む
請求項１に記載の制御装置。
【請求項６】
前記制御部は、前記香りの出力を制御する情報と共に、周囲の環境変化をユーザに対して知覚させる制御を行うための情報を出力する
請求項１に記載の制御装置。
【請求項７】
前記周囲の環境変化をユーザに対して知覚させる制御は、音を再生する制御、風を発生させる制御、周囲の明るさを変化させる制御の少なくとも一つを含む
請求項６に記載の制御装置。
【請求項８】
前記制御部は、前記手を認識した結果及び所定の入力に対する認識結果に基づいて、香りの出力を制御する情報を出力する
請求項１に記載の制御装置。
【請求項９】
前記所定の入力は、音センサ、温度センサ、生体センサの少なくとも一つで検出可能な入力である
請求項８に記載の制御装置。
【請求項１０】
前記制御部は、ユーザ視点に対応する画像に基づいて、手を認識する
請求項１に記載の制御装置。
【請求項１１】
前記画像は、実画像又は仮想的な画像である
請求項１０に記載の制御装置。
【請求項１２】
前記情報に基づいた香りの出力を行う香り発生部を有する
請求項１に記載の制御装置。
【請求項１３】
ウエアラブル機器として構成される
請求項１に記載の制御装置。
【請求項１４】
制御部が、手を認識した結果に基づいて、香りの出力を制御する情報を出力する
制御方法。
【請求項１５】
制御部が、手を認識した結果に基づいて、香りの出力を制御する情報を出力する
制御方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、制御装置、制御方法及びプログラムに関する。
【背景技術】
【０００２】
ユーザの知覚に基づく情報（例えば、匂い）を、他の動物の知覚に基づく情報に変換し、変換後の情報をユーザに提供する装置が知られている（例えば、下記特許文献１を参照のこと。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１６５７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような分野では、適切な情報に基づいて、知覚に関する情報がユーザに対して提供されることが望まれている。
【０００５】
本開示は、例えば、適切な情報に基づいて、香り（匂い）の出力を制御する情報を出力する制御装置、制御方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本開示は、例えば、
手を認識した結果に基づいて、香りの出力を制御する情報を出力する制御部を有する
制御装置である。
【０００７】
本開示は、例えば、
制御部が、手を認識した結果に基づいて、香りの出力を制御する情報を出力する
制御方法である。
【０００８】
本開示は、例えば、
制御部が、手を認識した結果に基づいて、香りの出力を制御する情報を出力する
制御方法をコンピュータに実行させるプログラムである。
【発明の効果】
【０００９】
本開示の少なくとも一つの実施形態によれば、適切な情報に基づいて、香り（匂い）の出力を制御する情報を出力することができる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態にかかる制御システムの構成例を示すブロック図である。
【図２】図２は、実施形態にかかる制御装置の外観例を示す図である。
【図３】図３は、実施形態にかかる制御装置の構成例を示すブロック図である。
【図４】図４は、実施形態にかかる香り出力装置の構成例を示すブロック図である。
【図５】図５Ａ〜図５Ｄは、実施形態にかかる香り出力装置の具体例を示す図である。
【図６】図６は、手の動き等を認識する処理を概略的に説明するための図である。
【図７】図７は、手の位置を推定する処理の一例を説明するための図である。
【図８】図８は、手の位置を推定する処理の一例を説明するための図である。
【図９】図９は、手の位置を推定する処理の一例を説明するための図である。
【図１０】図１０Ａ〜図１０Ｄは、第１の実施形態にかかる処理の概要を説明するための図である。
【図１１】図１１は、第１の実施形態にかかる処理の流れを説明するためのフローチャートである。
【図１２】図１２は、第１の実施形態にかかる処理（変形例）の流れを説明するためのフローチャートである。
【図１３】図１３Ａ〜図１３Ｄは、第２の実施形態にかかる処理の概要を説明するための図である。
【図１４】図１４は、第２の実施形態にかかる処理の流れを説明するためのフローチャートである。
【図１５】図１５は、第２の実施形態にかかる処理（変形例）の流れを説明するためのフローチャートである。
【図１６】図１６は、第２の実施形態にかかる処理（変形例）の流れを説明するためのフローチャートである。
【図１７】図１７は、第２の実施形態にかかる処理（変形例）の流れを説明するためのフローチャートである。
【図１８】図１８Ａ〜図１８Ｄは、第３の実施形態にかかる処理の概要を説明するための図である。
【図１９】図１９は、第３の実施形態にかかる処理の流れを説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜実施形態に共通する技術について＞
＜第１の実施形態＞
＜第２の実施形態＞
＜第３の実施形態＞
＜変形例＞
【００１２】
＜実施形態に共通する技術について＞
［制御システムについて］
始めに、本開示の各実施形態に共通する技術について説明する。図１は、本開示の実施形態にかかる制御システム（制御システム１）の構成例を示す図である。制御システム１は、例えば、制御装置２と、香り出力装置３とを含む構成を有している。
【００１３】
制御システム１における動作について概略的に説明する。制御装置２は、手を認識した結果に基づいて、香り（匂い）の出力を制御する情報を出力する。制御装置２は、例えば、ユーザの手の形状の認識結果や、連続的な手の形状変化、換言すれば、手の位置や手の動きに関する認識結果に基づいて、香りの出力を制御する情報である制御信号Ｓ１を出力する。制御装置２から出力された制御信号Ｓ１が香り出力装置３に供給される。香り出力装置３は、制御信号Ｓ１に応じて香りを発生等する。なお、香り出力装置３が、物体に応じた複数種類の香りを発生等できるようにしても良い。
【００１４】
なお、香りの出力とは、香りをコントロールすることであり、具体的には、香りを発生（放出）させる、香りの強さを変化させる、香りがくる方向を変化させる、香りの発生をキャンセルする、香りの発生が継続する時間の少なくとも一つを含む意味である。従って、香り出力装置３は、制御信号Ｓ１に応じて、香りを発生する場合もあれば、香りの発生を停止したり、香りの強度を変化させたりする場合等もある。
【００１５】
制御システム１において、香り出力装置３は、１台であっても良いし、複数台であっても良い。また、実施形態では香り出力装置３が制御装置２に対して物理的に別体とされた装置として説明するが、香り出力装置３が制御装置２に対して物理的に一体とされた装置、換言すれば、制御装置２が香り出力装置３を有する構成であっても良い。更には、香り出力装置３が制御装置２に対して着脱自在とされる装置であっても良い。
【００１６】
制御システム１が、制御装置２及び香り出力装置３以外の装置を含む構成であっても良い。例えば、制御システム１が、ユーザに対して周囲の環境変化を知覚させる装置（以下、環境変化発生装置と適宜、称する）を有する構成でも良い。このような環境変化発生装置としては、音を発生する装置（例えば、可搬型のスピーカ装置）、ファン等の風を発生させる装置、照明装置等が挙げられる。環境変化発生装置は、１台でも良いし、複数台あっても良い。また、異なる種類の環境変化発生装置が使用されても良い。環境変化発生装置は、ユーザに対して周囲の環境変化を知覚させる情報である制御信号Ｓ２に基づいて、その動作が制御される。制御信号Ｓ２は、例えば、制御装置２から環境変化発生装置に対して供給される。かかる環境変化発生装置は、制御装置２や香り出力装置３に組み込まれているものであっても良い。
【００１７】
［制御装置について］
（外観例）
次に、制御装置２について説明する。図２は、制御装置２の外観例を示す図である。制御装置２は、例えば、ウエアラブル機器（人体に装着可能で、可搬可能な程度の大きさの機器）として構成されている。より具体的には、実施形態にかかる制御装置２は、図２に示すように眼鏡型の端末装置として構成されている。
【００１８】
制御装置２は、通常の眼鏡と同様に、右画像表示部６ａ及び左画像表示部６ｂを保持するためのフレーム５を有している。右画像表示部６ａ及び左画像表示部６ｂは、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。
【００１９】
フレーム５には、各種のセンサ、撮像装置、電池等が設けられている（これらの図示は省略している。）。右画像表示部６ａ及び左画像表示部６ｂには、例えば、撮像装置を介して得られる画像（実画像）が表示される。フレーム５の適宜な位置に撮像装置を設けることで、ユーザ視点の画像を右画像表示部６ａ及び左画像表示部６ｂに表示することができる。
【００２０】
右画像表示部６ａ及び左画像表示部６ｂには、実画像ではなく、制御装置２で生成された画像や外部の装置から供給された画像でも良い。この場合には、所謂ＶＲ(Virtual Reality)と呼ばれる空間をユーザに提供することができる。また、右画像表示部６ａ及び左画像表示部６ｂには、実画像に所定の物体を付加した画像が表示されても良い。この場合には、所謂ＡＲ(Augmented Reality)と呼ばれる空間をユーザに提供することができる。
【００２１】
（構成例）
図３は、制御装置２の構成例を示すブロック図である。制御装置２は、例えば、制御部２１と、画像センサ部２２と、センサ部２３と、通信部２４と、スピーカ２５、ディスプレイ２６とを有しており、これらの各部が所定のインタフェース２７を介して接続されている。
【００２２】
制御部２１は、ＣＰＵ（Central Processing Unit）等から構成されており、制御装置２の各部を制御する。制御部２１は、プログラムが格納されるＲＯＭ(Read Only Memory)２１ａと、プログラムが実行される際にワークメモリとして使用されるＲＡＭ（Random Access Memory）２１ｂとを有している。
【００２３】
制御部２１は、画像センサ部２２により得られる画像データに対して所定の画像処理を行うことにより、ユーザの手の位置や動きを認識する。制御部２１は、手の位置や手の動き等に応じて、香りの出力を制御する情報である制御信号Ｓ１を出力する。制御部２１は、画像処理を行うための処理回路（不図示）を有している。
【００２４】
画像センサ部２２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等により構成されている。画像センサ２２部は、レンズ部（不図示）を介して入射する被写体光を光電変換して電荷量（画像データ）に変換し、画像データを出力する。画像データがインタフェース２７を介して、制御部２１に供給される。
【００２５】
センサ部２３は、画像センサ部２２以外の構成を総称したものである。センサ部２３としては、モーションセンサ、具体的には、加速度センサ、ジャイロセンサ、電子コンパス、気圧センサ等が例示される。センサ部２３が、制御装置２のユーザの生体情報（例えば、血圧、脈拍、体温等）を計測するバイオセンサを有していても良い。また、センサ部２３が、ユーザが制御装置２を装着したか否かを検出するための圧力センサや音声を検出するマイクロホン等を有していても良い。センサ部２３の構成は、制御装置２が行う制御の内容に応じて適宜、変更することができる。
【００２６】
通信部２４は、例えば、香り出力装置３と無線通信を行うためのものである。通信部２４は、通信方式に応じた変復調回路、アンテナ等を有している。無線通信としては、
ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、またはＷＵＳＢ（Wireless USB）等が挙げられる。
【００２７】
スピーカ２５は、音を出力するものである。スピーカ２５は、制御部２１による制御に応じて所定の音を発生する。音は、人の声、自然音等何でも良い。音のソースは、制御部２１内に記憶されたデータでも良いし、通信部２４を介して取得されたデータであっても良い。
【００２８】
ディスプレイ２６は、上述した右画像表示部６ａ及び左画像表示部６ｂに対応する構成である。ディスプレイ２６は、液晶ＬＣＤ(Liquid Crystal Display)、ＯＬＥＤ（Organic Light Emitting Diode）等から構成されている。
【００２９】
［香り出力装置について］
（構成例）
図４は、香り出力装置３の主要な構成例を示すブロック図である。香り出力装置３は、例えば、制御部３１と、通信部３２と、香り出力機構３３とを有している。
【００３０】
制御部３１は、ＣＰＵ等から構成されており、香り出力装置３の各部を制御する。制御部３１は、プログラムが格納されるＲＯＭと、プログラムが実行される際にワークメモリとして使用されるＲＡＭとを有している。なお、これらの図示は省略している。制御部３１は、制御装置２から送信される制御信号Ｓ１に基づいて、香りの発生等に関する制御を行う。
【００３１】
通信部３２は、例えば、制御装置２と無線通信を行うためのものである。通信部３２は、通信方式に応じた変復調回路、アンテナ等を有している。
【００３２】
香り出力機構３３は、実際に香りの発生等を行う機構である。香り出力機構３３は、例えば液状の香りの元を揮発させて香りを発生する。なお、香り出力機構３３は、香りを発生する公知の機構を適用することができる。
【００３３】
（具体例）
図５Ａ〜図５Ｄを参照して、香り出力装置３の具体例について説明する。図５Ａに例示する香り出力装置３は、例えば、上面視において略矩形の箱状の筐体３１０を有している。筐体３１０内には、香りの元が収納されている。筐体３１０の長手方向の側面３１１には、複数の孔部が設けられている。図５Ａに示す例では、３個の孔部（孔部３１２ａ、３１２ｂ及び３１２ｃ）が設けられている。なお、個々の孔部を区別する必要がない場合は、孔部３１２と適宜、称する。孔部３１２は、例えば、開閉可能に構成されている。
【００３４】
孔部３１２を介して、筐体３１０内から香りが放出される。例えば、孔部３１２を開放することにより、筐体３１０内から香りが放出される。また、孔部３１２を閉じることに、香りの放出が停止される。
【００３５】
複数の孔部３１２のうち、開放する孔部３１２を適宜、設定することにより、香りがくる方向が制御されても良い。例えば、側面３１１の略中央に対して対向する位置にユーザが存在する場合、孔部３１２ｃのみを開放することで、ユーザに対して右方向から香りがするように感じさせる制御を行うことができる。
【００３６】
孔部３１２の開閉度合いを変更できるようにしても良い。孔部３１２をより大きく開放させることにより、香りの強度を強くすることができる。また、孔部３１２を絞ることにより、香りの強度を弱くすることができる。また、筐体３１０内にファン等の送風機構を設けても良い。送風の強度に応じて香りの強度を変更することも可能である。
【００３７】
図５Ｂに示す例は、可搬型の機器（例えば、実施形態にかかる制御装置２やスマートフォン）に取り付け可能な香り出力装置３の例である。図５Ｂに示す香り出力装置３は、例えば、小型の円筒状の筐体３１３を有している。筐体３１３が不図示の取付機構（例えば、クリップ状の取付機構）により、スマートフォン等の筐体に取り付けられる。そして、筐体３１３の所定の孔部から香りが放出される。勿論、本例においても香りの強度等を変更することができる。なお、図５Ｂでは、点状のハッチングが付されたものにより香りが模式的に示されている。
【００３８】
図５Ｃに示す例は、筒状の筐体を有する香り出力装置３の例である。図５Ｃでは、４個の香り出力装置３が示されており、それぞれの香り出力装置３は、筒状の筐体３１５ａ、３１５ｂ、３１５ｃ及び３１５ｄを有している。例えば、筒状の筐体上部から香りが発生する。これらの香り出力装置３を適宜な位置に配置し、香りを発生させる香り出力装置３を適宜、選択する。これにより、任意の場所から香りを発生させる制御が可能となる。勿論、香り出力装置３の数は４個に限定されるものではなく、任意の個数を設定することができる。
【００３９】
図５Ｄに示す例は、移動可能な香り出力装置３の例である。図５Ｄに示す香り出力装置３は小型の円筒状の筐体３１６を有している。筐体３１６から香りが放出される。筐体３１６が、例えば、不図示のリニアモータ等により支持されている。リニアモータを適宜、駆動することにより、図５Ｄに模式的に示すように、筐体３１６が移動可能とされる。筐体３１６を任意の位置に設定し、当該位置で筐体３１６から香りが放出されるようにすることで、適宜な位置からの香りの発生が可能となる。即ち、実施形態では、香りの発生箇所はもとより、香りの強さ、香りの発生を停止させるタイミング等が、任意に設定可能とされている。
【００４０】
［手の形状に関する認識について］
次に、制御装置２の制御部２１により行われる手に関する認識方法について説明する。図６は、認識方法を一般化したものである。例えば、手でコーヒーカップを掴む画像（画像ＩＭ１）が入力される。画像ＩＭ１に基づいて、特徴量が算出される。特徴量としては、ＣＮＮ(Convolutional Neural Network)に基づく特徴量、ＨＯＧ(Histograms of Oriented Gradients)特徴量、ＳＩＦＴ（Scale Invariant Feature Transform）に基づく特徴量を挙げることができる。
【００４１】
そして、得られた特徴量を検出、識別、セグメンテーション等、所定のアルゴリズムで解析することにより、手の位置等が判断される。アルゴリズムとしては、上述したＣＮＮ、ブースティング（Boosting）、ＳＶＭ(Support Vector Machine)、Ｇｒａｐｈ  Ｃｕｔ等を適用することができる。
【００４２】
そして、解析結果に応じて、図６において参照符号ＡＡで示すように手の位置を検出することができる。なお、実施形態における「手」とは、手首から先の箇所を意味するが、腕の領域が含まれていても良い。手首から先の箇所の全てではなく、一部（例えば、指のみ）であっても良い。また、図６において参照符号ＢＢで示すように手の位置や姿勢を検出することができる。なお、参照符号ＢＢで示される図において、手に付された丸印は特徴点ＣＰを示している。
【００４３】
さらに、複数フレームの画像に対して上述した処理を行うことにより、図６において参照符号ＣＣ（ＣＣ１〜ＣＣ４）に示すように、制御装置２が手の動きを認識することも可能である。参照符号ＣＣ１が付された手の動きは、手を水平方向に動かす例（Horizontal）を示している。参照符号ＣＣ２が付された手の動きは、手を垂直方向に動かす例（Vertical）を示している。参照符号ＣＣ３が付された手の動きは、手を右回り（時計回り）に動かす例（Clockwise）を示している。参照符号ＣＣ４が付された手の動きは、手を左回り（反時計回り）に動かす例（Counterclockwise）を示している。勿論、認識される手の動きは、例示したものに限定されることなく、様々な手の動きの認識が可能である。また、上述した処理は、例示されたアルゴリズムに基づくものではなく、公知の手法を適用することができる。
【００４４】
（手の位置を推定する手法の例）
次に、図７〜図９を参照して、手の位置を推定する手法の一例について説明する。図７に示すグラフの横軸は、入力画像の例を示している。図７に示す例では、３個の入力画像ＩＭ５、ＩＭ６及びＩＭ７が示されている。図７に示すグラフの縦軸は、入力画像に対応する手の特徴点の座標（位置）である。座標は、（ｘt,ｙt,ｚt）（但し、ｔはフレーム番号）として示されている。また、例えば、ｘtは、
ｘt＝（ｘt0，ｘt1・・・ｘtn）（但し、ｎは特徴点の点数）で表される。即ち、ｘtは、各特徴点のｘ座標の集合を示している。各特徴点のｙt,ｚtについても同様である。
【００４５】
入力画像に対する座標を学習することにより、図８に示すように、入力画像と手の位置の座標との相関関係が求まる。図８に示す例では、線形の相関関係が示されているが、非線形など他の相関関係であっても良い。
【００４６】
相関関係が求められた後、図９に示すように、例えば、画像ＩＭ７と近似する画像ＩＭ８が入力された場合には、当該相関関係に基づいて、画像ＩＭ８の手の座標位置を推定することができる。以上説明した手法を用いて、手の位置が推定されるようにしても良い。
【００４７】
＜第１の実施形態＞
第１の実施形態について説明する。第１の実施形態は、制御装置２の制御部２１が、手を認識した結果に基づいて手の位置を識別し、当該位置からの香りの出力を制御するための情報を出力する例である。なお、本明細書における「位置」とは、その位置と厳密に一致した位置であっても良いし、その位置の近傍であっても良い。近傍の具体例としては、香りの出力に関する制御が可能な複数の位置のうち、対象となる位置（例えば、手の位置や物体の位置）に最も近傍にある位置が挙げられる。
【００４８】
（処理の概要）
図１０Ａ〜図１０Ｄは、第１の実施形態に対応する内容を概念的に示した図である。例えば、制御装置２の画像センサ部２２を介してユーザ視点の画像ＩＭ１１が入力される。画像ＩＭ１１は、制御装置２のユーザが手ＨＡでコーヒーカップ４１を掴む画像である。なお、コーヒーカップ４１は、実物体でも良いし、現実空間に重畳された仮想物体であっても良い。画像ＩＭ１１が画像センサ部２２から制御部２１に供給される。
【００４９】
制御部２１は、画像ＩＭ１１に基づいて、図１０Ｂに示すように、画像ＩＭ１１における特徴点ＣＰや、パターンマッチング、その他の手法を用いて手ＨＡを分離して検出する。そして、特徴点ＣＰの位置や、パターンマッチング、その他の手法を用いて、検出された手ＨＡが、物体を持っているか否かが判断される。なお、手ＨＡを検出し、当該手ＨＡがコーヒーカップ４１を持っているかは、別のセンサ装置（例えば、コーヒーカップ４１に設けられた圧力センサ）のセンシングデータに基づいて判断されても良い。
【００５０】
そして、図１０Ｃに模式的に示すように、手ＨＡが物体を持っていると判断された場合には、検出された手ＨＡの３次元位置を算出する。３次元位置は、ワールド座標系の３次元座標（ｘ，ｙ，ｚ）でも良いし、画像平面に射影された点の２次元座標にその点の奥行き情報を含ませた（ｕ，ｖ，ｄ）であっても良い。例えば、Hand pose detection技術により手ＨＡの３次元位置が求められる。また、Hand Segmentation技術から求めた手ＨＡの領域の重心及びその箇所のデプス情報（奥行き情報）を用いて、３次元位置を求めるようにしても良い。
【００５１】
そして、図１０Ｄに模式的に示すように、求められた手ＨＡの３次元位置に対応する場所から、香りを発生させる制御が行われる。本実施形態では、香りはコーヒーの香りである。香りを発生させる制御の一例について説明する。例えば、ユーザの手ＨＡが存在する空間に複数の香り出力装置３が配置されているとする。制御部２１は、複数の香り出力装置３のうち、手ＨＡの３次元位置（若しくは当該位置に最も近傍にある位置）に配置されている香り出力装置３に対する制御信号Ｓ１を生成する。即ち、制御信号Ｓ１には、香り出力装置３を識別する識別子と、香りの発生を指示する旨のデータとが含まれる。この制御信号Ｓ１が通信部２０４を介して各香り出力装置３に一斉に送信される。
【００５２】
各香り出力装置３は、通信部３２を介して、制御信号Ｓ１を受信する。そして、各香り出力装置３の制御部３１は、制御信号Ｓ１を解釈し、制御信号Ｓ１が自身宛ての信号であるか否かを解釈する。自身宛の制御信号Ｓ１の場合は、制御部３１は、香り出力機構３３を駆動し、香り出力機構３３から香りを発生させる。以上のようにして、手ＨＡの３次元位置から香りが発生されることになり、ユーザは、視覚的に認識した所定の位置から香りが発生していることを知覚できる。
【００５３】
なお、香りを発生する物（本例では、コーヒーカップ４１）の奥行き方向の位置に応じて、香りの強弱を制御するためのデータが制御信号Ｓ１に含まれても良い。例えば、ユーザに対する奥行き方向の距離が長い場合には香りが弱くなるように制御され、ユーザに対する奥行き方向の距離が短い場合には香りが強くなるように制御される。
【００５４】
また、複数の香り出力装置３がなくても良い。例えば、香り出力装置３が移動可能な場合には、手ＨＡの３次元位置に対応する位置に香り出力装置３を移動させ、移動後の香り出力装置３から香りを発生させるようにしても良い。
【００５５】
（処理の流れ）
図１１は、第１の実施形態にかかる処理の流れを示すフローチャートである。以下に説明する処理は、例えば、制御部２１によって行われる。ステップＳＴ１１では、物体（仮想物体でも良いし、実物体でも良い）を持ったか否かが判断される。ステップＳＴ１１の処理は、例えば、以下のようにして行われる。物体に設けられた圧力センサの出力がユーザの把持動作に応じて変化し、この検出結果が制御装置２に通信により行われる。制御装置２の制御部２１は、この通信により供給された情報に基づいて、物体を持ったか否かを判断することができる。
【００５６】
物体を持っていないと判断された場合には、処理がステップＳＴ１１に戻り、ステップＳＴ１１の判断処理が繰り返される。物体を持ったと判断された場合には、処理がステップＳＴ１２に進む。
【００５７】
ステップＳＴ１２では、画像センサ部２２からインタフェース２７を介して画像データが制御部２１に供給される。そして、処理がステップＳＴ１３に進む。
【００５８】
ステップＳＴ１３では、制御部２１が、物体を持っている手ＨＡの３次元位置を推定する。推定方法は、上述した方法の他、公知の方法を適用することができる。そして、処理がステップＳＴ１４に進む。
【００５９】
ステップＳＴ１４では、制御部２１は、ステップＳＴ１３で求めた手ＨＡの３次元位置に従って、その位置から物体に応じた香りが放出されているようにする制御を行う。即ち、制御部２１は、かかる制御を行うための制御信号Ｓ１を生成し、生成した制御信号Ｓ１を出力する。この制御信号Ｓ１が香り出力装置３に供給され、所定の香り出力装置３が香りを発生する動作を行う。
【００６０】
なお、図１１に示す処理の流れは、図１２に示すフローチャートのように変形することができる。即ち、ステップＳＴ１１の前にステップＳＴ１２の処理が行われるようにしても良い。ステップＳＴ１２において、画像センサ部２２から制御部２１に対してインタフェース２７を介して画像データが供給される。制御部２１は、画像データに基づいて、手ＨＡが物体を持ったか否かを判断する。制御部２１は、例えば、物体を掴んでいる手ＨＡの形状や手ＨＡと物体との間の距離等を画像データに基づいて判断し、手ＨＡが物体を持ったか否かを判断する。他の処理は上述した処理と同じであるので、重複した説明は省略する。
【００６１】
以上、説明したように、第１の実施形態では、手ＨＡを認識した結果に基づいて手ＨＡの位置を識別し、当該位置からの所定の香りの出力を制御する処理を行うことができる。
【００６２】
＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態は、制御部２１が、手の動き（ジェスチャ）を認識した結果に基づいて、香りの出力を制御する情報を出力する例である。なお、特に断らない限り、第１の実施形態で説明した事項は、第２の実施形態に対して適用することができる。
【００６３】
［処理の概要］
図１３Ａ〜図１３Ｄは、第２の実施形態に対応する内容を概念的に示した図である。図１３Ａ〜図１３Ｃは、第１の実施形態で説明した事項と同様であるので概略的な説明に留める。即ち、入力画像ＩＭ１２に基づいて、手ＨＡの３次元位置が検出される。本実施形態では、更に、手ＨＡの動きが認識される。例えば、特徴点の変化、手ＨＡの形状の変化等が検出され、その変化に対応付けられた手の動きが、手ＨＡの所定の動きとして認識される。手ＨＡの動きの認識は、その他の公知の方法（Hand Gesture Recognitionと称される技術に基づく方法等）であっても良い。そして、手ＨＡの３次元位置に基づいて、香りの出力が制御される。その際に、認識された手の動きに応じた制御が行われる。なお、香りの種類を判別する際に、手ＨＡの動き及び認識された物体に応じて、香りの種類が判別されても良い。
【００６４】
［処理の流れ］
図１４は、第２の実施形態にかかる処理の流れを示すフローチャートである。以下に説明する処理は、例えば、制御部２１によって行われる。ステップＳＴ２１〜ＳＴ２３の処理は、上述した第１の実施形態におけるステップＳＴ１１〜ＳＴ１３と同様の処理であるため、重複した説明を省略する。ステップＳＴ２３の後、処理がステップＳＴ２４に進む。
【００６５】
ステップＳＴ２４では、制御部２１が、手ＨＡの動きがあった場合、当該動きを認識する。そして、処理がステップＳＴ２５に進む。
【００６６】
ステップＳＴ２５では、制御部２１が、手ＨＡの３次元位置に従って、その位置から物体と手ＨＡの動きに応じた香りが発生しているように制御する。
【００６７】
なお、図１４に示す処理の流れは、図１５に示すフローチャートのように変形することができる。即ち、ステップＳＴ２１の前にステップＳＴ２２の処理が行われるようにしても良い。ステップＳＴ２２において、画像センサ部２２から制御部２１に対してインタフェース２７を介して画像データが供給される。制御部２１は、画像データに基づいて、手ＨＡが物体を持ったか否かを判断する。他の処理は上述した処理と同じであるので、重複した説明は省略する。
【００６８】
更に、図１６に示すフローチャートのように、物体がなくても良く、物体を持ったか否かの判断が行われなくても良い。即ち、始めにステップＳＴ２２の処理が行われ、画像センサ部２２から制御部２１に対して画像データが入力される。そして、処理が、ステップＳＴ２６に進む。
【００６９】
ステップＳＴ２６では、制御部２１が、ステップＳＴ２２で入力された画像データに基づいて、手ＨＡの３次元位置及び手ＨＡの動きを認識する。そして、処理がステップＳＴ２７に進む。
【００７０】
ステップＳＴ２７では、制御部２１が、ステップＳＴ２６で認識した手ＨＡの３次元位置及び手ＨＡの動きに応じて、香りの出力に関する制御を行う。
【００７１】
なお、香りの出力に関する制御だけでなく、ユーザに対して周囲の環境変化を知覚させる制御が行われても良い。例えば、音の発生や、風の発生等の制御が行われるようにしても良い。
【００７２】
［処理の変形例］
図１４〜図１６に示した処理が行われた後に、図１７のフローチャートに示す処理（ステップＳＴ２８及びステップＳＴ２９の処理）が行われても良い。なお、図１４〜図１７で記載されている丸印が付された「Ａ」、「Ｂ」、「Ｃ」との文字は処理の連続性を示すためのものであり、特定の処理を示すものではない。
【００７３】
ステップＳＴ２８では、制御部２１が、状況が変化したか否かを判断する。状況の変化とは、例えば、新たな手ＨＡの動きが検出された場合や、手ＨＡの３次元位置が変化した場合を意味する。状況が変化しない場合は、処理がステップＳＴ２８に戻り、ステップＳＴ２８の判断処理が繰り返される。状況が変化した場合には、処理がステップＳＴ２９に進む。
【００７４】
ステップＳＴ２９では、状況の変化に応じた香りの出力に関する制御が行われる。例えば、香りの強度、香りがくる方向を変更する制御が行われる。香りの出力に関する制御と共に当該制御以外の制御内容が変更されても良い。例えば、状況の変化に応じて、環境変化発生装置の一つである送風装置から出力される風量が変化するようにしても良い。
【００７５】
［具体例］
第２の実施形態に対応する具体例について説明する。下記の表１は、第２の実施形態に対応する具体例を示す表である。
【００７６】
【表１】
2019139465.tif 000003
【００７７】
表１では、パターン番号、認識された手ＨＡの動き（物体を含む場合もある）、画像センサ部２２とは異なるセンサ装置からの入力例、香りの出力例がそれぞれ示されている。
【００７８】
パターンＰ１の場合、物体として「花」が認識され、手ＨＡの動きとして「触れる」動き認識が認識され、これらの結果から「花に触れる」手ＨＡの動きが認識される。なお、この場合の花は、実物体であって画像認識等により花と認識されたものであっても良いし、既に花として認識されている仮想物体であっても良い。この場合は、手ＨＡの３次元位置に対応する位置から花の香りを発生させる制御がなされる。そして、香り出力装置３が花の香りを発生するように動作する。
【００７９】
パターンＰ２の場合、物体として「フルーツ」が認識され、手ＨＡの動きとして「つぶす」動きが認識され、これらの結果から「フルーツをつぶす」手ＨＡの動きが認識される。手ＨＡは、片手でも良いし両手でも良い。なお、この場合のフルーツは、実物体であって画像認識等によりフルーツと認識されたものであっても良いし、既にフルーツとして認識されている仮想物体であっても良い。この場合は、手ＨＡの３次元位置に対応する位置からフルーツの香りを発生させる制御がなされる。そして、香り出力装置３がフルーツの香りを発生するように動作する。
【００８０】
パターンＰ３の場合、物体として「ワイングラス」が認識され、手ＨＡの動きとして回す動きが認識される。これらの結果から、「ワイングラスを揺らす」手ＨＡの動きが認識される。なお、この場合のワイングラスは、実物体であって画像認識等によりワイングラスと認識されたものであっても良いし、既にワイングラスとして認識されている仮想物体であっても良い。この場合は、手ＨＡの３次元位置からワインの香りを発生させる制御がなされる。そして、香り出力装置３がワインの香りを発生するように動作する。
【００８１】
パターンＰ４は、物体がないパターンである。手ＨＡの動きとして、例えば、あたかも魔法を使う際の手ＨＡの動きが認識される。このような手ＨＡの動きとしては、ブルームジェスチャー（胸の前あたりで握った手ＨＡを開く動き）や、人差し指を立てる動きが挙げられる。このような手ＨＡの動きが認識された場合、手ＨＡの３次元位置（ブルームジェスチャーの場合は、手ＨＡを開いたときの３次元位置）から魔法に適した香りが放出される。香り出力装置３は、例えば、炎を扱う魔法の場合は、焦げた香りを手ＨＡの３次元位置から発生するように動作する。このように、手ＨＡの動きに応じて香りの出力を制御する場合、必ずしも物体の存在は必要ない。
【００８２】
なお、手ＨＡの動きを認識した際、その手ＨＡの動きの意味を認識するために他の入力を参考にしても良い。パターンＰ４の場合、他の入力として音声が挙げられる。例えば、手ＨＡの動きと共に、声で魔法や呪文を唱える声が検出された場合に、香り出力装置３が焦げた香りを発生するようにしても良い。声は、例えば、センサ部２３により検出することができる。他の入力を参考にすることで、より適切な制御を行うことができ、誤認識により不適切な制御が行われてしまうことを防止することができる。
【００８３】
また、より臨場感を出すため、香りの出力だけでなく、環境変化発生装置による風の出力や音の出力（例えば、炎が瞬間的に発するような音）に関する制御が行われて良い。
【００８４】
パターンＰ５は、状況の変化に伴う香りの制御の例である。パターンＰ５では、物体として例えばゲームのコントローラが認識され、手ＨＡの動きとして物体を把持する動きが検出される。ここで、把持する力が強くなったものとする。把持する力の変化は、センサ部２３、具体例として圧力センサにより検出することができる。把持する力が強くなった場合は、香りの強度が変更される。例えば、把持する力が強くなった場合は、香りの強度を強くする制御が行われる。
【００８５】
パターンＰ６の場合、手ＨＡの動きとして「拍手」する動きが認識される。拍手の際の手ＨＡの開きぐらい（両手感の距離）から、拍手の大きさを認識することができる。拍手の大きさで香りの強度を変える制御が行われても良い。なお、パターンＰ６の場合、手ＨＡの動きと共に、音声認識により拍手の音が認識されるようにしても良い。香りの出力だけでなく、環境変化発生装置による風の出力（例えば、両手が触れた箇所からの風の発生）や音の出力に関する制御が行われて良い。
【００８６】
パターンＰ７は、連続的な手ＨＡの動きに基づく香りの制御の例である。パターンＰ７は、物体として例えば「花」が認識される。なお、この場合の花は、実物体であって画像認識等により花と認識されたものであっても良いし、既に花として認識されている仮想物体であっても良い。そして、手ＨＡの動きとして、花を撫でた後、手ＨＡを例えば鼻の近くに近づける動きが認識される。このような場合、鼻の近くに動かした手ＨＡの３次元位置から花の香りを発生させる制御が行われる。
【００８７】
他の入力として温度センサによる検出結果が用いられても良い。例えば、物体として「肉」が認識され、手ＨＡの動きとして「肉を焼く」動きが認識された場合、温度の変化に応じて、肉が焼ける香りを発生させるための制御と共に、肉が焼ける音を出力する制御が行われても良い。
【００８８】
＜第３の実施形態＞
次に、第３の実施形態について説明する。第３の実施形態は、制御部２１が、手ＨＡの動き（ジェスチャ）に関する認識結果に基づいて、香りをキャンセルする情報を出力する例である。なお、特に断らない限り、第１、第２の実施形態で説明した事項は、第３の実施形態に対して適用することができる。なお、手ＨＡの動きではなく、手ＨＡの所定位置における形状（例えば、鼻の近くで鼻をふさぐ広げた手の形状）に基づいて、香りをキャンセルする情報が出力されるようにしても良い。
【００８９】
［処理の概要］
図１８Ａ〜図１８Ｄは、第３の実施形態に対応する内容を概念的に示した図である。図１８Ａ〜図１８Ｃは、第１の実施形態で説明した事項と同様であるので概略的な説明に留める。即ち、入力画像ＩＭ１３に基づいて、手ＨＡの３次元位置が検出される。本実施形態では、例えば、特徴点の位置や変化、手ＨＡの形状の変化等に応じて、手ＨＡの形状及び手ＨＡの少なくとも一方（以下、手ＨＡの動き等と適宜、称する）が検出される。検出された手ＨＡの動き等が予め設定された動き等であった場合には、制御部２１は、ユーザが香りに嫌悪感を抱いているものとして、香りをキャンセルする情報を制御信号Ｓ１として出力する。なお、本実施形態において香りをキャンセルするとは、香りの強度を弱くすることを意味しても良いし、香りの発生を停止させることを意味しても良いし、香りの発生を停止させると共に、香りを直ぐに消すための換気等の制御を含むこと（以下、消臭と適宜、称する）を意味しても良い。
【００９０】
［処理の流れ］
図１９は、第３の実施形態にかかる処理の流れを示すフローチャートである。以下に説明する処理は、例えば、制御部２１によって行われる。ステップＳＴ３１では、画像センサ部２２から制御部２１に対してインタフェース２７を介して画像データが入力される。そして、処理がステップＳＴ３２に進む。
【００９１】
ステップＳＴ３２では、制御部２１が手の動き等を認識する。そして、処理がステップＳＴ３３に進む。
【００９２】
ステップＳＴ３３では、制御部２１は、手の動き等が設定された動き等であれば、香りをキャンセルするための制御を実行する。即ち、制御部２１は、香りをキャンセルするための制御信号Ｓ１を生成し、生成した制御信号Ｓ１を香り出力装置３に供給する。制御信号Ｓ１に基づいて香り出力装置３が香りをキャンセルするように動作する。なお、香りを消臭する制御を行う際は、制御部２１は、制御信号Ｓ２を生成し、生成した制御信号Ｓ２を環境変化発生装置に供給する。環境変化発生装置が、換気等を行うことにより香りを消臭するための処理が行われる。
【００９３】
［具体例］
第３の実施形態に対応する具体例について説明する。下記の表２は、第３の実施形態に対応する具体例を示す表である。
【００９４】
【表２】
2019139465.tif 000004
【００９５】
表２におけるパターンＰ８は、手ＨＡの動き等として、広げた手ＨＡを目の前（より具体的には、鼻の前あたり）に出す動作が認識される。この動作は、ユーザが匂いに嫌悪感を抱いている動作として認識される。従って、制御部２１は、香りをキャンセルための制御信号Ｓ１を生成し、生成した制御信号Ｓ１を香り出力装置３に供給する。香り出力装置３は、制御信号Ｓ１に応じて動作し、例えば、香りの出力を止めたり、香りを和らげたり（香りを弱めたり）、消臭したりする。
【００９６】
なお、他の入力も踏まえて上述した制御が行われても良い。例えば、上述した手ＨＡの動きと共に、音声入力により特定の声（例えば「臭い」、「やめて」、「中止」、「終了」等）や、特定の音（例えば、鼻をすする音や咳き込む音）がセンサ部２３で検出された場合に、香りをキャンセルするための制御が行われるようにしても良い。また、呼吸が粗い、体温が高い等の生体センサに基づく情報、焦げにより周囲の温度が高くなるという温度センサに基づく情報、匂いセンサに基づく情報、視線が安定していない等の視線検出センサに基づく情報等を参照して、香りをキャンセルするための制御が行われるようにしても良い。このように、他の入力を参考にすることで、より適切な制御を行うことができ、誤認識により不適切な制御が行われてしまうことを防止することができる。
【００９７】
パターンＰ９は、手ＨＡの動きとして、物体に手ＨＡをかざす動きが検出された例である。パターンＰ１０は、手ＨＡの動きとして、物体を手ＨＡで握り隠す動きが検出された例である。なお、パターンＰ９、Ｐ１０において、物体は、実物体でも良いし、仮想物体であっても良い。また、パターンＰ９、Ｐ１０において、手ＨＡは、片手であっても良いし、両手であっても良い。パターンＰ９、Ｐ１０の場合も同様に、香りをキャンセルするための制御が行われる。例示したパターン以外でも、例えば、鼻の近くを払う手ＨＡの動きが検出された場合等に、香りをキャンセルするための制御が行われるようにしても良い。以上のようにして、手ＨＡの動き等に応じて香りをキャンセルするための制御が可能となる。
【００９８】
なお、パターンＰ９、１０の場合にも他の入力も踏まえて上述した制御が行われても良い。例えば、上述した手ＨＡの動きと共に、音声入力により特定の声（例えば「臭い」、「やめて」、「中止」、「終了」等）や、特定の音（例えば、鼻をすする音や咳き込む音）がセンサ部２３で検出された場合に、香りをキャンセルするための制御が行われるようにしても良い。また、呼吸が粗い、体温が高い等の生体センサに基づく情報、焦げにより周囲の温度が高くなるという温度センサに基づく情報、匂いセンサに基づく情報、視線が安定していない等の視線検出センサに基づく情報等を参照して、香りをキャンセルするための制御が行われるようにしても良い。このように、他の入力を参考にすることで、より適切な制御を行うことができ、誤認識により不適切な制御が行われてしまうことを防止することができる。
【００９９】
＜変形例＞
以上、本開示の実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。
【０１００】
上述した実施形態では、手を例にして説明したが、足、肘等の体の一部にも本開示を適用することができる。また、制御装置は、眼鏡型のウエアラブル機器に限定されるものでなく、肩にかけるウエアラブル機器やリストバンド型のウエアラブル機器、ヘッドアップディスプレイ等でも良い。また、制御装置は、ウエアラブル機器に限定されるものではない。
【０１０１】
上述した実施形態において、物体が実物体である場合でも、当該実物体は必ずしも香りを発生するものでなくても良い。当該実物体が香りを発生するものとみなして、上述した実施形態で説明したように、当該実物体の位置からの香りを出力を制御する処理が行われるようにしても良い。
【０１０２】
上述した実施形態おける制御装置の一部の処理がクラウド上で行われても良い。例えば、制御部２１により実行される処理が、クラウド上のサーバ装置等によって行われるようにしても良い。
【０１０３】
上述した実施形態において、時間の経過を考慮した香りの出力に関する制御が行われても良い。例えば、香りの発生させる制御が行われた後、時間の経過と共に、当該香りの強度が徐々に弱くなるようにする制御が行われても良い。
【０１０４】
本開示は、様々な機器への応用が可能である。例えば、ゲーム機器等へのアミューズメント機器への応用が可能である他、医療、料理、災害救助等のシミュレーション機器に対しての応用も可能である。
【０１０５】
本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。
【０１０６】
本開示は、以下の構成も採ることができる。
（１）
手を認識した結果に基づいて、香りの出力を制御する情報を出力する制御部を有する
制御装置。
（２）
前記制御部は、手を認識した結果に基づいて手の位置を識別し、当該位置からの香りの出力を制御するための情報を出力する
（１）に記載の制御装置。
（３）
前記情報には、香りを発生する複数の装置のうち、識別された前記手の位置に対して最も近傍にある装置に対する香りの出力を制御するための情報が含まれる
（２）に記載の制御装置。
（４）
前記制御部は、手の動きを認識した結果に基づいて、香りの出力を制御する情報を出力する
（１）に記載の制御装置。
（５）
前記香りの出力を制御する情報は、香りを発生させる情報、香りの強さを変化させる情報、香りがくる方向を変化させる情報、香りの発生を停止させる情報、香りの発生を継続する時間を示す情報の少なくとも一つを含む
（１）乃至（４）の何れかに記載の制御装置。
（６）
前記制御部は、前記香りの出力を制御する情報と共に、周囲の環境変化をユーザに対して知覚させる制御を行うための情報を出力する
（１）乃至（５）の何れかに記載の制御装置。
（７）
前記周囲の環境変化をユーザに対して知覚させる制御は、音を再生する制御、風を発生させる制御、周囲の明るさを変化させる制御の少なくとも一つを含む
（６）に記載の制御装置。
（８）
前記制御部は、前記手を認識した結果及び所定の入力に対する認識結果に基づいて、香りの出力を制御する情報を出力する
（１）乃至（５）の何れかに記載の制御装置。
（９）
前記所定の入力は、音センサ、温度センサ、生体センサの少なくとも一つで検出可能な入力である
（８）に記載の制御装置。
（１０）
前記制御部は、ユーザ視点に対応する画像に基づいて、手を認識する
（１）乃至（９）の何れかに記載の制御装置。
（１１）
前記画像は、実画像又は仮想的な画像である
（１０）に記載の制御装置。
（１２）
前記情報に基づいた香りの出力を行う香り発生部を有する
（１）乃至（１１）の何れかに記載の制御装置。
（１３）
ウエアラブル機器として構成される
（１）乃至（１２）の何れかに記載の制御装置。
（１４）
制御部が、手を認識した結果に基づいて、香りの出力を制御する情報を出力する
制御方法。
（１５）
制御部が、手を認識した結果に基づいて、香りの出力を制御する情報を出力する
制御方法をコンピュータに実行させるプログラム。
【符号の説明】
【０１０７】
１・・・制御システム、２・・・制御装置、３・・・香り出力装置、２１・・・制御部、２２・・・画像センサ部、２３・・・センサ部
【図１】
2019139465.tif 000005
【図２】
2019139465.tif 000006
【図３】
2019139465.tif 000007
【図４】
2019139465.tif 000008
【図５】
2019139465.tif 000009
【図６】
2019139465.tif 000010
【図７】
2019139465.tif 000011
【図８】
2019139465.tif 000012
【図９】
2019139465.tif 000013
【図１０】
2019139465.tif 000014
【図１１】
2019139465.tif 000015
【図１２】
2019139465.tif 000016
【図１３】
2019139465.tif 000017
【図１４】
2019139465.tif 000018
【図１５】
2019139465.tif 000019
【図１６】
2019139465.tif 000020
【図１７】
2019139465.tif 000021
【図１８】
2019139465.tif 000022
【図１９】
2019139465.tif 000023