(57)【要約】  画像に応じた皮膚感覚の制御設定における人的負荷を軽減することを可能とする。  被写体の赤外線画像を取得する赤外線画像取得部と、前記被写体の可視光画像を取得する可視光画像取得部と、前記赤外線画像取得部によって取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成する生成部と、前記可視光画像取得部によって取得された前記可視光画像と前記生成部によって生成された前記皮膚感覚制御パラメータとを関連付けるデータ処理部と、を備える画像処理装置を提供する。
2016113963.tif 000002
【特許請求の範囲】
【請求項１】
被写体の赤外線画像を取得する赤外線画像取得部と、  前記被写体の可視光画像を取得する可視光画像取得部と、  前記赤外線画像取得部によって取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成する生成部と、  前記可視光画像取得部によって取得された前記可視光画像と前記生成部によって生成された前記皮膚感覚制御パラメータとを関連付けるデータ処理部と、  を備える画像処理装置。
【請求項２】
前記生成部は、前記赤外線画像の画素領域ごとに前記皮膚感覚制御パラメータを生成し、  前記データ処理部は、前記皮膚感覚制御パラメータを前記赤外線画像の前記画素領域の各々に対応する前記可視光画像の画素に割り当てることにより、前記関連付けを行う、  請求項１に記載の画像処理装置。
【請求項３】
前記皮膚感覚制御パラメータは、触覚制御パラメータを含み、  前記生成部は、前記赤外線画像取得部によって取得された前記赤外線画像の画素値に基づいて前記触覚制御パラメータを生成する、  請求項２に記載の画像処理装置。
【請求項４】
前記赤外線画像取得部は、前記被写体に対する複数の赤外線照射角の各々について前記赤外線画像を取得し、  前記生成部は、前記赤外線画像取得部によって取得された複数の前記赤外線画像に基づいて前記触覚制御パラメータを生成する、  請求項３に記載の画像処理装置。
【請求項５】
前記触覚制御パラメータは、物体表面の粗さに応じた触覚を制御するためのパラメータ及び物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを含む、請求項４に記載の画像処理装置。
【請求項６】
前記生成部は、前記画素領域に対応する画素値の前記複数の赤外線照射角にわたる分布に基づいて前記画素領域の前記物体表面の粗さを推定することにより、前記物体表面の粗さに応じた触覚を制御するためのパラメータを生成し、推定された前記物体表面の粗さの分散に基づいて前記物体表面のテクスチャ境界の密度を推定することにより、前記物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを生成する、請求項５に記載の画像処理装置。
【請求項７】
前記物体表面の粗さに応じた触覚を制御するためのパラメータは、対象物に発生させる振動の周波数を示す値を含み、  前記物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータは、前記振動の継続時間を示す値を含む、  請求項５に記載の画像処理装置。
【請求項８】
前記物体表面の粗さに応じた触覚を制御するためのパラメータは、対象物に印加される電圧の値を含み、  前記物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータは、前記電圧が印加される前記対象物の間隔を示す値を含む、  請求項５に記載の画像処理装置。
【請求項９】
前記皮膚感覚制御パラメータは、温度覚制御パラメータを含み、  前記生成部は、前記赤外線画像取得部によって取得された前記赤外線画像の画素値に基づいて前記温度覚制御パラメータを生成する、  請求項２に記載の画像処理装置。
【請求項１０】
前記温度覚制御パラメータは、対象物に印加される電流の絶対値及び方向を示す値を含む、請求項９に記載の画像処理装置。
【請求項１１】
画像処理装置により被写体の赤外線画像を取得することと、  前記被写体の可視光画像を取得することと、  取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成することと、  取得された前記可視光画像と生成された前記皮膚感覚制御パラメータとを関連付けることと、  を含む画像処理方法。
【請求項１２】
画像処理装置を制御するコンピュータを、  被写体の赤外線画像を取得する赤外線画像取得部と、  前記被写体の可視光画像を取得する可視光画像取得部と、  前記赤外線画像取得部によって取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成する生成部と、  前記可視光画像取得部によって取得された前記可視光画像と前記生成部によって生成された前記皮膚感覚制御パラメータとを関連付けるデータ処理部と、  として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】  近年、ユーザへ情報を伝達する技術として、皮膚感覚を制御する技術が開発されている。特に、画像を表示するとともに皮膚感覚を制御することにより、視覚機能の衰えた高齢者等への情報伝達を円滑化することができる。【０００３】  例えば、特許文献１には、格子状に配置された対向電極に印加される電圧を制御することにより電気刺激を通じて触覚を制御する機能を、画像を表示する表示装置に付加する技術が開示されている。【０００４】  また、特許文献２には、格子状に配置されたペルチェ素子に印加される電流を制御することにより温度刺激を通じて温度覚を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１３０５２５号公報
【特許文献２】特開２０１１−１８０６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】  しかしながら、画像を表示するとともに皮膚感覚を制御する技術において、表示される画像に応じた皮膚感覚の制御設定における人的負荷を軽減することが困難であった。例えば、特許文献１に開示されている技術では、表示される画像に応じた電圧値を人手によって設定することを要する。【０００７】  そこで、本開示では、画像に応じた皮膚感覚の制御設定における人的負荷を軽減することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提案する。
【課題を解決するための手段】
【０００８】  本開示によれば、被写体の赤外線画像を取得する赤外線画像取得部と、前記被写体の可視光画像を取得する可視光画像取得部と、前記赤外線画像取得部によって取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成する生成部と、前記可視光画像取得部によって取得された前記可視光画像と前記生成部によって生成された前記皮膚感覚制御パラメータとを関連付けるデータ処理部と、を備える画像処理装置が提供される。【０００９】  また、本開示によれば、画像処理装置により被写体の赤外線画像を取得することと、前記被写体の可視光画像を取得することと、取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成することと、取得された前記可視光画像と生成された前記皮膚感覚制御パラメータとを関連付けることと、を含む画像処理方法が提供される。【００１０】  また、本開示によれば、画像処理装置を制御するコンピュータを、被写体の赤外線画像を取得する赤外線画像取得部と、前記被写体の可視光画像を取得する可視光画像取得部と、前記赤外線画像取得部によって取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成する生成部と、前記可視光画像取得部によって取得された前記可視光画像と前記生成部によって生成された前記皮膚感覚制御パラメータとを関連付けるデータ処理部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００１１】  以上説明したように本開示によれば、画像に応じた皮膚感覚の制御設定における人的負荷を軽減することが可能である。【００１２】  なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】波長に依存する赤外線（ＩＲ）画像の多様な用途について説明するための説明図である。
【図２】本開示の実施形態に係る画像処理装置のハードウェア構成の具体例を示す説明図である。
【図３】被写体に対する複数の赤外線照射角の具体例を示す説明図である。
【図４】本開示の実施形態に係る画像処理装置の論理的機能の構成の具体例を示す説明図である。
【図５】各物質についての光の照射角に対する反射光強度の特性の具体例を示す説明図である。
【図６】物体表面の粗さの推定における画素領域の分割の具体例を示す説明図である。
【図７】画素値の複数の赤外線照射角にわたるダイナミックレンジと物体表面の粗さとの相関モデルの具体例を示す説明図である。
【図８】テクスチャ境界の密度の推定における画素領域の分割の具体例を示す説明図である。
【図９】物体表面の粗さの分散とテクスチャ境界の密度との相関モデルの具体例を示す説明図である。
【図１０】触覚呈示ディスプレイの第１の例を示す外観図である。
【図１１】可視光画像と触覚制御パラメータとが関連付けられたデータテーブルの具体例を示す説明図である。
【図１２】本開示の実施形態に係る画像処理装置が行う処理の流れの具体例を示すフローチャートである。
【図１３】触覚呈示ディスプレイの第２の例を示す外観図である。
【図１４】温度覚呈示ディスプレイの具体例を示す外観図である。
【図１５】物体の温度と電流の値との相関モデルの具体例を示す説明図である。
【図１６】応用例に係る画像処理装置が行う処理の流れの具体例を示すフローチャートである。
【発明を実施するための形態】
【００１４】  以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】  なお、説明は以下の順序で行うものとする。  １．導入  ２．本開示の実施形態に係る画像処理装置    ２−１．ハードウェア構成    ２−２．機能構成    ２−３．動作    ２−４．効果    ２−５．変形例    ２−６．応用例  ３．むすび
【００１６】  ＜１．導入＞  図１は、波長に依存する赤外線（ＩＲ）画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。０．７μｍから１．０μｍまでの範囲内の波長を有する赤外線は、近赤外線（ＮＩＲ）に分類される。近赤外線は、例えば、暗視（night  vision）、透視、光通信及び測距のために利用され得る。１．０μｍから２．５μｍまでの範囲内の波長を有する赤外線は、短波長赤外線（ＳＷＩＲ）に分類される。短波長赤外線もまた、暗視及び透視のために利用可能である。近赤外線又は短波長赤外線を用いた暗視装置は、まず近傍に赤外線を照射し、その反射光を受光することにより赤外線画像を得る。２．５μｍから４．０μｍまでの範囲内の波長を有する赤外線は、中波長赤外線（ＭＷＩＲ）に分類される。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。また、中波長赤外線は、サーモグラフィのためにも利用可能である。４．０μｍ以上の波長を有する赤外線は、遠赤外線（ＦＩＲ）に分類される。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより赤外線画像を得ることができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。
【００１７】  上述したように、特にＮＩＲ又はＳＷＩＲの画像を撮像により得る赤外線カメラは、通常、撮像の際に赤外線を近傍へ照射する。ここで、物体表面への光の照射角に対する物体表面の反射光強度の特性は、物体表面の粗さに依存することが知られている。本明細書では、例えば、このような光の特性を利用し、画像に応じた皮膚感覚の制御設定における人的負荷を軽減することのできる仕組みを詳細に説明する。
【００１８】  ＜２．本開示の実施形態に係る画像処理装置＞  まず、本開示の実施形態に係る画像処理装置１０について説明する。
【００１９】    [２−１．ハードウェア構成]  図２は、本開示の実施形態に係る画像処理装置１０のハードウェア構成の具体例を示す説明図である。図２に示したように、画像処理装置１０は、赤外線カメラ１０２と、可視光カメラ１０４と、入力インタフェース１０６と、メモリ１０８と、ディスプレイ１１０と、通信インタフェース１１２と、ストレージ１１４と、プロセッサ１１６と、バス１１８と、を備える。
【００２０】      （赤外線カメラ）  赤外線カメラ１０２は、赤外線を利用した撮像を行い、赤外線画像を得る撮像モジュールである。赤外線カメラ１０２は、赤外線を感知する撮像素子の配列を有する。赤外線カメラ１０２が撮像によりＮＩＲ画像又はＳＷＩＲ画像を得る場合には、赤外線カメラ１０２は、ＮＩＲ画像又はＳＷＩＲ画像に対応する波長を有する赤外線を照射する発光素子を有してもよい。例えば、赤外線カメラ１０２は、ユーザ入力などのトリガに応じて又は周期的に発光素子から赤外線を照射し、被写体又はその背景において反射した赤外線を捕捉することにより、赤外線画像を得る。また、赤外線カメラ１０２により得られる一連の赤外線画像は、動画像を構成してもよい。なお、撮像素子は、赤外線に加えて可視光を検出することが可能であってもよく、その場合、可視光カメラ１０４は画像処理装置１０の構成から省略され得る。
【００２１】  また、赤外線カメラ１０２における発光素子の位置は、プロセッサ１１６により可変的に制御される。ゆえに、被写体に対する赤外線照射角が互いに異なる複数の赤外線画像を得ることが可能である。例えば、赤外線カメラ１０２における発光素子の位置がフレームごとに予め設定された位置に制御されることによって、被写体に対する赤外線照射角が互いに異なる複数の赤外線画像を得ることが可能である。例えば、図３に示したように、あるフレームにおいて、発光素子により被写体Ｓ１に対して照射される赤外線Ｌ１に対応する赤外線照射角は角度Ｚ１であり、次のフレームにおいて、発光素子により被写体Ｓ１に対して照射される赤外線Ｌ２に対応する赤外線照射角は角度Ｚ２であり、さらに次のフレームにおいて、発光素子により被写体Ｓ１に対して照射される赤外線Ｌ３に対応する赤外線照射角は角度Ｚ３である。なお、本開示の技術的範囲は、赤外線カメラ１０２における発光素子の位置が自動制御される例に限定されず、例えば、赤外線カメラ１０２における発光素子の位置は手動で制御されてもよい。
【００２２】      （可視光カメラ）  可視光カメラ１０４は、可視光を利用した撮像を行い、可視光画像を得る撮像モジュールである。可視光カメラ１０４は、互いに異なる波長の可視光を感知する撮像素子の配列を有する。例えば、可視光カメラ１０４は、赤色域、緑色域及び青色域にそれぞれ感度域を持つ撮像素子の配列を有してもよい。
【００２３】      （入力インタフェース）  入力インタフェース１０６は、ユーザが画像処理装置１０を操作し、又は画像処理装置１０へ情報を入力するために使用される。例えば、入力インタフェース１０６は、タッチセンサ、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０６は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
【００２４】      （メモリ）  メモリ１０８は、ＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）を含み得る記憶媒体である。メモリ１０８は、プロセッサ１１６に連結され、プロセッサ１１６により実行される処理のためのプログラム及びデータを記憶する。
【００２５】      （ディスプレイ）  ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ１１０は、ＬＣＤ（Liquid  Crystal  Display）、ＯＬＥＤ（Organic  light-Emitting  Diode）又はＣＲＴ（Cathode  Ray  Tube）などであってもよい。
【００２６】      （通信インタフェース）  通信インタフェース１１２は、画像処理装置１０と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１２は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。
【００２７】      （ストレージ）  ストレージ１１４は、赤外線画像及び可視光画像を含み得る画像データを蓄積し、または赤外線画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１４は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１０の外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００２８】      （プロセッサ）  プロセッサ１１６は、ＣＰＵ（Central  Processing  Unit）又はＤＳＰ（Digital  Signal  Processor）などの処理モジュールである。プロセッサ１１６は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、画像に応じた皮膚感覚の制御設定における人的負荷を軽減するための機能を動作させる。
【００２９】      （バス）  バス１１８は、赤外線カメラ１０２、可視光カメラ１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、ストレージ１１４及びプロセッサ１１６を相互に接続する。
【００３０】    [２−２．機能構成]  前節では、本開示の実施形態に係る画像処理装置１０のハードウェア構成を説明した。続いて、図４を参照して、本開示の実施形態に係る画像処理装置１０の論理的機能の構成を説明する。
【００３１】  図４は、図２に示した画像処理装置１０の構成要素が互いに連係することにより実現される論理的機能の構成の一例を示すブロック図である。図４に示したように、画像処理装置１０は、赤外線画像取得部１５２と、可視光画像取得部１５４と、記憶部１５６と、生成部１５８と、データ処理部１６０と、を備える。
【００３２】      （赤外線画像取得部）  赤外線画像取得部１５２は、被写体の赤外線画像を被写体に対する複数の赤外線照射角の各々について取得し、取得された赤外線画像を生成部１５８へ出力する。例えば、赤外線画像取得部１５２は、赤外線カメラ１０２により得られた赤外線画像を取得してもよい。また、赤外線画像取得部１５２は、ストレージ１１４により記憶されている赤外線画像を取得してもよい。また、赤外線画像取得部１５２は、通信インタフェース１１２を介して他の装置から赤外線画像を取得してもよい。赤外線画像取得部１５２により取得される赤外線画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。また、赤外線画像取得部１５２は、圧縮符号化された符号化ストリームから赤外線画像を復号してもよい。
【００３３】      （可視光画像取得部）  可視光画像取得部１５４は、被写体の可視光画像を取得し、取得された可視光画像をデータ処理部１６０へ出力する。例えば、可視光画像取得部１５４は、可視光カメラ１０４により得られた可視光画像を取得してもよい。また、可視光画像取得部１５４は、ストレージ１１４により記憶されている可視光画像を取得してもよい。また、可視光画像取得部１５４は、通信インタフェース１１２を介して他の装置から可視光画像を取得してもよい。可視光画像取得部１５４により取得される可視光画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。また、可視光画像取得部１５４は、圧縮符号化された符号化ストリームから可視光画像を復号してもよい。なお、赤外線カメラ１０２が、可視光を検出することが可能な撮像素子を備え、撮像により可視光画像を得ることが可能である場合、可視光画像取得部１５４は、赤外線カメラ１０２により得られた可視光画像を取得してもよい。
【００３４】      （記憶部）  記憶部１５６は、生成部１５８における皮膚感覚制御パラメータ生成処理のために参照されるデータ及びデータ処理部１６０により関連付けられた可視光画像及び皮膚感覚制御パラメータを記憶する。
【００３５】      （生成部）  生成部１５８は、赤外線画像取得部１５２から入力された赤外線画像に基づいて皮膚感覚制御パラメータを生成し、生成された皮膚感覚制御パラメータをデータ処理部１６０へ出力する。皮膚感覚制御パラメータは、皮膚感覚の制御に用いられるパラメータである。例えば、生成部１５８によって生成される皮膚感覚制御パラメータは、触覚制御パラメータを含む。さらに、生成部１５８によって生成される触覚制御パラメータは、物体表面の粗さに応じた触覚を制御するためのパラメータ及び物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを含む。
【００３６】  一般に、各テクスチャの物体表面の粗さを人に知覚させることのみによって、物体表面のテクスチャ境界の密度がある値以上の区域における物体表面のテクスチャ境界の有無を人に知覚させることは困難である。ゆえに、物体表面のテクスチャ境界の密度に応じた触覚を制御することによって、物体表面のテクスチャ境界の密度によらず物体表面のテクスチャ境界の有無を人に感知させることが可能となる。
【００３７】  ここで、物体表面への光の照射角に対する物体表面の反射光強度の特性は、物体表面の粗さに依存することが知られている。図５におけるグラフは、一例として、プラスチック、紙、繊維及び木の各々についての光の照射角に対する物体表面の法線方向の反射光強度の特性を示す。図５に示したように、物質の物体表面の粗さが小さいほど照射角の変化に伴う物体表面の法線方向の反射光強度の変化が大きい。例えば、プラスチックの物体表面の粗さは木の物体表面の粗さと比較し小さいため、図５に示したように、プラスチックについての複数の照射角にわたる反射光強度のダイナミックレンジＱＰは、木についての複数の照射角にわたる反射光強度のダイナミックレンジＱＷと比較し大きい。
【００３８】  本開示の実施形態において、生成部１５８は、このような光の特性を利用し、赤外線画像取得部１５２によって取得された赤外線画像の画素値に基づいて触覚制御パラメータを生成する。例えば、生成部１５８は、被写体に対する複数の赤外線照射角についてそれぞれ得られた複数の赤外線画像に基づいて触覚制御パラメータを生成する。
【００３９】  具体的には、生成部１５８は、複数の赤外線照射角についてそれぞれ得られた複数の赤外線画像に基づいて物体表面の粗さを推定する。また、生成部１５８は、推定された物体表面の粗さに基づいて物体表面のテクスチャ境界の密度を推定する。そして、生成部１５８は、推定された物体表面の粗さに応じた触覚を制御するためのパラメータ及び推定された物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータをそれぞれ生成する。以下、生成部１５８が行う触覚制御パラメータ生成処理の具体例について説明する。
【００４０】  生成部１５８は、赤外線画像の画素領域ごとに物体表面の粗さを推定する。図６は、物体表面の粗さの推定における画素領域の分割の具体例を示す説明図である。物体表面の粗さの推定において、例えば、図６に示したように、赤外線画像取得部１５２によって取得された赤外線画像は３×３の画素領域に分割される。図６において、一例として、赤外線画像の分割により得られた画素領域Ａ１〜Ａ４が示されている。物体表面の粗さの推定における処理の一例として、生成部１５８は、まず、注目画素領域を決定し、決定された注目画素領域の物体表面の粗さを推定する。次に、生成部１５８は、物体表面の粗さの推定が完了していない画素領域を注目画素領域として決定する。このように、生成部１５８は、注目画素領域の決定及び物体表面の粗さの推定を繰り返すことにより、全ての画素領域の物体表面の物体表面の粗さを推定する。
【００４１】  具体的には、生成部１５８は、まず、画素領域Ａ１を注目画素領域として決定し、画素領域Ａ１の物体表面の粗さを推定する。生成部１５８は、画素領域Ａ１に対応する画素値の複数の赤外線照射角にわたる分布に基づいて画素領域Ａ１の物体表面の粗さを推定する。例えば、生成部１５８は、画素領域Ａ１の平均画素値の複数の赤外線照射角にわたるダイナミックレンジに基づいて画素領域Ａ１の物体表面の粗さを推定する。
【００４２】  図７は、画素値の複数の赤外線照射角にわたるダイナミックレンジと物体表面の粗さとの相関モデル２０の具体例を示す説明図である。図７において、画素値の複数の赤外線照射角にわたるダイナミックレンジの各々に対応する物体表面の粗さが示される。生成部１５８は、記憶部１５６に記憶された相関モデル２０を取得し、取得された相関モデル２０を用いて、画素領域Ａ１の平均画素値の複数の赤外線照射角にわたるダイナミックレンジＱ１に対応する画素領域Ａ１の物体表面の粗さを粗さＲ１と推定する。同様に、図６における画素領域Ａ２〜Ａ４及びＡ１〜Ａ４以外の画素領域について、生成部１５８は、物体表面の粗さを推定する。なお、生成部１５８は、赤外線画像の画素ごとに物体表面の粗さを推定してもよい。
【００４３】  また、生成部１５８は、赤外線画像の画素領域ごとに物体表面のテクスチャ境界の密度を推定する。テクスチャ境界の密度の推定において、赤外線画像取得部１５２によって取得された赤外線画像は、物体表面の粗さの推定における赤外線画像の分割により得られた複数の画素領域からなる画素領域に分割される。図８は、テクスチャ境界の密度の推定における画素領域の分割の具体例を示す説明図である。テクスチャ境界の密度の推定において、例えば、図８に示したように、赤外線画像取得部１５２によって取得された赤外線画像は６×６の画素領域に分割される。図８において、一例として、赤外線画像の分割により得られた画素領域Ｂ１が示されている。図８に示した画素領域Ｂ１は、図６に示した物体表面の粗さの推定における赤外線画像の分割により得られた画素領域Ａ１〜Ａ４からなる。物体表面のテクスチャ境界の密度の推定における処理の一例として、生成部１５８は、まず、注目画素領域を決定し、決定された注目画素領域のテクスチャ境界の密度を推定する。次に、生成部１５８は、テクスチャ境界の密度の推定が完了していない画素領域を注目画素領域として決定する。このように、生成部１５８は、注目画素領域の決定及びテクスチャ境界の密度の推定を繰り返すことにより、全ての画素領域の物体表面のテクスチャ境界の密度を推定する。
【００４４】  具体的には、生成部１５８は、まず、画素領域Ｂ１を注目画素領域として決定し、画素領域Ｂ１のテクスチャ境界の密度を推定する。生成部１５８は、推定された物体表面の粗さの分散に基づいて物体表面のテクスチャ境界の密度を推定する。例えば、生成部１５８は、推定された画素領域Ｂ１の物体表面の粗さの分散に基づいて画素領域Ｂ１の物体表面のテクスチャ境界の密度を推定する。
【００４５】  図９は、物体表面の粗さの分散とテクスチャ境界の密度との相関モデル３０の具体例を示す説明図である。図９において、物体表面の粗さの分散の各々に対応するテクスチャ境界の密度が示される。生成部１５８は、記憶部１５６に記憶された相関モデル３０を取得し、取得された相関モデル３０を用いて、画素領域Ｂ１の物体表面の粗さの分散ＲＶ１に対応する画素領域Ｂ１のテクスチャ境界の密度を密度Ｄ１と推定する。同様に、図８における画素領域Ｂ１以外の画素領域について、生成部１５８は、テクスチャ境界の密度を推定する。
【００４６】  ここで、格子状に配置された振動子に発生させる振動を制御することにより振動刺激を通じて触覚を制御する技術が知られている。図１０は、そのような技術を用いた触覚呈示ディスプレイ４０の具体例を示す外観図である。図１０に示したように、触覚呈示ディスプレイ４０は、格子状に配置された振動子４１２を含む触覚呈示部４１０と、画像を表示する表示部４２０と、からなる。振動子４１２による振動の発生及び振動の停止は、繰り返し周期的に行われる。また、触覚呈示部４１０は、振動子４１２を周期的に振動させる。触覚呈示ディスプレイ４０において、触覚呈示部４１０が表示部４２０に積層されることにより、画像を表示するとともに触覚を制御することが可能となる。また、触覚呈示ディスプレイ４０において、振動子４１２に発生させる振動の周波数は物体表面の粗さに応じた触覚と相関があり、振動子４１２に発生させる振動の継続時間は物体表面のテクスチャ境界の密度に応じた触覚と相関があることが知られている。
【００４７】  本開示の実施例において、生成部１５８は、生成部１５８により推定された物体表面の粗さに応じた触覚を制御するためのパラメータとして、例えば、対象物に発生させる振動の周波数を示す値を生成する。また、生成部１５８は、生成部１５８により推定された物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータとして、例えば、対象物に発生させる振動の継続時間を示す値を生成する。生成部１５８は、赤外線画像の画素領域ごとに触覚制御パラメータを生成してもよい。例えば、生成部１５８は、図６に示した物体表面の粗さの推定における分割により得られた画素領域ごとに対象物に発生させる振動の周波数を示す値を生成し、図８に示したテクスチャ境界の密度の推定における分割により得られた画素領域ごとに対象物に発生させる振動の継続時間を示す値を生成する。
【００４８】      （データ処理部）  データ処理部１６０は、可視光画像取得部１５４によって取得された可視光画像と生成部１５８によって生成された皮膚感覚制御パラメータとを関連付ける。例えば、データ処理部１６０は、皮膚感覚制御パラメータを赤外線画像の画素領域の各々に対応する可視光画像の画素に割り当てることにより、関連付けを行う。また、データ処理部１６０は、関連付けられた可視光画像及び皮膚感覚制御パラメータを記憶部１５６に記憶させる。図１１は、可視光画像と触覚制御パラメータとが関連付けられたデータテーブル５０の具体例を示す説明図である。
【００４９】  具体的には、物体表面の粗さの推定における分割により得られた画素領域ごとに生成された振動の周波数を示す値は物体表面の粗さの推定における分割により得られた画素領域の各々に対応する可視光画像の画素に割り当てられる。例えば、図６における画素領域Ａ１について振動の周波数を示す値Ｆ１が生成され、画素領域Ａ１に可視光画像の画素Ｃ１〜Ｃ９が対応する場合、振動の周波数を示す値Ｆ１は可視光画像の画素Ｃ１〜Ｃ９に割り当てられる。具体的には、図１１に示したデータテーブル５０において、物体表面の粗さの推定における分割により得られた画素領域ごとに生成された振動の周波数を示す値Ｆ１〜Ｆ８は、それぞれ可視光画像の画素Ｃ１〜Ｃ９、Ｃ１０〜Ｃ１８、Ｃ１９〜Ｃ２７、Ｃ２８〜Ｃ３６、Ｃ３７〜Ｃ４５、Ｃ４６〜Ｃ５４、Ｃ５５〜Ｃ６３及びＣ６４〜Ｃ７２に割り当てられる。
【００５０】  また、テクスチャ境界の密度の推定における分割により得られた画素領域ごとに生成された振動の継続時間を示す値は物体表面のテクスチャ境界の密度の推定における分割により得られた画素領域の各々に対応する可視光画像の画素に割り当てられる。例えば、図８における画素領域Ｂ１について振動の継続時間を示す値Ｔ１が生成され、画素領域Ｂ１に可視光画像の画素Ｃ１〜Ｃ３６が対応する場合、振動の継続時間を示す値Ｔ１は可視光画像の画素Ｃ１〜Ｃ３６に割り当てられる。具体的には、図１１に示したデータテーブル５０において、テクスチャ境界の密度の推定における分割により得られた画素領域ごとに生成された振動の継続時間を示す値Ｔ１及びＴ２は、それぞれ可視光画像の画素Ｃ１〜Ｃ３６及びＣ３７〜Ｃ７２に割り当てられる。
【００５１】  なお、データ処理部１６０は、生成部１５８による触覚制御パラメータ生成処理において用いられた複数の赤外線画像のうちのいずれかと同じタイミングの撮像により得られた可視光画像と生成された触覚制御パラメータとを関連付けてもよい。例えば、３回の撮像により得られた３つの赤外線画像が触覚制御パラメータ生成処理において用いられる場合、データ処理部１６０は、２回目の赤外線画像の撮像と同じタイミングの撮像により得られた可視光画像と生成された触覚制御パラメータとを関連付けてもよい。
【００５２】    [２−３．動作]  前節では、本開示の実施形態に係る画像処理装置１０の論理的機能の構成を説明した。続いて、図１２を参照して、本開示の実施形態に係る画像処理装置１０が行う処理の流れを説明する。
【００５３】  図１２は、本開示の実施形態に係る画像処理装置１０が行う処理の流れの具体例を示すフローチャートである。図１２に示したように、まず、赤外線画像取得部１５２は複数の赤外線照射角の各々について赤外線画像を取得すると（ステップＳ１０２）、取得された複数の赤外線画像を生成部１５８へ出力する。そして、可視光画像取得部１５４は可視光画像を取得し（ステップＳ１０３）、取得された可視光画像をデータ処理部１６０へ出力する。次に、生成部１５８は、複数の赤外線照射角についてそれぞれ得られた複数の赤外線画像に基づいて物体表面の粗さを推定する（ステップＳ１０４）。続いて、生成部１５８は、推定された物体表面の粗さに基づいて物体表面のテクスチャ境界の密度を推定する（ステップＳ１０６）。次に、生成部１５８は、推定された物体表面の粗さに応じた触覚を制御するためのパラメータを生成し（ステップＳ１０８）、推定された物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを生成する（ステップＳ１１０）。生成された触覚制御パラメータはデータ処理部１６０へ出力される。そして、データ処理部１６０は、可視光画像と触覚制御パラメータとを関連付ける（ステップＳ１１２）。そして、図１２に示した処理は終了する。
【００５４】    [２−４．効果]  上述した実施形態によれば、生成部１５８は、赤外線画像取得部１５２から入力された赤外線画像に基づいて皮膚感覚制御パラメータを生成し、データ処理部１６０は、可視光画像取得部１５４によって取得された可視光画像と生成部１５８によって生成された皮膚感覚制御パラメータとを関連付ける。ゆえに、画像に応じた皮膚感覚の制御設定において人手を要する作業を削減することができる。従って、画像に応じた皮膚感覚の制御設定における人的負荷を軽減することが可能である。
【００５５】  また、上述した実施形態によれば、生成部１５８は、赤外線画像の画素領域ごとに皮膚感覚制御パラメータを生成し、データ処理部１６０は、皮膚感覚制御パラメータを赤外線画像の画素領域の各々に対応する可視光画像の画素に割り当てることにより、関連付けを行う。ゆえに、皮膚感覚制御パラメータの生成処理を軽減することができる。従って、皮膚感覚の制御設定を迅速化することが可能である。
【００５６】  また、ある実施形態によれば、生成部１５８は、赤外線画像取得部１５２から入力された赤外線画像の画素値に基づいて、触覚制御パラメータとして物体表面の粗さに応じた触覚を制御するためのパラメータ及び物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを生成する。それにより、画像に応じた物体表面の粗さに応じた触覚及び物体表面のテクスチャ境界の密度に応じた触覚の制御設定における人的負荷を軽減することが可能である。
【００５７】  また、ある実施形態によれば、赤外線画像取得部１５２は、被写体に対する複数の赤外線照射角の各々について赤外線画像を取得し、生成部１５８は、赤外線画像取得部１５２によって取得された複数の赤外線画像に基づいて触覚制御パラメータを生成する。それにより、物体表面への光の照射角に対する物体表面の反射光強度の特性を利用して、画像に応じた尤もらしい触覚制御パラメータを生成することが可能である。
【００５８】  また、ある実施形態によれば、生成部１５８は、画素領域に対応する画素値の複数の赤外線照射角にわたる分布に基づいて画素領域の物体表面の粗さを推定することにより、物体表面の粗さに応じた触覚を制御するためのパラメータを生成し、推定された物体表面の粗さの分散に基づいて物体表面のテクスチャ境界の密度を推定することにより、物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを生成する。それにより、物体表面への光の照射角に対する物体表面の反射光強度の特性を利用して、画像に応じた尤もらしい物体表面の粗さに応じた触覚を制御するためのパラメータ及び物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを生成することが可能である。
【００５９】  また、ある実施形態によれば、生成部１５８は、赤外線画像取得部１５２から入力された赤外線画像の画素値に基づいて、物体表面の粗さに応じた触覚を制御するためのパラメータとして、対象物に発生させる振動の周波数を示す値を、物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータとして、対象物に発生させる振動の継続時間を示す値を生成する。それにより、振動刺激を利用した画像に応じた触覚の制御の設定における人的負荷を軽減することが可能である。
【００６０】    [２−５．変形例]  以上、物体表面の粗さに応じた触覚を制御するためのパラメータとして、対象物に発生させる振動の周波数を示す値が生成され、物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータとして、対象物に発生させる振動の継続時間を示す値が生成される例を説明した。本開示の技術的範囲は係る例に限定されず、例えば、以下に説明する変形例において、物体表面の粗さに応じた触覚を制御するためのパラメータとして、対象物に印加される電圧の値が生成され、物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータとして、電圧が印加される対象物の間隔を示す値が生成される。
【００６１】  ここで、格子状に配置された対向電極に印加される電圧を制御することにより電気刺激を通じて触覚を制御する機能を、画像を表示する表示装置に付加する技術が知られている（例えば、特許文献１）。図１３は、そのような技術を用いた触覚呈示ディスプレイ６０の具体例を示す外観図である。図１３に示したように、触覚呈示ディスプレイ６０は、格子状に配置された対向電極６１２を含む触覚呈示部６１０と、画像を表示する表示部６２０と、からなる。触覚呈示ディスプレイ６０において、触覚呈示部６１０が表示部６２０に積層されることにより、画像を表示するとともに触覚を制御することが可能となる。また、触覚呈示ディスプレイ６０において、対向電極６１２に印加される電圧の値は物体表面の粗さに応じた触覚と相関があり、電圧が印加される対向電極６１２の間隔は物体表面のテクスチャ境界の密度に応じた触覚と相関があることが知られている。
【００６２】  変形例において、生成部１５８は、生成部１５８により推定された物体表面の粗さに応じた触覚を制御するためのパラメータとして、例えば、対象物に印加される電圧の値を生成する。また、生成部１５８は、生成部１５８により推定された物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータとして、例えば、電圧が印加される対象物の間隔を示す値を生成する。生成部１５８は、赤外線画像の画素領域ごとに触覚制御パラメータを生成してもよい。
【００６３】  上述したある変形例によれば、生成部１５８は、物体表面の粗さに応じた触覚を制御するためのパラメータとして、対象物に印加される電圧の値を、物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータとして、電圧が印加される対象物の間隔を示す値を生成する。それにより、電気刺激を利用した画像に応じた触覚の制御の設定における人的負荷を軽減することが可能である。
【００６４】    [２−６．応用例]  以上、皮膚感覚制御パラメータとして、触覚制御パラメータが生成される例を説明した。本開示の技術的範囲は係る例に限定されず、例えば、以下に説明する応用例において、皮膚感覚制御パラメータとして、温度覚制御パラメータが生成される。
【００６５】  生成部１５８は、赤外線画像取得部１５２により取得された赤外線画像の画素値に基づいて物体の温度を推定する。そして、生成部１５８は、推定された物体の温度に基づいて温度覚制御パラメータを生成する。
【００６６】  具体的には、生成部１５８は、物体の温度と当該物体から放射される赤外線のエネルギーとの関係を利用して、赤外線画像取得部１５２により取得された赤外線画像の画素値に基づいて物体の温度を推定する。応用例において、赤外線画像取得部１５２により取得される赤外線画像は主にＭＷＩＲ画像又はＦＩＲ画像である。また、ＭＷＩＲ画像又はＦＩＲ画像を取得するための撮像において赤外線照射は要しないので、応用例に係る赤外線カメラ１０２の構成から発光素子は省略され得る。
【００６７】  ここで、格子状に配置されたペルチェ素子に印加される電流を制御することにより温度刺激を通じて温度覚を制御する技術が知られている（例えば、特許文献２）。図１４は、そのような技術を用いた温度覚呈示ディスプレイ７０の具体例を示す外観図である。図１４に示したように、温度覚呈示ディスプレイ７０は、格子状に配置されたペルチェ素子７１２を含む温度覚呈示部７１０と、画像を表示する表示部７２０と、からなる。温度覚呈示ディスプレイ７０において、温度覚呈示部７１０が表示部７２０に積層されることにより、画像を表示するとともに温度覚を制御することが可能となる。また、温度覚呈示ディスプレイ７０において、ペルチェ素子７１２に印加される電流の絶対値及び方向は温度覚と相関があることが知られている。具体的には、ペルチェ素子７１２に印加される電流の絶対値によってペルチェ素子１７２による発熱又は冷却の度合いが制御され、ペルチェ素子７１２に印加される電流の方向によってペルチェ素子１７２を発熱させるか冷却させるかが制御される。
【００６８】  応用例において、生成部１５８は、温度覚制御パラメータとして、例えば、対象物に印加される電流の絶対値及び方向を示す値を生成する。図１５は、物体の温度と電流の値との相関モデル８０の具体例を示す説明図である。図１５において、物体の温度の各々に対応する電流の値が示される。生成部１５８は、記憶部１５６に記憶された相関モデル８０を取得し、取得された相関モデル８０を用いて、推定された物体の温度Ｔ１に対応する電流の値Ｃ１を特定する。そして、生成部１５８は、特定された電流の値Ｃ１の絶対値及び方向を示す値を温度覚制御パラメータとして生成する。
【００６９】  続いて、図１６を参照して、応用例に係る画像処理装置１０が行う処理の流れを説明する。
【００７０】  図１６は、応用例に係る画像処理装置１０が行う処理の流れの具体例を示すフローチャートである。図１６に示したように、赤外線画像取得部１５２から生成部１５８へ赤外線画像が出力されると、生成部１５８は、赤外線画像取得部１５２から入力された赤外線画像に基づいて物体の温度を推定する（ステップＳ２０４）。続いて、生成部１５８は、推定された物体の温度に基づいて温度覚を制御するためのパラメータを生成し（ステップＳ２０６）、生成された温度覚制御パラメータをデータ処理部１６０へ出力する。そして、データ処理部１６０は、可視光画像と温度覚制御パラメータとを関連付ける（ステップＳ２０８）。そして、図１６に示した処理は終了する。
【００７１】  上述したある応用例によれば、生成部１５８は、赤外線画像取得部１５２によって取得された赤外線画像の画素値に基づいて温度覚制御パラメータを生成する。それにより、画像に応じた温度覚の制御設定における人的負荷を軽減することが可能である。
【００７２】  上述したある応用例によれば、生成部１５８は、温度覚制御パラメータとして、対象物に印加される電流の絶対値及び方向を示す値を生成する。それにより、電流を利用した画像に応じた温度覚の制御の設定における人的負荷を軽減することが可能である。
【００７３】  ＜３．むすび＞  以上説明したように、本開示の実施形態によれば、取得された赤外線画像に基づいて皮膚感覚制御パラメータが生成され、取得された可視光画像と生成された皮膚感覚制御パラメータとが関連付けられる。ゆえに、画像に応じた皮膚感覚の制御設定において人手を要する作業を削減することができる。従って、画像に応じた皮膚感覚の制御設定における人的負荷を軽減することが可能である。
【００７４】  また、本開示の実施形態によれば、赤外線画像の画素領域ごとに皮膚感覚制御パラメータが生成され、皮膚感覚制御パラメータを赤外線画像の画素領域の各々に対応する可視光画像の画素に割り当てることにより関連付けが行われる。ゆえに、皮膚感覚制御パラメータの生成処理を軽減することができる。従って、皮膚感覚の制御設定を迅速化することが可能である。
【００７５】  また、ある実施形態によれば、取得された赤外線画像の画素値に基づいて、触覚制御パラメータとして物体表面の粗さに応じた触覚を制御するためのパラメータ及び物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータが生成される。それにより、画像に応じた物体表面の粗さに応じた触覚及び物体表面のテクスチャ境界の密度に応じた触覚の制御設定における人的負荷を軽減することが可能である。
【００７６】  また、ある実施形態によれば、被写体に対する複数の赤外線照射角の各々について赤外線画像が取得され、取得された複数の赤外線画像に基づいて触覚制御パラメータが生成される。それにより、物体表面への光の照射角に対する物体表面の反射光強度の特性を利用して、画像に応じた尤もらしい触覚制御パラメータを生成することが可能である。
【００７７】  また、ある実施形態によれば、取得された赤外線画像の画素値に基づいて、物体表面の粗さに応じた触覚を制御するためのパラメータ及び物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータが生成される。それにより、画像に応じた物体表面の粗さに応じた触覚及び物体表面のテクスチャ境界の密度に応じた触覚の制御設定における人的負荷を軽減することが可能である。
【００７８】  また、ある実施形態によれば、画素領域に対応する画素値の複数の赤外線照射角にわたる分布に基づいて画素領域の物体表面の粗さを推定することにより、物体表面の粗さに応じた触覚を制御するためのパラメータが生成され、推定された物体表面の粗さの分散に基づいて物体表面のテクスチャ境界の密度を推定することにより、物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータが生成される。それにより、物体表面への光の照射角に対する物体表面の反射光強度の特性を利用して、画像に応じた尤もらしい物体表面の粗さに応じた触覚を制御するためのパラメータ及び物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを生成することが可能である。
【００７９】  また、ある実施形態によれば、取得された赤外線画像の画素値に基づいて、物体表面の粗さに応じた触覚を制御するためのパラメータとして、対象物に発生させる振動の周波数を示す値が、物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータとして、対象物に発生させる振動の継続時間を示す値が生成される。それにより、振動刺激を利用した画像に応じた触覚の制御の設定における人的負荷を軽減することが可能である。
【００８０】  また、ある変形例によれば、物体表面の粗さに応じた触覚を制御するためのパラメータとして、対象物に印加される電圧の値が、物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータとして、電圧が印加される前記対象物の間隔を示す値が生成される。それにより、電気刺激を利用した画像に応じた触覚の制御の設定における人的負荷を軽減することが可能である。
【００８１】  また、ある応用例によれば、取得された赤外線画像の画素値に基づいて温度覚制御パラメータが生成される。それにより、画像に応じた温度覚の制御設定における人的負荷を軽減することが可能である。
【００８２】  また、ある応用例によれば、生成部１５８は、温度覚制御パラメータとして、対象物に印加される電流の絶対値及び方向を示す値が生成される。それにより、電流を利用した画像に応じた温度覚の制御の設定における人的負荷を軽減することが可能である。
【００８３】  なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory  media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００８４】  また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【００８５】  以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８６】  また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８７】  なお、以下のような構成も本開示の技術的範囲に属する。（１）  被写体の赤外線画像を取得する赤外線画像取得部と、  前記被写体の可視光画像を取得する可視光画像取得部と、  前記赤外線画像取得部によって取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成する生成部と、  前記可視光画像取得部によって取得された前記可視光画像と前記生成部によって生成された前記皮膚感覚制御パラメータとを関連付けるデータ処理部と、  を備える画像処理装置。（２）  前記生成部は、前記赤外線画像の画素領域ごとに前記皮膚感覚制御パラメータを生成し、  前記データ処理部は、前記皮膚感覚制御パラメータを前記赤外線画像の前記画素領域の各々に対応する前記可視光画像の画素に割り当てることにより、前記関連付けを行う、  前記（１）に記載の画像処理装置。（３）  前記皮膚感覚制御パラメータは、触覚制御パラメータを含み、  前記生成部は、前記赤外線画像取得部によって取得された前記赤外線画像の画素値に基づいて前記触覚制御パラメータを生成する、  前記（２）に記載の画像処理装置。（４）  前記赤外線画像取得部は、前記被写体に対する複数の赤外線照射角の各々について前記赤外線画像を取得し、  前記生成部は、前記赤外線画像取得部によって取得された複数の前記赤外線画像に基づいて前記触覚制御パラメータを生成する、  前記（３）に記載の画像処理装置。（５）  前記触覚制御パラメータは、物体表面の粗さに応じた触覚を制御するためのパラメータ及び物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを含む、前記（４）に記載の画像処理装置。（６）  前記生成部は、前記画素領域に対応する画素値の前記複数の赤外線照射角にわたる分布に基づいて前記画素領域の前記物体表面の粗さを推定することにより、前記物体表面の粗さに応じた触覚を制御するためのパラメータを生成し、推定された前記物体表面の粗さの分散に基づいて前記物体表面のテクスチャ境界の密度を推定することにより、前記物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータを生成する、前記（５）に記載の画像処理装置。（７）  前記物体表面の粗さに応じた触覚を制御するためのパラメータは、対象物に発生させる振動の周波数を示す値を含み、  前記物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータは、前記振動の継続時間を示す値を含む、  前記（５）または（６）に記載の画像処理装置。（８）  前記物体表面の粗さに応じた触覚を制御するためのパラメータは、対象物に印加される電圧の値を含み、  前記物体表面のテクスチャ境界の密度に応じた触覚を制御するためのパラメータは、前記電圧が印加される前記対象物の間隔を示す値を含む、  前記（５）または（６）に記載の画像処理装置。（９）  前記皮膚感覚制御パラメータは、温度覚制御パラメータを含み、  前記生成部は、前記赤外線画像取得部によって取得された前記赤外線画像の画素値に基づいて前記温度覚制御パラメータを生成する、  前記（２）に記載の画像処理装置。（１０）  前記温度覚制御パラメータは、対象物に印加される電流の絶対値及び方向を示す値を含む、前記（９）に記載の画像処理装置。（１１）  画像処理装���により被写体の赤外線画像を取得することと、  前記被写体の可視光画像を取得することと、  取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成することと、  取得された前記可視光画像と生成された前記皮膚感覚制御パラメータとを関連付けることと、  を含む画像処理方法。（１２）  画像処理装置を制御するコンピュータを、  被写体の赤外線画像を取得する赤外線画像取得部と、  前記被写体の可視光画像を取得する可視光画像取得部と、  前記赤外線画像取得部によって取得された前記赤外線画像に基づいて皮膚感覚制御パラメータを生成する生成部と、  前記可視光画像取得部によって取得された前記可視光画像と前記生成部によって生成された前記皮膚感覚制御パラメータとを関連付けるデータ処理部と、  として機能させるためのプログラム。
【符号の説明】
【００８８】１０  画像処理装置４０  触覚呈示ディスプレイ６０  触覚呈示ディスプレイ７０  温度覚呈示ディスプレイ１０２  赤外線カメラ１０４  可視光カメラ１０６  入力インタフェース１０８  メモリ１１０  ディスプレイ１１２  通信インタフェース１１４  ストレージ１１６  プロセッサ１１８  バス１５２  赤外線画像取得部１５４  可視光画像取得部１５６  記憶部１５８  生成部１６０  データ処理部４１０、６１０  触覚呈示部４１２  振動子４２０、６２０、７２０  表示部６１２  対向電極７１０  温度覚呈示部７１２  ペルチェ素子
【図１】
2016113963.tif 000003
【図２】
2016113963.tif 000004
【図３】
2016113963.tif 000005
【図４】
2016113963.tif 000006
【図５】
2016113963.tif 000007
【図６】
2016113963.tif 000008
【図７】
2016113963.tif 000009
【図８】
2016113963.tif 000010
【図９】
2016113963.tif 000011
【図１０】
2016113963.tif 000012
【図１１】
2016113963.tif 000013
【図１２】
2016113963.tif 000014
【図１３】
2016113963.tif 000015
【図１４】
2016113963.tif 000016
【図１５】
2016113963.tif 000017
【図１６】
2016113963.tif 000018
【国際調査報告】
2016113963.tif 000019
2016113963.tif 000020