(57)【特許請求の範囲】
【請求項１】
各空間周波数バンドおよび各方位バンドについて、表面に凹凸の二次元分布を有する対象物体の表面の各位置の深さを表す値を各画素値として有する原画像のステアラブル・ピラミッドの要素ヒストグラムを、表面に凹凸の二次元分布を有する参照物体の表面の各位置の深さを表す値を各画素値として有する参照画像のステアラブル・ピラミッドの要素ヒストグラムと同一にする変換を前記原画像に対して行うことでヒストグラム変調画像を得る変換部と、
各空間周波数バンドおよび各方位バンドについて得られた前記ヒストグラム変調画像を合成して、表面に凹凸の二次元分布を有する変調物体の表面の各位置の深さを表す値を各画素値として有する変調画像に対応する画像を得る合成部と、
を有するテクスチャ生成装置。
【請求項２】
請求項１のテクスチャ生成装置であって、
前記変調物体の表面の各位置の深さを表す画素値の空間周波数分布は、前記参照物体の表面の各位置の深さを表す画素値の空間周波数分布と同一である、テクスチャ生成装置。
【請求項３】
請求項１または２のテクスチャ生成装置であって、
前記変換部は、
入力された前記原画像および前記参照画像の空間周波数領域への変換を行って、空間周波数領域原画像および空間周波数領域参照画像を得る第１空間周波数領域変換部と、
前記空間周波数領域原画像および前記空間周波数領域参照画像を用い、各空間周波数バンドおよび各方位バンドについて、空間周波数領域原画像の複素ステアラブル・ピラミッドおよび空間周波数領域参照画像の複素ステアラブル・ピラミッドを得る分解部と、
前記空間周波数領域原画像の複素ステアラブル・ピラミッドおよび前記空間周波数領域参照画像の複素ステアラブル・ピラミッドの空間領域への変換を行って、各空間周波数バンドおよび各方位バンドについて、原画像の空間領域の複素ステアラブル・ピラミッドおよび参照画像の空間領域の複素ステアラブル・ピラミッドを得、前記原画像の空間領域の複素ステアラブル・ピラミッドの実数部分を前記原画像のステアラブル・ピラミッドとして得、前記参照画像の空間領域の複素ステアラブル・ピラミッドの実数部分を前記参照画像のステアラブル・ピラミッドとして得る第１空間領域変換部と、
前記参照画像のステアラブル・ピラミッドおよび前記原画像のステアラブル・ピラミッドを用い、前記ヒストグラム変調画像を得るヒストグラム変換部と、を含み、
前記合成部は、
前記ヒストグラム変調画像の空間周波数領域への変換を行って、各空間周波数バンドおよび各方位バンドについて、空間周波数領域ヒストグラム変調画像を得る第２空間周波数領域変換部と、
前記空間周波数領域ヒストグラム変調画像を合成して空間周波数領域変調画像を得る再構成部と、
前記空間周波数領域変調画像の空間領域への変換を行って前記変調画像を得て出力する第２空間領域変換部と、を含む
テクスチャ生成装置。
【請求項４】
コンピュータを用いて実行するテクスチャ生成方法であって、
各空間周波数バンドおよび各方位バンドについて、表面に凹凸の二次元分布を有する対象物体の表面の各位置の深さを表す値を各画素値として有する原画像のステアラブル・ピラミッドの要素ヒストグラムを、表面に凹凸の二次元分布を有する参照物体の表面の各位置の深さを表す値を各画素値として有する参照画像のステアラブル・ピラミッドの要素ヒストグラムと同一にする変換を前記原画像に対して行うことでヒストグラム変調画像を得る変換ステップと、
各空間周波数バンドおよび各方位バンドについて得られた前記ヒストグラム変調画像を合成して、表面に凹凸の二次元分布を有する変調物体の表面の各位置の深さを表す値を各画素値として有する変調画像に対応する画像を得る合成ステップと、
を有するテクスチャ生成方法。
【請求項５】
請求項１から３の何れかのテクスチャ生成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間的な深さ分布を制御することによって、参照オブジェクトのテクスチャ表面と触覚的に等価なテクスチャ表面を生成する技術に関する。
【背景技術】
【０００２】
ヒトが日常手に触れるプラスチック製品素材などの手触りを制御することは、扱いやすい製品の開発にとって重要である。近年、３Ｄプリンタ技術の発展に伴い、素材表面に複雑な空間パターンを加工することも可能となっている。しかし、手触り制御の基盤となるヒトの触覚研究の多くは、単純な粗さ知覚に関するものが主として検討されており（非特許文献１）、ヒトの触覚系がどのような空間パターンに対して感度を持つかについては不明な点が多い。この問題に関して、様々な空間深さ分布を持つテクスチャを用いた触覚弁別実験から、ヒトの触覚弁別成績が空間的な深さパターンをフーリエ変換した際の振幅スペクトルの類似性から説明されることが報告されている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Bensmaia, S., "Texture from touch - Scholarpedia," (2009), 4(8), 7956.
【非特許文献２】Kuroki, S., Sawayama, M., & Nishida, S., "Haptic texture perception on 3D-printed surfaces transcribed from visual natural textures EuroHaptics," June, 2018, Pisa, Italy.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献２ではヒトの触知覚を規定する要因を明らかにしたにすぎず、この知見に基づいて参照オブジェクトのテクスチャ表面と触覚的に等価なテクスチャ表面を生成する手法は知られていない。【０００５】
本発明は、参照オブジェクトのテクスチャ表面と触覚的に等価なテクスチャ表面を生成することを目的とする。
【課題を解決するための手段】
【０００６】
各空間周波数バンドおよび各方位バンドについて、対象オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ原画像のステアラブル・ピラミッドの要素ヒストグラムを、参照オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ参照画像のステアラブル・ピラミッドの要素ヒストグラムと同一または類似にする変換を原画像に対して行うことでヒストグラム変調画像を得、各空間周波数バンドおよび各方位バンドについて得られたヒストグラム変調画像を合成して、変調オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ変調画像に対応する画像を得る。
【発明の効果】
【０００７】
これにより、参照オブジェクトのテクスチャ表面と触覚的に等価なテクスチャ表面を生成できる。
【図面の簡単な説明】
【０００８】
【図１】図１は実施形態のテクスチャ生成装置を例示したブロック図である。
【図２】図２は実施形態のハードウェア構成を例示したブロック図である。
【図３】図３Ａは実施形態の原画像を例示した図である。図３Ｂは実施形態の参照画像を例示した図である。
【図４】図４は実験内容を例示するための図である。
【図５】図５は実験結果を例示するための図である。
【図６】図６は実施形態のテクスチャ生成装置を例示したブロック図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
以下では、所望の参照オブジェクト（例えば、木材）のテクスチャ表面（例えば、木材表面）（参照テクスチャ）の凹凸の分布、すなわち、テクスチャ表面の空間的な深さ分布（高さ分布）が既知である場合に、当該参照テクスチャと等価な手触りを持つ（触覚的に等価な）新規の変調オブジェクトのテクスチャ表面（新規テクスチャ）を生成する。オブジェクトとは、例えば、木材や石などの自然物体や、タイルや壁、シールや包装などの添付物等、ある表面積を有する物体であり、所定の表面面積内にこの物体を特徴づけるような3次元的空間構造（凹凸の二次元分布）をもって手触りを生じさせる物体である。
【００１０】
参照テクスチャの空間的な深さ分布と等価な手触りを持つ新規テクスチャを生成するためにテクスチャ合成手法を利用する。テクスチャ合成手法は画像を生成するための手法であるが、テクスチャ表面の空間的な深さ分布を画像として扱うことで、新規テクスチャの深さ生成に利用できる。
【００１１】
以下では、参照オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ参照画像に対してマッチングすることにより、参照オブジェクトと触覚による区別が困難な変調オブジェクトのテクスチャ表面（新規テクスチャ）の各位置の深さを表す各画素値を持つ変調画像を得る。マッチングされる空間周波数分布としては、例えば、wavelet statisticsやFourier power spectrumを例示できる。すなわち、例えば、参照画像に対して、当該参照画像のwavelet statistics、または、Fourier power spectrumと同一か、ほぼ同一のwavelet statistics、または、Fourier power spectrum布を持つ変調画像をみつける、ないし作り出す。マッチングとは、ここでは、ある画像に対して、その画像の空間周波数分布と同一か、ほぼ同一の空間周波数分布を持つ画像をみつける、ないし作り出すことである。なお、ここでほぼ同一とは、例えば，２枚の画像の解像度などにより、完全には一致はしない場合などである。
【００１２】
例えば、任意の原オブジェクト（対象オブジェクト）のテクスチャ表面の各位置の深さ（高さ，奥行き）を表す各画素値を持つ原画像と、参照オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ参照画像とを入力とし、各空間周波数バンドおよび各方位バンドについて、原画像のステアラブル・ピラミッドの要素ヒストグラムを参照画像のステアラブル・ピラミッドの要素ヒストグラムと同一または類似にする変換を原画像に対して行うことでヒストグラム変調画像を得る。さらに、このように各空間周波数バンドおよび各方位バンドについて得られたヒストグラム変調画像を合成して、変調オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ変調画像に対応する画像を得る。
【００１３】
＜テクスチャ生成装置の機能構成＞
図１に実施形態のテクスチャ生成装置１を例示する。テクスチャ生成装置１は、参照テクスチャと触覚的に区別が難しい、つまり、触覚が同一、または、ほぼ同一の新規テクスチャを生成する装置である。図１に例示するように、本実施形態のテクスチャ生成装置１は、空間周波数領域変換部１０１（第１空間周波数領域変換部）、分解部１０２、空間領域変換部１０３（第１空間領域変換部）、ヒストグラム変換部１０４、空間周波数領域変換部１０５（第２空間周波数領域変換部）、再構成部１０６、および空間領域変換部１０７（第２空間領域変換部）を有する。空間周波数領域変換部１０１、分解部１０２、空間領域変換部１０３、およびヒストグラム変換部１０４は「変換部」に相当し、空間周波数領域変換部１０５、再構成部１０６、および空間領域変換部１０７は「合成部」に相当する。
【００１４】
＜ハードウェアおよび当該ハードウェアとソフトウェアとの協働＞
図２に本実施形態のテクスチャ生成装置１を構成するハードウェアと、当該ハードウェアとソフトウェアとの協働について例示する。なお、この構成は一例であって本発明を限定するものではない。
【００１５】
図２に例示するように、テクスチャ生成装置１を構成するハードウェアは、ＣＰＵ（Central Processing Unit）１０ａ、入力部１０ｂ、出力部１０ｃ、補助記憶装置１０ｄ、ＲＡＭ（Random Access Memory）１０ｆ、ＲＯＭ（Read Only Memory）１０ｅ及びバス１０ｇを有している。この例のＣＰＵ１０ａは、制御部１０ａａ、演算部１０ａｂ及びレジスタ１０ａｃを有し、レジスタ１０ａｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１０ｂは、データが入力される入力ポート、キーボード、マウス等であり、出力部１０ｃは、データを出力する出力ポート、ディスプレイ等である。補助記憶装置１０ｄは、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、本実施形態の処理を実行するためのプログラムを格納したプログラム領域１０ｄａ及び各種データが格納されるデータ領域１０ｄｂを有している。また、ＲＡＭ１０ｆは、ＳＲＡＭ(Static Random Access Memory)、ＤＲＡＭ(Dynamic Random Access Memory)等であり、プログラムが書き込まれるプログラム領域１０ｆａ及び各種データが格納されるデータ領域１０ｆｂを有している。また、バス１０ｇは、ＣＰＵ１０ａ、入力部１０ｂ、出力部１０ｃ、補助記憶装置１０ｄ、ＲＡＭ１０ｆ及びＲＯＭ１０ｅを通信可能に接続している。
【００１６】
例えば、ＣＰＵ１０ａは、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１０ｄのプログラム領域１０ｄａに格納されているプログラムを、ＲＡＭ１０ｆのプログラム領域１０ｆａに書き込む。同様にＣＰＵ１０ａは、補助記憶装置１０ｄのデータ領域１０ｄｂに格納されているデータを、ＲＡＭ１０ｆのデータ領域１０ｆｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１０ｆ上のアドレスがＣＰＵ１０ａのレジスタ１０ａｃに格納される。ＣＰＵ１０ａの制御部１０ａａは、レジスタ１０ａｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１０ｆ上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１０ａｂに順次実行させ、その演算結果をレジスタ１０ａｃに格納していく。図１に例示したテクスチャ生成装置１は、このようにＣＰＵ１０ａにプログラムが読み込まれて実行されることで構成される。
【００１７】
＜テクスチャ生成装置１の処理＞
テクスチャ生成装置１には、対象オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ原画像Ｉｃと、参照オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ参照画像Ｉｒとが入力される。原画像Ｉｃおよび参照画像Ｉｒの画素値は例えば輝度値を表す。本実施形態では、原画像Ｉｃと参照画像Ｉｒとは互いに異なる。すなわち、対象オブジェクトのテクスチャ表面と参照オブジェクトのテクスチャ表面とは互いに空間的な配置が異なる。しかしこれは一例であり、原画像Ｉｃと参照画像Ｉｒとは互いに同一であってもよい。
【００１８】
図３Ａに原画像Ｉｃを例示し、図３Ｂに参照画像Ｉｒを例示する。図３Ａおよび図３Ｂに例示するように、原画像Ｉｃおよび参照画像Ｉｒは、それぞれＩｃ（ｘ，ｙ）およびＩｒ（ｘ，ｙ）を要素（画素）に持つ二次元配列（二次元濃淡画像）である。Ｉｃ（ｘ，ｙ）およびＩｒ（ｘ，ｙ）の要素値（画素値）は、テクスチャ表面の各位置（ｘ，ｙ）の深さを表す。すなわち、Ｉｃ（ｘ，ｙ）およびＩｒ（ｘ，ｙ）の要素値（画素値）は、Ｉｃ（ｘ，ｙ）およびＩｒ（ｘ，ｙ）を３次元で表現した場合の（例えば、レーザーカッターでカットしたり、３Ｄプリントしたりして得られる）対象オブジェクトおよび参照オブジェクトにおける所定の平面を基準として所定の面に垂直な方向の大きさ（ｚ値）、すなわち、対象オブジェクトおよび参照オブジェクトのテクスチャ表面の凹凸の大きさ（凹凸の深さ、または、高さ）を表す。（以下、要素値（画素値）で表される所定の面に垂直な方向の大きさを、要素（画素）の各位置の深さ、テクスチャ表面の各位置（ｘ，ｙ）の深さ、深さ（高さ）の値、とも記載する。）ｘは空間領域の水平座標を表し、ｙは空間領域の垂直座標を表し、ｘｍｉｎ＜＝ｘ＜＝ｘｍａｘ，ｙｍｉｎ＜＝ｙ＜＝ｙｍａｘ，ｘｍｉｎ＜＝ｘｍａｘ，ｙｍｉｎ＜ｙｍａｘを満たす。ｘｍｉｎ，ｘｍａｘ，ｙｍｉｎ，ｙｍａｘによって原画像Ｉｃおよび参照画像Ｉｒのサイズが決まり、原画像Ｉｃおよび参照画像Ｉｒの解像度（単位面積当たりのＩｃ（ｘ，ｙ）およびＩｒ（ｘ，ｙ）の個数）によって原画像Ｉｃおよび参照画像Ｉｒの分解能が決まる。３Ｄプリンタで印刷されたテクスチャ表面がざらざら感のような触感を生じさせるに十分な面積および／または分解能となるように、原画像Ｉｃおよび参照画像Ｉｒのサイズおよび／または解像度を設定する。例えば、異なる触覚を生じさせることの可能な値、すなわち指先における二点弁別閾（刺激を２点に加えた際に、刺激を１点に加えた場合からの弁別が可能となる、最も短い点間距離）である２ｍｍや，受容器の間隔（ユニット間隔は短いものでおよそ１ｍｍ）よりも十分に細かな分解能を設定して３Ｄ印刷できるよう原画像Ｉｃおよび参照画像Ｉｒのサイズおよび解像度を設定する。例えば０．１ｍｍの解像度を持たせた１ｃｍ角の素材を印刷するのであれば、原画像Ｉｃおよび参照画像Ｉｒとして１００×１００ｐｉｘの１ｃｍ角画像でよいが、同等の解像度を持つ１０ｃｍ角の素材を印刷するのであれば、原画像Ｉｃおよび参照画像Ｉｒとして１０００×１０００ｐｉｘの１ｃｍ角画像が必要である。
【００１９】
≪空間周波数領域変換部１０１≫
原画像Ｉｃと参照画像Ｉｒは空間周波数領域変換部１０１に入力される。空間周波数領域変換部１０１は、原画像Ｉｃを空間周波数領域の原画像（空間周波数領域原画像）
【数１】
0006927414.tif 000002
に変換して当該空間周波数領域原画像Ｉｃ〜を出力し、参照画像Ｉｒを空間周波数領域の参照画像（空間周波数領域参照画像）
【数２】
0006927414.tif 000003
に変換して当該空間周波数領域参照画像Ｉｒ〜を出力する。ただし、「Ｉｃ〜」や「Ｉｒ〜」の右上の添え字「〜」は本来「Ｉｃ」や「Ｉｒ」の真上に記載すべきであるが、以降では記載表記の制約上、「Ｉｃ」や「Ｉｒ」の右上に記載することがある。また、空間周波数領域原画像Ｉｃ〜および空間周波数領域参照画像Ｉｒ〜は、それぞれＩｃ〜（ωｘ,ωｙ）およびＩｒ〜（ωｘ,ωｙ）を要素に持つ二次元配列である。ωｘは水平方向の空間周波数を表し、ωｙは垂直方向の空間周波数を表す。原画像Ｉｃから空間周波数領域原画像Ｉｃ〜への変換、および参照画像Ｉｒから空間周波数領域参照画像Ｉｒ〜への変換には、例えば、離散フーリエ変換やウェーブレット変換を用いることができる。
【００２０】
≪分解部１０２≫
分解部１０２には、空間周波数領域原画像Ｉｃ〜および空間周波数領域参照画像Ｉｒ〜が入力される。分解部１０２は、空間周波数領域原画像Ｉｃ〜および空間周波数領域参照画像Ｉｒ〜にそれぞれ複素ステアラブル・フィルタ(complex steerable filters)列Ψを適用し、空間周波数領域原画像Ｉｃ〜の複素ステアラブル・ピラミッド
【数３】
0006927414.tif 000004
と、空間周波数領域参照画像Ｉｒ〜の複素ステアラブル・ピラミッド
【数４】
0006927414.tif 000005
を得て出力する。ただし、ステアラブル・フィルタ列Ψは、空間周波数バンドλおよび方位バンドμに対応するステアラブル・フィルタΨλ,μから構成される。ここで、λは所定の幅を持った空間周波数バンドに対応する整数のインデックスであり、μは所定の幅を持った方位バンドに対応する整数のインデックスである。λｍｉｎ＜＝λ＜＝λｍａｘ，μｍｉｎ＜＝μ＜＝μｍａｘ，λｍｉｎ＜λｍａｘ，μｍｉｎ＜μｍａｘを満たす。λの小さい程低い周波数の周波数バンドに対応する。例えば、λ＝４，μ＝４の値を与えることで、空間画素サイズ２５６画素×２５６画素の画像に対して複素ステアラブル・ピラミッドを得ることができる。以下のように、分解部１０２は全てのλおよびμの組み合わせについて、空間周波数領域原画像Ｉｃ〜および空間周波数領域参照画像Ｉｒ〜にそれぞれステアラブル・フィルタΨλ,μを乗算することで、各空間周波数バンドλおよび各方位バンドμに対応する、空間周波数領域原画像Ｉｃ〜の複素ステアラブル・ピラミッド
【数５】
0006927414.tif 000006
と、空間周波数領域参照画像Ｉｒ〜の複素ステアラブル・ピラミッド
【数６】
0006927414.tif 000007
を得て出力する。
【数７】
0006927414.tif 000008
以降では記載表記の制約上、空間周波数領域原画像Ｉｃ〜の複素ステアラブル・ピラミッドをＳ〜ｃλ，μと表記し、空間周波数領域参照画像Ｉｒ〜の複素ステアラブル・ピラミッドをＳ〜ｒλ，μと表記する場合がある。
【００２１】
≪空間領域変換部１０３≫
空間領域変換部１０３には、空間周波数領域原画像Ｉｃ〜の複素ステアラブル・ピラミッドＳ〜ｃλ，μ、および空間周波数領域参照画像Ｉｒ〜の複素ステアラブル・ピラミッドＳ〜ｒλ，μが入力される。空間領域変換部１０３は、空間周波数領域原画像Ｉｃ〜の複素ステアラブル・ピラミッドＳ〜ｃλ，μを空間領域の複素ステアラブル・ピラミッドＳ’ｃλ，μに変換し、当該空間領域の複素ステアラブル・ピラミッドＳ’ｃλ，μの実数部分を原画像のステアラブル・ピラミッドＳｃλ，μとして出力する。また、空間領域変換部１０３は、空間周波数領域参照画像Ｉｒ〜の複素ステアラブル・ピラミッドＳ〜ｒλ，μを空間領域の複素ステアラブル・ピラミッドＳ’ｒλ，μに変換し、当該空間領域の複素ステアラブル・ピラミッドＳ’ｒλ，μの実数部分を参照画像のステアラブル・ピラミッドＳｒλ，μとして出力する。複素ステアラブル・ピラミッドＳ〜ｃλ，μおよびＳ〜ｃλ，μから複素ステアラブル・ピラミッドＳ’ｃλ，μおよびＳ’ｒλ，μへの変換には、例えば、離散逆フーリエ変換や逆ウェーブレット変換を用いることができる。ステアラブル・ピラミッドＳｃλ，μおよびステアラブル・ピラミッドＳｒλ，μは、それぞれＳｃλ，μ（ｘ，ｙ）およびＳｒλ，μ（ｘ，ｙ）を要素（画素）に持つ二次元配列である。
【００２２】
≪ヒストグラム変換部１０４≫
ヒストグラム変換部１０４には、原画像のステアラブル・ピラミッドＳｃλ，μおよび参照画像のステアラブル・ピラミッドＳｒλ，μが入力される。ヒストグラム変換部１０４は、各空間周波数バンドλおよび各方位バンドμについて、原画像のステアラブル・ピラミッドＳｃλ，μの要素ヒストグラムを、参照画像のステアラブル・ピラミッドＳｒλ，μの要素ヒストグラムと同一または類似にする変換を原画像に対して行うことでヒストグラム変調画像Ｓｃ’λ，μを得、当該ヒストグラム変調画像Ｓｃ’λ，μを出力する。すなわち、各空間周波数バンドλおよび各方位バンドμにおいて、ヒストグラム変調画像Ｓｃ’λ，μの要素ヒストグラムは、参照画像のステアラブル・ピラミッドＳｒλ，μの要素ヒストグラムと同一または類似である。なお、ステアラブル・ピラミッドＳｃλ，μの要素ヒストグラムとは、ステアラブル・ピラミッドＳｃλ，μの要素Ｓｃλ，μ（ｘ，ｙ）のヒストグラムである。同様に、ステアラブル・ピラミッドＳｒλ，μの要素ヒストグラムとは、ステアラブル・ピラミッドＳｒλ，μの要素Ｓｒλ，μ（ｘ，ｙ）のヒストグラムである。また、Ｓｃ’λ，μの要素ヒストグラムがＳｒλ，μの要素ヒストグラムに類似するとは、Ｓｃ’λ，μの要素ヒストグラムとＳｒλ，μの要素ヒストグラムとの類似度が所定の閾値以下であること、または、Ｓｃ’λ，μの要素ヒストグラムとＳｒλ，μの要素ヒストグラムとの距離が所定の閾値以上であることを意味する。原画像のステアラブル・ピラミッドＳｃλ，μの要素ヒストグラムを、参照画像のステアラブル・ピラミッドＳｒλ，μの要素ヒストグラムと同一または類似にするための変換方法に限定はなく、２つの画像のヒストグラムのうち一方が他方と同一または類似するように画像を変換する方法であれば、どのような変換方法が用いられてもよい。一例として、例えば、累積分布関数(cumulative distribute function)Ｆｃλ，μ（ｉ）と累積分布逆関数(inverted cumulative distribute function)Ｆ’ｒλ，μ（Ｆｃλ，μ（ｉ））を利用した変換方法を用いることができる。累積分布関数Ｆｃλ，μは、各空間周波数バンドλおよび各方位バンドμのステアラブル・ピラミッドＳｃλ，μごとに、要素値ｉ＝Ｓｃλ，μ（ｘ，ｙ）を確率変数として定義される。累積分布関数Ｆｃλ，μ（ｉ）は、ステアラブル・ピラミッドＳｃλ，μの要素値ｉの入力に対し、ステアラブル・ピラミッドＳｃλ，μの要素値ｉ以下の要素値の累積確率密度（スカラー）を出力する関数である。例えば、累積分布関数Ｆｃλ，μ（ｉ）は０から１までの間の何れかの値を出力する。累積分布逆関数Ｆ’ｒλ，μは、各空間周波数バンドλおよび各方位バンドμのステアラブル・ピラミッドＳｒλ，μごとに定義される。累積分布逆関数Ｆ’ｒλ，μ（Ｆｃλ，μ（ｉ））は累積確率密度Ｆｃλ，μ（ｉ）の入力に対し、要素値ｉ以下の累積確率密度がＦｃλ，μ（ｉ）となる画像の要素値ｉ’（変換要素値ｉ’）を出力する。累積分布関数Ｆｃλ，μ（ｉ）と累積分布逆関数Ｆ’ｒλ，μ（Ｆｃλ，μ（ｉ））は、各空間周波数バンドλおよび各方位バンドμについて、入力されたステアラブル・ピラミッドＳｃλ，μの要素値ｉを変換要素値ｉ’へと変換し、変換要素値ｉ’を要素とする画像であるヒストグラム変調画像Ｓｃ’λ，μを出��する。
【００２３】
≪空間周波数領域変換部１０５≫
空間周波数領域変換部１０５には、ヒストグラム変調画像Ｓｃ’λ，μが入力される。空間周波数領域変換部１０５は、ヒストグラム変調画像Ｓｃ’λ，μを空間周波数領域のヒストグラム変調画像（空間周波数領域ヒストグラム変調画像）
【数８】
0006927414.tif 000009
に変換し、当該空間周波数領域ヒストグラム変調画像Ｓ〜ｃ’λ，μを出力する。なお、「Ｓ〜ｃ’λ，μ」の上付き添え字「〜」は本来「Ｓｃ’λ，μ」全体の真上に記載すべきであるが、記載表記の制約上「Ｓ」の右上に記載している。また、ヒストグラム変調画像Ｓｃ’λ，μから空間周波数領域ヒストグラム変調画像Ｓ〜ｃ’λ，μへの変換には、例えば、離散フーリエ変換やウェーブレット変換を用いることができる。
【００２４】
≪再構成部１０６≫
再構成部１０６には、空間周波数領域ヒストグラム変調画像Ｓ〜ｃ’λ，μが入力される。再構成部１０６は、すべての空間周波数バンドλおよび方位バンドμの空間周波数領域ヒストグラム変調画像Ｓ〜ｃ’λ，μを合成して空間周波数領域変調画像
【数９】
0006927414.tif 000010
を得、当該空間周波数領域変調画像Ｉｃ’〜を出力する。再構成部１０６は、例えば、以下のように空間周波数領域変調画像Ｉｃ’〜を得る。
【数１０】
0006927414.tif 000011
あるいは、再構成部１０６は、空間周波数領域ヒストグラム変調画像Ｓ〜ｃ’λ，μに前述したステアラブル・フィルタ列Ψを適用し、以下のように空間周波数領域変調画像Ｉｃ’〜を得てもよい。
【数１１】
0006927414.tif 000012
【００２５】
≪空間領域変換部１０７≫
空間領域変換部１０７には、空間周波数領域変調画像Ｉｃ’〜が入力される。空間領域変換部１０７は、空間周波数領域変調画像Ｉｃ’〜を空間領域の変調画像Ｉｃ’に変換し、当該変調画像Ｉｃ’を出力する。ただし、変調画像Ｉｃ’はＩｃ’（ｘ，ｙ）を要素（画素）に持つ二次元配列である。空間周波数領域変調画像Ｉｃ’〜から変調画像Ｉｃ’への変換には、例えば、離散逆フーリエ変換や逆ウェーブレット変換を用いることができる。
【００２６】
＜変調オブジェクト＞
以上のように得られた変調画像Ｉｃ’の要素値（画素値）が変調画像Ｉｃ’を３次元で表現した場合の、例えば、３Ｄプリント時の深さの値（高さの値）として用いられる。すなわち、３Ｄプリントで変調画像Ｉｃ’の３次元表現を実現する場合であれば、変調画像Ｉｃ’を表す情報を３Ｄプリンタに入力し、３Ｄプリンタが変調画像Ｉｃ’の画素値をテクスチャ表面の各位置の深さとして３Ｄプリントすることで、変調画像Ｉｃ’の各画素値が表す各位置の深さを持つテクスチャ表面のオブジェクト（変調オブジェクト）が得られる。この変調オブジェクトのテクスチャ表面の各位置は、原画像Ｉｃを参照画像Ｉｒに対してマッチングすることで得られる変調画像Ｉｃの各位置の値が表す深さを持つ。マッチングするとは、ここでは、ある画像に対して、その画像の空間周波数分布と同一か、ほぼ同一の空間周波数分布を持つ画像をみつける、ないし作り出すことである。すなわち、この変調オブジェクトのテクスチャ表面は、参照オブジェクトのテクスチャ表面と触覚による区別が困難なものとなる。また、原画像Ｉｃと参照画像Ｉｒとが互いに相違する画像であった場合、変調オブジェクトのテクスチャ表面の各点における深さの値（高さの値）の空間的な配置、すなわち、画像中のあるxy座標値をもつ地点（画素）がどのようなz値（深さ（高さ））をとるかという、変調オブジェクトのテクスチャ表面の凹凸パターンの空間的な配置は、参照オブジェクトのテクスチャ表面の各点における深さの値の空間的な配置と相違する。すなわち、変調オブジェクトは、参照オブジェクトのテクスチャ表面の各位置の深さを表す値の空間周波数分布にマッチングする空間周波数分布を持つ各位置の深さを持ち、参照オブジェクトのテクスチャ表面の各点における深さの値の空間的な配置が異なるテクスチャ表面を持つものとなる。例えば、参照オブジェクトのテクスチャ表面と、深さ（高さ）の値および頻度（深さを輝度値（画素値）として扱った画像においては画素値のヒストグラム）ならびにその空間的な周期性（深さを輝度値（画素値）として扱った画像においてはAmplitude spectrum）が同一で、その空間的な配置が異なる（原画像と参照画像のそれぞれから生成される）テクスチャ表面を持つ変調オブジェクトが生成される。このような変調オブジェクトのテクスチャ表面（新規テクスチャ表面）は、参照オブジェクトのテクスチャ表面（参照テクスチャ表面）と視覚的には異なって知覚されたとしても、触覚的には（手触りとしては）等価に知覚される。
【００２７】
＜実験＞
図４に例示するように、５枚の自然画像Ｏ１−Ｏ５を用意した。実験では、自然画像Ｏ１−Ｏ５として２５６ｘ２５６ｐｉｘの４ｃｍ角画像を用いた。そのうち１枚（Ｏ１）を参照画像Ｉｒとし、残り４枚（Ｏ２−Ｏ５）を原画像Ｉｃとし、これらの参照画像Ｉｒおよび原画像Ｉｃをテクスチャ生成装置１に入力し、前述したテクスチャ生成装置１の処理を行って４枚の変調画像Ｉｃ’（Ｍ２−Ｍ５）を得た。なお、Ｍ１はＯ１と同一な画像である。これら１０枚の画像（Ｏ１−Ｏ５，Ｍ１−Ｍ５）それぞれについて、要素値を３Ｄプリントする際の凹凸の深さとして扱って触覚刺激のためのオブジェクト（縦×横×厚み：４０ｍｍ×４０ｍｍ×１０−１２ｍｍの素材）を作成した（図５）。このようにＯ１−Ｏ５，Ｍ１−Ｍ５にそれぞれ対応するオブジェクトを用い、触覚によって素材の区別がつくかを実験的に調べた。図５に例示するように、実験では、観察者１０名が右手人差し指で受動的にオブジェクトに触れた。実験中、観察者がオブジェクトや指を目で見ることのないよう、オブジェクトや指を観察者から遮蔽した。観察者は、オブジェクトがＡ，Ｂ，Ｘ（ＸはＡないしＢのどちらか）と３回提示され後に、オブジェクトＸがオブジェクトＡとＢのどちらであったかを強制２択で回答した。５枚の自然画像（Ｏ１−Ｏ５）から生成された５オブジェクトから２オブジェクトをオブジェクトＡとＢとして扱い、区別がつくかを調べた結果を図５のOriginalのグラフに表す。縦軸と横軸の値をＡとＢとした際に、ＸがＡかＢかを正答した確率が各マスに表示される。値が大きく色の濃いマスは，オブジェクトＡとＢの区別がついたことを示し、値が０．５に近く色の薄いマスは区別がつかなかったことを示す。実験結果より、Ｏ３やＯ５に基づいて作られたオブジェクトは、他の素材と区別がついたことがわかる。次に、５枚の変調画像（Ｍ１−Ｍ５）から生成されたオブジェクトから、２オブジェクトについて区別がつくかを調べた結果を図５のMatchedのグラフに表す。自然画像の結果（Originalのグラフ）に比べ，値が０．５に近く色の薄いマスが多く、触覚による知覚的には区別がつかなかったことがわかる。
【００２８】
＜まとめ＞
以上のように、実施形態では、空間周波数領域変換部１０１が、入力された原画像Ｉｃおよび参照画像Ｉｒの空間周波数領域への変換を行って、空間周波数領域原画像Ｉｃ〜および空間周波数領域参照画像Ｉｒ〜を得て出力する。分解部１０２は、入力された空間周波数領域原画像Ｉｃ〜および空間周波数領域参照画像Ｉｒ〜を用い、各空間周波数バンドλおよび各方位バンドμについて、空間周波数領域原画像の複素ステアラブル・ピラミッドＳ〜ｃλ，μおよび空間周波数領域参照画像の複素ステアラブル・ピラミッドＳ〜ｒλ，μを得て出力する。空間領域変換部１０３は、入力された空間周波数領域原画像の複素ステアラブル・ピラミッドＳ〜ｃλ，μおよび空間周波数領域参照画像の複素ステアラブル・ピラミッドＳ〜ｒλ，μの空間領域への変換を行って、各空間周波数バンドλおよび各方位バンドμについて、原画像の空間領域の複素ステアラブル・ピラミッドＳ’ｃλ，μおよび参照画像の空間領域の複素ステアラブル・ピラミッドＳ’ｒλ，μを得、原画像の空間領域の複素ステアラブル・ピラミッドＳ’ｃλ，μの実数部分を原画像のステアラブル・ピラミッドＳｃλ，μとして得、参照画像の空間領域の複素ステアラブル・ピラミッドＳ’ｃλ，μの実数部分を参照画像のステアラブル・ピラミッドＳｒλ，μとして得て出力する。ヒストグラム変換部１０４は、入力された参照画像のステアラブル・ピラミッドＳｒλ，μおよび原画像のステアラブル・ピラミッドＳｃλ，μを用い、ヒストグラム変調画像Ｓｃ’λ，μを得て出力する。ヒストグラム変調画像Ｓｃ’λ，μは、各空間周波数バンドλおよび各方位バンドμについて、原画像のステアラブル・ピラミッドＳｃλ，μの要素ヒストグラムを、参照画像のステアラブル・ピラミッドＳｒλ，μと同一または類似にする変換を原画像Ｉｃに対して行うことで得られるものである。空間周波数領域変換部１０５は、入力されたヒストグラム変調画像Ｓｃ’λ，μの空間周波数領域への変換を行って、各空間周波数バンドλおよび各方位バンドμについて、空間周波数領域ヒストグラム変調画像Ｓ〜ｃ’λ，μを得て出力する。再構成部１０６は、入力された空間周波数領域ヒストグラム変調画像Ｓ〜ｃ’λ，μを合成して空間周波数領域変調画像Ｉｃ’〜を得て出力する。空間領域変換部１０７は、入力された空間周波数領域変調画像Ｉｃ’〜の空間領域への変換を行って空間領域の変調画像Ｉｃ’を得て出力する。
【００２９】
各位置の深さが変調画像Ｉｃ’の各画素値によって表された変調オブジェクトのテクスチャ表面は、参照オブジェクトとのテクスチャ表面と触覚的に等価となる。非特許文献２のフーリエ変換に基づく解析では、参照オブジェクトとのテクスチャ表面と対象オブジェクトのテクスチャ表面の空間サイズが異なる場合には、振幅スペクトルを一意に整合させることができず、参照オブジェクトとのテクスチャ表面と触覚的に等価なテクスチャ表面を生成することができない。これに対し、本実施形態では、参照オブジェクトとのテクスチャ表面と対象オブジェクトのテクスチャ表面の空間サイズが異なっていても、参照オブジェクトとのテクスチャ表面と触覚的に等価なテクスチャ表面を生成できる。
【００３０】
従来、基本的な皮膚の性能は、均質な（例えば狭い帯の周波数だけが繰り返すような）刺激を使って調べられてきており、文献上では「ナノメートルの違いをも触り分けることが可能」となっている。受容器の分布ということでは「140unit/cm2」といった値（１ｍｍ間隔あるいはそれ以上）といった解剖学的なものもある。発明者らはこうした細かな性能をもつ皮膚をだまして「受容器や神経のレベルでは異なる信号を符号化出来ているのに何故か復号すると同じに感じてしまう」という錯覚を生じさせることができることを発見した。本発明はこの発見に基づくものである。なお、３Ｄプリンタから出力されるオブジェクトのテクスチャ表面の解像度が高い方がより細かいテクスチャ感を提示できる。例えば、解像度が０．２５ｍｍより細かく出せるプリンタで実施すると好適である。
【００３１】
また、上述したアルゴリズムはあくまで一つの例であり、他の方法で原画像の画素値の空間周波数分布を参照画像のものとマッチングさせてもよい。例えば、図６に例示するように、テクスチャ生成装置２が以下のような変換部２１と合成部２２とを有していてもよい。変換部２１は、各空間周波数バンドλおよび各方位バンドμについて、原画像のステアラブル・ピラミッドＳｃλ，μの要素ヒストグラムを、参照画像のステアラブル・ピラミッドＳｒλ，μの要素ヒストグラムと同一または類似にする変換を原画像に対して行うことでヒストグラム変調画像Ｓｃ’λ，μを得て出力する。ヒストグラム変調画像Ｓｃ’λ，μは合成部２２に入力される。合成部２２は、各空間周波数バンドλおよび各方位バンドμについて得られたヒストグラム変調画像Ｓｃ’λ，μを合成して、変調オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ変調画像Ｉｃ’に対応する画像を得て出力する。例えば、変調オブジェクトのテクスチャ表面の各位置の深さを表す画素値の空間周波数分布は、参照オブジェクトのテクスチャ表面の各位置の深さを表す画素値の空間周波数分布にマッチングし、変調オブジェクトと参照オブジェクトとは触覚による区別が困難である。
【００３２】
ここで、変換部２１は、上述のように原画像Ｉｃおよび参照画像Ｉｒを入力とするものであってもよいし、空間周波数領域原画像Ｉｃ〜および空間周波数領域参照画像Ｉｒ〜を入力とするものであってもよいし、空間周波数領域原画像の複素ステアラブル・ピラミッドＳ〜ｃλ，μおよび空間周波数領域参照画像の複素ステアラブル・ピラミッドＳ〜ｒλ，μを入力とするものであってもよいし、原画像のステアラブル・ピラミッドＳｃλ，μおよび参照画像のステアラブル・ピラミッドＳｒλ，μを入力とするものであってもよい。また合成部２２は、変調画像Ｉｃ’に対応する画像として、変調画像Ｉｃ’を出力するものであってもよいし、空間周波数領域変調画像Ｉｃ’〜を出力するものであってもよい。
【００３３】
すなわち、参照オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ参照画像に対してマッチングする（例えば、空間周波数分布がwavelet statistics、またはFourier power spectrum）ことにより、参照オブジェクトと触覚による区別が困難な変調オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ変調画像に対応する画像を得るのであれば、どのような方法であってもよい。例えば、対象オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ原画像の空間周波数分布のwavelet statisticsを、参照オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ参照画像のwavelet statisticsと同一またはほぼ同一にする変換を原画像に対して行うことにより、参照オブジェクトと触覚による区別が困難な変調オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ変調画像、に対応する画像を得ればよい。
【００３４】
＜その他の変形例等＞
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述のように、テクスチャ生成装置は、例えば、ＣＰＵ等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ・ＲＯＭ等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
【００３５】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００３６】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００３７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００３８】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００３９】
１，２  テクスチャ生成装置
１０１，１０５  空間周波数領域変換部
１０３，１０７  空間領域変換部
１０２  分解部
１０４  ヒストグラム変換部
１０６  再構成部
２１  変換部
２２  合成部
【要約】
各空間周波数バンドおよび各方位バンドについて、対象オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ原画像のステアラブル・ピラミッドの要素ヒストグラムを、参照オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ参照画像のステアラブル・ピラミッドの要素ヒストグラムと同一または類似にする変換を原画像に対して行うことでヒストグラム変調画像を得、各空間周波数バンドおよび各方位バンドについて得られたヒストグラム変調画像を合成して、変調オブジェクトのテクスチャ表面の各位置の深さを表す各画素値を持つ変調画像に対応する画像を得る。【図１】
0006927414.tif 000013
【図２】
0006927414.tif 000014
【図３】
0006927414.tif 000015
【図４】
0006927414.tif 000016
【図５】
0006927414.tif 000017
【図６】
0006927414.tif 000018