TVRSJ Vol.23 No.3 pp.115-118, 2018

ショートペーパー(基礎)

テクスチャの印象における視触覚情報統合様式に関する検討
谿 雄祐

藤原 大志

竹本 敦

井村 誠孝

長田 典子

飛谷 謙介

Investigation of the Integration Form for the Visuo-Tactile Informationin the Impression of the Texture
Yusuke Tani, Taishi Fujiwara, Atsushi Takemoto, Kensuke Tobitani,
Masataka Imura, and Noriko Nagata
Abstract --- It is said that the form of the perceptual cross-modal integration, including
visuo-tactile integration, is basically weighted average. In this study, we investigated whether thevisuo-tactile information about the impression, the product of the higher-level cognitive process,integrates in this way or not. The results suggested that the visuo-tactile impression of textures
could be regarded as the weighted average of the visual and tactile impression. Further, the ratioof modality weights seemed to be unique to the evaluation and it would reflect the ratio of thelikelihood, or the reliability of modality in the evaluation.
Keywords: visuo-tactile, information integration, impression, weighted average

1 はじめに
我々は壁や床など様々な面に囲まれて生活しているが、それらの大部分は微細な凹凸、すなわちテクスチャを有している。意図的に施されたテクスチャを「シボ」と呼ぶ。シボには、反射光を拡散させることで眩しさを低減したり、滑り止めや逆に滑りを良くしたりするなどの機能的な役割だけでなく、見た目の印象や触感を操作する感性的な役割がある。本研究では、様々なシボの印
象を観察によって評価する視覚条件、触察によって評価する触覚条件、観察と触察によって評価する視触覚条件の 3 条件の印象評価実験を行った。視触覚条件における評価結果を、視覚条件と触覚条件における結果を用いた重回帰分析、すなわち重み付け平均により回帰し、両条件の偏回帰係数（重み）を比較した。
2 背景と目的
我々の情報処理システムは、視覚と触覚などの異なる感覚からの情報を組み合わせることで、単一の知覚や認知を構成している[1,2]。その内容は色や明るさなら視覚、音なら聴覚と言うように、特定の感覚と強く結びついたものや、形のように複数の感覚によって得られるも関西学院大学
Kwansei Gakuin Universityのだけでなく、重さや温度が見てわかるように、感覚器官にとって適刺激とは言えないものもある[3,4,5,6]。また、関連する感覚入力が複数種類存在する場合には、主要ではない感覚情報も知覚に影響する [7,8,9]。
知覚における複数感覚の情報統合様式は、同一感覚内での異なる情報源の統合[10]と同様に、重みがそれぞれの信頼性に対応した重み付け平均であると考えられている[11,12]。感覚の信頼性に応じて適応的に重みが変化する [13,14]一方で、視覚と触覚では視覚の重みが信頼性から予想されるより大きいなどのバイアスが存在することも示されている[15,16,17]。
知覚よりも高次な質感や材質の認知も同様の統合様式である可能性を示した研究もある[18]。この研究では、物体を短い棒で叩く映像に、木や金属、ガラスなどを実際に叩いた時の音を組み合わせた刺激に対して、材質判断と質感判断を行った。視聴覚条件における材質判断、すなわちその材質らしさの評定値は、視覚のみによる判断と聴覚のみによる判断の論理積と見なせた。一方、視聴覚条件における質感判断において、温かさや硬さなど視聴覚以外の感覚と対応する質感の評定値は視覚と聴覚それぞれ単独での評定値の重み付け平均と見なせた。光沢など視覚的質感の評定値では聴覚条件の、音の高低と言った聴覚的質感の評定値では視覚条件の重みがほぼ 0 であった。統合様式の違いは回答―115―

日本バーチャルリアリティ学会論文誌

内容が、素材らしさすなわち尤度か感覚の強さか、の違いに由来するものでありどちらもベイズ推定であると著者らは結論づけている。
本研究では、情報源の信頼性に応じた重み付け平均による感覚間情報統合が、印象においても行われているのかについて検討することを目的とし、「規則的な」、「でこぼこした」、「若々しい」の 3 語によるシボの印象評
価実験を行った。さらに、評価項目間で視触覚条件における視覚と触覚の重みを比較した。
3 実験
3.1 参加者
参加者は、実験の目的を知らない大学生および大学院生男女 14 名であった。全ての参加者は矯正を含めて正常な範囲の視覚と触覚を有していた。参加者は実験開始前に実験手続きとリスクの有無、報酬に関する説明を受けた後に、自らの意思で実験への参加に同意し同意書に署名した。全ての参加者が視覚条件、触覚条件、視触覚条件の全てに参加した。
3.2 評価語と評価対象
本研究ではシボサンプルを「規則的な」、「でこぼこした」、「若々しい」の 3 語で評価した。これらは評価対象を含む様々なシボサンプルを提示し、それらの視覚的、触覚的な印象を可能な限り記述させる自由記述実験により得られた語であった。「規則的な」と「でこぼこした」は、シボの印象を表現する語としての適合性を問う適合度
実験[19]において視覚的印象としても触覚的印象としても適合していると判定されたが、「若々しい」はいずれにも適合していないと判定された（表 1）。これは、「規則的な」と「でこぼこした」においては視覚と触覚が信頼性の高い情報源であり、規則性と凹凸の度合いに関する印象が、感覚入力の周期性や強弱およびそれらに対する知覚と強く関連していることを示している。一方、「若々しい」においては視覚と触覚は信頼性の低い情報源であると見なすことができる。視覚的、触覚的印象に適合していると評価された語は他にもあったが、参加者の負担を考慮し上記 3 語のみによって評価した。適合度実
験では、シボサンプルの観察と触察の経験を有する 10名が各語の適合度を 0 点から 6 点の 7 段階で評価した。

Vol.23, No.3, 2018

成した小群から選定した。
3.3 実験手続き
実験は視覚条件、触覚条件、視触覚条件の順に同一実験室内で実施した。視覚条件を先行実施できなかったため、触覚条件に視覚的記憶が影響しないように、条件間の実施間隔をそれぞれ一ヶ月以上設けた。また、参加者には評価対象が条件間で同じであることは伝えなかった。触覚条件では、参加者と評価対象の間にカーテンを設置し、評価対象を視認することを妨げた。さらに、触察時に生じる音の影響を排除するために、参加者にノイズキャンセリング（NC）ヘッドフォンを着用させた。
参加者は利き手をカーテンに差し入れて評価対象を人差し指で触察した。視触覚条件では、参加者は NC ヘッドフォンを着用し、観察しながら利き手の人差し指で評価対象を触察した。
いずれの条件においても、参加者は 3 つの評価語について、それぞれ感じた印象の強さを「全く感じない」、「あまり感じない」、「どちらとも言えない」、「やや感じる」、「とても感じる」の 5 段階で評価した。
本実験手続きは、著者らの所属機関において人を対象とする行動学系研究倫理委員会による審査を受け、ヘルシンキ宣言に準拠しているとして承認された。
3.4 結果各評価語に対する印象評価結果を、「全く感じない」を 0、「とても感じる」を 4 として等間隔に数値化し、全参加者の平均を算出した（図 1）。参加者が「全く感じない」を、感じた強さが 0 である場合にのみ選択した保証は無いが、数値化においては文字通りの意味を取り 0 とした。
図 1 の各図の縦軸は評定値の平均を、横軸はシボサン
プルを、エラーバーは標準偏差を示している。

表 1 適合度実験の結果
Table 1. Modal adequateness of each word
規則的なでこぼこした
若々しい

視覚

触覚

4.9 ± 0.54
5.3 ± 0.45
1.5 ± 1.02

5.1 ± 0.54
5.6 ± 0.49
1.9 ± 1.64

評価対象として 20 種類のシボサンプルを用いた。これらは可能な限り収集した 34 種類のシボサンプルを、視覚的、触覚的な類似性に基づく分類を繰り返して構―116―

図 1 シボサンプルごとの評価結果
Fig1. Evaluation of each texture samples

谿・藤原・竹本・飛谷・井村・長田: テクスチャの印象における視触覚情報統合様式に関する検討

シボサンプルの種類と使用モダリティを要因とした 2
要因分散分析を行ったところ、全ての評価語で交互作用が有意となり（規則的な：F(38,494) = 11.78, p < .001,
ηp2 = .475；でこぼこした：F(38,494) = 13.29, p < .001, ηp2= .506；若々しい：F(38,494) = 3.33, p < .001, ηp2 = .204）、
全モダリティ条件においてシボサンプルの種類の単純種効果が有意となった。したがって、シボサンプルの規則性、でこぼこ具合、若々しさには差があったと言える。
次に、視触覚条件の評定値を目的変数、視覚条件と触覚条件の評定値を説明変数とした重回帰分析を行ったところ、いずれの決定係数も十分に大きかった（表 2）。
ただし、視覚条件の評定値と触覚条件の評定値の相関が「規則的な」で 0.207、「でこぼこした」で 0.578、「若々しい」で 0.443 であり、特に「でこぼこした」の結果については多重共線性に留意すべきであるかも知れない。
表 2 偏回帰係数および決定係数
Table 2. Results of multiple regression analyses
規則的なでこぼこした
若々しい

視覚（V)
0.780
0.409
0.878

触覚（T)
0.227
0.597
0.062

V/T 比
3.439
0.685
14.171

r20.932
0.879
0.746

3.5 考察視触覚条件における評定値に対する重回帰分析の決定係数は、全ての評価語で大きかった。このことは、視触覚条件における印象評価が視覚と触覚の重み付け平均と見なせることを意味している。視覚と触覚の偏回帰係数の比率（V/T 比）を見ると、「規則的な」と「若々しい」は視覚情報優位、「でこぼこした」は触覚情報優位な統合であったと考えられる。適合度実験における視覚的適合度と触覚的適合度の比率（規則的な：0.961、でこぼこした：0.946）と V/T 比が異なったことは、規則性とでこぼこ具合に対する視覚と触覚の最適周波数帯域が異なっていることが一因だと考えられる。シボサンプルの規則性は触覚で判断するには周波数が高すぎたため、視覚に対する依存度が高くなり、逆にでこぼこ具合は視覚にとって周波数が高すぎて触覚に対する依存度が高くなったと考えられる。モダリティ・ディファレンシャ
ル法[3]を用いて、「規則的な」と「でこぼこした」の視覚と触覚に対する関連の強さを明らかにすることが有用であると考えている。
シボの視覚的、触覚的印象を表現する語としての適合度が低い「若々しい」においても、シボサンプルによって有意に評価点が異なった。このことは、シボサンプルの若々しさを評価することを求められた参加者が、何らかの視触覚的に評価可能な質感や印象に依拠して回答していたことを示唆している。それらは若々しさと言う印象を構成する下位要素であると考えられる。
本実験での評価は 1 回のみであり、信頼度の指標として分散を用いることができない。そこで、視触覚条件との相関係数を視覚条件、触覚条件それぞれの尤度の指標と見ると、その V/T 比は表 3 の通りであった。
表 3 視触覚条件との相関係数
Table 3. Correlations with visuo-tactile condition

規則的なでこぼこした
若々しい

相関係数
視覚
触覚
0.961
0.290
0.768
0.883
0.858
0.509

V/T 比
3.3160.8701.684

評価語としての適合度が高い「規則的な」と「でこぼこした」の V/T 比は、偏回帰係数の V/T 比とほぼ同じであるのに対し、評価語としての適合度が低い「若々しい」では V/T 比が大きく異なっている。このことは以下のいずれかを示唆していると考えられる。1)参加者が、シボサンプルの若々しさを何らかの視覚情報に基づいて評価し、それは触覚的にもある程度感知できる表面微細構造によりもたらされていた。2)利用可能な感覚情報と評価すべき印象の関連が低い場合には、一般的に他の感覚と比べて視覚情報に異存する傾向がある。これらに関しては、シボサンプルの画像統計量、例えば空間周波数分布やパワースペクトル、と評定値の対応関係を吟味することや、「若々しさ」と同様に視覚的にも触覚的にも評価することが困難であるような印象、例えば「スポーティさ」を評価する実験を行い、今回と同様の分析を行うことで検討することができると考えている。
本研究では各印象の強さを「全く感じない」から「とても感じる」の 5 段階で回答させる手続きを採った。これを5 つの選択肢から最もふさわしい 1 つを選択させる課題と見なせば、Fujisaki et al[18]が指摘するように、論理積的な統合様式でも視聴覚条件の評定値を説明できる可能性もある。これについても今後検討していく予定である。また、本研究では 5 段階の選択肢を等間隔と見なして数値化したが、「非常に」、「やや」などで表した程度が等間隔である保証はない。より等間隔であると見なせる選択肢を用意する[20]ことに加え、視覚条件でも NCヘッドフォンを使用するなど条件間の差異を小さくするよう改善することで、より適切な統合様式に関する考察が行えると考えている。
4 結論
20 種類のシボサンプルの印象を評価する実験を視覚のみを用いる視覚条件、触覚のみを用いる触覚条件、視覚と触覚のみを用いる視触覚条件の 3 条件で行った。
視触覚条件における評定値を視覚条件、触覚条件における評定値で近似する重回帰分析の決定係数は、評価語とした「規則的な」、「でこぼこした」、「若々しい」の全てで十分な大きさであった。したがって、これらの視触覚的印象は視覚情報と触覚情報の重み付け平均であると考えられる。

―117―

日本バーチャルリアリティ学会論文誌

偏回帰係数の V/T 比から、「規則的な」においては視覚優位の、「でこぼこした」においては触覚優位の情報統合が行われていたと考えられる。また、その強度比は概ね両モダリティの尤度に対応していると考えられる。
一方、「若々しい」においては、モダリティの尤度から予想されるよりも視覚情報の優位性がはるかに強い可能性が示された。評価語選定の際に行った適合度実験の結果より、「若々しい」は視覚と触覚のいずれとも関連が低いと考えられた。このことから若々しさを評価するために何らかの視覚情報が積極的に利用された可能性と、多感覚的な印象の情報統合様式の一般的な傾向として、視覚情報に優位性がある可能性が考えられる。
本研究の結果は、視触覚的印象における情報統合様式が、視覚と触覚の信頼性に応じた重み付け平均である可能性を示唆している。
謝辞
本研究は、国立研究開発法人科学技術振興機構（JST）の研究成果展開事業センター・オブ・イノベーション（COI）プログラム「感性とデジタル製造を直結し、生活者の創造性を拡張するファブ地球社会創造拠点」の支援によって行われた。
参考文献
[1]

Miller, J.: Divided attention: Evidence for coactivation
with redundant signal; Cognitive Psychology, 14, 247-279(1982)[2] Wada, Y.: Multisensory integration of vision and touch innonspatial feature discrimination tasks; Japanese
Psychological Research, 52, 12-22 (2010)[3] 鈴木美穂・行場次朗・川畑秀明・山口浩・小松紘: モダリ
ティ・ディファレンシャル法による形容詞対の感覚関連性の分析; 心理学研究, 77, 464-470 (2006)[4] Nagai, T., Matsushima, T., Koida, K., Tani, Y., Kitazaki,M., Nakauchi, S.: Temporal properties of material
categorization and material rating: visual vs non-visualmaterial features; Vision Research, 115, 259-270 (2015)[5] 久保田毅・和田隆志・松田守弘・永田雅典・安井真由美:シボ面の視覚的なソフト感の解析; 計測自動制御学会
論文集, 35, 989-995 (1999)[6] 岩佐和典・小松孝徳: 視覚的な触質感認知と不快感に対する命名の影響―触覚オノマトペによる検討―; 人工知能学会論文誌, 30, 265-273 (2015)[7] 西松豊典・酒井哲也: 視覚と“風合い”; 繊維学会誌, 46,29-34 (1990)[8] 小林茂雄・富塚美恵: 布の風合い評価における視・触覚の相互関係; 繊維学会誌, 46, 251-257 (1990)[9] Ho, H. H., Iwai, D., Yoshikawa, Y., Watanabe, J., Nishida,S.: Combining colour and temperature: A blue object ismore likely to be judged as warm than a red object;
Scientific Reports, 4: 5527, 1-5 (2014)[10] Landy, M. S., Maloney, L. T., Johnston, E. B., Young, M.:
Measurement and modeling of depth cue combination: In
defense of weak fusion; Vision Research, 35, 389-412

Vol.23, No.3, 2018(1995)[11] Ernst, M. O., Banks, M. S.: Humans integrate visual andhaptic information in a statistically optimal fashion;
Nature, 415, 429-433 (2002)[12] Jacobs, R. A.: What determines visual cue relaibility?;
Trends in Cognitive Sciences, 6, 345-350 (2002)[13] Kuschel, M., Di Luca, M., Buss, M., Klatzky, R. L.:
Combination and integration in the perception ofvisual-haptic compliance information; IEEE Transactions
on Robotics and Automation, 17, 698-708 (2010)[14] Fetsch, C. R., Pouget, A., DeAngelis, G. C., Angelaki, D.
E.: Neural correlates of reliability-based cue weighting
during multisensory integration; Nature Neuroscience, 15,
146-156 (2012)[15] Battaglia, P. W., Jacobs, R. A., Aslin, R. N.: Bayesian
integration of visual and auditory signals for spatial
localization; Journal of the Optical Society of America A,
20, 1391-1397 (2003)[16] Rosas, P., Wagemans, J., Ernst, M. O., Wichman, F. A.:
Texture and haptic cues in slant discrimination:
reliability-based cue weighting without statistically
optimal cue combination; Journal of the Optical Societyof America A, 22, 801-809 (2005)[17] Cellini, C., Kaim, L., Drewing, K.: Visual and haptic
integration in the estimation of softmess of deformableobjects; i-Perception, 4, 516-531 (2013)[18] Fujisaki, W., Goda, N., Motoyoshi, I., Komatsu, H.,
Nishida, S.: Audiovisual integration in the humanperception of materials; Journal of Vision, 14:12, 1-20
(2014)[19] 飛谷謙介・松本達也・谿雄祐・藤井宏樹・長田典子: 素
肌の質感表現における印象と物理特性の関係性のモデ
ル化; 映像情報メディア学会誌, 71, J259-J268 (2017)[20] 松下戦具・赤井誠生: 授業アンケートにおけるリッカート型尺度の選択肢の検討; 大阪大学大学教育実践センター紀要, 7, 69-73 (2010)(2018 年 3 月 12 日受付)

―118―