ヒューマンコンピュータインタラクション特論
第4回

情報理工学部門

複合情報工学分野

Human-Computer Interaction (HCI) 研究室
小野哲雄（8-12室）
tono@ist.hokudai.ac.jp

講義資料の配布‒小野のHP
http://hci-lab.jp/tono/「北大小野哲雄」 Search!

講義資料（lectures’ handouts）

‒•

HCI特論

ID: guest
PW: hcitokuron
2http://hci-lab.jp/tono/3

ヒューマンコンピュータインタラクション特論- Syllabus 【授業の目標】
近年、情報化社会において、人とコンピュータのインタラクションをデザインすることの重要性が認識され、基礎研究および研究開発が積極的に行われている。本講義では特に、人と知的システム（ロボットやエージェントなど）とのインタラクションの仕組みを理解するために、そのシステムの構成原理や構成方法、モデル化、ユーザの認知特性、システムの評価手法について学ぶ。

【到達目標】
インタラクティブシステムに関する情報技術の基礎と応用を理解したうえで、(1) ロボットやエージェントなどの知的システムに用いられる情報技術を理解し、その動作原理を説明できる。
(2) 人の認知特性を理解し、それを用いて既存のシステムの問題点を指摘することができる。(3) システムの評価手法を理解し、その手法を用いて与えられたデータを解析することができる。
4

授業計画 (予定)
1. 10/1(火) 4限 (小野) HCI入門
2. 10/4(金) 3限 (小野) HCI概論
3. 10/8(火) 4限：[休講]4. 10/11(金) 3限 (小野) HCI概論(2) ＃論文発表の説明
5. 10/15(火) 4限 (小野) HCIの構成原理と構成方法(1) ＃登録開始
6. 10/25(金) 3限 (小野) HCIの構成原理と構成方法(2)7. 10/31(木) 4限 <- 火曜授業 (小野) [論文発表1(1)]8. 11/1(金) 3限 (小野) [論文発表1(2)]9. 11/5(火) 4限 (小野) ヒューマンロボットインタラクション(HRI) ＃説明
10. 11/8(金) 3限 (小野) ヒューマンエージェントインタラクション(HAI) #登録
11. 11/12(火) 4限 (小野) Predicting Human Decision-Making (1)12. 11/15(金) 3限 (小野) Predicting Human Decision-Making (2)13. 11/19(火) 4限 (坂本) HCIにおける実験と評価(1)
14. 11/22(金) 3限 (坂本) HCIにおける実験と評価(2)
15. 11/26(火) 4限 (小野) [論文発表2(1)]16. 11/29(金) 3限 (小野) [論文発表2(2)]5講義の詳細（1）‒HCI概論：•‒HCIの構成原理と構成方法 (1)(2)：••‒“Designing Interaction”に基づき、HCIの研究分野を概観し、さまざまな事例をとおして背景知識を得る
HCIで用いられる情報技術の基礎と応用について解説する(例：機械学習、音声・テキスト入力、画像処理)
特に、機械学習に関する一般的な方法論を概観し、HCI分野で用いられる技術について学ぶ(HCIにおける認知：)•

人のインタフェース特性、情報処理モデル、生態学的モデル、社会的インタラクションなどについて解説する

講義の詳細（2）‒HCIにおける実験と評価(1)(2)：•‒

ヒューマンロボットインタラクション：•‒

HRI研究の概要、研究手法を解説する‒ 確率ロボティクス(動作・知覚、位置推定、地図生成)‒ 大規模データに基づく人とロボットの対話など

ヒューマンエージェントインタラクション：•‒

実験計画法、質的評価、ユーザエクスペリエンス(UX)、ユーザセンタードデザイン(UCD)の概要を解説する

HAI研究の概要、研究手法を解説する‒ エージェントを用いた対話システム(POMDP対話制御)‒ マルチモーダル対話など

Predicting Human Decision-Making

評価・レポート課題•

レポート課題 (英語論文購読)：
1. HCIの論文1本 → 内容を要約しレポート作成
e.g., CHI, UIST, SIGGRAPH
2. HAI/HRIの論文1本 → 内容を要約しレポート作成
e.g., HRI, HAI, IVA
3. HCI (10/31,11/1) or HAI/HRI (11/26,29) で発表

HCI概論9

“Research Methods
in Human-Computer Interaction” (2)https://www.sciencedirect.com/book/9780128053904/
research-methods-in-human-computer-interaction

Research Methods in
Human-Computer Interaction
Chapter 3Experimental
DesignOverview• What needs to be considered when designing
experiments?
• Determining the basic design structure• Investigating a single independent variable• Investigating more than one independentvariable• Reliability of experimental results• Experimental procedures

Three groups of studies• Experiments, quasi-experiments, and nonexperiments:

Characteristics of true experiments• A true experiment– is normally based on at least on hypothesis– have multiple conditions– The dependent variable can be quantitatively
measured– uses statistical significance tests– thrives to remove biases– is replicable
心理学者270名が、3大学術誌に掲載された研究100件について組織的に再現実験を行った。残念なことに、再現性が確認された研究は39％のみであった。(Science, August 2015)

Factors to consider• Research hypothesis– Clearly defined– Appropriate scope• Dependent variables– Easy to measure• Independent variables and conditions– Easy to control

Basic design structure• Two basic questions:– How many independent variables do we want
to investigate in the experiment?
– How many different values does eachindependent variable have?

Basic design structure

Investigating one independent variable Between group design• Also called ‘between subject design’• One participant only experience onecondition

Between group design• Advantages– Cleaner, better control of learning effect– Requires shorter time for participants– less impact of fatigue and frustration• Disadvantages– Impact of individuals difference– Harder to detect difference between
conditions– Require larger sample size

Investigating one independent variable Between group design• Also called ‘within subject design’• One participant experience multiple
conditions

Within-group design• Advantages– Requires smaller sample size
– Easy to detect difference between conditions• Disadvantages– Learning effect– Takes longer time
– Larger impact of fatigue and frustration

Investigating one independent variable Between group vs. Within group• Between-group design should be taken when:– Simple tasks– Learning effect has small impact– Within-group design is impossible• Within-group design should be taken when:– Learning effect has large impact– Small participant poolMore than one independent variable• Factorial design divides the experiment groups
or conditions into multiple subsets according to
the independent variables• Can study interaction effects• Number of conditions:

More than one independent variable• Three options of factorial design– Between group design– Within group design– Split-plot design• Split-plot design– Has both a between-group and a within-groupcomponent

Interaction effect• The differing effect of one independent variable on thedependent variable, depending on the particular level ofanother independent variable

主効果(main effect)：
それぞれの独立変数がそれぞれ「独自」に従属変数へ与える単純効果のこと

交互作用(interaction)：
独立変数を組み合わせた場合の複合効果のこと
特定のセルにおいて要因Aの主効果と要因Bの主効果だけでは説明できない組み合わせ特有の効果のこと

Reliability of experiments• Random errors– Also called ‘chance errors’ or ‘noises’– Cause variations in both direction– Occur by chance– Can be controlled by a large sample size

• Systematic errors– Also called ‘biases’– Always push actual value in the same direction– Can never be offset no matter how large the sample isReliability of experiment results• Five major sources of system errors– measurement instruments– experimental procedures– participants– experimenter behavior– the experimental environment

Lifecycle of an experiment• Identify a research hypothesis• Specify the design of the study• Run a pilot study to test the design, the system,and the study instruments• Recruit participants• Run the actual data collection sessions• Analyze the data
• Report the results

Experiment session procedure• Ensure the systems or devices being
evaluated and the related instruments areready for the experiment• Greet the participants• Introduce the purpose of the study and theprocedures• Get the consent of the participants• Assign the participants to a specificexperiment condition according to the predefined randomization method

Experiment session procedure• Participants complete training task
• Participants complete actual tasks• Participants answer questionnaires (if any)
• Debriefing session• Payment (if any)End-of-chapter• Summary• Discussion questions• Research design exercise

HCIの構成原理と構成方法(1)32

講義の概要（１）：HCI全般
次世代インタフェース
HCIの構成原理・方法

人のインタフェース特性
HCIの構成原理と構成方法
実験と評価

ハードウェアインタフェース
HCIの構成原理・方法

インタフェースの手法

インタフェースの評価
実験と評価

インタラクションデザイン

参考：ヒューマンコンピュータ
インタラクション入門、椎尾、
2010“Designing Interactions”

33

講義の概要（２）：HRIとHAI
HRI

Human-Robot Interaction

Human-Agent Interaction
HAI

対象をロボットに限定

対象は人工物（限定なし）

HCIとの相違点：人と「エージェント」のインタラクションデザインを研究
HCIとの共通点：人を含む「開放系」を研究の対象とする

34

HCIの構成原理と構成方法 (1)‒

インタフェースの手法：入力・出力
出力インタフェースの手法••

従来の出力デバイス、Virtual Reality、AugmentedReality特徴‒‒‒‒

理論的なアプローチがしづらい→正解がみつけづらい製作（試作）のコストが高い
応用先は多い（特に、エンタテインメント系）

入力インタフェースの手法••••

深層学習 (CNN)
識別(SVM)
認識アルゴリズム (DPマッチング、隠れマルコフモデル)
部分観測マルコフ決定過程 (POMDP）

情報メディアの種類と関連技術
音メディア

レトリック

音楽

書道

デッサン、
イラスト

絵画

映画

認識

言語認識

音声認識

文字
認識

図面
認識

画像認識

映像認識

生成

言語合成

音声合成

文字
生成

図面
生成

画像生成

映像生成

基礎
技術

テキスト処理時系列
信号処理

2値画像処理濃淡（カラー）
画像処理

動画像処理

知覚

聴覚

感性

情

画像メディア

言語メディア

報

感覚のモダリティ

線画

3次元

映像メディア視覚（ヒューマンインタフェース、田村他著、2009）36

インタフェースの手法：出力37

インタフェースの手法：出力のポイント– 主な「出力」方法：••••

従来の出力デバイス
Virtual Reality
Augmented Reality
次世代インタフェース– 特徴：•••

理論的なアプローチがしづらい→正解がみつけづらい製作（試作）のコストが高い
応用先は多い（特に、エンタテインメント系）

従来の出力デバイス

ディスプレイ・スピーカー・プリンタ

3Dテレビ・モニター

3Dプリンタプロジェクタヘッドマウントディスプレイ

レーザーカッター

Virtual RealityとAugmented Reality–

Virtual Reality (人工現実感、仮想現実；VR):•–

実際の形はしていないか、形は異なるかもしれないが、機能としては本質的に同じであるような環境を、ユーザの感覚を刺激することにより理工学的に作り出す技術およびその体系

Augmented Reality （拡張現実；AR):•

人が知覚する現実環境をコンピュータにより拡張する技術、およびコンピュータにより拡張された現実環境そのものを指す

Virtual Reality

41

Cyberith Virtualizer (2014)–

Cyberith Virtualizerとは？
••Cyberith GmbH社によって開発された、モーション検出装置を備えた全方位トレッドミル
HMDを装着することにより、豊かなVR体験をすることができる

Cyberith Virtulizer (ビデオ)Birdy (2014)‒

Birdyとは？
••

HMD（Oculus）などを用いて、鳥のように空を飛ぶ感覚を再現するVRシステム
体験者は自分の手によりシミュレータを制御することができる（sensory-motor coupling）

Birdy (ビデオ)Aireal (2013)‒

Airealとは？
••ユーザにデバイスを装着させることなしに、効果的な触感を提示することができる新しい技術「空気砲」のメカニズムによりユーザに触覚を提示するため、さまざまな応用可能性を有する

Aireal (ビデオ)Augmented Reality48

セカイカメラ（2009）‒

セカイカメラ（Sekai Camera）とは？
••スマートフォン上で動作する拡張現実ソフトウェア
スマホのカメラにより目の前の景色が画面上に写し出され、その上にその場所・対象物（建物・看板など）関連する「エアタグ」と呼ばれる付加情報（文字・画像・音声）が重畳されるセカイカメラ（ビデオ）World Lens (2010)–

World Lensとは？
••スマートフォンのカメラから入力された文字を認識し、その文字を他の言語に翻訳し表示するARアプリケーション
翻訳された文字は、現在見ている背景にそのまま表示される

World Lens (ビデオ)MetaCookie‒「味覚」とは？
•–舌で感じた化学信号と、見ためや匂い、触覚、記憶などが脳内で統合されることで、認識される味（＝「風味」）は決定される

MetaCookie•

味覚の元となる化学信号は変えずに付随情報だけを変化させることで、味の認識だけを変化させる

MetaCookie（ビデオ）実世界指向インタフェース

55

metaDesk (1997)

Wearable Interface

57

SixSense (2009)その他の「出力」系インタフェース–

Tabletop (touch-based) Interface
••
•
•
•

‒

Reactable
intuPaint (Painting Environment)
FluidPaint
SandCanvas
Interactive Tabletop Gameロボットを用いたインタフェース••

Telexistence
Augmented Humans

HCIの構成原理と構成方法 (2)HCIと機械学習

60

HCIにおける機械学習とは？
‒

機械学習の分類 (荒木 14) → 資料を参照

おわり62