ヒューマンコンピュータインタラクション特論
第3回

情報理工学部門

複合情報工学分野

Human-Computer Interaction (HCI) 研究室
小野哲雄（8-12室）
tono@ist.hokudai.ac.jp

講義資料の配布‒小野のHP
http://hci-lab.jp/tono/「北大小野哲雄」 Search!

講義資料（lectures’ handouts）

‒•

HCI特論

ID: guest
PW: hcitokuron
2http://hci-lab.jp/tono/3

ヒューマンコンピュータインタラクション特論- Syllabus 【授業の目標】
近年、情報化社会において、人とコンピュータのインタラクションをデザインすることの重要性が認識され、基礎研究および研究開発が積極的に行われている。本講義では特に、人と知的システム（ロボットやエージェントなど）とのインタラクションの仕組みを理解するために、そのシステムの構成原理や構成方法、モデル化、ユーザの認知特性、システムの評価手法について学ぶ。

【到達目標】
インタラクティブシステムに関する情報技術の基礎と応用を理解したうえで、(1) ロボットやエージェントなどの知的システムに用いられる情報技術を理解し、その動作原理を説明できる。
(2) 人の認知特性を理解し、それを用いて既存のシステムの問題点を指摘することができる。(3) システムの評価手法を理解し、その手法を用いて与えられたデータを解析することができる。
4

授業計画 (予定)
1. 10/1(火) 4限 (小野) HCI入門
2. 10/4(金) 3限 (小野) HCI概論
3. 10/8(火) 4限：[休講]4. 10/11(金) 3限 (小野) HCI概論(2) ＃論文発表の説明
5. 10/15(火) 4限 (小野) HCIの構成原理と構成方法(1) ＃登録開始
6. 10/25(金) 3限 (小野) HCIの構成原理と構成方法(2)7. 10/31(木) 4限 <- 火曜授業 (小野) [論文発表1(1)]8. 11/1(金) 3限 (小野) [論文発表1(2)]9. 11/5(火) 4限 (小野) ヒューマンロボットインタラクション(HRI) ＃説明
10. 11/8(金) 3限 (小野) ヒューマンエージェントインタラクション(HAI) #登録
11. 11/12(火) 4限 (小野) Predicting Human Decision-Making (1)12. 11/15(金) 3限 (小野) Predicting Human Decision-Making (2)13. 11/19(火) 4限 (坂本) HCIにおける実験と評価(1)
14. 11/22(金) 3限 (坂本) HCIにおける実験と評価(2)
15. 11/26(火) 4限 (小野) [論文発表2(1)]16. 11/29(金) 3限 (小野) [論文発表2(2)]5講義の詳細（1）‒HCI概論：•‒HCIの構成原理と構成方法 (1)(2)：••‒“Designing Interaction”に基づき、HCIの研究分野を概観し、さまざまな事例をとおして背景知識を得る
HCIで用いられる情報技術の基礎と応用について解説する(例：機械学習、音声・テキスト入力、画像処理)
特に、機械学習に関する一般的な方法論を概観し、HCI分野で用いられる技術について学ぶ(HCIにおける認知：)•

人のインタフェース特性、情報処理モデル、生態学的モデル、社会的インタラクションなどについて解説する

講義の詳細（2）‒HCIにおける実験と評価(1)(2)：•‒

ヒューマンロボットインタラクション：•‒

HRI研究の概要、研究手法を解説する‒ 確率ロボティクス(動作・知覚、位置推定、地図生成)‒ 大規模データに基づく人とロボットの対話など

ヒューマンエージェントインタラクション：•‒

実験計画法、質的評価、ユーザエクスペリエンス(UX)、ユーザセンタードデザイン(UCD)の概要を解説する

HAI研究の概要、研究手法を解説する‒ エージェントを用いた対話システム(POMDP対話制御)‒ マルチモーダル対話など

Predicting Human Decision-Making

評価・レポート課題•

レポート課題 (英語論文購読)：
1. HCIの論文1本 → 内容を要約しレポート作成
e.g., CHI, UIST, SIGGRAPH
2. HAI/HRIの論文1本 → 内容を要約しレポート作成
e.g., HRI, HAI, IVA
3. HCI (10/31,11/1) or HAI/HRI (11/26,29) で発表

HCI概論（２）9Research Methods in
Human-Computer Interaction
Chapter 2Experimental
Research

Overview• Types of behavioral research• Research hypotheses• Basics of experimental research• Significance tests• Limitations of experimental research

Types of behavioral research• Descriptive investigations focus on constructing
an accurate description of what is happening.
• Relational investigations enable the researcher
to identify relations between multiple factors.
However, relational studies can rarely determine
the causal relationship between multiple factors.
• Experimental research allows the establishmentof causal relationship.

Types of behavioral researchResearch hypotheses• An experiment normally starts with a research
hypothesis.
• A hypothesis is a precise problem statement thatcan be directly tested through an empiricalinvestigation.
• Compared with a theory, a hypothesis is asmaller, more focused statement that can beexamined by a single experiment

Types of hypotheses• Null hypothesis: typically states that there is nodifference between experimental treatments.
• Alternative hypothesis: a statement that ismutually exclusive with the null hypothesis.
• The goal of an experiment is to find statisticalevidence to refute or nullify the null hypothesis inorder to support the alternative hypothesis.
• A hypothesis should specify the independentvariables and dependent variables.

Research hypotheses• Independent variables (IV) refer to the factors that theresearchers are interested in studying or the possible“cause” of the change in the dependent variable.
– IV is independent of a participant’s behavior.
– IV is usually the treatments or conditions that the researchers
can control.

• Dependent variables (DV) refer to the outcome or effectthat the researchers are interested in.
– DV is dependent on a participant’s behavior or the changes in
the IVs– DV is usually the outcomes that the researchers need tomeasure.

Typical independent variables in HCI• Those that relate to technology– Types of technology or device– Types of design• Those that relate to users: age, gender, computer
experience, professional domain, education, culture,
motivation, mood, and disabilities• Those that relate to context of use:
– Physical status– User status– Social status

Typical dependent variables in HCI• Efficiency:– e.g., task completion time, speed• Accuracy:– e.g., error rate

• Subjective satisfaction:– e.g., Likert scale ratings• Ease of learning and retention rate
• Physical or cognitive demand– e.g., NASA task load index

Components of experiment• Treatments, or conditions: the different
techniques, devices, or procedures that we wantto compare• Units: the objects to which we apply theexperiment treatments. In HCI research, theunits are normally human subjects with specificcharacteristics, such as gender, age, orcomputing experience• Assignment method: the way in which theexperimental units are assigned differenttreatments.

Randomization• Randomization: the random assignment oftreatments to the experimental units orparticipants• In a totally randomized experiment, no one,including the investigators themselves, is able topredict the condition to which a participant isgoing to be assigned• Methods of randomization– Preliminary methods– Random table– Software driven randomization

Significance tests• Why do we need significance tests?
– When the values of the members of the comparisongroups are all known, you can directly compare themand draw a conclusion. No significance test is needed
since there is no uncertainty involved.
– When the population is large, we can only sample a
sub-group of people from the entire population.
– Significance tests allow us to determine how confident
we are that the results observed from the sampling
population can be generalized to the entire
population.

Type I and Type II errors• All significance tests are subject to the risk ofType I and Type II errors.
• A Type I error (also called an α error or a “falsepositive”) refers to the mistake of rejecting thenull hypothesis when it is true and should not berejected.
• A Type II error (also called a β error or a “falsenegative”) refers to the mistake of not rejecting
the null hypothesis when it is false and should
be rejected.

Type I and Type II errors

Type I and Type II errors• It is generally believed that Type I errors areworse than Type II errors.
• Statisticians call Type I errors a mistake thatinvolves “gullibility”.
– A Type I error may result in a condition worse thanthe current state.

• Type II errors are mistakes that involve“blindness”– A Type II error can cost the opportunity to improvethe current state.

Controlling risks of errors• In statistics, the probability of making a Type I
error is called alpha (or significance level, pvalue).
• The probability of making a Type II error is calledbeta.
• The statistical power of a test, defined as 1−β,refers to the probability of successfully rejecting
a null hypothesis when it is false and should berejected

Controlling risks of errors• Alpha and beta are interrelated. Under the same
conditions, decreasing alpha reduces thechance of making Type I errors but increases thechance of making Type II errors.
• In experimental research, it is generally believedthat Type I errors are worse than Type II errors.
• So a very low p value (0.05) is widely adopted tocontrol the occurrence of Type I errors.

Limitations of Experimental Research• Experimental research requires well-defined,
testable hypotheses that consist of a limited
number of dependent and independentvariables.
• Experimental research requires strict control offactors that may influence the dependent
variables.
• Lab-based experiments may not be a good
representation of users’ typical interaction
behavior.

前回の復習：HCI概論（１）‒HCIの3要素：•••

ビジョン (Vision)：
Knowledge navigator (Apple), Tangible bits
(石井 裕）
アイディア (Idea)：
reCAPTCHA, Duolingo (Dr. Luis von Ahn)
テクニック (Technical skill)：Touch & Activate (機械学習を用いた例)

インタフェースの入力と出力の手法‒

ハードウェアインタフェース：•••‒

入力・操作：キーボード、ポインティングデバイス
出力・表示：プリンタ、ディスプレイ、GUI
音声入出力・ビデオ入力

インタフェースの手法：••••

テキスト入力
音声インタフェース
コンピュータビジョン
紙・物・場所によるインタラクション（参考：『ヒューマンインタフェース入門』、椎尾、2010)たとえば、キーボード．．．
•

ＩＳと情報技術・機器の関係••

接続・間接操作：キーボード

情報技術・機器のメカニズム
•
•
•

•

キーボードの歴史（Qwerty, Dvorak, M式, JISなど）
人間工学（人間の指の動き、ピッチ幅など）
メカニズム、ハードウェア・ソフトウェアとの関連

将来的な展望••キーボードのような入力機器が必要なくなる
持ち運びの必要ない、いつでも入力できる(“FingerRing, Fukumoto, CHI97)

「夢」のキーボード？（開発事例）
研究事例：“FingeRing” (Fukumoto, CHI97)••

研究のコンセプト
•
•

•

利点
•
•

•

装着型PDAの入力装置として開発
各指に加速度センサ、ワイヤレス
立っていても歩いていても入力できる
エキスパートは２００文字／分、入力できる

問題点•

慣れないと入力できないたとえば、キーボード．．．
•

ＩＳと情報技術・機器の関係••

接続・間接操作：キーボード

情報技術・機器のメカニズム••••

キーボードの歴史（Qwerty, Dvorak, M式, JISなど）
人間工学（人間の指の動き、ピッチ幅など）
メカニズム、ハードウェア・ソフトウェアとの関連

将来的な展望••キーボードのような入力機器が必要なくなる
持ち運びの必要ない、いつでも入力できる
なぜ入力・操作機器を携帯しなければいけないのか？
なぜユーザが個人でカスタマイズできないのか？

入力・操作：研究事例(1)“Touch & Activate: Adding Interactivity to Existing Objects
Using Active Acoustic Sensing”,
Makoto Ono, Buntarou Shizuki, Jiro Tanaka, UIST2013.

33

入力・操作：研究事例(1) [研究のポイント]–“Designing Interactions”を確認しよう！

入力・操作：研究事例(2)“SenSkin: Adapting Skin as a Soft Interface”
Masa Ogata, Yuta Sugiura, Yasutoshi Makino, Masahiko Inami,
UIST2013.

入力・操作：研究事例(2)[研究のポイント]–“Designing Interactions”を確認しよう！

たとえば、ディスプレイ
‒ディスプレイ：••‒CRT（cathode ray tube、ブラウン管）
LCD（liquid crystal display、液晶ディスプレイ）問題と将来的な展望：•••

2次元の表現のみ可能
触覚の提示は難しい
ウェアラブルデバイスとするには折り曲げたい（bendable）

出力・表示：研究事例(1)“inFORM: Dynamic Physical Aﬀordances and Constraints”,
Sean Follmer Daniel Leithinger Alex Olwal Akimitsu Hogge Hiroshi Ishii,
UIST2013.

出力・表示：研究事例(1) [研究のポイント]–“Designing Interactions”を確認しよう！

出力・表示：研究事例(2)“PrintScreen: Fabricating Highly Customizable Thin-film Touch-Displays”
Simon Olberding, Michael Wessely, Jurgen Steimle, UIST2014.

https://www.youtube.com/watch?v=LiD7dnqY034

出力・表示：研究事例(2) [研究のポイント]–“Designing Interactions”を確認しよう！

「インタフェース」のまとめ‒–

人とインタラクションを行う「ハードウェ
アインタフェース」の本質的な機能、ユーザの要望・目的は何か？
“Designing Interactions”の視点から考察•

入力・操作：
1.
2.

•

Touch & Activate: Adding Interactivity to Existing
Objects Using Active Acoustic Sensing
SenSkin: Adapting Skin as a Soft Interface

出力・表示：1.
2.

inFORM: Dynamic Physical Aﬀordances andConstraints
PrintScreen: Fabricating Highly Customizable Thin-film
Touch-Displays

HCIの向かうべき方向性

43Terry Winograd (1946- )–AI (Artificial Intelligence)•–

自然言語理解システム “SHRDLU”

HCI (Human-Computer Interaction)•『コンピューターと認知を理解する』“Understanding Computers and Cognition”–

Larry Page (Google)を輩出‒デザイン思考 (d.school@stanford)自然言語理解システム “SHRDLU”‒

自然言語対話システム：•SHRDLU（1972）：限られた世界で、言語の理解を行うシステム
取り扱う世界（ドメイン）で必要な知識をすべて書き込んでおく必要あり
フレーム問題ユーザ： 大きい赤のブロックをつかんでください。
システム： はい、実行しました。
ユーザ： 四角錐をつかんでください。
システム： どの四角錐かわかりません。
ユーザ： 今つかんでいるブロックより高いブロックを見つけて、それを箱の中に入れてください。
(Winograd, 1972)45

『人工知能からHCIへ』
http://www.tel.co.jp/museum/magazine/human/120810_interview02/index.html

‒‒

‒
‒
‒
‒

優れたインタラクション・デザインの実現を妨げているのは技術的な問題ではなく、人間の認知の方法を知るのが難しいからだ
人がどうコンピュータとやりとりするかを理解しようとする方が、人がいかに考えるのか、それがインタラクション（人とコンピュータの相互作用）の方法にどう影響するのか、その示唆を多く得られると考えるに至った
自分のやるべきことは、人のように考えるコンピュータを作ることではなく、人とうまくやりとりできるコンピュータを作ることだという結論に達した
マッキントッシュの前後から、ごく普通のことをやるのにコンピュータが使われるようになり、コンピュータとユーザの間にある大きなギャップが突然見えるようになったキーとなるのは、人間の生活にどうコンピュータが統合されるのかということです
デザイン思考とは、人々が必要としているものから何をデザインすべきかというインスピレーションを得て、プロトタイプを作ってそれをテストし、最終的に結果を生み出すというプロセスを指します『コンピューターと認知を理解する』

••
•
•
•

現象学やマトゥラナの生物理論（第3-5章）「合理主義的伝統」の定式化（第2章）
合理主義的伝統に基づいた人工知能への批判（第7-10章）、意思決定理論への批判（第11章）
それに代わる新しい「言語の理論」（第5-6章）およびそれに基づいたコンピュータシス
テム・デザイン（第12章）
その具体例としての「コーディネータ」の紹介（第5、11章）

デザイン思考 (d.school@stanford)
http://dschool.stanford.edu/‒

デザイン思考とは？
•‒デザイン思考とは、人々が必要としているものから何をデザインすべきかというインスピレーションを得て、プロトタイプを作ってそれをテストし、最終的に結果を生み出すというプロセスを指す

具体的なプロジェクト•

ケニアのナイロビの健康問題や経済問題を解決するために、シンプルなテクノロジーを応用するプロジェクトおわり49