ヒューマンコンピュータインタラクション特論
第2回

情報理工学部門

複合情報工学分野

Human-Computer Interaction (HCI) 研究室
小野哲雄（8-12室）
tono@ist.hokudai.ac.jp

講義資料の配布‒小野のHP
http://hci-lab.jp/tono/「北大小野哲雄」 Search!

講義資料（lectures’ handouts）

‒•

HCI特論

ID: guest
PW: hcitokuron
2http://hci-lab.jp/tono/3

ヒューマンコンピュータインタラクション特論- Syllabus 【授業の目標】
近年、情報化社会において、人とコンピュータのインタラクションをデザインすることの重要性が認識され、基礎研究および研究開発が積極的に行われている。本講義では特に、人と知的システム（ロボットやエージェントなど）とのインタラクションの仕組みを理解するために、そのシステムの構成原理や構成方法、モデル化、ユーザの認知特性、システムの評価手法について学ぶ。

【到達目標】
インタラクティブシステムに関する情報技術の基礎と応用を理解したうえで、(1) ロボットやエージェントなどの知的システムに用いられる情報技術を理解し、その動作原理を説明できる。
(2) 人の認知特性を理解し、それを用いて既存のシステムの問題点を指摘することができる。(3) システムの評価手法を理解し、その手法を用いて与えられたデータを解析することができる。
4

授業計画 (予定)
1. 10/1(火) 4限 (小野) HCI入門
2. 10/4(金) 3限 (小野) HCI概論
3. 10/8(火) 4限：[休講]4. 10/11(金) 3限 (小野) HCIの構成原理と構成方法(1) ＃論文発表の説明
5. 10/15(火) 4限 (小野) HCIの構成原理と構成方法(2) ＃登録開始
6. 10/25(金) 3限 (小野) HCIにおける機械学習の手法(???)
7. 10/31(木) 4限 <- 火曜授業 (小野) [論文発表1(1)]8. 11/1(金) 3限 (小野) [論文発表1(2)]9. 11/5(火) 4限 (小野) ヒューマンロボットインタラクション(HRI) ＃説明
10. 11/8(金) 3限 (小野) ヒューマンエージェントインタラクション(HAI) #登録
11. 11/12(火) 4限 (小野) Predicting Human Decision-Making (1)12. 11/15(金) 3限 (小野) Predicting Human Decision-Making (2)13. 11/19(火) 4限 (坂本) HCIにおける実験と評価(1)
14. 11/22(金) 3限 (坂本) HCIにおける実験と評価(2)
15. 11/26(火) 4限 (小野) [論文発表2(1)]16. 11/29(金) 3限 (小野) [論文発表2(2)]5講義の詳細（1）‒HCI概論：•‒

HCIの構成原理と構成方法 (1)(2)：••‒“Designing Interaction”に基づき、HCIの研究分野を概観し、さまざまな事例をとおして背景知識を得る
HCIで用いられる情報技術の基礎と応用について解説する(例：機械学習、音声・テキスト入力、画像処理)
特に、機械学習に関する一般的な方法論を概観し、HCI分野で用いられる技術について学ぶ(HCIにおける認知：)•

人のインタフェース特性、情報処理モデル、生態学的モデル、社会的インタラクションなどについて解説する

講義の詳細（2）‒HCIにおける実験と評価(1)(2)：•‒

ヒューマンロボットインタラクション：•‒

HRI研究の概要、研究手法を解説する‒ 確率ロボティクス(動作・知覚、位置推定、地図生成)‒ 大規模データに基づく人とロボットの対話など

ヒューマンエージェントインタラクション：•‒

実験計画法、質的評価、ユーザエクスペリエンス(UX)、ユーザセンタードデザイン(UCD)の概要を解説する

HAI研究の概要、研究手法を解説する‒ エージェントを用いた対話システム(POMDP対話制御)‒ マルチモーダル対話など

Predicting Human Decision-Making

評価・レポート課題•

レポート課題 (英語論文購読)：
1. HCIの論文1本 → 内容を要約しレポート作成
e.g., CHI, UIST, SIGGRAPH
2. HAI/HRIの論文1本 → 内容を要約しレポート作成
e.g., HRI, HAI, IVA
3. HCI (10/31,11/1) or HAI/HRI (11/26,29) で発表

ヒューマンコンピュータインタラクションとは？

9ヒューマンコンピュータインタラクションとは？

10

研究室名の変更
n 2014年度からの研究室名（組織改編）：
n “Human-Computer Interaction Lab.”n 研究テーマの概要：
1.
2.
3.
4.

ロボット・エージェント系 ： HAI, HRI, 環境知能など
生体情報処理系： 生体信号, バイオフィードバック系
音楽情報処理系： 自動作曲、作曲者聴取者の印象
その他： HCI、Interactive System、Mobile Device、Interaction 他

11

講義の概要（１）：HCI全般
次世代インタフェース
HCIの構成原理・方法

人のインタフェース特性
HCIの構成原理と構成方法
実験と評価

ハードウェアインタフェース
HCIの構成原理・方法

インタフェースの手法

インタフェースの評価
実験と評価

インタラクションデザイン

参考：ヒューマンコンピュータ
インタラクション入門、椎尾、
2010“Designing Interactions”12

講義の概要（２）：HRIとHAI
HRI

Human-Robot Interaction

Human-Agent Interaction
HAI

対象をロボットに限定

対象は人工物（限定なし）

HCIとの相違点：人と「エージェント」のインタラクションデザインを研究
HCIとの共通点：人を含む「開放系」を研究の対象とする

13

HCI概論14

“Research Methods
in Human-Computer Interaction”[Second Edition]
by Jonathan Lazar,
Jinjuan H. Feng,
Harry Hochheiser(Morgan Kaufmann
Publishers, 2017)https://www.sciencedirect.com/book/9780128053904/
research-methods-in-human-computer-interaction

“Research Methods
in Human-Computer Interaction” (2)https://www.sciencedirect.com/book/9780128053904/
research-methods-in-human-computer-interaction

Research Methods in
Human-Computer Interaction
Chapter 1- Introduction

17

History of HCI Research• The first HCI conference was held in 1982
• But other work was going on before 1982
– Conferences such as HFES
– Books such as “Software Psychology”– Work at governmental agencies (e.g. SSA)
– “Office automation” research• The name “human-computer interaction”
or “computer-human interaction” was first
applied to the 1982 conferenceWhy was HCI needed?
• In the late 1970s and early 1980s, there
was a shift:– From large computers in secured rooms,
operated only by engineers– To small computers, operated by peoplewithout a technical background, in homes andworkplaces• Ease of use, the human side, user
acceptance, all became more important!

Changes in HCI research• The main topics of HCI have shifted overtime:• 1980s– Word processing and database interfaces• 1990s– Web usability, e-mail, groupware• 2000s– User-generated content, tagging, social
networking

HCI Research• HCI research is at the intersection of rigor
and relevance– There must be a good base of theory, and theresearch methods must be rigorous– There must be practical implications, simply
influencing theory is not sufficient• Historically, HCI work has focused onpractical results that improve the quality oflife

HCI Research• HCI research involves a number ofdifferent disciplines:– Computer science– Management– Cognitive psychology– Library science– Communication– Design• It’s always going to be complex, and there
will always be many different approaches

Measurement in HCI• There are many different approaches tomeasurement• The traditional measurements are:– Task performance, time performance, and user
satisfaction• Those measurements do not accurately
measure:– Why people no longer use an interface– Discretionary use for enjoyment (e.g. YouTube)– Emotion and trustNew forms of measurement• A feeling of community?
• Emotion?
• Enjoyment?
• Physiological measures (EEG, EMG)?
• Lower carbon footprint?
• Satisfaction from accomplishments in gaming orin virtual worlds?
• Ease of use and enjoyment of new forms oftechnology can be challenging to measureTriangulation• No data collection method will be perfect• It is important to have multiple
researchers, using multiple methods,
investigating the same phenomenon• We call this triangulation• One paper ≠ scientific truth• Different researchers, different methods,
all coming to the same conclusion,
THAT’S when you find consensus

Consensus in research• Many core questions in HCI remainunanswered– What is the minimum number of people
required for usability testing?

• Or the answers change over time due tochanging technology– What is the biggest frustrations for users on
the web? (download speed? Viruses?
Browser compatibility?)Consensus in research• One area where there is clear consensus
in the HCI research:– Broad, shallow tree structures (c) in
information spaces are superior to narrow,deep structures (a and b)

(a)

(b)

(c)

– Multiple researchers and methods haveestablished thisInherent conflicts in HCI• HCI research is complex• There often is not one optimal solution• There are trade-offs and multiple
stakeholders with conflicting goals– Users prefer consistency over change– Often, there is a trade-off between usability
and security (the highest ease of use would
be with no security, which isn’t possible)– HCI research can be hard to cost-justify

Interdisciplinary nature• HCI research involves many disciplines:– Human factors, engineering, psychology(were heavily involved from the start)– Art and design, library and information
science (very involved right now)

• Each discipline has a tradition of researchmethods• These methods are modified for use in
HCI research, some new ones are createdInterdisciplinary nature• We have a long history of controlled
studies in laboratories measuring task andtime performance from psychology andengineering• As new technologies are developed
involving communication, socializing andemotion, we need to modify and use
methods from the social sciences• New approaches to research, and multimethod research, is neededInterdisciplinary research• Interdisciplinary research can bechallenging– Focus on journals vs. conferences– Single author vs. group author publications– Focus on theory vs. applied, practical work
– Focus on grant money vs. anti-grant money– Some disciplines are very self-reflective– Even the appropriate attire varies• This is true even if all disciplines callthemselves “HCI researchers”

Different Focus on each step
• Different disciplines may focus more on one
step of the research process than others– Theory– Research Methods– Participants/context– Statistics/analysis– Implications for interfaces• We expect this comment to be somewhat
controversial, but based on our experience,
we believe strongly that it is true

Communicating your ideas• You need to be familiar with researchmethods from different disciplines• Know what the “sensitive spots” are fromother disciplines• You need to communicate your results in a
way that others can understand• People from other disciplines will be
reviewing your paper or your grant• Be prepared to answer: “why did we use
method X instead of methods Y or Z?”

Research and Usability Testing• Is usability testing the same as research?
• The methods used in UT and research can be
the same (experimental model, task and timemeasurements, lab setting)• The GOALS of UT and research are often
different:– UT: find and fix flaws in specific interfaces, using any
method needed, and few users– Research: larger number of users, results that can begeneralized– For more information on differences, see chapter 10

HCIにおけるシステム構築事例

35

HCIの3要素
ビジョン (Vision)
アイディア (Idea)テクニック (Technical skill)ビジョン (Vision)37

1980年代：すでに人とコンピュータの未来を見通していた（!?）• 1970〜1980年代のコンピュータ

IBM 704 (1954)

HITAC M180 (1976)• “Knowledge Navigator” (Apple, 1987) [video]‒ ノート型PCの提案‒ 電子秘書「エージェント」の登場、音声認識・音声合成‒ スケジュール管理、情報検索、チャット機能 etc.
38

“Knowledge Navigator” (Apple, 1987)

2000年頃：インタラクティブシステム「人とコンピュータの新しい関係」• 人とコンピュータと新しい関係 “Tangible Bits”‒ 石井裕氏（MIT Media lab.）が提唱‒ 情報世界と物理世界をつなぐシステム‒ 情報に「触れることができる」（tangible）システム• 資料参照‒ 『Tangible Bits：情報の感触 / 情報の気配』

40

“Tangible Bits”とは？
• 情報世界と物理世界をつなぐインタラクティブシステム• 情報に「触れることができる」（tangible）インタラク
ティブシステム• 物理空間における認知の中心と周辺、graspable mediaとambient media• 関連研究：Ubiquitous Computing, Augmented Reality,Graspable User Interfaceなど

41

“Tangible Bits”

42

“Tangible Bits”の研究例• “I-O Brush”‒ 情報世界と物理世界をつなぐペイントブラシ‒ 実世界から質感・色・動きを取得‒ 子どもたちの創造性を刺激

43

“I-O Brush”

44アイディア (Idea)

45

HCIにおける現在の問題‒–

現時点での情報技術の限界：••

文字認識：崩れた文字は認識できない
機械翻訳：翻訳された文の質が低い•

クラウドソーシング（Crowdsourcing）：にyppa
H！
がるな
みん 解決すを
題
HCIにおける新しいアプローチ：
問‒•

不特定多数の人の寄与を募り、必要とするサービス、アイデア、またはコンテンツを取得するプロセス

ヒューマンコンピュテーション（HumanComputation）:‒

人間とコンピュータどちらが欠けても解答することが不可能な問題に対し、人間の知能と計算機を組み合わせて解く手法

Dr. Luis von Ahn (CMU)
略歴：
グアテマラ生まれの起業家、カーネ
ギーメロン大学計算機科学部所属の准教授．クラウドソーシングの発案者としてその先駆的立場にいる．その技術はreCAPTCHAに応用されている．
reCAPTCHAは2009年、Googleに売却されている．研究者として彼は、
CAPTCHAおよびヒューマンベースト・コンピュテーション分野などで業績を残している．

Dr. Luis von Ahnの研究のまとめ:“一石二鳥”手法–

reCAPTCHA：CAPTCHA：ウェブサイトの制限エリアへアクセスを試みるボットの排除＋OCRで認識の難しい文字を課題として紙の本のデジタル化に活かすシステム
•具体例：
‒‒

–

ニューヨーク・タイムズの記事アーカイブの電子化
Googleブックスの書籍電子化

Duolingo：
無料の言語学習、及びクラウドソーシング翻訳用プ
ラットフォーム
利用者がコースを受講 → その結果をウェブサイトやその他の文書の翻訳に使用

Dr. Luis von Ahn (CMU)

“Massive-scale online collaboration”
by Luis von Ahn (video)
‒

英語：
•‒

https://www.ted.com/talks/
luis_von_ahn_massive_scale_online_collaboration?
language=en

字幕あり：
•

https://www.youtube.com/watch?v=-Ht4qiDRZE8

テクニック (Technical skill)51

入力・操作：研究事例(1) [研究のポイント]–“Designing Interactions”を確認しよう！

入力・操作：研究事例(1)“Touch & Activate: Adding Interactivity to Existing Objects
Using Active Acoustic Sensing”,
Makoto Ono, Buntarou Shizuki, Jiro Tanaka, UIST2013.

53

HCI概論‒HCI研究の概要と特徴•

Research Methods in Human-ComputerInteraction–‒

Chapter 1- Introduction

HCIの3要素：•••ビジョン (Vision)：
Knowledge navigator (Apple)
Tangible bits (石井 裕）
アイディア (Idea)：
reCAPTCHA, Duolingo (Dr. Luis von Ahn)
テクニック (Technical skill)：Touch & Activate (機械学習を用いた例)

おわり55