人間の睡眠モデルに基づく知覚情報処理系の構築とその応用

筑波大学大学院 図書館情報メディア研究科
三河 正彦

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日(火)1
2008年6月24日火曜日

1

はじめに<背景>•単純な知覚情報処理システム: タスクに応じた一連の処理を決まった手順<< 不必要な時にも全力で処理 >>•知的な知覚システム: 多くの知覚センサ情報を処理<< 計算機能力の不足 >>•人間: 弛緩/緊張(睡眠/覚醒)を必要に応じて使い分け
内的な処理と外的な処理を動的に制御✦ 外部刺激 多 → 外部情報を優先して処理(視覚，聴覚，触覚...)✦ 外部刺激 少 → 内部情報を優先して処理(睡眠，考えごと)<本研究の提案>•人間の意識状態をモデル化
Activation-Input-Modulation(AIM)モデル : 意識状態を3次元で表現•数理AIMモデルに基づく知覚情報処理システムの提案✦<< 必要な処理が必要な時に実行 >>第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

22

Activation-Input-Modulation(AIM)モデル
Low

Activation(Hobson, 2001)

High

Wake
Aminergic

Modulation

NREM sleep

REM sleep

Cholinergic

External

Input
Internal•Activation(活性化)•覚醒
活性化レベルを制御
視覚/聴覚等の外部情報の処理•Input(入出力のゲーティング)•レム睡眠
外的刺激と内的刺激の入出力を制御
記憶等の内部情報の処理•Modulation(神経修飾)•ノンレム睡眠外的処理と内的処理のバランスを制御
第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

処理能力低下筑波大学大学院図書館情報メディア研究科 三河 正彦

33

AIMモデルの数理化
External
sensoryorgansDatasampling
processing

Mathematical
AIM model

a_ex
a_in

S
s_ex

i_ex

s_in

i _i nm_ex

Internal
datasources•外部情報処理
実時間処理が必要✦ 視覚，聴覚等の情報
内部情報処理✦ 時間のかかる処理✦ 記憶領域内の情報✦•

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

m_in

Data
sampling
processing

External
information
processingAI

M
Internal
information
processing•要素S✦

外部/内部情報から刺激に変換•要素A, I, M✦

外部刺激(要素S)により制御される

筑波大学大学院図書館情報メディア研究科 三河 正彦

44

数理AIMモデル : 要素A, I, Mの時間変化
Low

Activation

High

Wake
Aminergic

Modulation

NREM sleep

Relax

External

Input
Internal

Wake

Level

1

Data
sampling
processing

Mathematical
AIM model

Relax
NREM
a, i, m_ex ( t )a, i, m_in ( t )Internaldatasources

a_inS
s_ex

i_ex

s_in

i_in

s_ex > th s_ex

s_ex < th s_ex

第53回知的コミュニティ基盤研究センター研究談話会

m_in

Data
sampling
processing

NREM0 t 0 Tw t 1 t 2 t 3 Ta t 4 t 5 Tn t 6

2008年6月24日火曜日

a_ex

m_ex

REM sleep

Cholinergic

External
sensoryorganss_ex < th s_ex and s_ex'
< th s_ex'and s_ex'> th s_ex'

筑波大学大学院図書館情報メディア研究科 三河 正彦

REM

External
information
processingAI

M
Internal
information
processing

Waket 7 t [sec]s_ex > th s_ex

55

要素A, I, Mの変化を情報処理系へフィードバック
External
sensoryorgansDatasampling
processing

a_ex
a_inS

Mathematical
AIM model

s_ex

i_ex

s_ini _i nm_exInternaldatasourcesm_in

Datasampling
processing

1
Level

a_ex ( t )a_in( t )

0 t0

t1 t5

t6

t 7 t [sec]Frequency [Hz]˝要素`˙A : active level⁄を制御'‚
30External
information
processing

AI

M
Internal
information
processing

Frequency of
external info processing

5
10 t0

t1 t5

t6

Frequency ofinternal info processingt 7 t [sec]a_ex ( t ) と⁄¨ a_in ( t ) の値に基づき，外部/内部情報処理の頻度を決定⁄˛ˆ˝⁄¸· ⁄¯⁄›‡/˘˚ ‰Ł˝ ⁄˛ ¯ ⁄ •Ł˜Œ
第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

66要素A, I, Mの変化を情報処理系へフィードバック
External
sensoryorgansDatasampling
processing

a_ex
a_inS

Mathematical
AIM model

s_ex

i_ex

s_in

i _i nm_ex

Datasampling
processing

˝要素`˙IA :: active‡/˘level⁄を制御» •ª⁄˛˘'‚‰—˛ˇ⁄
要素
外部/内部刺激の入出力を制御
1

30

Level

i_ex
a_ex((tt))
ia__iinn((tt))

0 t0

t1 t5t6'‚t 7 t [sec]Frequency
Threshold [Hz]Sensor density

Internaldatasourcesm_inExternal
information
processing

AIM
Internal
information
processing

Frequency of
external info processing

510 t0t1 t5t6

Frequency ofinternal info processingt 7 t [sec]_ex ((tt)) とia_ex⁄¨⁄¨ia__inin( t( )t )⁄˛ˆ˝⁄¸·⁄˛ˆ˝⁄¸· ⁄¯⁄›¡⁄»⁄¯⁄›‡ •ª⁄¸´—⁄„⁄º·¶¯/˘˚ ‰Ł˝ ⁄˛⁄˛ ¯ˆ˝⁄⁄ •Ł˜Œ•Ł˜Œの値に基づき，刺激に対する感度を決定との値に基づき，外部/内部情報処理の頻度を決定
第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

66要素A, I, Mの変化を情報処理系へフィードバック
External
sensoryorgansDatasampling
processing

a_ex
a_in

S

Mathematical
AIM model

s_ex

i_ex

s_in

i _i nm_ex

Internaldatasourcesm_inData
sampling
processing要素˝`˙`˙M
IA :: ‡外部/内部刺激の入出力を制御
active‡/˘/˘level⁄‰Ł˝» •ª⁄˛˘'‚⁄˛¥—¥Ø¥‰—˛ˇ⁄¥„⁄ '‚'‚
要素
要素
外部/内部刺激の入出力を制御を制御
30

Levelmia_ex_ex_ex(((ttt)))
ia__i_ininnm(((ttt)))

0 t0

t1 t5

t6

t 7 t [sec]Frequency
Threshold [Hz]Sensor density

1

External
information
processing

AI

M
Internal
information
processing

Frequency of
external info processing

5
1
0 t0

Frequency
Frequency
of ofinternal
internal
infodata
processing
sampling

Frequency of
external data samplingt1 t5t6t 7 t [sec]_ex
iam_ex_ex((t(t)t))と⁄¨⁄¨⁄¨ia_m_ini_ni(nt( )(t )t⁄˛ˆ˝⁄¸·)の値に基づき，外部/内部情報処理の頻度を決定⁄˛ˆ˝⁄¸·⁄˛ˆ˝⁄¸·⁄¯⁄›¡⁄»⁄¯⁄›‡⁄¯⁄›¡⁄¥˙¡…¥¿¥•ª⁄¸´—⁄„⁄º·¶¯/˘˚¥ ‰Ł˝¥ ¥Œ¥⁄˛⁄˛¥ ¯⁄˛ˆ˝⁄⁄ •Ł˜Œ¯•Ł˜Œ⁄ •Ł˜Œとの値に基づき，刺激に対する感度を決定の値に基づき，データサンプリングの頻度を決定と第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

66

記憶機能
External
sensoryorgansDatasampling
processing

External
information
processing

Mathematical
AIM modela_ex
a_in

S
s_ex

i_ex

s_in

i _i nm_ex
m_in

STM storingprocessing

LTM storingprocessing

A
Explicit

WM

STM

LTM

WM

STM

LTM

STM storingprocessing

LTM storingprocessing

Internal
data souces

I
ImplicitM

Datasampling
processing

Internal
information
processing•顕在(Explicit)記憶 : 意識下の記憶 -> 外部刺激に応じて記憶•潜在(implicit)記憶 : 無意識下の記憶 -> 一定時間毎に記憶✦

作動記憶(Working Memory)，短期記憶(Short-Term Memory)，長期記憶(Long-Term Memory)✦作動記憶(Working Memory)，短期記憶(Short-Term Memory)，長期記憶(Long-Term Memory)

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

77

記憶機能
Externalsensoryorgans

Datasampling
processing

External
information
processing

Mathematical
AIM model

a_ex
a_in

S
s_ex

i_ex

s_in

i _i nm_ex
m_in

STM storingprocessing

LTM storingprocessing

AExplicit

WM

STM

LTM

WM

STM

LTM

STM storingprocessing

LTM storingprocessing

Internal
data souces

I
ImplicitM

Datasampling
processing

Internal
information
processing•顕在/潜在作動記憶(WM) : 数秒間の記憶 -> リングバッファ•顕在短期記憶(Explicit STM) : 外部刺激に応じ顕在作動記憶からHDに保存•潜在短期記憶(Implicit STM) : 一定時間毎に潜在作動記憶からHDに保存•顕在長期記憶(Explicit LTM) : レム睡眠時に顕在短期記憶の重複を整理•潜在長期記憶(Implicit LTM) : レム睡眠時に潜在短期記憶の重複を整理
第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

77

実験システム
CCD
camera 1

Media
converter

CCD
camera 2Media
converter

SONY
EVI-400DR

Personal computer
CPU : Pentium4 3.8GHz
Memory : 1GB
Video card : nVIDIA GeForce 6600

Fedora Core 4
kernel 2.6.16
CanopusX.org 6.8.2
ADVC-200TV
IEEE1394 libraw1394 (ver. 1.2.0)
PCI Board LibDV (ver. 0.103)
adaptecgcc (ver. 4.0.2)
DuoConnect•実時間ステレオビジョンシステム•IEEE 1394 API•マルチスレッドによる並列処理
第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

88

実験システム
Extracted brightness changes :Y component (in purple)

M
Image obtainedby camera1

AI

Image obtainedby camera2

Brightness changes
monitoring points(in green)•刺激 -> 輝度変化のみ•外部情報処理: 輝度変化の検出，顕在記憶•内部情報処理 : 潜在記憶

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

99マルチスレッドによる並列処理
1/30 [sec]1/30 [sec]TimeCapture thread
STM thread (explicit)
STM thread (implicit)
Display thread
Decode thread
AIM calculate thread
External information
processing threads(Detect Brightness(Y) change)
Internal information
processing threads(Detect Feature point)
Active

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

Nonactive

1010

実験結果
CPU usage [%]<CPU使用率の時間変化>
10090807060504030201000

CPU1CPU22040

WakeRelax

6080
Time [sec]REM

100NREM

120140Wake•外部刺激: 多 => 覚醒 => 外部情報を主に処理•外部刺激 : 少 => 睡眠 => 内部情報(記憶)を主に処理<< 計算機資源の有効活用 >>第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

1111

実験結果 その2 (1/2)<12時間連続で稼働>•顕在長期記憶による人の動きの検出
22/July/2006, 16:06:28.755

22/July/2006, 16:06:29.356

22/July/2006, 16:06:29.857

22/July/2006, 16:06:30.925

22/July/2006, 16:06:32.160

22/July/2006, 16:06:33.263

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

1212

実験結果 その2 (2/2)<12時間連続で稼働>•潜在長期記憶による緩やかな日照変化，雲の動きの検出
22/July/2006, 11:39:07

22/July/2006, 13:43:37

22/July/2006, 16:06:15•潜在長期記憶による緩やかな日照変化，雲の動きの検出
22/July/2006, 18:31:41

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

22/July/2006, 18:51:17

筑波大学大学院図書館情報メディア研究科 三河 正彦

22/July/2006, 18:59:41

1313

まとめ•ロボットビジョンのための数理AIMモデルと記憶機能の提案•実験に本手法の有効性を確認<< 必要な処理が必要な時に実行 >>柔軟なシステムの実現

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

1414今年度の計画
数理AIMモデルの図書館司書ロボットへの適用
こんにちは．
○○はありますか?

カメラ

マイク

お探しの書籍はあちらです．

こんにちは求む! 共同研究者!!
第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

1515

図書館業務の流れ
受付 応対対象者を識別する← 人間行動予測

こんにちは．
関心有り
カメラ

マイク

関心無し
こんにちは

接近/停止
通過
第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

1616図書館業務の流れ
受付 応対対象者を識別する
応対 要望を聞き出す△△はどこですか?

← 人間行動予測← 自然言語対話○○っていう本はありますか?

カメラ

マイク

少々お待ち下さい．って知ってる ?
それは☆☆ですか?

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

1616図書館業務の流れ
受付 応対対象者を識別する
応対 要望を聞き出す
検索 情報を探す△△はどこですか?

← 人間行動予測← 自然言語対話← WEB検索○○っていう本はありますか?

カメラ

マイク

少々お待ち下さい．って知ってる ?
それは☆☆ですか?

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

1616図書館業務の流れ
受付 応対対象者を識別する ← 人間行動予測
応対 要望を聞き出す← 自然言語対話
検索 情報を探す← WEB検索提供 情報を提供する ← 身体性を利用
ありがとう！

カメラ

マイク

それはあちらです．

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

1616現在の研究チーム: ロボットの制御，視覚情報処理•三河 正彦: 聴覚情報処理•田中 和世教授•Reid Simmons教授 : レーザレンジファインダによる人間行動予測: 図書館司書業務アドバイザ•募集中: Tulipsとの連携機能•募集中: 人間に好かれる人工物(ロボット動作生成)•募集中: 情報発信端末(学内研究紹介等)
•募集中
: 等々
•募集中

第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

17
17

使用機器

連絡先
mikawa@slis.tsukuba.ac.jp029-859-1446
春日キャンパス 201研究室
第53回知的コミュニティ基盤研究センター研究談話会
2008年6月24日火曜日

筑波大学大学院図書館情報メディア研究科 三河 正彦

18
18