居住空間内物体・人物統合認識に基づく
親和的情報空間の高度化（課題番号18500137）

平成 18 年度〜20 年度科学研究費補助金 基盤研究(C)(２)
研究成果報告書

平成 21 年 3 月

研究代表者

鹿児島大学工学部

渡

邊

睦

教授

居住空間内物体・人物統合認識に基づく
親和的情報空間の高度化（課題番号18500137）

平成 18 年度〜20 年度科学研究費補助金 基盤研究(C)(2)
研究成果報告書

平成 21 年 3 月
研究代表者

鹿児島大学工学部

渡

邊

睦

教授

平成 18 年度〜平成 20 年度科学研究費補助金 基盤研究（Ｃ）（２）
研究成果報告書

18500137

課題番号

研究課題

居住空間内物体・人物統合認識に基づく親和的情報空間の高度化

研究組織
研究代表者

渡 邊

研究経費

睦（鹿児島大学工学部（金額単位：

教授）

千円）

直接経費

間接経費

合計

平成１８年度

1,500

0

1,500

平成１９年度

1,100

330

1,430

平成２０年度

1,000

300

1,300

総

3,600

630

計

4,230

関連発表
Ａ．学会誌等 査読付論文※）本研究期間（H18〜H20）分

1. ※）山中隆，鹿嶋雅之，佐藤公則，渡邊睦，緒方淳 , 規範フロー場と実フロー場の差異解析による路上障害物の検出と危険度提示に関する研究 ，電気学会論文誌（部門誌Ｃ） 「ビジョン技
術の新たな潮流」特集(2008.12.22 採録決定)

2. ※）福添孝明，伊藤雅人，水戸大輔，渡邊睦， 体型特徴と習慣性特徴の確率的統合認識に基づく非拘束状態下での人物同定法 ，電子情報通信学会論文誌 D，Vol.J91-D，No.5，
pp.1369-1379 (2008.5)
3. ※）中野広樹，下脇克友，山中隆，渡邊睦， 両足独立追跡に基づく自律移動ロボットにおける人物追跡システム ，日本ロボット学会誌，Vol.25，No.5，pp.57-66 (2007.7)
4. ※）水戸大輔，福添孝明，伊藤雅人，渡邊睦， 人物内部状態推定のための目状態自動認識における脳波との関連性解析 ，情報処理学会論文誌：コンピュータビジョンとイメージメディア，
Vol.48，No.SIG 1(CVIM17)，pp.48-52 (2007.2)
5. Mutsumi Watanabe,

Adaptive Decomposition of Dynamic Scene into Object-based Distribution

Components based on Mixture Model Framework ，IEICE Transactions on Information and
Systems，Vol.E88-D，No.4，pp.758 ‐766 (2005.4)
6. 渡邊睦，西奈津子， 口部パターン認識を用いた日常会話伝達システムの研究 ，電気学会論文誌（部門誌Ｃ） 「実環境におけるマシンビジョン適用技術」特集，Vol.124，No.3，pp.680‐688(2004.3)
7. Mutsumi Watanabe,

Adaptive decomposition of dynamic scene into object-based components

based on Mixture Gaussian Model framework， Proceedings of 10th Korea-Japan Joint

Workshop on Frontiers of Computer Vision (FCV 2004) ，pp.287 ‐292 (2004.2)
8. Atsuo Maki, Mutsumi Watanabe and Charles Wiles,

Geotensity: Combining Motion and Lighting

for 3D Surface Reconstruction ，International Journal of Computer Vision，Vol.48，No.2，pp.75‐90 (2002.9)
9. 渡邊睦，東友紀， 明度分布パラメータ推定に基づく自動領域分割法 ，映像情報メディア学会誌，Vol.56，No.2，pp.280 ‐289

(2002.2)

10. 渡邊睦， 明度分布パラメータ推定に基づくシーン状態変化の動的認識 ，電子情報通信学会論
文誌ＤⅡ，Vol.J85-D-Ⅱ，No.2，pp.272 ‐ 281 (2002.2)
11. 渡邊睦， 混合分布パラメータ推定によるシーン記述の動的生成 ，システム制御情報学会論文
誌「マシンビジョンの産業応用 特集号」，Vol.14 ，No.4，pp.218 ‐ 225 (2001.4)
12. 渡邊睦， PC とデジタルカメラによる３次元形状モデリングシステム ，システム制御情報学会論文誌「マシンビジョンの産業応用 特集号」，Vol.14 ，No.4，pp.200 ‐ 208 (2001.4)

B．著書
1. 田中雅博，竹田史章，渡邊睦， ニューラルネットワークと統計的手法によるパターン認識 ― ユビ
キタス社会へのインフラ ―C．口頭発表, 森北出版（準備中）※）本研究期間（H18〜H20）分

1. ※）押川修士，鹿嶋雅之，佐藤公則，渡邊睦， 映 画 のダイジェスト自 動 作 成 に関 する研 究 ，
火 の国 情 報 シンポジウム 2009 論文集，B-1-3，pp.43-48 (2009.3)
2. ※）福元俊，渡邊睦，佐藤公則，鹿嶋雅之， 挙動認識に基づく人物内部状態推定に関する研究 ，画像電子学会第 243 研究会 in 鹿児島 予稿集，pp.181-183 (2009.3)
3. ※）佐藤公則，大野敬弘，鹿嶋雅之，渡邊睦， 手形状を利用した非接触セキュリティキー入力シ
ステムの開発 ，画像電子学会第 243 研究会 in 鹿児島 予稿集，pp.69-73 (2009.3)
4. ※）鍋藤悠，鹿嶋雅之，佐藤公則，渡邊睦， 複数特徴解析によるカット点検出に基づく投稿動画の自動一致性判定 ，電子情報通信学会研究報告 パターン認識・メディア理解（PRMU），
Vol.108，No.374，pp.43-48 (2009.1)
5. ※）外山勝崇，鹿島雅之，佐藤公則，渡邊睦， 画像物体認識のための三次元形状復元手法に関する研究 ，平成 20 年度電気関係学会九州支部連合大会（第 61 回連合大会）講演論文集，
02-1P-09 (2008.9)
6. ※）龍野寛樹，鹿嶋雅之，佐藤公則，渡邊睦， 非拘束環境下における個人認証に関する研究 ，
平成 20 年度電気関係学会九州支部連合大会（第 61 回連合大会）講演論文集，02-1P-07(2008.9)
7. ※）大野敬弘，鹿嶋雅之，佐藤公則，渡邊睦， 手形状認識によるセキュリティキー入力システム
に関する研究 ，平成 20 年度電気関係学会九州支部連合大会（第 61 回連合大会）講演論文集，
02-1P-06 (2008.9)
8. ※）中島章博，鹿嶋雅之，佐藤公則，渡邊睦， 指先トラッキングとその軌跡抽出を用いた個人認証に関する研究 ，平成 20 年度電気関係学会九州支部連合大会（第 61 回連合大会）講演論文
集，02-1P-03 (2008.9)
9. ※）田島敏和，鹿嶋雅之，佐藤公則，渡邊睦， 加速度センサを用いた 3 次元経路推定に関する研究 ，平成 20 年度電気関係学会九州支部連合大会（第 61 回連合大会）講演論文集，10-1A-05 (2008.9)

10. ※）早川健志，鹿嶋雅之，佐藤公則，渡邊睦， 部分空間法による視線方向検出 ，平成 20 年度
電気関係学会九州支部連合大会（第 61 回連合大会）講演論文集，02-1A-13 (2008.9)
11. ※）堀江勝大，鹿嶋雅之，佐藤公則，渡邊睦，隈浩司，豊永浩一， 動的輪郭モデルの 2 段階適用による自動心内膜トレース法 ，映像情報メディア学会２００８年次大会講演予稿集，1-11(2008.8)
12. ※）福山洸太，鹿嶋雅之，佐藤公則，渡邊睦， 口唇動画像を用いた発話認識のための唇輪郭抽出および口唇周辺の特徴抽出に関する検討 ，第 11 回画像の認識・理解シンポジウム（MIRU2008）論文集，pp.1376-1379 (2008.7)
13. ※）堀江勝大，鹿嶋雅之，佐藤公則，渡邊睦，隈浩司，豊永浩一， 僧帽弁処理を適用した動的輪郭モデルによる心内膜トレースに関する研究 ，電子情報通信学会技術研究報告 パターン
認識・メディア理解（PRMU），Vol.108，No.94，pp.35-40 (2008.6)
14. ※）山田純一，外園宙，山中隆，鹿嶋雅之，佐藤公則，渡邊睦， 追跡ロボットにおける対象消失
問題の解決に関する研究 ，電子情報通信学会技術研究報告 パターン認識・メディア理解（PRMU），Vol.107，No.539，pp.469-476 (2008.3)
15. ※）濱田未来，福添孝明，福山洸太，鹿嶋雅之，佐藤公則，渡邊睦， 動画像処理による人物内部状態推定の研究 ，火の国情報シンポジウム 2008 論文集，A-1-2 (2008.3)
16. ※）大野敬弘，鹿嶋雅之，佐藤公則，渡邊睦， 手形状認識によるセキュリティキー入力システム
に関する研究 ，情報処理学会研究報告コンピュータビジョンとイメージメディア（CVIM），
Vol.2008-CVIM-161，pp.293-300，(2008.1)
17. ※）山中隆，古賀由紀夫，外園宙，山田純一，鹿嶋雅之，佐藤公則，渡邊睦， 規範フロー場と実フロー場の差異解析による路上障害物の検出と危険度提示に関する研究 ，電子情報通信学会
研究報告 パターン認識・メディア理解（PRMU），Vol.107，No.427，pp.195-202，(2008.1)
18. ※）崎田隆行，鹿島雅之，佐藤公則，渡邊睦， 指先トラッキングとその軌跡抽出を用いた個人認証に関する研究 ，電子情報通信学会研究報告 パターン認識・メディア理解（PRMU），Vol.107，
No.384，pp.59-64 (2007.12)
19. ※）福添孝明，濱田未来，渡邊睦， 体型特徴と習慣性特徴の確率的統合認識に基づく非拘束状態下での人物同定法 ，第 10 回画像の認識・理解シンポジウム(MIRU2007)予稿集，pp.804-809 (2007.8)
20. ※）勝間大輔，渡邊睦， 隠蔽関係の解析に基づく三次元画像認識 ，第２１回人工知能学会全国大会予稿集(CD-ROM 版），３Ｃ９−１ (2007.6)
21. ※）徳田裕季，勝間大輔，清水大輔，渡邊睦， サルの視覚認識における特徴解明に関する研究 ，情報処理学会研究報告 コンピュータビジョンとイメージメディア（CVIM），
Vol.2007-CVIM-159，pp.43-50 (2007.5)

22. ※）山田純一，外園宙，山中隆，古賀由紀夫，渡邊睦， 複数移動ロボットにおける相互追跡の研究 ，情報処理学会研究報告 コンピュータビジョンとイメージメディア（CVIM），
Vol.2007-CVIM-159，pp.161-166 (2007.5)
23. ※）外園宙，山田純一，山中隆，古賀由紀夫，渡邊睦， 天井ステレオカメラと移動ロボット搭載
センサの統合処理による環境学習 ，情報処理学会研究報告 コンピュータビジョンとイメージメ
ディア（CVIM），Vol.2007-CVIM-159，pp.167-174 (2007.5)
24. ※）山中隆，古賀由紀夫，外園宙，山田純一，渡邊睦， 規範フローと危険度を用いた障害物検
出の研究 ，情報処理学会研究報告 コンピュータビジョンとイメージメディア（CVIM），
Vol.2007-CVIM-158，pp.41-48 (2007.3)
25. ※）濱田未来，福添孝明，渡邊睦， 動作・表情解析による人物内部状態推定の研究 ，情報処理学会研究報告 コンピュータビジョンとイメージメディア（CVIM），Vol.2007-CVIM-158，pp.77-84(2007.3)
26. ※）勝間大輔，清水大輔，渡邊睦， 関係モデルを用いた物体認識の研究 ，電子情報通信学会
研究報告 パターン認識・メディア理解（PRMU），Vol.106，No.230，pp.107-114 (2006.9)
27. ※）清水大輔，平田貴子，勝間大輔，渡邊睦， 動画像処理を用いたスポーツ映像自動解析の研究 ，第１１回知能メカトロワークショップ講演論文集，pp.110-115 (2006.9)
28. ※）福添孝明，伊藤雅人，水戸大輔，渡邊睦， 複数画像特徴の統合に基づく完全非拘束型人物認証方式の研究における在席習慣性特徴の導入 ，第 9 回画像の認識・理解シンポジウム(MIRU2006)予稿集，pp.782-787 (2006.7)
29. ※）山中隆，中野広樹，下脇克友，渡邊睦，緒方淳， 規範フロー場と実フロー場の差異解析による道路状況認識の研究 ，情報処理学会研究報告 コンピュータビジョンとイメージメディア（CVIM），Vol.2006-CVIM-154，pp.83-90 (2006.5)
30. ※）濱田未来，伊藤雅人，福添孝明，渡邊睦， 動画像を用いた動物行動の自動計測・認識の研究 ，情報処理学会研究報告 コンピュータビジョンとイメージメディア（CVIM），
Vol.2006-CVIM-154，pp.75-82 (2006.5)
31. 矢野雅之，勝間大輔，清水大輔，渡邊睦,

複数特徴に基づく自動領域分割 ，電子情報通信学会 パターン認識・メディア理解（ＰＲＭＵ）研究会技術報告，Vol.PRMU-2005，No.281，pp.149‐
154 (2006.3)
32. 渡邊睦,人物画像処理の研究動向 , 第６回計測自動制御学会システムインテグレーション部

門講演会(SI2005)論文集（キーノート講演）, pp. 1087‐ 1088 (2005.12)

33. 福添孝明，伊藤雅人，水戸大輔，渡邊睦,

複数画像特徴の統合に基づく完全非拘束型人物認証方式の研究 , 第６回計測自動制御学会システムインテグレーション部門講演会(SI2005)論文集, pp. 1101‐ 1102 (2005.12)
34. 水戸大輔，福添孝明，伊藤雅人，渡邊睦,人物内部状態推定のための瞬目度自動認識の研

究 , 情報処理学会 コンピュータビジョンとイメージメディア（ＣＶＩＭ）研究会報告，Vol.2005-CVIM，No.151，pp.83‐ 90 (2005.11)
35. 伊藤雅人，福添孝明，水戸大輔，渡邊睦,

マルチテンプレートの挙動解析に基づく状態推定を用いた人物追跡の研究 , 情報処理学会 コンピュータビジョンとイメージメディア（ＣＶＩＭ）研究会
報告，Vol.2005-CVIM，No.150，pp.145‐152 (2005.9)
36. 福添孝明，伊藤雅人，水戸大輔，渡邊睦,

複数画像特徴の統合に基づく完全非拘束型人物認証方式の研究 , 第８回画像の認識・理解シンポジウム(MIRU2005)予稿集, pp.747‐ 752 (2005.7)
37. 山本大樹，清水大輔，渡邊睦， サッカー映像のシーン自動解析の研究 , 電子情報通信学会
パターン認識・メディア理解（ＰＲＭＵ）研究会技術報告，Vol. PRMU-2004，No.176，pp.73‐ 78(2005.1)
38. 西奈津子，渡邊睦， 顔画像処理による対話型コミュニケーションの研究 −相互部分空間法による認識方式の改良− , 電子情報通信学会 パターン認識・メディア理解（ＰＲＭＵ）研究会技術報告，Vol. PRMU-2004，No.100，pp.43‐ 48 (2004.11)
39. 中野広樹，下脇克友，片山明伯，渡邊睦,

カルマンフィルタを用いた足位置予測に基づく人物

追跡自律移動ロボットの研究 , 情報処理学会 コンピュータビジョンとイメージメディア（ＣＶＩＭ）
研究会報告，Vol.2004-CVIM，No.146，pp.9‐16 (2004.11)
40. 伊藤雅人，福添孝明，水戸大輔，田中宏樹，堀之内あすか，渡邊睦， 複数移動物体技術による在席自動管理システムの開発 ，平成１6 年度電気関係学会九州支部第５７回連合大会論文集，
No. 13-2P-03, pp.697 (2004.9)
41. 水戸大輔，福添孝明，伊藤雅人，田中宏樹，堀之内あすか，渡邊睦， 動画像処理による講義自動評価システムの研究 ，平成１6 年度電気関係学会九州支部第５７回連合大会論文集，No.
13-2P-02, pp.696 (2004.9)
42. 中野広樹，下脇克友，片山明伯，渡邊睦,

カルマンフィルタを用いた人物位置予測に基づく自律移動ロボットの人物追跡システム , 第２２回日本ロボット学会学術講演会予稿集，No. 3F-15(CD-ROM) (2004.9)
43. 福添孝明，伊藤雅人，水戸大輔，渡邊睦, 分散協調型人物認証方式の研究開発 , 第７回画像の認識・理解シンポジウム(MIRU2004)予稿集, pp. 607‐ 612 (2004.7)
44. 西奈津子，渡邊睦， 顔画像処理による対話型コミュニケーションの研究 ,電子情報通信学会
パターン認識・メディア理解（ＰＲＭＵ）研究会技術報告，Vol. PRMU-2003，No.160，pp.55‐ 60(2003.11)
45. 渡邊睦， 分散協調視覚認識による親和的情報空間構築の展開 ，第１６回ＥＫＯＨ研究会資料(2003.3)

46. 古賀由紀夫，片山明伯，渡邊睦，山本美子，渡部悠紀，岩田穆， 移動観測系における移動物
体検出・呈示システムの検討 ，情報処理学会 コンピュータビジョンとイメージメディア（ＣＶＩＭ）
研究会報告，Vol.2002-CVIM，No.136，pp.91 ‐ 98 (2003.1)
47. 丸尾広行， 渡邊睦， 色相分布解析による動画像領域分割の研究 ，電子情報通信学会 画像
工学（ＩＥ）研究会技術報告，Vol.102，No.468，pp.43 ‐ 48 (2002.11)
48. 伊藤雄司， 渡邊睦， 特徴点の信頼性評価に基づく基礎行列の推定精度向上の検討 ，電子情報通信学会 画像工学（ＩＥ）研究会技術報告，Vol.102，No.468，pp.31 ‐ 36 (2002.11)
49. 山本美子，武田幹雄，渡部悠紀，岩田穆，森江隆，渡邊睦， 自律移動ロボット用のビジョンシス
テムと画像選択処理機能を有する並列マッチングプロセッサの開発 ，電子情報通信学会 集積回路（ＩＣＤ）研究会技術報告，Vol.102，No.399，pp.13 ‐ 18

(2002.10)

50. 今別府幸弘，渡邊睦， ステレオビジョンを用いた３次元環境モデル作成の研究 ，第１５回ＥＫＯ
Ｈ研究会資料 (2002.3)
51. 渡邊睦， 分散協調視覚認識による親和的情報空間構築の構想 ，第１５回ＥＫＯＨ研究会資料(2002.3)
52. 平原孝司，渡邊睦， 複数移動物体が存在する環境下での状況認識・呈示の研究 ，電子情報通信学会 パターン認識・メディア理解（ＰＲＭＵ）研究会技術報告，Vol. PRMU-2001，No.209，
pp.209‐ 216 (2002.3)
53. 丸尾広行，東友紀，渡邊睦 明度分布解析による動画像領域分割の研究 ，電子情報通信学会
パターン認識・メディア理解（ＰＲＭＵ）研究会技術報告，Vol. PRMU-2001，No.172，pp.131 ‐ 138(2001.12)
54. 大迫雄樹，渡邊睦， 明度ヒストグラム解析による動きベクトル抽出精度向上の検討 ，平成１３
年度電気関係学会九州支部第５４回連合大会論文集，No.1009，pp.517 (2001.10)
55. 渡邊睦， コンピュータビジョン 〜３Ｄ・動画像認識技術とその応用〜 ，第１４回ＥＫＯＨ研究会
資料（招待講演）(2001.3)

Ｄ．解説
1.

※）人物自動追従・状態自動認識に関するロボットビジョン技術， 日本ロボット学会誌「人間と共存し発展するロボットのためのビジョン」特集、Vol.27、No.6 (2009.6) (予定）2.

※） 画像認識に基づく人物内部状態推定 - 目状態と脳波との関連性解析，画像ラボ、Vol.18、

No.7、pp.18 - 22 (2007.7)

E．表彰・受賞
１．※）堀江勝大：映像情報メディア学会 ２００８年年次大会 学生優秀発表賞 (2008.10)

概要
近年，ＰＣや民生用ビデオカメラの普及に伴う小型化，低価格化，性能向上が急速に進行し，従来から研究成果が蓄積されてきた画像処理・認識技術（コンピュータビジョ
ン，以下ＣＶ）が様々な領域で実用に供される状況が整ってきた．一方で，２１世紀は少子化・高齢化・自動化の傾向が更に高まり，セキュリティ，通信，娯楽，教育，福祉，
介護，など様々な領域で，人間にできるだけ負担を掛けない状況における，人間・計算機システム間の高度に親和的なコミュニケーションが強く要求されていくと予想される．
従来のマンマシンインタフェース関連研究においては，例えばジェスチャーの認識や視線によるポインティングなど，計算機システムへ意識的・意図的に利用者の意思を伝えるという観点からのものが主流であり，利用者にシステムの存在を意識させずにその意図を読みとって適切な時点で適切な応答を行うための技術蓄積は未だ不充分である．
複数の人間が所在・居住する環境下で上記の要請を実施するためには，リアルタイム
で 3 次元，動きの情報を抽出し，この情報に基づき環境内に発生している状況を認識することが必要となる．しかしながら，ＣＶ分野における従来の画像認識は，静止環境下
で単独の静止物体（剛体）を対象に，１視点，形状ベースで行うものが主体であり，動的に変化し且つ家具などの遮蔽物の存在により広い視野が確保できない環境下での，人物（非剛体）・状況の認識においては必ずしも有効に働かないという問題点があった．
そこで本研究プロジェクトでは，この基盤の上に立ち，並列分散画像認識の枠組下で，形状のみならず動きの情報も利用して複数視点の画像を解析することによる，人間志向型の高度なコミュニケーション実現を目的とし，居住環境および所在者の状態認識に基
づき 気づき ・ 気遣い を自動的に呈示・発現するシステムのプロトタイプ構築を目指した．このシステムの総体を親和的情報空間（Friendly Informative Cyber Space:
FICS）と称し，人間の側が計算機システムに合わせ働きかけねばならない従来の閉鎖的情報空間とは異なる，人物の所在する 3 次元空間，および自分自身の認知空間とシームレスに結合可能な情報空間を構築することを目的とした．

平成 1３年度〜1４年度科学研究費補助金 基盤研究(C)(２)「並列分散画像認識による親和的情報空間の構築」，及び平成 15 年度〜17 年度科学研究費補助金 基盤研究(C)(２)「並列分散画像認識による親和的情報空間の構築」において，従来の形状ベースに代わる動きベースの認識法の提案，合目的な知能システム構築を目的とした複数処理モジュール統合方式の提案，居住空間での人物状態認識プロトタイプの開発などの基盤技術を開発した．
今回（平成 18 年度〜20 年度）においては，上記を更に発展させ，居住空間内物体認
識技術，居住空間内物体 3 次元モデル自動作成技術，統合的個人識別技術，人物内部状
態推定技術を新たに開発し，評価実験を行って有効性を確認した．

関連研究動向
人間と共存する情報空間構築に関する先駆的な研究として，『スマートルーム』が挙げられる．これは，Xerox パロアルト研究所のMark Weiser が1988 年に提案したコンセ
プトで，椅子，床，壁などコンピュータを至る場所に組み込み，生活を完全にコントロールできる空間を実現しようとするものであった．Weiserは1999 年に亡くなったが，基本的なコンセプトはＭＩＴ・メディアラボラトリのAlex Pentland 教授らに受け継がれ，Weiser と共同の Things That Think プロジェクトとして，1991 年より1995 年まで実施された．スマートルーム自体は，カメラ，マイクロホン，センサ等の入力装置と仮想空間を映すプロジェクタで構成される．さらに，仕事の内容を充分に理解し有能な助手として機能する SmartDesk ，座る人の状態を認識・補助する SmartChair ，などのプロジェクトも並行して進められた．
また，ワシントン大学と米インテル研究所は共同で，アルツハイマー病患者の認知補助システムを研究開発しており，この一環として，動作感知装置と赤外線を発するID バッジを用いた複合的なネットワーク上に構築され，居住者の薬飲み忘れなどを補助する，『アダプティブ・プロンプター』という住居モニタを構築している．
日本における同分野の代表的な研究は，1990 年代前半より東京大学先端科学技術研究センターの佐藤知正教授の研究グループで構築されてきた『ロボティックルーム』である．人間を見守り適切な支援をしてくれるインテリジェントな病室の実現を当初の目標に据え，患者の行動に基づくシステム側の認識，ロボットやシステムの作動状況を患者にわかりやすく呈示する行動表現，日常的な行動状態のセンシング結果を蓄積することによる生活行動データベースの構築，などの研究に発展している．
さらに，ATR メディア情報科学研究所と京都大学大学院石田研究室の共同による『ディジタルシティ京都』プロジェクト，東京大学生産技術研究所橋本研究室における『インテリジェント・スペース』 などが進められてきた．
しかしながらこれらの先進的な研究においても，個々の認識要素の多くは個別的かつ受動的であり，人物の状態に応じて適応的に発現し働きかけるという機能面は未だ不十分である．人物の挙動を把握するために赤外線・無線バッチなどを着用させることは，
精度・信頼性は向上するものの，適用できる場が限定されてしまう．動作認識においては，人間の意図的な動作を認識することに主眼があり，非意図的な動作の認識や人物の内部状態の認識に関してはほとんど研究が行われておらず，高度なマンマシンコミュニ
ケーションの実現という観点からみて満足のいく状況であるとはいえない．
我々の研究グループが2000 年度から実施している親和的情報空間構築プロジェクト
は，これらの先行研究で培われた画像認識・インタラクション技術をさらに深化・発展

させ，居住空間にて適用可能なシステムを構築することを目的とするものである．特に，従来はほとんど研究が行なわれていなかった 人物内部状態の認識 を主目標の一つに据え，複数視点・多時点における動画像を解析することにより得られた情報の統合，人間の表情・動作の総合的なモニタリングによる人物内部状態・状況の認識，および移動ロボットや計算機システム側からのアクティブな働きかけ（コミュニケーション）による人物状態認識の促進，という新しいアイデアを組み込み， 気づき ， 気遣い を発現する人間志向型の情報空間を構築することを目標としている．

親和的情報空間の具体例（１）知的自動ドア
従来は画像計測を目的に行われていた動画像処理を利便性向上に用いた例として，「知的自動ドア」を取り上げる．
現在の一般的な自動ドアシステムは，近赤外線の反射などを用いてドア前方に物体が侵入したかどうかを検知することにより開閉の制御を行っているため，その領域を通過すると外に出る意思が無いのにドアが開いてしまうなど，必ずしも意図した通りに開閉動作が行なわれない難点がある．また 2004 年 3 月の回転扉挟まれ死亡事故に見られるように，開閉制御だけで人間の流動を把握していないため，重大な人身事故が発生する危険も生じる．そこで，ドア前方にテレビカメラを設置し，この映像に動画像処理技術を適用することにより，人物の位置と移動方向を逐次検出・追跡することを考えた．
もしこれがリアルタイムで精度よく実現できれば，例えば図１−１に示すように単にドアの付近を横切って通過しただけでは，外に出る意思は無いと推定してドアの自動開閉は行わず，図１−２に示すようにドアに向って接近した場合にのみ開閉を行う
ことにより，意図しない時点での不要な開閉が抑制され，より親和的な自動ドア制御が実現できる．またドア開閉動作中に通過する人物の流動状態を把握しておくことにより，人物がドア部を通過中は絶対に閉じる動作は行わないなど，安全性を高めることができる．

図１−１

移動中の人物の追跡図１−２

ドアに向って接近した状態の認識（２）適応型訪問者応接システム
さらに高度な状況認識を適用した例として「適応型訪問者応接システム」を取り上げる．
図２は筆者の教官室内に設置したテレビカメラを介して入口付近を撮影した映像である．筆者が不在の時に訪問者が訪れた場合，ＰＣのモニタ画面上に出現した訪問者応
接エージェントは，来訪者が誰であるかを認識し，挨拶と応接椅子への着席を促す．
次に訪問者が携帯メール確認などの時間潰しの用事を開始した場合は，訪問者応接エージェントは邪魔にならないように一旦消滅する．この用事が完了しても筆者が戻って来ず，訪問者がイライラし始めたことを認識すると，再び訪問者応接エージェント
が画面上に出現し，適切な応対や移動ロボットによるサービスを実施する．

図２

訪問者応接エージェントの処理領域

親和的情報空間を構成するシステムの構成
図３に，親和的情報空間を構成するシステムの構成を示す．マルチエージェント型の構成となっており，本プロジェクトの研究期間において，各エージェントにおける要素
技術開発および実装・評価実験を行った．
以下，主要な各エージェントについて概要を述べる．詳細については，各項目に挙げた文献を後に収録して示す．

図３

親和的情報空間システムの構成（１） ３次元環境認識エージェント
人間が立体的な知覚を得るのに用いる情報は，両眼視差，運動視差，大きさ，模様の変化，陰影など様々あるが，画像センサを用いてこの機能を実現するためには，両眼視差による３次元情報知覚を工学的に実現したステレオ法と呼ばれる３次元認識の技術が有用である．図４に，ステレオ視の模式図を示す．

ステレオ法は３角測量の原理を用いて，２台のカメラに投影された同一点の３次元位置を随時求める手法であり，カメラ間の位置関係を推定するカメラキャリブレーション,
異なる視点における画像中の対応を求める対応探索, の２つが主要な技術課題となる．
図５に示すように，対応点は，２つのカメラの各画像中心と基準点の 3 点を通るエピポーラ平面上に必ず存在するため，カメラキャリブレーションが予め行われていれば，対応探索の範囲は大幅に限定できる．しかしながら，動的環境を移動するロボットなどにおいては，カメラキャリブレーション，対応探索，共に実現が困難な技術課題となる．

図４
ステレオ視の模式図（井口，佐藤「３次元画像計測」，昭晃堂，より）

図５
ステレオカメラ間の幾何学的関係（松山，久野，井宮編「コンピュータビジョン- 技術評論と将来展望」，
新技術コミュニケーションズ，より）前回の研究プロジェクトでは，例えば図６に示す実験室のステレオ映像より３次元モ
デルを求め，図７に示す３次元ＣＧ呈示を行うことを目的とし，屋内環境の 3 次元モデ
ルを自動的に作成する３次元環境認識エージェントの開発を行ってきた．

図６

図７

屋内シーンの映像例

３次元モデル呈示結果例

エージェントの処理は，3 次元形状復元過程と物体認識過程に大別される．まず 3 次
元形状復元過程における処理として 2 台のステレオカメラを同じ高さ・光軸平行に設定
し，ＰＣ筐体などの人工物の３次元位置情報抽出を容易化する手法，自由空間に設置したステレオカメラ間の関係を表す基礎行列を高精度に推定し，この結果に基づき 3 次元表示を行う手法の開発を行ってきた．
本プロジェクトではさらに，物体認識過程における処理として，シーンから抽出したエッジの接続関係を求めることにより閉領域単位のグラフ表現を生成し，これにフレーム表現された環境内物体毎の３次元モデルを順次照合し，相互の位置関係の制約を満足する解を求める屋内物体認識システムのプロトタイプ作成を行った．
（２） 状況変化認識エージェント
環境変動が無く閉じた静止環境においては，シーン中の対象の明度は，各物体表面の表
面反射率，照明照度，照明光と対象表面の距離・角度，観測するカメラと表面の距離・角度などによって定まる一定値を保つ．しかしながら，動的に変化する開放的な実環境においては，照明照度の変動，対象の微動，複数対象間の相互反射や照明光の遮蔽による明度変動，画像入力・伝送系における熱雑音や量子化雑音の重畳，など様々な原因によって，一定値の周囲に明度値の揺らぎが生ずる．これら全ての要因を推測し，時々刻々の明度値を解析的に推定することは，現実的には不可能であるため，確率分布を導入して明度の推定に利用することは自然であり且つ有効な手段である．この確率分布自体も解析的に与えることは困難であり，観測される時系列画像データから統計的に推定することが必要となる．シーン全体の明度分布は，シーン中の各対象物体に相当する明度分
布の重ね合わせとして捉えられる．図８に明度分布の例を示す．

図８

混合分布と見なせる明度分布（模式図）

前回の研究プロジェクトでは，上記を混合分布モデルのパラメータ推定問題として定式化し，状況変化認識エージェント，人物状況認識エージェント，に実装を行っている．具体的には，動画像中の明度分布を解析することにより，成分分布単位のシーン記
述を作成する手法，時系列的に得られる各成分分布間の距離を Kullback 情報量を用いて測定することによるシーン状態変化の自動認識手法，上記の推定結果を自動領域分割に適用し，明度分布および色相分布に基づき人物顔領域や背景領域などの自動検出を行う手法を提案してきた．
今回のプロジェクトでは新たに，上記の混合正規分布モデルに基づく領域分割方式を改良し，明度特徴とテクスチャ情報の統合による自動領域分割方式を開発した．明度ヒ
ストグラムが混合正規分布と見なせない場合は，ヒストグラム曲線の極小値検出を行って分割範囲を決定し，さらに局所領域単位でフーリエ変換した結果に対してＫ平均クラスタリング法を適用することによる分割結果との統合処理を行うことにより，大局的な概念との一致度の高い領域分割結果を得ることを目標とした．

図９−１

実験室シーン例

図９−２

明度に基づく領域分割結果

図９−３ テクスチャに基づく分割結果

図９−４

統合法による領域分割結果

図９−１に実験室シーンの例，図９−２に明度情報のみによる領域分割結果，図９−
３にテクスチャー情報のみによる領域分割結果，図９−４に両結果を統合することによる分割結果を各々示す．統合結果においては明度のみの分割結果に含まれるティッシュ
箱，ノート領域での過剰分割が無くなり，領域分割の精度が向上していることが確認できる．ピラミッド法による領域分割結果との比較実験を行い，見逃し率，過剰検出率，ともに本方式が優れていることを確認した．
（３）移動物体追跡エージェント
動画像処理による移動物体の追跡は,計算機の性能向上により実時間処理が可能になるに伴い,有用性の高い技術として注目を浴びるようになってきている.多様な応用分野に対して適用性の高い処理であるためには,雑音に対してロバスト,かつ汎用の計算機で実時間処理を可能にする手法が求められる.
移動物体の追跡の初段処理として，動画像より処理対象を抽出することが一般的に行われる.静止カメラを用いた移動物体抽出の従来手法は，背景差分とフレーム間差分（時間差分）に大別される.
前回の研究プロジェクトでは，背景差分をベースに複数の移動物体追跡を行い,その追跡結果をネットワークを通して離れた場所に設置したＰＣのモニタ画面上に呈示する移動物体追跡エージェントの開発を行ってきた．部分領域単位の背景画像更新処理を取り入れた背景差分をベースに，新たに考案した位置情報ヒストグラムを用いることで，複数の移動物体追跡を安定に遂行することが可能となり，屋内シーンにおいて性能評価実験を行うことにより提案方式の有効性を確認した．
図１０に，実験室における２名の人物の追跡・呈示実験例を示す．原画像を左列に，（１）で述べた３次元環境認識エージェントで作成した3次元環境モデルと本追跡エージ
ェントによる追跡結果を合成表示した結果を右列に，各々示している．移動物体である
人物は，黄色の直方体と球の組合せにより表示し，画像中でほとんど重なってしまった
状況以外は，移動物体の所在位置に正しく表示されていることを確認した．
今回の研究プロジェクトでは，新たにアクティブカメラを用い，マルチテンプレート照合による人物追跡システムの開発を行った．
各テンプレートの学習は，人物出現時に適応的に行う．個々のテンプレートの挙動に基づき， 移動中 ， 部分的遮蔽 ， 完全遮蔽 ， 立止まり静止 ，などの人物の状態認識を行い，これを追跡制御に用いることで，屋内複雑環境下においても高精度な追跡が実現できた．
図１１に追跡処理結果の例を示す．複数のテンプレートの位置関係と照合状態より， 移動中 であることを認識し画面の下に表示している．

図１０

移動物体追跡実験例

最大相関位置
探索範囲
全テンプレートの重心

状態推定結果図１１

マルチテンプレート照合に基づく人物追跡結果例（４）人物状況認識エージェント
今回の研究プロジェクトにおいて，環境上部に装着したカメラ画像から複数の特徴を抽出しベイズ統合認識を行うことによる人物認証方式の開発を行った．
従来の個人認証システムで一般的に用いられる，指紋，虹彩・網膜パターン，顔などの制約的な特徴に代え，認証に用いる特徴として新たに，人物領域の幅，高さ，頭領域の高さなどの体型特徴および在席の習慣性を表す特徴を選択し，屋内環境における認識実験を行って有効性を確認した．
図１２，１３に各々，体型特徴に基づく人物認識の例を示す．図左部分が現在の画像，右部分の上段が時系列処理した認証結果を信頼度が高い順に左から 3 つ並べた結果，中段は現在画像における事後確率値が高い順に 3 つ並べた結果を示している．
どちらの例においても時系列処理によって正しい認証が達成されていることが確認で
きる．

図１２

複数特徴の統合に基づく人物認証結果例−１

図１３

複数特徴の統合に基づく人物認証結果例−２

また，目周辺領域を動画像処理することにより，瞬き回数の推移および空ろ目の度合いを計測し，この結果から疲労度の自動認識を行う方式に着手した．

（５）移動観測系からの移動物体検出・追跡エージェント
親和的情報空間に所在する人物とのコミュニケーション，上方に設置したカメラの死角領域のアクティブな観測を目的とした，自律移動ロボットに搭載する移動観測系
からの移動物体検出・追跡エージェントの開発を実施している．前回のプロジェクトにおいては，移動ロボットに搭載したカメラから得られる動画像から，オプティカル
フローを効率よく求める手法の開発，リアルタイムで演算を実施するためのビジョン
システム・マッチングプロセッサの開発，オプティカルフローを用いて，対象となる動物体と背景とを分離し物体の種類と位置を認識する手法の開発を行ってきた．
本プロジェクトでは新たに，全方位カメラ映像の処理結果とロボット視点カメラの処理結果を統合することによる階層的な環境地図自動作成システム，および両足独立追跡による移動人物追跡システムを開発し，自律移動ロボットに実装して有効性を確認する実験を行った．
図１４−１，２に室内，廊下においてロボットが人物追跡を行っている例を各々示
す．予測には Condensation 法を用いている．直進・カーブ・周回・複数人物のすれ違い，接近など様々な状況で実験を行い，安定に追跡が行えることを確認した．

図１４−１

屋内追跡結果図１４−２

廊下追跡結果さらに，人物を見失った場合に，ＳＨＩＦＴ特徴量を用いた対応付けにより自己位置を同定し，環境地図を用いた推論処理を行うことによって，確実に再追跡が行えるよう性能向上を行った．図１４−３に，人物を見失った場合の再探索処理の例を示す．
衝立の背後に隠れた人物を検出できている様子を示している．

(1)

(2)

(3)

(5)

図１４−３

(4)

(6)

人物を見失った場合の再探索処理例（６）対話エージェント
今回の研究プロジェクトにおいて，口部領域の明度ヒストグラムを特徴として相互部分空間法によるパターン認識することによる口部パターン自動認識方式を開発し，高齢者・障害者との対話コミュニケーションシステムとして実装を行った．
処理の流れを図１５に示す．
システム起動後，まず利用者の口部領域を自動的に検出し，この結果に基づき口部
パターン認識を行う処理領域（ＲＯＩ）を自動設定・表示する．次に，各４個の会話文から成るように階層化した日常会話の分類項目を画面上にパネル表示する．利用者
は，この処理領域内の画像を確認しつつ，自らの口部形状を用いて分類項目の一つを選択する．システムは処理領域内の明度分布情報を用いて口部パターンの認識を行い，該当パネルの文字周辺部分を着色表示に変更することにより，この認識結果を利用者に提示する．利用者はこの認識結果が正しければ，口部形状を変化させずに一定時間保持し，次の会話文表示階層に移行させる．もし認識結果が誤っていれば，口の開閉動作を行いキャンセルする．システムはこの開閉動作による明度分布の時間変化を検知することにより，再度，当該階層の選択段階に戻る．上記の処理を繰り返すことにより，コミュニケーション内容に相当する日常会話の選択・決定を実施し，最終結果
を合成音声にて出力する．

図１５

対話型高齢者・障害者コミュニケーションシステムの処理の流れ

図１６−１，１６−２に各々， 口を開ける ， 歯を見せる の処理例を示す．
20 名の健常者と 7 名の障害者による認識実験を行い，有効性を実証した．

図１６−１

口を開ける

処理例

図１６−２

歯を見せる

処理例

さらに，動画像から検出した各口内領域の明度ヒストグラムを特徴量として，系列
区間部分空間法を適用することにより，母音のみならず子音も認識する手法を新たに考案し，基本的な有効性を確認した．

研究経過
本研究プロジェクトの目標は，居住空間の適当な位置に設置した複数台の PC およびこれらに接続された民生用ビデオカメラを用いて，並列分散画像認識を行うことにより，所在人物や環境変化などの状態認識を行うことにある．
このために，まず初年度に，カメラ間の幾何学的な位置関係の把握とシーンの状態記述を行うための明度特徴分布の推定を行うための基盤的なソフトウェアモジュールを開発し，次年度に３次元空間の把握，背景領域と人物領域の分離，人物状態の把握，および状態認識結果の表示を行うためのソフトウェアモジュールを構築する，という手順で進めた．方式の検討は研究代表者の渡邊が行い，方式開発・プログラム設計・実装・評
価は，渡邊と渡邊が指導している学生（卒論，博士前期，博士後期）とが共同で実施した．プログラミング言語は，記述能力に優れ移植性の高い Visual C++を主に使用した．
（１） 平成１８年度
オフィスや個室などの居住空間に設置した複数台のＰＣ・民生用ビデオカメラに実装した画像状況理解モジュールの協調，および人物の動作（特に環境に存在する物体との干渉）に着目することによる人物・環境の状態認識，という新たな２つの視点を導入する
ことにより，少子化・高齢化・自動化の進む２１世紀社会において不可欠となる高度なマンマシンコミュニケーションを実現するための親和的情報空間プロトタイプ実現を行なうために，平成１８年度は，以下の２つの基盤的な研究を並行して進め，画像入力用
ビデオ・カメラシステム，並列分散画像認識用計算機（PC）システム上に実装を行った．
（１）居住空間内物体 3 次元モデル自動作成技術の開発
従来から親和的情報空間構築のための基礎技術として開発してきた基盤の上に立ち，観測用カメラ映像から求めた形状情報・画像明度情報を用いて居住空間内物体 3 次元モ
デルを自動作成する技術を開発した．
この技術をＶＣ＋＋によるプログラムとして実装し，情報工学科実験室３内におけるＰ
Ｃ，モニタ，机などが複数存在するシーンにて検証実験を行い，有効性を確認した．
（２）シーンに出現する移動物体の長時間追跡・特徴解析による，統合的個人識別技術の開発
従来から親和的情報空間構築のための基礎技術として開発してきた基盤要素技術の上に立ち，シーン中に出現する複数の人物を長時間追跡しつつ個人識別に必要な特徴の並列的抽出を行い，統合認識を行うことにより，肉体的・心理的負担の無い状況で個人識別を行う技術を開発した．
この技術をＶＣ＋＋によるプログラムとして実装し，情報工学科実験室３，７１号講義室など，複数の人物が出入りするシーンにて検証実験を行い，有効性を確認した．
以上の研究成果を，技術論文１編，国内シンポジウム発表１件，研究会発表６編に纏め，公表を行った．

（２）平成１９年度
Ｈ１９年度は以下の２つの基盤的な研究を並行して進め，並列分散画像認識用計算機システム上に実装した．
（１）複合的なモデル照合を行うことによる，居住空間内物体認識技術の開発
従来から親和的情報空間構築のための基礎技術として開発してきた基盤の上に立ち，観測用カメラ映像から求めた形状情報・画像明度情報に対して，個々の物体の形状モデ
ルおよび物体間の関係性モデルを複合的に照合することによる物体認識を行うことにより，居住空間に存在する物体の種別・位置・姿勢情報を自動認識する技術に関する基本的な検討を行なった．また情報工学科実験室３内におけるＰＣ筐体の３次元モデルを自動的に構築する実験を行い，基本的な有効性を確認した．
（２）特定人物の動作・表情変化解析による，人物内部状態推定技術の開発
親和的なコミュニケーションを適切に実現するためには，居住空間に存在する人物の内部状態を推定し，この推定結果に応じて適切なコミュニケーション内容を呈示する必要がある．このため，親和的情報空間構築のための基礎技術として開発してきた，移動
物体追跡技術，移動物体の特徴解析による人物顔領域抽出技術，等の基盤要素技術の上に立ち，シーン中に存在する人物の動作・表情変化を随時検出・解析することにより，肉体的・心理的負担の無い状況で内部状態を行う技術の基礎検討を行なった．脳波をリファレンスとして用い， 快・正常・不快 の３状態を自動識別する実験を行い，基本的な有効性を確認した．
以上の研究成果を，技術論文１編，国内シンポジウム発表１件，研究会発表５編，全
国・支部大会発表２編に纏め，公表を行った．
（３）平成２０年度
親和的情報空間の自動構築・保持・更新に関わる分散視覚処理モジュールとして，平成
２０年度は平成１８〜１９年度に構築した居住空間内物体3次元モデル自動作成エージェント，居住空間内物体認識エージェント，人物内部状態推定エージェント，統合的個
人識別エージェント等のプロトタイプ試作の発展的改良を行い，Visual C++で記述されたソフトウェアモジュールとして，ＰＣを結合したシステム上に実装した．さらに，鹿児島大学工学部情報工学科の実験室内（天井部，ＰＣ前・上）に設置したカメラ群，及びに平成１５年度に購入した自律移動ロボットに搭載した無線カメラから得られる映像
シーンを用いて性能評価実験を行った．
このシステム構築の一環として，オプティカルフロー解析による障害物の危険性自動判別技術，移動人物追跡処理により逐次得られる複数の特徴量を基にベイジアンネット
ワークの枠組みを用いて統合認識することによる分散協調型人物識別技術，移動中人物を見失った状況において，自己位置推定と対象物位置予測を行うことによる人物自動追尾ロボット視覚技術，口部周辺の明度分布パターンに部分空間法を適用することによる
発音自動認識技術，明度ヒストグラム分析と特徴分析を統合的に用いることによる投稿
ビデオ一致性自動判定技術などを開発し，評価実験により有効性を確認した．
以上の研究成果を，技術論文２編，国内シンポジウム発表１件，研究会発表４編，全
国・支部大会発表８編に纏め，公表を行った．

関連発表資料
Ａ．学会誌等 査読付論文

関連発表資料
Ｃ．口頭発表