住空間における話者と環境の柔軟なインタラクションシステム
桐山伸也†

柴田健一‡

出口祐輝†

竹林洋一††

北澤茂良††

住空間における人の嗜好や環境の特性は多種多様であり，これらを的確に把握し柔軟に適応できる技術が快適な住空間の実現に必要不可欠である．個人や空間の特性の差異が特に大きい音環境に着目し，実環境コーパス化技術とインタラクティブ映像ナビゲート技術に基づく住空間チューニン
グシステムを設計・構築した．音環境測定支援機能とチューニングナビゲーション機能により，住空間を柔軟にカスタマイズできる見通しを得た．

Flexible Interaction System to Adapt Speakers and Environments
for Each Living SpaceSHINYA KIRIYAMA†KENICHI SHIBATA‡

YOICHI TAKEBAYASHI††YUKI DEGUCHI†SHIGEYOSHI KITAZAWA††

People's preferences and traits of environments are diverse for each living space. Technologies to grasp
properly such human and environmental features and adapt them flexibly are indispensable for the realizationof comfortable living environments. Focusing on acoustic environments in which individual and spatial traits
quite vary, we have designed and developed a tuning system for living space based on the technologies ofcreating corpus from the real world data, and navigating users by means of interactive video contents. The
integrated functions of supporting acoustic environment measurements and guiding tuning processes had
potential to help users to well customize their living space environments.

1.

はじめに応える住宅や家庭におけるサービスの提供が社会的課
題として認知されるようになってきた．

家電機器の多様化・高機能化が進み，ユビキタスホ

住空間における人の嗜好や環境の特性は多種多様でーム環境における機器連携の研究も進展している．たあり，これらを的確に把握し柔軟に適応できる技術がとえば，コモンセンス知を活用したインテリジェント快適な住空間の実現に必要不可欠である．

なユーザサポートエージェント ROADIE に関する研特に「音」まわりは発声や聴覚の個人特性や環境の究[1]，自動制御システムを用いてインテリジェント空間特性の差異が大きいが，現状では「音声」「音響」な住空間内すべての家電製品を制御する研究[2]，蓄「音楽」の環境デザインを個別に検討する段階に止ま積されたセンサ情報から家庭で暮らす家族の生活パタっている．筆者らは，住空間における「音」環境の包ーンを推測し，生活支援を行う研究[3]，一般家庭の括的デザインという観点から，音声インタフェースをエンドユーザーを対象としたセンサ駆動サービス構築基軸に，多様なユーザの音環境を持続的にチューニン支援環境[4]，スマートホーム環境でのネットワークグできるシステムの実現を狙い，これまで培ってきたロボットシステム（NRS）アプリケーション内におけ実環境コーパス化技術を活用し，プロトタイプの検討るヒューマノイドロボットプラットフォームナオの統を進めてきた[6]．これは，気の利いた人間支援シス合に関する研究[5]などがある．

テムに不可欠な常識知のモデル化[7]のため，発達段

一方，核家族化と高齢化の急速な進展に伴って，子階の子どもの行動映像事例を蓄積し，エビデンスに基育てや福祉が重視され，多様な人間の個性や価値観にづく多視点観察で思考の発達を捉えるコーパスベースの方法論[8]に基づくものである．

† 静岡大学情報学部
Faculty of Informatics, Shizuoka University‡ 静岡大学情報学研究科
Graduate School of Informatics, Shizuoka University††

静岡大学創造科学技術大学院
Graduate School of Science and Technology, Shizuoka University

音にフォーカスしたこれまでの検討を踏まえ，音を基軸に視覚など他の情報源も活用し，住空間の話者と環境を柔軟にカスタマイズできるインタラクティブ住空間チューニングシステム（図 1）を着想した．
本稿では，インタラクティブ住空間チューニングシ情報処理学会 インタラクション 2011

ステムの主要機能である，快適な住空間サービスを実現するために必要な音環境測定を支援する機能，および柔軟なインタラクションを実現する対話型映像ナビ
ゲーション機能について述べる．

住空間の現場

図2
情報提示
機器制御

状況センシング

環境情報
生成

音声行動コーパスビューワ画面

3.

コーパスに基づく音環境測定支援機能

インタラクティブ音環境
チューニングシステム

3.1

住空間実験場対話的ナビゲーション

住空間チューニングシステムの構築に必要な住空間エディタ

住空間認識

バルーン
ナビ

モデルを検討するため，実環境の実験場を設けた．こ
こでは音響特性等の音環境情報を中心に住空間の環境情報を蓄積する測定実験が行えるよう設計している．
家具などを設置した部屋に測定機材を配置し，住空間チューニングシナリオ

イベント

で実際の生活を再現しながら測定を行うことが可能で

イベント
ID, Name, 自由記述説明
発火条件, サービス

イベント
イベント

ある．図 3 に構築した実験場の 3D モデル表現を示す．
住空間想定機材としてテーブル，イス，テレビ，HDD レコーダー，照明などを設置した．測定機材と環境別プロファイル

映像

音声

して測定用多チャンネルマイク，スピーカー，実験状
況観測用の Web カメラ，環境音測定用マイクを設置

ユーザ別プロファイル

場面状況した．測定用多チャンネルマイク，スピーカーを用いて住空間の音響特性測定を行う．また，Web カメラ，住空間コーパス
図1 インタラクティブ住空間チューニングシステム

環境音測定用マイクにより，映像と音声で実験状況を記録することで，後の分析時に様々な観点から分析を行うことが可能である．
図32.

構築した住空間実験場の 3D オブジェクト表現

住空間コーパス環境別プロファイル，ユーザ別プロファイルを構築するためには様々な視点から得られた情報を体系的に蓄積して活用する必要がある．実世界現場の行動をマルチモーダルな視点から構築したコーパス例として，子どもの行動コーパス[8]，船舶ブリッジにおける船員の音声コミュニケーション行動コーパス[9]がある．
図 2 に示す図は子どもの行動コーパスを構築するために我々が設計したシステムである．コーパスに蓄え3.2られた情報の可視化，解析を行うツールであると同時音環境にフォーカスして住空間の環境情報を効率よに，知識データの蓄積や有用情報を付与できるアノテく測定するため，音環境測定支援システムを設計した．

ーションツールとしても活用されている．

測定結果の即時確認，過去の測定との比較をその場で音環境測定支援システム

このようなコーパス構築の基礎技術を用いて，住空行うことができ，測定の効率化をはかることができる．

間に関する有用な情報に対して蓄積・分析・評価が行測定支援システムでは，測定時の状況動画と測定音えるような住空間コーパスの構築を進めている．

声を関連付けて表示する．各測定はシーンや発話ごと

住空間における話者と環境の柔軟なインタラクションシステムにラベル付けを行い，それぞれに対して住空間の状況らう必要がある．ユーザにカスタマイズを託すにあたや人の行動など自由にアノテーション付けすることがっては，専門的な知識を必要とせず，簡単に住空間コ可能である．また，音声認識システム Julius[10]や音ーパスを編集，閲覧するためのツールが必要となる．

声分析ソフトウェア WaveSurfer[11]と統合，連携を行うことで，測定した音声データの認識率評価，ラベル付けなどを効率よく行うことが可能である．測定した音声データの比較方法として，ゲイン，対騒音比などのグラフ化，音声認識結果の保存などの機能を有し，測定結果の可視化が可能である．
測定データの管理蓄積には SQL を用いる．実験，シーン，発話，音声データなどに分割して蓄積する．
開発言語には C#を用い，Windows フォームアプリケーションを作成する．また，測定現場にインターネッ
ト環境が無いことも想定し，オフラインでのシステム動作モードも有する．システム画面を図 4 に示す．

図5

対話型映像ナビゲーション

この問題を解決するにあたり，対話型映像ナビゲーション機能を導入した．同システムには GUI ベースのシナリオエディタ，プロファイルエディタ，及び共同開発中のバルーンナビ（BalloonNaviTM ）と呼ばれる，対話的に動画再生ができるプレイヤーを組み込む．
このバルーンナビにより，ユーザの理解レベルに応じたチュートリアル動画やユーザへの指示，質問をし，動的な操作のナビゲートを行う．ユーザはバルーンナ
ビのナビゲートに従い，各エディタを通して住空間コーパス内のチューニングシナリオ，環境別プロファイ
ル，ユーザ別プロファイルのカスタマイズを行い，ユーザの嗜好に応じた自由なサービスが設定可能である．

図4

音環境測定支援システム

構築した住空間実験場で測定支援システムを用いた

5. おわりに音環境の測定を試行した．現在の音環境測定支援シス

話者と環境の柔軟なインタラクションを実現する住テムに搭載された音声データの閲覧，管理，付加情報

空間チューニングシステムについて述べた．チューニの付与，音声認識結果比較機能は，種々の実験条件でングシステムで用いられる環境特性等の住空間情報を音環境を測定するのに役立つことを確認した．測定支コーパスに蓄積するために音環境に注目して環境情報援の改善に繋がる機能として，測定時におけるトラブの測定支援システムを構築・評価した．多様な住空間ルシューティング機能，測定機器の製品情報の参照機の環境とユーザに対して様々なサービスを提供するた能，付加情報の自動付与機能が挙げられた．

め，柔軟なインタラクションを実現する対話型ナビゲ

4. 対話型映像ナビゲーションによるカスタマ
イズ機能
住空間は住人や家電家具が頻繁に変化することはな
く，そこで起こるシナリオや，求められるサービスもほとんど変わることはない．その為，一度個別の住空間に合わせたチューニングができれば，長期間に渡って有効なものとなる．
しかし，センサを使った状況のセンシング，自動チューニングには限界がある為，ユーザのプロファイル，ユーザが望むサービス，住空間内の家電家具などの情報は，ユーザ自身の手によってカスタマイズをしてもーションの構築を行い，ユーザごとに環境をカスタマイズすることが可能である見通しを得た．今後は実環境での実証実験を進めながらチューニングシナリオを蓄積し，住空間チューニングシステムを深化成長させる．

参考文献

1) Henry Lieberman, José Espinosa : A goal-orientedinterface to consumer electronics using planning andcommonsense reasoning, Knowledge-Based Systems
Vol.20, Issue 6, pp. 592-606, ( 2007)
2) Chun-Liang Hsu, Sheng-Yuan Yang : ConstructingIntelligent Living Space Controlling System with情報処理学会 インタラクション 2011

Bluetooth and Speech-Recognition Microprocessor,Eighth International Conference on Intelligent
Systems Design and Applications, 2, 666-671, 20083) 美濃導彦: ユビキタスホームにおける生活支援，
人工知能学会誌， Vol.20， No.5， pp.579-586，(2005).
4) 松尾周平ら: エンドユーザーによるセンサー駆動サービスの構築支援環境の提案，電子情報通信学会，OIS 研究会, vol.OIS2008, no.82, pp.043048, (2007)
5) Linköping University Electronic Press, Linköpings
universitet: Integration of the Humanoid Robot Nao
inside a Smart Home: A Case Study, The Swedish AI
Society Workshop,Issue 48, No.8, (2010)6) 桐山伸也, 本間永愛, 石川翔吾, 秡川友宏, 竹林洋一, "ユーザ環境に適応した住空間音声インタ
フェースの検討," 音講論, 3-1-16, 2009-9.
7) 竹林洋一，桐山伸也，"工学的視点からの幼児の行動観察とコーパス構築―認知・行動モデルの深 化 が も た ら す も の ― ," 日 本 音 響 学 会 誌 ，vol.65, no.10, pp.544-549, 2009-10.
8) 石川翔吾, 桐山伸也, 大谷尚史, 北澤茂良, 竹林
洋一： マルチモーダル幼児行動コーパスに基づく指示表現の発達分析とモデル構築, チャイルド・サイエンス, vol.5, pp.68-72, (2009).
9) 桐山伸也, 鈴木敦志, 青島大悟, 本間永愛, 竹林
洋一, 安全航行のための船員の音声コミュニケーション分析, 音講論, 1-1-22, (2008).
10) 大語彙連続音声認識エンジン Julius:
http://julius.sourceforge.jp/
11) Wavesurfer:
http://sourceforge.net/projects/wavesurfer/