実環境を利用した図書館司書ロボットの研究開発
三 河 正 彦†田中和世†

我々は睡眠覚醒機能を有する図書館司書ロボットの研究開発を行っている．睡眠や覚醒等の意識状態を表現する数理 Activation-Input-Modulation(AIM) モデルは，複数の外界センサのために並列に動作するの知覚情報処理系を動的に制御できることを特徴とする．一方，システム開発者による事前調査だけでは，不特定多数の図書館利用者を対象とした図書館サービスの実装には限界がある．そこで本報告では，図書館司書ロボットシステムを実際の図書館に設置することにより収集できる利用者との会話記録や外界センサから得られる環境情報等に基づき，(1) 図書館司書としてのサービス充実と (2) 自律ロボットとしての機能充実を目的としたシステムの開発手法を紹介する．

Librarian Robot in Real Library
Masahiko Mikawa † and Kazuyo Tanaka†
We are developing a librarian robot that has sleep and wake functions. Lots of processesrun in parallel in this system are controlled by our proposed mathematical Activation-InputModulation (AIM) model, that can express consciousness states, such as wake or sleep basedon stimuli detected by the external sensors. On the other hand, it is diﬃcult for systemdevelopers to implement several kinds of library services for several library users. We are able
to get useful information for developing system by installing the librarian robot into a reallibrary. The purposes of this report are to improve library services as a librarian robot andto improve functions as an autonomous robot.

1. は じ め に

現在，図書館司書ロボットシステムを実際の大学図書館に設置している．図書館利用者に対する挨拶や自我々は図書館司書ロボットの研究開発を行っている．

己紹介，蔵書検索等に必要な会話機能，それにセンサ

本ロボットは，外界センサとしてカメラ，レーザレン

情報処理機能等の基本的な機能は実装した上で設置しジファインダ (LRF)，マイクロフォンを備え，図書館たが，不特定多数の利用者を対象とした図書館サービ

利用者と自然言語で会話することができ，学内図書館スという面ではまだまだ課題が多い．利用者が要求すデータベースから蔵書検索，検索結果の提示が可能でる会話内容，どのような単語で会話が行われるのか，ある．しかしこれらの機能は，多くの受付ロボット1) も蔵書検索に必要なキーワード，音声認識失敗時の要因有する．我々が提案する図書館司書ロボットの特徴は，分析等，システム開発者だけで事前に多くの機能を実睡眠/覚醒等の意識状態を表現する数理モデルを有する装するには限界がある．そこで本報告では，蓄積されことである．本数理モデルの働きにより，外界センサ

たセンサ情報等に基づき，(1) 図書館司書としてのサーが変化等の刺激情報を検出した時にはシステムは覚醒ビス充実と (2) 自律ロボットとしての機能充実を目的状態となり，センサ情報を実時間処理する．センサが刺としたシステムの開発手法を紹介する．

激情報を検出しない時にはシステムは睡眠状態となり，センサ情報処理の一部の処理頻度を低下させるといった知覚情報処理系の動作制御が可能となる．さらに，

2. 図書館司書ロボット
2.1 ハードウェア構成

覚醒時に環境情報を記憶する機能と睡眠時に記憶した

図 1 に図書館司書ロボットのハードウェア構成を情報を整理する機能も有する．これらの機能は，我々示す．7 自由度マニピュレータ (PA10-7C，三菱重工が提案した数理 AIM(Activation-Input-Modulation)

業 (株)) をロボットのボディとして使用し，外界センモデル2)により実現される．

サとしてレーザレンジファインダ (LRF)，ステレオビジョン，マイクロフォンを備える．図書館利用者の† 筑波大学 University of Tsukuba

位置等を追跡するために，LRF(UTM-30LX，北陽電情報処理学会 インタラクション 2011

MonitorStereocamera

Speaker

MicrophonePCs
IEEE1394

Welcome!!

Linux: Fedora 14
Intel Core 2 Duo
2.66GHzLinux: Fedora 11
Intel Core 2 Quad
2.66GHz

LRF

Linux: Fedora 12Intel Atom D510
1.66GHz

7DOF
Manipulator
Audio I/F

Walls

Router

Mac OS XIntel Core 2 Duo
2.0GHz

University library system(Tulips)

図 1 図書館司書ロボットシステムのハードウェア構成
Fig. 1 Hardware configuration of librarian robot system

Walkers

Position of librarian robot

図 3 LRF による人間の追跡
Fig. 3 People tracking using LRF

挨拶をする．また人間に視線をあわせる制御 (ステレオビジョンの向きを制御) も行っている．

2.2.2 応対: 自然言語による会話
Information display

Stereo camera

Microphone

音声認識には汎用大語彙連続音声認識エンジン

Julius(Ver.4.1.5)3) を，合成音声にはテキスト音声合成ミドルウェア AquesTalk2(Linux 版)4) を使用し，日本語による会話が可能である．
利用者がロボットの正面に立った時，ロボットは「おはようございます (こんにちは/こんばんは)．図書館
情報学図書館へようこそ．
」と言った後，利用者が話すのを待ったり，会話を促したりすることもできる．

Laser range finder

また会話の話題として，次項に述べる蔵書検索に加えて，自己紹介，現在の天気や天気予報，教員に関する

図 2 実際の図書館に設置された図書館司書ロボット
Fig. 2 Librarian robot in real library

情報提供等が可能である．また会話後，ロボットから離れる利用者に対して，「さようなら」と挨拶をする．

2.2.3 蔵書検索: ネット検索と情報提示
機 (株)，計測範囲 100-30,000[mm]) をロボットの正図書館利用者から蔵書検索を依頼されると，ロボッ面，高さ約 576[mm] に設置した．ステレオビジョン

トは検索のキーワードを尋ね，インターネットを介し(FCB-EX470L，ソニー (株)) はマニピュレータ手先て，筑波大学電子図書館 (Tulips)5) を利用した蔵書検に取り付け，アナログ映像信号はメディアコンバータ索を行う．検索結果は情報提示用ディスプレイに表示(ADVC-200TV，カノープス (株)) を介して，デジタされる．図 4 にそのグラフィックユーザインタフェイ

ルビデオ信号として IEEE1394 ポートからコンピュース (GUI) の一例を示す．初期状態を図 4(a) に，蔵書タに取り込まれる．利用者との会話に使用するマイクの検索結果表示を図 4(b) に示す．他に会話に応じてロフォン (SM58，Shure Inc.) からアナログ音声信号天気情報の表示等も可能である．

が USB オーディオインタフェイス (UA-25EX，ロー2.2.4 数理 AIM モデル

ランド (株)) を介して，コンピュータに取り込まれる．

人間の意識状態を次の三要素により表現する AIM

図書館出入口付近に設置したシステムを図 2 に示す．

モデル6) を図 5 に示す．Activation は処理能力を，In-2.2 図書館司書ロボットとしての機能

put は情報処理のソースを，Modulation は外界情報

LRF により接近する図書館利用者を発見すると，図と記憶情報のバランスを制御する．例えば覚醒時には書館司書ロボットは適切なタイミングで挨拶をする．

外界情報を主に処理し，レム睡眠時には夢を見る (記また利用者とは自然言語で会話することができ，イン憶を整理する)．我々は本モデルに基づき，知覚情報ターネットを介した蔵書検索，書誌情報の提示する機処理系の制御に適した数理 AIM モデルを提案してい能を有する．利用者が離れる際には別れの挨拶も行う．

る2) ．三種類の外界センサを備える図書館司書ロボッ

2.2.1 受付: LRF による図書館利用者の追跡トのための知覚情報処理系のの制御に本モデルを使用

ロボットは図書館の受付として，会話する以前に，している．知覚情報の変化等を刺激として検出するこ

利用者に話しかけやすい雰囲気を作ることが重要であとにより，要素 A は各情報処理の実行頻度を，要素 Iる．LRF の距離情報に基づき複数の人間を追跡する

は刺激検出の為の感度パラメータを，要素 M はデーことができ，ロボットから 2[m] の地点で利用者にのタサンプリング頻度を決定する．例えば外界センサが

実環境を利用した図書館司書ロボットの研究開発

AIM modelVision
Data sampler / WM storing
Change detection
STM storing LTM storing

IPC
serverVoice
Speech recognition
Voice
Data sampler / WM storing
Change detection
STM storing LTM storing

TCP/IP

Welcome!!

LRF
Change detection
LRF
Human tracking
Dialogue engine
Finite state machine(a) Main window

Manipulator control
Display for library users
University library system(Tulips)I/F for library system

図 6 ソフトウェア構成Fig. 6 Software configuration of librarian robot(b) Book search results
図 4 情報提示ディスプレイの GUI
Fig. 4 GUI for information display
Low

Activation

HighWake
Aminergic

Modulation

Non-REM sleep

REM sleep

External

Input

Cholinergic

Librarian robot
is here.

Relax

図 7 ロボット設置位置
Fig. 7 Experimental environment

Internal

図 5 AIM 状態空間モデル
Fig. 5 AIM state-space model

学図書館にロボットを設置した．図 2，7 に示すよう検出する刺激が多い場合，システムは覚醒状態となり，に，利用者の通行の多い出入口近辺である．

外界情報処理の頻度が高くなる．刺激が無い場合，睡3.2 実環境下で実験を行う目的眠状態となり，外界情報処理頻度は低下するとともに実用的な知能ロボットを開発するには，使用する実記憶情報処理が働き出す．数理 AIM モデルの働きに環境に応じた調整が重要である．そこで我々は，センより，限られた計算機資源の有効利用が可能となる．

サで収集できる環境情報と図書館利用者の行動やロ

2.3 ソフトウェア構成ボットとのやり取りの記録などを利用することにより，

2.3.1 IPC による並列処理(1) 図書館司書としてのサービス拡充と，(2) 自律ロ

図 6 に示すように，本システムでは機能やセンサボットとしての機能充実を進めている．本報告では，ごとに独立した複数のプロセスが並列に動作する各プ(1) として対話シナリオの拡充を目指し，利用者とロロセス間の情報通信は，Inter Process Communica-ボットの会話記録の分析を行った．(2) として将来複7)tion(IPC) ライブラリを介して実時間で行われる．

雑な画像処理を行う際に活用できる人間等の移動物体の写っていない様々な背景画像を環境情報として収集

3. 実際環境下での利用と改良する機能を実現した．

これまで研究室内で，基本機能の実装やレーザポイ
8)ンタを用いた蔵書場所の提示手法の検討

3.3 システム設置直後を行ってき

9 月にロボットを設置した際，ロボットシステムのた．システムを設置する実環境を事前調査し，さらに利用の仕方や実験の目的等を説明する掲示物は設置し研究室内で改良を加える方法もあるが，2 章で述べたなかった．利用の仕方等の設置により，画一的な利用基本機能を実装後，システムを実環境に設置した．

を避けたいという理由と，説明書きの無いロボットに3.1 実 験 環 境

対する図書館利用者の反応や，どのような話題をどの

2010 年 9 月から，筑波大学 春日地区 図書館情報ような単語で話しかけられるのかを分析し，それをシ情報処理学会 インタラクション 2011

Current image
captured by process
for detecting changes
REM sleep

Mathematical
AIM model

Non-REM sleep

図 8 収集された音声認識結果
Fig. 8 Speech recognition results stored in system

ステム開発に生かす計画だからである．

3.4 会話記録の収集とその考察記録された音声認識結果の一例を図 8 に示す．2010

Stored images
organized by processthat run in sleep state

図 9 睡眠状態における CPU 負荷の時間変化と背景画像の整理
Fig. 9 Valiation of CPU utilization with time andorganization of background images in sleeps state

年 9 月から 11 月末までの記録から，次のことが分かってきた．(1) あまり話しかけられない．(2) 音声認識てのサービスと自律ロボットとしての機能の充実を目結果が良くない．(3) 利用者から挨拶は多くない．(4)的としたシステム開発手法を提案した．

図書館職員 (人間) に対する接し方/話し方と大きく異謝辞 本研究は科研費 (課題番号 21500185) の助成

なる (コマンドを入力するような話し方)．また図書館を受けたものである．また Roboceptionist1) で使用さ職員が利用者から聞いた話によると，「使い方が不明」

れる IPC ライブラリと LRF による人間追跡プログラ「注視されるので不気味」等の意見もあり，会話に入ムの使用許可を頂いた Research Professor Reid Sim-る以前に受付ロボットとしての見た目や雰囲気等の魅mons (Carnegie Mellon University) に感謝します．

力が薄いようである．また慣れれば高い認識率を発揮する Julius の認識率も低いため，状況に応じた認識用辞書の切り替え等の工夫も必要である．

3.5 背景画像の収集
ロボットは長期間に渡り終日稼働させるため，季節や天候，時刻に応じて，ロボットの周辺環境が変化する．環境変化に弱いロボットビジョンのために，参考
文献2) で提案した潜在記憶機能により，日没や日照変化等の緩やかに変化し，動く人間等が写っていない背景画像の収集を行っている．日没変化等の長期的な変化は，長時間，画像を収集することにより検出可能となる．図 5，9 に示すように，睡眠状態にはノンレムとレム睡眠がある．覚醒時には外界情報を実時間で処理し，ノンレム睡眠では情報処理の頻度が低下し，レム睡眠では長期的に収集した沢山の背景画像の整理を行い，緩やかな変化を検出し，潜在長期記憶として蓄積する．図 9 では，数理 AIM モデルの機能により，CPU 負荷がレムとノンレムで変化していることと，背景画像の整理が実行されていることが分かる．

4. お わ り に睡眠覚醒機能を備えた図書館司書ロボットを実際の大学図書館に設置し，図書館利用者との会話内容や外界センサ情報を収集することにより，図書館司書とし

参 考

文献

1) R. Gockley, R. Simmons, and J. Forlizzi. Modeling aﬀect in socially interactive robots. InThe 15th IEEE International Symposium on
Robot and Human Interactive Communication,
pp. 558–563, 2006.
2) M. Mikawa, M. Yoshikawa, T. Tsujimura, andK. Tanaka. Intelligent perceptual information
parallel processing system controlled by mathematical aim model. In Proceedings of the2007 7th IEEE-RAS International Conferenceon Humanoid Robots, pp. 389–403, 2007.
3) A. Lee, T. Kawahara, and K. Shikano. Julius– an open source real-time large vocabulary
recognition engine. In Proceedings of the 7th
European Conference on Speech Communication and Technology, pp. 1691 – 1694, 2001.
4) http://www.a-quest.com/.
5) https://www.tulips.tsukuba.ac.jp/portal/.
6) J. Allan Hobson. The Dream Drugstore. The
MIT Press, 2001.
7) http://www.cs.cmu.edu/˜ipc/.
8) M. Mikawa, Y. Morimoto, and K. Tanaka.
Guidance method using laser pointer and gestures for librarian robot. In The 19th IEEE
International Symposium in Robot and Human
Interactive Communication, pp. 400–405, 2010.