(57)【要約】【課題】携帯型電話機と同程度の簡単な操作でユーザに対して様々な表現形式で通信または通話サービスを提供できる通信補助装置を提供する。【解決手段】通信補助装置１００、３００は、携帯型電話機９に接続可能なインタフェース２２１と、携帯型電話機９が着信した通話用信号または通信用信号を、該携帯型電話機９のユーザが認識可能な第１の表現形式へ変換する第１の信号変換部２１７、２１８と、第１の表現形式の信号を表示または出力する出力部２、６と、ユーザが入力可能な第２の表現形式で信号を入力することができる入力部１、３、７と、第２の表現形式の信号を通話用信号または通信用信号へ変換する第２の信号変換部２１７、２１８とを備えている。【選択図】  図１
2004214895.tif 000002
【特許請求の範囲】
【請求項１】
携帯型電話機に接続可能なインタフェースと、
前記携帯型電話機が着信した通話用信号または通信用信号を、該携帯型電話機のユーザが認識可能な第１の表現形式へ変換する第１の信号変換部と、
前記第１の表現形式の信号を表示または出力する出力部と、
ユーザが入力可能な第２の表現形式で信号を入力することができる入力部と、
前記第２の表現形式の信号を前記通話用信号または通信用信号へ変換する第２の信号変換部とを備えた通信補助装置。
【請求項２】
前記携帯型電話機が有する付加機能を制御する制御部をさらに備えたことを特徴とする請求項１に記載の通信補助装置。
【請求項３】
前記第１の表現形式の信号は、文字情報または画像情報であり、
前記出力部は、前記第１の表現形式の信号を前記携帯型電話機が有する表示画面よりも大きく表示することができるディスプレイであることを特徴とする請求項１に記載の通信補助装置。
【請求項４】
前記第１の信号変換部は、前記携帯型電話機が着信した通話用信号よりなる音声情報を、文字情報または画像情報へ変換することを特徴とする請求項３に記載の通信補助装置。
【請求項５】
前記第１の表現形式の信号は音声情報であり、
前記携帯型電話機の音声出力部よりも大きな音量で該音声情報を出力することができるスピーカをさらに備えたことを特徴とする請求項１に記載の通信補助装置。
【請求項６】
前記第１の信号変換部は、前記携帯型電話機が着信した通信用信号よりなる文字情報または画像情報を、音声情報へ変換することを特徴とする請求項５に記載の通信補助装置。
【請求項７】
前記第２の表現形式の信号は、ユーザの声に基づく音声情報であり、
前記携帯型電話機によって発信される通話用信号または通信用信号は、音声情報または文字情報または画像情報であり、
前記入力部は、ユーザの音声情報を入力するマイクロフォンであることを特徴とする請求項１に記載の通信補助装置。
【請求項８】
前記第２の信号変換部は、前記マイクロフォンからの音声情報を文字情報または画像情報へ変換することを特徴とする請求項７に記載の通信補助装置。
【請求項９】
前記第２の表現形式の信号は、ユーザが入力した文字情報であり、
前記携帯型電話機によって発信される通話用信号または通信用信号は音声情報または文字情報または画像情報であり、
前記入力部は、前記携帯型電話機のユーザが文字を入力するタッチパネルまたはキーボードであることを特徴とする請求項１に記載の通信補助装置。
【請求項１０】
前記第２の信号変換部は、前記タッチパネルまたはキーボードからの文字情報を音声情報または画像情報へ変換することを特徴とする請求項９に記載の通信補助装置。
【請求項１１】
前記第２の表現形式の信号は、ユーザの身体の動きに基づく画像情報であり、
前記携帯型電話機によって発信される通話用信号または通信用信号は音声情報または文字情報または画像情報であり、
前記入力部は、ユーザのジェスチャーまたは手話または唇の動きを画像情報として入力するカメラであることを特徴とする請求項１に記載の通信補助装置。
【請求項１２】
前記第２の信号変換部は、前記カメラからの画像情報を音声情報または文字情報へ変換することを特徴とする請求項１１に記載の通信補助装置。
【請求項１３】
前記携帯型電話機を充電するための充電器と、
前記携帯型電話機を保持することができ、前記インタフェースおよび前記充電器が取り付けられたホルダとをさらに備え、
前記ホルダに前記携帯型電話機を挿入することによって、該携帯型電話機が前記インタフェースおよび前記充電器の両方に接続されることを特徴とする請求項１に記載の通信補助装置。
【請求項１４】
ユーザと当該通信補助装置との距離を検出するセンサと、
前記距離が所定の距離で、ユーザが入出力に適した場所に当該通信補助装置を移動させる移動機構とをさらに備えた請求項１に記載の通信補助装置。
【請求項１５】
前記入力部は、該ユーザの身体の動きを画像情報として入力するカメラであり、
前記出力部は、前記第１の表現形式の信号を前記携帯型電話機が有する表示画面よりも大きく表示することができるディスプレイであり、
前記カメラが前記センサとして前記ユーザの顔を検出し、さらに、該ユーザの顔と当該通信補助装置との距離を検出し、
該ユーザの顔と前記ディスプレイとの距離が所定の距離で、ユーザが入出力に適した場所に当該通信補助装置を移動させる移動機構とをさらに備えた請求項１４に記載の通信補助装置。
【請求項１６】
前記携帯型電話機を保持することができ、前記インタフェースおよび前記充電器が取り付けられたホルダをさらに備え、
前記携帯型電話機が前記ホルダに挿入された場合に在宅モードで動作し、
前記携帯型電話機が前記ホルダから取り外された場合に不在モードで動作することを特徴とする請求項１に記載の通信補助装置。
【請求項１７】
前記携帯型電話機を保持することができ、前記インタフェースおよび前記充電器が取り付けられたホルダをさらに備え、
前記携帯型電話機が前記ホルダに挿入された場合に前記携帯型電話機から該携帯型電話機のユーザに関する情報を取得し、該ユーザに適合した動作を行うことを特徴とする請求項１に記載の通信補助装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は通信補助装置に関する。
【０００２】
【従来の技術】
近年、一般家庭に用いられるパーソナルロボットが開発されている。その典型例としては、ソニー株式会社によるＡＩＢＯ（登録商標）がある。ＡＩＢＯ（登録商標）は犬を模擬したペットロボットであり、このような犬や猫等のペットを模擬したペットロボットは、ユーザの愛玩の対象として多くの人々に親しまれている。しかし、ペットロボットは、人に何らかのサービスを提供する機能を持っているものではない。
【０００３】
これに対して、日本電気株式会社によるＰａＰｅＲｏ（登録商標）がある。ＰａＰｅＲｏ（登録商標）は、ユーザに各種サービスを提供する機能を持つパーソナルロボットの一つであり、ＴＶのリモコン操作や音楽・映像の再生、インターネットへのアクセスやパソコンとの情報のやりとりなどを行うことができる。
【０００４】
パーソナルロボットの形態、構成はさまざまであるが、ユーザとのやりとりを通してユーザに何らかのサービスを提供するパーソナルロボットは、一般に図１２に示すように、カメラ１、スピーカ２、マイク３、雲台４、アーム５、ディスプレイ６、タッチパネルまたはキーボード７および移動機構８を備えた構成となっている。
【０００５】
図１３はこのパーソナルロボットの典型的な制御装置のブロック図である。この制御装置は、全体管理部１１、作業計画部１２、通信処理部１３、アーム・雲台制御部１４、データ入出力処理部１６、視覚処理部１７、音声処理部１８、付加サービス機能部１９および移動機構制御部２０を備えている。
【０００６】
全体管理部１１は制御装置全体の管理を行う。作業計画部１２はロボットの作業動作の計画を行う。通信処理部１３は、外部通信ネットワーク２３とのデータの送受信を行う。腕部・頭部制御部１４は腕部５および頭部４を制御する。データ入出力処理部１６は、ディスプレイ６やタッチパネルまたはキーボード７をコントロールする。視覚処理部１７は、カメラ１から入力された画像情報を処理する。音声処理部１８は、スピーカ２から出力する音声情報またはマイク３へ入力される音声情報を処理する。付加サービス機能部１９は、電子メールの送受信、インターネット情報の検索、家電製品のリモコン操作、音楽のダウンロードや再生等、ユーザへの各種サービスの処理を行う。移動機構制御部２０は移動機構８を制御する。
【０００７】
【特許文献１】
特開２００１−１９５１１３
【特許文献２】
特開２００１−１２５５８５
【０００８】
【発明が解決しようとする課題】
図１２および図１３に示すパーソナルロボットは、電子メールの送受信やインターネット情報の検索、家電製品のリモコン操作や音楽再生等のサービスをユーザに提供することができる。
【０００９】
しかし、このようなパーソナルロボットは、パーソナルコンピュータと同様の機能を備えているに過ぎない。従って、このようなパーソナルロボットからサービスを受ける場合は、パーソナルコンピュータと同様に、パーソナルロボットのシステムのセットアップが必要となる。専門的な知識を持たない一般ユーザにとって、パーソナルロボットのセットアップのための操作は難しく、かつ面倒なものである。
【００１０】
ところで、最近、急速に普及している携帯型電話機は、通話だけでなく、電子メールの授受、インターネットからの各種情報のダウンロードなどが可能である。また、一般的に、ユーザは自身が頻繁に利用する電話番号、電子メールアドレス、ウェブホームページアドレスの情報等を予め自身の携帯型電話機の本体内部に登録している。携帯型電話機においては、これらの情報を利用した通話および通信サービスが付加機能として簡単な操作によって利用できる。このように携帯型電話機は、家庭用のパーソナルコンピュータやパーソナルロボットに比べてセットアップのための操作が容易である。
【００１１】
しかし、携帯型電話機は、小型化かつ軽量化するために操作ボタンの数や大きさ、表示画面の大きさ等には限界がある。従って、その操作性は必ずしも良くない。さらに、音声通話と電子メールとは別々に利用することが前提となっているので、通話および電子メールを融合させた形態で利用することはできなかった。例えば、携帯型電話機は、音声による通話を電子メールに変換して着信することや、逆に、電子メールを音声による通話として着信することができなかった。
【００１２】
そこで、本発明の目的は、携帯型電話機と同程度の簡単な操作でユーザに対して様々な表現形式で通信または通話サービスを提供できる通信補助装置を提供することである。
【００１３】
【課題を解決するための手段】
本発明に従った実施の形態による通信補助装置は、携帯型電話機に接続可能なインタフェースと、前記携帯型電話機が着信した通話用信号または通信用信号を、該携帯型電話機のユーザが認識可能な第１の表現形式へ変換する第１の信号変換部と、前記第１の表現形式の信号を表示または出力する出力部と、ユーザが入力可能な第２の表現形式で信号を入力することができる入力部と、前記第２の表現形式の信号を前記通話用信号または通信用信号へ変換する第２の信号変換部とを備えている。
【００１４】
【発明の実施の形態】
以下、図面を参照し、本発明による実施の形態を説明する。実施の形態は本発明を限定するものではない。本発明に係る実施の形態に従ったパーソナルロボットは、携帯型電話機の通話または通信機能をユーザが使用し易いように拡張することによって、ユーザを補助するものである。
【００１５】
図１は、本発明に係る実施の形態に従ったパーソナルロボット１００の外観図である。パーソナルロボット１００は、カメラ１、スピーカ２、マイク３、腕部５、ディスプレイ６、タッチパネルまたはキーボード７および移動機構８を備えている。カメラ１、スピーカ２およびマイク３は頭部１０１に配備され、腕部５、ディスプレイ６、タッチパネルまたはキーボード７および移動機構８は胴体部１０２に配備されている。さらに、パーソナルロボット１００は、携帯型電話機９をセットするホルダ１０を胴体部１０２に備えている。
【００１６】
ユーザが携帯型電話機９をホルダ１０にセットすることによって、携帯型電話機９が有する通話機能、データ通信機能およびその他の付加機能がパーソナルロボット１００に追加される。
【００１７】
図２は、パーソナルロボット１００内部に設けられた制御装置２００の構成を示すブロック図である。制御装置２００は、全体管理部２１１、作業計画部２１２、通信処理部２１３、腕部・頭部制御部２１４、携帯型電話機用充電管理部２１５、データ入出力管理部２１６、視覚処理部２１７、音声処理部２１８、付加サービス機能部２１９、移動機構制御部２２０、携帯型電話機用インタフェース２２１および記憶部２２２を有する。
【００１８】
全体管理部２１１は、パーソナルロボット１００の動作内容に応じた各処理部の起動・停止等、制御装置全体の管理を行う。作業計画部２１２はロボットが目的の作業を実現するための具体的な作業動作の計画を行う。腕部・頭部制御部２１４は腕部５および頭部１０２を制御する。データ入出力処理部２１６は、ディスプレイ６やタッチパネルまたはキーボード７を制御する。視覚処理部２１７は、カメラ１から入力された画像情報を処理する。音声処理部２１８は、スピーカ２から出力する音声情報およびマイク３へ入力された音声情報を処理する。付加サービス機能部２１９はユーザへの各種サービスの処理を行う部分である。電子メールの送受信、インターネット情報の検索、音楽のダウンロードや再生等、携帯型電話機９が有するサービス機能をパーソナルロボット１００に付加して利用することができる。移動機構制御部２２０は移動機構８を制御する。
【００１９】
携帯型電話機用インタフェース２２１は、携帯型電話機９を制御装置２００に接続する。インタフェース２２１により制御装置２００は携帯型電話機９を介して外部の公衆回線またはインターネットと通信可能に接続される。パーソナルロボット２００は、インタフェース２２１により宅外の公衆回線またはインターネットと通信可能であるので、通信処理部２１３は主に宅内ネットワーク２２との通信に用いられる。ユーザへの各種サービスの処理を行う付加サービス機能部２１９は、胴体部１０２に取り付けられた携帯型電話機９の付加機能を利用可能とする。携帯型電話機９の付加機能は、例えば、携帯型電話機９内に登録された電話番号を用いて電話を掛ける機能、携帯型電話機９内に登録されたメールアドレスを用いてメールを送信する機能、若しくは、携帯型電話機９内に登録されたインターネットのホームページアドレスを用いてインターネットにアクセスする機能等、携帯型電話機９に付加された全機能である。これにより、パーソナルロボット１００は、独自にメールを送受信する機能等を備える必要がなくなり、携帯型電話機９内に記憶された電話番号、メールアドレスまたはホームページアドレス等を利用して通信することができる。勿論、パーソナルロボット１００は、家電製品のリモコン操作機能などを本体内に備えており、携帯型電話機９が有する機能を独自に有していてもよい。
【００２０】
さらに、携帯型電話機９の付加機能は、携帯型電話機９が固別に有する電話番号、メールアドレスおよびホームページアドレス等のほか、ユーザ自身に関する情報の取得を含む。これによって、パーソナルロボット１００は、本体にセットされた携帯型電話機９のユーザが誰であるかを認識することができ、ユーザごとに異なる動作をすることができる（以下、これをユーザカスタマイズ機能という）。
【００２１】
携帯型電話機用充電管理部２１５および携帯型電話機用インタフェース２２１は、ホルダ１０に接続されている。ユーザが携帯型電話機９をホルダ１０へ挿入すると、ホルダ１０内の充電用端子および通信用端子（図示せず）が携帯型電話機９の充電用端子および通信用ジャック（図示せず）に接続される。これにより、パーソナルロボット１００は、携帯型電話機９と通信可能に接続され、尚且つ、携帯型電話機９を充電することができる。なお、携帯型電話機用充電管理部２１５は、ホルダ１０に携帯型電話機９が挿入されているか否かを検出する機能も有する。
【００２２】
辞書データ記憶部２２２は、音声情報を文字情報に変換するために用いられる音素データ、および、人物の顔の検出やその人物の認証に必要な辞書等を格納する。辞書とは、パターンの特徴を表現した情報である。
【００２３】
図３は、本実施の形態においてインターネット情報または電子メールの送受信の利用形態を示す概念図である。従来、ユーザ２４は、携帯型電話機９を直接操作することによって、公衆回線２６およびインターネット回線２７を利用していた。
【００２４】
しかし、本実施の形態によれば、パーソナルロボット２５がユーザ２４と携帯型電話機９との間に介在する。それによって、ユーザ２４は、パーソナルロボット１００に備えられたタッチパネルまたはキーボード７、マイク３およびカメラ１等のような入力部を通して携帯型電話機９を操作することができる。例えば、ユーザ２４は、パーソナルロボット１００のマイク３に向かって「○○さんに電話して！」と指示することによって携帯型電話機に登録された電話番号を導き出し、携帯型電話機にこの電話番号へ発信させることができる。パーソナルロボット１００に備えられたディスプレイ６およびスピーカ２等のような出力部は、携帯型電話機９が着信した通話用信号または通信用信号を文字表示または画像表示または音声出力することができる。
【００２５】
このように、パーソナルロボット１００によって、ユーザ２４は、携帯型電話機９を直接操作することなく、簡単に携帯型電話機が有する付加機能を利用することができる。
【００２６】
図４は、ユーザ２４の文字出力指示を受け、携帯型電話機９が着信した通話用信号または通信用信号（通話／通信用信号という）を、パーソナルロボット１００が文字として表示する実施の形態を示した概念図である。
【００２７】
パーソナルロボット１００は、図１に示すインタフェース２２１を通して携帯型電話機９が着信した通話／通信用信号を受信する。この通話／通信用信号の表現形式が文字、すなわち通信用信号である場合には、表現形式の変換は行われず、文字情報としてディスプレイ６に表示される。通話／通信用信号の表現形式が音声、すなわち通話用信号である場合には、データ入出力処理部２１６内に配備された音声／文字変換器２２８が文字情報へ変換する。この文字情報がディスプレイ６に表示される。
【００２８】
音声情報を文字情報へ変換するためには、音声／文字変換器２２８が、音声情報の語彙を認識する必要がある。音声情報を文字情報へ変換する方法としては、例えば、鹿野清宏らによる“ＩＴ  Ｔｅｘｔ  音声認識システム“（オーム社）に記載されている音声語彙認識の方法が用いられる。
【００２９】
本実施の形態によれば、携帯型電話機９が受信した音声情報を文字情報として表示できる。よって、ユーザ２４が耳の不自由な聾唖者であっても、通常の音声情報による電話を受けることができる。
【００３０】
携帯型電話機９が電子メールなどの文字情報を受信した場合には、その文字情報は、変換されることなくディスプレイ６に表示される。ディスプレイ６は、携帯型電話機９の表示部よりも大きいので、文字情報をより大きく表示することができる。それによって、本実施の形態は、視力が弱いユーザを補助することができる。
【００３１】
さらに、携帯型電話機９が着信した音声信号を認識して手話に変換してディスプレイ６に画像表示させてもよい（特開平９−２０６３２９（聴力補助装置）参照）。
【００３２】
図５は、ユーザ２４の音声出力指示を受け、携帯型電話機９が着信した通話用信号または通信用信号（通話／通信用信号という）を、パーソナルロボット１００が音声として出力する実施の形態を示した概念図である。
【００３３】
パーソナルロボット１００は、図１に示すインタフェース２２１を通して携帯型電話機９が着信した通話／通信用信号を受信する。この通話／通信用信号の表現形式が音声、すなわち通話用信号である場合には、表現形式の変換は行われず、音声情報としてスピーカ２から出力される。通話／通信用信号の表現形式が文字、すなわち通信用信号である場合には、データ入出力処理部２１６内に配備された文字／音声変換器２２９が音声情報へ変換する。この音声情報がスピーカ２から出力される。文字情報を音声情報へ変換するソフトウェアは、市販されているものでよい。
【００３４】
本実施の形態によれば、携帯型電話機９が着信した文字情報を音声情報として表示できる。よって、ユーザ２４が目の不自由な者であっても、電子メールなどの文字情報を音声情報として聞き取ることができる。また、スピーカ２は、携帯型電話機９が出力する音声よりも大きな音声を出力することができる。よって、本実施の形態は耳の遠いユーザ２４を補助することができる。
【００３５】
図６は、マイク３に入力された音声情報を、通話／通信用信号として携帯型電話機９から送信する実施の形態を示した概念図である。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が音声である場合には、マイク３に入力されたユーザの音声は変換させることなく音声情報として携帯型電話機９へ送信される。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が文字である場合には、音声処理部２１８内に配備された音声／文字変換器２２８´が音声情報を文字情報へ変換する。この文字情報が携帯型電話機９から送信される。
【００３６】
さらに、ユーザ２４からマイク３に入力された音声が携帯型電話機９の操作コマンドである場合には、その操作コマンドが携帯型電話機９に送られる。音声コマンド認識器２３０は、マイク３に入力された音声が操作コマンドに該当するか否かを判断する。
【００３７】
本実施の形態によれば、ユーザ２４は、音声指示のみで携帯型電話機９を操作し、携帯型電話機９を通じて会話することができる。また、ユーザ２４は、音声指示のみで携帯型電話機９を操作し、電子メールの文章入力、送信を行うことができる。よって、ユーザ２４が身体障害者や老人であっても、容易に通話や電子メールの送信を行うことができる。また、マイク３は、携帯型電話機９に備えられたマイク９０よりも感度が良い。よって、ユーザ２４は、パーソナルロボット１００から離れていても、音声信号を入力することができる。
【００３８】
図７は、タッチパネルまたはキーボード７に入力された情報を、通話／通信用信号として携帯型電話機９から送信する実施の形態を示した概念図である。パーソナルロボット１００のタッチパネルまたはキーボード７より、ユーザ２４は希望のサービスを利用することができる。例えば、入力デバイスがタッチパネルで、画面に選択可能な操作コマンドのボタンが表示されている場合、ユーザ２４は希望のサービスのボタンに触れて希望のサービスを選択実行することができる。入力デバイスがキーボードやキーボードを表示したタッチパネルの場合は、アルファベット、ひらがな、片仮名等のキーを用いて、操作コマンドやメール文章、会話内容等を入力することができる。ユーザ２４がタッチパネル７から所定の操作コマンドを入力した場合は、コマンドが携帯型電話機９に送られ実行される。ユーザ２４が、携帯型電話機９から送信する信号の表現形式を文字と指定した場合は、タッチパネル７より入力された信号は変換させることなく携帯型電話機９から送信される。ユーザ２４が携帯型電話機９から送信する信号の表現形式を音声と指定した場合は、データ入出力処理部２１６に配備された文字／音声変換器２２９が文字情報を音声情報へ変換する。この音声情報が携帯型電話機９へ送られる。
【００３９】
本実施の形態によれば、ユーザ２４は、パーソナルロボット１００のタッチパネルまたはキーボード７を操作するだけで、携帯型電話機９を操作し、若しくは、携帯型電話機９の機能を利用して通話やメールの送信を行うことができる。本実施の形態において、タッチパネルまたはキーボード７の入力部は携帯型電話機９の入力キーよりも大きい。このため、ユーザ２４は、携帯型電話９に配備された小さな入力キーを操作することなく、タッチパネルまたはキーボード７の比較的大きな入力部を操作することで、携帯型電話９の機能を利用することができる。
【００４０】
図８は、頭部４に備えられたカメラ１に入力された情報を、通話／通信用信号として携帯型電話機９から送信する実施の形態を示した概念図である。カメラ１は、ユーザの顔の動きまたは身体の動作を画像データとして撮像する。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が画像である場合には、画像データはそのまま携帯型電話機９へ送られる。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が音声である場合には、視覚処理部２１７に備えられた画像認識音声変換部２３１が画像データを音声情報へ変換する。ユーザ２４が指示した携帯型電話機９から送信する信号の表現形式が文字である場合には、視覚処理部２１７に備えられた画像認識文字変換部２３２が画像データを文字情報へ変換する。
【００４１】
例えば、カメラ１がユーザ２４の手話を撮像する。画像認識音声変換部２３１または画像認識文字変換部２３２がこの手話の意味を認識して音声情報または文字情報へ変換する。より詳細には、画像データから画像処理によって手の形、動きなどを抽出し、手話の内容を自動認識する手法が用いられる。ここで用いられる画像認識音声変換部２３１または画像認識文字変換部２３２は、例えば、特開平１１−３０６３１６号公報（手話認識方法および手話認識装置および記録媒体）等を用いることによって実現され得る。
【００４２】
尚、本実施の形態は、カメラ１により撮像された画像データを用いているが、カメラを用いることなく、センサを取り付けた専用手袋などを用意し、その信号をパーソナルロボット１００に取り込んでもよい。このような実施の形態は、例えば、特開平５−２４１４９６号公報（手話翻訳装置）等を用いることによって実現され得る。
【００４３】
画像データから画像処理によって唇の動きを抽出し、話の内容を自動認識する手法がある。このような手法に用いられる画像認識音声変換部２３１または画像認識文字変換部２３２は、例えば、特開平１１−２１９４２１号公報（画像認識装置及び画像認識装置方法）等を用いることによって実現され得る。
【００４４】
本実施の形態によれば、ユーザ２４が聾唖者である場合であっても、ユーザ２４は、手話を音声情報または文字情報として携帯型電話機９から発信させることができる。また、ユーザ２４の唇の動きをパーソナルロボット１００が読み取って、携帯型電話機９から音声情報または文字情報を送信することができる。
【００４５】
図４および図５に示したように、パーソナルロボット１００は、携帯型電話機９が受信した音声情報または文字情報を、文字情報としてディスプレイ６に表示し、若しくは、音声情報としてスピーカ２から出力することができる。また、図６から図８に示したように、パーソナルロボット１００は、ユーザ２４の発声、ユーザ２４によるタッチパネルまたはキーボード７からの入力、手話または唇の動きなどを、音声情報、画像情報または文字情報として携帯型電話機９から発信させることができる。また、操作コマンドとして携帯型電話機９を操作することができる。従って、本実施の形態によれば、ユーザ２４が身体障害者や老人等であっても、携帯型電話機９を介して容易に他人と通話／通信を行うことができる。
【００４６】
図９は、上述の実施の形態によるパーソナルロボット１００を使用して、耳の不自由なユーザ２４が通話相手３４と電話で会話する様子を示した概念図である。通話相手３４が発した声は、音声情報として携帯型電話機９１から携帯型電話機９に送信され、パーソナルロボット１００に渡される。パーソナルロボット１００は、この音声情報を文字情報または手話画像に変換し、この文字情報または手話画像をディスプレイ６に表示する。ユーザ２４は、文字情報または手話画像を見ることによって、通話相手３４の会話内容を理解することができる。なお、ユーザ２４への手話画像の提示に代わり、パーソナルロボットにアームを設けて手話を表現することも可能である。
【００４７】
通話相手３４の会話内容に対応して、ユーザ２４は、音声、タッチパネルまたはキーボード７からの入力、あるいは手話または唇の動きによって返事をする。音声はパーソナルロボット１００のマイク３から、手話または唇の動きはパーソナルロボット１００のカメラ１から入力される。ユーザ２４が音声で返事をした場合には、その音声は、音声情報としてそのまま携帯型電話機９から携帯型電話機９１を通して通話相手３４へ伝えられる。ユーザ２４がタッチパネルまたはキーボード７からの文字入力で返事をした場合には、入力内容が音声情報へ変換されて、ユーザ２４が手話で返事をした場合には、手話の内容が音声情報へ変換されて、またユーザ２４が唇の動きで返事をした場合には、その唇の動きが音声情報へ変換されて携帯型電話機９から携帯型電話機９１を通して通話相手３４へ伝えられる。このように、本実施の形態によるパーソナルロボット１００は、音声情報、文字情報および画像情報を融合させた形態での通信を可能にする。
【００４８】
ユーザ２４は、相手から受信した情報を何れの表現形式に変換して出力するかや、相手へ発信する情報を何れの表現形式で入力するかなどは、パーソナルロボット１００に指示設定すればよい。
【００４９】
図１０は、本発明に係る他の実施の形態に従ったパーソナルロボット３００の外観図およびその利用形態を示した概念図である。パーソナルロボット３００は、基体３０３および頭部３０４を備えている。頭部３０４は、ディスプレイ３０６、カメラ３０１、スピーカ（図示せず）およびマイク（図示せず）を有する。カメラ３０１は、ディスプレイ３０６が設けられた面内にかつディスプレイ３０６の近傍に配備されている。それによって、カメラ３０１は、ディスプレイ３０６の画面前方に存在するものを撮像することができる。頭部３０４は基体３０３を支点として動作する。それによって、ディスプレイ３０６およびカメラ３０１は上下左右に向くことができる。さらに、パーソナルロボット３００は、その底部に移動機構３０８を備え、前後左右に自在に移動することができる。
【００５０】
パーソナルロボット３００は、図２に示した制御装置２００と同様の制御装置を有する。しかし、パーソナルロボット３００は、カメラ１によって撮像された画像データに基づいて、人物の顔を検出し、次に、ユーザ２４を認証し、さらに、ディスプレイ３０６の文字情報等をユーザ２４が読み易い位置へ自動的に移動するとともに、ユーザ２４に合ったサービスメニューを提供する。
【００５１】
画像データ内の人物の顔を検出し、その顔がユーザ２４であることを認証する方法としては、部分空間法および相互部分空間法が用いられる。部分空間法および相互部分空間法は、エルッキ・オヤによる“パターン認識と部分空間”（産業図書）、前田賢一による“パターン認識方式”、山口修等、“動画像を用いた顔認識システム”（信学技報、ＰＲＭＵ９７−５０、１９９７）または特開昭６０−５７４７５に記載されている。また、パーソナルロボット３００とユーザ２４との間の距離は、顔画像の大きさと顔の平均的な大きさのデータから推定する。
【００５２】
本実施の形態によるパーソナルロボット３００は、ディスプレイ３０６をユーザ２４の顔の方向へ向け、尚且つ、ユーザ２４から所定の距離３５だけ離れた位置まで移動する（Ｓ１１２）。これによって、パーソナルロボット３００は、文字情報等をユーザ２４に読み易い位置で表示することができる。
【００５３】
図１１は、携帯型電話機９の着脱に関するパーソナルロボット１００または３００の動作を示す概念図である。ユーザ２４の在宅中には、携帯型電話機９はパーソナルロボット１００に設けられたホルダ１０に常時挿入される。ユーザ２４の外出中には、携帯型電話機９はホルダ１０から取り外される。
【００５４】
携帯型電話機９がホルダ１０に挿入されている場合には、パーソナルロボット１００は、ユーザ２４が在宅中であると認識する。一方で、携帯型電話機９がホルダ１０から取り外されている場合には、パーソナルロボット１００は、ユーザ２４が外出中であると認識する。携帯型電話機９がホルダ１０に挿入されているか否かは、携帯型電話機用充電管理部２１５でチェックされる。
【００５５】
これによって、パーソナルロボット１００は、ユーザ２４が在宅中である場合とユーザ２４が外出中である場合とで異なるサービスを提供することができる。
【００５６】
例えば、ユーザ２４が在宅中の場合には、パーソナルロボット１００は在宅モード４０に設定される。在宅モード４０は、音楽のダウンロードや再生、情報検索表示、家電機器のコントロールといった、ユーザ２４に対するサービスの提供が中心となる。また、この時は、携帯型電話機に対する充電も行われる。
【００５７】
一方、ユーザ２４が外出中の場合には、パーソナルロボット１００は不在モード４１に設定される。不在モード４１は、訪問者および電話の応対、室内巡回監視などのセキュリティサービス等が提供される。パーソナルロボット３００もこれらのサービスを提供することができる。
【００５８】
上述の実施の形態は、パーソナルロボットに関する実施の形態であるが、本発明は、パーソナルロボットに限らず、様々な通信補助装置として実施することができる。
【００５９】
尚、特開２００１−１９５１１３および特開２００１−１２５５８５に開示されたシステムは、ロボットを主とし、これを制御する制御信号を送受信するために専用の携帯型電話機を搭載している。しかし、本発明に係る実施の形態は、携帯型電話機を主とし、これの通話／通信機能を拡張することによって、通話または通信時にユーザを補助する。
【００６０】
【発明の効果】
本発明による通信補助装置は、携帯型電話機と同程度の簡単な操作でユーザに対して様々な表現形式で通信または通話サービスを提供できる。
【図面の簡単な説明】
【図１】本発明に係る実施の形態に従ったパーソナルロボット１００の外観図。
【図２】パーソナルロボット１００内部に設けられた制御装置２００の構成を示すブロック図。
【図３】本実施の形態においてインターネット情報または電子メールの送受信の利用形態を示す概念図。
【図４】携帯型電話機９が着信した通話／通信用信号を、パーソナルロボット１００が文字として表示する実施の形態を示した概念図。
【図５】携帯型電話機９が着信した通話／通信用信号を、パーソナルロボット１００が音声として出力する実施の形態を示した概念図。
【図６】マイク３に入力された音声情報を、通話／通信用信号として携帯型電話機９から送信したり、携帯型電話機９の操作コマンドとして受け付ける実施の形態を示した概念図。
【図７】タッチパネルまたはキーボード７から入力された情報を、通話／通信用信号として携帯型電話機９から送信したり、携帯型電話機９の操作コマンドとして受け付ける実施の形態を示した概念図。
【図８】頭部４に備えられたカメラ１から入力された情報を、通話／通信用信号として携帯型電話機９から送信する実施の形態を示した概念図。
【図９】パーソナルロボット１００を使用して、耳の不自由なユーザ２４が通話相手３４と電話で会話する様子を示した概念図。
【図１０】本発明に係る他の実施の形態に従ったパーソナルロボット３００の外観図およびその利用形態を示した概念図。
【図１１】携帯型電話機９の着脱に関するパーソナルロボット１００または３００の動作を示す概念図。
【図１２】ユーザとのやりとりを通してユーザに何らかのサービスを提供するパーソナルロボットの一般的な構成を示す図。
【図１３】このパーソナルロボットの典型的な制御装置のブロック図。
【符号の説明】
１００、３００  パーソナルロボット
１０１  頭部
１０２  胴体部
１  カメラ
２  スピーカ
３  マイク
５  腕部
６  ディスプレイ
７  タッチパネルまたはキーボード
８  移動機構
２００  制御装置
２１１  全体管理部
２１２  作業計画部
２１３  通信処理部
２１４  腕部・頭部制御部
２１５  携帯型電話機用充電管理部
２１６  データ入出力管理部
２１７  視覚処理部
２１８  音声処理部
２１９  付加サービス機能部
２２０  移動機構制御部
２２１  携帯型電話機用インターフェース
２２２  辞書データ記憶部
【図１】
2004214895.tif 000003
【図２】
2004214895.tif 000004
【図３】
2004214895.tif 000005
【図４】
2004214895.tif 000006
【図５】
2004214895.tif 000007
【図６】
2004214895.tif 000008
【図７】
2004214895.tif 000009
【図８】
2004214895.tif 000010
【図９】
2004214895.tif 000011
【図１０】
2004214895.tif 000012
【図１１】
2004214895.tif 000013
【図１２】
2004214895.tif 000014
【図１３】
2004214895.tif 000015