(57)【要約】  【課題】簡便なボタン操作で音声認識の候補の範囲を狭く絞り込み，入力を効率化する携帯情報処理装置を提供する。  【解決手段】音声認識装置が認識した認識入力データに一致する索引データに対応する一致入力データを，縦横の行列状に配置された操作ボタンのうち押下された操作ボタンが位置する行と列に基づき認識入力データの属性と処理の種別を判断し，認識入力データの属性に対応する分類の前記辞書データから当該認識入力データと一致する索引データに対応する一致入力データを抽出する一致入力データ抽出手段と，前記判断された認識入力データに基づく処理の種別が出力である場合は，前記データベースにおいて前記認識入力データの属性に対応する属性データから一致入力データと等しい属性データを検索し，検索された属性データと関係付けられた別の属性の属性データを抽出し出力する属性データ出力手段とを有する携帯情報処理装置。【選択図】    図４
2007072671.tif 000002
【特許請求の範囲】
【請求項１】
操作ボタンの押下と音声入力に応答して，前記入力音声を音声認識装置が認識した認識入力データに一致する一致入力データを辞書データから抽出し，前記一致入力データに基づいて当該一致入力データの属性に対応する情報処理を行う携帯情報処理装置において，
前記情報処理は，前記一致入力データの属性に対応して複数の情報処理を有し，
複数配置された操作ボタンのうち押下された操作ボタンの位置に基づき，前記一致入力データの属性を判断し，前記判断した属性に対応する前記辞書データから，当該認識入力データに一致する一致入力データを抽出する一致入力データ抽出手段を有する携帯情報処理装置。
【請求項２】
請求項１において，
前記複数の操作ボタンは行列状に配置されており，
前記一致入力データ抽出手段は，前記押下されたボタンが位置する行または列に基づき前記一致入力データの属性および前記一致入力データに基づく情報処理の種別を判断することを特徴とする携帯情報処理装置。
【請求項３】
請求項２において，
属性データが相互に関係付けられたデータベースと，
前記判断した情報処理の種別が出力である場合は，前記データベースにおいて前記一致入力データと等しい属性データを検索し，検索された属性データと関係付けられた別の属性データを抽出し出力する属性データ出力手段とをさらに備える携帯情報処理装置。
【請求項４】
請求項３において，
前記属性データ出力手段は，前記出力された属性データについてユーザに選択入力を促し，前記一致入力データ抽出手段により抽出される，前記一致入力データとは別の一致入力データに基づいて，前記出力された属性データとは別の属性データをさらに出力することを特徴とする携帯情報処理装置。
【請求項５】
請求項３において，
前記データベースはスケジュールデータのデータベースであって，当該属性データは「時間」，「場所」，および音声データである「スケジュール内容」であり，
前記属性データ出力手段は，抽出された属性データが「スケジュール内容」である場合は，当該音声データを再生することを特徴とする，携帯情報処理装置。
【請求項６】
請求項５において，
前記属性データ出力手段は，前記入力音声と類似する音声データである「スケジュール内容」を再生することを特徴とする，携帯情報処理装置。
【請求項７】
請求項３において，
前記データベースの属性データは外部機器に対する制御コマンドであって，
前記判断された情報処理の種別は前記外部機器の種別であり，
前記属性データ出力手段は，前記判断された外部機器に対して，前記抽出された制御コマンドを出力することを特徴とする，携帯情報処理装置。
【請求項８】
請求項２において，
属性データが相互に関係付けられたデータベースと，
前記判断された情報処理の種別が入力である場合は，前記データベースの属性に前記一致入力データの属性を対応させて当該一致入力データを前記データベースに入力する属性データ入力手段とをさらに有し，
前記属性データ入力手段は，前記入力音声を前記データベースに入力する手段を備えた携帯情報処理装置。
【請求項９】
操作ボタンの押下と音声入力に応答して，前記入力音声を音声認識装置が認識した認識入力データに一致する一致入力データを辞書データから抽出し，前記一致入力データに基づいて，属性データが相互に関係付けられたデータベースに対し前記一致入力データの属性に対応した複数の情報処理を行う携帯情報処理装置の入出力方法において，
行列状に配置された操作ボタンのうち押下された操作ボタンが位置する行または列に基づき，前記一致入力データの属性と，前記一致入力データに基づく情報処理の種別とを判断し，前記判断した属性に対応する前記辞書データから当該認識入力データに一致する一致入力データを抽出する一致入力データ抽出工程と，
前記判断された情報処理の種別が出力である場合は，前記データベースにおいて前記一致入力データと等しい属性データを検索し，検索された属性データと関係付けられた別の属性の属性データを抽出し出力する属性データ出力工程とを有する携帯情報処理装置の入出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯情報処理装置に関し，特に情報処理の目的に応じて分類された辞書をボタン操作により特定して音声認識を行うことにより入力操作と入力情報の処理を簡略化する携帯情報処理装置に関する。
【背景技術】
【０００２】
近年，携帯電話機には音声通信機能に加え種々の情報処理機能が搭載されるようになっており，情報処理装置としての側面を有している。よって，かかる携帯電話機に入出力する情報も複雑化している。例えば，スケジュール機能を搭載した携帯電話機には，時間，場所，スケジュールの内容などの多岐にわたる情報を適宜入出力することが必要となる。
【０００３】
情報の入力に際しては，操作ボタンに文字を割り当て，ボタンの押下に応じた文字入力を行うことが一般的である。しかし，情報量が増加するにつれ，全ての入力を文字で行おうとすると，操作は煩雑になる。また，本来の音声入出力機能を活用して，ユーザが発話した音声を認識し文字列等に変換する音声認識による入力方法も提案されているが，ユーザの発話した音声を高精度に認識するためには，膨大な情報処理を行う必要があり，携帯電話機の筐体に搭載可能な情報処理装置の処理能力を超える。
【０００４】
よって，文字入力と音声認識を組み合わせ，ボタン操作により音声認識の精度を補う入力方法が提案されている。例えば，特許文献１及び特許文献２には，入力する語の文頭の文字をボタン操作により入力し，入力した文字から始まる語を候補として音声認識を行う方法が記載されている。
【特許文献１】特開平１１−１７８１３号公報
【特許文献２】特開２００１−２５５９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら，従来の技術では，次のような問題が生じる。すなわち，ボタン操作による文字入力は５０音を対象としているため，入力した文字から始まる語の候補が多数存在する場合には，誤認識の可能性が大きく音声認識の処理効率も向上しない。結局，さらに入力候補の範囲を絞込むために第２字以降も入力するとなると，ユーザの操作負担が倍増することになる。
【０００６】
そこで、本発明の目的は、簡便なボタン操作で音声認識の候補の範囲を狭く絞り込み，入力を効率化する携帯情報処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の第１の側面によれば，操作ボタンの押下と音声入力に応答して，前記入力音声を音声認識装置が認識した認識入力データに一致する一致入力データを辞書データから抽出し，前記一致入力データに基づいて当該一致入力データの属性に対応する情報処理を行う携帯情報処理装置において，前記情報処理は，前記一致入力データの属性に対応して複数の情報処理を有し，複数配置された操作ボタンのうち押下された操作ボタンの位置に基づき，前記一致入力データの属性を判断し，前記判断した属性に対応する前記辞書データから，当該認識入力データに一致する一致入力データを抽出する一致入力データ抽出手段を有することを特徴とする。
【０００８】
上記第１の側面によれば，前記認識入力データの候補は情報処理に応じた属性ごとに分類された辞書データを参照するので，より狭い範囲から一致入力データを抽出することができ，精度の良い音声認識が可能となる。
【０００９】
上記第１の側面において好ましい実施例によれば，前記複数の操作ボタンは行列状に配置されており，前記一致入力データ抽出手段は，前記押下されたボタンが位置する行または列に基づき前記一致入力データに基づく情報処理の種別をさらに判断することを特徴とする。よって，辞書データの分類と認識入力データに基づく処理の種別を２次元配列された操作ボタンの行と列に対応付けることにより，情報処理の目的に応じた辞書選択を直感的に行うことができる。さらに，辞書分類と処理種別といった異なる２次元の選択肢に対する選択が１の操作ボタンを押下することにより同時に行うことができるので，ボタン操作が簡略化される。
【００１０】
上記第１の側面においてより好ましい実施例によれば，属性データが相互に関係付けられたデータベースにおいて前記一致入力データと等しい属性データを検索し，検索された属性データと関係付けられた別の属性データを抽出し出力する属性データ出力手段とをさらに備えている。さらに，前記属性データ抽出手段は，出力された属性データについてユーザに選択入力を促し，前記一致入力データ抽出手段により抽出される，前記一致入力データとは別の一致入力データに基づいて，前記出力された属性データとは別の属性データをさらに出力することを特徴とする。よって，属性データが相互に関連付けられたデータベースにおいて属性ごとに属性データを検索し，順次絞り込みを行いながら目的とする属性データの組合せを検索する場合に，次の入力データ候補をユーザに表示することにより，ユーザの入力を補助することができる。
【００１１】
上記第１の側面において別の好ましい実施例によれば，前記データベースは，スケジュールデータを格納したデータベースであって，「時間」，「場所」，および「スケジュール内容」の各属性データが相互に関係付けられ，「スケジュール内容」は音声データであることを特徴としている。よって，ユーザが「時間」や「場所」を音声入力する際にこれらの属性に対応する辞書データをボタン操作により選択できるので，音声認識の精度が向上し，スケジュールデータへの入出力を簡便に行うことができる。さらに，スケジュールデータ内の「スケジュール内容」については音声により入出力をすることができ，従来のボタンによる文字入力に比べ，多くの情報量であっても容易に入出力することができる。
【００１２】
上記第１の側面において別の好ましい実施例によれば，前記データベースは，外部機器に対する制御コマンドのデータベースであり，前記属性データ出力手段は，選択された外部機器に対して，抽出された制御コマンドを出力することを特徴とする。よって，ユーザは外部のプリンタや画像表示装置などに対する画像加工コマンドを音声入力とボタン操作により入力し，画像データとともに一連のコマンドをプリンタ等に送信でき，携帯電話機などを外部機器の入力装置として利用することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面にしたがって本発明の実施の形態について説明する。但し，発明の技術的範囲はこれらの実施の形態に限定されず，特許請求の範囲に記載された事項とその均等物まで及ぶものである。
【００１４】
図１は，本実施の形態におけるシステムの概略構成図である。本実施の形態における携帯電話機は，音声通信機能のための音声入出力部と，操作ボタンが配置されたボタン入力部，画像表示部に加え，音声認識部，辞書データ，およびスケジュール機能を具備している。操作ボタンはテンキー形式の行列状に配置されており，かかる条件の下での入力の操作を簡便化している。ただし，同等の構成を具備していれば，ＰＤＡなどの携帯情報処理装置であってもよく，テンキー形式以外の操作ボタン配列も可能である。
【００１５】
携帯電話機に相当する携帯情報処理装置１００は，記憶部１０，制御部２０，ボタン入力部３０，音声入力部４０，音声認識部５０，情報処理部６０，出力部７０を有しており，各部は信号線１０１で接続されている。記憶部１０には，辞書データ１２と，スケジュールデータ１４を有するデータベース１６が格納されている。さらに辞書データ１２には時間情報辞書データ１２２，場所情報辞書データ１２４といった辞書データが格納されており，データベース１６には，スケジュールデータ１４の属性に対応して時間情報属性データ１４２，場所情報属性データ１４４，スケジュール内容属性データ１４６といったデータが格納されている。
【００１６】
ボタン入力部３０は，操作ボタンの押下信号３２を受信し，情報処理部６０に供給する。情報処理部６０は，同信号に基づき押下された操作ボタンの位置を判断し，辞書データ１２から参照すべき情報の辞書データ，例えば時間情報辞書データ１２２を選択する。また，音声認識部５０が認識した認識入力データ５２と一致する一致入力データ６２に基づく情報処理の種別，例えばスケジュールデータの呼び出しを判断する。一方，音声入力部４０はユーザの発話した音声データ４２を受信して音声認識部５０に供給し，音声認識部５０は，同音声データを認識して文字列等の認識入力データ５２に変換して情報処理部６０に供給する。
【００１７】
情報処理部６０は，前記選択した辞書データ１２の情報を参照し，認識入力データ５２に一致する索引データと対応する一致入力データ６２を抽出したり，スケジュールデータ１４を参照し，前記一致入力データ６２と一致する属性データを検索したりといった，データ検索やマッチング処理を行う。また，前記一致入力データ６２の情報処理の種別に応じて，スケジュールデータ１４における属性データの入力・更新を行う。
【００１８】
出力部７０は情報処理部６０から供給される抽出された属性データを画像表示部８０により携帯電話機の画面に表示する。また，スケジュール内容１２６の属性データが音声データである場合は，音声出力部９０により音声を再生する。
【００１９】
別の実施形態において，携帯電話機を外部機器の入力装置として利用する場合は，辞書データ１２とデータベース１６のスケジュールデータ１４の内容が，外部機器に対するコマンドの変数の辞書データや，前記変数にコマンドを対応させたアルゴリズムデータに置き換わる。ユーザの入力に基づき，情報処理部６０により抽出されたコマンドが画像データなどとともに出力部７０を介して，ケーブル接続された外部画像表示装置２００に送信され，または外部画像形成装置２２０や外部ファイル装置２４０へアンテナ７２から無線送信される。
【００２０】
図２は辞書データ１２とスケジュールデータ１４（データベース１６）それぞれのデータ構造と，データ相互の関係を説明する図である。この例では，辞書データ１２の時間情報辞書データ１２２と場所情報辞書データ１２４，及びスケジュールデータ１４を便宜上テーブル形式で表現して説明する。時間情報辞書データ１２２と場所情報辞書データ１２４の辞書データは，それぞれＣ１２２−１，Ｃ１２４−１の列に索引データを有している。
【００２１】
これら辞書データは，ユーザの発話音声の認識入力データ５２と一致する索引データと対応する一致入力データ６２を検索するために使用される。どの情報の辞書データを参照するかは，ユーザのボタン操作により特定される。すなわち，音声認識された認識入力データ５２に一致するデータの検索を広範な辞書データに対して行うのではなく，一致入力データ６２の属性をユーザが意図する情報処理に応じて予め分類し，その分類に対応する辞書データを特定して参照することにより，一致入力データの検索の効率化を図ることができる。例えばスケジュール管理などユーザの意図する情報処理に応じて分類した時間情報辞書データ１２２や場所情報辞書データ１２４の範囲内に特定することにより，音声認識の効率化を図ることができる。
【００２２】
スケジュールデータ１４は，時間情報属性データ１４２，場所情報属性データ１４４，スケジュール内容属性データ１４６といった属性データを有しており，それぞれの属性に対応する属性データが相互に関係付けられ格納されている。これらの関連付けられた属性データは，いつ，どこで，何をするか，という情報を有するスケジュールデータを形成している。
【００２３】
辞書データ１２における一致入力データ６２は，スケジュールデータ１４において関係付けられる属性データと同じ属性（データ型やデータ長）を有するデータであるので，一致入力データ６２を用いてスケジュールデータ１４への入力や，スケジュールデータ１４における属性データとのマッチングを行うことができる。
【００２４】
時間情報辞書データ１２２を例に説明する。ユーザが発話し，音声認識部により認識された認識入力データ５２が「なのか」という文字列であるとすると，時間情報辞書データ１２２において認識入力データに一致する「なのか」という索引データが行Ｒ１２２−２に存在し，「７日」という時間情報辞書データが対応しているので，この時間情報辞書データ「７日」が認識入力データ５２「なのか」に一致する索引データと対応する一致入力データ６２である。すると，スケジュールデータ１４の時間情報属性データ１４２に対応する属性データ「７日」は図示したように複数存在しており，時刻の属性データ「ＰＭ３時」，「ＡＭ９時」，「ＡＭ１２時」が関係付けられている。
【００２５】
また，同様にして，上記の時刻の時間情報属性データの中から「ＰＭ３時」を選択してユーザが発話すると，認識入力データ５２「さんじ」に一致する索引データと対応する一致入力データ６２「ＰＭ３時」が行Ｒ１２２−１から抽出できる。ここで，「ＰＭ３時」は，先に抽出された一致入力データ「７日」とは別の一致入力データである。すると，先に抽出されたスケジュールデータ１４の時間情報属性データ「７日」に関係付けられた属性データ「ＰＭ３時」は，図示したように複数存在している。ここで，「ＰＭ３時」が，先に抽出された時間情報属性データ「７日」とは別の属性データとして抽出される。なお，「７日」，「ＰＭ３時」には，場所情報属性データ「市役所」，「学校」，「自宅」がさらに関係付けられている。
【００２６】
次に，ユーザの発話に基づく認識入力データ５２「しやくしょ」と一致する場所情報辞書データ１２４における一致入力データ６２「市役所」が抽出できる（行Ｒ１２４）。すると，スケジュールデータ１４の時間情報属性データ「７日」，「ＰＭ３時」に関係付けられた場所情報属性データ「市役所」には，スケジュール内容属性データ「住民票の取得」と「戸籍謄本の取得」がさらに関係付けられているのがわかる。
【００２７】
上記のように，時間情報辞書データ１２２，場所情報辞書データ１２４から抽出される一致入力データ６２は，それぞれスケジュールデータ１４における時間情報属性データ１４２，場所情報属性データ１４４に対応し，これらの属性データには，スケジュール内容属性データ１４６が対応付けられるという関係にある。よって，所望のスケジュール内容属性データを呼び出すためには，時間情報属性データ，場所情報属性データを順次絞り込めばよい。
【００２８】
なお，辞書データ１２，スケジュールデータ１４（データベース１６）は，いずれも図示したようなテーブル構造を有していなくてもよい。辞書データ１２においては，認識入力データ５２に一致する索引データと対応する一致入力データ６２が関連付けられて格納されていればよく。スケジュールデータ１４も，属性データが相互に関係付けられていればよい。
【００２９】
図３は，本実施の形態におけるスケジュール情報の呼び出し処理の全体を説明するフローチャート図である。図４〜図９では，図３を参照しながら，スケジュール機能を有する携帯電話機における情報の入力手順を説明する。
【００３０】
図４は，操作ボタンの配列と辞書データ１２の分類，スケジュールデータ１４，および一致入力データ６２の情報処理種別判断の対応関係を説明する図である。ボタン入力部３０には「１」〜「９」までの操作ボタンが縦横に３個ずつ行列状に配置されており，押下する操作ボタンの位置に基づき，一致入力データ６２の属性を判断し，さらにその属性に対応する辞書データ１２の種類と，一致入力データ６２に基づく情報処理の種別が判断される。具体的には，かかる各操作ボタンに対し，横の行ＢＲ１〜ＢＲ３には選択する辞書データ１２の分類とスケジュールデータの属性を，縦の列ＢＣ１〜ＢＣ３には一致入力データ６２に基づく情報処理の種別ＴＰをそれぞれ対応させている。よって，１個のボタンには，選択する辞書データ１２の分類と，一致入力データ６２に基づく情報処理の種別の２次元の選択肢が割り当てられている。
【００３１】
例えば，ボタン「１」，「２」，「３」は時間情報辞書データ１２２を選択するボタンの行ＢＲ１に対応しており，ボタン「３」「６」，「９」は，一致入力データ６２に基づく処理「呼び出し」を行う列ＢＣ３に対応している。よって，ボタン「３」には，時間情報辞書データ１２２を参照し，一致入力データ６２について処理「呼び出し」を行うという機能が割り当てられている。
【００３２】
具体的な処理としては，ユーザがボタン「３」を押下しながら発話した場合は，ボタン入力部３０から同入力を受けた情報処理部６０は，押下されたボタンの位置に基づき，参照する辞書データ１２の分類が時間情報辞書データ１２２であることを判断する（ステップＳ１０）。一方，音声認識部５０は，音声入力部４０から供給された音声データ４２を認識し，認識入力データ５２に変換する（ステップＳ２０）。さらに情報処理部６０は，認識入力データ５２と一致する一致入力データ６２に基づく処理の種別が「呼び出し」であることを判断する。
【００３３】
同様にして，行ＢＲ２は場所情報辞書データ１２４に，行ＢＲ３はスケジュール内容属性データ１４６に対応し，列ＢＣ１は認識入力データ５２に基づく処理「育成」に，列ＢＣ２は処理「入力」に対応している。 なお，処理「呼び出し」とは，一致入力データ６２に基づき，既存のスケジュール情報をスケジュールデータ１４から取得して出力する処理を言い，処理「入力」とは，一致入力データ６２に基づき，新規のスケジュール情報をスケジュールデータ１４へ登録する処理を言い，処理「育成」とは，認識入力データ５２に基づき，辞書データ１２へ抽出可能な新規の登録を行う処理を言う。
【００３４】
以上のように，一致入力データの属性に対応する情報処理とは，「時間」の属性を有する一致入力データと一致する属性データをスケジュールデータ１４から検索したり，「場所」の属性を有する一致入力データと一致する属性データを検索したりというように，一致入力データの異なる属性に応じて異なる情報処理がなされることを言う。さらに，情報処理の種別とは，これら異なる情報処理のそれぞれにおいて，一致入力データと一致する属性データの検索・抽出（呼び出し）や，入力（登録）などを行うことを言う。このように，辞書データの分類を２次元配列された操作ボタンの行に，一致入力データに基づく情報処理の種別を操作ボタンの列に対応付けることにより，ユーザは情報処理の目的に応じた辞書選択を直感的に行うことができる。また，辞書分類と処理種別といった異なる２次元の選択肢に対する選択が１の操作ボタンを押下することにより同時に行うことができるので，ボタン操作が簡略化される。さらに，ボタン操作と同時に発話を行うので，辞書の分類，処理の種別，発話内容と３次元の異なる入力を同時に携帯電話機に与えることができ，簡便な操作性を実現できる。なお，１つの操作ボタンに複数次元の選択肢を割り当てられていれば，必ずしも操作ボタンは行列状に配置されていなくてもよい。
【００３５】
上述したようなボタン入力部３０の列ＢＣ３に位置するボタン「３」，「６」，「９」の操作により，処理「呼び出し」を行う場合の画像表示部８０が表示する画面遷移例を図５〜７を用いて説明する。
【００３６】
図５は，画像表示部８０が表示する，携帯電話機のスケジュール機能を呼び出した場合の，入力待ち画面を説明する図である。初期画面としてカレンダーを表示し，カレンダー上に「いつ？」と表示することにより，ユーザに時間情報属性データ１４２に関する入力を促す。
【００３７】
図６は，図５の指示待ち画面に対する入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。まず，図６（Ａ）では，時間情報辞書データ１２２について日付を入力する場合を説明している。ユーザはボタン「３」を押下しながら「なのか」と発話すると，プッシュボタン押下信号３２がボタン入力部３０に，音声データ４２が音声入力部４０に供給される（図３のステップＩＮ３２，ＩＮ４２）。ボタン「３」の押下信号３２を受けて情報処理部６０は時間情報辞書データ１２２を選択し（ステップＳ１０），音声認識部５０が認識した（ステップＳ２０）認識入力データ５２「なのか」と一致する索引データと対応する一致入力データ６２を前記辞書から抽出する（ステップＳ３０）。なお，ステップＳ１０とステップＳ２０の後先は逆でもよく，同時でもよい。
【００３８】
図２で説明したように時間情報辞書データ１２２には「７日」という一致入力データ６２が存在するので，情報処理部６０は時間情報辞書データ「７日」を抽出する。そして，スケジュールデータ１４の時間情報属性データ１４２を検索すると（図３のステップＳ４０），属性データ「７日」が複数存在しており，それぞれに時刻を表す時間情報属性データ，場所情報属性データ，スケジュール内容属性データが関係付けられている。
【００３９】
よって，図６（Ａ）のように，画像表示部８０には「７日」に関係付けられた時刻，場所のリストが表示され（ステップＳ４２），さらに「何時？」と表示しユーザに選択入力を促している。よって，ユーザはスケジュールデータを絞り込むために時刻を入力する際は，再度操作ボタンを押下しながら上記リストのなかから選択した時刻を発話すればよい（ステップＳ５０のＹＥＳ）。
【００４０】
次に図６（Ｂ）では，時間情報辞書データ１２２について時刻を入力する場合を説明している。上記同様，ユーザはボタン「３」を押下しながら「さんじ」と発話する。ボタン「３」の押下信号３２を受けて情報処理部６０は時間情報辞書データ１２２を選択し（図３のステップＳ１０），音声認識部５０が認識した（ステップＳ２０）認識入力データ５２「さんじ」と一致する索引データと対応する一致入力データ６２を前記辞書から抽出する（ステップＳ３０）。すると，時間情報「ＰＭ３時」が抽出される。
【００４１】
そして，スケジュールデータ１４の時間情報属性データ１４２を検索すると（ステップＳ４０），図２に示すように属性データ「ＰＭ３時」が複数存在しており，それぞれに場所を表す場所情報属性データ１４４，スケジュール内容属性データ１４６が関係付けられている。よって，図６（Ｂ）に示すように，画像表示部８０には「７日」の「ＰＭ３時」に関係付けられた場所が表示され，さらに「どこで？」と表示しユーザに場所の選択入力を促している（図３のステップＳ４２）。よって，ユーザは場所の入力においては，再度操作ボタンを押下しながら上記リストのなかから選択した場所を発話すればよい（ステップＳ５０のＹＥＳ）。
【００４２】
図７は，場所情報の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。ユーザはボタン「６」を押下しながら「しやくしょ」と発話する。ボタン「６」の押下信号３２を受けて情報処理部６０は場所情報辞書データ１２４を選択し（図３のステップＳ１０），音声認識部５０が認識した（ステップＳ２０）認識入力データ５２「しやくしょ」と一致する索引データと対応する一致入力データ６２を前記辞書から抽出する（ステップＳ３０）。すると「市役所」という一致入力データ６２が抽出される。
【００４３】
そして，スケジュールデータ１４の場所情報１４４を検索すると（ステップＳ４０），図２に示すように属性データ「市役所」が複数存在しており，それぞれにはスケジュール内容属性データ「住民票の取得」，「戸籍謄本の取得」が関係付けられている。よって，図７に示すとおり，画像表示部８０には「７日」，「市役所」に関係付けられたスケジュール内容に関する語をユーザに入力させるよう「何を？」と表示しユーザに選択入力を促している（図３のステップＳ４２）。また，場所情報１４４の「市役所」に関係付けられたスケジュール内容属性データ１４６の存在を，図７の図形Ｐ１により表現することもできる。
【００４４】
図８は，スケジュール内容の入力を促された場合の入力操作，データの対応関係，及び出力を関連付けて説明する図である。ユーザは，すでに抽出されたスケジュール内容属性データ１４６を出力するための入力を行う（ステップＳ５０のＮＯ，Ｓ６０）。そこで，ユーザはボタン「９」を押下しながら「じゅうみんひょう」と発話する。ボタン「９」の押下信号３２を受けて情報処理部６０はスケジュール内容に関する発話がなされ音声データ４２が入力されたことを判断する。
【００４５】
本実施の形態では，スケジュール内容属性データ１４６は音声データとして格納されているので，情報処理部６０は，前記音声データ４２と，格納された音声データであるスケジュール内容属性データ１４６を比較し，スケジュール内容属性データ１４６から音声データ４２と近似する順番に抽出し，音声出力部９０から出力する。すなわち，音声データ４２の「じゅうみんひょう」に最も近似するのは，スケジュール内容属性データ「住民票の取得」であるので，「じゅうみんひょうのしゅとく」と音声が再生される（ステップＳ６０）。または，発話をせずに，スケジュール内容属性データ１４６の存在を表現した図形Ｐ１（図７）をボタン操作により選択して，音声データを再生することもできる。
【００４６】
上述した入力手順によれば，ユーザは「時間」や「場所」を音声入力する際にこれらの属性に対応する辞書データを直感的に配置されたボタン操作により選択できるので，例えば５０音のいずれかを入力する場合に比べると，操作が簡便に行える。また，一致入力データの属性別に分類した辞書データを参照するので，音声認識の精度が向上し，スケジュールデータへの入出力を効率的に行うことができる。さらに，スケジュールデータ内の所望の「スケジュール内容」については音声により入出力をすることができ，従来のボタンによる文字入力に比べ，多くの情報量であっても容易に入出力することができる。
【００４７】
図５〜図８では，時間，場所，スケジュール内容という順番にスケジュールデータの呼び出しを行う場合を示したが，上記入力例の変形例を図９で説明する。
【００４８】
図９は，場所情報から入力する場合の表示画面例を説明する図である。まず，ユーザが携帯電話機のスケジュール機能を起動した時には図９（Ａ）のようなカレンダーを表示する。すると，カレンダーの一部を拡大した図９（Ｂ）のように，例えば時間情報「１４日」には場所情報「学校」と「市役所」に関係付けられたスケジュール内容が格納されていることが図形Ｐ１を用いて表示される。すなわち，時間情報は絞り込みを行わずに一覧表示し，時間情報に関係付けされた場所情報とスケジュール情報を表示する画面例である。
【００４９】
ここで，ユーザは上述した場所情報１４２の入力手順に従って，例えば「市役所」という場所情報を操作ボタンを押下しながら発話して入力すると，「市役所」に関係付けされたスケジュール内容の音声再生をすることができる。
【００５０】
また，スケジュール機能の起動時に図９（Ｃ）に示すように地図を表示させることもできる。この場合，時間情報は，ユーザがスケジュール機能を起動した日付が用いられる。同図の一部を拡大した図９（Ｄ）には，地図上の市役所の位置に，場所情報「市役所」に関係付けられたスケジュール内容が格納されていることが図形Ｐ１を用いて表示される。ここで，ユーザは上述した場所情報１４２の入力手順に従って，例えば「市役所」という場所情報を操作ボタンを押下しながら発話して入力すると，「市役所」に関係付けされたスケジュール内容の音声再生をすることができる。
【００５１】
上記のような変形例によれば，カレンダーや地図といった直感的な表示形態を用い，より短縮された手順でスケジュール内容を確認することが可能となる。
【００５２】
図１０〜図１４は，一致入力データ６２に基づく処理の種別が「入力」である場合の手順を説明している。
【００５３】
図１０は，入力手順の全体の流れを説明するフローチャート図である。図３におけるステップＳ１０〜Ｓ３０と共通する手順の後，ステップＳ３０から続く手順を説明している。本フローチャート図を参照しながら，図１１〜図１３の入力手順の画面遷移を説明する。
【００５４】
図１１は，時間情報属性データ１４２について日付を入力する場合の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。ユーザはボタン「２」を押下しながら「ようか」と発話する。ボタン「２」の押下信号３２を受けて情報処理部６０は時間情報辞書データ１２２を選択し（図３のステップＳ１０），音声認識部５０が認識した（ステップＳ２０）認識入力データ５２「ようか」と一致する索引データと対応する一致入力データ６２「８日」を前記辞書から抽出する（ステップＳ３０）。
【００５５】
また，情報処理部６０は，ボタン「２」の位置する列は処理「入力」に対応する列ＢＣ２（図４）であることから，前記一致入力データ６２「８日」をスケジュールデータ１４に格納する処理を実行する（図１０のステップＳ１４０）。このような処理の結果，画像表示部８０には，図１１のように時間情報属性データ「８日」が格納されたことが表示され，さらに「どこで？」と表示しユーザに「８日」に関係付けられた場所の入力を促している。
【００５６】
図１２は，場所情報属性データ１４４について場所情報を入力する場合の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。ユーザはボタン「５」を押下しながら「がっこう」と発話する。ボタン「５」の押下信号３２を受けて情報処理部６０は場所情報辞書データ１２４を選択し（図３のステップＳ１０），音声認識部５０が認識した（ステップＳ２０）認識入力データ５２「がっこう」と一致する索引データと対応する一致入力データ６２「学校」を前記辞書から抽出する（ステップＳ３０）。
【００５７】
情報処理部６０は，前記時間情報属性データ１４２の新規の属性データ「８日」に関係付けて，場所情報属性データ１４４に対する新規の属性データとして「学校」をスケジュールデータ１４に登録する処理を実行する（図１０のステップＳ１４０）。このような処理の結果，画像表示部８０には，時間情報属性データ「８日」に続いて場所情報属性データ「学校」が登録されたことが表示され，さらに「何を？」と表示しユーザに「８日」と「学校」に関係付けられたスケジュール内容の入力を促している。
【００５８】
図１３は，スケジュール内容属性データ１４６について音声入力する場合の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。ユーザはボタン「８」を押下しながら「じゅぎょうさんかん」と発話する。ボタン「８」の押下信号３２を受けて情報処理部６０は入力された音声データの属性はスケジュールデータ１４におけるスケジュール内容属性データ１４６に対応していると判断し，すでに関係付けられた時間情報属性データ「８日」と場所情報属性データ「学校」に関係付けて，スケジュール内容属性データ１４６として音声データ「じゅぎょうさんかん（授業参観）」をスケジュールデータ１４に登録する（図１０のステップＳ１４０）。
【００５９】
このような処理の結果，図１３で示すように画像表示部８０には，時間情報属性データ「８日」，場所情報属性データ「学校」に関係づけられてスケジュール内容属性データ１４６に「授業参観」が音声データとして登録されたことが図Ｐ１で表示される。そして，スケジュールデータとして必要な属性データの入力が完了したら終了する（図１０のステップＳ１５０のＮＯ）。
【００６０】
以上の手順により，ユーザは入力する情報の属性に応じた辞書選択を直感的に行うことができるので，ボタン操作が簡略化されるとともに，発話した音声データの音声認識も精度よく行うことができ，効率よくスケジュールデータの登録を行うことができる。
【００６１】
図１４は，認識入力データ５２に基づく情報処理の種別が「育成」である場合の入力操作と，データの対応関係，及び画面の表示例を関連付けて説明する図である。例えば，ユーザが「呼び出し」や「入力」の処理を行った際に，「はつか」という発話に対応する認識入力データ５２と一致する索引データと対応する一致入力データ６２が時間情報辞書データ１２２に存在しなかったとする。そのような場合に，「はつか」という発話に一致する時間情報を入力し，辞書を育成することができる。
【００６２】
ユーザはボタン「１」を押下しながら，「はつか」と発話すると，ボタン「１」の押下信号３２を受けて情報処理部６０は入力された音声データの属性は時間情報辞書データ１２２に対応しており，当該認識入力データ５２に対する育成処理を行うことを判断する。よって，画像表示部８０は，カレンダーを表示し，ユーザが「２０日」をボタン操作で特定したら，「はつか」という認識入力データ５２には時間情報「２０日」が対応するということを時間情報辞書データ１２２に登録することができる。よって，ユーザは，一致入力データ６２の候補となる辞書データを適宜増加させることにより，以後の音声認識の精度を向上させることができる。
【００６３】
図１５〜図１９では，携帯電話機を外部機器の入力装置として利用し，携帯電話機の記憶部１０に格納された画像データとともに，同画像データに対する加工処理のコマンドを外部機器に送信する場合の実施形態を説明している。図１で説明したように，本実施形態では，辞書データ１２の内容は，外部機器に対するコマンドを特定する変数の辞書データに，データベース１６の内容は，前記変数にコマンドを対応させたアルゴリズムデータに置き換わる。
【００６４】
図１５は，ボタン入力部３０，辞書データ１２の分類，および一致入力データ６２に基づく情報処理種別の対応関係を説明する図である。押下する操作ボタンの位置に基づき，一致入力データ６２の属性を判断し，さらにその属性に対応する辞書データ１２の種類と，一致入力データ６２に基づく情報処理の種別が判断される。すなわち，ボタン「１」，「２」，「３」は辞書データ１２の被写体情報辞書データ１２３を選択するボタンの行ＢＲ１１に対応しており，行ＢＲ２１は色加工情報辞書データ１２５に対応しており，行ＢＲ３１は印刷時の枚数情報辞書データ１２７に対応している。たとえば，被写体情報辞書データ１２３の内容は，「人物」，「スポーツ」，「屋内」，「風景」といった変数である。
【００６５】
一方，縦の列ＢＣ１１は，使用する外部機器がＰＣなどの外部ファイル装置２４０である場合，ＢＣ２１は使用する外部機器がテレビジョン装置などの外部映像表示装置２００である場合，そしてＢＣ３１は使用する外部機器がプリンタなどの外部画像形成装置２２０である場合の処理の種別ＴＰに対応している。
【００６６】
なお，１つの操作ボタンに複数次元の選択肢を割り当てられていれば，必ずしも操作ボタンは行列状に配置されていなくてもよい。
【００６７】
図１６は，入力する変数にコマンドを対応させたアルゴリズムデータを説明する図である。図１６（Ａ）は，被写体情報辞書データ１２３の変数を列１２３ａに，前記変数に対応する画像加工コマンドを列１２３ｂに関係付けたアルゴリズムデータ１５Ａをテーブル形式に表現したものである。たとえば，被写体「人物」が入力された場合には，「顔を認識し，肌色を所定の色になるように色調整」する画像加工が施されるコマンドが抽出される（行Ｒ１２３）。図１６（Ｂ）は，色加工情報辞書データ１２５の各変数を列１２５ａに，前記変数に対応する色加工コマンドを列１２５ｂに関係付けたアルゴリズムデータ１５Ｂをテーブル形式に表現したものである。たとえば，色加工「明るく」が選択された場合には，「明度を高く補正」する色加工が施されるコマンドが抽出される（行Ｒ１２５）。これらアルゴリズムデータは，便宜上テーブル形式で表現しているが，変数と各コマンドが関係付けられていればテーブル形式でなくてもよい。
【００６８】
図１７は，使用する外部機器に対応する処理の種別の種類を列１２９ａに，前記種別に対応する画像加工コマンドを列１２９ｂに関係付けたアルゴリズムデータ１６を説明する図である。便宜上，テーブル形式で表現しているが，外部機器の種類と画像加工コマンドが関係付けられていればテーブル形式でなくてもよい。例えば，ＰＣなどの外部ファイル装置２４０に画像データを転送する場合は，「圧縮率が高くなるように画像加工」するコマンドが抽出されることを示している（行Ｔ１１）。
【００６９】
画像データを外部画像形成装置２２０に転送する処理の手順を例とした画面遷移を図１８〜１９により説明する。また，処理手順のフローチャートは，図３が適用される。
【００７０】
図１８は，画像表示装置に表示される初期画面の画面例を説明する図である。まず，図１８（Ａ）の表示画面例では，「被写体？」などと表示することにより，ユーザの入力を促す。図１８（Ｂ）は，被写体情報の入力操作，データの対応関係，及び表示画面例を関連付けて説明している。ユーザはボタン「３」を押下しながら「じんぶつ」と発話する。ボタン「３」の押下信号３２を受けて情報処理部６０は被写体情報辞書データ１２３を選択し（図３のステップＳ１０），音声認識部５０が認識した（ステップＳ２０）認識入力データ５２「じんぶつ」と一致する索引データと対応する一致入力データ６２「人物」を前記辞書から抽出する（ステップＳ３０）。
【００７１】
そして，図１６（Ａ）のアルゴリズムデータ１５Ａの被写体情報１２３から一致入力データ６２「人物」と一致する属性データ「人物」を検索し（図３のステップＳ４０），同属性データに対応付けられた画像加工コマンドを抽出する。また，情報処理部６０は，使用する対象機器が外部画像形成装置２２０であることをボタン「３」の列から判断し，図１７のアルゴリズムデータ１６において対応する「印刷向けの画像加工」を施すコマンドを抽出する。さらに，図１８（Ｂ）に示すように画像表示装置８０に「色加工？」などと表示することにより，ユーザの入力を促す。
【００７２】
図１９は，色加工情報の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。ユーザはボタン「６」を押下しながら「あかるく」と発話する。ボタン「６」の押下信号３２を受けて情報処理部６０は色加工情報辞書データ１２５を選択し（図３のステップＳ１０），音声認識部５０が認識した（ステップＳ２０）認識入力データ５２「あかるく」と一致する索引データと対応する一致入力データ６２「明るく」を前記辞書から抽出する（ステップＳ３０）。そして，アルゴリズムデータ１５Ｂの色加工情報１２５ａから属性データ「明るく」を検索し（ステップＳ４０），同属性データに対応付けられた色加工コマンド「明度を高く補正する」を抽出する。さらに，図１９に示すように画像表示装置８０に「何枚？」などと表示することにより，ユーザの入力を促す。
【００７３】
図２０は，枚数情報の入力操作，データの対応関係，及び出力を関連付けて説明する図である。ユーザはボタン「９」を押下しながら「ごまい」と発話する。ボタン「９」の押下信号３２を受けて情報処理部６０は枚数情報辞書データ１２７を選択し（図３のステップＳ１０），音声認識部５０が認識した（ステップＳ２０）認識入力データ５２「ごまい」と一致する索引データと対応する一致入力データ６２「５枚」を前記辞書から抽出し（ステップＳ３０），前記抽出済みの，被写体「人物」についての画像加工コマンド，色加工方法「明るく」についての色加工コマンド，印刷機向けの画像加工コマンドとともに一連のコマンドとして，画像データとともに外部画像形成装置２２０に送信する。
【００７４】
上記の手順により，ユーザは外部のプリンタや画像表示装置などに対する画像加工コマンドを音声入力とボタン操作により入力し，画像データとともに一連のコマンドをプリンタ等に送信できるので，携帯電話機などを外部機器の入力装置として利用することができる。
【００７５】
以上のとおり，複数の異なる次元の入力情報に基づき出力を得るような情報処理装置において，複数次元の選択肢が割り当てられた操作ボタンと音声入力を組み合わせることにより，操作を簡便化しつつ音声認識の精度を向上させ，入力を効率よく行うことができる。
【図面の簡単な説明】
【００７６】
【図１】本実施の形態におけるシステムの概略構成図である。
【図２】辞書データ１２とスケジュールデータ１４（データベース１６）それぞれのデータ構造と，データ相互の関係を説明する図である。
【図３】本実施の形態におけるスケジュール情報の呼び出し処理の全体を説明するフローチャート図である。
【図４】操作ボタンの配列と辞書データ１２の分類，スケジュールデータ１４，および一致入力データ６２の情報処理種別判断の対応関係を説明する図である。
【図５】画像表示部８０が表示する，携帯電話機のスケジュール機能を呼び出した場合の，入力待ち画面を説明する図である。
【図６】図５の指示待ち画面に対する入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。
【図７】場所情報の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。
【図８】スケジュール内容の入力を促された場合の入力操作，データの対応関係，及び出力を関連付けて説明する図である。
【図９】場所情報から入力する場合の表示画面例を説明する図である。
【図１０】入力手順の全体の流れを説明するフローチャート図である。
【図１１】時間情報属性データ１４２について日付を入力する場合の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。
【図１２】場所情報属性データ１４４について場所情報を入力する場合の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。
【図１３】スケジュール内容属性データ１４６について音声入力する場合の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。
【図１４】認識入力データ５２に基づく処理の種別が「育成」である場合の入力操作と，データの対応関係，及び画面の表示例を関連付けて説明する図である。
【図１５】ボタン入力部３０，辞書データ１２の分類，および一致入力データ６２に基づく処理種別の対応関係を説明する図である。
【図１６】入力する変数にコマンドを対応させたアルゴリズムデータを説明する図である。
【図１７】使用する外部機器に対応する処理の種別の種類を列１２７ａに，前記種別に対応する画像加工コマンドを列１２７ｂに関係付けたアルゴリズムデータ１６を説明する図である。
【図１８】画像表示装置に表示される初期画面の画面例を説明する図である。
【図１９】色加工情報の入力操作，データの対応関係，及び表示画面例を関連付けて説明する図である。
【図２０】枚数情報の入力操作，データの対応関係，及び出力を関連付けて説明する図である。
【符号の説明】
【００７７】
１２  ：辞書データ                 １２２：時間情報辞書データ
１４  ：スケジュールデータ         １４２：時間情報属性データ
３０  ：ボタン入力部               １５Ａ：アルゴリズムデータ
【図１】
2007072671.tif 000003
【図２】
2007072671.tif 000004
【図３】
2007072671.tif 000005
【図４】
2007072671.tif 000006
【図５】
2007072671.tif 000007
【図６】
2007072671.tif 000008
【図７】
2007072671.tif 000009
【図８】
2007072671.tif 000010
【図９】
2007072671.tif 000011
【図１０】
2007072671.tif 000012
【図１１】
2007072671.tif 000013
【図１２】
2007072671.tif 000014
【図１３】
2007072671.tif 000015
【図１４】
2007072671.tif 000016
【図１５】
2007072671.tif 000017
【図１６】
2007072671.tif 000018
【図１７】
2007072671.tif 000019
【図１８】
2007072671.tif 000020
【図１９】
2007072671.tif 000021
【図２０】
2007072671.tif 000022