(57)【特許請求の範囲】
【請求項１】
情報を入力する入力手段と、
前記入力手段による情報の入力の際に、当該情報を受け渡す対象となるアプリケーションを複数検出可能な検出手段と、
前記入力手段で入力された情報を前記検出手段で検出された複数のアプリケーションのそれぞれに適応する形態の情報に変換する変換手段と、
前記変換手段で変換された情報を前記検出手段で検出された複数のアプリケーションに同時に渡して、これに基づく処理を実行させる処理手段とを備えたことを特徴とする情報処理装置。
【請求項２】
実行可能な複数のアプリケーションを表示画面上に提示するよう制御する表示制御手段を更に有し、
前記検出手段は前記表示制御手段による制御により表示画面上に提示されている複数のアプリケーションから前記情報を受け渡す対象となるアプリケーションを検出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
各アプリケーション毎に適応する情報の形態を登録したテーブルを更に備え、
前記変換手段は、前記テーブルを前記検出手段で検出されたアプリケーションで検索して得られる情報の形態に基づいて前記情報の形態を変換することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記表示画面上におけるユーザーの指示位置を検出する指示位置検出手段を更に備え、
前記検出手段は、前記指示位置検出手段で検出された指示位置に基づいて前記情報を受け渡す対象となるアプリケーションを検出することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記検出手段は、各アプリケーション毎に設定された指示範囲内に前記指示位置が存在するアプリケーションを前記情報を受け渡す対象となるアプリケーションとして検出することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記指示位置検出手段は、ユーザーの視線位置に基づいて指示位置を検出することを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記指示位置検出手段は、ポインティングデバイスが指示している位置を指示位置として検出することを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記入力手段により入力される情報は音声であることを特徴とする請求項１乃至７のいずれかに記載の情報処理装置。
【請求項９】
情報を入力する入力工程と、
前記入力工程による情報の入力の際に、当該情報を受け渡す対象となるアプリケーションを複数検出可能な検出工程と、
前記入力工程で入力された情報を前記検出工程で検出された複数のアプリケーションのそれぞれに適応する形態の情報に変換する変換工程と、
前記変換工程で変換された情報を前記検出工程で検出された複数のアプリケーションに同時に渡して、これに基づく処理を実行させる処理工程とを備えことを特徴とする情報処理方法。
【請求項１０】
実行可能な複数のアプリケーションを表示画面上に提示するよう制御する表示制御工程を更に有し、
前記検出工程は前記表示制御工程による制御により表示画面上に提示されている複数のアプリケーションから前記情報を受け渡す対象となるアプリケーションを検出することを特徴とする請求項９に記載の情報処理方法。
【請求項１１】
各アプリケーション毎に適応する情報の形態を登録したテーブルを更に備え、
前記変換工程は、前記テーブルを前記検出工程で検出されたアプリケーションで検索して得られる情報の形態に基づいて前記情報の形態を変換することを特徴とする請求項９に記載の情報処理方法。
【請求項１２】
前記表示画面上におけるユーザーの指示位置を検出する指示位置検出工程を更に備え、
前記検出工程は、前記指示位置検出工程で検出された指示位置に基づいて前記情報を受け渡す対象となるアプリケーションを検出することを特徴とする請求項９に記載の情報処理方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、情報処理方法及び装置に関するものである。
【０００２】
【従来の技術】
一般に、情報が入力される時は、当該入力情報を受け渡す先のアプリケーションが起動されており、入力される情報は起動中のアプリケーションによって処理可能な形態で入力され、該入力情報に対する処理が実行される。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の情報処理装置では、起動中のアプリケーションが処理できない形態の入力情報を処理することはできない。又、一般に、一つの入力情報を、複数のアプリケーションで、しかも夫々異なる形態の処理を行なうことを実現する装置は存在しない。
【０００４】
本発明は、ユーザーが音声や画像などの情報を入力する際に、当該入力情報をユーザーが対象としているアプリケーションに対応した形態に変換してアプリケーションへの受け渡しを行うことを可能とする情報処理方法及び装置を提供することを目的とする。
【０００５】
又、本発明の他の目的は、１つの入力情報に対して複数のアプリケーションで異なる処理を行なうことを可能とする情報処理方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するための本発明による情報処理装置は、
情報を入力する入力手段と、
前記入力手段による情報の入力の際に、当該情報を受け渡す対象となるアプリケーションを複数検出可能な検出手段と、
前記入力手段で入力された情報を前記検出手段で検出された複数のアプリケーションのそれぞれに適応する形態の情報に変換する変換手段と、
前記変換手段で変換された情報を前記検出手段で検出された複数のアプリケーションに同時に渡して、これに基づく処理を実行させる処理手段とを備える。
【０００７】
上記の構成によれば、対象アプリケーションとして検出された複数のアプリケーションのそれぞれに適応するように入力された情報（例えば、音声情報等）が変換され、この変換された情報が当該アプリケーションに渡されて対応する処理が実行される。
【０００８】
又、好ましくは、実行可能な複数のアプリケーションを表示画面上に提示するよう制御し、この中から情報を受け渡す対象となるアプリケーションを検出する。
【０００９】
又、好ましくは、各アプリケーション毎に入力情報の形態を登録したテーブルを更に備え、前記テーブルを前記検出手段で検出されたアプリケーションで検索して得られる変換形態に基づいて該入力情報の形態を変換する。
【００１０】
又、好ましくは、前記表示画面上におけるユーザーの指示位置を検出し、前記検出された指示位置に基づいて前記情報を受け渡す対象となるアプリケーションを検出する。
【００１１】
又、好ましくは、前記検出手段は、各アプリケーション毎に設定された指示範囲内に前記指示位置が存在するアプリケーションを前記情報を受け渡す対象となるアプリケーションとして検出する。
【００１２】
又、好ましくは、ユーザーの視線位置に基づいて指示位置を検出する。
【００１３】
又、好ましくは、前記指示位置検出手段は、ポインティングデバイスが指示している位置を指示位置として検出する。
【００１４】
又、好ましくは、前記入力手段により入力される情報は音声である。
【００１６】
【実施例】
以下に添付の図面を参照して本発明の好適な実施例を説明する。
【００１７】
＜実施例１＞
図１は本発明に係わる実施例の情報処理装置の概略構成を表すブロック図である。同図において、１００はシステムバスであり、以下に説明する各構成を接続する。２００は表示装置であり、ＣＲＴディスプレイ等により構成され、ＣＰＵ４００の指示に従って画像を表示する。３００は情報入力装置である。情報入力装置３００は、画像や音声などの情報を取り込み計算機で処理できるデータに変換する。４００はＣＰＵであり、後述するフローチャートを実現する制御プログラムに従って数値演算やデータの入出力等を行ない、本システム全体の動作を制御する。５００は記憶装置であり、ＲＯＭやＲＡＭ、ハードディスク等で構成される。ＣＰＵ４００によって実行される制御プログラムは、この記憶装置５００に格納される。６００は入力装置であり、マウスやキーボード等を備える。
【００１８】
以上のように構成されるシステムの動作を説明する。
【００１９】
図２は本実施例の動作手順を表すフローチャートである。ステップＳ１００では、情報入力装置３００がユーザーによって入力された情報を計算機で扱える形態に変換して取り込む。次に、ステップＳ２００において、ユーザーが当該入力情報を伝達しようとしているアプリケーション（対象アプリケーション）を検出する。そして、ステップＳ３００において、ステップＳ２００で検出されたアプリケーションに応じて、予めアプリケーションごとに定められたデータ形態に入力情報を変換し、対応する処理を実行する。
【００２０】
以下に本実施例１の動作を更に具体的に説明する。以下では、ステップＳ２００における対象アプリケーションの選択方法として、表示装置２００に表示されているアプリケーションのうち最上位（見かけ上、一番表面）にあるアプリケーションであると判断するものとして説明する。より具体的な説明のため、入力される情報は音声とする。この場合、情報入力装置３００はマイクロフォンなどから音声を取り込んで、これをＡ／Ｄ変換する。
【００２１】
音声情報の処理方法としては、本例では、
（処理１）  何もしない（音声データのまま）．
（処理２）  入力された音声をコマンドとして音声認識し、認識結果であるコマンドのコードに変換する．
（処理３）  入力された音声をテキストの入力として音声認識し、認識結果である文字列に変換する．
を用いる。
【００２２】
また、ユーザーが使用するアプリケーションとして、本例では、
（Ａｐｐ１）  遠隔地の他ユーザーと通信するテレビ電話．
（Ａｐｐ２）  地図を表示するアプリケーション．
（Ａｐｐ３）  テキストの編集を行なうテキストエディタ．
を考える。
【００２３】
音声が入力された際の夫々のアプリケーションが受け付ける情報の形態は、Ａｐｐ１が音声データ、Ａｐｐ２がコマンドのコード、Ａｐｐ３が文字列であり、これらの情報は予めシステムに知らされているものとする。例えば、図５の如きテーブルを記憶装置５００に保持することにより、各アプリケーションに対応するデータ形態を知ることができる。
【００２４】
以上のような状況下でユーザーが「沖縄に行きたい（オキナワニイキタイ）」と音声を入力した場合について説明する。
【００２５】
図２のステップＳ１００において、情報入力装置３００を介してユーザの入力した音声が取り込まれる。次に、ステップＳ２００へ進む。図３は実施例１のステップＳ２００の処理内容を表す図である。図３のステップＳ２０１では、表示装置２００上に表示されているアプリケーションのうち最上位（見かけ上の表面）にあるアプリケーションに対してユーザーが情報を送ったものと判断する。
【００２６】
ここで、表示装置２００の画面表示の一例として画面が図６のようになっていたとする。この場合は地図のアプリケーションが最も上（表面）にあるので、ステップＳ２０１において、ユーザーが情報を入力しようとした対象アプリケーションは地図のアプリケーションであると判断する。
【００２７】
次に情報処理ステップＳ３００に移る。図４は実施例１のステップＳ３００の処理内容を表す図である。まず、ステップＳ３０１において、先のステップＳ２００（本例ではステップＳ２０１）によって検出された対象アプリケーションが処理可能な情報の形態を選択する。そして、アプリケーションが受け付け得る情報の形態によって異なる処理を選択する。
【００２８】
本例（図６の状態）では、先のステップＳ２０１で判断されたアプリケーションは地図アプリケーションである。そして、図５のテーブルを参照することで、この地図アプリケーションで受け付ける情報の形態はコマンドコードであることがわかる。従って、処理はステップＳ３０１からステップＳ３０３へ進む。
【００２９】
ステップＳ３０３では取り込んだ音声データを音声認識する。認識結果が「沖縄に行きたい」と出たする。すると、次のステップＳ３０４において、「沖縄に行きたい」に対応するコマンドのコードが形成される。そして、ステップＳ３０５において、得られたコマンドコードが地図のアプリケーションに送られる。
【００３０】
本例では、「沖縄に行きたい」のなかから、地名「沖縄」を抽出し、「「沖縄」を含む地図を出力する」旨のコマンドコードを形成し、これを地図アプリケーションに渡す。このコマンドコードを受けた地図アプリケーションは表示画面上に沖縄の地図を表示する。
【００３１】
又、例えば、電卓アプリケーションが選択されていれば、「イチタスサンワ」という音声入力に対して、数値と演算記号の抽出が行われ、「１＋３の計算結果を出力する」というコマンドコードが形成される。
【００３２】
次に、以上で説明した実施例の過程において、ステップＳ２０１における表示装置の表示状態が図７のようである場合について説明する。この場合はテレビ電話のアプリケーションが最も上（表面）にあるのでユーザーが情報を入力しようとした対象アプリケーションはテレビ電話であると判断する。
【００３３】
続いて、図４のフローチャートに移る。ステップＳ３０１において、図５のテーブルが参照され、テレビ電話アプリケーションが受け付ける情報の形態は音声データであることがわかる。よって、処理はステップＳ３０２に進み、取り込んだ音声データを（ここでは「オキナワヘイキタイ」）をそのままテレビ電話アプリケーションに転送する。
【００３４】
次に、以上で説明した実施例の過程において、ステップＳ２０１における表示装置の表示状態が図８のようである場合について説明する。この場合はエディタのアプリケーションが最も上（表面）にあるのでユーザーが情報を入力しようとしたのはエディタであると判断する。続いて図４のフローチャートのステップＳ３０１において、図５のテーブルが参照され、エディタが受け付ける情報の形態は文字列であることがわかる。すると、処理はステップＳ３０６へ進み、取り込んだ音声データを音声認識する。認識結果が「沖縄に行きたい」になったとすると、ステップＳ３０７でこの文字列を獲得し、更にステップＳ３０８で当該文字列をエディタへ転送する。
【００３５】
以上説明したように実施例１によれば、入力された音声情報が指定された対象アプリケーションの扱うデータ形態に適合するように変換される。即ち、１つの入力情報が、選択されているアプリケーションにて起動するように変換されて、当該アプリケーションに提供されるので、使いごこちのよい情報処理装置が提供される。
【００３６】
＜実施例２＞
上記の実施例１における対象アプリケーションの判断方法では、表示画面上において最上位に表示されているアプリケーションを選択している。本実施例２では、ポインティングデバイスの指示する位置やユーザーの視線の位置などを検出する指示位置検出機能を用いて、ユーザーが情報を伝達しようとしているアプリケーション（対象アプリケーション）を判断する。更に、実施例２では一度に複数のアプリケーションを選択可能とする。尚、実施例２の概略構成及び概略動作手順は実施例１（図１、図２）と同様でありここではその説明を省略する。以下に、ユーザーが対象アプリケーションを指示する１構成例として、入力装置６００に視線入力装置を具備し、視線により対象アプリケーションを指示する場合について説明する。
【００３７】
図９は実施例２における対象アプリケーションの検出手順を表すフローチャートである。前記実施例１で、音声「オキナワニイキタイ」が入力された後、ステップＳ２００（即ち、図９のステップＳ２０２、２０３）において対象アプリケーションの検出が行われる。まず、ステップＳ２０２において、指示位置が検出される。ここでは、入力装置６００の具備する視線入力装置を用いて、ユーザの視線が指示する位置を検出する。続くステップＳ２０３で、アプリケーションごとに予め定められた指示範囲内に、先のステップＳ２０２で検出したユーザの指示位置を含む全てのアプリケーションを、対象アプリケーションとして検出する。
【００３８】
その一例を図１０に示す。図１０は表示装置２００にアプリケーションが表示されている例である。又、図１０には、各アプリケーションの指示範囲が示されている。図１０でエディタの指示範囲は点線で示された範囲、地図の指示範囲は一点鎖線で示された範囲、ＴＶ電話の指示範囲は破線で示された範囲である。この指示範囲内に上述のステップＳ２０２で検出したユーザの指示位置（視線位置）が含まれるアプリケーションを対象アプリケーションと判断する。
【００３９】
例えば、指示位置検出ステップＳ２０２で検出したユーザの指示位置が図１０に示した指示位置１であった場合、指示位置１は地図の指示範囲とＴＶ電話の指示範囲に含まれるので、ユーザが情報を伝達しようとしたアプリケーションは、地図とＴＶ電話であると判断する。同様に指示位置検出ステップＳ２０２で検出したユーザの指示位置が指示位置２である場合は、ユーザが情報を伝達しようとしたアプリケーションはエディタとＴＶ電話であると判断する。更に、同様に指示位置３の場合はＴＶ電話のみが対象アプリケーションとなる。
【００４０】
以降の処理は実施例１と同様である。例えば、ステップＳ２０２で検出したユーザの指示位置が図１０の指示位置１であり、ステップＳ２０３でユーザが情報を伝達しようとしたアプリケーションは「地図アプリケーション」と「ＴＶ電話アプリケーション」であると判断した場合について説明する。
【００４１】
図３の情報処理ステップＳ３００では、対象アプリケーションと判断されたアプリケーションごとに図４に示したフローチャートに従って処理を実行する。この例では、判断されたアプリケーションは地図とＴＶ電話である。よって、地図アプリケーションに対してはステップＳ３０１，Ｓ３０３〜Ｓ３０５が実行されるとともに、ＴＶ電話アプリケーションに対してはステップＳ３０１，Ｓ３０６〜Ｓ３０８が実行される。
【００４２】
以上説明したように、実施例２によれば、視線位置によって対象アプリケーションが選択され、入力された音声情報は選択されたアプリケーションに適応するように変換される。実施例１に比して、対象アプリケーションの切替えが極めて容易である。更に、複数のアプリケーションを同時に指定し、入力された音声情報を指定されたアプリケーションの夫々に適応する形態に変換してアプリケーションへ渡すことが可能となり、使い勝手が向上する。
【００４３】
尚、上記実施例では入力される情報が音声の場合について説明したが、音声に限らず画像など他の情報が入力された場合についても上記実施例と同様の処理が可能であり、同様の効果がある。
【００４４】
画像情報による処理としては、例えば、
（１）入力画像を、画像としてアプリケーションが受け取れるフォーマット（例えば、ＴＩＦＦ，ＰＳ，ＭＰＥＧ，ＪＰＥＧ等）に変換してアプリケーションに渡す．
（２）入力された画像の種別を画像認識処理によって識別し、入力画像が図や写真の場合は上記（１）と同様の処理を行う。一方、入力画像が文字である場合は、文字認識処理により文字列を獲得し、上述の音声処理の場合と同様に、獲得された文字列に基づいてコマンドコードに変換してこれを実行したり、単なる文字列としてアプリケーションに渡したりする．
といった処理がある。
【００４５】
又、画像情報を扱うアプリケーションに対する画像処理の方法の例を以下に挙げておく。
【００４６】
ＴＶ電話では、地図などを送るために上記の（１）の処理を行うことが可能となる。又、数字を記入した画像を（２）の如く処理し、これを相手先電話番号として用いることも可能である。
【００４７】
エディターでは、手書きの文字を清書し、電子化するという（２）の処理を用いることができる。更に、電卓アプリケーションでは、計算式を表わした画像を入力してこれを認識処理する（（２）の処理）ことで、演算のコマンドコードとして認識することが可能となる。
【００４８】
更に、計算機に行わせる一連のコマンドを書面に書いたものを画像として入力し、これを画像認識してコマンドコードに変換し、当該計算機に処理を実行させることも可能である。
【００４９】
又、画像データベースへの適用として次のような装置が得られる。例えば、写真の下に日付を書いたようなものを読み込み、写真は画像データとして、日付はこれに付帯するデータとしてアプリケーションに渡すことで、各画像データと日付とを関連づけた画像データベースが得られる。更に、写真の下に「登録」と記入された画像情報を取り込んだ場合は、当該写真による画像とこれを登録する旨のコマンドコードとが画像データベースアプリケーションに渡される。又、写真の下に「検索」と記入された画像情報を取り込んだ場合は、当該写真による画像データと、この画像データに類似するものを検索する旨のコマンドコードとを画像データベースアプリケーションに渡す。
【００５０】
以上のように画像情報を用いた場合も、音声情報と同様に各種アプリケーションに適応したデータ形態でのデータの受け渡しが可能となる。
【００５１】
また、上記実施例２では、入力装置として視線入力装置を用いる場合について説明したが、マウスやライトペンなどのポインティングデバイス、データグローブなどユーザの動きを入力する装置でもよい。
【００５２】
尚、本発明は、複数の機器から構成されるシステムに適用しても１つの機器からなる装置に適用しても良い。また、本発明はシステム或いは装置に本発明により規定される処理を実行させるプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００５３】
【発明の効果】
以上説明したように、本発明によれば、ユーザーが音声や画像などの情報を入力する際に、当該入力情報をユーザーが対象としているアプリケーションに対応した形態に変換してアプリケーションへの受け渡しを行うことが可能となり、情報の入力を行なう際の操作性、使用感が著しく向上する。
【００５４】
又、本発明の他の構成によれば、１つの入力情報に対して複数のアプリケーションで異なる処理を行なうことが可能となり、情報の入力を行なう際の操作性、使用感が著しく向上する。
【００５５】
【図面の簡単な説明】
【図１】本発明に係わる実施例の情報処理装置の概略構成を表すブロック図である。
【図２】本実施例の動作手順を表すフローチャートである。
【図３】実施例１のステップＳ２００の処理内容を表すフローチャートである。
【図４】実施例１のステップＳ３００の処理内容を表すフローチャートである。
【図５】各アプリケーション毎の処理可能なデータ形態を登録するテーブルを表す図である。
【図６】実施例１の画面表示の一例を表す図である。
【図７】実施例１の画面表示の一例を表す図である。
【図８】実施例１の画面表示の一例を表す図である。
【図９】実施例２における対象アプリケーションの検出手順を表すフローチャートである。
【図１０】実施例２におけるアプリケーションの表示例と、指示範囲を説明する図である。
【符号の説明】
１００  システムバス
２００  表示装置
３００  情報入力装置
４００  ＣＰＵ
５００  記憶装置
６００  入力装置
【図１】
0003727960.tif 000002
【図２】
0003727960.tif 000003
【図３】
0003727960.tif 000004
【図４】
0003727960.tif 000005
【図５】
0003727960.tif 000006
【図６】
0003727960.tif 000007
【図７】
0003727960.tif 000008
【図８】
0003727960.tif 000009
【図９】
0003727960.tif 000010
【図１０】
0003727960.tif 000011