(57)【要約】【課題】操作者の熟練度に応じて最適な操作環境を提供する。【解決手段】ＧＵＩを備えたマンマシンインターフェース装置であって、制御手段と、階層的なメニューから構成される操作系を表示するための同一階層に属する複数のタスク名を表示するとともに、これらタスク名をツリー図にして表示するＧＵＩ表示手段と、キー入力手段と、データベースと、インターフェースとを備えていることを特徴とする。また、制御手段は、階層的なメニューから構成される操作系を表示するための同一階層に属する複数のタスク名の表示順を、アクセス回数が高い順に並べ替える。【選択図】図１
2010134585.tif 000002
【特許請求の範囲】
【請求項１】
ＧＵＩを備えたマンマシンインターフェース装置であって、
制御手段と、
階層的なメニューから構成される操作系を表示するための同一階層に属する複数のタスク名を表示するとともに、これらタスク名をツリー図にして表示するＧＵＩ表示手段と、
キー入力手段と、
データベースと、
インターフェースとを備えたことを特徴とするマンマシンインターフェース装置。
【請求項２】
前記制御手段は、前記階層的なメニューから構成される操作系を表示するための同一階層に属する複数のタスク名の表示順を、アクセス回数が高い順に並べ替えることを特徴とする請求項１に記載のマンマシンインターフェース装置。
【請求項３】
前記ツリー図は、トップにあるタスクを基点にした時にどの階層まで操作が行われているかに基づいて、表示すべき階層の深さが決定されることを特徴とする請求項１に記載のマンマシンインターフェース装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚的或いは音声等による複合的なマンマシンインターフェース装置に関する。
【背景技術】
【０００２】
近年では、コンピュータだけではなく、組み込み機器のマンマシンインターフェース装置もＧＵＩ化が進み、カラー液晶表示装置とタッチパネル等の入力装置とを組み合わせて簡便な操作環境を実現できるようになってきた。
【０００３】
しかし、組み込み機器の機能が上がるに従い、ＧＵＩ環境を用いても操作が複雑化し、不慣れな操作者には折角の機能を使いこなせない状況が生じている。一般的には、操作フローをタスクモデル的な手法で設計し、操作者に与える情報を抽象化することで操作選択の負荷を減らし、操作性を向上させる手法が取られる。また、このようなＧＵＩに音声ガイドを付加することで、より操作性の向上を図ろうとする技術も開示されている。（例えば特許文献１参照。）
【０００４】
【特許文献１】特開平１１−５３１６５号公報（第７頁、図４）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上述したような抽象化された操作系は、不慣れな操作者に対して最適であっても、熟練した操作者にとっては冗長すぎて、却って操作性を損なわせてしまうという問題があった。
また、上記特許文献１に開示された技術では、音声ガイダンスは実現できるものの、入力操作は、依然としてタッチパネル等の物理的なキーデバイスを用いて行わざるを得ない。そのため、操作に不慣れなユーザーの操作性を向上させることは出来ても、視覚にハンデを持った操作者に対して本質的な意味での簡便な操作環境を提供することは不可能であった。
【０００６】
本発明の第一の目的は、操作者の熟練度に応じて最適な操作環境を提供することである。また、第二の目的は、視覚にハンデを持った操作者に対する簡便な操作環境を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、ＧＵＩを備えたマンマシンインターフェース装置であって、制御手段と、階層的なメニューから構成される操作系を表示するための同一階層に属する複数のタスク名を表示するとともに、これらタスク名をツリー図にして表示するＧＵＩ表示手段と、キー入力手段と、データベースと、インターフェースとを備えていること等を特徴とする。
【発明の効果】
【０００８】
本発明によれば、操作者に応じたユーザーインターフェースの自動的なカスタマイズが可能になるので、ユーザーの操作コストを低減できる。また、音声による入出力を可能にし、更にそれをカスタマイズすることで、視覚にハンデを持ったユーザーの操作性を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
本発明を実施するための最良の形態について説明する。
図１は、本発明における複合マンマシンインターフェース装置の構成を示す図である。
図１において、１０１は、複合マンマシンインターフェース装置全体を示している。複合マンマシンインターフェース装置１０１は、ネットワーク１１１を介して、外部クライアント１１２、１１３と接続され、任意のインターフェース（図示せず）を介して操作対象機器１１６と接続されている。また、操作者１１４は、複合マンマシンインターフェース装置１０１が備える各ＵＩを通じて機器の操作を行う。
【００１０】
複合マンマシンインターフェース装置１０１は、制御手段１０２、キー入力手段１０８、音声入力手段１０９、無線入力手段１０７を備えている。また、複合マンマシンインターフェース装置１０１は、ＧＵＩ表示手段１０５、音声出力手段１０６、データ格納手段（ＤＢ）１１０、ネットワークＩ／Ｆ１１５から構成されている。
無線入力手段１０７は、操作者１１４が携帯する無線ＩＣタグ等の無線情報端末媒体（図示せず）と交信し、取得した情報を制御手段１０２へ送信する。
キー入力手段１０８は、操作パネル上に配置された機械式キーやタッチパネル装置であり、操作者１１４が操作したキー情報を制御手段１０２へ通知する。
音声入力手段１０９は、マイクロフォンから入力された操作者の音声をＡ／Ｄ変換して制御手段１０２へ通知する。
【００１１】
ＧＵＩ表示手段１０５は、カラービットマップ液晶等の表示装置であり、制御手段１０２から出力された情報を表示して視覚的に操作者へ情報を伝える。
音声出力手段１０６は、制御手段１０２から出力される信号をＤ／Ａ変換した後、スピーカーを駆動して音声を出力する。
データ格納手段１１０は、制御手段１０２から出力された様々な情報を格納したり、逆に格納した情報を制御手段１０２の求めに応じて出力したりする機能を有する。
ネットワークＩ／Ｆ１１５は、ネットワーク１１１と制御手段１０２を接続する。制御手段１０２は、ネットワークＩ／Ｆ１１５を介して、ネットワーク１１１にアクセスし、外部クライアントと通信する。
また、操作対象機器１１６は、複合マンマシンインターフェース装置１０１と接続された操作対象であり、例えば複写機等の事務機やデジタルカメラ等の民生機器がその対象となる。
【００１２】
次に、本発明に係る複合マンマシンインターフェース装置の動作について詳細に説明する。尚、ここでは操作対象機器に依存しない本装置のメインフローに関してのみ説明し、個別の操作対象機器に適用した事例は後述する。
図２は、同装置のメインフローチャートである。
ステップＳ２０１は、無線情報の取得を行うステップであり、無線情報端末媒体を持った操作者１１４が装置に近づくと、無線入力手段１０７が同媒体と通信して読み取った識別ＩＤ情報を制御手段１０２に通知する。
ステップＳ２０２では、通知された識別ＩＤ情報に対応した個人情報の取得処理が行われる。この処理は、制御手段１０２がデータ格納手段１１０にアクセスして個人情報テーブルを取り出し、テーブルを検索してＩＤに対応する個人情報を取得する処理である。
【００１３】
続く、ステップＳ２０３では、ステップＳ２０２においてＩＤに対応した情報が存在するかどうかが判定される。ここで、情報が存在しなかった場合は、未登録ユーザーであると判断し、ステップＳ２０４の登録処理へ移行する。また、情報が既に存在していた場合は、ステップＳ２０４をスキップしてステップＳ２０５へ進む。
ステップＳ２０４における登録処理では、操作者が本装置が提示するガイダンスに従って操作を行うことによって操作者の特徴が抽出される。これらの特徴は、ステップＳ２０２で通知されたＩＤに対応する情報として、制御手段１０２によりデータ格納手段１１０へ格納される。
【００１４】
次に、ステップＳ２０５では、ステップＳ２０２で取得された情報か或いはステップＳ２０４にて新たに作成された操作者の情報に基づいて、制御手段１０２が、最適なＵＩを形成する。
ステップＳ２０６では、操作者がキー入力手段１０８或いは音声入力手段１０９を用いて任意の操作を行う。
ステップＳ２０７では、制御手段１０２により、操作履歴が記録される。
ステップＳ２０６とステップＳ２０７とのステップは、操作者による一連の操作が終了するまで、繰り返される。
【００１５】
操作が終了するとステップＳ２０９では、ステップＳ２０６からステップＳ２０８のループ処理で蓄えられた操作履歴を元にして、制御手段１０２が個人情報を書き換えてデータ格納手段（データベース）１１０へ登録する。
【００１６】
次に、本発明に係る複合マンマシンインターフェース装置をマルチファンクションプリンタ（以後、ＭＦＰと呼ぶ）に適用させた場合の実施形態について説明する。
図３は、本実施形態のシステムの構成の一例を示す図である。図３では、これまでの説明と同様の機能を有する部分には同一符号を付している。
図３において３０１は、本実施形態に係る操作対象機器であるところのＭＦＰであり、次のような構成を持っている。
【００１７】
ＭＦＰ制御手段３０２は、接続された各エンジン及び各Ｉ／Ｆの制御を行う。
ＭＦＰ制御手段３０２に接続されたエンジンは、スキャナ３０４及びプリンタ３０５である。また、Ｉ／ＦとしてＵＳＢホストＩ／Ｆ３０６及びＵＳＢデバイスＩ／Ｆ３０７がそれぞれ接続されている。更に、ＭＦＰ制御手段３０２が、様々な処理を行う際に必要なＲＡＭ３０３がバス（図示せず）を介して接続されている。
また、複合マンマシンインターフェース装置１０１は、通信手段（図示せず）によりＭＦＰ制御手段３０２に対して動作を指示する。
【００１８】
このＭＦＰ３０１は、下記に示す機能を有する。
第一にコピー機能である。コピー機能は、スキャナにセットされた原稿を複写してプリンタから印刷する機能である。
第二にダイレクトプリント機能である。ダイレクトプリント機能は、ＵＳＢホストＩ／Ｆに接続されたデバイス（デジタルカメラ、ストレージデバイス等）に格納された画像等のデータを印刷する機能である。
第三にプリンタ機能である。プリンタ機能は、ＵＳＢデバイスＩ／Ｆに接続されたＰＣによって制御される通常のＰＣプリンタ機能である。
第四にスキャナ機能である。スキャナ機能は、ＵＳＢデバイスＩ／Ｆに接続されたＰＣによって制御される通常のスキャナ機能である。
【００１９】
上述した機能のうち、第三のプリンタ機能と第四のスキャナ機能とは、ＰＣによって制御されるものである。また、第二のダイレクトプリント機能は、接続されるデバイスがデジタルカメラ等である場合、デバイス側が制御を行うことが通常である。本実施形態では、複合マンマシンインターフェース装置とＭＦＰとからなるシステムがＵＩ制御権を持つ場合を対象とする。従って、上述した機能のうち、第一のコピー機能及び第二のダイレクトプリント機能のうち、対象デバイスがストレージデバイスである場合を主な対象とする。
【００２０】
次に、本実施形態の動作処理について詳細に説明する。動作のメインフローは、図２のフローチャートを用いて既に説明した。ここでは、メインフローの各処理における詳細を述べる。尚、説明は図２を主に用いながら必要な図面を適宜提示して行う。
まず、ステップＳ２０１からステップＳ２０３の処理において、操作者１１４が未登録ユーザーであった場合、ステップＳ２０４で登録処理が行われるが、この登録処理は図４に示されたフローチャートに則って行われる。
ステップＳ４０１では、ＧＵＩ表示手段１０５へ音声入力を使うかどうか操作者に問い合わせるための画面が表示される。この表示は、例えば図５に示すようなものであり、今後の入力操作にＧＵＩと共に音声入力を併用するかどうかを操作者に尋ねる。本実施形態では、キー入力手段１０８としてタッチパネルを備えているものとする。
【００２１】
また、ステップＳ４０１で表示手段に表示されたのと同じ内容の選択肢をステップＳ４０２では音声出力手段１０６を用いて提示する。例えば、次のようなガイダンス音声を出力する。すなわち、例えば「これから音声入力を使うかどうかを選択します。ピッと鳴ったら次の選択肢から選んで答えて下さい。」である。ここで、自由発語ではなく、選択語を提示しているのは、ユーザーの負担を減らすと同時に語彙解析にかかるコストを削減するためである。
【００２２】
操作者が図５に示すボタンのうち、「音声入力を使わない」ボタンを押すか、又は「使わない。」と発声した場合、ステップＳ４０６において音声入力手段１０９が無効にされる。また、逆の選択肢を選んだ場合は、以後の操作において音声入力がＧＵＩと併用されることになる。音声入力を無効化する機能はＧＵＩを十分に使えるユーザーに対して入力操作系が２つあることへの戸惑いを軽減させるのに効果的である。逆に、音声を用いなければ操作が困難なユーザーに対しては、これからの入力操作を音声で行えることを告知できるので、安心感を与えることができる。
【００２３】
以上の選択操作の後、ステップＳ４０７では登録情報の確認が行われる。
確認される登録情報は、例えば図６に示した項目であり、音声入力の有無に関しては必ず確認されるが、その他の個人情報に関しては、ステップＳ２０１において読み込まれた無線情報にそれが含まれていた場合のみ確認対象となる。
操作者は、ここでＧＵＩ表示或いは音声出力された図６に示す情報を確認して相応の操作を行う。この操作は、例えばＧＵＩからの入力であれば「ＯＫ」、「Ｃａｎｃｅｌ」ボタンを押す等の操作であり、音声入力であれば「はい」、「いいえ」等の選択語からの発声となる。情報が正しかった場合、ステップＳ４０８で図６に示した登録情報が、ステップＳ２０１で得られたＩＤ情報と関連付けられてデータ格納手段１１０に書き込まれる。一方、情報が誤っていた場合、再びステップＳ４０１へ戻って処理される。尚、ステップＳ４０３及びステップＳ４０４からなるステップは、音声入力に対応した語彙解析が失敗した時に操作をやり直すためのものである。
【００２４】
次に、ステップＳ２０５におけるＵＩ形成処理に関して、その詳細を述べる。この処理のフローチャートを図７に示す。ここで、解析のために用いられるデータは全てステップＳ２０２で取得された個人情報であるものとする。未登録ユーザーであった場合は、ステップＳ２０４の登録処理を通じて新たに作成されたものが用いられる。
まず、ステップＳ７０１で音声入力が必要であるかどうかのチェックが行なわれる。
音声入力が必要である場合、ステップＳ７０８でウイザード型のＵＩが形成される。音声入力が不要であると判断された場合は、ステップＳ７０２〜ステップＳ７０６においてＵＩのカスタマイズ処理が行われる。
【００２５】
ステップＳ７０２とステップＳ７０３とでは、選択可能な複数のタスク名を階層的に表示し、それらの並び順を決定する処理が行われる。例えば、図８に示すように第一階層８０１から第三階層８０３までを持つツリー図において、第二階層８０２を表示する場合を考える。ここには、レイアウト指定印刷８０６、フレーム重ね合わせ印刷８０７、アルバム印刷８０８という３つのタスクが存在する。
【００２６】
ステップＳ７０２では、これら３つのタスクが選択された回数を個人情報から取り出す。そして、ステップＳ７０３では、回数が多い順に３つのタスクを並べ替える。
図８に示す例では、同一階層に属するタスクが高々３つ程度であるため、表示手段に一度に表示できてしまう可能性が高い。しかし、タスク数が増加して表示手段で一度に表示できずスクロールアウトしてしまうような場合は、この手法が有効である。例えば、上述した３つのタスクの表示優先順がレイアウト印刷、フレーム重ね合わせ印刷、アルバム印刷であった場合の表示例を図９に示す。
【００２７】
次に、ステップＳ７０４からステップＳ７０６においてショートカットメニューの表示形態が決定される。ショートカットメニューとは、タスクを選択しながら階層を一つずつ降りていく代わりに、選択肢の一覧表を提示して選択の手間を省くための手段である。例えば、図８における第一階層８０１が図１０の１００１の様に表示されているとする。このとき、画面には、２つのタスク選択ボタンの他にショートカットメニューボタン１００２が表示されている。
ここで、このショートカットメニューボタン１００２を押すと、画面には１００３に示したような表示が現れ、ここに示された全てのタスクへ直接ジャンプすることが可能になる。
【００２８】
ステップＳ７０４で解析されるタスク内操作到達度とは、あるトップ階層のタスクを基点にして、着目したときに、その下にある階層の何層目まで実行されているのかを記録したものである。例えば、図８に示す色々な印刷８０５というタスクに対し、フレーム重ね合わせ印刷８０７まで操作した経歴があれば、タスク内操作到達度は２階層である。また、レイアウト指定印刷８０６からレイアウト１（８０９）タスクまで操作履歴があれば、タスク内操作到達度は３階層ということになる。
【００２９】
ステップＳ７０５では、ステップＳ７０４で解析されたタスク内操作到達度に応じて、ショートカットメニューの表示階層数が決定される。例えば、操作到達度が２階層であった場合は、図１０における１００４及び１００５が表示されずに第二階層までしか直接指定できなくなる。
ステップＳ７０６では、ショートカットメニュー表示における表示優先度を決定するために、ステップＳ７０２で収集したデータを利用して、アクセス回数が高い順に表示順を並べ替える。
【００３０】
以上がステップＳ７０２からステップＳ７０６で行われるＵＩカスタマイズ処理の詳細である。このカスタマイズ処理では、操作メニューの表示順をその操作履歴に応じて入れ替えることで、操作者に最適な表示形態を実現する。また、階層型の操作系とショートカットによる一覧的な操作系を並列させることで、抽象性と直接性を両立させている。
更に、一覧的な操作系の中でも、操作履歴に応じて表示量を制御することで、余分な情報を省いている。
【００３１】
一方、ステップＳ７０１で音声入力が必要であると判断された場合は、ステップＳ７０８においてウイザード型の音声主導ＵＩが形成される。このＵＩでは、基本的に階層型の操作系となる。例えば、図１０に示した表示が行われている時に、音声ガイダンスによって「選んだ画像を印刷」と「色々な印刷」との２つのタスクから選択可能なことを通知して、どちらかを発語によって選択してもらうという流れになる。ただし、この場合もステップＳ７０２及びステップＳ７０３は実行されてタスクの表示順がガイダンスの順番に反映される。以上が、ステップＳ２０５におけるＵＩ形成処理の詳細な説明である。
【００３２】
ステップＳ２０６からステップＳ２０８では上述したタスク操作頻度や到達度をステップＳ２０７で更新しながら、ユーザーの操作に応じた機器制御が行われる。そして、ここで更新された情報は、ＵＩが次のステップに進む際にフィードバックされて再びステップＳ２０５で利用されることになる。
全ての処理が終了すると、ステップＳ２０９では、個人情報の更新が行われてデータ格納手段１１０へ書き込まれる。以上が、本実施形態における動作の詳細な説明である。
【００３３】
次に、本実施形態のシステムが持つネットワーク対応機能について説明する。
図３に示したように複合マンマシンインターフェース装置１０１とＭＦＰ３０１とからなるシステム（以下、サーバーと略す）は、ネットワーク１１１を通してクライアント３１２、３１３と接続されている。これらのクライアントは、操作者と直接接するインターフェース（例えば表示手段、音声入出力手段、無線入力手段等）に関しては複合マンマシンインターフェース装置１０１と等価なものを備えている。しかし、必ずしも操作対象機器としてＭＦＰを持っている必要はない。他の機器を接続されていても良いし、何も接続されていなくても良い。また内部的にデータ格納手段１１０を持っている必要もない。
【００３４】
操作者３１４、３１５がクライアントへアクセスすると、クライアントの無線入力手段を通じて獲得された情報がネットワーク１１１を通じてサーバーへ通知される。そこから後の処理は、通信がネットワーク越しになるだけで、全てこれまで述べたことと同じである。
【図面の簡単な説明】
【００３５】
【図１】本発明の構成を示すブロック図である。
【図２】本発明の動作を示すメインフローチャートである。
【図３】本発明の実施形態の構成の一例を示すブロック図である。
【図４】登録処理の詳細を示すフローチャートである。
【図５】ＧＵＩ表示手段によって表示される画面の一例を示す図である。
【図６】登録情報確認処理で用いられる登録情報の一例を示す図である。
【図７】ＵＩ形成処理の詳細を示すフローチャートである。
【図８】ＵＩ形成処理が対象とするメニュー構造の一例を示す図である。
【図９】第二階層をメニュー表示した表示例を示す図である。
【図１０】第一階層をメニュー表示した表示例を示す図である。
【符号の説明】
【００３６】
１０１  複合マンマシンインターフェース装置
１０２  制御手段
１０５  ＧＵＩ表示手段
１０６  音声出力手段
１０７  無線入力手段
１０８  キー入力手段
１０９  音声入力手段
１１０  データベース
１１１  ネットワーク回線
１１２  クライアント１
１１３  クライアントＮ
１１４  操作者（ユーザー）
１１５  ネットワークインターフェース
１１６  操作対象機器
【図１】
2010134585.tif 000003
【図２】
2010134585.tif 000004
【図３】
2010134585.tif 000005
【図４】
2010134585.tif 000006
【図５】
2010134585.tif 000007
【図６】
2010134585.tif 000008
【図７】
2010134585.tif 000009
【図８】
2010134585.tif 000010
【図９】
2010134585.tif 000011
【図１０】
2010134585.tif 000012