(57)【要約】【課題】プレビュー画像の認知性を劣化させること無く、ユーザーが所望する機能の設定エリアを確実に提示することができるユーザーインタフェース部を備えた画像形成装置を提供する。【解決手段】原稿画像データを解析して原稿特性値を抽出する画像解析部３、印刷したい原稿に対して原稿画像の加工や仕上げに関する設定を行うユーザーインタフェース部４、設定された各種の機能に基づいて原稿画像に対する加工や仕上げ処理の結果を表す仕上がり画像を生成する仕上り画像生成部５、仕上がり画像生成部により生成された仕上がり画像を提示するプレビュー画像表示部６、機能の名称を入力するキーワード入力部８を備え、ユーザーインタフェース部４は、ユーザーが指定したキーワードに関連する機能を設定することが可能な機能設定用エリアのみを可視化してユーザーに提示する。【選択図】図１
2007150881.tif 000002
【特許請求の範囲】
【請求項１】
原稿画像データを解析して原稿特性値を抽出する画像解析部と、印刷したい原稿に対して原稿画像の加工や仕上げに関する設定を行うユーザーインタフェース部と、設定された各種の機能に基づいて原稿画像に対する加工や仕上げ処理の結果を表す仕上り画像を生成する仕上り画像生成部と、仕上り画像生成部により生成された仕上り画像を提示するプレビュー画像表示部と、機能の名称を入力するキーワード入力部と、を備え、前記ユーザーインタフェース部は、ユーザーが指定したキーワードに関連する機能を設定することが可能な機能設定用エリアのみを可視化してユーザーに提示することを特徴とする画像形成装置。
【請求項２】
請求項１の画像形成装置において、機能設定用エリアを可視化状態に保つ時間を制御するためのタイマー機能を有し、キーワードが認識され、機能設定用エリアを可視化してから一定時間が経過した後に、可視化状態を解除することを特徴とする画像形成装置。
【請求項３】
請求項１または請求項２の画像形成装置において、機能設定用エリアの外枠をアニメーションで表示することを特徴とする画像形成装置。
【請求項４】
原稿画像データを解析して原稿特性値を抽出する画像解析部と、印刷したい原稿に対して原稿画像の加工や仕上げに関する設定を行うユーザーインタフェース部と、設定された各種の機能に基づいて原稿画像に対する加工や仕上げ処理の結果を表す仕上り画像を生成する仕上り画像生成部と、仕上り画像生成部により生成された仕上り画像を提示するプレビュー画像表示部と、機能の名称を入力するキーワード入力部と、を備え、前記ユーザーインタフェース部は、ユーザーが指定したキーワードに関連する機能を設定することが可能な機能設定用エリア内にそのエリアがタッチされた場合の動作と同じ機能が割り当てられたメニューボタンを表示することを特徴とする画像形成装置。
【請求項５】
請求項４の画像形成装置において、機能設定用エリア内のメニューボタンを表示する時間を制御するためのタイマー機能を有し、キーワードが認識され、機能設定用エリア内のボタンを表示してから一定時間が経過した後に、メニューボタンを消去することを特徴とする画像形成装置。
【請求項６】
請求項１乃至５のいずれか一項の画像形成装置において、キーワードの指定を音声認識によって行うことを特徴とする画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複写機、ファックス、プリンタなどの画像形成装置に関し、特にユーザーインタフェース機能に特徴のある画像形成装置に関する。
【背景技術】
【０００２】
画像形成装置では、ユーザーが機器の有する機能の中から実行したいものを選択し、所望の内容に設定する必要があるが、その設定によって最終的にどのような印刷物が得られるかについて、事前に確認することは難しい。特に最近の画像形成装置では、より一層の多機能化が進み、設定操作も非常に複雑になっているため、自分では正しい設定を行ったつもりでも、実際に得られる印刷物が予想外の仕上りになってしまうケースも少なくない。
上記の問題点を解決するためには、ユーザーが設定を行う際、その時点で設定されている各種設定内容を反映したプレビュー画像を生成して提示し、その画像上で直接処理内容を設定してその結果を速やかにフィードバックするという技術が有効であると考えられる。これによって、ユーザーは事前に仕上り具合を直感的に確認することができるため、設定ミスを回避することができる。
プレビュー画像上で直接機能設定を行う技術としては、プレビュー画像上の特徴的な領域（例えば上下左右の余白領域、２段組時の中央部の余白領域、四隅、文字領域、写真領域など）に、その箇所に関連深い機能のメニューを提示するための反応領域（以降、トラップと記す）を割り当て、タッチされた箇所を内包するトラップに割り当てられているメニューのみを提示してユーザーに選択させるという技術が考えられる。この技術により、ユーザーは多岐に渡る設定項目の中から、自分の所望している機能のみを簡単、かつ直感的に選択することが可能になる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この技術にも１点、大きな問題がある。この技術では、最新の画像形成装置が有する全ての機能に対応するトラップをプレビュー画像上のどこかに割り当てる必要がある。この際に、全ての機能を直感的に分かり易い場所（例えば、左ステープルであれば左余白部分といった具合）に割り当てることが理想であるが、実際にそれを実現することは難しく、機能によってはかなり恣意的にトラップの割り当て領域を決めざるを得ないものも存在する。
このように恣意的に定められたトラップについては、ユーザーはプレビュー画像上のどの位置にどのような機能が対応付けられているかを簡単に知るための術が無く、特に操作に不慣れな間は、とにかく試行錯誤的にいろいろな箇所に触ってその箇所に対応するメニューを表示させながら、その内容を確認するという余計な手間が必要になってしまう。
上記の問題を解決する技術として、例えばトラップとそこに割り当てられている機能の名称を常時可視化して表示するという技術も考えられるが、実際にこれを実施した場合には、プレビュー画像上に非常に多くのトラップ領域や機能名のテキストが表示されることになり、その結果プレビュー画像が非常に煩雑になってコンテンツの認知性が大幅に劣化するという、別の問題が発生してしまう。
本発明は、プレビュー画像の認知性を劣化させること無く、ユーザーが所望する機能の設定エリアを確実に提示することができるユーザーインタフェース部を備えた画像形成装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成するために、請求項１記載の発明は、原稿画像データを解析して原稿特性値を抽出する画像解析部と、印刷したい原稿に対して原稿画像の加工や仕上げに関する設定を行うユーザーインタフェース部と、設定された各種の機能に基づいて原稿画像に対する加工や仕上げ処理の結果を表す仕上り画像を生成する仕上り画像生成部と、仕上り画像生成部により生成された仕上り画像を提示するプレビュー画像表示部と、機能の名称を入力するキーワード入力部と、を備え、前記ユーザーインタフェース部は、ユーザーが指定したキーワードに関連する機能を設定することが可能な機能設定用エリアのみを可視化してユーザーに提示する画像形成装置を最も主要な特徴とする。
請求項２記載の発明は、請求項１の画像形成装置において、機能設定用エリアを可視化状態に保つ時間を制御するためのタイマ機能を有し、キーワードが認識され、機能設定用エリアを可視化してから一定時間が経過した後に、可視化状態を解除する画像形成装置を主要な特徴とする。
請求項３記載の発明は、請求項１または請求項２の画像形成装置において、機能設定用エリアの外枠をアニメーションで表示する画像形成装置を主要な特徴とする。
【０００５】
請求項４記載の発明は、原稿画像データを解析して原稿特性値を抽出する画像解析部と、印刷したい原稿に対して原稿画像の加工や仕上げに関する設定を行うユーザーインタフェース部と、設定された各種の機能に基づいて原稿画像に対する加工や仕上げ処理の結果を表す仕上り画像を生成する仕上り画像生成部と、仕上り画像生成部により生成された仕上り画像を提示するプレビュー画像表示部と、機能の名称を入力するキーワード入力部と、を備え、前記ユーザーインタフェース部は、ユーザーが指定したキーワードに関連する機能を設定することが可能な機能設定用エリア内にそのエリアがタッチされた場合の動作と同じ機能が割り当てられたメニューボタンを表示する画像形成装置を最も主要な特徴とする。
請求項５記載の発明は、請求項４の画像形成装置において、機能設定用エリア内のメニューボタンを表示する時間を制御するためのタイマ機能を有し、キーワードが認識され、機能設定用エリア内のボタンを表示してから一定時間が経過した後に、メニューボタンを消去する画像形成装置を主要な特徴とする。
請求項６記載の発明は、請求項１乃至５のいずれか一項の画像形成装置において、キーワードの指定を音声認識によって行う画像形成装置を主要な特徴とする。
【発明の効果】
【０００６】
請求項１の画像形成装置においては、プレビュー画像上に配置された様々な機能設定用エリアのうち、キーワードで指定された機能に関連するものだけを可視化してユーザーに提示することができるため、たとえそれが必ずしも直感的ではない位置に恣意的に配置されたものであっても、その位置を的確に把握することができる。
請求項２の画像形成装置においては、可視化された機能設定用エリアを一定時間経過後に自動的に消去するため、プレビュー画像上が煩雑になることを防ぐことができる。
請求項３の画像形成装置においては、機能設定用エリアをコンテンツとは全く異なる見え方で表示することができるため、機能設定用エリアの可認性を高め、コンテンツの一部と見間違うような混乱を防ぐことができる。
請求項４の画像形成装置においては、キーワードで指定された機能に関連するメニューを、そのメニューを表示させるための機能設定用エリア内（あるいはその付近）に表示するため、機能の指定を容易にすると共に、機能設定用エリアを可視化する場合と同等のチュートリアル効果を期待することができる
請求項５の画像形成装置においては、可視化されたメニューボタンを一定時間経過後に自動的に消去するため、プレビュー画像上が煩雑になることを防ぐことができる。
請求項６の画像形成装置においては、キーワードの指定に音声入力によって行うことができるため、自由な表現が可能で、タッチパネルから別の位置に手を移動させること無く、自然な動作でキーワードを入力することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施形態を図面に従って説明する。
図１は本発明の実施形態に係る画像形成装置のシステム構成図である。原稿読み取り部１は、原稿画像データを取得するためのものであって、例えば、複写機のスキャナ部である。画像記憶部２は、原稿読み取り部１で取得した原稿画像データを一時保持するためのものである。
画像解析部３は、画像記憶部２に保持されている原稿画像データを解析して、原稿特性値を抽出する。なお、原稿特性値とは、例えば原稿サイズ、上下左右の余白領域の座標、２段組中央部の余白領域の座標、文字領域の座標、写真領域の座標などである。
ユーザーインタフェース部４は、ユーザーが印刷したい原稿に対して、原稿画像の加工や仕上げに関する設定を行うためのものである。例えば、複写機のタッチパネル機能付き操作パネルである。なおこの部分は後述のプレビュー画像表示部６と共有しても良い。
仕上り画像生成部５は、設定された各種の機能に基づいて、原稿画像に対する加工や仕上げ処理の結果を表す仕上り画像を生成する。プレビュー画像表示部６は、仕上り画像生成部５により生成された仕上り画像をユーザーに提示するためのものである。本表示部はタッチパネル機能付きのディスプレイであって、上述したように画像形成装置に用意されているユーザーインタフェース用のタッチパネルと共有しても良いし、それとは別に専用のタッチパネルを用意しても良い。
トラップ設定領域定義テーブル７は、機能ＩＤ、プレビュー画像上の論理的な領域情報、及びキーワードから成るリストである。キーワード入力部８は、機能の名称を入力するためのものである。物理的なキーボードでも良いし、タッチパネル上に表示されたソフトキーボードであっても良い。更には、この部分を音声認識装置や手書き文字認識装置で構成しても良い。画像印刷部９は、設定が完了した時点で、最終的な仕上り画像を印刷するためのものである。
【０００８】
プレビュー画像表示に関する基本的な処理のフローチャートを図２に示す。原稿読み取り部１により原稿が読み込まれ、デジタル化されて画像記憶部２に保存される(Ｓ１)。画像解析部３は、読み込まれた原稿画像を解析し、原稿の各種特性値を算出する(Ｓ２)。
仕上り画像生成部５は、その時点の設定内容に基づいて処理対象の原稿画像データを加工し、仕上り画像データを生成する(Ｓ３)。この時点で、原稿画像データの加工に伴って画像解析部３で算出した原稿特性値が変化する場合には、その補正も同時に行う(Ｓ４)。
仕上り画像生成部５で生成された仕上り画像データをプレビュー画像表示部６に表示する(Ｓ５)。設定が変更された場合には、Ｓ３に戻って処理を繰り返す。
全ての設定が完了したら(Ｓ６でｙ)ユーザーによるスタートボタンの押下で印刷を開始する(Ｓ７)。
Ｓ３乃至Ｓ５を繰り返している間に、プレビュー画像上の機能設定エリアがタッチされ、何らかの機能の設定や変更があった場合には、それを機器側に反映させる。
以上が本発明のユーザーインタフェースの仕様である。このような機器において、本発明で実現される機能は、Ｓ３乃至Ｓ５の繰り返し中にキーワードの入力が確認された場合、それに対応する機能設定エリア（トラップエリア）、あるいはメニューなどを一時的に可視化してユーザーに提示するというものである。
【０００９】
＜実施例１＞
キーワード「ステープル」に対応するトラップエリアの可視化の例を図３に示す。この例では、画像形成装置の機能として、用紙の左上に１ヶ所、左方に２ヶ所、左下に１ヶ所、上方に２ヶ所という、計４通りの場所へのステープリングが可能であることを想定している。この場合、それぞれの位置へのステープルを設定するためのトラップエリアは、直感的に分かりやすい位置に配置されていることが分かる。
キーワード「拡大」に対応するトラップエリアの可視化の例を図４に示す。この例では、「拡大」／「縮小」の設定のためのトラップは、原稿イメージの四隅に配置されていることが分かる（ステープルに比べると直感的ではないため、本発明の機能がないと初心者にとってはどこで設定すれば良いかが分かり難い）。
＜実施例２＞
上記のように、キーワードが入力される度に、それに対応するトラップエリアの可視化を行うとすると、やがてはプレビュー画像がトラップエリアだらけになってしまうため、何らかの手段で確認済みのトラップエリア情報を消去することが必要になる。
トラップエリアが表示されてから一定時間が経過した後、自動的に消去するメカニズムの１例を図５に示す。Ｎ個の記憶領域からなるバッファと、１つのポインタ（消去ポインタ）を用意する。消去ポインタが指すバッファ上の位置は、一定時間Ｔ毎に１つずつ先に進み、バッファの終端Ｎまで達した後は再び始端１に戻るという動作を繰り返す。
消去ポインタが指している位置にトラップエリアのＩＤが記憶されている場合には、直ちにそのトラップエリアを消去する。トラップエリアを可視化する際には、その時点で消去ポインタがある位置ｋの１つ手前のバッファｋ−１（消去ポインタが始端Ｎにある場合には終端Ｎ）にそのトラップＩＤを保存する。
以上の操作により、トラップエリアが可視化されてから消去ポインタがリングバッファを１周するまでの間、表示が継続しその後自動的に消去される。なお、表示の継続時間はバッファの分割数Ｎと消去ポインタの更新時間Ｔで決めることができ、例えばＮを３０、Ｔを１００ミリ秒とすれば、トラップエリアの表示は約３秒間継続することになる。
【００１０】
＜実施例３＞
トラップエリアを静止した矩形枠で表示した場合、それと似たようなコンテンツがたまたまプレビュー画像に存在した場合に紛らわしいという問題がある。さらにトラップエリアを単色で表示した場合には、コンテンツに使用されている色（例えば写真の上にトラップエリアが重なった場合）によっては、エリアの可認性が劣化する。
そこで、トラップエリアをアニメーション表示することで、コンテンツとの区別を明確にする。このアニメーションは、枠線の点滅、複数の表示色の短時間での入れ替えなど、様々な実現方法が考えられるが、ここでは赤と青の入れ替え表示の実現例を図６に示す。
これは実施例２で述べた、トラップエリア表示を自動消去するためのバッファと同じものであり、新たに青色表示ポインタＡと赤色表示ポインタＢを交互に複数個設けたものである。これらのポインタの指す位置は消去ポインタと同じタイミング、同じメカニズムで更新される。
青色表示ポインタＡが指している位置にトラップエリアのＩＤが記憶されている場合には、直ちにそのトラップエリアの表示色を青に変更し、赤色表示ポインタＢの場合には赤に変更する。図のようにポインタを配置した場合には、表示直後は青色の枠で、その後、消去されるまで赤、青、赤、青・・・と変化する。
これによって、１つのタイマでトラップエリア表示の自動消去とアニメーション表示を同時に実現できる。なお、それぞれのポインタの間隔や個数を調整することで、様々な色変化パターンを実現でき、また、それぞれのポインタに表示色ではなく、表示／非表示の意味を与えた場合には点滅表示が実現される。
＜実施例４＞
これは、キーワードに対応するトラップエリアを表示する替わりに、それらのトラップエリア亜をタッチした場合に表示されるメニューを直接表示するようにしたものである。キーワード「ステープル」に対応するトラップエリアの可視化の例を図７に示す。
【００１１】
＜実施例５＞
メニューの自動消去は、実施例２で示したトラップエリア表示の自動消去のメカニズムにおいて、各バッファに格納する値をトラップエリアＩＤの替わりにメニューボックスＩＤに変更するだけで、あとは全く同じメカニズムによって実現することができる。
＜実施例６＞
キーワードの指定は、音声認識を使用して行う。音声認識を使用するメリットとして、以下の点が挙げられる。
（１）語彙や表現が自由に選べ、１つの機能に対して複数の表現で指定することができる。例えばステープルに関しても、実際に表現する場合は「ステープル」「ホッチキス」など複数の表現が存在する。また、「ステープリング処理をしたい」などのような自由な文章で指定できれば、ユーザーによってはより使いやすくなる。現在の音声認識技術では数万〜数十万もの語彙の認識が可能であり、音声入力に対する連続音声認識も可能であるため、このような要求にも対応することができる。
（２）音声入力であれば、タッチパネルを操作しながら、それと並行して実行することができる。最近ではハンズフリーの音声認識（音声入力開始時にボタン押下等の特別な操作を行わず、いつでも任意のタイミングで音声入力を行うことができるもの）も実現されているため、タッチパネルの操作を中断することなくキーワードの入力を実現することができる。
また、音声認識を使用する場合、誤認識の発生が不可避である。音声コマンドとして音声認識結果に従って直接機能設定を行うような用途を考えた場合には、認識結果の確認や訂正等の余計な手間が必要となる場合があるが、このような用途では、誤ったエリアやメニューが一時的に表示されるだけで、実際の機器の動作には悪影響を与えないため、誤認識が発生しても大きな問題はないものと考えられる。この点でも、音声認識に向いた応用例であると考えられる。
【００１２】
基本的な音声認識部の構成を図８に示す。Ａ／Ｄ変換部１１は、マイクから入力された音声をデジタル信号に変換するためのものである。音声区間抽出部１２は、音声信号中から、実際に発話が行われている区間を検出するためのものである。音響分析部１３は、音声信号から、実際に認識処理で使用するパワーやスペクトル情報などに関する音響パラメータの時系列を算出するためのものである。
キーワード認識部１４は、算出された音響パラメータの時系列を対象に、音響モデル１５（例えば隠れマルコフモデル：ＨＭＭ）と文法１６（例えば有限状態オートマトンや単語連鎖の確率文法など）を利用して発話内容を認識し、それに対応するキーワードを出力するためのものである。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像形成装置のシステム構成図である。
【図２】図１に示す画像形成装置の基本的な処理のフローチャートである。
【図３】キーワード「ステープル」に対応する機能設定エリアの可視化例を示す図である。
【図４】キーワード「拡大」に対応する機能設定エリアの可視化例を示す図である。
【図５】機能設定エリアの自動消去実現メカニズム例を示す図である。
【図６】機能設定エリアのアニメーション表示実現メカニズム例を示す図である。
【図７】キーワード「ステープル」に対応する機能設定メニューの表示例を示す図である。
【図８】音声認識部の構成図である。
【符号の説明】
【００１４】
３  画像解析部
４  ユーザーインタフェース部
５  仕上り画像生成部
６  プレビュー画像表示部
８  キーワード入力部
【図１】
2007150881.tif 000003
【図２】
2007150881.tif 000004
【図３】
2007150881.tif 000005
【図４】
2007150881.tif 000006
【図５】
2007150881.tif 000007
【図６】
2007150881.tif 000008
【図７】
2007150881.tif 000009
【図８】
2007150881.tif 000010