(57)【要約】      （修正有）【課題】画像形成装置で画像を出力する前に、使用者に対して画像出力の設定を適正に行わせる画像表示装置を提供する。【解決手段】プリンタ１００の使用者の頭部に装着される画像表示装置（ＨＭＤ）１０は、使用者の目線で撮像を行う撮像部１２と、撮像された画像を表示する表示部１１と、撮像された画像において使用者によって提示された媒体（用紙等）を認識するとともに、プリンタに送信された印刷ジョブのプレビュー画像を加工して提示された媒体の画像の上に重ねて表示させる制御部１４と、を備える。【選択図】図１
2018063627.tif 000002
【特許請求の範囲】
【請求項１】
媒体に画像を形成する動作を行う画像形成装置と接続して使用され、前記画像形成装置の使用者によって前記画像形成装置と共に使用される画像表示装置であって、
前記使用者の頭部に装着されて用いられ、
装着時において前記使用者に対して画像を表示する表示部と、
前記画像形成装置が印刷ジョブを実行する前に、前記画像形成装置に送信された前記印刷ジョブの印刷ジョブデータより、印刷プレビュー画像を前記表示部に表示させる制御部と、
を具備することを特徴とする画像表示装置。
【請求項２】
装着時において前記使用者の視野範囲を撮像する撮像部を具備することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記制御部は、前記撮像部によって撮像された画像と、前記印刷プレビュー画像とを、前記表示部において重複させて表示させることを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記制御部は、前記撮像部によって撮像された画像中において前記媒体が認識された場合に、当該画像中における前記媒体と認識された領域に、前記媒体に前記印刷ジョブデータが出力された場合に対応するように、前記印刷プレビュー画像を変換して前記媒体と重複させて表示させることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記撮像部によって撮像された画像中における前記媒体の色を検出する色検知部を具備し、
前記制御部は、前記媒体の色に応じて前記印刷ジョブデータにおける色情報を補正して前記印刷プレビュー画像として前記表示部に表示させることを特徴とする請求項４に記載の画像表示装置。
【請求項６】
前記撮像部によって撮像された画像中における前記媒体の輝度を検出する輝度検知部を具備し、
前記制御部は、前記媒体の輝度に応じて前記印刷ジョブデータにおける色情報を補正して前記印刷プレビュー画像として前記表示部に表示させることを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記撮像部によって撮像された画像中における前記媒体の外側の照度を検出する照度検知部を具備し、
前記制御部は、前記照度に応じて前記印刷ジョブデータにおける色情報を補正して前記印刷プレビュー画像として前記表示部に表示させることを特徴とする請求項６に記載の画像表示装置。
【請求項８】
前記制御部は、前記媒体の色、前記媒体の輝度、又は前記照度を前記使用者に補正させ、補正の前記媒体の色、前記媒体の輝度、又は前記照度を反映した画像を前記表示部に表示させることを特徴とする請求項７に記載の画像表示装置。
【請求項９】
前記画像形成装置が複数頁の前記媒体からなる出力を行う場合に、
前記制御部は、
複数頁の前記媒体が連結された場合に前記媒体上で見えなくなる領域である出力不可領域を認識し、前記媒体に前記印刷ジョブデータが出力された場合に対応するように、前記表示部で前記印刷プレビュー画像と共に前記出力不可領域を変換して前記媒体と重複させて表示させることを特徴とする請求項３から請求項８までのいずれか１項に記載の画像表示装置。
【請求項１０】
前記制御部は、
複数頁の前記媒体が連結される際の留め具が装着される領域であり全ての頁において一定の大きさをもつ連結領域と、読者によって特定の頁が見られる際に当該特定の頁以外の頁の媒体によって遮蔽される領域であり頁毎に異なる大きさをもつ領域である遮蔽領域と、を前記出力不可領域として認識することを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
前記制御部は、
複数頁の前記媒体が連結される際に前記媒体が折り曲げられて収容される場合において、当該媒体が折り曲げられる際の折り線を認識し、当該媒体が折り曲げられた際の前記出力不可領域を表示させることを特徴とする請求項９又は１０に記載の画像表示装置。
【請求項１２】
前記制御部は、
前記撮像部によって撮像された画像中において前記使用者の手を認識することを特徴とする請求項３から請求項１１までのいずれか１項に記載の画像表示装置。
【請求項１３】
前記制御部は、
前記使用者の手の動作を認識し、当該動作に応じて前記表示部に表示させる画像を調整することを特徴とする請求項１２に記載の画像表示装置。
【請求項１４】
前記制御部は、
前記撮像部によって撮像された画像中において認識された前記媒体と、前記画像形成装置において出力が行われる前記媒体の大きさが異なると認識した場合に、前記撮像部によって撮像された画像中において認識された前記媒体と前記使用者の手の位置関係から、前記表示部において前記プレビュー画像を表示する位置を設定することを特徴とする請求項１２又は１３に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、媒体（用紙等）上に画像を形成して出力する画像形成装置と接続され、画像形成装置の使用者に補助的に用いられる画像表示装置に関する。
【背景技術】
【０００２】
プリンタや複合機等（画像形成装置）の、用紙等（媒体）の上に画像を形成して出力する装置において、表示部と撮像部とが一体化されたヘッドマウントディスプレイ（ＨＭＤ：画像表示装置）を用いて、使用者に適切な指示を与えることのできる技術が提案されている。例えば特許文献１には、使用者の目線で撮像を行う撮像部と、撮像部で撮像された画像を使用者に表示する表示部を具備するＨＭＤが用いられ、ＨＭＤ中の制御部が撮像部を用いて使用者による操作を認識（予測）し、この操作に際しての指示を表示部を用いた拡張現実（ＡＲ）空間によって使用者に対して行う技術が記載されている。この場合、使用者が実際に目視している状況と、制御部によって生成された画像とが重複して表示された拡張現実空間が表示部によって実現される。
【０００３】
この場合、例えば使用者が外部メモリ（ＵＳＢメモリ）を持っている状況が撮像された場合には、使用者が画像形成装置に対して外部メモリを接続して使用する動作をすると制御部が認識する。その後、使用者が画像形成装置を見た場合には、撮像部によって使用者と同じ目線でこの画像形成装置が撮像され、制御部は、得られた画像の中で画像形成装置を認識する。その後、制御部は、この画像中の画像形成装置において外部メモリが装着されるべき箇所を認識する。表示部には、この箇所を示す表示が、実際に目視されている画像形成装置と重複するように表示される。これによって、使用者は、この表示部中の画像を見ることにより、外部メモリを装着すべき箇所を適正に認識することができる。また、使用者によって提示された用紙が撮像部で撮像された場合には、この用紙に適合した給紙トレイの位置が、前記と同様に表示部によって画像形成装置と重複して表示される。これによって、作業者は、この用紙を収容すべき給紙トレイがどこにあるかを適切に認識することができる。
【０００４】
特許文献２に記載の技術においても、上記と同様に表示部と撮像部とが一体化されたＨＭＤが用いられる。この技術においては、ＨＭＤの制御部は画像形成装置とネットワークで接続され、画像形成装置における印刷ジョブの実行状況を認識することができる。これにより、例えば使用者の印刷ジョブの状況やその出力がどこになされるか等の情報が、前記と同様に拡張現実空間を用いて表示部を介して使用者に伝えられる。
【０００５】
こうした構成においては、使用者は、画像形成装置を用いる際にＨＭＤを補助的に用いることによって、画像形成装置を適正かつ効率的に使用することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−９３０３６号公報
【特許文献２】特開２０１４−１９４７２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像形成装置において出力に用いられる媒体（用紙等）には、様々の種類、例えば様々なサイズ、色、材質のもの（紙、ＯＨＰフィルム等）が用いられる。この場合、形成される画像がこの媒体に適合しているか否かを使用者がチェックし、これに応じて画像形成装置の設定を最適化することが必要であった。
【０００８】
また、媒体の種類だけでなく、形成される画像が媒体の出力の方式に適合しているか否かのチェックも必要となる場合があった。例えば、プリンタにおいて複数の頁（複数枚の用紙）で構成される資料を複数部同時に出力する場合、用紙が頁番号に従って積層された形態として複数部並列に出力させるようなステープル機能が用いられることがある。この場合、使用者は頁番号に従って積層された出力後の各資料において、用紙の端部（長辺部又は短辺部）をホチキス等を用いて留めることにより、資料の配布や整理を特に容易に行うことができる。しかしながら、こうした場合には、特に用紙における留められた端部付近に形成された画像が壊れる、あるいは目視しにくくなるということがあった。こうした点に対するチェックも、実際に用紙上に画像を出力させてから行うことが必要であった。
【０００９】
ここで、実際に出力を行う前に、この出力を行わせるパーソナルコンピュータの画面で、出力されるべき画像（印刷プレビュー画像）を確認することが一般的に行われている。しかしながら、この際、媒体の種類（色、材質等）に応じた印刷プレビュー画像は用いられていなかった。また、特に媒体の種類に応じた画像出力の印象は、媒体の置かれた環境（照度等）に応じて異なる。このため、印刷プレビュー画像で、上記のような媒体の種類に対する適合性を判断することは困難であった。同様に、上記のような媒体の出力の方式に応じた画像の適正化のチェックも、印刷プレビュー画像を用いて行うことは困難であった。このため、上記のようなチェックは、実際に媒体上に画像を形成した出力を見て行う必要があり、場合によっては、設定を変更して再度出力をさせることが必要となり、媒体や時間の浪費となった。
【００１０】
このため、画像を出力する前に使用者に対して画像出力の設定を適正に行わせることのできる画像形成装置が望まれた。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、上記課題を解決できる技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の画像表示装置は、媒体に画像を形成する動作を行う画像形成装置と接続して使用され、前記画像形成装置の使用者によって前記画像形成装置と共に使用される画像表示装置であって、前記使用者の頭部に装着されて用いられ、装着時において前記使用者に対して画像を表示する表示部と、前記画像形成装置が印刷ジョブを実行する前に、前記画像形成装置に送信された前記印刷ジョブの印刷ジョブデータより、印刷プレビュー画像を前記表示部に表示させる制御部と、を具備することを特徴とする。
本発明の画像表示装置は、装着時において前記使用者の視野範囲を撮像する撮像部を具備することを特徴とする。
本発明の画像表示装置において、前記制御部は、前記撮像部によって撮像された画像と、前記印刷プレビュー画像とを、前記表示部において重複させて表示させることを特徴とする。
本発明の画像表示装置において、前記制御部は、前記撮像部によって撮像された画像中において前記媒体が認識された場合に、当該画像中における前記媒体と認識された領域に、前記媒体に前記印刷ジョブデータが出力された場合に対応するように、前記印刷プレビュー画像を変換して前記媒体と重複させて表示させることを特徴とする。
本発明の画像表示装置は、前記撮像部によって撮像された画像中における前記媒体の色を検出する色検知部を具備し、前記制御部は、前記媒体の色に応じて前記印刷ジョブデータにおける色情報を補正して前記印刷プレビュー画像として前記表示部に表示させることを特徴とする。
本発明の画像表示装置は、前記撮像部によって撮像された画像中における前記媒体の輝度を検出する輝度検知部を具備し、前記制御部は、前記媒体の輝度に応じて前記印刷ジョブデータにおける色情報を補正して前記印刷プレビュー画像として前記表示部に表示させることを特徴とする。
本発明の画像表示装置は、前記撮像部によって撮像された画像中における前記媒体の外側の照度を検出する照度検知部を具備し、前記制御部は、前記照度に応じて前記印刷ジョブデータにおける色情報を補正して前記印刷プレビュー画像として前記表示部に表示させることを特徴とする。
本発明の画像表示装置において、前記制御部は、前記媒体の色、前記媒体の輝度、又は前記照度を前記使用者に補正させ、補正の前記媒体の色、前記媒体の輝度、又は前記照度を反映した画像を前記表示部に表示させることを特徴とする。
本発明の画像表示装置は、前記画像形成装置が複数頁の前記媒体からなる出力を行う場合に、前記制御部は、複数頁の前記媒体が連結された場合に前記媒体上で見えなくなる領域である出力不可領域を認識し、前記媒体に前記印刷ジョブデータが出力された場合に対応するように、前記表示部で前記印刷プレビュー画像と共に前記出力不可領域を変換して前記媒体と重複させて表示させることを特徴とする。
本発明の画像表示装置において、前記制御部は、複数頁の前記媒体が連結される際の留め具が装着される領域であり全ての頁において一定の大きさをもつ連結領域と、読者によって特定の頁が見られる際に当該特定の頁以外の頁の媒体によって遮蔽される領域であり頁毎に異なる大きさをもつ領域である遮蔽領域と、を前記出力不可領域として認識することを特徴とする。
本発明の画像表示装置において、前記制御部は、複数頁の前記媒体が連結される際に前記媒体が折り曲げられて収容される場合において、当該媒体が折り曲げられる際の折り線を認識し、当該媒体が折り曲げられた際の前記出力不可領域を表示させることを特徴とする。
本発明の画像表示装置において、前記制御部は、前記撮像部によって撮像された画像中において前記使用者の手を認識することを特徴とする。
本発明の画像表示装置において、前記制御部は、前記使用者の手の動作を認識し、当該動作に応じて前記表示部に表示させる画像を調整することを特徴とする。
本発明の画像表示装置において、前記制御部は、前記撮像部によって撮像された画像中において認識された前記媒体と、前記画像形成装置において出力が行われる前記媒体の大きさが異なると認識した場合に、前記撮像部によって撮像された画像中において認識された前記媒体と前記使用者の手の位置関係から、前記表示部において前記プレビュー画像を表示する位置を設定することを特徴とする。
【発明の効果】
【００１３】
上記の構成の画像表示装置を用いることにより、画像形成装置において、画像を出力する前に使用者に対して画像出力の設定を適正に行わせることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る画像表示装置の構成を示す図である。
【図２】本発明の実施の形態に係る画像表示装置において、表示部で表示される画像の例である。
【図３】本発明の第１の実施の形態に係る画像表示装置において、制御部の動作を示すフローチャートである。
【図４】複数の頁で構成される資料が読まれる場合の形態を模式的に示す図である。
【図５】本発明の第３の実施の形態に係る画像表示装置において、出力される用紙の形態の概要（ａ）、片面印刷の場合の出力例（ｂ）、両面印刷の場合の出力例（ｃ）である。
【図６】本発明の第５の実施の形態に係る画像形表示装置において表示部で表示される画像の例である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態に係る画像表示装置について説明する。この画像表示装置は、ヘッドマウントディスプレイ（ＨＭＤ）であり、使用者の頭部に装着されて使用され、かつＭＦＰやプリンタ等の画像形成装置と接続され、画像形成装置を用いる際に補助的に使用される。
【００１６】
図１は、この画像表示装置（ＨＭＤ）１０の構成を模式的に示す図である。ＨＭＤ１０は、ＨＭＤ１０とは別体とされたプリンタ（画像形成装置）１００との間で無線又は有線で通信を行い、これらの間で情報をやりとりすることができる。この点については、このＨＭＤ１０は、特許文献２に記載のＨＭＤと同様である。一方、このＨＭＤ１０は、表示部１１、撮像部１２、輝度検知部１３を具備し、更にこれら全体の制御を行う制御部１４を具備する。プリンタ１００は、１台又は複数のパーソナルコンピュータ（図示せず）とネットワークを介して接続され、このパーソナルコンピュータから受信した印刷ジョブデータによって印刷ジョブを実行する。印刷ジョブの出力となる画像は、所定の媒体（用紙等）上に形成される。
【００１７】
このＨＭＤはプリンタ１００の使用者の頭部に装着されて用いられ、この際に、撮像部１２は、使用者の目線で撮像を行う。表示部１１は、この際に使用者の眼の前に位置するディスプレイであり、撮像部１２によって撮像された画像を使用者に向けて表示する。このため、使用者は、表示部１１によって表示された画像を、自分が実際に見ている状況であると認識する。図１においては単純化して記載されているが、実際には、表示部１１においては、使用者の両眼によってこの画像が現実のものと同様に見えるように、画像が表示される。あるいは、表示部１１は半透明であり、撮像部１２によって撮像された画像と同じ画像を、使用者は表示部１１を介して見ることができる。以下では、このような場合も、この画像が表示部１１によって表示されているものとして扱う。
【００１８】
一方、輝度検知部１３は、使用者の視野中の輝度を検知する。これにより、例えば使用者がいる環境の照度を認識することができる。また、例えば使用者が媒体（用紙等）を目視した場合には、この媒体における反射の輝度（光沢）等を認識することができる。
【００１９】
制御部１４は、コンピュータであり、撮像部１２と輝度検知部１３に接続され、撮像部１２によって撮像された画像と、輝度検知部１３によって検知された輝度のデータを認識する。また、制御部１４は、無線又は有線でプリンタ１００と接続され、プリンタ１００における各種情報（設定）を認識する。制御部１４は、これらの入力された情報に基づいて、表示部１１において表示させる画像を生成する。この画像は、前記の撮像部１２によって撮像された画像と重複して表示部１１で表示される。また、制御部１４は、プリンタ１００から、これからプリンタ１００が実行する印刷ジョブの印刷ジョブデータを入手する。この際、制御部１４は、この印刷ジョブを実行させる／させないように、プリンタ１００を制御することもできる。
【００２０】
また、制御部１４は、撮像部１２によって得られた画像中において、使用者によって提示された媒体（用紙等）を、この画像中において認識することができる。また、この画像中における使用者の手、及びその動きを認識し、この動きに応じて表示部１１に表示させる画像の調整を行うことができる。制御部１４は、以下に説明するような様々な動作を行うが、どの動作を行うかは、撮像部１２によって得られた画像中で認識された物体（媒体、使用者の手等）や、切替えスイッチで構成されＨＭＤ１０に設けられた動作設定部１５によって設定される。
【００２１】
以下に、制御部１４の動作、すなわち、制御部１４が、制御部１４に入力された情報に基づいて表示部１１においてどのような画像を表示させかつその調整を行うかについて説明する。この情報は、前記の通り、撮像部１２、輝度検知部１３、又はプリンタ１００から入力する。また、この動作は、以下に説明する実施の形態に応じて異なるが、各動作を併用することもできる。
【００２２】
（第１の実施の形態）
第１の実施の形態においては、制御部１４は、白紙上の印刷プレビュー画像を表示部１１に表示させることができる。この設定は、動作設定部１５の操作によって行われる。この動作においては、撮像部１２、輝度検知部１３は特に用いられない。この場合、印刷ジョブデータを送信したパーソナルコンピュータからプリンタ１００を介して印刷ジョブデータを制御部１４が入手すると同時に、制御部１４は、プリンタ１００がこの印刷ジョブを実際に実行しない（出力させない）ように、制御する。
【００２３】
印刷プレビュー画面は、通常は印刷ジョブを送信したパーソナルコンピュータのディスプレイで確認することができるが、本願発明においては、使用者は、ＨＭＤ１０（表示部１１）でこれを確認することができる。この場合、表示部１１は、撮像部１２によって撮像された画像は表示させず、この印刷プレビュー画像を表示させてもよい。このような印刷プレビュー画像の確認は、用紙１枚に複数枚の資料を配列させて出力させる場合において特に有効である。この出力例を図２に示す。
【００２４】
図２（ａ）においては、パーソナルコンピュータから、２つの資料（画像）が１つの頁として出力されるような印刷ジョブが送信された場合の表示部１１における表示である。画像１、画像２が上下に配置された状態の用紙Ｐである１枚目の出力の後に、画像３、画像４が同様に配置された２枚目の出力が順次表示部１１で表示される。一方、図２（ｂ）においては、４つの資料が一つの頁として出力されるような印刷ジョブが送信された場合における表示部１１の表示である。どちらの場合にも、白紙上に画像１〜画像４が形成されたものが画像として表示部１１で表示される。
【００２５】
使用者が、表示部１１で確認した状態の画像で出力させることを希望する場合、使用者が動作設定部１５を操作することによって、制御部１４は、この印刷ジョブを実行するようにプリンタ１００を操作する。これによって、所望の出力が得られる。
【００２６】
上記の動作は、図２に示されたような、出力される画像の大きさや配置のみを特に問題にする場合において、有効である。同様の動作は、パーソナルコンピュータのディスプレイを用いて行うことができるが、この場合には、実際のものにより近い表示部１１における画像を用いて出力の確認をすることができる。
【００２７】
（第２の実施の形態）
第２の実施の形態においては、使用者は、媒体（用紙等）の種類や環境に応じた出力の確認をすることができる。この場合には、撮像部１２、輝度検知部１３も用いられる。特にカラーで出力された画像の印象は、この画像の環境（媒体の色、輝度、あるいは媒体の周囲の照度）によって異なる。このため、これらに応じて出力されるべき色が適正となるように、印刷ジョブデータにおける画像の色情報を補正することが好ましい。制御部１４は、このための補正データ（補正係数）を記憶している。印刷ジョブデータにおける色情報を、実測された媒体の色、輝度、媒体の周囲の照度に応じ、この補正データを用いて補正することができる。
【００２８】
この動作の開始も、動作設定部１５の操作によって行われる。図３は、この場合における制御部１４の動作を示すフローチャートである。まず、制御部１４は、表示部１１によって、媒体をＨＭＤ１０（使用者の眼）の前に提示するように指示する（Ｓ１）。媒体が提示されたら、制御部１４は、撮像部１２によって撮像された画像中からこの媒体を認識する（Ｓ２）。無地の矩形形状である媒体の４つの頂点を認識することによって、制御部１４は、この認識をすることができる。媒体とＨＭＤ１０との間の間隔をある所定の範囲とすれば、媒体のサイズは予め規格で定まっているため、この際に、制御部１４は、媒体のサイズを認識することができる（Ｓ３）。また、プリンタ１００において媒体を収容するカセットが定まっている場合には、この情報を制御部１４がプリンタ１００から入手し、提示された媒体のサイズがこのサイズと等しいものと認識することもできる。
【００２９】
また、制御部１４は、撮像部１２によって得られた画像から、提示された媒体の色を認識し（Ｓ４）、かつ、輝度検知部１３によって媒体表面の輝度、及び媒体周囲の輝度（照度）を認識する（Ｓ５）。
【００３０】
その後、前記と同様に、制御部１４は、プリンタ１００から印刷ジョブデータを入手し、この出力画像を、撮像部１２で撮像された画像中の媒体と重複させるように、表示部１１で表示する（Ｓ６）。この場合の出力はカラー画像であるものとする。この際、媒体が視線と正確に垂直でない場合等、媒体が画像中で正確な矩形とはならず変形して見える場合もあるが、この場合においても、媒体の頂点が認識されていれば、出力画像をこの変形に応じて投影・変換させて表示することができ、これによって、使用者は、表示部１１によって、提示された媒体上にこの画像出力が行われた場合の状態を確認することができる。
【００３１】
次に、制御部１４は、表示部１１を介して使用者に、ここで表示されたプレビュー画像で出力を行うか否かを問い合わせる（Ｓ７）。本実施の形態において問題とするのは、出力の色彩が適切であるか否かであり、例えば、用紙Ｐ中における画像のサイズや位置については後述する実施の形態で後述する。このため、使用者が動作設定部１５の操作によってこの状態（色彩）で出力させることを選択した場合（Ｓ７：Ｙｅｓ）には、制御部１４は、この印刷ジョブデータをそのまま用いて、プリンタ１００に出力を行わせ（Ｓ８）、動作は終了する。
【００３２】
表示部１１で表示されたプレビュー画像（Ｓ６）の色彩が適切でないために、プレビュー画像（Ｓ６）の状態での出力を希望しない場合（Ｓ７：Ｎｏ）には、制御部１４は、まず、媒体等に関して得られた情報（媒体の色、媒体表面の輝度、媒体周囲の照度）が、そのままでよいかを問い合わせる（Ｓ９）。ここで、媒体は実際に表示部１１によって表示されているため、使用者は、例えばこの画像を見て、この判断をすることができる。例えば、現在の環境が暗く（照度が低く）、実際にはもう少し明るい環境に出力を適合させたい場合には、ここで、この情報変更を希望することができる（Ｓ９：Ｙｅｓ）。また、プリンタ１００において実際に用いている媒体の色とここで提示した媒体の色が異なる場合にも、同様にこの情報変更を希望することができる。
【００３３】
情報変更を希望した場合（Ｓ９：Ｙｅｓ）には、使用者は、動作設定部１５の操作、あるいは後述するような手の動作（ジェスチャー）によって、上記のような情報変更を行うことができる（Ｓ１０）。これに応じて、制御部１４は、表示部１１における媒体の色、輝度、媒体周囲の照度を変更させた上で、印刷プレビュー画像を再表示する（Ｓ１１）。画像中で媒体等が認識されている（Ｓ２〜Ｓ５）ため、制御部１４は、この動作を適正に行うことができる。この際、例えば、媒体の認識（Ｓ２）において、媒体が視線から傾斜した状態（視線と垂直でない状態）で提示されたと認識された場合には、この傾斜角に応じて、検出された媒体の輝度を自動的に補正する、例えば角度に応じた補正係数で輝度を小さめに補正する、等の処理を自動的に行うこともできる。その後、媒体等の情報がこれでよいかを再び問い合わせる（Ｓ１２）。媒体等の情報を再変更したい場合（Ｓ１２：Ｎｏ）には、再び情報変更（Ｓ１０）が行われる。
【００３４】
使用者が印刷プレビュー画像（Ｓ１１）において媒体及びその周囲の状況が適切であると判断した場合（Ｓ１２：Ｙｅｓ）、又は媒体の情報変更を希望しなかった場合（Ｓ９：Ｎｏ）には、制御部１４は、現時点で表示されているプレビュー画像における色を補正するか否かを問い合わせる（Ｓ１３）。前記の情報変更（Ｓ１０）は、出力される画像の背景となる媒体や媒体の周囲の環境に関する情報（出力される画像以外の情報）についての変更であったのに対し、ここで問い合わされるのは、出力される画像自身の色情報についての補正をするか否かである。
【００３５】
使用者が動作設定部１５の操作によって色補正をすることを選択した場合（Ｓ１３：Ｙｅｓ）には、制御部１４は、色補正を自動で行うか否かを問い合わせる（Ｓ１４）。使用者が動作設定部１５の操作によって色補正を自動で行うことを選択した場合（Ｓ１４：Ｙｅｓ）には、制御部１４は、実測された媒体の色、輝度、媒体の周囲の照度（Ｓ４、Ｓ５）、あるいは情報の変更が行われた場合（Ｓ１０）には変更後のこれらの値に基づき、前記の補正係数を用いて、色補正を行う（Ｓ１５）。その後、補正された色情報を用いて印刷ジョブデータを書き換え、この出力画像を表示部１１で再度表示する（Ｓ１６）。使用者が色補正を自動で行わず手動で行うことを選択した場合（Ｓ１４：Ｎｏ）には、使用者に動作設定部１５を用いて色補正パラメータ（補正係数）を設定させ、制御部１４は、これを用いて色補正を行い（Ｓ１７）、同様に出力画像を再度表示する（Ｓ１６）。補正（Ｓ１７）の際には、後述するような手の動作（ジェスチャー）によってこれを行わせることもできる。
【００３６】
その後、制御部１４は、この再表示画面（Ｓ１６））の状態で出力を行ってよいか否かを問い合わせる（Ｓ１８）。使用者がこの画像で出力をすることを選択した場合（Ｓ１８：Ｙｅｓ）には、制御部１４はプリンタ１００にこの設定の印刷ジョブデータで出力を行わせ（Ｓ８）、動作は終了する。使用者がこの画像で出力をすることを選択しない場合（Ｓ１８：Ｎｏ）には、自動補正するか否かの問い合わせ（Ｓ１４）から色補正が再び行われる。
【００３７】
上記の動作により、使用者は、ＨＭＤ１０を用いて、プリンタ１００に出力を行わせる前に、媒体や環境に適合するように色が補正されたカラー画像を予め確認した上で、プリンタ１００からこの補正されたカラー画像を出力させることができる。
【００３８】
なお、図１の構成においては、提示された媒体（用紙）の形状及び色を認識するために撮像部１２が、媒体の輝度及び媒体の外側の照度を認識するために輝度検知部１３が用いられた。しかしながら、撮像部１２で撮像された画像のみから媒体の輝度、媒体の外側の照度を認識することが可能であれば、輝度検知部１３は不要である。逆に、撮像部を媒体の形状を認識するためのみに用い、提示された媒体の色を検知する色検知部を撮像部、輝度検知部とは別に設けてもよい。更に、輝度検知部を媒体の輝度（光沢）の検出のみに用い、媒体周囲の照度を検出するための照度検知部を撮像部、輝度検知部と別に設けてもよい。すなわち、上記の動作を実現するためには、撮像を行うことによって画像中で媒体の形状を認識するための撮像部と、提示された媒体の色を認識する色検知部と、提示された媒体の輝度を認識する輝度検知部と、媒体の外側の照度を検知する照度検知部と、を設ければよい。
【００３９】
この場合、例えば輝度検知部を設けずに、図３のフローチャートにおいて、印刷プレビュー画面再表示（Ｓ１１、Ｓ１６）において媒体の輝度や媒体の周囲の照度を変更せず、媒体の色情報に関する補正のみを反映させることもできる。あるいは、画像形成装置１００において白い媒体（用紙）のみが用いられる場合には、色検知部を設けず、撮像部と輝度検知部のみを設け、媒体の輝度や媒体の周囲の照度のみを反映させてもよい。
【００４０】
（第３の実施の形態）
第２の実施の形態においては、媒体の色や環境に応じた画像の最適化が行われた。これに対して、第３の実施の形態においては、プリンタ１００の出力の方式に応じた画像の最適化をすることができる。ここでは、プリンタ１００の出力において、ステープル機能を用いた場合のように、複数の頁で構成される出力を行う場合における最適化について説明する。
【００４１】
複数の頁からなる出力を行う場合には、その後で用紙の一辺（長辺又は短辺）側をホチキス等の留め具で留めてから、この出力が配布資料として用いられたり、保存される場合が多い。この際に留め具が装着される領域においては、画像が壊れる。このため、この領域には画像が形成されない（この領域を余白領域とする）設定とすることが好ましい。用紙中において画像が形成される領域（画像領域）あるいは端部側において形成される余白領域は、印刷ジョブを送信するパーソナルコンピュータから設定することが可能である。しかしながら、この余白領域の設定も、以下に示すように、実際の出力に応じて行うことが好ましい。
【００４２】
このような場合に出力された画像が見える状況について、片面印刷の場合に、図４に模式的に示す。図４（ａ）においては、上から２頁目における用紙Ｐ中の画像領域（用紙Ｐ内で画像が形成される領域）Ｒを見る場合が示されており、図４（ｂ）においては、上から６頁目における用紙Ｐ中の画像領域Ｒを見る場合が示されている。頁数が進行するにつれて、前記のホチキス留めされた領域に近い側の画像領域Ｒは、めくられた頁の用紙Ｐによって遮られて見えなくなる。このため、特に複数の頁で構成される出力を行う場合には、用紙Ｐ中で画像出力を行うことが好ましくない領域（出力不可領域）が存在する。用紙Ｐ中の画像領域Ｒ（あるいは余白領域：出力不可領域）の位置、大きさは、こうした状況を考慮して設定することが好ましい。
【００４３】
制御部１４は、こうした点を考慮して表示部１１における用紙Ｐ中の画像領域Ｒの位置を設定させることができる。図５（ａ）は、上記のような場合において画像領域Ｒが出力される用紙Ｐの状況を示す図である。図５（ａ）においては、ホチキス留めに用いられる領域（連結領域Ｓ１）は、用紙Ｐの左辺側であり、その幅はＬ１である。更に頁が進行するにつれて図４（ｂ）に示されるように見えなくなる領域（遮蔽領域Ｓ２）は、その右側に幅Ｌ２で広がる。すなわち、出力不可領域は、連結領域Ｓ１と遮蔽領域Ｓ２で構成される。
【００４４】
図５（ｂ）は、片面印刷の場合に頁が進行するに際してのこの状況を示す図であり、１番上は１頁目であり、下側に向かって頁数が進行している。この場合、幅Ｌ１は全ての頁において共通であるが、幅Ｌ２は１頁目では遮蔽する用紙Ｐ（頁）がないため零となり、頁が進行するに従ってこの頁を遮蔽する用紙Ｐが多くなるため、大きくなる。このため、Ｌ２あるいはＬ２の頁数の進行に伴う増大率は、用紙Ｐの種類や厚さに依存する。
【００４５】
また、図５（ｃ）は、両面印刷を行った場合におけるこの状況を図５（ｂ）と同様に示す。ここで、奇数頁は用紙Ｐの表面側に印刷され、偶数頁は用紙Ｐの裏面側に印刷されるものとする。図中左側は奇数頁（ｎ、ｍは共に奇数でｍ＞ｎ、ｍ＋１頁が最終頁）を示し、図中右側は偶数頁を示している。この場合においては、奇数頁と偶数頁とでは領域Ｓ１、Ｓ２の出現する側が異なる。ここでは、画像領域Ｒの上下方向における向きは、図５（ｃ）の状態においては全て共通であり、この資料は読者によって図５（ｃ）に示された形態で読まれるものとする。この場合には、１頁目と最終頁（ｍ＋１頁：偶数頁）においてＬ２が零となり、２頁目と最終頁の直前の頁（ｍ頁：奇数頁）においてＬ２が最大となる。
【００４６】
制御部１４は、プリンタ１００から、印刷ジョブデータが片面印刷、両面印刷のどちらであるか、用紙の向き、頁の総数等を認識することができ、両面印刷の場合には、表面と裏面における画像の向き（図５（ｃ）における画像の表面と裏面における上下の向き）等を認識することができる。また、どのような留め具を用いるかによって、幅Ｌ１は定まり、Ｌ２あるいはＬ２の頁進行に対する増大率は、用紙Ｐの種類に応じて定まることができる。また、制御部１４は、どのような留め具を用いるかあるいはＬ１をどう設定するかを、表示部１１を介して使用者に問い合わせ、動作設定部１５を介して応答させることができる。また、同様に用紙Ｐの種類や厚さ等を使用者に入力させることにより、Ｌ２あるいはＬ２の増大率、頁数を考慮したＬ２の最大値を、制御部１４が認識することもできる。また、予め用いられる媒体（用紙）の種類が複数定まっている場合には、制御部１４は、各種類毎にＬ１、頁数毎のＬ２あるいはＬ２の増大率をデータとして記憶し、使用者によってこの種類が特定された場合に、このデータを用いてＬ１と頁毎のＬ２を認識することができる。
【００４７】
このため、片面印刷を行う場合における印刷プレビュー画像を図５（ｂ）の状態において画像領域Ｒで表示させること、両面印刷を行う場合における印刷プレビュー画像を図５（ｃ）の状態において画像領域Ｒで表示させること、を制御部１４は、表示部１１において行うことができる。この際、頁毎にこの表示を表示部１１において行わせ、これを確認することで、用紙Ｐ中の画像領域Ｒ（あるいは余白領域）の位置、大きさを設定することができる。この設定は、通常は印刷ジョブを送信するパーソナルコンピュータから行われるが、ＨＭＤ１０（制御部１４）もプリンタ１００に接続されているため、この再設定を動作設定部１５からできる、すなわち、動作設定部１５を用いて入力されたパラメータを用いて印刷ジョブデータを補正し、この印刷ジョブをプリンタ１００から出力させることもできる。このため、実際に出力を行う前に、この出力に対してこの留め具を用いる場合に最適な形態で、プリンタ１００から各出力をさせることができる。
【００４８】
なお、上記の例では、遮蔽領域Ｓ２の幅Ｌ２は単調に増減（両面印刷の場合には奇数頁、偶数頁のそれぞれにおいて単調に増減）した。しかしながら、頁数が非常に多い場合には、頁をめくる際の用紙の折り曲げの状況が変化し、幅Ｌ２はこのような単調な変化ではなく、幅Ｌ２が途中で極大値をもつような場合（最初と最後の頁の途中で遮蔽領域Ｓ２が最も広くなる場合）もありうる。すなわち、幅Ｌ２と頁の関係としては、様々な場合がありえ、こうした様々なパターンを、予め制御部１４が記憶し、使用者にパターンを選択させるような構成としてもよい。
【００４９】
なお、上記のように留め具としてホチキス等を用いて各用紙を留める場合以外にも、用紙の留め方はさまざまである。例えば、用紙の端部近くに孔部を形成し、この孔部に留め具を貫通させることによって各用紙を留めるファイル・バインダーが用いられる場合もある。この場合には、図４、５に示されたように、連結領域Ｓ１、遮蔽領域Ｓ２を単純な矩形形状とせず、これらを適宜設定することができる。例えば、連結領域Ｓ１（全頁において共通に画像が壊される領域）は分離した２つの小さな円形領域（上記の孔部に対応）と設定することができる。また、上記の場合には頁毎に遮蔽領域Ｓ２の大きさ（幅）が変わる設定とされたが、この場合には遮蔽領域Ｓ２も一定幅と設定することもできる。あるいは、遮蔽領域Ｓ２と連結領域Ｓ１を一体化させた一定の領域を出力不可領域として定義してもよい。
【００５０】
また、このようなファイル・バインダーを用いる場合には、用紙Ｐを折り曲げて収容する場合もある。こうした場合には、制御部１４は、こうした設定がされた場合には、印刷プレビュー画像が重複して表示された用紙Ｐがこのように折り曲げられた状態として、表示部１１で表示させれば、こうした場合においても、使用者は、画像領域Ｒの位置を用紙Ｐ中で適正に設定することが可能となる。この場合には、用紙Ｐにおける連結領域Ｓ１が設けられる箇所と、折り曲げる箇所（折り線）とを制御部１４が認識できればよい。例えば用紙Ｐの元の大きさと、折り曲げられた後の大きさとを制御部１４が認識していれば、制御部１４は、折り線の位置を認識することができる。あるいは、この場合の折り線の候補を表示部１１を介して複数提示し、使用者に選択させることもできる。また、表示部１１に折り曲げ前の用紙Ｐを表示させ、動作設定部１５を用いて使用者にこの画像中で折り線を設定させることもできる。
【００５１】
その他、画像形成装置１００において出力された媒体がその後どのような形態で使用、保存されるかの状況が予め制御部１４で認識できれば、その形態に応じてこの媒体を表示部１１で表示させ、これに印刷プレビュー画像を投影して重複させて表示させることにより、使用者は、画像形成装置１００で出力をさせる前に、出力後の画像をより正確にチェックすることができる。
【００５２】
（第４の実施の形態）
第２、第３の実施の形態においては、制御部１４は、撮像部１２で撮像された画像中から、媒体（用紙）を認識し、この画像中における用紙と印刷プレビュー画像とを重複させて表示部１１で表示させた。この際、制御部１４に対する各種の情報（パラメータ）の入力は、動作設定部１５又はプリンタ１００から行われた。第４の実施の形態においては、この情報入力においても、撮像部１２を用いることができる。
【００５３】
前記の例では、制御部１４は、本来は矩形形状である媒体を、撮像部１２によって得られた画像中で認識したが、制御部１４は、この画像中に使用者の手がある場合にも、これをパターン認識の技術や手の色彩情報等を用いて認識することが可能である。この場合、指や手の動き（ジェスチャー）と、これによって要求される制御部１４の動作を予め定めておけば、手や指の動作によって様々な設定をすることができる。
【００５４】
例えば、図５（ｂ）（ｃ）に示されるような頁の表示の前進、後退の指示を、指先の素早い移動を行う際の向きによって行う（例えば、右向きの場合に前進、左向きの場合に後退させるような設定とする）ことができる。また、例えば緩慢に指を閉じた後で急激に指を広げた場合にはあるパラメータを大きくする、逆に緩慢に指を広げた後で急激に指を閉じた場合にはあるパラメータを小さくする等の設定が可能である。第２〜第４の実施の形態における動作で用いられる各種のパラメータの設定において、動作設定部１５を用いる代わりに、このような手の動きを用いることもできる。この場合、パラメータの設定と手の動作との対応の指示（どのように手を動かせばよいか）は、制御部１４が、表示部１１を介して使用者に指示することができる。
【００５５】
すなわち、制御部１４は、撮像部１２によって得られた画像中において、媒体以外のものを認識し、これによって、使用者によるこのＨＭＤ１０の操作を更に容易とすることができる。また、特許文献２に記載の技術と同様に、画像形成装置１００を認識し、これを用いて表示部１１から使用者に次に行うべき作の指示を行ってもよい。
【００５６】
(第５の実施の形態)
撮像部１２によって得られた画像中において、第２、第３の実施の形態のように媒体が、第４の実施の形態のように使用者の手が、同時に認識された場合には、制御部１４に対して更に細かな指示を行うことが可能である。以下に、こうした場合における動作の一例について説明する。
【００５７】
ＨＭＤ１０（撮像部１２）の前に提示された用紙Ｐと、プリンタ１００の出力で用いられる用紙とが一致しない場合もある。例えば、プリンタ１００の実際の出力で用いられるべき用紙がＡ４サイズであり、提示された用紙ＰがＡ３サイズである場合もある。前記の通り、この場合には、制御部１４は、提示された用紙Ｐのサイズを認識することができる。また、第２の実施の形態におけるような色補正を行う場合には、このように実際の出力に用いられる用紙とは異なるサイズの用紙Ｐ上で印刷プレビュー画像を確認したい場合もある。
【００５８】
こうした場合においては、表示部１１において、印刷プレビュー画像（画像領域Ｒ）は、用紙Ｐにおける特定の狭い領域において表示される。図６は、この特定の領域を、使用者の手Ｈがある側に設定する場合における表示部１１の表示の一例である。この場合、用紙Ｐは横長に認識されるため、画像領域Ｒは、用紙Ｐの右側、左側のいずれかに設定される。手Ｈが用紙Ｐの右側にある場合には、図６（ａ）のように、用紙Ｐの右側の領域において画像領域Ｒが設けられ、手Ｈが用紙Ｐの左側にある場合には、図６（ｂ）のように、用紙Ｐの左側の領域において画像領域Ｒが設けられる。あるいは、この例とは逆に、手Ｈと反対側に画像領域Ｒが来るように設定することもできる。
【００５９】
上記の他にも、媒体と使用者の手とが同時に撮像された場合に、媒体と手の位置関係あるいは手の動作によって、印刷プレビュー画像に関する操作を対応付けることができる。これによって、このＨＭＤ１０を用いることによって、画像形成装置１００で出力を行わせる前に、出力される画像の事前チェックをより適正に行うことができる。
【００６０】
なお、上記の実施の形態においては、各動作がそれぞれ説明されたが、これらの動作を併用することもできる。例えば、初めに第１の実施の形態（図２）におけるような出力画像の配置をチェックしてから、第２の実施の形態におけるようなカラー画像の調整（図３）、第３の実施の形態におけるような印刷不可領域に応じた画像領域の位置の設定を行うことができる。この際、第４、第５の実施の形態における手の動きによる制御は、適宜用いることができる。
【００６１】
また、上記の例では、画像形成装置がプリンタ（カラープリンタ）であるものとしたが、複合機等、同様に媒体に対して画像を形成して出力する機能を具備する画像形成装置であれば、同様の制御が可能である。また、画像形成装置がモノクロ出力のみを行うものであっても、上記の色補正以外の点については同様の制御が可能である。
【００６２】
また、上記の画像表示装置は図１の構成を具備するＨＭＤ（ヘッドマウントディスプレイ）であったが、同様の機能を有するものであれば、他の構成を用いることもできる。例えば、表示部や撮像部等が一体化されて使用者の頭部に装着可能とされ、制御部はこれらと別体とされていてもよい。
【符号の説明】
【００６３】
１０  ＨＭＤ（ヘッドマウントディスプレイ：画像表示装置）
１１  表示部
１２  撮像部（色検知部）
１３  輝度検知部（照度検知部）
１４  制御部
１５  動作設定部
１００  プリンタ（画像形成装置）
Ｐ  用紙（媒体）
Ｒ  画像領域
Ｓ１  連結領域（出力不可領域）
Ｓ２  遮蔽領域（出力不可領域）
【図１】
2018063627.tif 000003
【図２】
2018063627.tif 000004
【図３】
2018063627.tif 000005
【図４】
2018063627.tif 000006
【図５】
2018063627.tif 000007
【図６】
2018063627.tif 000008