(57)【要約】      （修正有）【課題】ユーザーがより使いやすい画面表示を自動で表示させることができる表示装置を提供する。【解決手段】画面に画像を表示させる表示部４０と、手の形状を撮像する撮像部１０（カメラモジュール）と、撮像部１０により撮像された手の形状から、右側から伸びてきている右手又は左側から伸びてきている左手である第一の場合か、左側から伸びてきている右手又は左側から伸びてきている左手である第二の場合か、を判断し、判断結果に応じた画面を前記表示部４０に表示させる制御部３０と、を有する。【選択図】図２
2016134097.tif 000002
【特許請求の範囲】
【請求項１】
画面に画像を表示させる表示部と、
手の形状を撮像する撮像部と、
前記撮像部により撮像された手の形状から、右側から伸びてきている右手又は右側から伸びてきている左手である第一の場合か、左側から伸びてきている右手又は左側から伸びてきている左手である第二の場合か、を判断し、判断結果に応じた画面を前記表示部に表示させる制御部と、
を有することを特徴とする表示装置。
【請求項２】
前記制御部は、
右手と認識した手の中で親指側が小指側よりも下側になる場合、又は左手と認識した手の中で親指側が小指側よりも上側になる場合を前記第一の場合と判断し、
右手と認識した手の中で親指側が小指側よりも上側になる場合、又は左手と認識した手の中で親指側が小指側よりも下側になる場合を前記第二の場合と判断し、
前記第一の場合と判断すると、第一の画面を表示させ、前記第二の場合と判断すると、第二の画面を表示させる、
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記制御部は、前回の判断結果を記憶しており、
複数の手が伸びてきていると判断した場合、記憶されている前回の判断結果に応じた表示を行う、ことを特徴とする請求項１または請求項２のいずれかに記載の表示装置。
【請求項４】
前記制御部は、
伸びてきている手を検出してから所定時間以内に別の手が伸びてきている場合、複数の手が伸びてきていると判断し、
伸びてきている手を検出してから所定時間以内に別の手が伸びてこない場合、検出されている手を基に第一の場合か第二の場合かを判断する、ことを特徴とする請求項３に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する表示部を備える表示装置に関する。
【背景技術】
【０００２】
特定の情報や画像を画面に表示する表示装置が知られている。例えば、操作入力を受け付けるアイコンや、操作説明のための画像等を画面に表示させることで、装置を操作するユーザーの利便性を向上させることができる。
【０００３】
特許文献１には、車室に搭載される表示装置において、操作部を操作する手の種別（右手、左手）に応じた画面を表示する装置が開示されている。この装置では、撮像部が操作部を操作するユーザーの手を撮像し、操作された画像から手の種別を判別する。そして、装置は、右手が判別されれば画面の配置をこの画面に対して左側の座席のユーザーに操作し易いものとし、左手が判別されれば画面の配置を右側の座席のユーザーに操作し易いものとする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第０７／０８８９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された発明は、画面に対して右側に乗車するユーザーは右側から手を伸ばして装置を操作し、画面に対して左側に乗車するユーザーは左側から手を伸ばして装置を操作することを前提として、判別された手の種別から画面の配置を変化させている。しかし、ユーザーが画面の正面に対峙して操作を行う装置では、操作する手を伸ばす方向や、利き手の向きに応じて、手で覆われる画面の位置が変換するため、特許文献１で開示する方法を適用することは難しい。
【０００６】
本発明は、上記課題に鑑みたものであり、ユーザーがより使いやすい画面表示を自動で表示させることができる表示装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一態様では、画面に画像を表示させる表示部と、手の形状を撮像する撮像部と、撮像部により撮像された手の形状から、右側から伸びてきている右手又は左側から伸びてきている左手である第一の場合か、左側から伸びてきている右手又は左側から伸びてきている左手である第二の場合か、を判断し、判断結果に応じた画面を前記表示部に表示させる制御部と、を有する。
【０００８】
「撮像部」は、手の形状を撮像できるものであれば、周知のカメラモジュール等どのようなものであってもよい。また、「撮像部」は、表示装置に固定されているものや、表示装置と着脱可能に取り付けられて表示装置とは異なる位置に配置されているもの、さらには、表示部の一部の機能として備わっているものであってもよい。
「判断結果に応じた画面」とは、表示装置を操作するユーザーの手に対応して表示される画像をいい、例えば、操作を行う手に対して最適なアイコン等の配置が行われた画像等を意味する。
【０００９】
上記のように構成された発明では、表示装置を操作する手の種別とこの手が伸びてきている向きとをもとに、最適な画面を判断するため、ユーザーが表示装置を操作する状況に合わせてより使いやすい画面表示を自動で表示させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】一例としての複合機１００の外観を示す外観図。
【図２】プリンターのハードウェア構成を示すブロック構成図。
【図３】上方から見た複合機１００とユーザーとの相対的な位置関係を左側に示し、表示部４０と操作をする手との各相対的な位置関係を右側に示す図。
【図４】制御部３０により実行される画面の表示制御を説明するフローチャート。
【図５】ステップＳ２において制御部３０に検出される撮像画像Ｉｍに含まれる手を説明する図。
【図６】一例としての特徴量抽出処理を説明する図。
【図７】一例としての特徴量抽出処理を説明する図。
【図８】ステップＳ６での判定処理を説明する表。
【図９】一例として、表示部４０に表示されるホーム画面４００を示す図、
【図１０】一例として、ステップＳ１１において、制御部３０で実施される処理を示すフローチャート。
【図１１】第２の実施形態において、制御部３０により実行される画面の表示制御を説明するフローチャート。
【図１２】撮像画像Ｉｍに含まれる手を説明する図。
【発明を実施するための形態】
【００１１】
以下、下記の順序に従って本発明の実施形態を説明する。
１．第１の実施形態：
（１）表示装置の構成
（２）画面の表示制御方法
（３）本発明の作用・効果
２．第２の実施形態：
３．その他の実施形態：
【００１２】
１．第１の実施形態：
（１）表示装置の構成
本発明の表示装置として、画像を表示する表示部を備える複合機１００を例に説明を行う。複合機１００は、用紙に色材を記録する印刷機能、原稿を読み取るスキャナー機能、原稿を送信するＦＡＸ機能を備えている。
【００１３】
図１は、一例としての複合機１００の外観を示す外観図である。複合機１００は、筐体９０により外装されている。筐体９０は、図１では図示しない、プリンターユニット、スキャナーユニット、ＦＡＸユニット等を収容している。筐体９０の前部には、撮像部として機能するカメラモジュール１０と表示部４０とが取り付けられた前部パネル９１が開閉可能に取り付けられている。この前部パネル９１は、色材が記録された用紙が排出される経路を覆うカバーとしても機能する。筐体９０の上部には、原稿をセットする原稿台を覆う上部カバー９２が開閉可能に取り付けられている。
【００１４】
図２は、プリンターのハードウェア構成を示すブロック構成図である。複合機１００は、カメラモジュール１０、ＵＳＢＩＦ２０、外部メモリコントローラー２５、制御部３０、表示部４０、プリンターユニット５０、スキャナーユニット６０、ＦＡＸユニット７０、を備えている。カメラモジュール１０、ＵＳＢＩＦ２０、外部メモリコントローラー２５、表示部４０、プリンターユニット５０、スキャナーユニット６０、ＦＡＸユニット７０は、制御部３０に電気的に接続されている。
【００１５】
カメラモジュール１０は、光を集めるレンズブロック１１と、レンズブロック１１により集められた光を電気信号に変換するイメージセンサー１２と、を備えている。レンズブロック１１は一つまたは複数のレンズを備え、前方からの光を集める。イメージセンサー１２は、周知のＣＭＯＳイメージセンサーやＣＣＤイメージセンサーといった撮像素子、レジスターを備えている。イメージセンサー１２は、レンズブロック１１により集められた光を、撮像素子により電気信号に変換する。変換された電気信号は撮像画像Ｉｍとしてレジスターに記録された後、一定の周期で制御部３０に出力される。
【００１６】
ＵＳＢＩＦ２０は、図示しないＰＣ等の外部装置とＵＳＢ規格に準じたプロトコルにより通信する。そのため、複合機１００は、ＵＳＢＩＦ２０を通じてＰＣから印刷用データーの供給を受けることができる。
【００１７】
外部メモリコントローラー２５は、外部メモリと接続し、この外部メモリと通信することができる。外部メモリには、印刷処理により処理される印刷用データーや、スキャナー処理により読み取られた原稿データーを記録することができる。外部メモリは例えば、フラッシュメモリ、ＳＤメモリ等の不揮発性メモリである。
【００１８】
制御部３０は、例えば周知のＳｏＣ（System On Chip）により構成され、ＣＰＵ３１、ＲＡＭ３２、およびＲＯＭ３３、を備えている。ＲＡＭ３２には、ＣＰＵ３１のワークエリアとして機能する。また、ＲＡＭ３２には、カメラモジュール１０から出力された撮像画像Ｉｍが一時的に記録される。ＣＰＵ３１は、ＲＯＭ３２に記録されたプログラムにより、印刷用データーを解析して、プリンターユニット５０を駆動するための情報を生成する。また、ＣＰＵ３１は、ＲＯＭに記録されたプログラムにより、スキャナーユニット６０による原稿の読み取りや、ＦＡＸユニット７０による原稿データーの送受信を制御する。
【００１９】
また、ＲＯＭ３３は、ＣＰＵ３１に、各機能を選択するためのホーム画面を表示部４０に表示させる表示制御プログラム３３０を記録している。表示制御プログラム３３０は、ＣＰＵ３１に、表示部４０に表示される画像を、カメラモジュール１０に撮像される手の種別に応じて変化させる制御（以下、画面表示制御とも記載する。）を実現させる。この画面表示制御の詳細は後述する。また、ＲＯＭ３３には、この画面表示制御で使用される第１の表示用画像３３１、第２の表示用画像３３２も記録されている。
なお、この実施形態では、各表示用画像は、１つの画像を構成するのではなく、階層上に対応づけられた複数の画像群を表すものである。
【００２０】
表示部４０は、ホーム画面を含めた画像を表示する機能を実現するために、ＬＣＤコントローラー４１、ＬＣＤ４２、を備えている。ＬＣＤコントローラー４１は、制御部３０から表示用画像３３１、３３２を受信すると、この表示用画像３３１、３３２をもとに、ＬＣＤ４２を駆動するための駆動データーを生成する。ＬＣＤ４２は、解像度に応じた数の液晶画素を配列しており、駆動データーをもとに各画素を駆動させて画像を表示する。
【００２１】
表示部４０は、ユーザーによる画面の操作を検出する機能を実現するために、タッチスクリーンモジュール４３、を備えている。タッチスクリーンモジュール４３は、ユーザーによる画面操作を受け付けると、その操作位置（Ｘ座標、Ｙ座標）に応じた電圧値の信号を出力する。タッチスクリーンモジュール４３から出力される信号は、制御部３０に出力され、操作入力として判断される。タッチスクリーンモジュール４３としては、例えば、抵抗膜方式、静電容量方式、赤外線方式を用いることができる。
【００２２】
プリンターユニット５０は、色材を用紙に対して記録していくプリンター機構５１や、制御部３０から出力される駆動用データーをもとにプリンター機構５１を駆動するための電気信号を生成するメカコントローラー５２と、を備えている。プリンターユニット５０を構成する各部は周知技術であるため、詳細な説明を省略する。
【００２３】
スキャナーユニット６０は、原稿台にセットされた原稿を読み取るスキャナー機構６１と、このスキャナー機構を駆動するためのスキャナーコントローラー６２と、を備えている。スキャナーユニット６０を構成する各部は周知技術であるため、詳細な説明を省略する。
【００２４】
ＦＡＸユニット７０は、スキャナーユニット６０が読み取ることで生成された原稿データーを、不図示の電話回線またはインターネット回線を通じて外部装置に送信する。
【００２５】
（２）画面の表示制御方法
次に、複合機１００で実行される画面の表示制御方法を説明する。図３（ａ）〜（ｄ）は、上方から見た複合機１００とユーザーとの相対的な位置関係を左側に示し、表示部４０と操作をする手との各相対的な位置関係を右側に示している。図３を例に、ユーザーが表示部４０を操作する手を伸ばす向きに応じて、同じ右手または左手であっても、画面の見え難くなる位置が変化する現象を説明する。
なお以下では、複合機１００と対峙したユーザーにおいて、右側の位置を右側Ｒ、左側の位置を左側Ｌと規定している。
【００２６】
図３（ａ）、（ｂ）は、ユーザーが右手Ｒｈで複合機１００を操作する場合である。図３（ａ）では、ユーザーは複合機１００と正面から対峙し、右側Ｒから右手Ｒｈを伸ばして表示部４０を操作している。すなわち、図３（ａ）は、「右側から伸びてきている右手」で表示部４０を操作しているといえる。図３（ｂ）では、ユーザーは複合機１００と左側Ｌで対峙し、左側Ｌから右手Ｒｈを伸ばして表示部４０を操作している。すなわち、図３（ｂ）は、「左側から伸びてきている右手」で表示部４０を操作しているといえる。図３（ａ）の場合では、操作する右手Ｒｈにより表示部４０の画面の右側が隠れてしまい、図３（ｂ）の場合では、逆に、操作する右手Ｒｈにより画面の左側が隠れてしまう。
【００２７】
図３（ｃ）、（ｄ）は、ユーザーが左手Ｌｈで複合機１００の表示部４０を操作する場合の、画面と左手Ｌｈとの位置関係をそれぞれ示している。図３（ｃ）では、ユーザーは複合機１００と右側Ｒで対峙して、右側Ｒから左手Ｌｈを伸ばして表示部４０を操作している。すなわち、図３（ｃ）は、「右側から伸びてきている左手」で表示部４０を操作しているといえる。図３（ｄ）では、ユーザーは複合機１００と正面で対峙して左側Ｌから左手Ｌｈを伸ばして表示部４０を操作している。すなわち、図３（ｄ）は、「左側から伸びてきている左手」で表示部４０を操作しているといえる。図３（ｃ）の場合では、操作する左手Ｌｈにより画面の右側が隠れてしまい、図３（ｄ）の場合では、逆に、操作する左手Ｌｈにより画面の左側が隠れてしまう。
【００２８】
そこで、制御部３０は、「右側から伸びてきている右手」または「右側から伸びてきている左手」で表示部４０を操作している場合、画面の右側領域に操作アイコン等を集約させることで、左側を視認し易くしている。以下、「右側から伸びてきている右手」または「右側から伸びてきている左手」で表示部４０を操作している場合を、単に「第一の場合」とも記載する。一方、「左側から伸びてきている右手」または「左側から伸びてきている左手」で表示部４０を操作している場合、画面の左側領域に操作アイコン等を集約させることで、右側を視認し易くしている。以下、「左側から伸びてきている右手」または「左側から伸びてきている左手」で表示部４０を操作している場合を、単に「第二の場合」とも記載する。
【００２９】
図４は、制御部３０により実行される画面の表示制御を説明するフローチャートである。図４に示すフローチャートは、制御部３０が、表示制御プログラム３３０を実行することで実現される。このフローチャートにおいて、制御部３０は、ユーザーが画面を操作する手の種別および伸ばした手の向きから「第一の場合」または「第二の場合」を検出し、検出結果をもとに、ホーム画面を構成する画像を選択する。
【００３０】
制御部３０は、電源が入る、あるいはスリープモードを解除すると、図４に示すフローチャートを繰り返し実行する。なお、この状態においても表示部４０には、待ち受け画面が表示されている。待ち受け画面は、複合機１００がユーザーからの操作入力を監視している状態を示す画面である。例えば、待ち受け画面は、黒色のベタ画像により構成されている。図４のステップＳ１では、制御部３０は、状態フラグを初期化する。
状態フラグは前回の状態（第一の場合、第二の場合）を示すフラグである。
【００３１】
ステップＳ２では、制御部３０は、撮像画像Ｉｍに手が含まれているか否かを検出する。図５は、ステップＳ２において制御部３０に検出される撮像画像Ｉｍに含まれる手を説明する図である。ステップＳ２の検出処理では、手の種別（右手、左手）まで検出せず、撮像画像Ｉｍに手（画像ＨＤ）が含まれるか否かのみが検出される。撮像画像Ｉｍ内の手ＨＤの検出方法は、パターンマッチングといった周知の手法を用いることができる。
【００３２】
撮像画像Ｉｍに手ＨＤが検出された場合（ステップＳ３：ＹＥＳ）、制御部３０は、ＲＡＭ３２に記録される撮像画像Ｉｍに対して特徴量抽出処理を行う（ステップＳ４、Ｓ５）。この特徴量抽出処理では、図３に示した原理に基づいてユーザーが画面を操作する手の種別と伸びてきている方向とを特徴量として抽出する。
一方、撮像画像Ｉｍに手ＨＤが検出されない場合（ステップＳ３：ＮＯ）、制御部３０は、処理を終了し、ステップＳ１からフローチャートを繰りかえす。
【００３３】
図６は、一例としての特徴量抽出処理を説明する図である。まず、ステップＳ４では、制御部３０は、ＲＡＭ３２に記録される撮像画像Ｉｍに含まれる手ＨＤが「右手」であるか「左手」であるかを判定する。図６（ａ）は、この実施形態において、ユーザーの画面を操作する手が左手である場合の撮像画像Ｉｍを示している。図６（ｂ）は、この実施形態において、ユーザーの画面を操作する手が右手である場合の撮像画像Ｉｍを示している。    
「右手」および「左手」の判定は、親指ＴＤや小指ＬＤの位置を周知のパターンマッチングにより判定し、判定された親指と小指の位置関係をもとに判定することができる。
なお、撮像画像Ｉｍに含まれる手を、「右手」と認識するか「左手」と認識するかは、手とこの手を撮像するカメラモジュール１０の撮像方向との相対的な位置や、カメラモジュール１０の内部での処理等によっても変化するが、本実施形態では、図６（ａ）を「左手」とし、図６（ｂ）を「右手」として扱うものとする。
【００３４】
次に、ステップＳ５では、制御部３０は、ＲＡＭ３２に記録される撮像画像Ｉｍに対して親指位置を判定する。この親指位置の判定では、撮像画像Ｉｍに含まれる手ＨＤにおいて、親指側が小指側に対して上側か下側かを判定する。なお、この実施形態では、制御部３０は、親指ＴＤと小指ＬＤとが同じ高さにある場合は、親指ＴＤが小指ＬＤに対して下側にあると判定している。無論これに限定されず、親指ＴＤと小指ＬＤが同じ高さとなる場合を個別に判定してもよい。
【００３５】
図７は、一例としての特徴量抽出処理を説明する図である。図７（ａ）は、左手の親指ＴＤが小指ＬＤに対して上側である場合の撮像画像Ｉｍを示している。図７（ｂ）は、左手の親指ＴＤが小指ＬＤに対して下側である場合の撮像画像Ｉｍを示している。ここで、「上側」および「下側」の判定は、撮像画像Ｉｍ内における図中Ｙ方向を高さとした場合の親指ＴＤと小指ＬＤとのＹ方向での相対的な位置関係をもとに判断される。図７（ａ）では、撮像画面Ｉｍ内で親指ＴＤのＹ方向での先端Ｙｔが小指ＬＤのＹ方向での先端Ｙｌよりも高く、親指ＴＤは小指ＬＤに対して「上側」にあると判定している。また、図７（ｂ）では、撮像画面Ｉｍ内で親指ＴＤのＹ方向での先端Ｙｔが小指ＬＤのＹ方向での先端Ｙｌよりも低く、親指ＴＤは小指ＬＤに対して「下側」にあると判定している。なお、この実施形態では、撮像画面Ｉｍ内で親指ＴＤのＹ方向での先端が小指ＬＤのＹ方向での先端と同じ高さの範囲の場合、親指は小指に対して「下側」にあると判定している。
【００３６】
ステップＳ６では、制御部３０は、特徴量抽出処理（ステップＳ４、Ｓ５）での結果をもとに、「第一の場合」と「第二の場合」とを判定する（判定処理）。図８は、ステップＳ６での判定処理を説明する表である。判定処理では、特徴量抽出処理での結果（「右手」、「左手」、「親指が上側」、「親指が下側」）の組み合わせをもとに、「第一の場合」と「第二の場合」とを判定している。「第一の場合」は、特徴量抽出処理の結果が「右手」かつ「親指が下側」、または「左手」かつ「親指が上側」の場合となる。「第二の場合」は、特徴量抽出処理の結果が「右手」かつ「親指が上側」、または「左手」かつ「親指が下側」の場合となる。
【００３７】
第一の場合が判定されると（ステップＳ６：ＹＥＳ）、ステップＳ７では、制御部３０は、第一の表示用画像３３１を表示部４０に出力する。ステップＳ８では、制御部３０は状態フラグの値を「第一の場合」に対応する値に変化させる。
【００３８】
第二の場合が判定されると（ステップＳ６：ＮＯ）、ステップＳ９では、制御部３０は、第二の表示用画像３３２を表示部４０に出力する。ステップＳ１０では、制御部３０は状態フラグの値を「第二の場合」に対応する値に変化させる。
【００３９】
図９（ａ）は、一例として、第一の場合が判定された場合に、表示部４０に表示されるホーム画面４００を示す図であり、図９（ｂ）は、一例として、第二の場合が判定された場合に、表示部４０に表示されるホーム画面を示す図である。図９（ａ）（ｂ）に示す各ホーム画面４００は、複合機１００に実行させる各種処理（コピー、スキャン、ＦＡＸ、メモリーカード読み出し）を選択する機能選択アイコン４０１と、機能選択アイコン４０１で選択された機能で実行する部数の入力を受け付けるキーアイコン４０２と、を備えている。機能選択アイコン４０１とキーアイコン４０２の配置は、ステップＳ６での選択に応じてレイアウトが設定されている。
なお、図９（ａ）に示すホーム画面が本発明の「第一の画面」に相当し、図９（ｂ）に示すホーム画面が本発明の「第二の画面」に相当する。
【００４０】
図９（ａ）に示すホーム画面４００では、キーアイコン４０２を画面の右側Ｒに配置し、機能選択アイコン４０１をキーアイコン４０２に対して左側に配置している。機能選択アイコン４０１のスクロールタブ４０１ａは、右側に配置されている。
第一の場合では、ユーザーは、右側から伸びた右手または左手（図３（ａ）（ｃ））で画面の右側に配置されたキーアイコン４０２や、機能選択アイコン４０１の右側に配置されたスクロールタブ４０１ａを操作することになる。そのため、ユーザーはキーアイコン４０２やスクロールタブ４０１ａを操作する自分の手に邪魔されることなく、左側の機能選択アイコン４０１を視認し続けることができる。  
【００４１】
図９（ｂ）に示すホーム画面４００では、キーアイコン４０２を画面の左側Ｌに配置し、機能選択アイコン４０１をキーアイコン４０２に対して右側に配置している。機能選択アイコン４０１のスクロールタブ４０１ａは、左側に配置されている。第二の場合では、ユーザーは、左側から伸びた右手または左手（図３（ｂ）（ｄ））で画面の左側に配置されたキーアイコン４０２や、機能選択アイコン４０１の右側に配置されたスクロールタブ４０１ａを操作することになる。そのため、ユーザーはキーアイコン４０２やスクロールタブ４０１ａを操作する自分の手に邪魔されることなく、右側の機能選択アイコン４０１を視認し続けることができる。
【００４２】
ステップＳ１１では、ユーザーによるホーム画面４００を介した操作入力を受け付ける。図１０は、一例として、ステップＳ１１において、制御部３０で実施される処理を示すフローチャートである。
【００４３】
ステップＳ１１１では、制御部３０は、ユーザーからの操作入力を監視している。
【００４４】
ユーザーが表示部４０に表示されたホーム画面４００を操作することで制御部３０が操作入力を受信すると（ステップＳ１１２：ＹＥＳ）、ステップＳ１１３では、制御部３０は状態フラグを参照して現在の状態を判断する。
【００４５】
状態フラグの値により、第一の場合（ホーム画面４００が第一の画面）である場合（ステップＳ１１３：ＹＥＳ）、ステップＳ１１４では、制御部３０は、第一の場合に対する操作入力として、該当する処理を行う。一方、状態フラグの値により、第二の場合（ホーム画面４００が第二の画面）である場合（ステップＳ１１３：ＮＯ）、ステップＳ１１５では、制御部３０は、第二の場合に対する操作入力として、該当する処理を行う。
これは、ユーザーが操作する画面の位置（座標）が同じであっても、第一の画像が表示される場合と第二の画像が表示される場合とで操作されるアイコンが異なる場合もあるためである。
【００４６】
制御部３０は、ホーム画面４００を操作するユーザーの手を検出すれば（ステップＳ１１６：ＮＯ）、ステップＳ１１１に戻り、ユーザーからの操作入力を監視する。この実施形態では、制御部３０はユーザーの手が表示部４０の近くに位置していることを、操作入力の継続と判断している。例えば、手の検出は、ステップＳ２と同様、カメラモジュール１０により取得される撮像画像に右手、左手のいずれかが含まれているか否かを判断すればよい。
一方、制御部３０は、ホーム画面４００を操作するユーザーの手を検出しなければ（ステップＳ１１６：ＹＥＳ）、処理を終了する。この実施形態では、制御部３０はユーザーの手が表示部４０から離れたことを、操作入力の終了と判断している。なお、ステップＳ１１６の処理は一例に過ぎず、操作入力の受け付けを終了する条件は、適宜、設定されるものである。
【００４７】
（３）本発明の作用・効果
以上説明したように、本実施形態に係る表示装置によれば、表示装置を操作する手の種別とこの手が伸びてきている向きをもとに、最適な画面を判断するため、装置を操作するユーザーの状況に合わせてより使いやすい画面表示を自動で表示させることが可能となる。
【００４８】
２．第２の実施形態：
この第２の実施形態では、複合機１００は、画面を操作しようとする手が複数である場合、前回表示された画面を表示し、画面を操作しようとする手が片手（右手または左手）である場合、特徴量の抽出を行う構成が第１の実施形態と異なる。
【００４９】
図１１は、第２の実施形態において、制御部３０により実行される画面の表示制御を説明するフローチャートである。図１１は、第２の実施形態において、制御部３０が、表示制御プログラム３３０を実行することで実現されるフローチャートを示している。
【００５０】
まず、制御部３０は、ユーザーからの操作を一定の周期で監視している。なお、この第２の実施形態では、複合機１００の状態を示す状態フラグは更新されず前回の状態が記録されている。
【００５１】
ステップＳ２１では、制御部３０は、撮像画像Ｉｍに手ＨＤが含まれているか否かを検出する。図１２は、撮像画像Ｉｍに含まれる手を説明する図である。図１２（ａ）では、撮像画像Ｉｍにユーザーの片方の手ＨＤ１が含まれている。
【００５２】
撮像画像Ｉｍに手ＨＤが検出された場合（ステップＳ２２：ＹＥＳ）、ステップＳ２３では、制御部３０は、所定の時間だけ待機する。
【００５３】
ステップＳ２４では、制御部３０は、撮像画像Ｉｍに複数の手が含まれているか否かを検出する。複数の手を検出することとしたのは、例えば、ユーザーが両手を用いてホーム画面を操作しようとする場合や、複数人でホーム画面を操作する場合を想定したものである。複数の手の検出方法としては、ステップＳ２４での検出結果で、ステップＳ２１で検出した手ＨＤと異なる手ＨＤを検出した場合としてもよい。図１２（ｂ）では、撮像画像Ｉｍには最初に検出された手ＨＤ１の他に新たな手ＨＤ２が含まれている。
【００５４】
制御部３０は、ステップＳ２４での検出結果で複数の手を検出した場合（ステップＳ２５：ＹＥＳ）、ステップＳ２８では、制御部３０は、前回の状態を状態フラグから参照する。状態フラグには、スリープモードに移行する前の複合機１００の状態が第一の場合であるか第二の場合であるかを示す値である。
【００５５】
一方、制御部３０は、ステップＳ２４での検出結果で、複数の手を検出しない場合（ステップＳ２５：ＮＯ）、制御部３０は、ＲＡＭ３２に記録される撮像画像Ｉｍに対して特徴量抽出処理を行う（ステップＳ２６、Ｓ２７）。この特徴量抽出処理においても、制御部３０は、ステップＳ２６において、撮像画像Ｉｍに含まれる手ＨＤが「右手」であるか「左手」であるかを判定し、ステップＳ２７において、撮像画像Ｉｍにおいて、親指ＴＤの位置を判定する。
【００５６】
ステップＳ２６およびＳ２７での判定結果またはステップＳ２８の参照結果により、第一の場合が判定されると（ステップＳ２９：ＹＥＳ）、ステップＳ３０では、制御部３０は、第一の表示用画像３３１を表示部４０に出力する。ステップＳ３１では、制御部３０は、状態フラグを第一の場合に対応する値に変更する。
【００５７】
一方、ステップＳ２６およびＳ２７での判定結果またはステップＳ２８の参照結果により、第二の場合が判定されると（ステップＳ２９：ＮＯ）、ステップＳ３２では、制御部３０は、第二の表示用画像３３２を表示部４０に出力する。ステップＳ３３では、制御部３０は、状態フラグを第二の場合に対応する値に変更する。
【００５８】
ステップＳ３４では、ユーザーによるホーム画面４００を介した操作入力を受け付ける。
この第２の実施形態においても、制御部４０は、検出された手の種別に応じて選択されたホーム画面４００を介してユーザーからの操作入力を受け付けていく。
【００５９】
以上説明したようにこの第２の実施形態では、ユーザーが両手を用いて複合機１００を操作しようとしている場合や、複数人で複合機１００を操作しようとする場合に、前回選択された画面を表示させることで、操作する手の状態が判別できない場合でも対処できるようにしている。
【００６０】
３．その他の実施形態
表示装置として複合機を例に説明したことは一例に過ぎない。例えば、表示装置は、表示部を備える製品であれば、プリンター、パーソナルコンピューター、タブレット端末等どのような製品であってもよい。
【００６１】
撮像部として複合機に備えられたカメラモジュールを用いたことは一例に過ぎない。例えば、複合機と電気的に接続されてはいるが、複合機とは別の位置に取り付けられているビデオカメラ等の撮像部を用いるものであってもよい。また、表示部の内部にレンズブロックやイメージセンサーを備えることで、表示部が撮像部として機能するものであってもよい。
実施形態では、親指ＴＤと小指ＬＤを検出していたが、これらの指に代えて他の指を検出して相対的に親指側の指と小指側の指との位置関係で第１の場合と第２の場合とを判別してもよい。
また、事故や病気等で指がないユーザーにも対応できるように、指を検出せずとも親指側と小指側を判別して、動作することが望ましい。なお、本願では、親指がない人の場合であっても、親指がある人の親指側に相当する側を親指側と呼び、小指がない人の場合であっても、小指がある人の小指側に相当する側を小指側と呼ぶものとする。
【００６２】
なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。
【符号の説明】
【００６３】
１０…カメラモジュール、２５…外部メモリコントローラー、３０…制御部、４０…表示部、５０…プリンターユニット、６０…スキャナーユニット、７０…ＦＡＸユニット、９０…筐体、９１…前部パネル、９２…上部カバー、１００…複合機、３３０…表示制御プログラム、３３１…第１の表示用画像、３３２…第２の表示用画像、４００…ホーム画面、４０１…機能選択アイコン、４０１ａ…スクロールタブ、４０２…キーアイコン
【図１】
2016134097.tif 000003
【図２】
2016134097.tif 000004
【図３】
2016134097.tif 000005
【図４】
2016134097.tif 000006
【図５】
2016134097.tif 000007
【図６】
2016134097.tif 000008
【図７】
2016134097.tif 000009
【図８】
2016134097.tif 000010
【図９】
2016134097.tif 000011
【図１０】
2016134097.tif 000012
【図１１】
2016134097.tif 000013
【図１２】
2016134097.tif 000014