(57)【要約】【課題】情報表示装置において、事前準備が不要で、簡易な構成で、精度よく、表示画面に表示する表示情報のサイズを自動調整可能な技術を提供する。【解決手段】光飛行時間型の距離画像カメラを表示装置近傍に配置（内蔵）する。当該距離画像カメラで取得した距離画像上で、操作者の顔領域を特定し、当該顔領域と表示装置との距離に応じて表示装置に表示する表示情報のサイズを調整する。距離画像上での顔領域の特定は、背景除去とパターンマッチングとにより行う。【選択図】図２
2016118963.tif 000002
【特許請求の範囲】
【請求項１】
文字情報及び画像情報を含む表示情報を表示する表示装置と、
距離値を画素値とする距離画像を取得する距離画像カメラと、
前記距離画像に基づいて前記表示装置に表示する前記表示情報のサイズを決定し、決定結果に従って、表示する当該表示情報のサイズを調整する表示情報調整部と、を備えること
を特徴とする情報表示装置。
【請求項２】
請求項１記載の情報表示装置であって、
操作者からの操作を受け付ける操作部をさらに備え、
前記距離画像カメラは、前記表示装置に一体あるいは近接して設けられ、前記操作者を含む領域を撮影することにより、前記距離画像を得、
前記表示情報調整部は、
前記距離画像上の前記操作者の顔領域を決定する顔領域決定部と、
前記顔領域の前記距離値に応じて前記表示する表示情報のサイズを決定するサイズ決定部と、を備えること
を特徴とする情報表示装置。
【請求項３】
請求項２記載の情報表示装置であって、
前記顔領域決定部は、前記距離画像に対するパターンマッチングにより、前記顔領域を決定すること
を特徴とする情報表示装置。
【請求項４】
請求項３記載の情報表示装置であって、
前記パターンマッチングでは、円形状のマスク画像をテンプレートに用いること
を特徴とする情報表示装置。
【請求項５】
請求項２記載の情報表示装置であって、
前記顔領域決定部は、前記距離画像から抽出した物体の輪郭線の曲率を算出し、当該曲率の変化量が所定の閾値以下の場合、前記顔領域と決定すること
を特徴とする情報表示装置。
【請求項６】
請求項１から５いずれか１項記載の情報処理装置であって、
前記表示部と前記操作部とは一体であって、操作者によるタッチ操作にて指示を受け付けるタッチパネル式ディスプレイであること
を特徴とする情報表示装置。
【請求項７】
請求項１から６いずれか１項記載の情報表示装置を操作パネルとして備えること
を特徴とする複合機。
【請求項８】
文字情報及び画像情報を含む表示情報を表示する表示装置と、距離値を画素値とする距離画像を取得する距離画像カメラと、を備える情報表示装置における、表示情報調整方法であって、
前記距離画像に基づいて前記表示装置に表示する前記表示情報のサイズを決定し、
決定結果に従って表示する前記表示情報のサイズを調整することを特徴とする表示情報調整方法。
【請求項９】
操作部を操作する操作者を含む領域を撮影し、距離値を画素値とする距離画像を取得する距離画像取得ステップと、
前記距離画像上の前記操作者の顔領域を決定する顔領域決定ステップと、
前記顔領域の前記距離値に応じて、表示装置に表示する表示情報のサイズを決定するサイズ決定ステップと、
前記決定したサイズで前記表示情報を前記表示装置に表示する表示ステップと、を含むことを特徴とする情報表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示装置の画面内に表示する情報（データ）の表示サイズを制御する技術に関する。
【背景技術】
【０００２】
コピー機、複合機等（以下、複合機と総称する。）の操作パネルといった情報表示装置では、画面内に表示される文字等の情報（表示情報）のサイズは、一般に固定されている。このため、ユーザと操作パネルの画面との距離によっては、文字が小さく読みにくいことがある。
【０００３】
一方、ＰＣ、スマートフォン、タブレットなどの情報表示装置では、画面内に表示する文字や画像といった表示情報を、好みに合わせて変更可能である。この技術を複合機の操作パネルに適用する場合、操作パネルの画面内の表示情報は変更可能となる。
【０００４】
しかしながら、変更する場合、タッチパネル式の画面であれば画面を介して、それ以外の場合は、画面近傍に設けられた操作部を介して、設定変更の指示を行う必要がある。従って、ユーザは、他の操作を行う場合であっても、文字サイズを変更するため、設定変更用に設けられた画面に移動する必要がある。さらに、文字サイズを変更するため、ディスプレイに近づき、操作をしなければならない。
【０００５】
このような煩雑さを解消するため、例えば、ユーザの視力（年齢）等に応じて、画面に表示される文字の大きさを自動的に変更する技術がある（例えば、特許文献１参照）。特許文献１に開示の技術では、ユーザの顔を撮影し、ユーザの年齢を判別するとともに、ユーザと画面との距離を算出し、年齢、距離に応じて最適な表示サイズを実現する。
【０００６】
また、個々のユーザ毎に所望の文字サイズを登録し、それに従って、ユーザと操作パネルとの間の距離を特定し、画面上の表示サイズを変更する技術がある（例えば、特許文献２参照）。特許文献２に開示の技術では、撮影したユーザの画像から顔サイズを検出し、予め個々のユーザ毎に登録しておいた顔サイズに応じて距離を特定し、表示するサイズを決定する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２３９５３号公報
【特許文献２】特開２０１０−１０７７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の技術は、顔抽出機能、顔認識機能、といった高度な画像処理が必要となり、ハードおよびソフトの要求スペックが高くなる。従って、高コストとなる。また、顔認識で得た顔サイズによりユーザと画面との距離を算出するため、個人差による影響を受けやすく、特に、近距離の場合、誤差が大きい。
【０００９】
また、特許文献２に開示の技術は、予め登録されている人以外は対応できないため、事前準備が必要であり、かつ、汎用性に欠ける。また、データベース上に登録者それぞれの顔サイズといった情報を保持する必要があり、保持するデータ量も大きくなり、システムが大がかりなものとなる。
【００１０】
本発明は、上記事情に鑑みてなされたもので、情報表示装置において、事前準備が不要で、コンパクトで簡易な構成で、精度よく、表示画面に表示する表示情報のサイズを自動調整可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、光飛行時間型の距離画像カメラを表示装置近傍に配置（内蔵）する。当該距離画像カメラで取得した距離画像上で、操作者の顔領域を特定し、当該顔領域と表示装置との距離に応じて表示装置に表示する表示情報のサイズを調整する。距離画像上での顔領域の特定は、背景除去とパターンマッチングとにより行う。
【００１２】
具体的には、文字情報及び画像情報を含む表示情報を表示する表示装置と、距離値を画素値とする距離画像を取得する距離画像カメラと、前記距離画像に基づいて前記表示装置に表示する前記表示情報のサイズを決定し、決定結果に従って表示する当該表示情報のサイズを調整する表示情報調整部と、を備えることを特徴とする情報表示装置を提供する。
【００１３】
また、上記情報処理装置を操作パネルとして備える複合機を提供する。
【００１４】
また、文字情報及び画像情報を含む表示情報を表示する表示装置と、距離値を画素値とする距離画像を取得する距離画像カメラと、を備える情報表示装置における、表示情報調整方法であって、前記距離画像に基づいて前記表示装置に表示する前記表示情報のサイズを決定し、決定結果に従って表示する前記表示情報のサイズを調整することを特徴とする表示情報調整方法を提供する。
【００１５】
また、操作部を操作する操作者を含む領域を撮影し、距離値を画素値とする距離画像を取得する距離画像取得ステップと、前記距離画像上の前記操作者の顔領域を決定する顔領域決定ステップと、前記顔領域の前記距離値に応じて、表示装置に表示する表示情報のサイズを決定するサイズ決定ステップと、前記決定したサイズで前記表示情報を前記表示装置に表示する表示ステップと、を含むことを特徴とする情報表示方法を提供する。
【発明の効果】
【００１６】
本発明によれば、情報表示装置において、事前準備が不要で、コンパクトで簡易な構成で、精度よく、表示画面に表示する表示情報のサイズを自動調整できる。
【図面の簡単な説明】
【００１７】
【図１】（ａ）は、本発明の実施形態の複合機と情報表示装置とを説明するための説明図であり、（ｂ）および（ｃ）は、同情報表示装置の外観を説明するための説明図である。
【図２】本発明の実施形態の情報表示装置の機能ブロック図である。
【図３】本発明の実施形態の距離画像カメラの機能ブロック図である。
【図４】本発明の実施形態の距離画像カメラにおける変調信号およびゲート信号のタイミングを説明するための説明図である。
【図５】本発明の実施形態の距離画像カメラによる距離画像生成の原理を説明するための説明図である。
【図６】（ａ）は、本発明の実施形態の距離リッピング処理を説明するための説明図であり、（ｂ）は、本発明の実施形態のエッジ検出処理を説明するための説明図である。
【図７】（ａ）は、本発明の実施形態のマスク画像例を説明するための説明図であり、（ｂ）は、当該マスク画像を使った本発明の実施形態のテンプレートマッチング処理を説明するための説明図である。
【図８】（ａ）は、本発明の実施形態の距離決定処理時のマスク生成処理を説明するための説明図であり、（ｂ）は、本発明の実施形態の距離決定処理を説明するための説明図である。
【図９】本発明の実施形態の表示情報調整処理のフローチャートである。
【図１０】（ａ）は、本発明の実施形態の顔領域決定処理のフローチャートであり、（ｂ）は、本発明の実施形態の距離決定処理のフローチャートである。
【図１１】（ａ）〜（ｃ）は、本発明の実施形態の変形例の顔領域決定処理を説明するための説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【００１９】
［情報表示装置］
初めに、本実施形態の情報表示装置について説明する。本実施形態の情報表示装置２１０は、例えば、図１（ａ）に示すように、複合機（コピー機等）２００といった装置の、操作パネルに配置される。
【００２０】
本実施形態の情報表示装置２１０は、図２に示すように、距離値を画素値とする距離画像を取得する距離画像カメラ１００と、操作者２０１からの操作を受け付ける操作部２１１と、文字情報及び画像情報を含む表示情報２１５を表示する表示部２１２と、操作部２１１を介して受け付けた操作に従って、表示情報２１５を表示部２１２に表示する表示制御部２１４と、距離画像に基づいて、表示部２１２に表示する表示情報２１５のサイズを決定し、決定結果に従って当該表示部２１２に表示する表示情報のサイズを調整するよう表示制御部２１４に指示を出す表示情報調整部２１３と、を備える。
【００２１】
図１（ｂ）に示すように、操作部２１１は、キーボード、テンキー、等を備え、操作者からの操作を受け付ける。また、表示部２１２は、モニタ、ディスプレイ等で構成される。
【００２２】
なお、本実施形態では、図１（ｃ）に示すように、表示部と操作部とが一体であって、操作者によるタッチ操作にて指示を受け付けるタッチパネル式ディスプレイ２２１であってもよい。
【００２３】
［距離画像カメラ］
本実施形態の距離画像カメラ１００は、表示部２１２に一体あるいは近接して設けられ、操作者を含む領域を撮影し、距離画像を得る。本実施形態では、光飛行時間型（ＴＯＦ方式）で距離値を算出する距離画像カメラ１００を用いる。
【００２４】
ここで、本実施形態の距離画像カメラ１００の構成を説明する。図３は、本実施形態の距離画像カメラ１００の機能ブロック図である。
【００２５】
本図に示すように、本実施形態の距離画像カメラ１００は、照射される変調光１１１と入射光１１２との位相差を用いて距離画像を生成するもので、光源部１１０と、光電変換部１２０と、電荷振分部１３０と、制御部１４０と、電荷蓄積部１５０と、距離画像生成部１６０と、を備える。
【００２６】
光源部１１０は、後述する制御部１４０の制御に従って、対象空間に変調光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）１１１を照射する発光源である。光源１１０には、ＬＥＤ等の高速変調が可能なデバイスが用いられる。
【００２７】
光電変換部１２０は、光源部１１０から照射された変調光１１１が対象空間（距離画像カメラ１００の視野）内の対象物１１３で反射された反射光を含む入射光１１２を受光し、電荷に変換する。光電変換部１２０は、受光量に応じた電荷に変換する複数の光電変換素子を備える。この光電変換素子が画素を形成する。このため、各光電変換素子は、距離画像の各画素に対応づけて規則的に配列されるこの光電変換部１２０の前には、レンズが配置されてもよい。
【００２８】
電荷振分部１３０は、後述する制御部１４０の制御に従って、光電変換部１２０が変換した電荷を後述する電荷蓄積部１５０に振り分ける。振り分けは、光電変換素子毎に行う。
【００２９】
電荷蓄積部１５０は、電荷振分部１３０が振り分けた電荷を蓄積する。距離情報である変調光１１１と入射光１１２との位相差は、電荷蓄積部１５０に蓄積された電荷を用いて算出する。この位相差を算出するためには、少なくとも３つ以上の位相情報（電荷蓄積部に蓄積された電荷）が必要である。
【００３０】
３つ以上の位相情報の取得は、１つの電荷蓄積部１５０により実現してもよいし、複数の電荷蓄積部１５０により実現してもよい。以下、本実施形態では、具体例は、この電荷蓄積部１５０を４つとして説明する。これらの４つの電荷蓄積部１５０を区別する必要がある場合は、それぞれ、１５１、１５２、１５３、１５４とする。この４つ１組の電荷蓄積部１５０が、画素毎に設けられる。
【００３１】
位相情報を取得する１以上の電荷蓄積部１５０は、画素（光電変換素子）毎に設けられる。なお、電荷蓄積部１５０には、電荷そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。以下、本実施形態では、電荷そのものも、ＡＤ変換後のデータも、特に区別することなく電荷蓄積部１５０に蓄積されるものを電荷と呼ぶ。
【００３２】
制御部１４０は、光源部１１０と電荷振分部１３０とを同期制御する。制御は、変調信号とゲート信号とにより行う。
【００３３】
変調信号は、変調光の変調および出力タイミングを指示する信号であり、光源部１１０に向けて出力される。光源部１１０は、変調信号により変調された変調光１１１を生成し、対象空間に照射する。照射された変調光１１１は、対象物１１３により反射され、反射光となる。反射光は、入射光１１２として光電変換部１２０に入射し、電荷に変換されて電荷振分部１３０に送られる。
【００３４】
ゲート信号は、各電荷蓄積部１５０への電荷の振り分けを指示する信号で、電荷振分部１３０に向けて出力される。電荷振分部１３０は、ゲート信号に応じて各電荷蓄積部１５０（１５１、１５２、１５３、１５４）に電荷を振り分ける。
【００３５】
制御部１４０は、光源部１１０の変調周期に同期し、変調周期と電荷振分部１３０の個数応じた時間だけずらしたゲート信号を生成する。例えば、変調周期が１０ＭＨｚで電荷蓄積部が４つであれば、変調周期を４分割した時間（２５ｎｓ）ずつずらしたタイミングでゲート信号を生成する。これにより、電荷は、ゲート信号に応じて、それぞれの電荷蓄積部１５０に振り分けられる。
【００３６】
本実施形態の変調信号およびゲート信号の出力タイミングの一例を図４に示す。ここでは、変調信号の１周期Ｔｑを４等分した期間に、それぞれ、４つの電荷蓄積部１５０に順に電荷を振り分ける場合の、変調信号１１４およびゲート信号１１５を示す。
【００３７】
また、制御部１４０は、距離画像生成部１６０に読出信号を送信し、電荷蓄積部１５０に蓄積された電荷を、それぞれ読みださせる。なお、変調光１１１の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度となる。距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要する。本実施形態の制御部１４０は、この電荷蓄積時間単位で、距離画像生成部１６０が、電荷蓄積部１５０から電荷を読み出すよう、読出信号を出力する。
【００３８】
距離画像生成部１６０は、各電荷蓄積部１５０に蓄積された電荷から、各画素の距離値を算出し、算出した距離値を画素値とする距離画像を生成する。距離値は、視野内の、対象物までの距離の値である。算出の詳細は、後述する。
【００３９】
＜ＴＯＦ方式の距離画像生成の原理＞
ここで、本実施形態で用いる、光飛行時間型（ＴＯＦ方式）の距離画像カメラ１００における距離画像生成の原理を説明する。図５は、距離画像生成の原理を説明するための図である。
【００４０】
光源部１１０から出射される変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、光電変換部１２０への入射光１１２の強度も同様に正弦曲線を描くよう変化する。このとき、変調光１１１と入射光１１２とには、光が対象物まで往復する飛行時間による位相の遅延（位相差φ）が生じる。
【００４１】
光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物までの距離値Ｄは、以下の式（１）で求めることができる。
【数１】
2016118963.tif 000003
【００４２】
従って、位相差φがわかれば、距離値Ｄは求めることができる。本実施形態では、変調光の１周期Ｔｐを４等分し、それぞれの期間に電荷量を、それぞれ、４つの電荷蓄積部１５０に蓄積する。
【００４３】
変調光１１１と入射光１１２との位相差φは、変調光１１１の１周期を４等分した各期間をＴｑ（Ｔ１、Ｔ２、Ｔ３、Ｔ４）とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、以下の式（２）で表される。
【数２】
2016118963.tif 000004
なお、１周期Ｔｐを４等分した各期間Ｔｑ（Ｔ１、Ｔ２、Ｔ３、Ｔ４）は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。
【００４４】
距離画像生成部１６０は、上述の電荷蓄積時間間隔で蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求める。そして、求めた位相差φを用いて、式（１）に従って、対象物１１３までの距離値Ｄを求め、距離値を画素値とする距離画像を生成する。距離画像は、電荷蓄積時間Ｔｆ毎に１枚（１フレーム）生成される。
【００４５】
［表示情報調整部］
本実施形態の表示情報調整部２１３は、上述のように、距離画像に基づいて、表示部２１２に表示する表示情報のサイズを調整する。本実施形態では、距離画像カメラ１００と、操作者の顔との間の距離に応じて、表示部２１２に表示する表示情報のサイズを調整する。これを実現するため、図２に示すように、画像取得部３１１と、顔領域決定部３１２と、距離決定部３１３と、サイズ決定部３１４と、を備える。
【００４６】
［画像取得部］
画像取得部３１１は、情報表示装置２１０の起動を契機とし、あるいは、ユーザによる操作部２１１に対する操作を契機とし、距離画像カメラ１００を動作させ、所定の時間間隔（Ｔｆ）毎に距離画像を取得させる。
【００４７】
なお、本実施形態では、予め定めたフレーム数（枚数）の画像を取得し、その後の処理を行う。その後の処理は、取得した全距離画像の平均距離画像を用いて行う。平均距離画像は、画素毎に、当該画素の全フレームの画素値の平均値を計算し、当該平均値を画素値とする画像である。
【００４８】
２以上のフレームの距離画像を取得し、得られた平均距離画像を用いることにより、距離値の精度を高めることができ、より高精度な表示調整を行うことができる。なお、取得するフレーム数は１であってもよい。フレーム数を１とすることにより、処理速度を速めることができる。以下、本明細書では、特に区別する必要が無い限り、平均距離画像も距離画像と呼ぶ。
【００４９】
［顔領域決定部］
顔領域決定部３１２は、距離画像上の操作者の顔領域を決定する。本実施形態では、パターンマッチングにより顔領域を決定する。顔領域決定部３１２による顔領域決定処理の詳細は後述する。
【００５０】
［距離決定部］
距離決定部３１３は、顔領域決定部３１２が決定した顔領域の距離値を用いて、情報表示装置２１０と操作者２０１との間の距離を決定する。本実施形態では、顔領域の距離値の平均値、あるいは、当該領域の距離値の最小値（最短距離）を、距離値として決定する。いずれの値を抽出するかは、予め定めておく。あるいは、ユーザが設定可能なように構成してもよい。
【００５１】
［サイズ決定部］
サイズ決定部３１４は、距離決定部３１３が決定した距離に応じて、表示部２１２に表示する表示情報のサイズを決定する。本実施形態のサイズ決定部３１４は、予め定めた基準とする距離（ベース距離Ｄ０）における表示サイズ（初期サイズ）に対する拡大率ΔＳを算出し、表示制御部２１４に通知する。
【００５２】
拡大率ΔＳは、予め定めた手法で決定する。例えば、ベース距離をＤ０、距離決定部３１３が決定した距離をＤ１とすると、拡大率ΔＳは、以下の式（３）により算出する。
ΔＳ＝（Ｄ１/Ｄ０）２  ・・・（３）
【００５３】
式（３）により算出する場合、例えば、ベース距離Ｄ０が１ｍで、距離決定部３１３が決定した距離Ｄ１が１．１ｍとすると、拡大率ΔＳは、１．２１となる。
【００５４】
［表示制御部］
表示制御部２１４は、サイズ決定部３１４が決定した拡大率ΔＳに従って、表示部２１２に表示する表示情報２１５を拡大する。
【００５５】
［顔領域決定処理］
次に、本実施形態の顔領域決定部３１２による、顔領域決定処理について説明する。本実施形態の顔領域決定部３１２は、距離画像に対するパターンマッチング（テンプレートマッチング）により、顔領域を決定する。例えば、本実施形態では、テンプレートとして、円形状のマスク画像を用い、顔領域を抽出する。
【００５６】
本実施形態の顔領域決定部３１２は、パターンマッチングに先立ち、距離画像カメラ１００で取得した距離画像に対し、所定の画像処理（前処理）を行う。本実施形態では、前処理として行う画像処理として、背景除去処理、エッジ検出処理を行う。背景除去処理として、例えば、動作範囲外の距離を持つ画素領域を削除する以下の処理（以下、本明細書では、距離リッピング処理と呼ぶ）を行う。
【００５７】
［距離リッピング処理］
本実施形態の距離リッピング処理では、距離画像内で最大の面積を有する物体の領域を抽出する。
【００５８】
本実施形態における顔領域の抽出は、上述のように、操作部２１１に対して操作を行う操作者の目（顔）との距離を算出することを目的とする。一般に、操作者２０１が操作を行う際、操作者２０１の顔と操作部２１１との間には、操作のために手、指といったものは割り込むが、顔よりもサイズの大きな物体が割り込んでくる可能性は低い。従って、操作者２０１の顔領域は、操作部２１１の近傍に配置される距離画像カメラ１００に最も大きく撮影される可能性が高い。このため最大の面積を有する物体の領域を抽出することにより、距離画像上で、顔領域となる候補領域を、その他の領域（背景領域）から抽出でき、背景領域を除くことができる。この、背景除去処理を行うことにより、精度を悪化させることなく、正確に、顔までの距離、すなわち、目と操作部２１１との距離を得ることができる。
【００５９】
具体的には、距離画像上で、同一距離値をもつ連続した画素群で構成される領域を物体領域とし、この物体領域の中で、最大の面積を有する領域を抽出する。なお、物体領域として特定する領域は、必ずしも完全に同一の距離値を持つ領域でなくてもよい。例えば、予め定めた範囲の距離値を持つ、連続した画素群で構成される領域であってもよい。
【００６０】
例えば、図６（ａ）に示す距離画像４００の例では、顔領域決定部３１２は、第一の領域４０１と、第二の領域４０２と、第三の領域４０３とを、物体領域として抽出する。そして、各物体領域の面積（画素数）を計算し、最大のものを、顔領域候補とする。ここでは、第一の領域４０１が、顔領域候補として抽出される。
【００６１】
なお、背景除去処理として距離リッピング処理を行っているが、これに限定されない。本実施形態で想定される状況では、処理対象の画像が距離画像であり、また、抽出する対象である顔は、距離画像カメラ１００に近いと考えられる。このため、所定の閾値以上の画素の画素値を有する画素のみ抽出し、他の領域を除去するといった処理を行ってもよい。
【００６２】
［エッジ検出処理］
エッジ検出処理では、距離リッピング処理によって抽出した顔領域候補４０１のエッジ情報４０１ｅを抽出する。エッジ抽出には、図６（ｂ）に示すように、エッジ抽出用フィルタ４０９を用いる。エッジを抽出することにより、パターンマッチングの精度を高める。
【００６３】
［パターンマッチング処理］
顔領域決定部３１２は、前処理を終えた距離画像４１０に対し、パターンマッチング処理を行い、顔領域を特定する。本実施形態では、距離画像に、予め用意したマスク画像を適用し、パターンマッチングにより顔領域を特定する。一般に、操作者の顔は略円形である。従って、本実施形態では、テンプレートとして、例えば、図７（ａ）に示すように、サイズの異なる複数の円形形状のマスク画像５１０を用意する。
【００６４】
顔領域決定部３１２は、図７（ｂ）に示すように、各サイズのマスク画像５１０を用いて、順に、距離画像４１０を走査し、マッチングを行う。そして、マッチした領域の中で、最も距離値の小さい領域を、顔領域４１１とする。
【００６５】
［距離決定処理］
次に、距離決定部３１３による距離決定処理の具体的な処理手法を説明する。ここでは、顔領域の画素値（距離値）の平均値を、距離値と決定する場合の処理を説明する。
【００６６】
距離決定部３１３は、顔領域決定部３１２が、顔領域４１１を決定すると、当該顔領域４１１内の画素値（距離値）を抽出し、平均値を算出する。具体的には、距離決定部３１３は、図８（ａ）に示すように、距離画像４１０から、顔領域４１１の部分の距離を抽出するためのマスク５２０を作成する。マスク５２０は、顔領域４１１として決定された領域に対して、輪郭線追跡処理を行い、輪郭線内を１、その他の領域を０とすることにより、生成する。マスク５２０を生成する際、距離決定部３１３は、さらに、輪郭線内の画素数をカウントする。
【００６７】
距離決定部３１３は、図８（ｂ）に示すように、距離画像４００にマスク５２０をかけ（ＡＮＤをとり）、マスク後の画像５３０を得る。マスク後の画像５３０では、顔領域４１１以外の領域の距離値は０となる。なお、マスク５２０をかける対象は、距離画像４１０であってもよい。
【００６８】
距離決定部３１３は、マスク後の画像５３０内の距離総和を算出する。そして、距離総和とマスク５２０作成時にカウントした輪郭線内の画素数とを用い、顔領域４１１内の平均距離を算出する。
【００６９】
次に、本実施形態の表示情報調整部の各部による表示情報調整処理の流れを説明する。図９は、本実施形態の表示情報調整処理の処理フローである。
【００７０】
操作者が、操作部２１１を介して何らかの操作を行ったことを検知すると、画像取得部３１１は、距離画像カメラ１００を作動させ、距離画像を取得させる（ステップＳ１１０１）。
【００７１】
予め定めたフレーム数の距離画像４００が取得されると（ステップＳ１１０２）、顔領域決定部３１２は、取得した距離画像４００上で、顔領域４１１を特定する（ステップＳ１１０３）。そして、距離決定部３１３は、顔領域４１１の距離を決定する（ステップＳ１１０４）。
【００７２】
サイズ決定部３１４は、決定した距離に応じた拡大率ΔＳを決定し（ステップＳ１１０５）、表示制御部２１４に指示し（ステップＳ１１０６）、処理を終了する。なお、表示制御部２１４は、指示された拡大率に従って、表示情報２１５の表示サイズを制御する。
【００７３】
なお、表示情報調整部２１３は、一旦、拡大率を決定して表示制御部２１４に指示した後も、所定の時間間隔で、距離画像４００を取得し、上記ステップＳ１１０３〜１１０６の処理を繰り返し、表示情報２１５の表示サイズを適宜調整するよう構成してもよい。
【００７４】
図１０（ａ）は、ステップＳ１１０３の顔領域決定処理の処理フローである。
【００７５】
顔領域決定部３１２は、まず、距離画像４００上で、背景除去処理を行う（ステップＳ１２０１）。そして、エッジ抽出処理を行う（ステップＳ１２０２）。最後に、これらの前処理後の距離画像４１０上で、パターンマッチングにより顔領域４１１を抽出し（ステップＳ１２０３）、処理を終了する。
【００７６】
図１０（ｂ）は、ステップＳ１１０４の距離決定処理の処理フローである。
【００７７】
距離決定部３１３は、まず、距離画像４１０からマスク５２０を作成する（ステップＳ１３０１）。このとき、輪郭線内の画素数もカウントする。そして、距離画像４００にマスク５２０を適用し（ステップＳ１３０２）、マスク後の画像５３０を得る。最後にマスク後の画像５３０の距離総和とカウントした画素数とから、顔領域４１１の距離を計算する（ステップＳ１３０３）。
【００７８】
以上説明したように、本実施形態の情報表示装置２１０は、文字情報及び画像情報を含む表示情報２１５を表示する表示装置（表示部２１２）と、距離値を画素値とする距離画像を取得する距離画像カメラ１００と、前記距離画像に基づいて前記表示装置に表示する前記表示情報２１５のサイズを決定し、決定結果に従って表示する当該表示情報２１５のサイズを調整する表示情報調整部２１３と、を備える。
また、情報表示装置２１０は、操作者２０１からの操作を受け付ける操作部２１１をさらに備え、前記距離画像カメラ１００は、前記表示装置に一体あるいは近接して設けられ、前記操作者２０１を含む領域を撮影することにより、前記距離画像を得、前記表示情報調整部２１３は、前記距離画像上の前記操作者２０１の顔領域を決定する顔領域決定部３１２と、前記顔領域の前記距離値に応じて前記表示する表示情報２１５のサイズを決定するサイズ決定部３１４と、を備えてもよい。
そして、前記顔領域決定部３１２は、前記距離画像に対するパターンマッチングにより、前記顔領域を決定してもよい。
【００７９】
また、本実施形態の複合機２００は、上述の情報表示装置２１０を、操作パネルとして備える。
【００８０】
このように、本実施形態によれば、操作部２１１および表示部２１２の近傍に配置された距離画像カメラ１００で取得した距離画像に基づいて表示部２１２に表示する表示情報のサイズを調整する。サイズの調整は、距離画像に基づいて決定した操作者２０１の顔位置までの距離に従って行われる。顔位置までの距離は、距離画像上で、パターンマッチングにより操作者２０１の顔領域を特定し、決定する。
【００８１】
本実施形態によれば、距離画像上で、略同一の距離値を有する領域で最大の領域を顔領域候補として抽出し、その後、パターンマッチングにより操作者２０１の顔領域を特定する。
【００８２】
通常の輝度画像を用いる場合は、背景情報によって、操作者の顔領域の検出の難易度が激しく変化する。また、輝度画像上で顔領域を抽出する際に用いられる顔抽出、顔認識といった、高度な画像処理が必要となる。しかしながら、本実施形態では、距離画像を用いる。これにより、高度な画像処理も不要となり、かつ、背景情報に依存しない検出ができる。さらに、距離画像から距離値も得ているため、高精度な距離値を得ることができる。
【００８３】
また、本実施形態の手法は、個人差による影響も受けない。さらに、事前に操作を行う可能性のある人の顔サイズのデータベースを用意する必要もない。
【００８４】
このように、本実施形態によれば、距離画像を用いることにより、コンパクトで簡易な処理で正確に顔位置を求めることができ、高速な処理が可能となる。また、操作者２０１の顔位置（目の位置）と操作部２１１および表示部２１２との距離に関し、高精度な距離値を得ることができ、それに基づいて表示サイズを制御するため、高速に精度よく表示制御を行うことができる。
【００８５】
なお、本実施形態の情報表示装置２１０は、ＣＰＵと、メモリと、記憶装置とを備える。そして、距離画像カメラ１００の制御処理機能（電荷振分部１３０、制御部１４０、距離画像生成部１６０）、表示情報調整部２１３および表示制御部２１４は、ＣＰＵが、予め記憶装置に格納されたプログラムを、メモリにロードして実行することにより実現される。
【００８６】
また、上記各部の、全部または一部の機能は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）などのハードウェアによって実現してもよい。また、表示情報２１５、各機能の処理に用いる各種のデータ、処理中に生成される各種のデータは、記憶装置に格納される。
【００８７】
＜顔領域決定処理の変形例その１＞
上記実施形態では、顔領域決定部３１２は、顔領域を、円形状のマスク画像を用いたパターンマッチングにより決定している。しかしながら、顔領域の決定手法は、これに限定されない。例えば、抽出した領域の輪郭の曲率を用い、顔領域を決定してもよい。
【００８８】
本変形例では、顔領域決定部３１２は、顔領域を構成する画素の角度情報を用いて、顔領域を抽出する。すなわち、顔領域決定部３１２は、前記距離画像上で物体の輪郭線を抽出し、抽出した輪郭線の曲率を算出し、当該曲率の変化量が所定の閾値以下の場合、前記顔領域と決定する。
【００８９】
顔領域決定部３１２は、まず、上記実施形態と同様の手法で、距離画像４００に対し、背景除去処理（距離リッピング処理）とエッジ検出処理を行う。これらの前処理後の距離画像４１０上で、顔領域決定部３１２は、背景除去後に残る各領域４０１（４０１ｅ）において、図１１（ａ）に示すように、輪郭線追跡処理を行う。
【００９０】
その後、図１１（ａ）に示すように、輪郭線追跡処理で得られた輪郭線６１０上で、複数の曲率検出点６１１を設定する。設定した各曲率検出点６１１で、曲率を算出し、隣接する曲率検出点６１１間の、曲率の変化量を算出する。
【００９１】
変化量は、算出した曲率の数字配列データを、隣接する同データで微分することにより算出する。例えば、図１１（ｂ）に示すように、領域４０１が円形の場合、曲率は一定となる（変化量０）。一方、領域４０１が楕円の場合は、変化量は一定ではない（変化量＞０）。すなわち、領域４０１の形状が円から崩れれば崩れるほど、変化量が大きくなる。
【００９２】
本変形例の顔領域決定部３１２は、これを利用し、変化量が予め定めた閾値より小さい場合、当該領域４０１を顔領域と判定し、抽出する。
【００９３】
曲率は、半径に依存しないため、本変形例の手法により、顔領域判定部３１２は、顔判別用のテンプレートを用意することなく、顔判定を行うことができる。
【００９４】
＜顔領域決定処理の変形例その２＞
さらに、顔領域決定部３１２は、曲率テンプレートを用いるマッチング（曲率テンプレートマッチング）により顔領域を決定してもよい。
【００９５】
曲率テンプレートマッチングでは、顔領域を構成する画素の角度情報を用いて、顔領域を抽出する。すなわち、顔領域決定部３１２は、距離画像から、顔領域の輪郭を特定する輪郭線曲率データを抽出し、予め用意した曲率テンプレートを当該輪郭線曲率データに適用し、顔領域を抽出する。
【００９６】
顔領域決定部３１２は、まず、上記実施形態と同様の手法で、距離画像４００に対し、背景除去処理（距離リッピング処理）とエッジ検出処理を行う。これらの前処理後の距離画像４１０上で、顔領域決定部３１２は、背景除去後に残る各領域４０１（４０１ｅ）において、図１１（ａ）に示すように、輪郭線追跡処理を行う。
【００９７】
その後、図１１（ａ）に示すように、輪郭線追跡処理で得られた輪郭線６１０上で曲率検出点６１１を設定する。この曲率検出点６１１は、輪郭線６１０上に、等間隔（等距離；例えばＬ）に設ける。そして、各曲率検出点６１１において、隣接する２点を用いて、曲率を計算する。
【００９８】
計算した曲率をグラフ化し、曲率変化曲線６２０を輪郭線曲率データとして得る。曲率変化曲線６２０は、横軸を各曲率検出点、縦軸を算出した曲率とし、曲率検出点６２０毎の曲率をプロットしたグラフである。図１１（ｂ）に示すように、曲率変化曲線６２０は、輪郭線６１０が円形の場合、曲率が一定であるため、直線となる。一方、輪郭線６１０が楕円形の場合、曲率は、所定の範囲で連続的に変化する。従って、曲率変化曲線は、その変化に従った曲線となる。
【００９９】
本変形例では、予め、顔領域とする曲線の曲率変化曲線（輪郭線曲率データ）を曲率テンプレート６３０として用意しておく。そして、顔領域決定部３１２は、前処理後の距離画像４１０上の各領域４０１（４０１ｅ）の、曲率変化曲線６２０と、用意曲率テンプレート６３０との間の類似度を判定し、類似度が予め定めた閾値を超えた領域であって、最も距離値が小さい領域を、顔領域と判定する。
【０１００】
なお、曲率検出点６１１は、３点以上設定すればよく、輪郭線６１０全体の輪郭線曲率データを得なくてもよい。輪郭線６１０の一部の曲率変化曲線でマッチングするよう構成してもよい。
【符号の説明】
【０１０１】
１００：距離画像カメラ、１１０：光源部、１１１：変調光、１１２：入射光、１１３：対象物、１１４：変調信号、１１５：ゲート信号、１２０：光電変換部、１３０：電荷振分部、１４０：制御部、１５０：電荷蓄積部、１６０：距離画像生成部、２００：複合機、２０１：操作者、２１０：情報表示装置、２１１：操作部、２１２：表示部、２１３：表示情報調整部、２１４：表示制御部、２１５：表示情報、２２１：タッチパネル式ディスプレイ、３１１：画像取得部、３１２：顔領域決定部、３１３：距離決定部、３１４：サイズ決定部、４００：距離画像、４０１：第一の領域、４０１ｅ：エッジ情報、４０２：第二の領域、４０３：第三の領域、４０９：エッジ抽出用フィルタ、４１０：距離画像、４１１：顔領域、５１０：マスク画像、５２０：マスク、５３０：マスク後の画像、６１０：輪郭線、６１１：曲率検出点、６２０：曲率変化曲線、６３０：テンプレート、６３０：曲率テンプレート
【図１】
2016118963.tif 000005
【図２】
2016118963.tif 000006
【図３】
2016118963.tif 000007
【図４】
2016118963.tif 000008
【図５】
2016118963.tif 000009
【図６】
2016118963.tif 000010
【図７】
2016118963.tif 000011
【図８】
2016118963.tif 000012
【図９】
2016118963.tif 000013
【図１０】
2016118963.tif 000014
【図１１】
2016118963.tif 000015