(57)【要約】【課題】画像を視覚する人の顔画像を認識し、この顔画像から画像を見る人の顔の傾斜又は、画面からの距離を演算し、この演算結果に基づいて、表示画面を回転又はズームすることにより、人の動作に従って画面を操作し、常に画面を見やすい状態に保つことが出来るようにすること。【解決手段】本発明の表示装置は、動画、静止画、文字などの画像を表示する表示部１と、表示部１に表示された画像を視覚する人の顔画像を認識する画像認識部２と、顔画像から、表示部１の画像を視覚する人の顔の傾斜を演算する傾斜演算部と、傾斜演算部で演算された人の顔の傾斜に対応させて表示部１を回転させる画像回転制御部４を有することを特徴とする。【選択図】        図１
2014149439.tif 000002
【特許請求の範囲】
【請求項１】
動画、静止画、文字などの画像を表示する表示部と、前記表示部に表示された前記画像を視覚する人の顔画像を認識する画像認識部と、前記顔画像から、前記表示部の前記画像を視覚する前記人の顔の傾斜を演算する傾斜演算部と、前記傾斜演算部で演算された前記人の前記顔の前記傾斜に対応させて前記表示部を回転させる画像回転制御部を有することを特徴とする表示装置。
【請求項２】
位置演算部は、前記画像認識部で認識された前記人の左右の目の位置又は前記顔の輪郭に基づき、前記表示部を視覚する前記人の前記顔の前記傾斜を演算することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記画像回転制御部が、前記表示部自身の回転又は前記表示部の前記画像自身の回転を行うことを特徴とする請求項１又は請求項２に記載の表示装置。
【請求項４】
動画、静止画、文字などの画像を表示する表示部と、前記表示部に表示された前記画像を視覚する人の顔画像を認識する画像認識部と、前記顔画像から、前記表示部を視覚する前記人と前記表示部との間の距離を演算する距離演算部と、前記距離演算部で演算された前記距離に対応させて前記表示部の前記画像をズームさせる画像ズーム制御部を有することを特徴とする表示装置。
【請求項５】
位置演算部が、前記画像認識部で認識された前記人の左右の目の位置又は前記顔の輪郭に基づき、前記距離を演算することを特徴とする請求項４に記載の表示装置。
【請求項６】
動画、静止画、文字などの画像を表示する表示部と、前記表示部に表示された前記画像を視覚する人の顔画像を認識する画像認識部と、前記顔画像から、前記表示部を視覚する前記人と前記表示部との間の距離及び前記表示部の前記画像を視覚する前記人の顔の傾斜を演算する位置演算部と、前記位置演算部で演算された前記距離及び前記傾斜に対応させて前記表示部をズーム及び回転させる画像処理制御部を有することを特徴とする表示装置。
【請求項７】
前記位置演算部が、前記画像認識部で認識された前記人の左右の目の位置又は前記顔の輪郭に基づき、前記距離及び前記傾斜を演算することを特徴とする請求項６に記載の表示装置。
【請求項８】
前記画像処理制御部が、前記表示部自身の回転又は前記表示部の前記画像自身の回転を行うことを特徴とする請求項６又は請求項７に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はTVやパソコンの画面を見ている人の動作に対応させて画面の回転や、フォーカスすることが出来る表示装置に関し、例えば、重度の筋委縮性側索硬化症患者(以下、ALS)など、体を自由に動かせない障害もつ人に好都合な表示装置に関する。
【背景技術】
【０００２】
日常生活において、我々はTVやパソコンの画面を見る機会が多いが、従来の表示装置では、画面表示の方向や大きさは固定されている。このため、画面を見ている人が、起きている場合、左右の目を結ぶ直線と画面の横方向が平行に保たれ、この状態で画像認識を行い、一方、横向きなって画面を見た場合、左右の目を結ぶ直線と画面の横方向の平行が保たれない状態で、画像認識を行う。また、通常、画面を見る人は、画面から自分に適合した適当な位置で、画面を見るが、その位置から移動して、画面に近づき過ぎたり、遠のき過ぎたりすると、画面上の画像が大き過ぎたり、小さ過ぎたりする状態となる。
一方、ビデオカメラより取り込んだ画像から画面を見る人の顔、姿勢、視線方向を認識する研究は歴史が長く、従来の研究には近赤外線を用いる手法も研究されている。例えば、眼球運動を用いた視線入力コミュニケーション方法があげられる（特許文献１参照）。これは、ビデオカメラを用いて患者の視線方向を検出し、モニター上のアイコンを選択、目の開閉によりアプリケーションの起動などを行うもので、身体の不自由な人への応用を考えたものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１００３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画面表示の方向やズームが固定された従来の表示装置では、画面を見ている人の動作に応じて、左右の目を結ぶ直線と画面の横方向との平行が保てなくなり、横になって画面を見る時など、画面が見難い状態となり、また、画面に近づき過ぎたり、遠のき過ぎたりすると、画面の画像が大き過ぎたり、小さ過ぎたりする状態となり、やはり、画面が見難い状態となる。
更に、画面を見ている人の目の視線方向や開閉により、アプリケーションの起動などを行う表示装置でも、人の姿勢状態に起因する画面の見難い状態を改善することとならない。
このことは、画面を見ている人にストレスを感じさせる結果となるが、特に、ALS患者等の身体的障害者にとっては、健常者以上に深刻な問題である。すなわち、これら患者が、パソコンを使用している際、顔を画面の横方向と水平に保つことが出来ず、また、常時、画面との適切な距離を保つことも困難で、モニターの文章などが読みづらいというストレスが常時発生する。
【０００５】
そこで、本発明の表示装置は、画像を視覚する人の顔画像を認識し、この顔画像から画像を見る人の顔の傾斜又は、画面からの距離を演算し、この演算結果に基づいて、表示画面を回転又はズームすることにより、人の動作に従って画面を操作し、常に画面を見やすい状態に保つことが出来るようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第一の表示装置は、動画、静止画、文字などの画像を表示する表示部と、前記表示部に表示された前記画像を視覚する人の顔画像を認識する画像認識部と、前記顔画像から、前記表示部の前記画像を視覚する前記人の顔の傾斜を演算する傾斜演算部と、前記傾斜演算部で演算された前記人の前記顔の前記傾斜に対応させて前記表示部を回転させる画像回転制御部を有することを特徴とするものである。
本発明の第二の表示装置は、第一の表示装置において、位置演算部は、前記画像認識部で認識された前記人の左右の目の位置又は前記顔の輪郭に基づき、前記表示部を視覚する前記人の前記顔の前記傾斜を演算することを特徴とするものである。
本発明の第三の表示装置は、第一又は第二の表示装置において、前記画像回転制御部が、前記表示部自身の回転又は前記表示部の前記画像自身の回転を行うことを特徴とするものである。
本発明の第四の表示装置は、動画、静止画、文字などの画像を表示する表示部と、前記表示部に表示された前記画像を視覚する人の顔画像を認識する画像認識部と、前記顔画像から、前記表示部を視覚する前記人と前記表示部との間の距離を演算する距離演算部と、前記距離演算部で演算された前記距離に対応させて前記表示部の前記画像をズームさせる画像ズーム制御部を有することを特徴とするものである。
本発明の第五の表示装置は、第四の表示装置において、位置演算部が、前記画像認識部で認識された前記人の左右の目の位置又は前記顔の輪郭に基づき、前記距離を演算することを特徴とするものである。
本発明の第六の表示装置は、動画、静止画、文字などの画像を表示する表示部と、前記表示部に表示された前記画像を視覚する人の顔画像を認識する画像認識部と、前記顔画像から、前記表示部を視覚する前記人と前記表示部との間の距離及び前記表示部の前記画像を視覚する前記人の顔の傾斜を演算する位置演算部と、前記位置演算部で演算された前記距離及び前記傾斜に対応させて前記表示部をズーム及び回転させる画像処理制御部を有することを特徴とするものである。
本発明の第七の表示装置は、第六の表示装置において、前記位置演算部が、前記画像認識部で認識された前記人の左右の目の位置又は前記顔の輪郭に基づき、前記距離及び前記傾斜を演算することを特徴とするものである。
本発明の第八の表示装置は、第六又は第七の表示装置において、前記画像処理制御部が、前記表示部自身の回転又は前記表示部の前記画像自身の回転を行うことを特徴とするものである。
【発明の効果】
【０００７】
本発明によれば、画像を見る人の顔画像の傾斜に応じて、画像が回転するので、寝転んだりしても、最適な状態で、画像を見ることが出来、ストレスを感じさせない表示装置を提供できる。特に、姿勢を自由に動かすことの出来ない身体的障害者にとって、有益な表示装置である。
また、本発明によれば、人の左右の目の位置又は顔の輪郭に基づき、表示部を見る人の顔の傾斜を演算しているので、従来技術の転用で対応すれば良く、安価な表示装置を提供出来る。
更に、本発明によれば、画像回転制御部が、ハード的、ソフト的に画像を回転出来るので、用途に応じて、多彩な表示装置を提供できる。
更にまた、本発明によれば、顔画像から、表示部を見る人とこの表示部間の距離を演算し、この距離に対応させて画像をズームするので、画面に近づき過ぎたり、遠のき過ぎたりすると、画像が大き過ぎたり、小さ過ぎたりすることのない様にできるので、最適な状態で、画像を見ることが出来る表示装置を提供出来る。
そして、本発明によれば、顔画像から、表示部を見る人の顔の傾斜及び表示部を見る人とこの表示部間の距離を演算し、この傾斜及び距離に対応させて画像を回転・ズームするので、最適な状態で、画像を見ることが出来る表示装置を提供出来る。特に、姿勢を自由に動かすことの出来ない身体的障害者にとって、有益な表示装置である。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施の形態の表示装置の概略説明図
【図２】（Ａ）は目の位置の認識状況を示す図、（Ｂ）は顔の輪郭の認識状況を示す図
【図３】左右の目の位置から傾斜の演算状況を示す図
【図４】左右の目の間隔から画面からの距離の演算状況を示す図
【図５】表示部の画像の回転状況を示す図
【図６】表示部自身を回転させて画像の回転を行う状況を示す図
【発明を実施するための形態】
【０００９】
以下、本発明の一実施の形態による表示装置について、図面を用いて説明する。
図１は本発明の表示装置を示す図である。同図において、１は動画、静止画、文字などの画像を表示する表示部、２は顔画像から、目の位置や顔の輪郭等を認識する画像認識部、３は表示部１を見る人の顔の傾斜と距離を演算する位置演算部、４は表示部１の画像を回転若しくは画像をズームさせる画像制御部、５は表示部１に設置されたwebカメラ、７は表示部１の画像を見る人である。
【００１０】
なお、本実施の形態においては、位置演算部３は人７の顔の傾斜を演算する回転角度計測部３１と人７と表示部１との距離を計測する距離測定部３２の2つの機能を備えているが、何れか一方のみの機能を備える構成にしても良いことは言うまでもない。また、同様に、画像制御部４は表示部１の画像を回転させる画像回転部４１、表示部１自身を回転させる表示部回転部４２と表示部１の画像をスームアップ若しくはズームインさせる画像ズーム部４３の3つの機能を備えているが、適時、位置演算部３の構成に従って、機能を変更するものであることは言うまでもない。例えば、位置演算部３に回転角度計測部３１が構成されている場合には、少なくとも、画像制御部４には画像回転部４１若しくは表示部回転部４２の何れかを備えれば良く、また、位置演算部３に距離測定部３２が構成されている場合には、少なくとも、画像制御部４には画像ズーム部４３を備えれば良く、更には、位置演算部３に回転角度計測部３１若しくは距離測定部３２が構成されている場合には、画像制御部４には画像回転部４１若しくは表示部回転部４２と画像ズーム部４３を備える様に、適時変更されるものである。
【００１１】
まず、表示部１の画像を見る人７の顔をwebカメラ５で撮影する。撮影された情報から、図２に示す様に、画像認識部２では、左右の目の位置(図２A)や顔の輪郭(図２B)の認識が行われる。
次に、位置演算部３では、左右の目の位置や顔の輪郭に基づき、表示部１を見る人７の顔の傾斜や距離を演算するが、ここでは、回転角度計測部３１と距離測定部３２により、顔の傾斜や、表示部１と人７の距離の測定が行われる。
【００１２】
図１に示す回転角度計測部３１について図３を用いて説明する。
図３は左右の目の位置から傾斜の演算状況を示す図である。画像認識部２から左右の目の位置のx-y座標Ｌ（ｘｌ、ｙｌ）、Ｒ（ｘｒ、ｙｒ）が得られる。この点L、Rを結んだ直線LRの傾きθを式１で算出し、表示部１の画面に対する人７の顔の傾きとする。
【００１３】
【数１】
2014149439.tif 000003
・・・（式１）
【００１４】
図３では、水平である目の位置を基準としているので、表示部１に対する傾きの計算が容易である。
同様に顔の輪郭を利用した計測では、顔の輪郭を認識する四角の枠の四隅の４点の内、水平方向の２点の座標を得て、式１から傾きθを算出する。水平方向を基準とすることで、初期位置からの傾きを計測するより、計算が容易になる。
【００１５】
図１に示す距離測定部３２について図３を用いて説明する。
画像認識部２から左右の目の位置のx-y座標Ｌ（ｘｌ、ｙｌ）、Ｒ（ｘｒ、ｙｒ）が得られる。この点L、Rの2点間距離Sを式２で算出する。
【００１６】
【数２】
2014149439.tif 000004
・・・（式２）
【００１７】
同様に顔の輪郭を利用した計測では、輪郭を認識する四角の枠から、決められた２点を得て、式２から算出される。距離測定に関して、２点は水平方向に限らず、任意の２点でよい。
【００１８】
また、回転制御部４を前述の様に、画像回転部４１、表示部回転部４２、画像ズーム部４３から構成されているが、それぞれの動作について以下に説明する。
図１に示す画像回転部４１について図５を用いて説明する。
図５に画像回転の状況を示す。回転角度計測部３１から得られた表示部１を見る人７の顔の傾きに従って、表示部１の表示画像１１を回転させる。この回転に伴って、回転角度計測部３１で計測される傾きθが０となるように表示画像１１を回転する。この時、表示画像１１が画面内に収まるようにソフトウェアで回転制御を行い、例えば、表示画像１２とする。
【００１９】
図１に示す表示部回転部４２について図６を用いて説明する。
図６に回転モータを用いた表示部回転の状況を示す。回転角度計測部３１から得られた表示部１を見る人７の顔の傾きθに従って、表示部１を表示部１に取り付けた回転モータ６で回転させる。この回転に伴って、回転角度計測部３１で計測される傾きθが０となるように表示部１を回転する。例えば、表示部１を矢印で示した位置に回転させる。
【００２０】
図１に示す画像ズーム部４３について図４を用いて説明する。
図４は左右の目の位置から遠近法を用いて表示部を見る人と表示部の画面間の距離の演算状況を示す図である。距離測定部３２から得られた距離S2を、初期顔画像登録時に得た距離S1に応じて、遠近法を用いてモニターの拡大率を決め、表示させる。この例では、人７は、表示部１から離れると距離測定部３２で検出された距離がS1からS2になる。従って、S1/S2に応じて、表示画像１１を拡大するように、画像ズーム部４３は表示部１を制御する。
【００２１】
以上で述べた、画像回転部４１、表示部回転部４２、と画像ズーム部４３の動作は、反応が早すぎても、遅すぎても、人７にストレスを与えるため、最適な動作反応を得られるように画像認識部２の認識速度を調整して行う。
【産業上の利用可能性】
【００２２】
本発明の表示装置は、表示部の画像を見る人の目の位置や、表示部からの距離により、画像を見る人にとって最適な状態になる様に、表示部を回転させたり、ズームするので、身体的に不自由な人のみならず、健常者にとっても、大変便利であり、TV、パソコン等の表示部を有する機器に広範囲に適用される可能性が高い。
【符号の説明】
【００２３】
１  表示部
２  画像認識部
３  位置演算部
４  画像回転制御部
５  webカメラ
６  回動モータ
７  人
１１、１２  表示画像
３１  回転角度計測部
３２  距離測定部
４１  画像回転部
４２  表示部回転部
４３  画像ズーム部
【図１】
2014149439.tif 000005
【図２】
2014149439.tif 000006
【図３】
2014149439.tif 000007
【図４】
2014149439.tif 000008
【図５】
2014149439.tif 000009
【図６】
2014149439.tif 000010