(57)【特許請求の範囲】
【請求項１】
移動通信端末機のディスプレイの画像傾きを自動的に補正する装置であって、
前記装置は、
使用者の画像を受信し、（ｉ）前記使用者の両目間の直線、または両眉毛間の直線、および（ｉｉ）前記使用者の口と鼻との間の直線のうちの少なくとも１つの直線を決定し、前記直線に対応する前記使用者の顔の一部を示す使用者画像情報を生成するように適合された画像入力部と、
前記画像入力部から前記使用者画像情報を受信し、前記直線と前記移動通信端末機に格納された基準直線との間の画像傾きを計算し、前記画像傾きに対応する制御情報を生成し、前記画像傾きと、最低臨界値および最大臨界値とを比較することにより、視覚可能画像が調節されるか否かを決定するように適合されたデータ処理部と、
前記画像傾きが前記最大臨界値より大きいか前記最低臨界値より小さい場合、前記制御情報に基づいて前記画像傾きの分だけ傾きが調節された視覚可能画像を表示するように適合された表示部と
を備える、装置。
【請求項２】
前記画像入力部は、
前記移動通信端末機に内／外蔵されたカメラから前記使用者の画像を受信するように適合されている、請求項１に記載の装置。
【請求項３】
前記カメラは、
デジタルカメラである、請求項２に記載の装置。
【請求項４】
前記データ処理部は、
前記画像入力部からの使用者画像情報を格納するように適合された揮発性メモリと、前記移動通信端末機の全ての機能部を制御するためのアルゴリズムと前記画像傾きを計算するためのアルゴリズムとを有する非揮発性メモリとを有するメモリ部と、
前記メモリ部に格納されたアルゴリズムを実行することにより、前記メモリ部に格納された使用者画像情報を使用して前記画像傾きを計算し、対応する制御情報を生成するように適合された中央制御部と
をさらに含む、請求項１に記載の装置。
【請求項５】
前記画像入力部は、
顔認識技術を実行することにより、前記直線に対応する前記使用者の顔の一部を認識するようにさらに適合されている、請求項１に記載の装置。
【請求項６】
前記顔認識技術は、
ＳＶＭ（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）アルゴリズムである、請求項５に記載の装置。
【請求項７】
前記データ処理部は、
前記移動通信端末機の基準座標系と前記直線とを比較するようにさらに適合されている、請求項１に記載の装置。
【請求項８】
前記基準座標系は、
水平線と垂直線とのうちの少なくとも１つを含む、請求項７に記載の装置。
【請求項９】
前記直線は、
水平な直線と垂直な直線とのうちの１つである、請求項７に記載の装置。
【請求項１０】
前記制御情報は、
制御信号を含む、請求項１に記載の装置。
【請求項１１】
移動通信端末機のディスプレイの画像傾きを自動的に補正する方法であって、
前記方法は、
キャプチャされた使用者の画像から、（ｉ）使用者の両目間の直線または両眉毛間の直線、および（ｉｉ）前記使用者の口と鼻との間の直線のうちの少なくとも１つの直線を決定し、前記直線に対応する前記使用者の顔の一部を示す使用者画像情報を生成するステップと、
前記使用者画像情報を使用して、前記直線と前記移動通信端末機に格納された基準直線との間の画像傾きを計算するステップと、
前記画像傾きに対応する制御情報を生成するステップと、
前記制御情報に基づいて前記画像傾きの分だけ傾きが調節された視覚可能画像を表示するステップと
を含み、
前記画像傾きが最大臨界値より大きいか最低臨界値より小さい場合、表示される前記視覚可能画像は、前記制御情報に基づいて前記画像傾きの分だけ傾きが調節される、方法。
【請求項１２】
前記キャプチャされた使用者の画像は、
前記移動通信端末機に内／外蔵されたカメラから受信される、請求項１１に記載の方法。
【請求項１３】
前記直線を決定するステップは、前記キャプチャされた使用者の画像内の前記使用者の顔の一部を認識するステップをさらに含み、前記使用者の顔の一部は前記直線に対応する、請求項１１に記載の方法。
【請求項１４】
前記使用者の顔の一部は、（ｉ）前記使用者の目または眉毛、および（ｉｉ）前記使用者の口および鼻のうちの１つである、請求項１３に記載の方法。
【請求項１５】
前記使用者の顔の一部を認識するステップは、
顔認識技術を実行することを含む、請求項１３に記載の方法。
【請求項１６】
前記顔認識技術は、
ＳＶＭ（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）アルゴリズムを含む、請求項１５に記載の方法。
【請求項１７】
前記画像傾きを計算するステップは、
前記直線と前記移動通信端末機の基準座標系とを比較することを含む、請求項１５に記載の方法。
【請求項１８】
前記直線は、
水平な直線と垂直な直線とのうちの１つである、請求項１７に記載の方法。
【請求項１９】
前記基準座標系は、
水平基準線と垂直基準線とのうちの少なくとも１つを含む、請求項１７に記載の方法。
【請求項２０】
前記表示される視覚可能画像は、
前記画像傾きと同じ角度だけ調節される、請求項１１に記載の方法。
【請求項２１】
前記画像傾きが最大臨界値以下かつ最低臨界値以上である場合、表示される前記視覚可能画像が調節されない、請求項１１に記載の方法。
【請求項２２】
移動通信端末機のディスプレイの画像傾きを自動的に補正する方法であって、
前記方法は、
前記移動通信端末機の使用者の画像をキャプチャするステップと、
前記キャプチャされた画像が前記使用者の顔を含むか否かを決定するステップと、
前記キャプチャされた画像において、（ｉ）前記使用者の両目間の直線または両眉毛間の直線、および（ｉｉ）前記使用者の口と鼻との間の直線のうちの少なくとも１つの直線に関連する前記使用者の顔の一部を認識するステップと、
前記直線に関連する前記使用者の顔の一部を示す使用者画像情報を生成するステップと、
前記直線と前記移動通信端末機に格納された基準直線との間の画像傾きを計算するステップと、
前記計算された画像傾きと、最大臨界値および最低臨界値とを比較するステップと、
視覚可能画像を前記移動通信端末機のディスプレイに表示するステップであって、前記画像傾きが前記最大臨界値より大きいか前記最低臨界値より小さい場合、表示される画像は前記画像傾きの分だけ傾きが調節され、前記画像傾きが前記最大臨界値以下かつ前記最低臨界値以上である場合、表示される画像が調節されない、ステップと
を含む、方法。
【請求項２３】
前記画像は、
前記移動通信端末機に内／外蔵されたカメラによってキャプチャされる、請求項２２に記載の方法。
【請求項２４】
前記直線は、
水平な直線と垂直な直線とのうちの１つである、請求項２２に記載の方法。
【請求項２５】
前記使用者の顔の一部を認識するステップは、
顔認識技術を実行することを含む、請求項２２に記載の方法。
【請求項２６】
前記顔認識技術は、
ＳＶＭ（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）アルゴリズムを含む、請求項２５に記載の方法。
【請求項２７】
前記画像傾きを計算するステップは、
前記直線と前記移動通信端末機の基準座標系とを比較することを含む、請求項２２に記載の方法。
【請求項２８】
前記基準座標系は、
水平基準線と垂直基準線とのうちの少なくとも１つを含む、請求項２７に記載の方法。
【請求項２９】
前記表示される視覚可能画像は、
前記画像傾きと同じ角度だけ調節される、請求項２２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動通信端末機に係るもので、詳しくは、使用者の視線と移動通信端末機間の相対的な傾き（以下、‘画像傾き’という）を自動に補正する移動通信端末機の画像傾き自動補正装置及びその方法に関するものである。
【背景技術】
【０００２】
最近、画像通話などを支援する次世代移動通信システムが導入されて、移動通信端末機に表示される画像の品質に対する使用者の関心が増加されている。このような使用者の関心に応じて、改善された表示部を備えた移動通信端末機が製造されることで、移動通信端末機により表示される画像の質を改善するための研究が行われているが、未だ画質が向上しただけで、使用者の基本的な不便を解消するには不十分であった。
【０００３】
使用者たちは、最新の移動通信端末機を利用して映画を見るか、又は自ら動映像を撮ることにより、端末機の画面を長時間見るようになった。このとき、使用者は、端末機を手に持って画面を見るが、使用者が端末機を傾けて持つか、又は首を曲げると、画像が傾くことで、画像を正しく鑑賞することが困難であった。従って、使用者は、正しく画像を見るために、端末機を継続して真っ直ぐ持つべきであるという不便があった。
【０００４】
既存の画像補正技術として、地磁気などの影響による傾きの自動補正方法があるが、これは、通常、電子銃によりビームを照射して表示部に画像を示す大きい家電に使用される技術であって、端末のように移動性のある機器に適用することは困難であった。なお、画像を使用者の視覚に合せて補正することは不可能であった。
【０００５】
又、現在常用されている回転型ホルダー携帯電話機には、端末機の折り曲げ部によって画像の上下を変換する技術が適用されたが、これは、単に画像の上下のみを変換するだけで、使用者と相対的でないため、表示部を真っ直ぐ見ることによる使用者の不便は依然として残っていた。
【０００６】
又、使用者の視線に画像を合せる技術として、使用者が画像傾きを直接調節する方法もあるが、この方法は、使用者が端末機を握った手を少し動くか、首を傾ける時毎に手動に調節すべきであるため、却って大きな不便を与えていた。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以上説明したように、従来の使用者と相対的に端末機の画像を制御する方法においては、手動に調節する方式のみで、端末機を自動に調節する方式は全くないため、端末機を利用して画像を見る使用者たちは、画像を正しく鑑賞するために、端末機を継続して自身の視線に合わせて真っすぐ持つべきであるという不都合な点があった。
【０００８】
本発明は、このような従来の課題に鑑みてなされたもので、使用者が移動通信端末機の画面を見るとき、表示部が傾くか、又は使用者の首が傾いた場合、これを端末機により自動に補正することで、表示される画像を使用者の視線に合せ得る移動通信端末機の画像傾き自動補正装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
このような目的を達成するため、本発明に係る移動通信端末機の画像傾き自動補正装置は、使用者画像の入力を受けて使用者の視線を検出し、該使用者の視線に対する使用者画像情報を出力する画像入力部と、前記使用者画像情報の入力を受けて、前記使用者の視線と端末機間の角度に対する画像傾きを計算し、該画像傾きによる制御信号を出力するデータ処理部と、該データ処理部から出力される制御信号によって調節される傾きの画像を表示する表示部と、を含んで構成されることを特徴とする。
【００１０】
又、前記画像入力部は、移動通信端末機に内／外蔵されたカメラにより撮影された使用者画像の入力を受けるが、該入力された画像は、使用者の視線を検出するために確認される。このとき、前記画像入力部の一部であるカメラは、端末機で撮影のために使用される第１カメラに付加的に提供される第２カメラでもある。したがって、使用者が撮影のために端末機を使用するとき、使用者に見られる画像に対する画像傾きの補正も可能である。
【００１１】
又、前記使用者の視線は、顔、目、耳、眉毛、口及び鼻などの使用者身体の特定部位を認識することで検出される。このとき、前記使用者身体の特定部位を検出するために、ＳＶＭ（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）アルゴリズムのような顔認識技術が使用される。
【００１２】
又、前記データ処理部は、画像入力部から使用者の視線と関連した情報を受けて、移動通信端末機に対する使用者の視線に該当する画像傾きを計算し、該計算された画像傾きを補正するための制御情報を生成して前記表示部に出力する。
【００１３】
又、前記画像傾きは、前記使用者の視線に該当する使用者画像情報上に任意の直線を設定し、該任意の直線と移動通信端末機の基準座標系とを比較することで計算される。このとき、前記基準座標系は、一つ以上の垂直線及び水平線を含んでいる。又、前記任意の直線は、前記使用者身体の特定部位上に設定されたもので、例えば、使用者の二つの目の間、二つの耳の間及び二つの眉毛の間を連結する直線であるか、又は使用者の口と鼻とを連結する直線である。
【００１４】
又、前記画像傾きを補正するために、端末機に表示される画像を調節するか否かを決定するには、一つ以上の臨界値が使用される。例えば、画像の補正が必要でない使用者と端末機間の相対的な角度の許容範囲を決定するために最大臨界値及び最低臨界値が使用され、前記画像傾きが前記許容範囲を越える場合のみに表示される画像が補正される。
【００１５】
又、前記データ処理部は、非揮発性メモリ及び揮発性メモリにより構成されるメモリ部と、中央制御部とから構成される。このとき、前記非揮発性メモリは、端末機内の全ての機能部の制御アルゴリズム及び画像傾き計算などのアルゴリズムを含み、前記揮発性メモリは、前記画像入力部から受けた使用者画像情報を格納して処理するのに使用される。又、前記中央制御部は、前記揮発性メモリに格納された情報を使用したアルゴリズムを行って前記画像傾きを計算し、該当の制御情報を生成する。
【００１６】
又、前記表示部は、前記データ処理部から制御情報を受けて、表示される画像を調節するために使用するが、該調節された画像は、前記画像傾きが補正されたもので、使用者が表示される画像を真っ直ぐ見るようにする。
【００１７】
且つ、本発明に係る移動通信端末機の画像傾き自動補正方法は、使用者画像の入力を受けて使用者の視線を検出し、該使用者の視線に関連した使用者画像情報を出力する過程と、移動通信端末機に対する前記使用者の視線に関連した画像傾きを計算する過程と、該計算された画像傾きに該当する制御情報を出力する過程と、前記画像傾きだけ表示される画像を補正する過程と、を行うことを特徴とする。
【００１８】
又、カメラにより撮影される画像としての前記入力される画像は、前記使用者の視線を検出するために確認され、該使用者の視線は、顔、目、耳、眉毛、口及び鼻のような使用者身体の特定部位を認識することで検出される。このとき、前記使用者身体の特定部位を検出するために、ＳＶＭ（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）アルゴリズムのような顔認識技術が使用される。
【００１９】
又、前記画像傾きは、前記使用者の視線に該当する使用者画像情報上に任意の直線を設定し、該任意の直線と移動通信端末機の基準座標系とを比較することで計算される。このとき、前記基準座標系は、一つ以上の垂直線及び水平線を含んでいる。
【００２０】
又、前記任意の直線は、前記使用者身体の特定部位上に設定されたもので、例えば、使用者の二つの目の間、二つの耳の間及び二つの眉毛の間を連結する直線であるか、又は使用者の口と鼻とを連結する直線である。又、前記画像傾きは、基準座標系の一つ以上の直線と前記任意の直線間の相対的の傾きと、表示される画像を調節するのに使用される前記相対的な傾きの大きさとから構成される。
【００２１】
又、前記画像傾きを補正するために、端末機に表示される画像を調節するか否かを決定するには、一つ以上の臨界値が使用される。例えば、画像の補正が必要でない使用者と端末機間の相対的な角度の許容範囲を決定するために、最大臨界値及び最低臨界値が使用され、前記画像傾きが前記許容範囲を越える場合のみに表示される画像が補正される。
【００２２】
且つ、本発明に係る移動通信端末機の画像傾き自動正方法は、入力される使用者の画像から使用者の顔及び使用者の顔の特定部位を順次認識・検出し、前記使用者顔の特定部位と関連した使用者画像情報を生成する過程と、移動通信端末機に対する使用者の顔の特定部位と関連した画像傾きを計算する過程と、該計算された画像傾きに該当する制御情報を生成する過程と、最低臨界値及び最大臨界値に基づいて、前記画像傾きを補正して調節された画像を表示する過程と、を行うことを特徴とする。
【００２３】
又、カメラにより撮影される画像としての前記入力される画像は、前記使用者の顔を含んでいるか否かを決定し、使用者の顔を含んでいる場合、使用者の顔の特定部位を認識するために確認される。このとき、前記使用者の顔の特定部位は、顔、目、耳、眉毛、口及び鼻などであって、前記使用者の顔の特定部位を検出するために、ＳＶＭ（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ）アルゴリズムのような顔認識技術が使用される。
【００２４】
又、前記画像傾きは、前記使用者の顔の特定部位に該当する使用者画像情報上に任意の直線を設定し、該任意の直線と移動通信端末機の基準座標系とを比較することで計算される。このとき、前記基準座標系は、一つ以上の垂直線及び水平線を含んでいる。
【００２５】
又、前記任意の直線は、前記使用者の顔の特定部位に該当する使用者画像情報上に設定されたもので、例えば、使用者の二つの目の間、二つの耳の間及び二つの眉毛の間を連結する直線であるか、又は使用者の口と鼻とを連結する直線である。又、前記画像傾きは、基準座標系の一つ以上の直線と前記任意の直線間の相対的な傾きと、表示される画像を調節するのに使用される前記相対的な傾きの大きさと、から構成される。
【００２６】
又、前記画像傾きを補正するために、端末機に表示される画像を調節するか否かを決定するには、前記臨界値が使用される。一実施形態として、最大臨界値及び最低臨界値は、画像の補正が必要でない使用者と端末機間の相対的な角度の許容範囲を制限し、前記画像傾きが前記許容範囲を越える場合のみに表示される画像が補正される。
【発明の効果】
【００２７】
本発明に係る移動通信端末機の画像傾き自動補正装置及びその方法は、使用者と端末機（或いは画面）との傾き差だけ傾きを補正した画像を表示することで、常に使用者が画面を真っ直ぐ見なくても、自身の目と平行に見ることができるという効果がある。
【００２８】
また、画像だけでなく、テキストやイメージなどを見るときにも適用され、使用者が端末機の傾き程度を気にすることなく、画面が自動に使用者の視線に合わせられるので、画面情報を認識することが容易であるという効果がある。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態に対し、図面に基づいて説明する。
【００３０】
図１は本発明に係る移動通信端末機の画像傾き自動補正装置及びその方法による移動通信端末機の画像補正状況を示した説明図である。
【００３１】
図１の上方の図は、使用者２が画像３を見る途中で移動通信端末機１を横に傾けた場合を示しているが、カメラ４が使用者の顔部を認識して使用者の視線５と基準線とを比較し、それら二つの直線の傾き差だけ端末機１で自動に補正する。該補正結果を下方の図に示しているが、使用者２が顔を真っすぐ上げた状態で、端末機１が右側に１５°程度傾いたので、端末機１がこれをカメラ４に入力される使用者の画像により認識し、前記画像３を左側に前記傾いた角度だけ傾けて使用者の視線５に真っすぐ合せる。
【００３２】
図２は本発明に係る移動通信端末機の画像傾き自動補正装置を示したブロック図である。
【００３３】
図２に示したように、本発明に係る移動通信端末機の画像傾き自動補正装置は、使用者画像の入力を受けて使用者の視線を検出し、該使用者の視線に対する使用者画像情報を出力する画像入力部１０と、前記使用者画像情報の入力を受けて前記使用者の視線と端末機間の角度に対する画像傾きを計算し、該画像傾きによる制御信号を出力するデータ処理部２０と、該データ処理部２０から出力される制御信号によって調節される傾きの画像を表示する表示部３０と、を含んで構成されている。
【００３４】
又、前記画像入力部１０は、移動通信端末機１に内／外蔵されたカメラ４により撮影された使用者画像の入力を受けて使用者の視線を検出し、該使用者の視線に該当する使用者画像情報をデータ処理部２０に出力する。このとき、前記カメラ４は、デジタルカメラである。
【００３５】
又、前記データ処理部２０は、前記画像入力部１０から受けた使用者画像情報により前記使用者の視線と端末機間の角度に対する画像傾きを計算し、該画像傾きによって、前記表示部３０により表示される画像に対する画像傾きを補正する制御信号のような制御情報を出力する。
【００３６】
又、前記表示部３０は、使用者２のための画像３を表示するが、前記データ処理部２０から出力される制御情報によって傾きを補正した画像３を表示する。
【００３７】
このとき、前記データ処理部２０は、メモリ部４０及び中央制御部５０を含んで構成されるが、前記メモリ部４０は、端末機１内の全ての機能部の制御アルゴリズム及び画像傾き計算などのアルゴリズムを有するＥＥＰＲＯＭ  （ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）のような非揮発性メモリと、前記使用者画像情報が格納及び処理されるＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）のような揮発性メモリとから構成される。
【００３８】
又、前記中央制御部５０は、画像入力部１０から受けた使用者画像情報を処理し、前記メモリ部４０のアルゴリズムを行って画像傾きを計算し、制御信号のような該当の制御情報を出力する。
【００３９】
又、前記使用者の視線５は、顔、目、耳、眉毛、口及び鼻などの使用者身体の特定部位を認識することで検出される。このとき、前記使用者身体の特定部位は、パターンマッチング方法中、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）アルゴリズムのように既に公知された多様な顔認識技術の一つにより認識され、前記ＳＶＭアルゴリズムのような顔認識技術を利用すると、使用者の顔の各部位も認識される。
【００４０】
前記ＳＶＭアルゴリズムは、基本的に二つの範疇を有する客体を分類する方法であって、１９７９年、Ｖａｐｎｉｋにより発表されたが、最近、その性能が認められて脚光を浴びている方法であって、二つの範疇により構成された客体がある一つの次元の空間に位置し、ある一つのハイパープレーン（ｈｙｐｅｒ−ｐｌａｎｅ）により区分される場合、適切なハイパープレーンを探すことで誤分類を避けることができる。このとき、二つの範疇を区分するハイパープレーンは非常に多いが、これら中、最も適切なものを決定する方法が前記ＳＶＭアルゴリズムであって、現在研究される顔認識アルゴリズムの代表的なものである。
【００４１】
又、前記画像傾きは、移動通信端末機１の基準座標系と前記使用者画像情報に設定された任意の直線とを比較することで計算される。このとき、前記任意の直線は、前記使用者の視線、例えば、使用者の二つの目、二つの耳及び二つの眉毛などを連結する直線、または使用者の口と鼻とを連結する直線などを示している。又、前記基準座標系は、一つ以上の水平線及び垂直線を含んでいる。
【００４２】
従って、移動通信端末機１と使用者の視線５とが一致するか否かを判断することができるが、もし、移動通信端末機１と使用者の視線５とが傾いたと判断されると、その傾いた角度（画像傾き）が計算され、表示部３０により表示される画像３は、前記画像傾きによって補正される。
【００４３】
又、前記表示部により表示される画像３の補正時期を判断するために、臨界値が使用される。例えば、前記画像傾きが最大臨界値より大きいか最低臨界値より小さい場合、前記画像傾きは許容範囲を越えるため、前記データ処理部２０は、表示される画像３を補正する制御情報を出力する。然し、前記画像傾きが最大臨界値以下で最低臨界値以上である場合、前記画像傾きは許容範囲内にあるため、前記データ処理部２０は、表示される画像３を補正するための制御情報を出力しない。
【００４４】
図３は本発明に係る移動通信端末機の画像傾き自動補正方法を示したフローチャートである。
【００４５】
図示されたように、本発明に係る移動通信端末機の画像傾き自動補正方法は、使用者画像の入力を受けて使用者の視線を検出し、該当する使用者画像情報を出力する過程（Ｓ１）と、該使用者画像情報の入力を受けて前記使用者の視線と移動通信端末機１間の画像傾きを計算する過程（Ｓ２）と、該計算された画像傾きによる制御情報を出力する過程（Ｓ３）と、該制御情報によって前記計算された画像傾きだけ表示される画像３を補正する過程（Ｓ４）と、を行う。
【００４６】
まず、端末機に内／外蔵されたカメラ４により撮影される画像として前記入力される画像を検査して前記使用者の視線を検出するが、該使用者の視線５は、顔、目、耳、眉毛、口及び鼻などの使用者身体の特定部位を認識することで検出される。このとき、前記使用者身体の特定部位の検出には、ＳＶＭアルゴリズムのような顔認識技術が使用される。
【００４７】
次いで、前記画像傾きは、前記使用者画像情報に設定された任意の直線と移動通信端末機１の基準座標系とを比較することで計算される。このとき、前記任意の直線は、使用者の二つの目、二つの耳及び二つの眉毛間を連結する直線、または使用者の口と鼻とを連結する直線などの使用者の視線を示し、前記基準座標系は、一つ以上の垂直線や水平線を含んでいる。
【００４８】
次いで、前記計算された画像傾きによって制御情報が生成されるが、該制御情報は、前記画像傾きと同じ角度だけ画像を回転すると共に、前記画像傾きによって表示される画像３を補正するために使用される。
【００４９】
次いで、前記表示部により表示される画像３の補正時期を判断するために、臨界値が使用される。例えば、前記画像傾きが最大臨界値より大きいか最低臨界値より小さい場合、前記画像傾きは許容範囲を越えるため、前記表示される画像３を補正するための制御情報が出力される。然し、前記画像傾きが最大臨界値以下で最低臨界値以上である場合、前記画像傾きは許容範囲内にあるため、前記表示される画像３を補正するための制御情報は出力されない。
【００５０】
図４は本発明に係る移動通信端末機の画像傾き自動補正方法の一実施形態を示したフローチャートである。
【００５１】
図示されたように、まず、移動通信端末機１に内／外蔵されたカメラ４により使用者の画像が入力される（Ｓ１０）。次いで、前記画像に顔領域があるか否かを確認する（Ｓ２０）。該確認結果、撮影された画像に顔領域がないと、最初の画像の撮影段階（Ｓ１０）に復帰し、撮影された画像に顔領域があると、該顔領域に対する制御情報を生成する（Ｓ３０）。その後、前記撮影された画像から使用者の視線と関連した使用者の顔の特定部位が存在するかを確認する（Ｓ４０）。該確認結果、使用者の視線と関連した使用者の顔の特定部位が存在しないと、最初の画像の撮影段階（Ｓ１０）に復帰し、前記撮影された画像に使用者の視線と関連した使用者の顔の特定部位が存在すると、撮影された画像から顔の特定部位に対する使用者画像情報を生成する（Ｓ５０）。その後、前記使用者画像情報に任意の直線を設定する（例えば、画像上に任意の直線をひく）（Ｓ６０）。このとき、前記使用者の視線５を示すために、使用者の二つの目、二つの眉毛及び二つの耳を連結する直線だけでなく、使用者の鼻柱を通る垂直線も使用される。
【００５２】
次いで、前記設定された直線と端末機１のメモリ部に格納された基準線との角度差を計算することで画像傾きを計算する（Ｓ７０）。このとき、前記基準線は、端末機１の基準座標系に含まれ、該基準座標系は、一つ以上の垂直線及び水平線を含んでいる。
【００５３】
その後、表示される画像の補正が必要であるかを判断するために、前記画像傾きと既に設定された最大臨界値及び最低臨界値とを比較する（Ｓ８０）。このとき、前記最大臨界値及び最低臨界値は、表示される画像３が傾いた場合、補正可能な許容範囲を示している。
【００５４】
次いで、前記画像傾きが最大臨界値より大きいか最低臨界値より小さいと、表示される画像３は、前記画像傾きと同じ角度だけ回転されて補正される（Ｓ９０）。然し、前記画像傾きが最大臨界値以下で、最低臨界値以上であると、端末機１は、使用者の視線５と端末機１間の傾き差がほとんどないと判断して、表示される画像３を補正しない。
【００５５】
例えば、最大臨界値が５°、最低臨界値が−５°である場合、前記二つの目を連結する直線と端末機に格納された基準水平線とのなす角度である画像傾きが−１５°であると、該−１５°は最低臨界値の−５°より小さいので、端末機１と使用者の視線５とが傾いたと判断し、表示される画像３を＋１５°だけ傾けて補正する。  一方、前記二つの目を連結する直線と端末に格納された基準水平線とのなす角度である画像傾きが３°であると、該３°は、最大臨界値以下で最低臨界値以上であるため、端末機１に対する使用者の視線５がほぼ真っ直ぐであると判断して、表示される画像３の傾きを補正しない。
【００５６】
なお、本発明は、図面に示された実施形態に基づいて説明したが、これは例示的なものに過ぎなく、本技術分野の通常の知識を有する者であれば、これにより多様な変形及び均等な他の実施形態が可能であるという点を理解するはずである。従って、本発明の真の技術的保護範囲は、添付された特許請求の範囲の技術的思想により決定されるべきである。
【００５７】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る移動通信端末機の画像傾き自動補正装置及びその方法による移動通信端末機の画像補正状況を示した説明図である。
【図２】本発明に係る移動通信端末機の画像傾き自動補正装置を示したブロック図である。
【図３】本発明に係る移動通信端末機の画像傾き自動補正方法を示したフローチャートである。
【図４】本発明に係る移動通信端末機の画像傾き自動補正方法の一実施形態を示したフローチャートである。
【符号の説明】
【００５９】
１：移動通信端末機
２：使用者
３：画像
４：カメラ
５：使用者の視線
１０：画像入力部
２０：データ処理部
３０：表示部
４０：メモリ部
５０：中央制御部
【図１】
0004477426.tif 000002
【図２】
0004477426.tif 000003
【図３】
0004477426.tif 000004
【図４】
0004477426.tif 000005