(57)【要約】【課題】本発明の一実施例によるカメラを介する仮想ボタン具現方法及び装置は、タッチスクリーンの以外にカメラレンズ領域に対するタッチ認識もアプリケーション操作インターフェースに含ませることにより、ユーザに便利で様々な環境のユーザインターフェースを提供する。【解決手段】本発明の一実施例は、カメラを介して獲得するピクセルデータのうち、一部の領域のピクセルデータのみを分析して、ユーザのカメラボタンに対する認識があるか否かを判断することにより、ＣＰＵの演算負荷を最小化することができるようになるので、タッチスクリーンを介して入力される操作の反応速度とカメラボタンを介する操作の反応速度とをほとんど同一の水準で達成することに応じて、アプリケーション利用に対するユーザインターフェースの便宜を向上させることができる。【選択図】図１
2017525066.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末によって実行されるカメラを介する仮想ボタン具現方法であって、
ユーザ入力に応じて前記ユーザ端末上でアプリケーションを実行するステップ；
前記ユーザ端末のカメラ撮影を実行するステップ；
前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップ；及び
前記ピクセル値の変化の認識に応じて、予め設定された前記アプリケーションの一動作を実行するステップ；を含む、カメラを介する仮想ボタン具現方法。
【請求項２】
前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、
前記ユーザが前記カメラレンズの少なくとも一領域を覆う動作によって、前記ピクセルデータの一部のピクセル値の変化量が閾値を超える場合、前記アプリケーションの一動作を実行するための入力を認識するステップを含む、請求項１に記載のカメラを介する仮想ボタン具現方法。
【請求項３】
前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、
前記カメラ撮影を介して獲得された全体ピクセルに対するピクセルデータのうち、関心領域として設定された一部のピクセルに対するピクセルデータを獲得するステップ；及び
前記一部のピクセルに対するピクセルデータのピクセル値の変化量が閾値を超える場合、前記一動作を実行するための入力として認識するステップ；を含む、請求項１に記載のカメラを介する仮想ボタン具現方法。
【請求項４】
前記カメラを介する仮想ボタン具現方法は、
前記ユーザ端末上でアプリケーションを実行した後、カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するステップを更に含む、請求項１に記載のカメラを介する仮想ボタン具現方法。
【請求項５】
前記カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するステップは、
前記ユーザ端末のカメラ撮影を実行するステップ；
前記ユーザが前記カメラレンズの少なくとも一領域を覆う動作により、前記カメラテストモードのカメラ撮影を介して獲得したピクセルデータの一領域のピクセル値の変化を認識するステップ；及び
前記認識されたピクセル値の変化を考慮して前記閾値を設定するステップ；を含む、請求項４に記載のカメラを介する仮想ボタン具現方法。
【請求項６】
前記カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するステップは、
前記カメラテストモードのカメラ撮影を介して獲得された全体ピクセルに対するピクセルデータのうち、関心領域として設定された一部のピクセルに対するピクセル値の変化を認識して、前記関心領域に対する閾値を設定するステップを含み、
前記カメラテストモード以後のカメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、
前記関心領域に対するピクセル値の変化と前記設定された閾値とを比較して、前記アプリケーションの一動作に対する入力を認識するステップを含む、請求項４に記載のカメラを介する仮想ボタン具現方法。
【請求項７】
前記カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するステップは、
前記カメラテストモードを介して獲得されたピクセルデータの変化を認識した後、前記関心領域として設定された一部のピクセルの位置を補正するステップを更に含む、請求項６に記載のカメラを介する仮想ボタン具現方法。
【請求項８】
前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、
前記ユーザ端末の周辺環境に対する光量値の変化に応じて閾値を補正して、前記ピクセルデータの一領域のピクセル値の変化と前記閾値とを比較することにより、前記アプリケーションの一動作に対する入力を認識する、請求項１に記載のカメラを介する仮想ボタン具現方法。
【請求項９】
前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、
前記獲得されたピクセルデータに対する現在のピクセル値を獲得するステップ；
現在時点から予め設定された利点時点までの現在のピクセル値に対する平均値を獲得して、前記平均値を閾値として設定するステップ；及び
前記現在のピクセル値と前記閾値とを比較して、前記ユーザが前記カメラレンズ領域を覆うか覆わない行為を認識することにより、前記アプリケーションの一動作に対する入力を認識するステップ；を含む、請求項８に記載のカメラを介する仮想ボタン具現方法。
【請求項１０】
前記現在時点から予め設定された利点時点までの現在のピクセル値に対する平均値を獲得して、前記平均値を閾値として設定するステップは、
前記平均値に対する半分以下の値を第１の閾値として設定し、前記平均値に対する２倍以上の値を第２の閾値として設定するステップを含む、請求項９に記載のカメラを介する仮想ボタン具現方法。
【請求項１１】
前記現在のピクセル値と前記閾値とを比較して、前記ユーザが前記カメラレンズ領域を覆うか覆わない行為を認識することにより、前記アプリケーションの一動作に対する入力を認識するステップは、
前記現在のピクセル値が前記第１の閾値よりも小さい場合、前記カメラレンズ領域が覆われていない状態で、前記ユーザによって前記カメラレンズ領域を覆う行為が発生したものとして認識して、前記カメラレンズ領域を覆うことに対する動作入力を認識するステップ；及び
前記現在のピクセル値が前記第２の閾値よりも大きい場合、前記カメラレンズ領域が覆われた状態で前記ユーザが前記カメラレンズ領域を覆わない行為が発生したものとして認識して、前記カメラレンズ領域を覆わないことに対する動作入力を認識するステップ；を含む、請求項１０に記載のカメラを介する仮想ボタン具現方法。
【請求項１２】
前記カメラを介する仮想ボタン具現方法は、
前記ユーザ端末上でアプリケーションを実行した後、前記カメラの撮影領域に前記ユーザ端末の光供給部を介して光を供給するステップを更に含む、請求項１に記載のカメラを介する仮想ボタン具現方法。
【請求項１３】
前記ユーザ端末の光供給部を介して光を供給するステップは、
前記ユーザ端末の周辺環境に対する光量値が予め設定された値よりも少ない場合、前記光を供給する、請求項１２に記載のカメラを介する仮想ボタン具現方法。
【請求項１４】
前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、
前記ユーザ端末の周辺環境に対する明度値が予め設定された値より小さな場合、前記ピクセルデータのコントラストを基礎で前記ピクセル値の変化を認識するステップ；及び
前記周辺環境に対する明度値が前記予め設定された値と同じであるか高い場合と、前記ユーザ端末の光供給部から光が供給される場合、前記ピクセルデータの彩度及び色相に基づいて、前記ピクセル値の変化を認識するステップ；を含む、請求項１２に記載のカメラを介する仮想ボタン具現方法。
【請求項１５】
前記周辺環境に対する明度値が前記予め設定された値と同じであるか高い場合と、前記ユーザ端末の光供給部から光が供給される場合、前記ピクセルデータの彩度及び色相に基づいて、前記ピクセル値の変化を認識するステップは、
前記ピクセル値の変化と赤い色相に対する彩度閾値を比較するステップを含む、請求項１４に記載のカメラを介する仮想ボタン具現方法。
【請求項１６】
前記ピクセルデータは、
前記カメラ撮影を介して初期データが獲得され、前記ユーザ端末に格納されてユーザが確認することができる写真データは、前記初期データを変換したＲＧＢデータであるといえる場合、前記ピクセルデータは、前記初期データである、請求項１に記載のカメラを介する仮想ボタン具現方法。
【請求項１７】
請求項１項乃至請求項１６項のいずれか一項に記載の方法を実行するプログラムが記録されたコンピュータ読取可能な記録媒体。
【請求項１８】
カメラを介する仮想ボタン具現装置であって、
ユーザ入力に応じてアプリケーションが実行された後、前記具現装置に内蔵されたカメラの撮影を実行してピクセルデータを獲得するピクセルデータ獲得部；
前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するピクセル値変化認識部；及び
前記ピクセル値の変化認識に応じて、予め設定された前記アプリケーションの一動作を実行する動作実行部；を含む、カメラを介する仮想ボタン具現装置。
【請求項１９】
前記ピクセル値変化認識部は、
前記ユーザが前記カメラレンズの少なくとも一領域を覆う動作により、前記ピクセルデータの一部のピクセル値の変化量が閾値を超える場合、前記アプリケーションの一動作を実行するための入力を認識する、請求項１８に記載のカメラを介する仮想ボタン具現装置。
【請求項２０】
前記ピクセルデータ獲得部は、
前記カメラ撮影を介して獲得された全体ピクセルに対するピクセルデータのうち、関心領域として設定された一部のピクセルに対するピクセルデータを獲得し、
前記ピクセル値変化認識部は、
前記一部のピクセルに対するピクセルデータのピクセル値の変化量が閾値を超える場合、前記一動作を実行するための入力として認識する、請求項１８に記載のカメラを介する仮想ボタン具現装置。
【請求項２１】
前記カメラを介する仮想ボタン具現装置は、
前記具現装置上でアプリケーションを実行した後、カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するテストモード実行部を更に含む、請求項１８に記載のカメラを介する仮想ボタン具現装置。
【請求項２２】
前記テストモード実行部は、
前記カメラの撮影を実行し、前記ユーザが前記カメラレンズの少なくとも一領域を覆う動作により、前記カメラテストモードのカメラ撮影を介して獲得したピクセルデータの一領域のピクセル値の変化を認識し、
前記認識されたピクセル値の変化を考慮して前記閾値を設定する、請求項２１に記載のカメラを介する仮想ボタン具現装置。
【請求項２３】
前記テストモード実行部は、
前記カメラテストモードのカメラ撮影を介して獲得された全体ピクセルに対するピクセルデータのうち、関心領域として設定された一部のピクセルに対するピクセル値の変化を認識して前記関心領域に対する閾値を設定し、
前記ピクセル値変化認識部は、
前記関心領域に対するピクセル値の変化と前記設定された閾値とを比較して、前記アプリケーションの一動作に対する入力を認識する、請求項２１に記載のカメラを介する仮想ボタン具現装置。
【請求項２４】
前記テストモード実行部は、
前記カメラテストモードを介して獲得されたピクセルデータの変化を認識した後、前記関心領域として設定された一部のピクセルの位置を補正するステップを更に含む、請求項２３に記載のカメラを介する仮想ボタン具現装置。
【請求項２５】
前記ピクセル値変化認識部は、
前記ユーザ端末の周辺環境に対する光量値の変化に応じて閾値を補正して、前記ピクセルデータの一領域のピクセル値の変化と前記閾値とを比較することにより、前記アプリケーションの一動作に対する入力を認識する、請求項１８に記載のカメラを介する仮想ボタン具現装置。
【請求項２６】
前記ピクセル値変化認識部は、
前記獲得されたピクセルデータに対する現在のピクセル値を獲得し、現在時点から予め設定された利点時点までの現在のピクセル値に対する平均値を獲得して前記平均値を閾値として設定し、前記現在のピクセル値と前記閾値とを比較して、前記ユーザが前記カメラレンズ領域を覆うか覆わない行為を認識することにより、前記アプリケーションの一動作に対する入力を認識する、請求項２５に記載のカメラを介する仮想ボタン具現装置。
【請求項２７】
前記ピクセル値変化認識部は、
前記平均値に対する半分以下の値を第１の閾値として設定し、前記平均値に対する２倍以上の値を第２の閾値として設定する、請求項２６に記載のカメラを介する仮想ボタン具現装置。
【請求項２８】
前記ピクセル値変化認識部は、
前記現在のピクセル値が前記第１の閾値よりも小さい場合、前記カメラレンズ領域が覆われていない状態で、前記ユーザによって前記カメラレンズ領域を覆う行為が発生したものとして認識して、前記カメラレンズ領域を覆うことに対する動作入力を認識し、
前記現在のピクセル値が前記第２の閾値よりも大きい場合、前記カメラレンズ領域が覆われた状態で、前記ユーザが前記カメラレンズ領域を覆わない行為が発生したものとして認識して、前記カメラレンズ領域を覆わないことに対する動作入力を認識する、請求項２７に記載のカメラを介する仮想ボタン具現装置。
【請求項２９】
前記カメラを介する仮想ボタン具現装置は、
前記具現装置上でアプリケーションを実行した後、前記カメラの撮影領域に光を供給する光供給部を更に含む、請求項１８に記載のカメラを介する仮想ボタン具現装置。
【請求項３０】
前記光供給部は、
前記具現装置の周辺環境に対する明度値が予め設定された値よりも少ない場合、光を供給し、
光供給動作を開始した以後、一定の周期ごとに予め設定された時間の間に前記光供給動作を停止したときに獲得したピクセルデータが前記予め設定された値よりも高い場合、前記光供給動作を中断する、請求項２９に記載のカメラを介する仮想ボタン具現装置。
【請求項３１】
前記ピクセル値変化認識部は、
前記具現装置の周辺環境に対する明度値が予め設定された値よりも小さい場合、前記ピクセルデータのコントラストに基づいて、前記ピクセル値の変化を認識し、前記周辺環境に対する明度値が前記予め設定された値と同じであるか高い場合と、前記具現装置の光供給部から光が供給される場合、前記ピクセルデータの彩度及び色相に基づいて、前記ピクセル値の変化を認識する、請求項２９に記載のカメラを介する仮想ボタン具現装置。
【請求項３２】
前記ピクセル値変化認識部は、
前記周辺環境に対する明度値が前記予め設定された値と同じであるか高い場合と、前記ユーザ端末の光供給部から光が供給される場合、前記ピクセル値の変化と赤い色相に対する彩度閾値とを比較して、前記ピクセル値の変化を認識する、請求項３１に記載のカメラを介する仮想ボタン具現装置。
【請求項３３】
前記ピクセルデータは、
前記カメラ撮影を介して初期データが獲得され、前記ユーザ端末に格納されてユーザが確認することができる写真データは、前記初期データを変換したＲＧＢデータであるといえる場合、前記ピクセルデータは、前記初期データである、請求項１８に記載のカメラを介する仮想ボタン具現装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを介する仮想ボタン具現方法、装置及びコンピュータ読取可能な記録媒体に関し、より詳細には、アプリケーションを操作するためのキーとしてカメラを用いる、カメラを介する仮想ボタン具現方法、装置及びコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
一般に、タッチの基本構成要素はｘ、ｙ、ｚと言える。ここで、ｚは、該当位置を押す圧力要素である。例えば、マウスやタッチデバイスの基本要素は、ｘ、ｙと言える。タッチの方式は、シングルタッチ、マルチタッチ、指またはオブジェクトタッチなどに区分することができるが、最近には、マルチタッチが可能なタッチスクリーンを取り付けたモバイル機器などが多く開発されている傾向である。
【０００３】
マルチタッチ（Ｍｕｌｔｉ−ｔｏｕｃｈ）は、コンピュータ（またはモバイル機器）ユーザがグラフィックアプリケーションプログラムなどに複数の指を接触することにより、操作できるようにする相互作用技術であって、これは、スマートフォンのように狭い画面で非常に便利な技術である。
【０００４】
従来のスマートフォンを用いたゲーム装置は、前述したタッチスクリーンのタッチ技術に基づいたユーザの操作を入力受けてゲームを提供している。例えば、ＦＰＳ（Ｆｉｒｓｔｐｅｒｓｏｎ  ｓｈｏｏｔｅｒ）ゲームなどのようなシューティングゲームで、ユーザは、ゲーム画面を介して射撃しようとする地点指示及び発射ボタン操作をタッチスクリーンのタッチを介して実行することができる。しかし、このような従来の操作方式は、ユーザがゲーム画面を介して１本または２本の指でゲーム画面をタッチしながら、射撃地点及び発射ボタンの両方を操作しなければならないので、ユーザ操作に対する大きな不便さがあった。
【０００５】
すなわち、タッチスクリーンを用いたゲームアプリケーションの操作方法が開発されてきたが、基本的なインターフェースの限界によって、ユーザが様々な機能を操作するには限界があった。
【０００６】
特許文献１は、ユーザ端末とユーザとの間の距離に基づいたユーザの動きを用いた端末装置を開示することによって、新しい操作方法を開示しているが、深さ情報を用いるプロセスは、スマートフォンに容易に搭載することが困難であり、演算量を増加させるようになる理由から従来の問題点を解決するには限界がある。
【０００７】
一方、前述した背景技術は、発明者が、本発明の導出のために保有していたか、本発明の導出過程で習得した技術情報であって、必ず本発明の出願の前に一般の公衆に公開された公知技術であるとはいえない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】韓国公開特許第１０−２０１４−００３５２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の一実施例は、タッチスクリーンの他にも、カメラレンズをアプリケーションを操作するためのキーとして用いることに目的がある。
【００１０】
また、本発明の一実施例は、カメラ撮影で獲得したピクセルデータを解釈する過程を簡素化することによって、ＣＰＵの演算負荷を減らし、カメラレンズ領域に対するタッチがゲームのような即刻な反応が必要なアプリケーションに対しても円滑に適用されるようにすることに目的がある。
【００１１】
また、本発明の一実施例は、カメラレンズをユーザの指で一時的に覆う方式で動作させることにおいて、テスト過程を予め進行することにより、明確なキー入力を受信することに目的がある。
【課題を解決するための手段】
【００１２】
前述した技術的課題を達成するための技術的手段として、本発明の第１の側面によれば、ユーザ端末によって実行されるカメラを介する仮想ボタン具現方法において、ユーザ入力に応じて前記ユーザ端末上でアプリケーションを実行するステップ；前記ユーザ端末のカメラ撮影を実行するステップ；前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップ；及び前記ピクセル値の変化の認識に応じて、予め設定された前記アプリケーションの一動作を実行するステップ；を含む。
【００１３】
また、前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、前記ユーザが前記カメラレンズの少なくとも一領域を覆う動作によって、前記ピクセルデータの一部のピクセル値の変化量が閾値を超える場合、前記アプリケーションの一動作を実行するための入力を認識するステップを含む。
【００１４】
また、前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、前記カメラ撮影を介して獲得された全体ピクセルに対するピクセルデータのうち、関心領域として設定された一部のピクセルに対するピクセルデータを獲得するステップ；及び前記一部のピクセルに対するピクセルデータのピクセル値の変化量が閾値を超える場合、前記一動作を実行するための入力として認識するステップ；を含む。
【００１５】
また、前記カメラを介する仮想ボタン具現方法は、前記ユーザ端末上でアプリケーションを実行した後、カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するステップを更に含む。
【００１６】
また、前記カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するステップは、前記ユーザ端末のカメラ撮影を実行するステップ；前記ユーザが前記カメラレンズの少なくとも一領域を覆う動作により、前記カメラテストモードのカメラ撮影を介して獲得したピクセルデータの一領域のピクセル値の変化を認識するステップ；及び前記認識されたピクセル値の変化を考慮して前記閾値を設定するステップ；を含む。
【００１７】
また、前記カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するステップは、前記カメラテストモードのカメラ撮影を介して獲得された全体ピクセルに対するピクセルデータのうち、関心領域として設定された一部のピクセルに対するピクセル値の変化を認識して、前記関心領域に対する閾値を設定するステップを含み、前記カメラテストモード以後のカメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、前記関心領域に対するピクセル値の変化と前記設定された閾値とを比較して、前記アプリケーションの一動作に対する入力を認識するステップを含む。
【００１８】
また、前記カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するステップは、前記カメラテストモードを介して獲得されたピクセルデータの変化を認識した後、前記関心領域として設定された一部のピクセルの位置を補正するステップを更に含む。
【００１９】
また、前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、前記ユーザ端末の周辺環境に対する光量値の変化に応じて閾値を補正して、前記ピクセルデータの一領域のピクセル値の変化と前記閾値とを比較することにより、前記アプリケーションの一動作に対する入力を認識する。
【００２０】
また、前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、前記獲得されたピクセルデータに対する現在のピクセル値を獲得するステップ；現在時点から予め設定された利点時点までの現在のピクセル値に対する平均値を獲得して、前記平均値を閾値として設定するステップ；及び前記現在のピクセル値と前記閾値とを比較して、前記ユーザが前記カメラレンズ領域を覆うか覆わない行為を認識することにより、前記アプリケーションの一動作に対する入力を認識するステップ；を含む。
【００２１】
また、前記現在時点から予め設定された利点時点までの現在のピクセル値に対する平均値を獲得して、前記平均値を閾値として設定するステップは、前記平均値に対する半分以下の値を第１の閾値として設定し、前記平均値に対する２倍以上の値を第２の閾値として設定するステップを含む。
【００２２】
また、前記現在のピクセル値と前記閾値とを比較して、前記ユーザが前記カメラレンズ領域を覆うか覆わない行為を認識することにより、前記アプリケーションの一動作に対する入力を認識するステップは、前記現在のピクセル値が前記第１の閾値よりも小さい場合、前記カメラレンズ領域が覆われていない状態で、前記ユーザによって前記カメラレンズ領域を覆う行為が発生したものとして認識して、前記カメラレンズ領域を覆うことに対する動作入力を認識するステップ；及び前記現在のピクセル値が前記第２の閾値よりも大きい場合、前記カメラレンズ領域が覆われた状態で前記ユーザが前記カメラレンズ領域を覆わない行為が発生したものとして認識して、前記カメラレンズ領域を覆わないことに対する動作入力を認識するステップ；を含む。
【００２３】
また、前記カメラを介する仮想ボタン具現方法は、前記ユーザ端末上でアプリケーションを実行した後、前記カメラの撮影領域に前記ユーザ端末の光供給部を介して光を供給するステップを更に含む。
【００２４】
また、前記ユーザ端末の光供給部を介して光を供給するステップは、前記ユーザ端末の周辺環境に対する光量値が予め設定された値よりも少ない場合、前記光を供給する。
【００２５】
また、前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するステップは、前記ユーザ端末の周辺環境に対する明度値が予め設定された値より小さい場合、前記ピクセルデータのコントラストに基づいて、前記ピクセル値の変化を認識するステップ；及び前記周辺環境に対する明度値が前記予め設定された値と同じであるか高い場合と、前記ユーザ端末の光供給部から光が供給される場合、前記ピクセルデータの彩度及び色相に基づいて、前記ピクセル値の変化を認識するステップ；を含む。
【００２６】
また、前記周辺環境に対する明度値が前記予め設定された値と同じであるか高い場合と、前記ユーザ端末の光供給部から光が供給される場合、前記ピクセルデータの彩度及び色相に基づいて、前記ピクセル値の変化を認識するステップは、前記ピクセル値の変化と赤い色相に対する彩度閾値を比較するステップを含む。
【００２７】
また、前記ピクセルデータは、前記カメラ撮影を介して初期データが獲得され、前記ユーザ端末に格納されてユーザが確認することができる写真データは、前記初期データを変換したＲＧＢデータであるといえる場合、前記ピクセルデータは、前記初期データである。
【００２８】
一方、本発明の第２の側面によれば、コンピュータ読取可能な記録媒体は、前述した課題を解決するための手段の方法を実行するプログラムが記録されている。
【００２９】
また一方、本発明の第３の側面によれば、カメラを介する仮想ボタン具現装置において、ユーザ入力に応じてアプリケーションが実行された後、前記具現装置に内蔵されたカメラの撮影を実行してピクセルデータを獲得するピクセルデータ獲得部；前記カメラ撮影を介して獲得されたピクセルデータの一領域のピクセル値の変化を認識するピクセル値変化認識部；及び前記ピクセル値の変化認識に応じて、予め設定された前記アプリケーションの一動作を実行する動作実行部；を含む。
【００３０】
また、前記ピクセル値変化認識部は、前記ユーザが前記カメラレンズの少なくとも一領域を覆う動作により、前記ピクセルデータの一部のピクセル値の変化量が閾値を超える場合、前記アプリケーションの一動作を実行するための入力を認識する。
【００３１】
また、前記ピクセルデータ獲得部は、前記カメラ撮影を介して獲得された全体ピクセルに対するピクセルデータのうち、関心領域として設定された一部のピクセルに対するピクセルデータを獲得し、前記ピクセル値変化認識部は、前記一部のピクセルに対するピクセルデータのピクセル値の変化量が閾値を超える場合、前記一動作を実行するための入力として認識する。
【００３２】
また、前記カメラを介する仮想ボタン具現装置は、前記具現装置上でアプリケーションを実行した後、カメラテストモードを実行して、前記アプリケーションの一動作を実行する入力として認識するための閾値を設定するテストモード実行部を更に含む。
【００３３】
また、前記テストモード実行部は、前記カメラの撮影を実行し、前記ユーザが前記カメラレンズの少なくとも一領域を覆う動作により、前記カメラテストモードのカメラ撮影を介して獲得したピクセルデータの一領域のピクセル値の変化を認識し、前記認識されたピクセル値の変化を考慮して前記閾値を設定する。
【００３４】
また、前記テストモード実行部は、前記カメラテストモードのカメラ撮影を介して獲得された全体ピクセルに対するピクセルデータのうち、関心領域として設定された一部のピクセルに対するピクセル値の変化を認識して前記関心領域に対する閾値を設定し、前記ピクセル値変化認識部は、前記関心領域に対するピクセル値の変化と前記設定された閾値とを比較して前記アプリケーションの一動作に対する入力を認識する。
【００３５】
また、前記テストモード実行部は、前記カメラテストモードを介して獲得されたピクセルデータの変化を認識した後、前記関心領域として設定された一部のピクセルの位置を補正するステップを更に含む。
【００３６】
また、前記ピクセル値変化認識部は、前記ユーザ端末の周辺環境に対する光量値の変化に応じて閾値を補正して、前記ピクセルデータの一領域のピクセル値の変化と前記閾値とを比較することにより、前記アプリケーションの一動作に対する入力を認識する。
【００３７】
また、前記ピクセル値変化認識部は、前記獲得されたピクセルデータに対する現在のピクセル値を獲得し、現在時点から予め設定された利点時点までの現在のピクセル値に対する平均値を獲得して前記平均値を閾値として設定し、前記現在のピクセル値と前記閾値とを比較して、前記ユーザが前記カメラレンズ領域を覆うか覆わない行為を認識することにより、前記アプリケーションの一動作に対する入力を認識する。
【００３８】
また、前記ピクセル値変化認識部は、前記平均値に対する半分以下の値を第１の閾値として設定し、前記平均値に対する２倍以上の値を第２の閾値として設定する。
【００３９】
また、前記ピクセル値変化認識部は、前記現在のピクセル値が前記第１の閾値よりも小さい場合、前記カメラレンズ領域が覆われていない状態で、前記ユーザによって前記カメラレンズ領域を覆う行為が発生したものとして認識して、前記カメラレンズ領域を覆うことに対する動作入力を認識し、前記現在のピクセル値が前記第２の閾値よりも大きい場合、前記カメラレンズ領域が覆われた状態で、前記ユーザが前記カメラレンズ領域を覆わない行為が発生したものとして認識して、前記カメラレンズ領域を覆わないことに対する動作入力を認識する。
【００４０】
また、前記カメラを介する仮想ボタン具現装置は、前記具現装置上でアプリケーションを実行した後、前記カメラの撮影領域に光を供給する光供給部を更に含む。
【００４１】
また、前記光供給部は、前記具現装置の周辺環境に対する明度値が予め設定された値よりも少ない場合、光を供給し、光供給動作を開始した以後、一定の周期ごとに予め設定された時間の間に、前記光供給動作を停止したときに獲得したピクセルデータが前記予め設定された値よりも高い場合、前記光供給動作を中断する。
【００４２】
また、前記ピクセル値変化認識部は、前記具現装置の周辺環境に対する明度値が予め設定された値よりも小さい場合、前記ピクセルデータのコントラストに基づいて、前記ピクセル値の変化を認識し、前記周辺環境に対する明度値が前記予め設定された値と同じであるか高い場合と、前記具現装置の光供給部から光が供給される場合、前記ピクセルデータの彩度及び色相に基づいて、前記ピクセル値の変化を認識する。
【００４３】
また、前記ピクセル値変化認識部は、前記周辺環境に対する明度値が前記予め設定された値と同じであるか高い場合と、前記ユーザ端末の光供給部から光が供給される場合、前記ピクセル値の変化と赤い色相に対する彩度閾値とを比較して、前記ピクセル値の変化を認識する。
【００４４】
また、前記ピクセルデータは、前記カメラ撮影を介して初期データが獲得され、前記ユーザ端末に格納されてユーザが確認することができる写真データは、前記初期データを変換したＲＧＢデータであるといえる場合、前記ピクセルデータは、前記初期データである。
【発明の効果】
【００４５】
前述した本発明の課題を解決するための手段のうち、いずれかによれば、本発明の一実施例は、ユーザが指でカメラレンズを一時的に覆う入力をアプリケーションの動作として予め設定することにより、アプリケーションの利用時、入力可能なキーを確張するようになって、アプリケーション利用の便宜を増進させることができる。
【００４６】
特に、カメラが背面に配置された場合、親指でタッチスクリーンを操作し、人差し指や中指などの他の指でカメラレンズを操作することができるようになって、アプリケーション操作インターフェースを拡張させることができる。
【００４７】
また、ユーザのカメラレンズに対する入力を認識するためには、カメラ撮影を介して獲得したピクセルデータを分析する過程を経るべきであるが、この時、本発明の一実施例は、獲得したピクセルデータのうち、予め設定された一部の領域のデータのみを抽出して、ユーザのカメラレンズ領域を押す行為を判断するので、獲得したピクセルデータを分析する過程のＣＰＵ演算負荷を最小化することができる。例えば、１７６×１４４サイズの映像を分析するためには、２５３４４個のピクセルを分析しなければならないが、本発明の一実施例は、４〜５つ程度のピクセルを検査することだけでもユーザの行為を判断することができるので、ＣＰＵ演算負荷を最小化することができるものである。一般に、カメラ撮影を介するピクセルデータを分析する過程は、ゲームのように操作キーの反応速度が重要な要素であるアプリケーションに追加される場合、反応速度低下を引き起こす原因のうちの一つになり得る。しかし、本発明の一実施例は、ピクセルデータを分析する過程を簡素化させることにより、ゲームのようなアプリケーションに追加されてもその反応速度低下を最小化させることによって、カメラレンズ操作キー対する反応速度を他の操作キー（タッチスクリーンに入力される操作キー）の反応速度と同一の水準で提供することができる。
【００４８】
また、本発明の一実施例によれば、ユーザ端末の光供給機能を用いて暗い状況においてもカメラレンズに対する入力を認識することができるようにし、常に、カメラレンズを用いたユーザインターフェースを用いるようにすることができる。
【００４９】
また、本発明の一実施例によれば、テストモードを予め実行してカメラレンズに対する入力の閾値を予め設定することにより、それぞれのユーザに適したカメラレンズ入力認識を具現することができるようになり、ユーザに最適化されたアプリケーション操作インターフェースを提供することができる。
【００５０】
本発明において得ることができる効果は、以上で言及した効果などに制限されず、言及していないまた他の効果などは、下記の記載から本発明が属する技術分野において通常の知識を有する者に明確に理解され得るだろう。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施例によるカメラを介する仮想ボタン具現装置のブロック図である。
【図２】ユーザがカメラレンズ領域を覆わない場合を示す例示図である。
【図３】図２の場合に示されるアプリケーションの動作画面に対する例示図である。
【図４】ユーザがカメラレンズ領域を覆った場合を示す例示図である。
【図５】図４の場合に示されるアプリケーションの動作画面に対する例示図である。
【図６】本発明の一実施例によってカメラレンズ領域を覆った場合に対する例示図である。
【図７】本発明の一実施例によってカメラレンズ領域を覆った場合に対する例示図である。
【図８】本発明の一実施例によるカメラを介する仮想ボタン具現方法を説明するためのフローチャートである。
【図９】本発明の追加実施例によるカメラを介する仮想ボタン具現方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００５２】
以下では、添付した図面を参照して本発明が属する技術分野において通常の知識を有する者が容易に実施できるように本発明の実施例を詳細に説明する。しかし、本発明は、様々な異なる形態で具現されることができ、ここで説明する実施例に限定されない。そして、図面において、本発明を明確に説明するために、説明と関係ない部分は省略し、明細書の全般にわたって同様の部分に対しては、同様の図面符号を付した。
【００５３】
明細書の全般にわたって、ある部分が他の部分と“連結”されているとするとき、これは、“直接的に連結”されている場合だけでなく、その中間に他の素子を挟んで“電気的に連結”されている場合も含む。また、ある部分がある構成要素を“含み”とするとき、これは、特に反対される記載がない限り、他の構成要素を除去するのではなく、他の構成要素を更に含むことができることを意味する。
【００５４】
以下、添付された図面を参考して本発明を詳細に説明するようにする。
【００５５】
図１は、本発明の一実施例によるカメラを介する仮想ボタン具現装置１００を説明するための構成図である。前記装置１００は、ネットワークを介して遠隔地のサーバーに接続したり、他の端末及びサーバーと連結可能なコンピュータや携帯用端末機、テレビで具現され得る。ここで、コンピュータは、例えば、ウェブブラウザ（ＷＥＢ  Ｂｒｏｗｓｅｒ）が搭載されたノートブック、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）などを含み、携帯用端末機は、例えば、携帯性と移動性が保障される無線通信装置であって、ＰＣＳ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ）、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｅｌｌｕｌａｒ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＩＭＴ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｍｏｂｉｌｅ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）−２０００、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）−２０００、Ｗ−ＣＤＭＡ（Ｗ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ  Ｂｒｏａｄｂａｎｄ  Ｉｎｔｅｒｎｅｔ）、スマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）、モバイルＷｉＭＡＸ（Ｍｏｂｉｌｅ  Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）などのようなすべての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）ベースの無線通信装置を含むことができる。また、テレビは、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｔｅｌｅｖｉｓｉｏｎ）、インターネットＴＶ（Ｉｎｔｅｒｎｅｔ  Ｔｅｌｅｖｉｓｉｏｎ）、地上波ＴＶ、ケーブルＴＶなどを含むことができる。また、装置１００は、前述した端末内に搭載され、アプリケーションを実行するアプリケーションプログラムモジュールになることもできる。
【００５６】
装置１００は、ユーザの入力に応じてアプリケーションを実行した後、カメラ設定モードを実行して、ユーザの選択に応じてカメラをアプリケーション操作キーとして設定することにより、カメラを仮想ボタンとして具現することができる。ここで、カメラは、前面カメラまたは背面カメラになり得る。
【００５７】
装置１００は、ピクセルデータ獲得部１１０と、ピクセル値変化認識部１２０と、動作実行部１３０と、光供給部１４０と、テストモード実行部１５０と、を含む。
【００５８】
ピクセルデータ獲得部１１０は、アプリケーションが実行された後、カメラを動作させ、カメラを介して撮影されたピクセルデータを獲得する。この時のカメラ撮影は、写真やイメージファイルを格納するための目的ではないピクセルデータ獲得のための撮影である。ピクセルデータは、カメラレンズにのみ引き込まれる映像に対するデータであって、各ピクセルなどの情報をすべて収集した配列データを意味する。カメラが動作される場合、ユーザの立場からは、装置１００のスクリーンにカメラの前方に映される映像のうち、写真撮影ボタンを押した場合に対してのみ、ピクセルデータが獲得されると感じられることができるが、実際には無数に多いプレビューピクセルデータが獲得されて持続的に更新され、その中から写真撮影ボタンを押した時点のプレビューピクセルデータに対してのみイメージや写真ファイルとして格納される。
【００５９】
ピクセルデータ獲得部１１０は、一定の周期でピクセルデータを獲得することができ、例えば、１ｍｓｅｃ周期でピクセルデータを獲得することができる。また、一定の周期で獲得されたピクセルデータは、時間の経過につれて累積され、追加生成されるのではなく、持続的に更新される。
【００６０】
ここで、ピクセルデータ獲得部１１０が獲得するピクセルデータは、ＹＵＶフォーマットに基づいたデータになり得る。ＹＵＶは、カラーピクセルデータから明度値と色差信号とを分離して表現するカラーモデルである。一般に、カメラで写真を撮影するとき、ユーザが見るイメージは、ＹＵＶピクセルデータを獲得し、これをＲＧＢフォーマットに変換して提供されたものである。しかし、本発明の一実施例は、ＲＧＢフォーマットに変換される前の初期ピクセルデータ（ＹＵＶフォーマットのピクセルデータ）を獲得し、これを用いることができる。ＹＵＶフォーマットは、ほとんどの装備が支援するフォーマットであるので、互換性が良く、ＹＵＶフォーマットの自体が明度値（ＹＵＶのうち、Ｙ値）を含んでいるので、ピクセルデータから明度値を解釈するための別途の過程を経らなくても良いという点から長所がある。一方、ピクセルデータ獲得部１１０は、ＹＵＶフォーマットの他にも、ＪＰＥＧやＰＮＧなどの様々なフォーマットのピクセルデータを獲得することもできる。
【００６１】
また、ピクセルデータ獲得部１１０は、全体領域のうち、一部の領域（すなわち、関心領域（Ｐｏｉｎｔ  ｏｆ  Ｉｎｔｅｒｅｓｔ））のピクセルデータのみを獲得することもできる。関心領域のピクセルデータは、全体領域のうち、密集された一部の領域のピクセルデータであるか、互いに離れて配置された領域のピクセルデータになることもできる。また、前記関心領域の位置及び範囲は、予め指定されてあり得る。好ましくは、ピクセルデータ獲得部１１０は、中央や縁の予め指定された５つのピクセルを関心領域として指定し、このような関心領域に対するピクセルデータを獲得することができる。カメラ撮影を介して獲得されるピクセルデータの全体を分析して、ユーザのカメラレンズ領域を覆う行為を把握しようとすると、無数に多くのＣＰＵ演算負荷が発生されるようになる。しかし、関心領域のピクセルデータのみを用いる場合、このような演算負荷を最小化することができるので、ゲーム操作にカメラボタン認識を反映する時、カメラボタン認識速度を向上させることができる。例えば、１７６×１４４サイズの映像を分析するためには、２５３４４個のピクセルを分析するが、本発明の一実施例は、４〜５つ程度のピクセルを分析することだけでもユーザの行為を判断することができるので、ＣＰＵ演算負荷を最小化することができるものである。
【００６２】
ピクセル値変化認識部１２０は、獲得されたピクセルデータのピクセル値の変化に応じてアプリケーションに対する動作が発生したか否かを認識する。ピクセル値とは、ピクセルデータ内のピクセルに対する明度、彩度、色相のうちの少なくとも一つの値を意味する。ピクセル値の変化は、ユーザが指でカメラレンズ領域を一時的に覆うことによって発生され得る。
【００６３】
具体的に、ピクセル値変化認識部１２０は、獲得されたピクセルデータから現在のピクセル値を計算する。ピクセル値変化認識部１２０は、獲得された５つのピクセル値のうち、明度値が最大のもの及び最小のものを除いた残り３つの平均明度値を計算して、現在のピクセル値として指定する。次いで、ピクセル値変化認識部１２０は、現在のピクセル値と閾値との比較によってカメラレンズ領域を覆う行為（すなわち、カメラボタンを押す行為）があるか否かを判断するようになる。具体的に下記のように説明するようにする。
【００６４】
−カメラボタンを押さない状態（ボタンアップ（Ｂｕｔｔｏｎ  Ｕｐ））
以下で、カメラレンズ領域をカメラボタンであると仮定して記述する。カメラボタンを押さない状態は、カメラレンズ領域１１１を覆っていない状態である。図２を参照すると、ユーザが装置１００を両手で支えているが、左手の人差し指ＩＦは、カメラレンズ領域１１１と遠く離れるように配置させている。この場合、カメラレンズに入力される映像は、装置１００の前方に配置された事物に対する映像となる。昼の場合、獲得されたピクセルデータは、事物が識別可能な映像を示す形態であり得る。
【００６５】
−カメラボタンを押した状態（ボタンダウン（Ｂｕｔｔｏｎ  Ｄｏｗｎ））
カメラボタンを押した状態は、カメラレンズ領域１１１を覆った状態である。図４のように、左手の人差し指ＩＦをカメラレンズ領域１１１に当てる場合、獲得されたピクセルデータのピクセル値が急激に変わるようになる。例えば、指で覆われたカメラレンズ領域１１１には、光が引き込まれないので、獲得されたピクセルデータのピクセル値が暗い明度で示すことができる。または、周辺環境が明るすぎる場合には、指でカメラレンズ領域１１１を覆っても覆われない小さい隙間に光が漏れて入ったり、指を透過して光がカメラレンズ領域１１１に入るようになるので、獲得されたピクセルデータのピクセル値が杏色または赤色の色相で示すこともできる。
【００６６】
ここで、カメラボタンを押した状態と押さない状態との間のピクセル値変化に応じてアプリケーションに対する動作が発生したか否かを決定するようになり、ピクセル値変化は、現在のピクセル値と閾値との間の比較に応じて判断され得る。閾値は、ピクセル値の変化量に対する閾値である。閾値は、予め設定されることもでき、後述するテストモードによって決定されることもできる。ピクセル値の変化量と閾値との比較に応じてカメラボタンの状態を認識する過程を以下で具体的に説明するようにする。
【００６７】
−ボタンアップ（Ｂｕｔｔｏｎ  Ｕｐ）からボタンダウン（Ｂｕｔｔｏｎ  Ｄｏｗｎ）への切り換え
ボタンダウン状態（すなわち、カメラレンズ領域を覆った状態）の現在のピクセル値は、ボタンアップ状態に比べて、明度部門で低い値を有することができる。従って、ボタンアップ状態のまま留まった後に現在のピクセル値の明度値が第１の閾値（明度値）よりも小さくなる瞬間、ピクセル値変化認識部１２０は、ボタンダウン命令として認識することができる。第１の閾値は、平均ピクセル値の５０％以下に該当する値であって、平均ピクセル値とは、現在時点から予め設定された以前時間の範囲（例えば、現在時点から数秒以前までの時間の範囲）の間に収集されたピクセル値の平均値を意味する。すなわち、ピクセルの現在明度値が平均明度値よりも著しく小さくなる場合、ボタンダウン命令として認識することができる。
【００６８】
−ボタンダウン（Ｂｕｔｔｏｎ  Ｄｏｗｎ）からボタンアップ（Ｂｕｔｔｏｎ  Ｕｐ）への切り換え
ボタンアップ状態（すなわち、カメラレンズ領域を覆っていない状態）の現在のピクセル値は、ボタンダウン状態に比べて、明度部門で高い値を有することができる。従って、ボタンダウン状態のまま留まった後に現在のピクセル値の明度値が第２の閾値（明度値）よりも高くなる瞬間、ピクセル値変化認識部１２０は、ボタンアップ命令として認識することができる。第２の閾値は、平均ピクセル値の２００％以上に該当する値である。すなわち、ピクセルの現在明度値が平均明度値よりも著しく高くなる場合、ボタンアップ命令として認識することができる。
【００６９】
一方、前記の例において、第１及び第２の閾値は、同一の値として設定されることもできる。また、第１及び第２の閾値と関連して設定された５０％と２００％との比率は、一例に過ぎず、異なる比率が設定されることもできる。
【００７０】
また、前記第１及び第２の閾値は、予め固定された値に設定されることもできる。ただ、前記の例のように、第１及び第２の閾値を平均ピクセル値を含んで設定する場合、装置１００の周辺光量に応じて閾値を補正し、ボタンのアップ／ダウン状態を認識することができるようになる長所がある。すなわち、第１及び第２の閾値が固定された値であれば、僅かに暗い所でのボタン入力と僅かに明るい所でのボタン入力に対する認識度が異なることができるが、前記の例のような場合、明るい所から暗い所に移動するのにつれて第１及び第２の閾値が徐々に低くなるので、このような問題点を除去することができる。
【００７１】
動作実行部１３０は、ピクセル値変化認識部１２０から特定の動作命令を受信して、予め設定されたアプリケーションの動作を実行する。例えば、アプリケーションが自動車レーシングゲームアプリケーションであり、カメラレンズ領域を覆う入力（すなわち、ボタンダウン）に対してゲーム上で加速装置を踏む入力と対応されるものとして指定されている場合を仮定する。この時、図２のように、カメラレンズ領域を覆っていない状態（すなわち、ボタンアップ状態）では、図３のような一般の走行時に、いかなる変化も示されないが、図４のように、カメラレンズ領域を左手の人差し指ＩＦで覆う行動をユーザが実行する場合（すなわち、ボタンダウン状態）、図５のように、ゲーム上のユーザの自動車に加速装置入力が加えられ、ゲーム上の自動車の速力がより速くなるようになり得る。
【００７２】
従来の自動車レーシングアプリケーションの場合、ユーザの装置１００を傾けることにより、方向を調整するように具現されたものが多い。この時、ユーザは、自分の装置１００を図２のような形態で両手で支えていなければならないので、タッチスクリーンに入力を加えることができる指の数は、右手の親指と左手の親指ＴＨの２つしか存在しない。この時、右手の親指と左手の親指ＴＨがギア変速やブレーキ動作キーを制御するのに割り当てされるべきであれば、加速装置１００の動作キーを制御する指が不足することになり得る。
【００７３】
しかし、本発明の一実施例によれば、背面カメラを加速装置の動作キーとして設定することにより、ゲームアプリケーションの動作において、追加動作キーを割り当てることができるようにし、追加動作キーの位置がより便利な位置に配置されるようになって、ユーザのゲーム操作にもさらに大きい便宜性をもたらすことができる。
【００７４】
勿論、このような本発明の一実施例は、自動車レーシングゲームだけでなく、シューティングゲームのような様々なゲームアプリケーションのユーザインターフェースとして指定されることもできる。例えば、従来のシューティングゲームでは、シューティング方向調節ボタン及びシューティング命令ボタンが、装置のタッチスクリーンを介してのみ実行された。例えば、両手の親指でシューティング方向を調節した後、いずれか一手の親指や他の指をシューティング命令ボタンを押す方式でプレーが実行された。しかし、このような場合、シューティング方向調節及びシューティング命令が、同一の面で実行されるので、操作の不便さが多かった。しかし、本発明の一実施例は、シューティング命令をシューティング方向調節と異なる面で実行するようにすることにより、ユーザ操作の便宜性を向上させることができる。また、ゲームアプリケーションの以外にも他の様々なアプリケーションのユーザインターフェースとして指定されることもできる。
【００７５】
光供給部１４０（いわゆる‘フラッシュ’と呼ばれる場合もある）は、装置１００の周辺光量が少ない場合、ライトを点灯することにより、カメラを介して獲得されるピクセルデータからピクセル値の変化を認知できるようにする。例えば、真夜中にユーザがアプリケーションを実行してカメラモードを使用すると、ユーザがカメラボタンを押さない状態で獲得されるピクセルデータのピクセル値は、一律的に暗い値を示すようになるので、ボタンダウン状態とボタンアップ状態との間のピクセル値の変化がほとんど示されないので、カメラボタンに対する入力を認識することができなくなる。
【００７６】
従って、これを防止するために、光供給部１４０は、カメラと同一面に配置されて光を供給することにより、ボタンダウン状態とボタンアップ状態との間のピクセル値の変化をはっきりにしてピクセル値変化認識部１２０が、カメラボタン押し状態を認識できるようにする。
【００７７】
光供給部１４０は、ユーザによって受動で動作することができる。しかし、平均明度値が予め設定された明度値以下である場合、光供給部１４０が自動で光を発するように動作することもできる。平均明度値は、別に測定されることもできるが、前述した第１及び第２の閾値を用いることもできる。但し、供給される光量が多く、光供給部１４０は、一般に、カメラレンズ領域と隣接して配置されるので、光が供給された状態で指でカメラレンズを覆っても、カメラレンズと指との間の小さい隙間にも光が入ったり、指を透過してカメラレンズに光が入るようになる。それに応じて、カメラ撮影を介して獲得されるピクセルデータのピクセル値は、暗い色ではなく、指の色（すなわち、杏色）や血液の色（すなわち、赤色）などの色相を帯びるようになる。それゆえに、この場合、ピクセル値変化認識部１２０でピクセル値の変化を判断する基準は、彩度と色相に指定されることが好ましい。
【００７８】
一方、自動に光供給部１４０が動作されたら、適切な状況で自動に光供給部１４０の動作が停止する必要がある。すなわち、ユーザが暗い所でアプリケーションを実行してから明るい所に移動して、これ以上の光供給部１４０の動作が必要でない場合、装置１００は、光供給部１４０の動作を自動に停止することができる。具体的に、光供給部１４０は、一定の週期ごとに（例えば、３０秒ごとに）ユーザが認知できない短い時間の間に（例えば、０．１秒間）電源オフされ得る。ピクセルデータ獲得部１１０は、このような短い時間の間にもピクセルデータを獲得する。この時に獲得されたピクセルデータが依然として予め設定された明度値よりも低い場合は、ユーザが依然として暗い環境でアプリケーションを用いている場合であるので、光供給部１４０は、持続的に動作することができる。一方、この時に獲得されたピクセルデータが予め設定された明度値よりも高い場合は、ユーザが明るい環境に移動したことを示すものであるので、光供給部１４０は、動作を停止することができる。
【００７９】
一方、一般に、周辺環境が適切な光量を有する状態では、ピクセルデータのコントラストの変化だけでカメラボタン入力認識が可能である。しかし、周辺環境が明るすぎる場合、または光供給部１４０が光を供給する場合、ボタンダウン状態で獲得されるピクセルデータから明度値を明確に把握することができなくなるので、この場合、彩度及び色相を介してボタンアップ／ダウン状態を把握することが好ましい。
【００８０】
具体的にいわば、平均明度値が予め設定された明度値を超過する場合と、光供給部１４０が動作する場合、ピクセル値変化認識部１２０は、彩度及び色相を考慮して、ボタンアップ／ダウン状態を認識するように動作することができる。この時、ボタンダウン状態では、光が指を通過したり、指とカメラレンズとの間の隙間に漏れて入るので、ピクセルデータは、赤いピクセル値を有するようになる。従って、ピクセル値変化認識部１２０は、赤い色の彩度値に基づいて、ボタンダウン状態を認識することができる。
【００８１】
前述の例において、第１及び第２の閾値は、明度値であるが、本追加例では、彩度値と比較され得る第３の閾値が指定され、獲得されたピクセルデータと第３閾値との間の比較を介してボタンアップ／ダウンが決定され得る。例えば、獲得されたピクセルデータの彩度値が第３の閾値よりも大きい場合、ボタンダウン状態を認識し、ピクセルデータの彩度値が第３の閾値よりも小さい場合、ボタンアップ状態を認識することができる。
【００８２】
一方、平均明度値が予め設定された明度値を超過しない場合には、前述のように動作するようになる。
【００８３】
一方、ピクセル値変化認識部１２０は、平均明度値を別に測定することもできるが、前述の例によると、第１及び第２の閾値が平均明度値を含むものであるので、第１及び第２の閾値のうち、少なくとも一つを平均明度値として用いることもできる。
【００８４】
テストモード実行部１５０は、発明の一実施例の装置１００に選択的に含まれ得る構成として、閾値を設定するために、メラテストモードを実行する。カメラテストモードは、プリケーションの開始初期だけでなく、中間にいつでも実行され得る。また、カメラテストモードが実行されない場合、閾値は、初期の設定値に設定される。カメラテストモードは、ユーザにカメラレンズに指を覆ってから離す行為を一度実行することを要請し、ユーザのそのような行為があった後、ピクセルデータのピクセル値変化を分析することにより、ユーザの行為をアプリケーション動作のための入力として認識するための閾値を設定する。
【００８５】
具体的に、テストモード実行部１５０は、ピクセルデータ獲得部１１０を介してカメラを動作させる。次いで、装置１００のスクリーンを介してユーザにカメラレンズ領域を一時的に覆ってから離すことを要請する。ユーザがカメラレンズ領域を覆う場合、覆われる領域の形態は、様々に存在し得る。例えば、図６のような形態でカメラレンズ領域１１１の縁の一部分だけが覆われることもでき、図７のような形態でカメラレンズ領域１１１のほとんどが覆われることもできる。テストモード実行部１５０は、獲得されたピクセルデータから覆われた領域のピクセル値の変化を認識する。特に、テストモード実行部１５０は、全体領域のうち、関心領域のピクセル値変化のみを認識することもできる。例えば、図６及び図７において、関心領域がカメラレンズ領域１１１の４つの縁領域と中央領域に設定された場合、図６では、Ｃ３でのピクセル変化のみを認識することができ、図７では、Ｃ２、Ｃ３、Ｃ５でのピクセル変化のみを認識することができる。
【００８６】
一方、追加実施例として、予め設定された関心領域が存在するとき、カメラテストモードを介してユーザ入力を受けた後、予め設定された関心領域の位置または範囲を補正することもできる。または、オプション事項として、ユーザの指が太い場合と、薄い場合を選択するようにした後、それぞれの場合に応じて、予め設定された関心領域の位置または範囲を補正することもできる。
【００８７】
ゲームアプリケーションサービス提供において、ゲーム実行速度は、サービスの成功を決定するのに重要な要素として作用することができる。ゲーム実行速度が速くてこそユーザにダイナミックでスピーディなサービスを提供して、ユーザに退屈さと不便な感情を提供しないことができるからである。また、一般に、ゲーム操作において、タッチスクリーンの他に異なる入力手段（すなわち、カメラ）を付加する場合、装置１００の演算量が急激に多くなるが、本発明の一実施例は、“（１）関心領域におけるピクセルデータ変化判断（２）アプリケーションの動作として認識”のように、簡単な演算過程を用いるので、カメラを付加することによって発生されるアプリケーション動作の速度低下を最小化することができるということに意義がある。
【００８８】
以下、図８を介して、本発明の一実施例によるカメラを介する仮想ボタン具現方法を具体的に説明する。
【００８９】
先ず、ユーザは、自分のユーザ端末（すなわち、装置１００）上で特定のアプリケーションを実行するＳ１１０。アプリケーションを実行した後、カメラ設定モードが提供されることができ、ユーザの選択に応じて、カメラを操作キーとして用いるモードが選択され得る。
【００９０】
次いで、ユーザ端末１００は、カメラ撮影を実行する（Ｓ１２０）。カメラ撮影を実行することにより、ユーザ端末１００は、カメラの前方に配置された事物に対するピクセルデータを獲得することができる（Ｓ１２０）。ここで獲得されるピクセルデータは、ＹＵＶフォーマットのデータであって、一般に、カメラで撮影した写真を格納するときに、ＹＵＶフォーマットのピクセルデータを獲得した後、これをＲＧＢフォーマットに変換するが、本発明の一実施例は、ＲＧＢフォーマットに変換される前のＹＵＶフォーマットのデータを直ちに用いることができる。しかし、これは一実施例に関するものであって、ＹＵＶフォーマットの以外に他のフォーマットが適用されることもできる。また、獲得されるピクセルデータは、全体領域のうち、一部である関心領域に対するピクセルデータであり得る。例えば、１７６×１４４サイズの映像を分析するためには、２５３４４個のピクセルを分析しなければならないが、本発明の一実施例は、４〜５つ程度のピクセルに対するピクセルデータのみを獲得して、ＣＰＵ演算負荷を最小化するようにする。
【００９１】
ユーザ端末１００は、獲得されたピクセルデータを介して現在のピクセル値を計算し、現在のピクセル値と閾値とを比較する（Ｓ１３０）。ユーザ端末１００は、獲得された複数のピクセルに対するピクセル値のうち、明度値が最大のピクセル及び最小のピクセルを除いた残り３つのピクセルの平均明度値を計算して、現在のピクセル値として指定する。ここで、閾値は、明度値になり得る。
【００９２】
次いで、現在のピクセル値が閾値よりも大きい場合、ユーザがカメラレンズを覆わないこと（ボタンアップ）と判断して、ボタンアップに対する動作を実行する（Ｓ１４０）。そして、現在のピクセル値が閾値よりも同じか小さい場合、ユーザがカメラレンズを覆ったこと（ボタンダウン）と判断して、ボタンダウンに対する動作を実行する（Ｓ１５０）。
【００９３】
具体的に、現在のピクセル値が第１の閾値よりも小さくなる場合、ユーザ端末１００は、ボタンアップに対する入力として認識することができる。また、現在のピクセル値が第２の閾値よりも高くなる場合、ユーザ端末１００は、ボタンダウンに対する入力として認識することができる。ここで、第１の閾値及び第２の閾値は、明度値に関するものであって、互いに異なる値に指定されることができるが、同一の値に指定されることもできる。一方、第１及び第２の閾値が周辺環境の明度値をリアルタイムで反映した値に設定される場合、ユーザ端末１００の周辺光量変化に応じてリアルタイムで補正されることもできる。例えば、ボタンダウンがあるか否かを決定するための第１の閾値は、現在時点から予め設定された以前時間の間に収集された明度値の５０％値になり得る。また、ボタンアップがあるか否かを決定するための第２の閾値は、現在時点から予め設定された以前時間の間に収集された明度値の２００％値になり得る。
【００９４】
その他に、本発明の一実施例は、Ｓ１１０とＳ１２０との間のステップでカメラテストモードを実行することもできる。カメラテストモードは、ユーザにカメラレンズ領域を一時的に覆う動作を予め実行するようにすることにより、追後のカメラレンズを覆う動作を認識するための閾値を設定するためのモードである。
【００９５】
また、本発明の一実施例は、Ｓ１２０ステップを実施するとき、ユーザ端末１００の周辺環境が暗い場合、光供給部１４０を用いて光を照らして撮影することにより、ピクセルデータの変化観察が困難な環境でもピクセルデータの変化を認識できるようにして、カメラボタン入力に対するユーザの動作を識別することができる。
【００９６】
また、本発明の追加実施例によれば、図８のＳ１３０〜Ｓ１５０ステップは、図９のＳ１３０〜Ｓ１８０ステップに代替され得る。図９のＳ１３０〜Ｓ１８０ステップは、ユーザ端末１００の周辺光量に応じて明度閾値と彩度閾値とを異なりに適用することにより、暗いまたは明るい所でもボタンアップ／ダウン動作を認識することを特徴とする。
【００９７】
先ず、ユーザ端末１００は、光供給部が動作したか否かを判断する（Ｓ１３０）。光供給部は、周辺環境が暗くてピクセルデータから事物の識別が困難な場合に動作され得る。光供給部は、ユーザの操作に応じて受動で動作することもできるが、周辺光量が予め設定された基準よりも小さい場合、自動に動作することもできる。
【００９８】
光供給部が動作しない場合、現在のピクセル値と予め設定された明度値とを比較する（Ｓ１４０）。
【００９９】
現在のピクセル値が予め設定された明度値よりも大きい場合、ユーザ端末１００の周辺環境が明るすぎて、明度値分析だけではユーザのカメラレンズを覆う行為を把握することができなくなる。従って、この時、現在のピクセル値と彩度閾値とを比較するように設定される（Ｓ１６０）。周辺光量が無数に多い場合、ユーザがカメラレンズを指で覆っても指を透過して光がカメラレンズ領域に引き込まれるので、この場合に獲得されるピクセルデータは、赤い色相を帯びるようになる。従って、彩度閾値は、赤い色相に対する彩度閾値として設定され得る。
【０１００】
現在のピクセル値が彩度閾値よりも高い場合、カメラレンズを指で覆う場合として判断され得るので、ユーザ端末１００は、ボタンダウンに対する動作を実行するＳ１８０。一方、現在のピクセル値が彩度閾値よりも低いか同じである場合、ユーザのカメラレンズをちゃんと覆う行為があったと見ることが難しいので、ボタンアップに対する動作を実行する（Ｓ１７０）。
【０１０１】
一方、Ｓ１５０〜Ｓ１８０ステップまでの動作は、図８のＳ１３０〜１５０ステップまでの動作と同一のものであるので、これに対する動作説明は、前述の説明に替えるようにする。
【０１０２】
図８及び図９を介して説明された実施例によるカメラを介する仮想ボタン具現方法は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態でも具現され得る。コンピュータ読取可能な媒体は、コンピュータによってアクセスされ得る任意の可用媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体をいずれも含む。また、コンピュータ読取可能な媒体は、コンピュータ格納媒体及び通信媒体を両方とも含むことができる。コンピュータ格納媒体は、コンピュータ読取可能な命令語、データ構造、プログラムモジュールまたはその他のデータのような情報の格納のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型媒体をいずれも含む。通信媒体は、典型的に、コンピュータ読取可能な命令語、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他のデータ、またはその他の伝送メカニズムを含み、任意の情報伝達媒体を含む。
【０１０３】
前述した本発明の説明は、例示のためのものであり、本発明が属する技術分野において通常の知識を有する者は、本発明の技術的思想や必須の特徴を変更せずに、他の具体的な形態で容易に変形が可能であるということを理解することができるだろう。それゆえに、以上で記述した実施例などは、すべての面で例示的なものであり、限定的ではないものとして理解すべきである。例えば、単一型で説明されている各構成要素は、分散されて実施されることもでき、同様に分散されたものとして説明されている構成要素なども結合された形態で実施され得る。
【０１０４】
本発明の範囲は、前記詳細な説明よりも後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そして、その均等概念から導出されるすべての変更または変形された形態が本発明の範囲に含まれるものとして解釈されるべきである。
【図１】
2017525066.tif 000003
【図２】
2017525066.tif 000004
【図３】
2017525066.tif 000005
【図４】
2017525066.tif 000006
【図５】
2017525066.tif 000007
【図６】
2017525066.tif 000008
【図７】
2017525066.tif 000009
【図８】
2017525066.tif 000010
【図９】
2017525066.tif 000011
【国際調査報告】
2017525066.tif 000012
2017525066.tif 000013
2017525066.tif 000014
2017525066.tif 000015