(57)【要約】【課題】操作部に触れずにカーソル操作を実現する【解決手段】反転部１２は、カメラ３０が撮像した画像を反転させる。次に、顔検出部１３は、反転部１２が反転させた画像から使用者の顔を示す顔領域を検出する。次に、代表点抽出部１４は、顔検出部１３が検出した顔領域から代表点を抽出する。次に、操作部１５は、代表点抽出部１４が抽出した代表点の座標に基づいて表示部５０の画面上に表示されるカーソルを移動させる。【選択図】図１
2011053747.tif 000002
【特許請求の範囲】
【請求項１】
画面上に表示されるカーソルを操作するポインティング装置であって、
前記画面の表示面と同一の方向に撮像面を有するカメラと、
前記カメラが撮像した画像から使用者の身体の少なくとも一部を示す身体領域を検出する身体検出手段と、
前記身体検出手段が検出した身体領域から代表点を抽出する代表点抽出手段と、
前記代表点抽出手段が抽出した代表点の座標に基づいて前記画面上に表示されるカーソルを移動させる移動手段と、
を備えることを特徴とするポインティング装置。
【請求項２】
前記移動手段は、前記画面上における、前記画像のサイズを前記画面に対応するサイズへの拡大または縮小を行ったときの前記代表点の座標に合わせてカーソルを表示させることを特徴とする請求項１に記載のポインティング装置。
【請求項３】
前記身体検出手段は、使用者の顔領域を検出することを特徴とする請求項１または請求項１または請求項２の何れか１項に記載のポインティング装置。
【請求項４】
前記カメラが撮像した画像を反転処理し、被写体の鏡像の画像を出力する反転手段をさらに備え、
前記身体検出手段は、前記反転手段が出力した画像から身体領域を検出する
ことを特徴とする請求項１から請求項３の何れか１項に記載のポインティング装置。
【請求項５】
画面の表示面と同一の方向に撮像面を有するカメラを備え、前記画面上に表示されるカーソルを操作するポインティング装置を用いたポインティング方法であって、
身体検出手段は、前記カメラが撮像した画像から使用者の身体の少なくとも一部を示す身体領域を検出し、
代表点抽出手段は、前記身体検出手段が検出した身体領域から代表点を抽出し、
移動手段は、前記代表点抽出手段が抽出した代表点の座標に基づいて前記画面上に表示されるカーソルを移動させる、
ことを特徴とするポインティング方法。
【請求項６】
画面上に表示されるカーソルを操作するポインティング装置を、
前記画面の表示面と同一の方向に撮像面を有するカメラ、
前記カメラが撮像した画像から使用者の身体の少なくとも一部を示す身体領域を検出する身体検出手段、
前記身体検出手段が検出した身体領域から代表点を抽出する代表点抽出手段、
前記代表点抽出手段が抽出した代表点の座標に基づいて前記画面上に表示されるカーソルを移動させる移動手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面上に表示されるカーソルを操作するポインティング装置、ポインティング方法及びプログラムに関する。
【背景技術】
【０００２】
従来、ＧＵＩ（Graphic User Interface）を搭載する携帯電話端末の操作方法として、画面上に表示されたアイコンなどのグラフィックを、カーソルの操作によって選択する方法が用いられている。このようなカーソルの操作は、操作キーやポインティングスティックなどのポインティング装置を用いて行われている。
また、端末装置の他の操作方法として、画面上に表示されたアイコンなどのグラフィックをタッチパネルの操作によって選択する方法がある。
【０００３】
なお、特許文献１には、カメラが撮像した画像からユーザの顔の特徴点を抽出し、当該特徴点の初期位置からの傾きからユーザが要求する操作を検出して携帯電話端末を操作する技術が開示されている。
また、特許文献２には、カメラが撮像した画像からユーザの顔の特徴点を抽出し、当該特徴点のパターンに基づいて携帯電話端末に対する文字入力を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０１９０６号公報
【特許文献２】特開２００２−２５２６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、操作方法がキーを用いるものである場合、携帯電話端末が開閉式のとき、筐体を閉じたままでの操作を行うことができないという問題がある。また、操作方法がタッチパネルを用いるものである場合、画面に直接触れて操作を行う必要があるため、画面が汚れてしまうという問題がある。
また、特許文献１、特許文献２に記載の技術は、使用者の顔の特徴点を認識することによって操作を実現するため、処理が複雑であり、また、顔の特徴点の変化は微小であるため、誤検出により使用者の意図と異なる操作がなされてしまう可能性がある。
本発明は上記の点に鑑みてなされたものであり、その目的は、操作部に触れずにカーソル操作を実現するポインティング装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は上記の課題を解決するためになされたものであり、画面上に表示されるカーソルを操作するポインティング装置であって、前記画面の表示面と同一の方向に撮像面を有するカメラと、前記カメラが撮像した画像を反転させる反転手段と、前記反転手段が反転させた画像から使用者の身体の少なくとも一部を示す身体領域を検出する身体検出手段と、前記身体検出手段が検出した身体領域から代表点を抽出する代表点抽出手段と、前記代表点抽出手段が抽出した代表点の座標に基づいて前記画面上に表示されるカーソルを移動させる移動手段と、を備えることを特徴とする。
【０００７】
また、本発明は、画面の表示面と同一の方向に撮像面を有するカメラを備え、前記画面上に表示されるカーソルを操作するポインティング装置を用いたポインティング方法であって、反転手段は、前記カメラが撮像した画像を反転させ、身体検出手段は、前記反転手段が反転させた画像から使用者の身体の少なくとも一部を示す身体領域を検出し、代表点抽出手段は、前記身体検出手段が検出した身体領域から代表点を抽出し、移動手段は、前記代表点抽出手段が抽出した代表点の座標に基づいて前記画面上に表示されるカーソルを移動させる、ことを特徴とする。
【０００８】
また、本発明は、画面上に表示されるカーソルを操作するポインティング装置を、前記画面の表示面と同一の方向に撮像面を有するカメラ、前記カメラが撮像した画像を反転させる反転手段、前記反転手段が反転させた画像から使用者の身体の少なくとも一部を示す身体領域を検出する身体検出手段、前記身体検出手段が検出した身体領域から代表点を抽出する代表点抽出手段、前記代表点抽出手段が抽出した代表点の座標に基づいて前記画面上に表示されるカーソルを移動させる移動手段、として機能させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、カメラが撮像した画像に含まれる身体の代表点に基づいてカーソルの移動を行う。これにより、操作部に触れずに、カメラの前で顔を動かすこと、または顔の前でカメラを動かすことでカーソルを操作することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による携帯電話端末の構成を示す概略ブロック図である。
【図２】携帯電話端末の外観及び画面例を示す図である。
【図３】携帯電話端末のＧＵＩ操作時の動作を示すフローチャートである。
【図４】携帯電話端末のＧＵＩ操作時にＣＰＵが処理する画像を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による携帯電話端末の構成を示す概略ブロック図である。
携帯電話端末（ポインティング装置）は、ＣＰＵ１０、メモリ２０、カメラ３０、キー入力部４０、表示部５０、送受信部６０を備える。
ＣＰＵ１０は、携帯電話端末の制御を行う。
メモリ２０は、ＣＰＵ１０が実行するプログラムやデータを記憶する。
カメラ３０は、表示部５０の表示面と同一の面に設けられ、携帯電話端末のＧＵＩ操作時に映像のキャプチャを行い、撮像した画像をフレーム単位または所定のフレーム毎にメモリ２０へ書き込む。
キー入力部４０は、ユーザによるキーの押下による入力を受け付ける。
表示部５０は、画面上にグラフィックを表示させる表示装置であり、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）等によって実装する。
送受信部６０は、無線によってデータの送受信を行う。
【００１２】
また、ＣＰＵ１０は、メモリ２０が記憶するプログラムを実行することで、画像取得部１１、反転部１２（反転手段）、顔検出部１３（身体検出手段）、代表点抽出部１４（代表点抽出手段）、操作部１５（移動手段）を構成する。
画像取得部１１は、カメラ２０が撮像した画像をメモリ２０から取得する。
反転部１２は、画像取得部１１が取得した画像に対して反転処理を行い、被写体の鏡像となる画像を出力する。
顔検出部１３は、反転部１１が反転させた画像から使用者の顔を検出し、顔領域を抽出する。
代表点抽出部１４は、顔検出部１２が検出した顔領域から代表点を抽出する。なお、代表点は、顔領域の中心点など、顔のパーツの位置によらない点を用いることが望ましい。これにより、代表点抽出時の演算量を削減することができ、さらに誤検出を避けることができる。本実施形態では、代表点として顔領域の中心点を用いるものとする。
操作部１５は、代表点抽出部１３が抽出した代表点の座標に基づいて表示部に表示されるカーソルを移動させる。
【００１３】
図２は、携帯電話端末の外観及び画面例を示す図である。
図２に示すように、カメラ３０と表示部５０とは筐体の同一面上に設けられる。また、キー入力部４０への入力を行うサイドキーは、筐体の側面に設けられる。また、表示部５０には、アイコンとカーソルとが表示され、カーソルがアイコンと重なった状態でキー入力部４０による入力を受け付けることで、ＣＰＵ１０は、アイコンに関連付けられた操作を実行する。
【００１４】
次に、本実施形態による携帯電話端末のＧＵＩ操作時の動作を説明する。
図３は、携帯電話端末のＧＵＩ操作時の動作を示すフローチャートである。
図４は、携帯電話端末のＧＵＩ操作時にＣＰＵが処理する画像を示す図である。
まず、ユーザの操作などにより、携帯電話端末の操作モードがＧＵＩ操作モードに移行すると、カメラ３０は、映像のキャプチャを行い、撮像した画像はフレーム単位または所定のフレーム毎にメモリ２０へ書き込まれる。
カメラ３０が撮像を開始すると、ＣＰＵ１０の画像取得部１１は、カメラ３０によって最後に書き込まれた画像を取得する（ステップＳ１）。なお、図４（Ａ）は、画像取得部１１が取得する画像の例である。
次に、反転部１２は、画像取得部が取得した画像に対して反転処理を行う（ステップＳ２）。このとき、反転部１２は、図４（Ｂ）に示すように、正立した被写体の鏡像を出力する。
【００１５】
ステップＳ２で反転部１２が画像を反転させると、顔検出部１３は、反転部１１が反転させた画像から使用者の顔を検出し、顔領域を抽出する（ステップＳ３）。顔の検出方法としては、例えば、画像内から人間の肌の色相の特徴に当てはまる領域を抽出し、抽出した領域から顔の輪郭に近似する楕円形の領域を顔として検出する方法や、メモリ２０に格納された顔検出用辞書データとの比較を行うことで顔を検出する方法などがある。
【００１６】
ステップＳ３で、顔検出部１３が顔領域を抽出すると、代表点抽出部１４は、顔領域の代表点を抽出する（ステップＳ４）。本実施形態では、顔領域の中心点を代表点とするため、抽出された顔領域に外接する矩形の中心座標を算出することで、代表点の抽出を行う。
次に、操作部１５は、ステップＳ３で反転させた画像のサイズを、表示部５０の画面サイズに対応するサイズになるよう、拡大または縮小を行う（ステップＳ５）。この際、図４（Ｃ）に示すように、ステップＳ４で抽出した代表点の座標も画像サイズの変更に伴って変化する。なお、ここで操作部１５は、画像のサイズを、画像の端部で顔検出を行なった場合にも顔領域の代表点が画面領域内に納まるようなサイズへ変更することが望ましい。
また、カメラ３０が撮像する画像のアスペクト比と表示部５０の画面のアスペクト比とが異なる場合、長手方向と短手方向とをそれぞれ異なる比で拡大または縮小しても良いし、アスペクト比を変えずに拡大または縮小を行っても良い。なお、アスペクト比を変えて拡大または縮小を行うと、代表点の移動距離が移動方向によって変化してしまうため、アスペクト比を変えずに拡大または縮小を行うことが望ましい。
【００１７】
操作部１５は、ステップＳ５で画像のサイズを変更すると、表示部５０の画面上に表示されているカーソルを、サイズ変更後の代表点の座標に移動させる（ステップＳ６）。図４（Ｄ）は、サイズ変更後の代表点の座標にカーソルを移動させたときの表示部５０の画面例である。
次に、キー入力部４０は、筐体の側面に設けられたサイドキーが押下されたか否かを判定する（ステップＳ７）。キー入力部４０が、サイドキーが押下されたと判定した場合（ステップＳ７：ＹＥＳ）、操作部１５は、カーソルと重なっているグラフィックを選択する処理を実行する（ステップＳ８）。このとき、カーソルがアイコンと重なっている場合、ＣＰＵ１０は、アイコンに関連付けられた操作を実行することとなる。
キー入力部４０が、サイドキーが押下されていないと判定した場合（ステップＳ７：ＮＯ）、または操作部１５が選択処理を実行した場合、カメラ３０が撮像した映像の１フレームにおけるカーソルの移動処理を終了し、再度ステップＳ１に戻り、次のフレームにおけるカーソル移動処理を実行する。
【００１８】
このように、本実施形態によれば、カメラ３０が撮像した画像に含まれる顔領域の代表点に基づいてカーソルの移動を行う。これにより、操作部に触れずに、携帯電話端末を動かす（例えば支持する角度を変えるなど）ことでカーソルを操作することができる。
【００１９】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、ポインティング装置を携帯電話端末に実装する場合を説明したが、これに限られず、ＰＣ端末やディスプレイ装置など、他の表示装置に用いても良い。
【００２０】
なお、本実施形態では、代表点抽出部が抽出する代表点として顔領域の中心点を用いる場合を説明したが、これに限られず、例えば顔領域に外接する矩形の左上端や右下端など、他の点を用いても良い。
【００２１】
なお、本実施形態では、操作部１５が画像のサイズを変更させることで代表点の座標を変更する場合を説明したが、これに限られず、例えば代表点の座標に画像サイズの変更倍率を乗算することで画像サイズ変更後の代表点の座標を算出しても良い。
【００２２】
また、本実施形態では、顔検出部１３が抽出した顔領域の代表点を用いてカーソルを操作する場合を説明したが、これに限られず、例えば指や手など、身体の他のパーツを認識し、当該認識したパーツの代表点を用いてカーソルを操作しても良い。
【００２３】
また、本実施形態では、筐体の側面に設置されたサイドキーの押下を検出することで選択処理を行う場合を説明したが、これに限られず、例えば、顔検出部１３が使用者の目を検出し、顔検出部１３が、使用者が目を閉じていると判定した時間が所定の閾値以上となった場合に選択処理を行うようにするなど、他の方法を用いても良い。
【００２４】
上述の携帯電話端末（ポインティング装置）は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００２５】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００２６】
１０…ＣＰＵ  １１…画像取得部  １２…反転部  １３…顔検出部  １４…代表点抽出部  １５…操作部  ２０…メモリ  ３０…カメラ  ４０…キー入力部  ５０…表示部  ６０…送受信部
【図１】
2011053747.tif 000003
【図２】
2011053747.tif 000004
【図３】
2011053747.tif 000005
【図４】
2011053747.tif 000006