(57)【要約】【課題】モニタの視認性の低下が防止されるユーザインターフェイスを提供する。【解決手段】電子機器１００は、カメラ部２と、タッチパネル３と、カメラ部２からの信号を受信する撮像データ受信部４と、カメラによって撮影された画像から色情報または輝度を取得する撮像ユーザインターフェイス（ＵＩ）入力判定部５と、タッチパネル入力判定部６と、撮像ＵＩ入力判定部５からの出力とタッチパネル入力判定部６からの出力とに基づいて表示部１１に表示される画像を制御するＵＩ制御部７と、撮像データ受信部４からの出力とＵＩ制御部７からの出力とに基づいて電子機器１００の動作を制御するシステム制御部８と、データを格納するための記憶部９と、画像の表示を制御する表示制御部１０と、カメラからの画像を表示する表示部１１とを備える。【選択図】図３
2014059739.tif 000002
【特許請求の範囲】
【請求項１】
電子機器であって、
カメラと、
前記カメラからの画像を表示するためのモニタと、
前記電子機器に対する操作を受け付けるための操作スイッチと、
命令を実行するためのプロセッサとを備え、
前記プロセッサは、
前記カメラによって撮影された画像から色情報または輝度を取得し、
当該色情報または輝度に関連付けられた１つ以上の処理を実行するように構成されている、電子機器。
【請求項２】
前記１つ以上の処理は、前記電子機器において実行されるアプリケーションが起動されている時に行なわれる処理である、請求項１に記載の電子機器。
【請求項３】
前記１つ以上の処理は、前記電子機器において実行可能な１つ以上のアプリケーションである、請求項１に記載の電子機器。
【請求項４】
前記取得される色情報は、少なくとも、色相、明度、および彩度の少なくともいずれかを含む、請求項１〜３のいずれかに記載の電子機器。
【請求項５】
前記プロセッサは、前記カメラから出力される画像から取得される色情報または輝度と、前記アプリケーションによって実現される処理とを関連付けるように構成されている、請求項１〜４のいずれかに記載の電子機器。
【請求項６】
前記カメラによる撮影が予め定められた一定時間続いた場合に、前記プロセッサは、前記取得された色情報または輝度に関連付けられた処理を実行するように構成されている、請求項１〜５のいずれかに記載の電子機器。
【請求項７】
前記モニタは、前記色情報または輝度に応じた画像を表示するように構成されており、
前記プロセッサは、前記モニタに表示された画像の色情報または輝度に対応する色情報または輝度を取得すると、前記処理を実行するように構成されている、請求項１〜６のいずれかに記載の電子機器。
【請求項８】
電子機器を制御するための方法であって、前記電子機器は、カメラと、前記カメラからの画像を表示するためのモニタと、前記電子機器に対する操作を受け付けるための操作スイッチと、アプリケーションを実行するためのプロセッサとを備えており、
前記方法は、
前記プロセッサが前記カメラによって撮影された画像から色情報または輝度を取得するステップと、
前記プロセッサが、当該色情報または輝度に関連付けられた１つ以上の処理を実行するステップとを含む、電子機器。
【請求項９】
電子機器を制御するためのプログラムであって、前記電子機器は、カメラと、前記カメラからの画像を表示するためのモニタと、前記電子機器に対する操作を受け付けるための操作スイッチと、アプリケーションを実行するためのプロセッサとを備えており、
前記プログラムは、前記プロセッサに、
前記カメラによって撮影された画像から色情報または輝度を取得するステップと、
当該色情報または輝度に関連付けられた１つ以上の処理を実行するステップとを実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影機能を備える電子機器の制御に関し、より特定的には、撮影によって得られた画像に基づいて、電子機器によって実行されるアプリケーションを制御する技術に関する。
【背景技術】
【０００２】
昨今のスマートフォンやタブレットその他の携帯端末機器を含む電子機器のアプリケーションに採用されているユーザ・インターフェース（ＵＩ）について検討する。たとえば、携帯端末機器のユーザが、アプリと呼ばれるアプリケーションプログラムを使用する場合、ユーザ・インターフェイスの一形態として、タッチパネルが使用される場合が多い。この場合、ユーザは、タッチパネル上の該当場所（たとえば、アイコンボタン）に直接触れるなどの動作を行なうことにより、ユーザが選択した情報を携帯端末機器に通知する。ユーザが選択した情報とは、アイコンボタンに関連付けられている処理の識別情報に相当する。携帯端末機器のプロセッサは、当該識別情報に基づいて次の処理を実行する。
【０００３】
また、従来、カメラから電子機器に対する入力情報を元にして、様々な所定の動作を行う方法やユーザインターフェイスの制御も提案されている。
【０００４】
たとえば、特開２０１０−２３７７６６号公報（特許文献１）は、カメラ撮影画像に対して、ジェスチャー認識を行なう技術を開示している。より具体的には、特許文献１は、「カメラにより撮影されたユーザのジェスチャにより、表示画面上での操作性を向上させることが可能な情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラム」を開示している。当該技術によると、「一実施形態に係る情報処理装置において、カメラを介して画像を取得し、記憶手段に記憶された１つ又は複数の手形状と一致する所定の手形状が、画像内に含まれているか否かを検出し、所定の手形状が、前記カメラにより撮影された前記画像内に含まれていることが検出された場合、所定の手形状の動きに基づいて、コマンドの実行を制御する。そして、カメラにより撮影された所定の手形状が含まれる所定のフレームの間に、画像内の所定の軸において所定の手形状の移動量の絶対値が第１の閾値以上であった場合、コマンドを実行する。」というものである（［要約］参照）。
【０００５】
特開２００８−１３１４０５号公報（特許文献２）は、顔認識等の処理を行い、その結果からシャッターを切る制御を行なう技術を開示している。特許文献２に開示された撮像装置は、「撮像部１２０が撮像した被写体の画像を入力する画像入力部８１０と、その画像から顔を検出する顔検出部２００と、入力された画像における検出された顔の位置を示す顔位置マーカを生成する顔位置マーカ生成部８２０と、入力された画像と生成された顔位置マーカとを重畳する重畳部８３０と、重畳された画像を出力する画像出力部８４０とを具備する撮像装置１００である。なお、顔位置マーカは、矩形状と、楕円形状と、矩形の四隅のみで形成される形状である四隅ポイント形状との何れかの形状を有する。また、入力された画像において顔の周りに顔位置マーカが配置されるように顔位置マーカが生成される。さらに、入力された画像において顔を囲むように顔位置マーカが配置されるように顔位置マーカが生成される。」というものである（［要約］参照）。
【０００６】
特開２００７−１２０５５号公報（特許文献３）は、「カメラ部を用いたユーザーインターフェース実現方法及びこのための移動通信端末機」を開示している。特許文献３に開示された技術によると、「移動通信端末機のカメラ部をアクティブにした状態において、ユーザーが所定のモーションを取ると、移動通信端末機は、ユーザーのモーションを認識し、そのモーションをパターン化してモーションパターンに応じる所定の動作を行う。このとき、モーションパターンに応じて行われる動作は、マウスモード時にはマウス制御に該当し、ゲームモード時にはゲーム制御に該当し、文字入力モード時には文字の入力に該当する。」というものである（［要約］参照）。
【０００７】
特開２００８−２２５８８７号公報（特許文献４）は、「画像中の対象毎に撮影環境光源色等の影響を除去した色情報のもとにメタ情報生成し、ユーザの要求に合致する画像を検索する」ための技術を開示している。特許文献４に開示された画像検索システムは、「画像を蓄積する画像蓄積装置３と、蓄積された画像に対して、画像中に存在する対象を認識し、その対象から撮影環境光源の影響を除去し、標準光源下の色情報に変換し、メタ情報を生成するメタ情報生成装置４と、この生成されたメタ情報を蓄積するメタ情報蓄積装置５と、対話形式を取りつつ一意に認識可能な色情報を指定入力する画像検索UI装置６と、指定入力される色情報を、前記メタ情報蓄積装置５に蓄積される色の表現方法に準じた色情報に変換し、メタ情報蓄積装置５から前記変換された色情報に近似するメタ情報に基づき、前記画像蓄積装置３から画像を検索する画像検索装置７と」を備える（［要約参照］）。
【０００８】
特開２００４−１８０１１４号公報（特許文献５）は、「人物の顔や肌の色などを自然な色合いに補正するための処理を簡単な処理で、且つ、効果的に行うことができる顔色補正方法及び顔色補正装置及び撮像機器」を開示している。当該補正装置は、「ホワイトバランスの調整を施したカラー画像信号を色の明度情報・彩度情報・色相情報によって定められた所定の均等色空間に基づいた色情報信号に変換する色空間変換手段と、色空間変換手段で変換した色情報信号から所定の肌色情報に相当する色情報信号のみを検出する肌色情報検出手段と、肌色情報検出手段で検出した所定の肌色情報に相当する色情報信号から人物の顔面領域に相当する色情報信号を抽出する顔面領域抽出手段と、顔面領域抽出手段で抽出した顔面領域に相当する色情報信号と均等色空間に基づいて定めた基準肌色情報とを比較し、顔面領域に相当する色情報信号の色相を補正するための色相補正値を算出する補正値算出手段と、補正値算出手段で算出した色相補正値に基づいて、色空間変換手段で変換した色情報信号の色相を補正する色相補正手段とを備える。」というものである（［要約］参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２３７７６６号公報
【特許文献２】特開２００８−１３１４０５号公報
【特許文献３】特開２００７−１２０５５号公報
【特許文献４】特開２００８−２２５８８７号公報
【特許文献５】特開２００４−１８０１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
タッチパネル式のユーザインターフェイスは、たとえば、ユーザの操作中、指などで画面の一部が隠れるという点、あるいは、画面自体に指紋などが付き画質品位が多少劣化する恐れがある点等、ユーザの視認性が低下する恐れがある。
【００１１】
また、カメラからの入力情報を使用した、ジェスチャの認識や、顔認識等の技術を実現するためには、画像処理プロセッサをはじめとする専用のハードウェアやソフトウェアによる処理が必要であり、電子機器に導入するためには、追加のコストが必要になる場合もある。
【００１２】
したがって、ユーザの視認性を低下することのないユーザインターフェイスが必要とされている。また、ハードウェアやソフトウェアを追加することなくカメラからの入力情報を用いる技術も必要とされている。
【００１３】
本発明は、上述のような問題点を解決するためになされたものであって、ある局面における目的は、ユーザの視認性を低下することのない電子機器を提供することである。他の局面における目的は、ハードウェアやソフトウェアを追加することなくカメラからの入力情報を用いることができる電子機器を提供することである。
【００１４】
他の局面における目的は、ユーザの視認性が低下しないように電子機器を制御するための方法を提供することである。他の局面における目的は、ハードウェアやソフトウェアを追加することなくカメラからの入力情報を用いることができるように電子機器を制御するための方法を提供することである。
【００１５】
さらに他の局面における目的は、ユーザの視認性が低下しないように電子機器を制御するためのプログラムを提供することである。他の局面における目的は、ハードウェアやソフトウェアを追加することなくカメラからの入力情報を用いることができるように電子機器を制御するためのプログラムを提供することである。
【課題を解決するための手段】
【００１６】
一実施の形態に従う電子機器は、カメラと、カメラからの画像を表示するためのモニタと、電子機器に対する操作を受け付けるための操作スイッチと、命令を実行するためのプロセッサとを備える。プロセッサは、カメラによって撮影された画像から色情報または輝度を取得し、当該色情報または輝度に関連付けられた１つ以上の処理を実行するように構成されている。
【００１７】
好ましくは、１つ以上の処理は、電子機器において実行されるアプリケーションが起動されている時に行なわれる処理である。
【００１８】
好ましくは、１つ以上の処理は、電子機器において実行可能な１つ以上のアプリケーションである。
【００１９】
好ましくは、取得される色情報は、少なくとも、色相、明度、および彩度の少なくともいずれかを含む。
【００２０】
好ましくは、プロセッサは、カメラから出力される画像から取得される色情報または輝度と、アプリケーションによって実現される処理とを関連付けるように構成されている。
【００２１】
好ましくは、カメラによる撮影が予め定められた一定時間続いた場合に、プロセッサは、取得された色情報または輝度に関連付けられた処理を実行するように構成されている。
【００２２】
好ましくは、モニタは、色情報または輝度に応じた画像を表示するように構成されている。プロセッサは、モニタに表示された画像の色情報または輝度に対応する色情報または輝度を取得すると、処理を実行するように構成されている。
【００２３】
他の実施の形態に従うと、電子機器を制御するための方法が提供される。電子機器は、カメラと、カメラからの画像を表示するためのモニタと、電子機器に対する操作を受け付けるための操作スイッチと、アプリケーションを実行するためのプロセッサとを備えている。この方法は、プロセッサが、カメラによって撮影された画像から色情報または輝度を取得するステップと、プロセッサが、当該色情報または輝度に関連付けられた１つ以上の処理を実行するステップとを含む。
【００２４】
さらに他の実施の形態に従うと、電子機器を制御するためのプログラムが提供される。電子機器は、カメラと、カメラからの画像を表示するためのモニタと、電子機器に対する操作を受け付けるための操作スイッチと、アプリケーションを実行するためのプロセッサとを備える。プログラムは、プロセッサに、カメラによって撮影された画像から色情報または輝度を取得するステップと、当該色情報または輝度に関連付けられた１つ以上の処理を実行するステップとを実行させる。
【００２５】
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００２６】
【図１】ユーザ１１０が電子機器１００を使用している状態を表わす図である。
【図２】モニタ３５に表示される画面を表わす図である。
【図３】電子機器１００によって実現される機能の構成を表わすブロック図である。
【図４】撮像ＵＩ入力判定部５の詳細の構成を表わすブロック図である。
【図５】電子機器１００が実行する一連の動作の一部を表わすフローチャートである。
【図６】電子機器１００のハードウェア構成を表わすブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００２８】
最初に、本実施の形態に係る電子機器に適用される技術思想について説明する。当該電子機器に用いられるユーザインターフェイスが適用されるアプリケーションは、ユーザの選択を、当該電子機器に通知する手段として、選択ボタンなどで構成される。選択ボタンは、ジョグダイヤル、テンキー、トグルスイッチその他のハードスイッチまたはモニタに表示されるソフトスイッチとして実現される。本実施の形態において、電子機器は、携帯電話機、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）、タブレット端末、玩具その他の機器であって、少なくとも撮影機能を有する電子機器である。
【００２９】
本実施の形態において、選択ボタンは、たとえば、４択であれば、赤、青、白、黒など、日常生活上、比較的身の回りにある色によって、区別されることが好ましい。４択とは、たとえば、ある局面において、アプリケーションを実行する場合に規定されている４つの動作モードのうちからいずれかのモードを選択することである。あるいは、他の局面において、待ち受け状態その他の状態であってアプリケーションが起動されていない状態において、その状態から起動可能な４つのアプリケーションから一つのアプリケーションを選択することも含む。
【００３０】
電子機器のユーザは、カメラを動作させ、撮像情報を電子機器に入力する。電子機器のプロセッサは、カメラから入力された撮像情報に基づいて、被写体が単純に全体的に青い、赤い、明るい、暗いぐらいの情報を判断する。このときの判断として、電子機器は、たとえば、撮像された画像の一フレームを、電子機器のワークメモリに取り込んで、各色のヒストグラムを導出する。しかしながら、判断の処理方法は、これに限られない。
【００３１】
ユーザは、操作するべき選択ボタンを決定するとき、たとえば、白ボタンを選択する場会、カメラを白い紙などに向けて接写する。他の局面においてユーザが赤を選択したいのであれば、赤い物体に対してカメラを向けて接写する。本実施の形態において、接写とは、カメラが有するいわゆるシャッター機能を用いた撮像取り込み動作に限られず、一定時間カメラを対象に向け、電子機器に撮像情報を取り込み続けることも含み得る。
【００３２】
また、アプリケーションに関連付けられる選択ボタンの色も、電子機器またはアプリケーションの製造事業者によって予め定められたものだけでなく、ユーザがカメラを用いて当該色を含む被写体を接写して撮像情報を取り込み、当該撮像上に含まれる色情報（色彩、明度、彩度）または輝度とアプリケーションとを関連付けることによって、ユーザ定義が可能な構成であってもよい。
【００３３】
なお、電子機器の入力装置として、カメラ以外の装置、たとえば、色の識別ができない輝度を計測するための照度センサが用いられる場合であっても、本実施の形態に係る電子機器は、選択のために用いられる撮像情報に代わる入力情報として、黒、グレー、白等の区別を用いることで、当該技術思想に係るユーザインターフェイスを実現することができる。
【００３４】
［使用態様］
図１を参照して、本実施の形態に係る電子機器１００の使用態様について説明する。図１は、ユーザ１１０が電子機器１００を使用している状態を表わす図である。
【００３５】
たとえば、ある局面において、電子機器１００は、カメラその他の撮影機能または輝度センサを有する。ユーザ１１０は、電子機器１００を持ちながら、赤色の領域１２０、青色の領域１２１、白色の領域１２２、灰色の領域１２３のいずれかに向かって撮影しようとしている。電子機器１００は、さらに、モニタ３５を備える。モニタ３５は、カメラからの画像を表示し、または、電子機器１００が実行するアプリケーションに対する命令に関連付けられた色の画像を表示する。
【００３６】
たとえば、ユーザ１１０が電子機器１００を赤色の領域１２０に向けて撮影を行なうと、電子機器１００は、赤色の画像を取り込む。電子機器１００は、赤色の画像を取り込んだことに基づいて、赤色に関連付けられた指示が選択されたと判断し、その判断の結果に基づいて、アプリケーションを実行する。すなわち、領域１２０，１２１，１２２，１２３の各色は、電子機器１００において行なわれるアプリケーションが次に実行する処理に対する命令を与えるトリガとなる。
【００３７】
ここで、領域１２０，１２１，１２２，１２３は、たとえば、赤色の紙、青色の紙、白色の紙、灰色の紙であるが、領域の色は、紙の色に限られず、電子機器１００が有するカメラ機能が認識可能な対象物の色であればよい。
【００３８】
［画面の表示態様］
図２を参照して、本実施の形態に係る電子機器１００における画面の表示態様について説明する。図２は、モニタ３５に表示される画面を表わす図である。
【００３９】
ある局面において、モニタ３５は、アプリケーションの実行中に、メッセージ２１０を表示する。メッセージ２１０は、たとえば「選択して下さい」のように電子機器１００のユーザに対する操作を促すメッセージを含む。モニタ３５は、さらに、アイコン２２０，２２１，２２２，２２３を表示する。アイコン２２０は、たとえば赤色の画像である。アイコン２２１は、青色の画像である。アイコン２２２は、白色の画像である。アイコン２２３は、灰色の画像である。
【００４０】
アイコン内の数字は、処理またはアプリケーションを表わす。たとえば、アプリケーションが電子機器１００において起動されている時、アイコン２２０は、たとえば、処理（１）に関連付けられている。アイコン２２１は、処理（２）に関連付けられている。アイコン２２２は、処理（３）に関連付けられている。アイコン２２３は、処理（４）に関連付けられている。
【００４１】
他方、電子機器１００の動作モードがたとえば待ち受け状態であるとき、アイコン２２０は、アプリケーション（１）に関連付けられている。アイコン２２１は、アプリケーション（２）に関連付けられている。アイコン２２２は、アプリケーション（３）に関連付けられている。アイコン２２３は、アプリケーション（４）に関連付けられている。
【００４２】
ある局面において、電子機器１００がユーザによって選択されたアプリケーションの実行を指示すると、モニタ３５は、メッセージ２１０を表示する。ユーザが当該アプリケーションの処理を続けるためには、アイコン２２０，２２１，２２２，２２３のいずれかを選択する必要がある。具体的には、当該アプリケーションが４つの処理を有する場合に、いずれの処理を実行するかの命令を電子機器１００に与えるために、ユーザは、アイコン２２０，２２１，２２２，２２３のいずれかを選択する必要がある。
【００４３】
電子機器１００のモニタ３５がタッチパネル式であれば、ユーザは、アイコン２２０，２２１，２２２，２２３のいずれかをタッチ操作することにより選択の指示を入力することができる。
【００４４】
しかしながら、本実施の形態における電子機器１００は、タッチパネルを有さなくてもユーザは指示を与えることができる。具体的には、ユーザは、被写体としての領域１２０，１２１，１２２，１２３のいずれかにカメラを向けて、いずれかの領域を撮影する。たとえば、ユーザは、赤色のアイコン２２０を選択しようとするときは、電子機器１００を赤色の被写体（たとえば図１に示される領域１２０）に向けて撮影を開始する。電子機器１００が赤色の画像を取り込むと、電子機器１００は、アイコン２２０を選択する指示が与えられたと判断し、その判断の結果に基づいて、当該アプリケーションの実行を継続するための処理としてアイコン２２０に関連付けられている処理を実行する。
【００４５】
［機能構成］
図３を参照して、本実施の形態に係る電子機器１００の構成について説明する。図３は、電子機器１００によって実現される機能の構成を表わすブロック図である。
【００４６】
図３に示されるように、ある局面において、電子機器１００は、カメラ部２と、タッチパネル３と、撮像データ受信部４と、撮像ユーザインターフェイス（ＵＩ）入力判定部５と、タッチパネル入力判定部６と、ＵＩ制御部７と、システム制御部８と、記憶部９と、表示制御部１０と、表示部１１とを備える。
【００４７】
カメラ部２は、撮像手段として、電子機器１００による撮影を実現し、撮像情報を取得するする。カメラ部２からの出力（撮像情報）は、撮像データ受信部４に入力される。
【００４８】
タッチパネル３は、電子機器１００に対する命令の入力を受け付ける。タッチパネル３に対する操作に応じた信号は、タッチパネル入力判定部６に入力される。
【００４９】
撮像データ受信部４は、カメラ部２から送られる画像を受信する。受信される画像は、静止画像または動画像のいずれをも含み得る。撮像データ受信部４からの出力は、撮像ＵＩ入力判定部５とシステム制御部８とにそれぞれ入力される。
【００５０】
撮像ＵＩ入力判定部５は、撮像データ受信部４から送られる画像データに基づいて撮影された画像の色に応じた入力の指示を判定する。撮像ＵＩ入力判定部５の構成の詳細は、後述する。撮像ＵＩ入力判定部５の出力は、ＵＩ制御部７に入力される。
【００５１】
タッチパネル入力判定部６は、タッチパネル３からの出力に基づいて、タッチパネルに対する操作が有効であるか否かを判定し、有効である場合に当該タッチ操作に応じた次の命令を出力する。タッチパネル入力判定部６から出力される信号は、ＵＩ制御部７に入力される。
【００５２】
ＵＩ制御部７は、撮像ＵＩ入力判定部５からの出力と、タッチパネル入力判定部６からの出力とに基づいて、表示部１１に表示される画像を制御する。ＵＩ制御部７の出力は、システム制御部８に入力される。
【００５３】
システム制御部８は、撮像データ受信部４からの出力と、ＵＩ制御部７からの出力とに基づいて、電子機器１００の動作を制御する。システム制御部８の出力は、表示制御部１０に入力される。また、システム制御部８は、電子機器１００の動作を制御するためのデータあるいは電子機器１００に取り込まれたデータを記憶部９に格納する。
【００５４】
記憶部９は、システム制御部８からのデータまたは表示制御部１０からのデータを保持する。たとえば、記憶部９は、カメラ部２によって撮像された画像のデータを格納する。他の局面において、記憶部９は、予め規定された動作を電子機器１００に実行させるためのプログラムを保持している。また、記憶部９は、電子機器１００の設定情報としてユーザによって入力されたデータを保持する。さらに他の局面において、記憶部９は、電子機器１００が表示部１１に表示するための画像のデータを保持する。
【００５５】
表示制御部１０は、システム制御部８からの出力と、記憶部９に格納されているデータとに基づいて、表示部１１における画像の表示を制御する。たとえば、表示制御部１０は、表示部１１に表示させる画面を生成し、たとえば図２に示されるように、メッセージ２１０、アイコン２２０，２２１，２２２，２２３を表示する。ある局面において、アイコン２２０，２２１，２２２，２２３は、電子機器１００において起動されているアプリケーションに含まれる各処理にそれぞれ関連付けられている。あるいは、他の局面において、アイコン２２０，２２１，２２２，２２３は、電子機器１００がこれから起動し得る４つのアプリケーションの各々に関連付けられ得る。
【００５６】
表示部１１は、表示制御部１０からの出力に基づいて、メッセージ２１０、アイコン２２０，２２１，２２２，２２３等を表示する。
【００５７】
図４を参照して、本実施の形態に係る電子機器１００の構成についてさらに説明する。図４は、撮像ＵＩ入力判定部５の詳細の構成を表わすブロック図である。
【００５８】
電子機器１００は、カメラ部２と、撮像データ受信部４と、撮像ＵＩ入力判定部５と、ＵＩ制御部７とを備える。撮像ＵＩ入力判定部５は、ヒストグラム部５１と、各画像色足し算回路５２と、画像ＵＩ入力判定回路５３とを含む。
【００５９】
ヒストグラム部５１は、カメラ部２によって撮影された画像から各色の量を示す情報を抽出し、当該情報を保持する。各色の量を示す情報とは、たとえば、撮像された画像の各画素ごとのＲＧＢその他の色情報（色相、明度、彩度）を積算し、当該画像の全体で最も多い色情報である。たとえば、ヒストグラム部５１は、１フレームの積算値として各色のデータ量を保持する。ヒストグラム部５１の出力は、各画像色足し算回路５２に入力される。
【００６０】
各画像色足し算回路５２は、ヒストグラム部５１に保持されているＲＧＢその他の色情報として、ヒストグラムから撮影された画像にはどの色成分が多かったかを判断する積算回路として機能する。各画像色足し算回路５２の出力は、たとえば各色の出現数の総積算値として、画像ＵＩ入力判定回路５３に入力される。
【００６１】
画像ＵＩ入力判定回路５３は、各画像色足し算回路５２からの出力（上記の総積算値）に基づいて、電子機器１００のユーザが入力したい色を特定し、その特定の結果をＵＩ制御部７に出力する。たとえば、画像ＵＩ入力判定回路５３は、積算値のうち最大の値となる色をユーザによって選択された色として特定する。他の局面において、積算値が同等であるような複数の色が検出された場合には、画像ＵＩ入力判定回路５３は、たとえばカメラ部２を用いて再度撮影するようなメッセージをモニタ３５に表示させてもよい。
【００６２】
［制御構造］
図５を参照して、本実施の形態に係る電子機器１００の制御構造について説明する。図５は、電子機器１００が実行する一連の動作の一部を表わすフローチャートである。
【００６３】
ステップＳ５１０にて、カメラ部２は、映像入力を開始する。制御は、ステップＳ５２０に移される。
【００６４】
ステップＳ５２０にて、撮像ＵＩ入力判定部５は、カメラ部２の映像の取り込みが完了したか否かを判断する。この判断は、たとえば、撮像データ受信部４から撮像ＵＩ入力判定部５に送られるデータが撮影の終了を示すデータを含んでいるか否かに基づいて、あるいは、撮像のために予め規定された時間が経過したか否かに基づいて行なわれる。撮像ＵＩ入力判定部５は、映像の取り込みが完了したと判断すると（ステップＳ５２０にてＹＥＳ）、制御をステップＳ５３０に切り換える。そうでない場合には（ステップＳ５２０にてＮＯ）、撮像ＵＩ入力判定部５は、制御をステップＳ５２０に戻し、撮像データ受信部４からの入力を受け付ける。
【００６５】
ステップＳ５３０にて、撮像ＵＩ入力判定部５は、１フレームの入力中一番多かった色成分を特定する。より具体的には、画像ＵＩ入力判定回路５３は、各色の出現数の総積算値に基づいて総積算値のうちの最大値をもたらす色を特定する。制御は、ステップＳ５４０に移される。
【００６６】
ステップＳ５４０にて、ＵＩ制御部７は、撮像ＵＩ入力判定部５からの出力に基づいて、ステップＳ５３０において特定された色をユーザの入力情報として電子機器１００が実行しているアプリケーションを制御する。その後、制御は終了する。
【００６７】
［ハードウェア構成］
図６を参照して、本実施の形態に係る電子機器１００の構成についてさらに説明する。図６は、電子機器１００のハードウェア構成を表わすブロック図である。
【００６８】
電子機器１００は、ＣＰＵ２０と、アンテナ２３と、通信装置２４と、操作スイッチ２５と、カメラ２６と、フラッシュメモリ２７と、ＲＡＭ（Random  Access  Memory）２８と、ＲＯＭ（Read  Only  Memory）２９と、メモリカード駆動装置３０と、マイク３２と、スピーカ３３と、音声信号処理回路３４と、モニタ３５と、ＬＥＤ（Light  Emitting  Diode）３６と、データ通信Ｉ／Ｆ３７と、バイブレータ３８と、加速度センサ３９とを備える。メモリカード駆動装置３０には、メモリカード３１が装着され得る。
【００６９】
アンテナ２３は、基地局によって発信される信号を受信し、または、基地局を介して他の通信装置と通信するための信号を送信する。アンテナ２３によって受信された信号は、通信装置２４によってフロントエンド処理が行なわれた後、処理後の信号は、ＣＰＵ２０に送られる。
【００７０】
操作スイッチ２５は、電子機器１００に対する操作を受け付ける。操作スイッチ２５は、たとえば、ハードキー、ソフトキーとして実現される。操作スイッチ２５は、操作を受け付けると、その時の電子機器１００の動作モードに応じた信号をＣＰＵ２０に送出する。
【００７１】
ＣＰＵ２０は、電子機器１００に対して与えられる命令に基づいて電子機器１００の動作を制御するための処理を実行する。電子機器１００が信号を受信すると、ＣＰＵ２０は、通信装置２４から送られた信号に基づいて予め規定された処理を実行し、処理後の信号を音声信号処理回路３４に送出する。音声信号処理回路３４は、その信号に対して予め規定された信号処理を実行し、処理後の信号をスピーカ３３に送出する。スピーカ３３は、その信号に基づいて音声を出力する。
【００７２】
マイク３２は、電子機器１００に対する発話を受け付けて、発話された音声に対応する信号を音声信号処理回路３４に対して送出する。音声信号処理回路３４は、その信号に基づいて通話のために予め規定された処理を実行し、処理後の信号をＣＰＵ２０に対して送出する。ＣＰＵ２０は、その信号を送信用のデータに変換し、変換後のデータを通信装置２４に対して送出する。通信装置２４は、そのデータを用いて送信用の信号を生成し、アンテナ２３に向けてその信号を送出する。
【００７３】
フラッシュメモリ２７は、ＣＰＵ２０から送られるデータを格納する。また、ＣＰＵ２０は、フラッシュメモリ２７に格納されているデータを読み出し、そのデータを用いて予め規定された処理を実行する。
【００７４】
ＲＡＭ２８は、操作スイッチ２５に対して行なわれた操作に基づいてＣＰＵ２０によって生成されるデータを一時的に保持する。ＲＯＭ２９は、電子機器１００に予め定められた動作を実行させるためのプログラムあるいはデータを格納している。ＣＰＵ２０は、ＲＯＭ２９から当該プログラムまたはデータを読み出し、電子機器１００の動作を制御する。
【００７５】
メモリカード駆動装置３０は、メモリカード３１に格納されているデータを読み出し、ＣＰＵ２０に送出する。メモリカード駆動装置３０は、ＣＰＵ２０によって出力されるデータを、メモリカード３１の空き領域に書き込む。
【００７６】
音声信号処理回路３４は、上述のような通話のための信号処理を実行する。なお、図２に示される例では、ＣＰＵ２０と音声信号処理回路３４とが別個の構成として示されているが、他の局面において、ＣＰＵ２０と音声信号処理回路３４とが一体として構成されていてもよい。
【００７７】
モニタ３５は、タッチパネル式のディスプレイであるが、タッチパネルの機構は特に限られない。モニタ３５は、ＣＰＵ２０から取得されるデータに基づいて、当該データによって規定される画像を表示する。たとえば、フラッシュメモリ２７が格納している静止画、動画、音楽ファイルの属性（当該ファイルの名前、演奏者、演奏時間など）を表示する。静止画は、描画された画像、デフォルトで電子機器１００の製造事業者によって予め準備された画像を含む。
【００７８】
ＬＥＤ３６は、ＣＰＵ２０からの信号に基づいて、予め定められた発光動作を実現する。データ通信Ｉ／Ｆ３７は、データ通信用のケーブルの装着を受け付ける。
【００７９】
データ通信Ｉ／Ｆ３７は、ＣＰＵ２０から出力される信号を当該ケーブルに対して送出する。あるいは、データ通信Ｉ／Ｆ３７は、当該ケーブルを介して受信されるデータを、ＣＰＵ２０に対して送出する。
【００８０】
バイブレータ３８は、ＣＰＵ２０から出力される信号に基づいて、予め定められた周波数で発振動作を実行する。
【００８１】
加速度センサ３９は、電子機器１００に作用する加速度の方向を検出する。検出結果は、ＣＰＵ２０に入力される。
【００８２】
（実現される機能）
ある局面において、ＣＰＵ２０は、カメラ２６によって撮影された画像から色情報または輝度を取得し、当該色情報または輝度に関連付けられた１つ以上の処理を実行するように構成されている。
【００８３】
好ましくは、１つ以上の処理は、電子機器において実行されるアプリケーションが起動されている時に行なわれる処理である。より詳しくは、当該１つ以上の処理は、たとえば、アプリケーションを構成する複数のモジュールプログラムである。電子機器１００のユーザは、いずれかのモジュールプログラムの実行を選択することができる。
【００８４】
好ましくは、１つ以上の処理は、電子機器において実行可能な１つ以上のアプリケーションである。たとえば、ユーザは、電子機器１００の動作モード（待ち受け状態、インターネット閲覧、メール、ゲーム等）に応じて、次の処理を選択できる。たとえば、電子機器１００が待ち受け状態である場合には、ユーザは、その次の動作として、カメラ２６起動、音楽再生、ラジオ視聴、オフィスツールの起動等の各アプリケーションを選択することができる。ユーザは、各アプリケーションに関連付けられた色情報を電子機器１００に取り込むことにより、当該アプリケーションの実行をＣＰＵ２０に命令することができる。
【００８５】
好ましくは、取得される色情報は、少なくとも、色相、明度、および彩度の少なくともいずれかを含む。ユーザが電子機器１００に対する命令の態様は、色の取得に限られず、色相、明度、および彩度のいずれであってもよい。
【００８６】
好ましくは、ＣＰＵ２０は、カメラ２６から出力される画像から取得される色情報または輝度と、アプリケーションによって実現される処理とを関連付けるように構成されている。
【００８７】
好ましくは、カメラ２６による撮影が予め定められた一定時間続いた場合に、ＣＰＵ２０は、取得された色情報または輝度に関連付けられた処理を実行するように構成されている。
【００８８】
好ましくは、モニタ３５は、色情報または輝度に応じた画像を表示するように構成されている。ＣＰＵ２０は、モニタ３５に表示された画像の色情報または輝度に対応する色情報または輝度を取得すると、処理を実行するように構成されている。
【００８９】
以上のようにして、本実施の形態に係る電子機器１００は、実行するアプリケーション、モジュールプログラムその他の処理に対する命令として、カメラ２６その他の入力装置によって電子機器１００に取り込まれた色情報または輝度に基づいて当該処理を実行する。このようにすると、電子機器１００のユーザは、たとえば、タッチパネル式のモニタ３５に対する操作を行なうことなく当該処理の実行を命令できる。したがって、モニタ３５による表示が妨げられにくくなるため、操作性の低下が防止され得る。
【００９０】
本実施の形態に係る電子機器１００によれば、ジェスチャー認識や顔認識機能を実現するための、専用なハードウェア、ソフトウェアを用いることなく、電子機器１００に備えられているカメラ２６からの入力情報をユーザインターフェースとして利用することで、カメラ２６の応用範囲を拡大することができる。その結果、電子機器１００のユーザの使用便宜を向上することができる。
【００９１】
また、ユーザによるタッチパネルの操作等が不要になることから、モニタ３５における表示画面の視認性の低下が防止される。
【００９２】
また、本実施の形態に係るユーザインターフェイスは、高価なカメラを必要とせず、汎用の撮影モジュールとしての低廉なカメラ２６や既存のプロセッサを用いて実現することができるので、高い機能を持つスマートフォン等だけでなく、廉価な玩具類にも適用できる。
【００９３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９４】
２  カメラ部、３  タッチパネル、４  撮像データ受信部、５  入力判定部、６  タッチパネル入力判定部、７  制御部、８  システム制御部、９  記憶部、１０  表示制御部、１１  表示部、２０  ＣＰＵ、２３  アンテナ、２４  通信装置、２５  操作スイッチ、２６  カメラ、２７  フラッシュメモリ、２８  ＲＡＭ、２９  ＲＯＭ、３０  メモリカード駆動装置、３１  メモリカード、３２  マイク、３３  スピーカ、３４  音声信号処理回路、３５  モニタ、３７  データ通信インターフェイス、３８  バイブレータ、３９  加速度センサ、５１  ヒストグラム部、５２  画像色足し算回路、５３  画像ＵＩ入力判定回路、１００  電子機器、１１０  ユーザ、１２０，１２１，１２２，１２３  領域、２１０  メッセージ、２２０，２２１，２２２，２２３  アイコン。
【図１】
2014059739.tif 000003
【図２】
2014059739.tif 000004
【図３】
2014059739.tif 000005
【図４】
2014059739.tif 000006
【図５】
2014059739.tif 000007
【図６】
2014059739.tif 000008