(57)【要約】【課題】スマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等の電子機器の文字入力や機器操作を行うユーザインターフェースはキーボードに不慣れな人、高齢者や子供等には操作方法が難しいという課題があります。また、スマートフォンのように大きさの小さい電子機器ではソフトウエアキーボードのボタンサイズが小さいため操作し難いという課題があります。【解決手段】ユーザインターフェースを簡単にし、スマートフォンのように大きさの小さい電子機器でも操作性を向上させるため、電子機器に接続されたカメラにより口の形や指の移動方向を画像解析し、文字入力・機器操作を行うユニバーサルユーザインターフェースを可能とします。【選択図】図１
2014236505.tif 000002
【特許請求の範囲】
【請求項１】
カメラを内蔵あるいは外付け可能なスマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等（以下、電子機器）で、カメラから撮影した人間の口の形を画像解析し、ひらがな・アルファベット・数字等の文字入力を１文字単位で行い、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
【請求項２】
請求項１の電子機器においてカメラから撮影した人間の口の形を画像解析し、文字入力を単語単位で行い、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
【請求項３】
請求項１の電子機器において、カメラから撮影した人間の口の形を画像解析し、操作命令入力（上下左右・音量増減・チャンネル入力等）を命令単位で行うことを特徴としたシステム。
【請求項４】
請求項１の電子機器において、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を認識し、電子機器のソフトウエアキーボードシステムと連動することを特徴としたシステム。
【請求項５】
請求項１の電子機器において、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析し、電子機器の操作命令入力と連動することを特徴としたシステム。
【請求項６】
請求項１の電子機器において、カメラから撮影した物体（棒等）の移動方向を画像解析し、電子機器のソフトウエアキーボードシステムと連動することを特徴としたシステム。
【請求項７】
請求項１の電子機器において、カメラから撮影した物体（棒等）の移動方向を画像解析し、電子機器の操作命令入力と連動することを特徴としたシステム。
【請求項８】
請求項１の電子機器において、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析し、非接触で電子機器のクリック・スクロール・タップ・フリック入力等を可能とすることを特徴としたシステム。
【請求項９】
請求項１の電子機器において、カメラから撮影した物体（棒等）の移動方向を画像解析し、電子機器のクリック・スクロール・タップ・フリック入力等を可能とすることを特徴としたシステム。
【請求項１０】
請求項１の電子機器において、カメラから撮影した手話を画像解析し、電子機器のソフトウェアキーボードシステムと連動することを特徴としたシステム。
【請求項１１】
マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、ソフトウェアキーボードシステムと連動することを特徴としたシステム。
【請求項１２】
請求項１１の電子機器において、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
【請求項１３】
請求項１１の電子機器において、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、操作命令入力（上下左右・音量増減・チャンネル入力等）を命令単位で行うことを特徴としたシステム。
【請求項１４】
カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、ソフトウエアキーボードシステムと連動することを特徴としたシステム。
【請求項１５】
請求項１４の電子機器において、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声を解析し、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を単語単位で解析し、操作命令入力（上下左右・音量増減・チャンネル入力等）を命令単位で行うことを特徴としたシステム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、スマートフォン・タブレット端末・パソコン・テレビ・ビデオ等（以下、電子機器）において人間の操作を必要とするユーザインターフェース技術に関する。
【背景技術】
【０００２】  従来、電子機器のユーザインターフェースはキー入力・タッチ入力・音声入力・リモコン入力等が使用されて来た。【０００３】  キー入力に関してはスマートフォン用のソフトウエアキーボードは物理的にキーが小さいため操作しにくい、タブレットやパソコンではキーボード操作に慣れるまでに時間がかかる。テレビ等家電品の入力ではリモコンでの操作に時間かかるという背景がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】  以上に述べた従来のユーザインターフェースではスマートフォンではキーが小さく指で操作が難しい、タブレット端末やパソコンでは子供や高齢者等キーボードに慣れていない人には操作が難しい、障害者には操作できないというものであった。
【課題を解決するための手段】
【０００５】  カメラを内蔵あるいは外付け可能なスマートフォン・タブレット端末・携帯電話・電子辞書・電子手帳・携帯情報端末・パソコン・テレビ・ビデオ・ゲーム機・家電品・カーナビ等（以下、電子機器）で、カメラから撮影した人間の口の形を画像解析エンジンで解析し、ひらがな・アルファベット・数字等の文字入力を１文字単位で認識し、ソフトウエアキーボードの入力とする操作を可能にしたものである。【０００６】  第２の手段として、カメラから撮影した人間の口の形を画像解析エンジンで解析し、文字入力を単語単位で行い、ソフトウエアキーボードシステム入力とする操作を可能にしたものである。【０００７】  第３の手段として、カメラから撮影した人間の口の形を画像解析エンジンで解析し、文字入力を単語単位（上下左右・音量増減・チャンネル入力等）で認識し、電子機器の操作入力を可能にしたものである。【０００８】  第４の手段として、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。【０００９】  第５の手段として、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析エンジンで認識し、電子機器の操作命令入力（上下左右・音量増減・チャンネル入力等）とする操作を可能にしたものである。【００１０】  第６の手段として、カメラから撮影した物体（棒等）の移動方向を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。【００１１】  第７の手段として、カメラから撮影した物体（棒等）の移動方向を画像解析エンジンで認識し、電子機器の操作命令入力（上下左右・音量増減・チャンネル入力等）とする操作を可能にしたものである。【００１２】  第８の手段として、カメラから撮影した人間の体（指・目・頭・足等）の移動方向を画像解析エンジンで認識し、電子機器のクリック、タップ、フリック入力とする操作を可能にしたものである。【００１３】  第９の手段として、カメラから撮影した物体（棒等）の移動方向を画像解析エンジンで認識し、電子機器のクリック、タップ、フリック入力とする操作を可能にしたものである。【００１４】第１０の手段として、カメラから撮影した手話を画像解析エンジンで認識し、電子機器のソフトウエアキーボードシステム入力とする操作を可能にしたものである。【００１５】  第１１の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。【００１６】  第１２の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。【００１７】  第１３の手段として、マイクを内蔵あるいは外付け可能な電子機器で、マイクから入力した人間の音声をひらがな・アルファベット・数字等の文字入力を単語単位で解析し、電子機器の操作命令入力（上下左右・音量増減・チャンネル入力等）とする操作を可能にしたものである。【００１８】  第１４の手段として、カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、ソフトウエアキーボードの入力とする操作を可能にしたものである。【００１９】  第１５の手段として、カメラを内蔵あるいは外付け可能、かつ、マイクを内蔵あるいは外付け可能な電子機器で、カメラから撮影した人間の口の形の画像解析、及びマイクから入力した人間の音声の解析を行い、画像と音声の両方を総合してひらがな・アルファベット・数字等の文字入力を１文字単位で解析し、電子機器の操作命令入力（上下左右・音量増減・チャンネル入力等）とする操作を可能にしたものである。
【発明の効果】
【００２０】  文化・言語・国籍の違い、老若男女といった差異、障害・能力の如何を問わずに電子機器を利用することができるユニバーサルユーザインターフェースという利点がある。【００２１】  ユーザインターフェースに必要なハードウエアはカメラ・表示装置・コンピュータプログラムのみであり専用のハードウエアを必要とせず、コンピュータプログラムの更新によりユーザインターフェースの改造（バージョンアップや不具合対応）が可能という利点がある。【００２２】  音声の文章入力では膨大な単語辞書が必要であるが、人間の口の形の画像解析方式では文字単位・命令単位の単語という限定された範囲で行うため画像解析に必要な比較パターンが少なく、単語単位よりもＣＰＵの処理能力が低くても良いという利点がある。【００２３】  ハードウエアキーボード、タッチパネル、リモコン等の入力が不要という利点がある。【００２４】  人間の口の形の画像解析方式では音声入力と違い周囲の音に影響されないという利点がある。
【図面の簡単な説明】
【００２５】
【図１】  この発明の実施形態を示すユニバーサルインターフェースシステム構成図である。
【図２】  図１の実施形態にマイク及び日本語解析エンジンを追加したユニバーサルインターフェースシステムの実施例である。
【図３】  この発明のソフトウエアキーボードの実施形態を示すユニバーサルソフトウエアキーボードユーザインターフェースシステム構成図である。
【図４】  図３の実施形態にマイク及び日本語解析エンジンを追加したを追加したユニバーサルソフトウエアキーボードユーザインターフェースシステムの実施例である。
【発明を実施するための形態】
【００２６】  以下、本発明の実施の形態を図１〜図４に基づいて説明する。
【００２７】  図１においてシステムは１のオペレーティングシステム、２のカメラ、３の画像解析エンジン、４のソフトウエアキーボード、５の日本語変換エンジンから構成されることを表している。
【００２８】  図２においてシステムは１のオペレーティングシステム、２のカメラ、３の画像解析エンジン、４のソフトウエアキーボード、５の日本語変換エンジン、６マイクから構成されることを表している。
【実施例】
【００２９】  図２は図１のシステム構成をスマートフォンに適用した例であり、口の形や指の移動方向等を２の内蔵カメラの入力を画像解析エンジンが解析し、解析結果を４のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォンの操作を行う実施例を表している。【００３０】  図３は図１のシステム構成のソフトウエアキーボードの画面例であり、口の形や指の移動方向等を２の内蔵カメラの入力を画像解析エンジンが解析し、解析結果を４のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォン、パソコン等のソフトウエアキーボード操作を行う実施例を表している。【００３１】  図４は図２のシステム構成のソフトウエアキーボードの画面例であり、口の形や指の移動方向等を２の内蔵カメラの入力を画像解析エンジンが解析し、音声を６のマイクから入力し、７の音声解析エンジンで音声解析を行い、画像解析結果及び音声解析結果を４のソフトウエアキーボードに渡し、さらに日本語変換エンジンと連動することにより文字入力やスマートフォン、パソコン等のソフトウエアキーボード操作を行う実施例を表している。
【符号の説明】１  オペレーティングシステム
２  カメラ
３  画像解析エンジン
４  ソフトウエアキーボード画面
５  日本語変換エンジン
６  マイク
７  音声解析エンジン
【図１】
2014236505.tif 000003
【図２】
2014236505.tif 000004
【図３】
2014236505.tif 000005
【図４】
2014236505.tif 000006