(57)【要約】【課題】入力精度や機器の状態など認識処理時の入力条件に応じて、最適な認識方法を選択可能とする電子機器と電子機器システムを提供する。【解決手段】アプリからのリクエストを受け取り、認識エンジンの認識結果又はセンサの計測結果を収集し、収集した認識結果又は計測結果をアプリに返答するマネージャ機能を備え、認識エンジンを認識処理の中間過程に分割した検出コンポーネントにより構成し、センサの入力精度や機器の状態などに応じて、各検出コンポーネントが動作可能な条件をみて、使用する認識エンジンの検出コンポーネントを決定する。【選択図】図１
2010114756.tif 000002
【特許請求の範囲】
【請求項１】
電子機器の制御を行う電子情報システムであって、
複数のセンサと、
該センサで検出される検出結果を認識する複数の検出コンポーネントを有する認識エンジンと、
前記複数のセンサおよび前記認識エンジンを制御するマネージャ機能部と、
該マネージャ機能部に電子機器制御のためのリクエストを送るアプリケーション制御部と、
前記認識エンジンに関わるデータベースとを有し、
前記マネージャ機能部は、前記アプリケーション制御部からのリクエストに基づいて前記データベースを参照し、前記アプリケーション制御部からのリクエストが発生した時点で、使用可能な前記複数のセンサの内から少なくとも１つ、および前記認識エンジンの複数の検出コンポーネントから少なくとも１つを選択し、前記選択されたセンサと前記選択された検出コンポーネントによる認識結果を前記アプリケーション制御部に出力し、前記アプリケーション制御部は、前記認識結果に基づいて前記電子機器を制御することを特徴とする電子情報システム。
【請求項２】
請求項１に記載の電子情報システムにおいて、前記マネージャ機能部は、前記選択されたセンサの精度に基づき前記認識エンジンの所定の検出コンポーネントを選択することを特徴とする電子情報システム。
【請求項３】
請求項１に記載の電子情報システムにおいて、前記データベースは、前記検出コンポーネントのデータを蓄積し、前記マネージャ機能部は、前記データベースに蓄積される検出コンポーネントのデータに基づき所定の検出コンポーネントを選択し、認識を行うことを特徴とする電子情報システム。
【請求項４】
請求項１に記載の電子情報システムにおいて、前記マネージャ機能部は、前記電子情報が使用するＣＰＵのクロック周波数に基づき所定の検出コンポーネントを選択することを特徴とする電子情報システム。
【請求項５】
請求項１ないし４のいずれか１項に記載の電子情報システムにおいて、前記アプリケーション制御部から出力される制御信号により制御される電子機器は、テレビジョン受像機、エアコンおよびカメラのいずれかであることを特徴とする電子情報システム。
【請求項６】
電子機器の制御を行う電子情報システムの制御方法であって、
互いに異なる精度の複数の検知ステップと、
複数の検出コンポーネントを含み前記検知ステップで検知される検知結果を認識する認識ステップと、
取得したい認識結果をリクエストするリクエストステップと、
該リクエストステップからのリクエストに応じて前記認識ステップの複数の検出コンポーネントに関わるデータベースを確認する確認ステップと、
該確認ステップによる確認結果に基づき、使用可能な前記複数の検知ステップの内から少なくとも１つを選択し、および前記認識ステップの複数の検出コンポーネントから少なくとも１つを選択する選択ステップと、
前記検知ステップでの検知結果ないし前記検出コンポーネントでの認識結果に基づき前記電子情報システムの動作状態の制御を行う制御ステップと
を有し、動作状態に応じた認識処理による動作制御を行うことを特徴とする電子情報システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子情報システムに係わり、特に認識処理時の状況に応じて、認識方法を選択可能とする電子情報システムに関するものである。
【背景技術】
【０００２】
特許文献１では、音声認識装置において周辺の騒音が大きさに応じて、処理速度と認識精度の優先度を変える技術が開示されている。
このように入力の精度により、認識精度と認識速度を適切に処理する技術があるが、認識方法は決められており、入力の精度により決まった認識エンジンを選択するようにしていた。
【０００３】
【特許文献１】特開２００１−２０９３９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
家庭内に多様な家電機器、例えばテレビ受像機、エアコンなどの電子機器が配置されており、従来、これらの電子機器は、それぞれの電子機器の制御部（以下、アプリケーション制御部といい、アプリと略称する）が認識エンジンやセンサを直接制御している。ここで、センサは電子機器周囲の状態を計測し、例えば使用者からの電子機器操作指示を受け取り、また、電子機器使用者が誰であるかを特定するデータの収集などを行い、計測結果を認識エンジンに渡す。認識エンジンは、センサから受け取った計測結果を基に判断し、認識結果を得る。例えば機器操作指示内容が何であるかを判断し、使用者が誰であるかを特定し、認識結果をアプリに渡す。アプリは、受け取った認識結果を基に制御情報を出力し、電子機器の状態を変更する制御を行う。例えば、電子機器を使用者の操作指示内容の通りに機器状態を変更し、あるいは特定した使用者に対応する機器状態に変更する等の制御を行う。
【０００５】
その際、従来の電子機器では、内蔵するセンサ又は外部のセンサから計測結果を受け取り、機器状態の変更を行うことができるが、例えば、センサと認識エンジンのレベルが合わないなどして認識処理に十分な条件がそろっていない場合は、認識結果を出力できないことがあった。
【０００６】
本発明の目的は、認識処理時の状況に応じて、例えば入力精度や電子機器の状態に応じて、認識方法を選択可能とする電子情報システムを提供することにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明は電子機器の制御を行う電子情報システムであって、複数のセンサと、該センサで検出される検出結果を認識する複数の検出コンポーネントを有する認識エンジンと、前記複数のセンサおよび前記認識エンジンを制御するマネージャ機能部と、該マネージャ機能部に電子機器制御のためのリクエストを送るアプリケーション制御部と、前記認識エンジンに関わるデータベースとを有し、前記マネージャ機能部は、前記アプリケーション制御部からのリクエストに基づいて前記データベースを参照し、前記アプリケーション制御部からのリクエストが発生した時点で、使用可能な前記複数のセンサの内から少なくとも１つ、および前記認識エンジンの複数の検出コンポーネントから少なくとも１つを選択し、前記選択されたセンサと前記選択された検出コンポーネントによる認識結果を前記アプリケーション制御部に出力し、前記アプリケーション制御部は、前記認識結果に基づいて前記電子機器を制御することを特徴としている。
【０００８】
また本発明は、電子機器の制御を行う電子情報システムの制御方法であって、互いに異なる精度の複数の検知ステップと、複数の検出コンポーネントを含み前記検知ステップで検知される検知結果を認識する認識ステップと、取得したい認識結果をリクエストするリクエストステップと、該リクエストステップからのリクエストに応じて前記認識ステップの複数の検出コンポーネントに関わるデータベースを確認する確認ステップと、該確認ステップによる確認結果に基づき、使用可能な前記複数の検知ステップの内から少なくとも１つを選択し、および前記認識ステップの複数の検出コンポーネントから少なくとも１つを選択する選択ステップと、前記検知ステップでの検知結果ないし前記検出コンポーネントでの認識結果に基づき前記電子情報システムの動作状態の制御を行う制御ステップとを有し、動作状態に応じた認識処理による動作制御を行うことを特徴としている。
【発明の効果】
【０００９】
本発明によれば、認識処理時の状況に応じて、例えば入力精度や電子機器の状態に応じて、認識方法を選択可能とする電子情報システムを実現でき、ユーザにとって使い勝手の良い電子機器の制御が可能な電子情報システムを提供できるという効果がある。
【発明を実施するための最良の形態】
【００１０】
［実施例１］
本発明の第１の実施例について説明する。
【００１１】
まず、本発明の電子情報システムを図１に基づいて説明する。図１は本発明の一実施例の概略構成を示すブロック図である。
【００１２】
本発明の電子情報システム１は、図１に示すように、複数のセンサ１１−１、１１−２、１１−３（センサを代表する場合は、センサ１１と称する）、複数の認識エンジン１２−１、１２−２．１２−３（認識エンジンを代表する場合は、認識エンジン１２と称する）、複数のアプリ１３−１、１３−２．１３−３（アプリを代表する場合は、アプリ１３と略称する）、複数のアプリ出力部１４−１、１４−２．１４−３（アプリ出力部を代表する場合は、アプリ出力部１４と称する）、データベース（以下ＤＢと略記する）１５、マネージャ機能部１６を備えている。認識エンジン１２、アプリ１３、アプリ出力部１４、ＤＢ１５、マネージャ機能部１６は、周知のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で構成され、ＣＰＵにインストールされたプログラムを実行することで動作することができる。そして、これら構成要素は、例えば、テレビ受信機やエアコンやカメラ等の電子機器（図示せず）のいずれか１つ以上に格納される場合もあれば、電子機器とは独立に設けることも出来る。なお、上記実施例では、例えば、センサ１１や認識エンジン１２等は、３個のみ示されているが、３個に限定されるものではなく、必要に応じて適宜設けることは言うまでもない。
【００１３】
センサ１１は、認識エンジン１２とマネージャ機能部１６の指示に従って、機器の周囲の状態を計測し、計測結果を返信する。センサ１１は、例えば、被写体を撮影するカメラ、音（または音声）検出のマイク、温度センサ、指紋認識センサあるいは静脈認証センサ等の検出センサ等である。
【００１４】
認識エンジン１２は、マネージャ機能部１６の指示に従って、センサ１１の計測結果を基に認識結果を作成し、認識結果を返信する。例えば、センサ１１−１がカメラである場合には、人の認識であり、また、センサ１１−２がマイクの場合には、人の声の認識である。
【００１５】
アプリ１３は、マネージャ機能部１６に所望の要求、即ち、リクエストを行い、マネージャ機能部１６から返信された認識結果、計測結果を基に、電子機器の状態の制御を行う。このリクエストは、抽出対象（例えば、「人の有無」「人の名前」「感情」）に関するものであり、その他に、抽出対象（カメラ画像、静脈認証データ）と抽出方法や、抽出対象とセンサ名などでのリクエストも可能である。
【００１６】
マネージャ機能部１６は、認識エンジン１２、ＤＢ１５、センサ１１と接続し、情報の送受信を行い、アプリ１３からのリクエストに応じて、複数の認識エンジン１２、複数のセンサ１１の選択と制御を行う。即ち、マネージャ機能部１６は、アプリ１３からリクエストを受け取ると、複数の認識エンジン１２の中から使用可能な認識エンジン１２、例えば、認識エンジン１２−１と、複数のセンサ１１の中から適宜センサの１つ、例えば、センサ１１−１を選択し、選択したセンサ１１−１に計測処理を指示して計測結果を取得し、認識エンジン１２−１に認識処理を指示して認識結果を取得する。この認識エンジンについて以下に更に詳細に説明する。
【００１７】
認識エンジン１２は、最終的な認識結果を出力するまでの一連の処理を中間過程で分割した認識モジュール（以下、検出コンポーネントという）によって構成されている。またマネージャ機能部１６は、入力精度（例えばカメラでは画素数が相当する）や機器状態など（以下、入力条件という）に応じて、どの検出コンポーネントが動作可能であるかを管理することに特徴がある。これについては後述する。そして、リクエストに対して、使用するセンサ１１や認識エンジン１２をそれぞれ決定するとともに、認識エンジンのどの検出コンポーネントが動作可能であるかのレベル（以下、出力レベルという）を決定し、出力レベル以下の検出コンポーネントを順に使用することにより、認識時の入力条件に適した認識結果を取得する。なお、検出コンポーネントの出力レベルとは、その認識精度や認識範囲などを意味している。
【００１８】
次に動作の一例につき説明する。マネージャ機能部１６が、「誰」を認識するための「人物」認識エンジンが、「人の有無」「人の顔」「人の名前」を順に検出する中間過程を順に認識する場合、前記三つの検出コンポーネント、即ち、「人の有無」「人の顔」「人の名前」の検出コンポーネントで構成されているとする。また、「人の名前」を認識するのに十分な画像を取得可能なセンサ１１‐１と、「人の有無」までのみ認識可能な画像を取得可能なセンサ１１‐２で構成されていたとする。この場合において、アプリ１３−１から、「誰」かを認識するリクエストがあった場合に、センサ１１‐１と認識エンジン１２が空きの状態であれば、「人の有無」「人の顔」「人の名前」の検出コンポーネントを順次動作させ、最終的に「人の名前」という認識結果を得ることができる。しかしながら、アプリ１３‐２によって、センサ１１‐１が使用中であれば、アプリ１３−１は、センサ１１‐１を使用できず、センサ１１−２を使用することとなる。この場合は、センサ１１‐２で認識可能な「人の有無」検出コンポーネントのみを用いて、アプリ１３‐１のリクエストに対して、「人の有無」の検出結果をアプリ１３‐１に応答することができる。ここで、中間過程とは、例えば、「人の有無」「人の顔」といった「人の名前」を認識するまでの途中の認識結果を意味する。即ち、最終の認識結果よりも前の中間の認識結果を意味する。また、この中間過程は、人の認識に限らず、前述した音、温度、指紋認識あるいは静脈認証においても中間の認識過程が存在することはいうまでもない。
【００１９】
このようにＣＰＵが多くのユーザに使用されており、一時的にＣＰＵ負荷が高い場合には、要求される全てのタスクを実行できないけれども、残りのＣＰＵの能力で認識可能な認識エンジン内の検出コンポーネントを動的に選択し、たとえば「人の有無」検出コンポーネントを用いて認識結果を取得する。これにより、例えば、監視カメラで、カメラに映った人が誰であるかを監視し、記録しているようなアプリの場合に、記録等の処理のＣＰＵ負荷により一時的に「誰」であるかを認識できない場合でも、「人の有無」までの認識結果を記録しておくことが可能となる。
【００２０】
本実施例では、使用可能な検出コンポーネントを順に使用する例で説明したが、選択された一つ以上の検出コンポーネントを使用していれば、いかなる方法で認識を行っても構わない。
【００２１】
この他にも、ＣＰＵ使用状況に限らず、入力機器の精度や状態、機器の性能や状態などの提供された機能または性能に関する情報など、どの検出コンポーネントを動作可能であるかを判定できる条件であればいかなる入力条件を使用して、動的に認識エンジンの検出コンポーネントを選択してもよい。
【００２２】
例えば、搭載されている、あるいは使用可能なセンサ１１の精度に応じて、最適な認識エンジンの出力レベルの検出コンポーネントで認識を行ったり、システムや機器のメモリやハードディスクのスペックなどの物理的なスペックなどによって、使用可能な最適な認識エンジンの検出コンポーネントを選択するなどである。
【００２３】
マネージャ機能部１６は、例えばテレビ受像機、冷蔵庫、エアコン、カメラなどに備えることができ、また、専用の電子機器に備えることも可能である。
【００２４】
本実施例では、マネージャ機能部１６は、アプリ１３からリクエストを受け取ると、使用可能な認識エンジン１２やセンサ１１を決定しているが、マネージャ機能部１６を使用せずに、他の制御部で決められていても構わない。その場合は、認識エンジン１２とセンサ１１を例えばアプリ１３で決めておき、マネージャ機能部１６がアプリ１３からリクエストを受信した際に、使用する認識エンジン１２のどの検出コンポーネント（例えば１２−１）を使用するかを決定して認識を行い、結果を返すようにする。
【００２５】
本発明の電子情報システムにおける動作の一実施例について、図２を用いて説明する。図２は本発明の一実施例における電子情報システムの動作説明図である。
【００２６】
アプリ１３−１は、取得したい認識結果をマネージャ機能部１６にリクエストする（ステップＳ２０１）。
【００２７】
マネージャ機能部１６は、受け取ったリクエストを判断し（ステップＳ２０２）、リクエストと使用可能センサのデータベースを保存したＤＢ１５の内容を確認し、必要なら使用可能なセンサ１１、例えば、センサ１１−１を選択する。そして、入力精度や機器状態といった認識時の入力条件に適した出力レベルの認識エンジン１２、例えば、認識エンジン１２−１の検出コンポーネントをＤＢ１５の管理表（これについては後述する）を用いて確認、決定し、センサ１１−１と認識エンジン１２−１に問い合わせを行う（ステップＳ２０３、Ｓ２０４）。
【００２８】
センサ１１−１は、マネージャ機能部１６からの問合せを受け、計測を行い（ステップＳ２０５）、計測結果をマネージャ機能部１６に返信する（ステップＳ２０６）。
【００２９】
マネージャ機能部１６は、認識エンジン１２−１に計測結果を送信し、認識処理を指示する（ステップＳ２０７）。
【００３０】
認識エンジン１２−１は、センサ１１−１の計測結果を取得し、認識処理を行い（ステップＳ２０８）、認識結果をマネージャ機能部１６に返信する（ステップＳ２０９）。
【００３１】
マネージャ機能部１６は、認識エンジン１２−１からの認識結果、またはセンサ１１−１からの計測結果を、アプリ１３に返す（ステップＳ２１０）。
【００３２】
アプリ１３は、受け取った認識結果、計測結果を用いてアプリ出力を作成し、アプリ出力部１４、例えば、アプリ出力部１４−１に送信し、アプリ出力部１４−１は、例えば、電子機器の動作状態の制御を行う。
【００３３】
このようにして、アプリ１３は、マネージャ機能部１６にリクエストすることにより、認識結果、計測結果を取得することができ、電子機器の動作状態の制御を行うことが可能となる。
【００３４】
本実施例では、どの検出コンポーネントを使用するかを決定するための管理表をＤＢ１５に保存して使用しているが、マネージャ機能部１６内のメモリなど、管理表が保存可能であれば、いかなる方法で保持していても良い。
【００３５】
次に図３と図４の双方を用いて本発明の処理手順の一実施例を説明する。
図３は、マネージャ機能部１６の処理フローを示した図である。また、図４はマネージャ機能部１６の処理部の概略構成を示す図である。
【００３６】
入力端子９０からは、先の図１のアプリ１３からマネージャ機能部１６へのリクエストが入力される。
【００３７】
マネージャ機能部１６は、処理を開始する(ステップＳ３０１)と、リクエスト受信部９１にてアプリ１３からのリクエストを受け取り(ステップＳ３０２)、センサ／エンジン決定部９２にて、その時点でのリクエストに適した使用可能なセンサ１１と認識エンジン１２をＤＢ１５から検索し、決定する（ステップＳ３０３）。
【００３８】
マネージャ機能部１６は、入力条件取得部９３にてセンサの精度や機器の状態など認識時の入力条件をチェックする（ステップＳ３０４）。さらに出力レベル決定部９４にてＤＢ１５の認識エンジンの管理表から、ステップＳ３０４でチェックした入力条件に適した出力レベルを決定する(ステップＳ３０５)。なお、管理表の一実施例を図５と図６に示すが、これについては後に説明する。そして、検出コンポーネント決定部９５にて出力レベルに適した認識エンジン１２の検出コンポーネントを取得し(ステップＳ３０６)、認識処理部９６にて認識処理を行い、認識結果を出力端子９７からアプリ１３に返し(ステップＳ３０７)、処理を終了する(ステップＳ３０８)。アプリ１３はマネージャ機能１６より認識結果を受け取り、アプリ出力部１４に出力する。そして電子機器の状態の制御を行う。
【００３９】
次に、管理表の一実施例について、図５、図６を用いて説明する。図５と図６は、マネージャ機能部１６が管理する管理表の一実施例であり、例えば、ＤＢ１５に前もって記録されている。これは使用可能な認識エンジン１２から、認識処理の出力レベルに応じて検出コンポーネントを選択するためのものである。ここでは人物を認識する場合を例にして説明する。まず図５は、人物認識管理表６１であり、出力レベル６２、検出コンポーネント６３、認識結果６４、入力条件６５の各項目に分けられている。図５において、最終的な認識結果である出力レベル５の「人物特定」をするまでに、認識エンジン１２内の処理は、入力条件６５であるセンサ１１により取得された画像サイズに応じて出力レベル６２が５段階に設定されている。また、出力レベル６２の各レベル（５段階）に対応して認識エンジン１２の検出コンポーネント６３と、各検出コンポーネントの認識結果６４が格納されている。なお図５では、入力条件６５を顔画像の大きさで、例えば出力レベル１では１００×１００pixel以上で示しているが、認識エンジン１２の認識時の状況に応じて、適宜選定されることはいうまでもない。例えば、図６の人物認識管理表６１で示すようなＣＰＵのクロック周波数６６で示しても良く、また、使用可能メモリ容量などでも構わない。なお、図５、図６に示す各項目は、一実施例であり、これに限定されるものではなく、音（音声を含む）認識、指紋認識、静脈認識等であれば、それらに対応した項目を適宜設定することで、実現可能である。
【００４０】
次に図７と図８を用いて、人の認識処理の一実施例についてさらに説明する。さきの認識エンジン１２は、最終的な認識結果を出力するまでの中間過程の認識に用いる分割した検出コンポーネントで構成され、個々の検出コンポーネントは必ずそれぞれの検出コンポーネントの精度に見合った認識結果を返すように構成される。
【００４１】
図７は、「人物」が誰であるかを認識する「人物」認識エンジン１２−１の検出コンポーネントの構成例である。各検出コンポーネント７１〜７５は、図５と図６の出力レベル１〜５の検出コンポーネント６３に対応している。「人物」が誰であるかを認識するための過程が、「肌色」検出コンポーネント７１（出力レベル１対応）、「丸」検出コンポーネント７２（出力レベル２対応）、「顔輪郭」検出コンポーネント７３（出力レベル３対応）、「顔特徴」検出コンポーネント７４（出力レベル４対応）、「人物特定」検出コンポーネント７５（出力レベル５対応）に分割されており、個々の検出コンポーネントは、「人の有無」７６、「顔の形」７７、「顔の輪郭」７８、「顔の特徴」７９、「人の名前」８０という５段階の出力レベルの認識結果を出力する。これらの出力レベルは後段のものほど精度の高い入力条件を必要とすることは、図５、図６に示す入力条件６５、ＣＰＵのクロック周波数６６から明らかである。検出コンポーネント６３は自身の認識結果を出力するために、自身よりも前段のレベルの検出コンポーネント６３も使用して認識結果を出力することができる。
【００４２】
また、図８についても同様であるが、図８に示すように認識エンジン１２−２を検出コンポーネント６３の出力レベル１〜５に分けて使用する際、並行して行える認識処理については、並行処理を行っても良い。ここでは「肌色」検出コンポーネント７１と「丸」検出コンポーネント７２を並行して行う例を示している。直列で処理を行うと処理時間が問題となる場合には並行処理を行うことで、これを回避することが可能となる。
【００４３】
以上説明したように実施例１の電子機器においては、入力精度や機器の状態といった認識処理時の条件に応じて、マネージャ機能が最適な認識方法を選択することができる。
［実施例２］
【００４４】
次に図９の電子情報システムの構成図を用いて、複数の電子機器を接続した場合につき、さらに説明する。
図９に示すテレビ受像機（以下、ＴＶと略記する）２は、カメラ２１、ジェスチャ認識エンジン２２、人物認識エンジン２３、個人認証エンジン２４、ＤＢ２５、アプリ２６、アプリ出力部２７、ＴＶ制御部２８およびマネージャ機能部１６を備えている。なお、ＴＶ２の他の構成要素は、本発明と直接関係がないので、省略してある。また、ＴＶ２には、センサ３１と制御部３２を内蔵する明るさセンサ３、カメラ４１、認識エンジン４２、制御部４３を内蔵するエアコン４、カメラ５１、認識エンジン５２、制御部５３を内蔵するビデオカメラ５が接続されている。ＴＶ２、明るさセンサ３、エアコン４、ビデオカメラ５は、本発明による電子情報システムを構成している。ここで、複数の電子機器とは、ＴＶ２、明るさセンサ３、エアコン４およびビデオカメラ５である。
【００４５】
ジェスチャ認識エンジン２２は、カメラ２１からの映像データとＤＢ２５に記憶されたデータなどを基に、使用者のジェスチャを解析して使用者の操作指示内容を得る。そして、その指示内容をマネージャ機能部１６に送る。マネージャ機能部１６では、それをアプリ２６、アプリ出力部２７に送る。そして、送られた操作指示内容に従いＴＶ制御部２８を制御する。即ち、テレビ受像機のスイッチのオン／オフ、チャンネル変更、音量の変更、画質の変更などを実行する。
【００４６】
人物認識エンジン２３は、カメラ２１からの映像データとＤＢ２５に記憶されたデータなどを基に、映像データの対象が人であるか解析する。そして、解析結果で人と確認すると、その人の好みに合うよう機器の状態を変更する。例えばテレビ受像機のスイッチをオンする、あるいは音量の変更をする等の制御をする。
【００４７】
個人認識エンジン２４は、カメラを用いる人物認識エンジン２３とは別に設けられたものであって、図示しない指紋読み取りセンサなどからのデータとＤＢ２５に記憶されたデータなどを基に、個人認証を行って使用者を特定し、特定した使用者の好むテレビ番組の検索、音量の変更、画質の変更などを決定する。
【００４８】
次に、図９の構成例において、ＴＶ２の人物認識エンジン２３が図７の構成で検出コンポーネント化されており、ＴＶ２のＤＢ２５内に図５で示したような管理表が格納されている実施例について、具体的な処理を説明する。人物認識エンジン２３でのセンサは、例えばカメラであり、その入力は、動画である。
【００４９】
ＴＶ２内のアプリ２６からの「人物認識」のリクエストがマネージャ機能部１６で受信されると、マネージャ機能部１６はＤＢ２５から使用可能なセンサと認識エンジンを取得する。カメラ２１が前記したようにジェスチャ認識エンジン２２とともに動作中であったとする。この場合、カメラとしてはほかに、エアコン４内に内蔵されるカメラ４１とビデオカメラ５内に内蔵されるカメラ５１があるが、精度の高いビデオカメラ５内のカメラ５１は他のアプリが使用中で使用することができず、この時点で精度の悪いエアコン４内のカメラ４１のみが使用可能である場合には、使用可能センサとしてエアコン４内のカメラ４１が選択される。また、認識エンジンについては、人物認識エンジン２３がＴＶ２内にあるため、これが選択される。
【００５０】
マネージャ機能部１６は、ＤＢ２５から、たとえば図５で示したような人物認識エンジンの人物認識管理表６１を取得する。エアコン４内のカメラ４１の取得可能な画像サイズが例えば２００×３００pixelである場合は、マネージャ機能部１６は、その条件以下の入力条件６５の出力レベル６２を決定する。この場合は、２００×３００pixel以上の画像が入力条件となっている出力レベル３が選択される。そして、人物認識管理表６１から、出力レベル３以下の検出コンポーネント６３である「肌色」「丸」「顔輪郭」検出コンポーネントを取得し、この３つの検出コンポーネントを順に処理することにより、図７で示すように、肌色検出７１から「人の有無」７６、丸検出７２から「顔の形」７７、顔輪郭検出７３から「顔の輪郭」７８が検出され、最終的に出力レベル３が認識結果６４としてアプリ２６に返される。アプリ２６は、これをアプリ出力部２７に送信する。これによって、例えば、顔の輪郭からＴＶ２を制御する信号がＴＶ制御部２８に送られ、ＴＶ２を制御する。なお、上記実施例では、ＴＶ２の制御についてのみ説明したが、アプリ出力部２７により明るさセンサ３、エアコン４、ビデオカメラ５等のＯＮ／ＯＦＦ等を制御することもできることはいうまでもない。
【００５１】
このように、従来であれば、入力の精度が悪く、あるいは機器の負荷が重く十分な処理が行えない場合は認識結果を返すことができず、結果として電子機器の制御ができなかった。しかしながら、本発明により、他の機能を邪魔することのない範囲で可能な限りの認識結果を返すことが可能となる。また、認識エンジンを、認識処理過程毎に検出コンポーネント化することで、これを容易に実現することができ、さらには、出力レベルに適合した認識を行うことができる。
【００５２】
本実施例では、２以上の電子機器から構成される電子情報システムについて説明したが、１つの電子機器単体でマネージャ機能部と認識エンジンを構成し、実現しても構わない。図９に示した複数の電子機器の各々、例えばＴＶ２は、これ単体で本発明による電子情報システムを構成している。
【００５３】
前記の例では、入力センサが変更されない限り、認識結果の出力レベルは変わらなかったが、時間と共に入力条件が変わる場合も同様に処理することが可能である。マネージャ機能部に対して図６のような管理表をＤＢに持たせることにより、例えば、他のアプリの処理により、使用可能なＣＰＵのクロック周波数が一時的に１５０ＭＨｚに下がった場合には、その時のみ出力レベル１の「肌色検出」の認識エンジンのみを使用し、人の有無を認識するにとどめ、前記の他のアプリの処理が終了し、使用可能なＣＰＵのクロック周波数が１ＧＨｚに戻った場合には、出力レベル１〜５を用いて「人物特定」の認識エンジンにより、人の名前を認識結果として返すようにすることもできる。
【００５４】
従来の技術では、一時的に認識エンジンが使用可能な状態でなく、必要な精度のセンサがないような条件下では、認識が全く出来なかった。
本発明により、このような条件下においても、認識可能な過程までの認識結果を出力することが可能となる。換言すれば本発明では、種々の状況に応じて認識処理が可能となるという効果がある。
【００５５】
以上、本発明について詳細に説明したが、本発明は、ここに記載された電子情報システムの実施例に限定されるものではなく、他の電子情報システムにも広く適用できることは言うまでもない。
【図面の簡単な説明】
【００５６】
【図１】本発明の電子情報システムの一実施例の概略構成を示すブロック図である。
【図２】本発明の電子情報システムの動作説明図である。
【図３】本発明のマネージャ機能のフローチャートの一実施例である。
【図４】本発明のマネージャ機能の構成の一実施例を示す図である。
【図５】本発明のマネージャ機能の管理する管理表の一実施例である。
【図６】本発明のマネージャ機能の管理する管理表の別な一実施例である。
【図７】本発明の認識処理の一実施例を示す図である。
【図８】本発明の認識処理の並行処理の一実施例を示す図である。
【図９】本発明の他の電子情報システムの一実施例の概略構成を示すブロック図である。
【符号の説明】
【００５７】
１：電子機器、１１：センサ、１２：認識エンジン、１３：アプリ、１４：アプリ出力、１５：ＤＢ、１６：マネージャ機能、
２：テレビ受像機、２１：カメラ、２２：ジェスチャ認識エンジン、２３：人認識エンジン、２４：個人認識エンジン、２５：ＤＢ、２６：アプリ、２７：アプリ出力部、２８：ＴＶ制御部、
３：明るさセンサ、３１：センサ、３２：制御部
４：エアコン、４１：カメラ、４２：認識エンジン、４３：制御部、
５：ビデオカメラ、５１：カメラ、５２：認識エンジン、５３：制御部、
６１：認識エンジン名、６２：出力レベル、６３：検出コンポーネント、６４：認識結果、６５：入力条件、７１〜７５：検出コンポーネント、７６〜８０：認識結果、９１：リクエスト受信部、９２：センサ／エンジン決定部、９３：入力条件取得部、９４：出力レベル決定部、９５：検出コンポーネント決定部、９６：認識処理部。
【図１】
2010114756.tif 000003
【図２】
2010114756.tif 000004
【図３】
2010114756.tif 000005
【図４】
2010114756.tif 000006
【図５】
2010114756.tif 000007
【図６】
2010114756.tif 000008
【図７】
2010114756.tif 000009
【図８】
2010114756.tif 000010
【図９】
2010114756.tif 000011