(57)【要約】【課題】制御対象の操作を簡易に行えるようにする。【解決手段】制御装置は、スキャナの撮像装置からカードの撮像画像を取得し（Ｓ１０：肯定）、取得した撮像画像に基づいて文字の認識処理を実行する（Ｓ１２）。そして、制御装置は、操作内容ＤＢを参照して、認識した文字に対応する操作内容（制御対象及び制御内容）を特定し（Ｓ１４）、特定した操作内容を指示する制御信号を機器操作指示装置に送信する（Ｓ１６）。【選択図】図７
2018121180.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置による撮像画像を取得し、
取得した前記撮像画像に基づいて文字及び／又は色の認識処理を実行し、
満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識処理により認識した文字及び／又は色が満たす条件に応じて制御対象及び制御内容を決定し、
決定した前記制御対象に対して前記制御内容の制御信号を送信する、
処理をコンピュータに実行させるための制御プログラム。
【請求項２】
前記取得する処理では、文字及び／又は色を認識可能なカードを前記撮像装置が撮像した撮像画像を取得する、ことを特徴とする請求項１に記載の制御プログラム。
【請求項３】
前記認識処理では、前記カードの向き及び／又は位置を更に認識することを特徴とする請求項２に記載の制御プログラム。
【請求項４】
前記認識処理において同一の認識結果が繰り返し得られた場合に、前記記憶部に記憶されている制御内容を更新する、
処理を前記コンピュータに更に実行させるための請求項１〜３のいずれか一項に記載の制御プログラム。
【請求項５】
前記取得する処理では、前記撮像装置の撮像領域が照明装置により照明された状態で前記撮像装置により撮像された撮像画像を取得する、ことを特徴とする請求項１〜４のいずれか一項に記載の制御プログラム。
【請求項６】
撮像装置による撮像画像を取得し、
取得した前記撮像画像に基づいて絵及び／又は立体物の認識処理を実行し、
満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識処理により認識した絵及び／又は立体物が満たす条件に応じて制御対象及び制御内容を決定し、
決定した前記制御対象に対して前記制御内容の制御信号を送信する、
処理をコンピュータに実行させるための制御プログラム。
【請求項７】
撮像装置による撮像画像を取得し、
取得した前記撮像画像に基づいて文字及び／又は色の認識処理を実行し、
満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識処理により認識した文字及び／又は色が満たす条件に応じて制御対象及び制御内容を決定し、
決定した前記制御対象に対して前記制御内容の制御信号を送信する、
処理をコンピュータが実行することを特徴とする制御方法。
【請求項８】
撮像装置による撮像画像を取得する取得部と、
前記取得部が取得した前記撮像画像に基づいて文字及び／又は色の認識処理を実行する認識部と、
満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識部が認識した文字及び／又は色が満たす条件に応じて制御対象及び制御内容を決定する決定部と、
前記決定部が決定した前記制御対象に対して前記制御内容の制御信号を送信する送信部と、
を備える制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御プログラム、制御方法及び制御装置に関する。
【背景技術】
【０００２】
ユーザが機器の操作を行う場合、機器本体や機器に付属しているリモコンを操作することが多い。また、近年においては、煩わしいボタン操作をなくすため、音声認識を用いて、複数の電子機器を遠隔操作するシステムが知られている（例えば、特許文献１等参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２０１７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音声の認識精度は、環境に依存することが多いため、誤認識が生じやすい。
【０００５】
１つの側面では、本発明は、制御対象の操作を簡易に行えるようにする制御プログラム、制御方法及び制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一つの態様では、制御プログラムは、撮像装置による撮像画像を取得し、取得した前記撮像画像に基づいて文字及び／又は色の認識処理を実行し、満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識処理により認識した文字及び／又は色が満たす条件に応じて制御対象及び制御内容を決定し、決定した前記制御対象に対して前記制御内容の制御信号を送信する、処理をコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００７】
制御対象の操作を簡易に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る機器制御システムの構成を概略的に示すブロック図である。
【図２】図２（ａ）は、スキャナの側面図であり、図２（ｂ）は、カードの一例を示す図である。
【図３】図１の制御装置のハードウェア構成を示す図である。
【図４】図１の制御装置の機能ブロック図である。
【図５】操作内容ＤＢのデータ構造の一例を示す図である。
【図６】操作履歴ＤＢのデータ構造の一例を示す図である。
【図７】第１の実施形態における、制御装置の処理を示すフローチャートである。
【図８】図７のステップＳ２０の具体的な処理を示すフローチャートである。
【図９】図９（ａ）、図９（ｂ）は、図７、図８の処理を説明するための図（操作内容ＤＢ及び操作履歴ＤＢ）である。
【図１０】図１０（ａ）、図１０（ｂ）は、第１の実施形態の変形例において用いるルールを示すテーブルである。
【図１１】図１１（ａ）、図１１（ｂ）は、第１の実施形態の変形例におけるカードの並べ方の例を示す図である。
【図１２】第２の実施形態における制御装置の処理を示すフローチャートである。
【図１３】図１３（ａ）〜図１３（ｅ）は、第２の実施形態におけるカードの並べ方の例を示す図である。
【図１４】第２の実施形態における操作内容ＤＢの更新について説明するための図（操作内容ＤＢ）である。
【図１５】図１５（ａ）は、人と機器を対応付ける変形例において用いるテーブルの例を示す図であり、図１５（ｂ）は、人と機器を対応付ける変形例におけるカードの並べ方の例を示す図である。
【図１６】第３の実施形態において用いる、マークが設けられた絵本を示す図である。
【図１７】第３の実施形態の操作内容ＤＢのデータ構造を示す図である。
【図１８】第３の実施形態における制御装置の処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
≪第１の実施形態≫
以下、機器制御システムの第１の実施形態について、図１〜図９に基づいて詳細に説明する。
【００１０】
図１は、第１の実施形態に係る機器制御システム１００のブロック図である。機器制御システム１００は、ユーザが並べたカードに基づいてエアコンなどの機器を操作するシステムである。
【００１１】
機器制御システム１００は、図１に示すように、スキャナ１０と、制御装置５０と、機器操作指示装置２０と、制御対象となる機器（エアコン２２、扇風機２４、電灯２６など）と、を備える。なお、制御対象となる機器には、テレビやオーディオなどのＡＶ機器、電子レンジや炊飯器などの調理機器、風呂の湯沸かし器、床暖房、加湿器、除湿器などが含まれてもよい。
【００１２】
スキャナ１０は、一例として、図２（ａ）（側面図）に示すような構成を有し、カード載置面Ｓ上に並べられた読取対象のカードを上方から撮像して、カードの画像データを生成するスキャン動作を行う装置である。スキャナ１０は、図２に示すように、撮像装置１１０と、照明装置１１２と、台座部１１４と、を備える。撮像装置１１０は、台座部１１４により、カード載置面Ｓから所定高さで支持されており、ユーザが不図示の「スキャン開始ボタン」を押したタイミングで不図示の制御部から出力される操作指令に応じて、スキャン動作を実行する。これにより、撮像装置１１０は、撮像領域の全体を含むスキャン画像を生成することができる。照明装置１１２は、台座部１１４に設けられ、撮像装置１１０がスキャン動作を実行する際に、撮像領域を照明する。なお、スキャナ１０がスキャンする（撮像する）カードは、図２（ｂ）に示すような文字が印刷されたカードであるものとする。すなわち、カードには、操作対象を示すカード（例えば「エアコン」や「電灯」）や、操作内容を示すカード（例えば、「涼しく」や「オン」）、操作の程度を示すカード（例えば「もっと」や「すごく」）などが含まれるものとする。
【００１３】
図１に戻り、制御装置５０は、ＰＣ（Personal Computer）等の情報処理装置を含み、スキャナ１０で撮像された撮像画像を取得し、撮像画像に基づいて、どの機器をどのように操作するかを特定する。また、制御装置５０は、特定した操作を指示する制御信号を、機器操作指示装置２０に対して出力する。なお、制御装置５０の詳細については、後述する。
【００１４】
機器操作指示装置２０は、機器制御ゲートウェイとも呼ばれ、制御装置５０からの指示に基づいて、エアコンなどの各機器を制御する。なお、機器操作指示装置２０は、各機器を遠隔操作するリモコンであってもよい。機器操作指示装置２０に接続されているエアコン２２や扇風機２４は、機器操作指示装置２０の指示の下、電源のオン／オフや、設定温度、風量、風向の変更などを実行する。また、電灯２６は、機器操作指示装置２０の指示の下、電源のオン／オフ、明るさの調整、発光色の変更等を実行する。
【００１５】
図３には、制御装置５０のハードウェア構成が示されている。図３に示すように、制御装置５０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、入出力インタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これら制御装置５０の構成各部は、バス９８に接続されている。制御装置５０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（制御プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（制御プログラムを含む）をＣＰＵ９０が実行することにより、図４に示す機能が実現される。なお、図４には、制御装置５０のＨＤＤ９６等に格納されている記憶部としての操作内容ＤＢ（database）７０、操作履歴ＤＢ７２も図示されている。
【００１６】
図４は、ＣＰＵ９０がプログラムを実行することにより実現される機能を示す機能ブロック図である。図４に示すように、制御装置５０は、取得部としての撮像画像取得部５２、認識部５４、決定部としての操作内容特定部５６、送信部としての指示出力部５８、第１、第２の更新部としての操作内容更新部６０として機能する。
【００１７】
撮像画像取得部５２は、スキャナ１０が撮像した撮像画像を取得し、認識部５４に送信する。認識部５４は、撮像画像取得部５２から取得した撮像画像を用いて文字認識を行い、カード載置面Ｓに並べられたカードの情報を取得する。認識部５４は取得した情報を操作内容特定部５６に送信する。また、認識部５４は、取得したカードの情報を操作履歴ＤＢ７２に格納する。
【００１８】
ここで、操作履歴ＤＢ７２は、図６に示すようなデータ構造を有する。操作履歴ＤＢ７２は、図６に示すように、「操作日時」と、「カード１」〜「カード３」と、「更新フラグ」のフィールドを有する。「操作日時」のフィールドには、認識部５４がカードの情報を取得した日時の情報が格納され、「カード１」〜「カード３」のフィールドには、認識部５４が取得したカードの情報、すなわちユーザがカード載置面Ｓに並べたカードの情報が格納される。なお、カードのフィールドは４つ以上あってもよい。すなわち、ユーザはカードを４枚以上並べてもよい。「更新フラグ」のフィールドには、操作内容ＤＢ７０の更新に用いた操作履歴に対して、「ＯＮ」が格納される。一方、更新に用いていない操作履歴の「更新フラグ」のフィールドには何も格納されないものとする。なお、更新フラグの詳細については、後述する。
【００１９】
操作内容特定部５６は、認識部５４から取得したカードの情報に基づいて、ユーザが行おうとしている操作内容（制御対象及び制御内容）を特定する。操作内容特定部５６は、操作内容を特定する際に、操作内容ＤＢ７０を参照する。図５には、操作内容ＤＢ７０のデータ構造が示されている。図５に示すように、操作内容ＤＢ７０は、「カード１」、「カード２」、「カード３」、「操作内容」の各フィールドを有する。「カード１」〜「カード３」には、カードの組み合わせ情報が格納され、「操作内容」のフィールドには、カードの組み合わせに対応する機器の操作内容が格納されている。なお、カードのフィールドは４つ以上あってもよい。例えば、図２（ｂ）のように、「エアコン」、「もっと」、「涼しく」のカードが並べられた場合には、操作内容特定部５６は、図５の操作内容ＤＢ７０から、操作内容「エアコンの設定温度を２℃下げる」を特定する。なお、この場合「エアコン」が制御対象であり、「設定温度を２℃下げる」が制御内容を意味する。また、例えば、「エアコン」、「すごく」、「暖かく」のカードが並べられた場合には、操作内容特定部５６は、図５の操作内容ＤＢ７０から、操作内容「エアコンの設定温度を３℃上げる」を特定する。操作内容特定部５６は、特定した操作内容を指示出力部５８に送信する。
【００２０】
指示出力部５８は、取得した操作内容の実行を指示する制御信号を、機器操作指示装置２０に対して出力する。機器操作指示装置２０は、各制御対象に対して、制御内容の制御信号を送信し、各制御対象を制御する。すなわち、指示出力部５８は、機器操作指示装置２０を介して、操作内容特定部５６が特定した制御対象に対して制御内容の制御信号を送信しているといえる。
【００２１】
操作内容更新部６０は、操作履歴ＤＢ７２の更新情報に基づいて、操作内容ＤＢ７０の操作内容を更新する。
【００２２】
（制御装置５０の処理）
次に、図７、図８のフローチャートに沿って、制御装置５０の処理について詳細に説明する。
【００２３】
図７の処理では、まず、ステップＳ１０において、撮像画像取得部５２が、スキャナ１０から撮像画像が送信されてくるまで待機する。なお、スキャナ１０は、ユーザがカードをカード載置面Ｓに並べ、スキャン開始ボタンを押したタイミングで、カードのスキャン（撮像）を開始し、撮像画像を撮像画像取得部５２に送信する。撮像画像取得部５２は、スキャナ１０から撮像画像を取得すると、撮像画像を認識部５４に送信する。
【００２４】
ステップＳ１２では、認識部５４が、撮像画像に基づいてカード情報を認識する。本実施形態では、一例として、認識部５４は、撮像画像内の文字認識を行うことで、カード情報を認識する。ここでは、図２（ｂ）に示す「エアコン」、「もっと」、「涼しく」が認識されたものとする。
【００２５】
次いで、ステップＳ１４では、操作内容特定部５６が、操作内容ＤＢ７０を参照し、操作内容を特定する。この場合、操作内容特定部５６は、ユーザが並べたカードの組み合わせに対応する操作内容を操作内容ＤＢ７０から特定する。例えば、図２（ｂ）のカードの組み合わせの場合には、操作内容「エアコンの設定温度を２℃下げる」が特定される。なお、本実施形態では、カードの並び順は、順不同でよいものとする。すなわち、例えば「もっと」、「涼しく」、「エアコン」の順にカードを並べたとしても、図２（ｂ）の「エアコン」、「もっと」、「涼しく」の順にカードを並べた場合と同一の操作内容が特定されるものとする。
【００２６】
次いで、ステップＳ１６では、指示出力部５８が、操作内容を機器操作指示装置２０に送信する。機器操作指示装置２０は、操作内容に基づいて、制御対象の機器に制御内容を指示する。これにより、機器がユーザの意図通りに制御されることになる。なお、制御装置５０は、ステップＳ１６が行われたタイミングでユーザに対して機器の操作が実行された旨を不図示の表示画面やスピーカを介して報知するようにしてもよい。
【００２７】
次いで、ステップＳ１８では、認識部５４が、操作履歴ＤＢ７２を更新する。この場合、例えば、図６の最下段に示すように、操作履歴ＤＢ７２を更新する。なお、この段階では、「更新フラグ」のフィールドは空であるものとする。なお、ステップＳ１８の処理は、ステップＳ１６の後に行われなくてもよい。例えば、ステップＳ１８の処理は、ステップＳ１２が行われた後、ステップＳ２０が行われる前に実行すればよい。
【００２８】
次いで、ステップＳ２０では、操作内容更新部６０が、操作内容ＤＢ７０の更新処理を実行する。このステップＳ２０においては、具体的には、図８のフローチャートに沿った処理が実行される。
【００２９】
図８の処理では、まず、ステップＳ３０において、操作内容更新部６０は、最新の操作履歴と同一内容のものを操作履歴ＤＢ７２から抽出する。例えば、「２０１６／１０／０１  １８：５０」の操作履歴が最新の操作履歴である場合、同一内容の「２０１６／１０／０１  １８：４５」の操作履歴が抽出される。
【００３０】
次いで、ステップＳ３２では、操作内容更新部６０が、抽出した操作履歴のうち、更新フラグがＯＮでない直近の操作履歴を特定する。上記例の場合、「２０１６／１０／０１  １８：４５」の操作履歴が特定される。
【００３１】
次いで、ステップＳ３４では、操作内容更新部６０が、ステップＳ３２において操作履歴が特定されたか否かを判断する。このステップＳ３４の判断が否定された場合には、操作内容更新部６０は、図８の全処理を終了し、図７のステップＳ１０に戻る。一方、ステップＳ３４の判断が肯定された場合には、操作内容更新部６０は、ステップＳ３６に移行する。
【００３２】
ステップＳ３６に移行すると、操作内容更新部６０は、最新の操作履歴と特定した操作履歴の時間間隔を算出する。上記例では、時間間隔として５分が算出される。
【００３３】
次いで、ステップＳ３８では、操作内容更新部６０が、算出した時間間隔が所定時間以内か否かを判断する。所定時間としては、例えば１０分などを設定することができる。このステップＳ３８の判断が否定された場合には、ユーザが同じ操作を繰り返したとはいえないため、操作内容ＤＢ７０を更新することなく、図８の処理を終了し、図７のステップＳ１０に戻る。一方、ステップＳ３８の判断が肯定された場合には、ユーザが同じ操作を繰り返した（操作内容に不満があった）と判断できるので、操作内容ＤＢ７０を更新するために、ステップＳ４０に移行する。
【００３４】
ステップＳ４０に移行すると、操作内容更新部６０は、操作内容ＤＢ７０の操作内容を変更する。例えば、図６のように、ユーザが「エアコン」「もっと」「涼しく」を所定時間の間に繰り返した場合には、１回の操作では、ユーザが涼しく感じなかったことを意味する。したがって、操作内容更新部６０は、図９（ａ）に示すように「エアコン」「もっと」「涼しく」の操作内容を「エアコンの設定温度を３℃下げる」に変更する。これにより、ユーザの操作履歴に基づいて、ユーザに適した操作内容を操作内容ＤＢ７０において定義しておくことができる。
【００３５】
次いで、ステップＳ４２では、操作内容更新部６０は、操作履歴ＤＢ７２の最新の操作履歴の「更新フラグ」のフィールドに「ＯＮ」を格納する。ここで、更新フラグが「ＯＮ」となっている操作履歴については、ステップＳ３２において特定されないようになっている。このため、例えば、図９（ｂ）に示すように、「２０１６／１０／０１  １８：５４」に同一の操作履歴があった場合には、更新フラグがＯＮでない直近の操作履歴「２０１６／１０／０１  １８：４５」との時間間隔が９分であるので、操作内容更新部６０は、操作内容ＤＢ７０の「エアコン」「もっと」「涼しく」の操作内容を「エアコンの設定温度を４℃下げる」に変更する。一方、図９（ｂ）の「２０１６／１０／０１  １８：５４」が「２０１６／１０／０１  １８：５６」であった場合には、更新フラグがＯＮでない直近の操作履歴「２０１６／１０／０１  １８：４５」との時間間隔が１１分となるので、操作内容更新部６０は、操作内容ＤＢ７０の更新を行わないようにする。
【００３６】
以上のように、ステップＳ４２まで行われた後は、図８の全処理を終了し、図７のステップＳ１０に戻る。そして、ステップＳ１０に戻った後は、上述したように、ステップＳ１０〜Ｓ２０の処理が繰り返し実行される。
【００３７】
なお、図８の処理では、同じ操作を所定時間内に繰り返した場合に、操作内容（制御内容）を変更する場合について説明したが、これに代えて、又はこれとともに、逆の内容のカードを所定時間内に並べた場合に、操作内容を変更してもよい。例えば、ユーザが「エアコン」「すごく」「涼しく」のカードを並べた所定時間以内に「エアコン」「暖かく」のカードを並べたとする。この場合には、「エアコン」「すごく」「涼しく」に対応する操作内容「エアコンの設定温度を３℃下げる」が、ユーザが不満に感じた内容であると判断し、例えば「エアコンの設定温度を２℃下げる」に変更するようにしてもよい。このようにしても、操作内容ＤＢ７０において、ユーザが満足する制御内容を設定することができる。
【００３８】
以上、詳細に説明したように、本第１の実施形態によると、制御装置５０の撮像画像取得部５２は、スキャナ１０の撮像装置１１０からカードの撮像画像を取得し、認識部５４は、取得した撮像画像に基づいて文字の認識処理を実行する。そして、操作内容特定部５６は、操作内容ＤＢ７０を参照して、認識した文字に対応する操作内容（制御対象及び制御内容）を特定し、指示出力部５８が、特定した操作内容を指示する制御信号を機器操作指示装置２０に送信する。これにより、本第１の実施形態では、ユーザはカードをカード載置面Ｓに並べ、スキャン開始ボタンを押すだけで、カードの組み合わせに対応する操作内容で機器を操作することが可能となる。したがって、リモコン操作よりも直感的に操作することができるため、お年寄り等であっても簡易に機器操作を行うことができる。この場合、カードを文字認識することから、音声認識を用いる場合のように周囲の雑音などの環境の影響による誤認識が生じず、精度よく機器を操作することが可能となる。
【００３９】
また、本第１の実施形態によると、操作内容更新部６０は、同一の認識結果が繰り返し得られた場合に、操作内容ＤＢ７０に記憶されている操作内容を更新する。これにより、ユーザの動作を考慮して、ユーザが希望する操作内容となるように操作内容ＤＢ７０を更新（学習）することが可能となる。
【００４０】
また、本第１の実施形態では、照明装置１１２を有するスキャナ１０を用いてカードを撮像するため、カードからの反射光を利用する場合（撮像する場合）に、照明条件を一定に維持することができる。これにより、一定の照明条件下でカードの撮像を常時行うことができるので、文字認識精度を向上することが可能となる。
【００４１】
また、本第１の実施形態では、カードに定型の文字が印刷されているため、操作内容ＤＢ７０を作成する際に、印刷されている文字の組み合わせのみを考慮すればよい。これにより、操作内容ＤＢ７０を簡易に作成することができる。
【００４２】
なお、上記第１の実施形態では、カードに文字が印刷されている場合について説明したが、これに限らず、ユーザがカードに手書きで文字を記載してもよい。この場合、操作内容ＤＢ７０において、ユーザが手書きしそうな文字に対応する操作内容を保持しておけばよい。
【００４３】
なお、上記第１の実施形態では、認識部５４が文字認識を行う場合について説明したが、これに限られるものではない。例えば、カードごとに文字を色分けしておき、認識部５４は、文字色を認識するようにしてもよい。この場合、操作内容ＤＢ７０においては、カードの文字色の組み合わせと、操作内容とを対応付けておくことで、操作内容特定部５６は、認識部５４が認識した文字色から、操作内容を特定することが可能である。なお、文字を色分けする場合に限らず、カードの背景や、カードの外縁部近傍に設けられている枠を色分けしてもよい。なお、上記第１の実施形態では、スキャナ１０を用いて、常時一定の環境下で撮像を行うようにしているため、色の認識を精度よく行うことができる。また、色認識を行うことで、カードの境目が認識しやすくなり、カード載置面Ｓに何枚のカードが並べられているかを認識しやすいという利点もある。
【００４４】
なお、上記第１の実施形態では、文字の認識結果と文字の色の認識結果の両方に基づいて、操作内容（制御対象と制御内容）を特定してもよい。この場合、例えば、操作内容ＤＢ７０では、「エアコン」の文字の色が「青」の場合と「赤」の場合とで、冷房の操作であるか、暖房の操作であるかを特定できるようにしてもよい。
【００４５】
なお、上記第１の実施形態では、カードに文字が印刷されている場合について説明したが、これに限らず、カードにはイラストや記号、写真などが印刷されていてもよい。例えば、機器の文字を機器のイラストや写真に変更してもよいし、「涼しい」や「暖かい」の文字を矢印「↑」、「↓」等に変更してもよい。この場合、認識部５４は、カードのイラストや記号、写真などを予め用意している参照画像（テンプレート画像）と比較して、カードの種類を認識し、操作内容特定部５６は、認識結果に応じた操作内容を操作内容ＤＢ７０に基づいて特定すればよい。
【００４６】
なお、上記第１の実施形態においては、操作内容特定部５６は、カードの向きや、カードの並べ方（位置）を更に考慮して、操作内容を決定するようにしてもよい。この場合、操作内容特定部５６は、例えば、図１０（ａ）、図１０（ｂ）に示すようなルールを示したテーブルを更に参照するものとする。図１０（ａ）のルールは、機器を表すカード（例えば「エアコン」や「扇風機」）の向きや位置と、操作内容とを対応付けるルールである。例えば、エアコンのカードを図１１（ａ）に示すように左向きにして並べた場合には、エアコンの「風向きを左方向に」するという操作内容が操作内容ＤＢ７０の操作内容に追加される。また、例えば、エアコンのカードを他のカードよりも上に配置した場合には、エアコンの「風向きを上方向に」するという操作内容が操作内容ＤＢ７０の操作内容に追加される。一方、図１０（ｂ）のルールは、程度を表すカード（例えば、「もっと」や「すごく」）の位置と、操作内容とを対応付けるルールである。例えば、「もっと」のカードを図１１（ｂ）に示すように他のカードよりも上に配置した場合には、エアコンの設定温度を操作内容ＤＢ７０で規定されている値よりも大きく変更するようにする。また、例えば、「もっと」のカードを他のカードよりも下に配置した場合には、エアコンの設定温度を操作内容ＤＢ７０で規定されている値よりも小さく変更するようにする。このように、カードの向きや並べ方を更に考慮することで、機器をより詳細に操作することができる。この場合、ユーザは、カードを直感的に並べればよいため、お年寄り等であっても簡易に機器の複雑な操作を行うことが可能となる。
【００４７】
なお、上記第１の実施形態では、カードの少なくとも一部に代えて立体物（例えば、機器のミニチュア、矢印の模型等）を並べるようにしてもよい。この場合にも、制御装置５０は、撮像画像を用いて物体認識した結果と、物体認識結果と操作内容とを紐づける操作内容ＤＢとに基づいて操作内容を特定するようにすればよい。
【００４８】
≪第２の実施形態≫
次に、第２の実施形態について、図１２〜図１４に基づいて、詳細に説明する。本第２の実施形態の機器制御システムは、第１の実施形態と同様の構成を有し、同様の処理（図７、図８）を実行するが、ユーザが簡易な操作で操作内容ＤＢ７０に新たな操作内容を追加できる点が、第１の実施形態と異なる。
【００４９】
本第２の実施形態では、一例として、ユーザがある動作（例えば勉強）をするときに、１又は複数の機器を動作に適した状態にする操作内容を登録するものとする。
【００５０】
図１２は、ユーザが操作内容を追加する際の制御装置５０の処理を示すフローチャートである。図１２の処理では、まず、ステップＳ５０において、認識部５４は、登録開始カードが撮像されるまで待機する。例えば、ユーザが図１３（ａ）に示すように「登録開始」「勉強する」のカードを並べて、スキャン開始ボタンを押したとする。この場合、スキャナ１０は、「登録開始」「勉強する」のカードを撮像する。この場合、認識部５４は、「登録開始」のカードを認識するため、ステップＳ５２に移行する。
【００５１】
ステップＳ５２に移行すると、認識部５４は、登録モードを開始する。次いで、ステップＳ５４では、認識部５４が、スキャナ１０から撮像画像が送信されてくるまで待機する。認識部５４が撮像画像取得部５２を介して撮像画像を取得すると、ステップＳ５６に移行する。なお、ここでは、例えば図１３（ｂ）に示すような「テレビ」「オフ」のカードの撮像画像を取得したものとする。
【００５２】
ステップＳ５６に移行すると、認識部５４は、撮像画像を文字認識し、「登録終了」カードが撮像されたか否かを判断する。このステップＳ５６の判断が否定されると、ステップＳ５８に移行する。
【００５３】
ステップＳ５８に移行すると、操作内容更新部６０は、認識部５４が認識したカード情報を取得し、一時記憶する。その後は、ステップＳ５４に戻る。なお、本実施形態においては、ステップＳ５４、ステップＳ５６：否定、ステップＳ５８を繰り返す間に、図１３（ｃ）に示す「エアコン」、「オン」、図１３（ｄ）に示す「照明」、「オン」のカード情報が認識され、一時記憶されたものとする。そして、ユーザが図１３（ｅ）に示すように「登録終了」「勉強する」のカードを並べ、並べられたカードをスキャナ１０が撮像すると、ステップＳ５６の判断が肯定され、ステップＳ６０に移行する。
【００５４】
ステップＳ６０に移行すると、操作内容更新部６０は、「登録終了」カードとともに撮像されたカードの内容と、一時記憶していた内容とを対応付けて操作内容ＤＢ７０に格納する。具体的には、図１４の最下段に示すように、操作内容ＤＢ７０に、カード「勉強する」の操作内容として、「テレビをオフ、エアコンをオン、照明のスイッチをオン」を追加（登録）する。
【００５５】
以上のような図１２の処理が実行されることで、ユーザは、勉強をする際に、「勉強する」カードをスキャナ１０でスキャンするという簡単な操作を行うことで、テレビ、エアコン及び照明という複数の機器を予め定めた状態にすることが可能となる。
【００５６】
なお、上記第２の実施形態では、「勉強する」以外の種々の動作に対しても、操作内容を対応づけることができる。例えば、「寝る」に対して、操作内容「電気を消す、エアコンをおやすみモードにする」などを対応付けることができる。
【００５７】
なお、上記第１、第２の実施形態では、図１５（ａ）に示すようなテーブルにおいて、人と機器とを紐づけておいてもよい。例えば、図１５（ａ）に示すテーブルにおいては、おばあちゃんが利用する（例えばおばあちゃんの部屋にある）機器として、エアコン１、照明１、テレビ１、扇風機１が登録されているものとする。また、お父さんとお母さんが利用する（例えばリビングにある）機器として、エアコン２、照明２、テレビ２が登録されているものとする。
【００５８】
この場合において、ユーザが図１５（ｂ）に示すように、「おばあちゃん」、「エアコン」、「涼しく」のカード並べ、スキャナ１０を用いて撮像したとする。この場合、操作内容特定部５６は、図１５（ａ）のテーブルと操作内容ＤＢ７０とを参照して、「エアコン１の設定温度を１℃下げる」という操作内容を特定することができる。
【００５９】
このように、人ごとに機器を紐づけることで、制御対象の機器を具体的に特定して操作することが可能となる。
【００６０】
なお、各部屋に人の存在を検出するセンサやカメラなどが設置されている場合には、センサやカメラ等を用いて検出される情報を用いて機器を制御するようにしてもよい。例えば、図１５（ｂ）に示すように、「おばあちゃん」、「エアコン」、「涼しく」のカードがスキャンされたとする。この場合、センサやカメラ等を用いておばあちゃんの存在位置を検知し、おばあちゃんの存在位置近傍のエアコンの設定温度を１℃下げるようにしてもよい。
【００６１】
≪第３の実施形態≫
次に、第３の実施形態について、図１６〜図１８に基づいて詳細に説明する。本第３の実施形態の機器制御システムは、第１の実施形態と同様の構成を有するが、スキャンする対象が絵本であること、図５の操作内容ＤＢ７０に代えて、図１７の操作内容ＤＢ７０’を用いること、及び制御装置５０が図１８のフローチャートに沿った処理を実行することが、第１の実施形態と異なる。
【００６２】
本第３の実施形態では、ユーザは、図１６に示すような絵本を図２のカード載置面Ｓに置いて、読むものとする。スキャナ１０は、ユーザが絵本のページをめくり、スキャン開始ボタンを押すたびに、絵本をスキャン（撮像）する。なお、スキャナ１０は、ユーザが絵本のページをめくるのを自動的に検知し、ページがめくられる度に絵本をスキャンすることとしてもよい。
【００６３】
制御装置５０は、図１８の処理を実行する。具体的には、ステップＳ１１０において、撮像画像取得部５２は、スキャナ１０から撮像画像が送信されてくるまで待機する。撮像画像取得部５２がスキャナ１０から撮像画像を取得すると、ステップＳ１１２において、認識部５４が、撮像画像に基づいて絵本の隅に設けられているマーク２１０の色を認識する。ここでは、一例として「赤」を認識したものとする。
【００６４】
次いで、ステップＳ１１４では、操作内容特定部５６が、操作内容ＤＢ７０’を参照し、操作内容を特定する。ここで、操作内容ＤＢ７０’は、図１７に示すように、マーク２１０の色と、操作内容（制御対象と制御内容）とが紐づけられたデータベースである。ステップＳ１１２において、マーク２１０の色「赤」が認識された場合、操作内容特定部５６は、操作内容ＤＢ７０’を参照して、操作内容「暖房をつける、照明をオレンジにする」を特定する。
【００６５】
次いで、ステップＳ１１６では、指示出力部５８が、操作内容を機器操作指示装置２０に送信する。これにより、エアコンの暖房が作動し、照明がオレンジとなるので、図１６に示すような、太陽に照らされて主人公が暑がっている状況を示す絵本のページを読んでいるユーザの周囲の環境を絵本の内容に合わせて調整することが可能となっている。
【００６６】
なお、上記第３の実施形態では、複数のマークの色の組み合わせに応じて操作内容を異ならせてもよい。この場合、例えば、青と赤の場合や黄色と赤の場合に、操作内容が異なるように操作内容ＤＢ７０’に操作内容を登録するようにすればよい。また、マークの色と形の組み合わせに応じて操作内容を異ならせてもよい。この場合、例えば、丸型の赤色マークと、星型の赤色マークとで、操作内容が異なるように操作内容ＤＢ７０’に操作内容を登録するようにすればよい。
【００６７】
なお、上記第３の実施形態では、マークの色に基づいて操作内容を変更する場合について説明したが、これに限らず、ページ全体の色味に基づいて操作内容を変更することとしてもよい。ページ全体の色味は、ページ全体に占める各色の割合（各色のピクセル数の合計）から算出することができる。
【００６８】
なお、上記第３の実施形態では、色に代えて、又は色とともに、絵本に記載されている文字に基づいて、操作内容を変更してもよい。例えば、「太陽がギラギラ」という文字がある場合に、操作内容「暖房をつける、照明をオレンジにする」が特定されるように操作内容ＤＢ７０’を作成するようにすればよい。
【００６９】
なお、上記第３の実施形態においては、機器として、香料を調合することで異なる複数の臭いを発生させることができる臭気発生装置を採用してもよい。この場合、臭気発生装置が、絵本のシーンに合った臭いを発生させるように、操作内容ＤＢに操作内容を登録しておけばよい。
【００７０】
なお、上記第３の実施形態では、絵本にマークを印刷してもよいし、マークを印刷する代わりにユーザ等がシールを貼付するようにしてもよい。
【００７１】
なお、上記第３の実施形態は、第１の実施形態（及び第２の実施形態）と併用することができる。例えば、スキャナ１０が撮像した媒体がカードであるか絵本であるかを、媒体の大きさや媒体の枚数から判定し、カードである場合には、図７、図８の処理を実行し、絵本である場合には、図１８の処理を実行するようにしてもよい。このようにすることで、カードに合わせた機器制御と、絵本に合わせた機器制御を自動的に切り替えることが可能となる。
【００７２】
なお、上記第１〜第３の実施形態では、スキャナ１０を用いてカードや絵本を撮像する場合について説明したが、これに限らず、その他の撮像装置（デジタルカメラやスマートフォンが備えるカメラなど）を用いてカードや絵本を撮像してもよい。
【００７３】
なお、上記第１〜第３の実施形態で説明した制御装置５０は、スキャナ１０や機器操作指示装置２０とインターネット等のネットワークを介して接続されてもよい。すなわち、制御装置５０をクラウドサーバにより実現してもよい。この場合、制御装置５０は、家庭内に設置されたスキャナ１０からネットワークを介して撮像画像を取得し、撮像画像に基づく操作内容を特定した後、操作内容をネットワークを介して機器操作指示装置２０に送信するようにしてもよい。
【００７４】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
【００７５】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００７６】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００７７】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【００７８】
なお、以上の第１〜第３の実施形態の説明に関して、更に以下の付記を開示する。
（付記１）  撮像装置による撮像画像を取得し、
取得した前記撮像画像に基づいて文字及び／又は色の認識処理を実行し、
満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識処理により認識した文字及び／又は色が満たす条件に応じて制御対象及び制御内容を決定し、
決定した前記制御対象に対して前記制御内容の制御信号を送信する、
処理をコンピュータに実行させるための制御プログラム。
（付記２）  前記取得する処理では、文字及び／又は色を認識可能なカードを前記撮像装置が撮像した撮像画像を取得する、ことを特徴とする付記１に記載の制御プログラム。
（付記３）  前記認識処理では、前記カードの向き及び／又は位置を更に認識することを特徴とする付記２に記載の制御プログラム。
（付記４）  前記認識処理において同一の認識結果が繰り返し得られた場合に、前記記憶部に記憶されている制御内容を更新する、
処理を前記コンピュータに更に実行させるための付記１〜３のいずれかに記載の制御プログラム。
（付記５）  前記認識処理において第１の認識結果が得られてから所定時間内に前記第１の認識結果とは逆の意味の第２の認識結果が得られた場合に、前記記憶部に記憶されている制御内容を更新する、
処理を前記コンピュータに更に実行させるための付記１〜４のいずれかに記載の制御プログラム。
（付記６）  前記取得する処理では、前記撮像装置の撮像領域が照明装置により照明された状態で前記撮像装置により撮像された撮像画像を取得する、ことを特徴とする付記１〜５のいずれかに記載の制御プログラム。
（付記７）  撮像装置による撮像画像を取得し、
取得した前記撮像画像に基づいて絵及び／又は立体物の認識処理を実行し、
満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識処理により認識した絵及び／又は立体物が満たす条件に応じて制御対象及び制御内容を決定し、
決定した前記制御対象に対して前記制御内容の制御信号を送信する、
処理をコンピュータに実行させるための制御プログラム。
（付記８）  撮像装置による撮像画像を取得し、
取得した前記撮像画像に基づいて文字及び／又は色の認識処理を実行し、
満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識処理により認識した文字及び／又は色が満たす条件に応じて制御対象及び制御内容を決定し、
決定した前記制御対象に対して前記制御内容の制御信号を送信する、
処理をコンピュータが実行することを特徴とする制御方法。
（付記９）  撮像装置による撮像画像を取得する取得部と、
前記取得部が取得した前記撮像画像に基づいて文字及び／又は色の認識処理を実行する認識部と、
満たす条件に応じて制御対象と制御内容を記憶した記憶部を参照して、前記認識部が認識した文字及び／又は色が満たす条件に応じて制御対象及び制御内容を決定する決定部と、
前記決定部が決定した前記制御対象に対して前記制御内容の制御信号を送信する送信部と、
を備える制御装置。
（付記１０）  前記取得部は、文字及び／又は色を認識可能なカードを前記撮像装置が撮像した撮像画像を取得する、ことを特徴とする付記９に記載の制御装置。
（付記１１）  前記認識部は、前記カードの向き及び／又は位置を更に認識することを特徴とする付記１０に記載の制御装置。
（付記１２）  前記認識部による前記認識処理により同一の認識結果が繰り返し得られた場合に、前記記憶部に記憶されている制御内容を更新する第１の更新部、を更に備える付記９〜１１のいずれかに記載の制御装置。
（付記１３）  前記認識部による前記認識処理において第１の認識結果が得られてから所定時間内に前記第１の認識結果とは逆の意味の第２の認識結果が得られた場合に、前記記憶部に記憶されている制御内容を更新する第２の更新部を更に備える付記９〜１２のいずれかに記載の制御装置。
（付記１４）  前記取得部は、前記撮像装置の撮像領域が照明装置により照明された状態で前記撮像装置により撮像された撮像画像を取得する、ことを特徴とする付記９〜１３のいずれかに記載の制御装置。
【符号の説明】
【００７９】
５０  制御装置
５２  撮像画像取得部（取得部）
５４  認識部
５６  操作内容特定部（決定部）
５８  指示出力部（送信部）
６０  操作内容更新部（第１の更新部、第２の更新部）
７０  操作内容ＤＢ（記憶部）
１１０  撮像装置
１１２  照明装置
【図１】
2018121180.tif 000003
【図２】
2018121180.tif 000004
【図３】
2018121180.tif 000005
【図４】
2018121180.tif 000006
【図５】
2018121180.tif 000007
【図６】
2018121180.tif 000008
【図７】
2018121180.tif 000009
【図８】
2018121180.tif 000010
【図９】
2018121180.tif 000011
【図１０】
2018121180.tif 000012
【図１１】
2018121180.tif 000013
【図１２】
2018121180.tif 000014
【図１３】
2018121180.tif 000015
【図１４】
2018121180.tif 000016
【図１５】
2018121180.tif 000017
【図１６】
2018121180.tif 000018
【図１７】
2018121180.tif 000019
【図１８】
2018121180.tif 000020