(57)【要約】【課題】ユーザが求める状態に実空間を容易に移行できるようにする。【解決手段】情報処理装置は、画像を受信する受信手段と、受信した画像に記載された情報に基づいて実空間内の状態を制御する制御手段とを有する。【選択図】図７
2019053426.tif 000002
【特許請求の範囲】
【請求項１】
画像を受信する受信手段と、
受信した前記画像に記載された情報に基づいて実空間内の状態を制御する制御手段と
を有する情報処理装置。
【請求項２】
前記制御手段は、前記画像内における自機の配置に応じ、自機の位置を移動させる、請求項１に記載の情報処理装置。
【請求項３】
前記制御手段は、自機が有する移動手段を制御して自機の位置を移動させる、請求項２に記載の情報処理装置。
【請求項４】
前記制御手段は、実空間内に存在する他機を制御して自機の位置を移動させる、請求項２に記載の情報処理装置。
【請求項５】
前記制御手段は、実空間内における自機の位置をセンサより取得する、請求項１に記載の情報処理装置。
【請求項６】
前記制御手段は、自機の位置と空間の情報との照合により自機の位置を移動させる、請求項５に記載の情報処理装置。
【請求項７】
前記制御手段は、前記画像内の被写体の配置に応じ、他の物体の位置を移動させる、請求項１に記載の情報処理装置。
【請求項８】
前記制御手段は、自機が有する可動手段を制御して他の物体の位置を移動させる、請求項７に記載の情報処理装置。
【請求項９】
前記制御手段は、他の物体の移動手段又は他の物体に関連付けられた移動手段を制御して他の物体の位置を移動させる、請求項７に記載の情報処理装置。
【請求項１０】
前記制御手段は、実空間内における他の物体の位置をセンサより取得する、請求項１に記載の情報処理装置。
【請求項１１】
前記制御手段は、前記他の物体の位置と空間の情報との照合により当該他の物体の位置を移動させる、請求項１０に記載の情報処理装置。
【請求項１２】
前記制御手段は、前記画像内における自機の外観に応じ、自機の状態を制御する、請求項１に記載の情報処理装置。
【請求項１３】
前記制御手段は、前記画像内における他の物の外観に応じ、他の物体の状態を制御する、請求項１に記載の情報処理装置。
【請求項１４】
前記制御手段は、前記画像の被写体には含まれない物体が実空間内に存在する場合、予め定めた処理を実行する、請求項１に記載の情報処理装置。
【請求項１５】
前記予め定めた処理は発見された前記物体の移動である、請求項１４に記載の情報処理装置。
【請求項１６】
前記予め定めた処理は発見された前記物体の存在の通知である、請求項１４に記載の情報処理装置。
【請求項１７】
制御に求める条件がテキストによって与えられる、請求項１に記載の情報処理装置。
【請求項１８】
制御に求める条件が音声によって与えられる、請求項１に記載の情報処理装置。
【請求項１９】
前記制御手段は、画像ファイルの属性情報にワークフロー処理を規定する情報が含まれる場合、当該情報が関連付けられた特定のオブジェクトに対応する機器を制御する、請求項１に記載の情報処理装置。
【請求項２０】
前記画像ファイルはＪＰＥＧフォーマットに準拠し、前記ワークフロー処理を規定する情報はＪＳＯＮで記述されている、請求項１９に記載の情報処理装置。
【請求項２１】
前記画像が動画像の場合、前記制御手段は、各再生時刻における画像の状態を再現するように実空間内の状態を制御する、請求項１に記載の情報処理装置。
【請求項２２】
画像を受信する受信手段と、
前記受信手段で受信した画像に記載された情報を読み出し、実空間における他の物体の状態を制御する制御手段と
を有する情報処理装置。
【請求項２３】
コンピュータを、
画像を受信する受信手段と、
前記受信手段で受信した画像に記載された情報に基づいて実空間内の状態を制御する制御手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
機器の操作には、一般に、専用のリモートコントローラ（以下「リモコン」という）が用意される。各リモコンには、機能別にボタン類が用意されており、ユーザは目的とする動作に応じたボタンを操作している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１２００６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ユーザが求める状態に実空間を容易に移行できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、画像を受信する受信手段と、受信した前記画像に記載された情報に基づいて実空間内の状態を制御する制御手段とを有する情報処理装置である。
請求項２に記載の発明は、前記制御手段は、前記画像内における自機の配置に応じ、自機の位置を移動させる、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記制御手段は、自機が有する移動手段を制御して自機の位置を移動させる、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記制御手段は、実空間内に存在する他機を制御して自機の位置を移動させる、請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記制御手段は、実空間内における自機の位置をセンサより取得する、請求項１に記載の情報処理装置である。
請求項６に記載の発明は、前記制御手段は、自機の位置と空間の情報との照合により自機の位置を移動させる、請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記制御手段は、前記画像内の被写体の配置に応じ、他の物体の位置を移動させる、請求項１に記載の情報処理装置である。
請求項８に記載の発明は、前記制御手段は、自機が有する可動手段を制御して他の物体の位置を移動させる、請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記制御手段は、他の物体の移動手段又は他の物体に関連付けられた移動手段を制御して他の物体の位置を移動させる、請求項７に記載の情報処理装置である。
請求項１０に記載の発明は、前記制御手段は、実空間内における他の物体の位置をセンサより取得する、請求項１に記載の情報処理装置である。
請求項１１に記載の発明は、前記制御手段は、前記他の物体の位置と空間の情報との照合により当該他の物体の位置を移動させる、請求項１０に記載の情報処理装置である。
請求項１２に記載の発明は、前記制御手段は、前記画像内における自機の外観に応じ、自機の状態を制御する、請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、前記制御手段は、前記画像内における他の物の外観に応じ、他の物体の状態を制御する、請求項１に記載の情報処理装置である。
請求項１４に記載の発明は、前記制御手段は、前記画像の被写体には含まれない物体が実空間内に存在する場合、予め定めた処理を実行する、請求項１に記載の情報処理装置である。
請求項１５に記載の発明は、前記予め定めた処理は発見された前記物体の移動である、請求項１４に記載の情報処理装置である。
請求項１６に記載の発明は、前記予め定めた処理は発見された前記物体の存在の通知である、請求項１４に記載の情報処理装置である。
請求項１７に記載の発明は、制御に求める条件がテキストによって与えられる、請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、制御に求める条件が音声によって与えられる、請求項１に記載の情報処理装置である。
請求項１９に記載の発明は、前記制御手段は、画像ファイルの属性情報にワークフロー処理を規定する情報が含まれる場合、当該情報が関連付けられた特定のオブジェクトに対応する機器を制御する、請求項１に記載の情報処理装置である。
請求項２０に記載の発明は、前記画像ファイルはＪＰＥＧフォーマットに準拠し、前記ワークフロー処理を規定する情報はＪＳＯＮで記述されている、請求項１９に記載の情報処理装置である。
請求項２１に記載の発明は、前記画像が動画像の場合、前記制御手段は、各再生時刻における画像の状態を再現するように実空間内の状態を制御する、請求項１に記載の情報処理装置である。
請求項２２に記載の発明は、画像を受信する受信手段と、前記受信手段で受信した画像に記載された情報を読み出し、実空間における他の物体の状態を制御する制御手段とを有する情報処理装置である。
請求項２３に記載の発明は、コンピュータを、画像を受信する受信手段と、前記受信手段で受信した画像に記載された情報に基づいて実空間内の状態を制御する制御手段として機能させるためのプログラムである。
【発明の効果】
【０００６】
請求項１記載の発明によれば、ユーザが求める状態に実空間を容易に移行できる。
請求項２記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項３記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項４記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項５記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項６記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項７記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項８記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項９記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項１０記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項１１記載の発明によれば、画像を与えるだけで機器の移動を指示できる。
請求項１２記載の発明によれば、画像を与えるだけで機器の状態の制御を指示できる。
請求項１３記載の発明によれば、画像を与えるだけで機器の状態の制御を指示できる。
請求項１４記載の発明によれば、画像を与えるだけで予め定めた動作を機器に実行させることができる。
請求項１５記載の発明によれば、画像を与えるだけで予め定めた動作を機器に実行させることができる。
請求項１６記載の発明によれば、画像を与えるだけで予め定めた動作を機器に実行させることができる。
請求項１７記載の発明によれば、意図しない制御の実行を回避できる。
請求項１８記載の発明によれば、意図しない制御の実行を回避できる。
請求項１９記載の発明によれば、機器に用意されている機能を超えた動作を指示できる。
請求項２０記載の発明によれば、機器に用意されている機能を超えた動作を指示できる。
請求項２１記載の発明によれば、実空間の状態を時間の経過に伴って変更させることができる。
請求項２２記載の発明によれば、ユーザが求める状態に実空間を容易に移行できる。
請求項２３記載の発明によれば、ユーザが求める状態に実空間を容易に移行できる。
【図面の簡単な説明】
【０００７】
【図１】本実施の形態で使用する画像処理システムの構成例を示す図である。
【図２】画像形成装置のハードウェア構成の一例を示すブロック図である。
【図３】実施の形態１における画像形成装置を構成する制御部における機能構成の一例を示す図である。
【図４】コンピュータの操作画面上に表示された静止画像にマウスポインタを用いて掃除の範囲を入力する様子を説明する図である。
【図５】いわゆるスキャナによる写真の読み込みを説明する図である。
【図６】実施の形態１で使用する画像形成装置で実行される処理動作を説明するフローチャートである。
【図７】本実施の形態による動作の様子を説明する図である。（ａ）は画像形成装置の移動に使用する写真の例を示し、（ｂ）は実空間における画像形成装置の移動の様子を示す。
【図８】実施の形態２に係る画像処理システムの構成を示す図である。
【図９】ヒト型のロボットのハードウェア構成の一例を示すブロック図である。
【図１０】ロボットを構成する制御部における機能構成の一例を示す図である。
【図１１】ロボットで実行される処理動作を説明するフローチャートである。
【図１２】実施の形態２による動作の様子を説明する図である。（ａ）はロボットに写真を提示する場面を示し、（ｂ）はロボットによる移動の終了後の場面を示す。
【図１３】音声を用いた移動の条件の指定を説明する図である。
【図１４】実施の形態３における画像形成装置を構成する制御部における機能構成の一例を示す図である。
【図１５】実施の形態３に係る画像形成装置で実行される処理動作を説明するフローチャートである。
【図１６】実施の形態３による動作の様子を説明する図である。（ａ）は画像形成装置に写真を提示する場面を示し、（ｂ）は画像形成装置が状態を変化させた後の場面を示す。
【図１７】実施の形態４におけるロボットを構成する制御部における機能構成の一例を示す図である。
【図１８】実施の形態４に係るロボットで実行される処理動作を説明するフローチャートである。
【図１９】実施の形態４による動作の様子を説明する図である。（ａ）はロボットに写真を提示する場面を示し、（ｂ）はロボットが画像形成装置の状態を変化させた後の場面を示す。
【図２０】実施の形態５におけるロボットで実行される処理動作を説明するフローチャートである。
【図２１】実施の形態５による動作の様子を説明する図である。
【図２２】実施の形態５による他の動作の様子を説明する図である。（ａ）はロボットが紙ゴミを発見した場面を示し、（ｂ）はロボットが紙ゴミを拾って他の場所に移動する場面を示す。
【図２３】本実施の形態で使用するＪＰＥＧファイルのデータ構造を示す図である。
【図２４】実施の形態６におけるロボットを構成する制御部の機能構成の一例を示す図である。
【図２５】実施の形態６における制御部によって実行される処理動作の一例を示すフローチャートである。
【図２６】ワークフロー処理を規定する情報の記録に用いられる情報処理装置を構成する制御部の機能構成の一例を示すブロック図である。
【図２７】ユーザによるオブジェクトの領域の指定の例を説明する図である。
【図２８】ワークフロー処理を規定する情報の属性情報への書き込みを説明する図である。（ａ）はＪＰＥＧファイルの属性情報に情報が含まれる前のデータ構造を示し、（ｂ）はＪＰＥＧファイルの属性情報に情報が追加された状態を示す。
【図２９】中継装置としてサーバを用いるシステム構成を説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜画像処理システムの構成＞
図１を用いて、実施の形態１に係る画像処理システム１００の構成について説明する。
図１は、本実施の形態で使用する画像処理システム１００の構成例を示す図である。
画像処理システム１００は、静止画像１１１（例えば電子写真）の表示に使用されるノート型のコンピュータ１１０と、静止画像１１１を用紙に印刷した写真１２０と、静止画像１１１の撮影場所に対応する実空間１５０内に存在する機器とで構成されている。
【０００９】
コンピュータ１１０は、実空間１５０と同じ空間に存在してもよいし、異なる空間に存在してもよい。
図１ではコンピュータ１１０の外観がノート型のコンピュータの例を示しているが、コンピュータ１１０の外観に関する制限はなく、据え置き型のコンピュータ、スマートフォン、ゲーム機などでもよい。
【００１０】
図１に示す実空間１５０は、屋内の一室を想定している。実空間１５０には機器だけでなく植物も存在している。
実空間１５０には、用紙等の記録材に画像を形成する機能や光学的に原稿の画像を読み取る機能などを有する画像形成装置１５１と、放送番組等を表示する表示装置１５２と、動画像や音（以下「動画像など」という）を記録媒体に記録し又は記録媒体から動画像などを再生する録画再生機１５３と、植木１５５と、空調機１５６と、監視カメラ１５７とが存在している。
【００１１】
以下では、実空間１５０に存在する複数の機器のうち画像形成装置１５１を代表例として装置構成や動作を説明する。
図２は、画像形成装置１５１のハードウェア構成の一例を示すブロック図である。
画像形成装置１５１は、制御部２０１と、外部との通信に使用される通信インターフェース（通信Ｉ／Ｆ）２０２と、表示部２０４に操作画面等を表示する表示部インターフェース（表示部Ｉ／Ｆ）２０３と、操作部２０６に対するユーザの操作を受け付ける操作部インターフェース（操作部Ｉ／Ｆ）２０５を有している。
制御部２０１と各部は、バス２１７を通じて接続されている。
【００１２】
制御部２０１は、いわゆるコンピュータであり、不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）により構成されている。ＲＯＭには、ＣＰＵにより実行されるＢＩＯＳ（Basic Input/Output System）やファームウェアが記憶されている。ＲＡＭはプログラムの作業領域として用いられる。制御部２０１は、ファームウェアなどの実行を通じて各部の動作を制御する。
通信インターフェース（通信Ｉ／Ｆ）２０２は、例えばいわゆる携帯電話網、無線通信網（ＩＯＴ（Intranet of Things）ネットワーク、ホームネットワークなど）との通信に用いる通信装置で構成され、その通信には例えばWifi（登録商標）、Bluetooth（登録商標）、ZigBee（登録商標）などを使用する。
表示部２０４は、例えば液晶ディスプレイや有機ＥＬディスプレイ等で構成される。
操作部２０６は、例えば操作ボタン、操作キー、タッチパネル等で構成される。
【００１３】
画像形成装置１５１は、不揮発性の記憶装置の一例であるＨＤＤ（ハードディスク装置）２０７と、例えば電子写真方式やインクジェット方式で画像を印刷する印刷機構２０９を駆動する印刷機構インターフェース（印刷機構Ｉ／Ｆ）２０８とを有している。
ここで、印刷機構２０９は、イエロー(Ｙ）、マゼンタ(Ｍ）、シアン(Ｃ）、黒(Ｋ）の４色に対応する印刷ユニットを有している。電子写真方式の各ユニットには、感光体ドラムと、感光体ドラムの表面を帯電する帯電器と、帯電後の感光体ドラムにレーザ光を照射して画像を描画する露光部と、描画された画像をトナー像として現像する現像器と、トナー像を用紙Ｐに転写する転写部と、転写後のトナー像を用紙Ｐに定着する定着器が備えられている。
【００１４】
画像形成装置１５１は、記録材である用紙を搬送する搬送機構２１１を駆動する搬送機構インターフェース２１０と、写真１２０（図１参照）から画像を読み取る画像読取機構２１３を駆動する読取機構インターフェース（読取機構Ｉ／Ｆ）２１２と、移動機構２１５を駆動する移動機構インターフェース（移動機構Ｉ／Ｆ）２１４と、進行方向に存在する障害物（人やその他の物体）の存在を検知するセンサ部２１６も有している。
ここでの画像読取機構２１３は、いわゆるスキャナである。
移動機構２１５は、例えば筐体の底面に配置される。移動機構２１５は、本体の移動に使用する例えば４つの車輪と、各車輪を駆動する４つのモータと、移動方向を調整する操舵機構などを有している。移動機構２１５は移動手段の一例である。
【００１５】
センサ部２１６は、例えばパルス状のレーザ光（電磁波）を照射した際に周囲に存在する他の物体が発生する散乱光を測定することにより、他の物体までの距離や対象とする物体の性質を分析する光学ユニットを使用する。この種の光学ユニットは、ＬＩＤＡＲ（Light Detection and Ranging）とも呼ばれる。
センサ部２１６は、移動方向を撮影するカメラであってもよい。カメラは、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどで構成される。カメラで撮影された画像データを処理することにより、障害物の検出や障害物までの距離を計算することができる。
【００１６】
図３は、実施の形態１における画像形成装置１５１（図１参照）を構成する制御部２０１における機能構成の一例を示す図である。
本実施の形態における制御部２０１は、外部から画像データを入力する画像受信部２２１と、受信した画像内における被写体の配置を認識する配置認識部２２２と、実空間１５０内における自機の位置を検出する位置検出部２２３と、認識された配置に基づいて自機の移動を制御する移動制御部２２４とを有している。
ここでの画像受信部２２１は受信手段の一例であり、配置認識部２２２と位置検出部２２３と移動制御部２２４は制御手段の一例である。
【００１７】
画像受信部２２１は、画像読取機構２１３（図２参照）によって読み取られた写真１２０（図１参照）の画像データ、又は、通信インターフェース（通信Ｉ／Ｆ）２０２（図２参照）を通じてコンピュータ１１０（図１参照）から受信した画像ファイルに対応する画像データを入力する。
配置認識部２２２は、画像データを処理して画像（電子写真）に含まれるオブジェクトを認識すると共に、画像内におけるオブジェクト間の位置関係を認識する。
【００１８】
配置認識部２２２は、例えば画像データベースに蓄積されているテンプレート画像（少なくとも自機の画像）と入力された画像データを照合させる方法、入力された画像をオブジェクト別に用意された判別プログラム（機械学習やディープラーニング等の手法を利用して予め用意されている）に入力する方法を使用して、画像内からオブジェクトを認識する。
また、配置認識部２２２は、あるオブジェクトが他のオブジェクトに対して画像内で左側に位置するか右側に位置するかの情報、オブジェクトが床面と接している位置が他のオブジェクトが床面と接している位置に対して手前側であるか奥側であるかの情報などを収集し、オブジェクト間の位置関係として認識する。
【００１９】
なお、奥行の情報は、例えば画像データをＨＳＶ（Hue, Saturation, Value）色空間に変換した後、当該色空間上における色相、彩度、輝度（明度）についての分散値を特徴量として計算することにより特定してもよい。
ここでの配置認識部２２２には、画像（電子写真）に記載されているテキストを文字認識する機能も設けられている。
また、後述する間取り図の利用が可能であって、監視カメラ１５７（図１参照）の画像などを利用して各オブジェクトの位置を間取り図上で特定できる場合には、配置認識部２２２は、各オブジェクトの位置関係を間取り図上の位置情報として取得してもよい。
【００２０】
位置検出部２２３は、例えば予め用意された間取り図や監視カメラ１５７（図１参照）から取得される画像データに基づいて自機の位置を認識する。
ここで、間取り図は、例えばセンサ部２１６（ＬＩＤＡＲ）を有効にした画像形成装置１５１を実空間１５０内で移動させることにより、例えば実空間１５０の真ん中に立って部屋の隅を位置入力しながら３６０°撮影するアプリケーション（例えばMagicPlan（商標））を用いることにより、例えば設計図書を取得することにより用意できる。
また、監視カメラ１５７に写っている被写体を特徴点として使用し、当該特徴点と自機との位置関係から実空間１５０内における自機の位置を決定してもよい。監視カメラ１５７との通信には例えばＩＯＴ（Intranet of Thing）ネットワーク通信を使用する。
また、室内用のＧＰＳシステムを利用できる場合、検出された位置情報を自機の位置としてもよい。
【００２１】
移動制御部２２４は、配置認識部２２２で認識された画像の配置に近づけるように移動機構２１５の動きを制御する。例えば移動制御部２２４は、配置認識部２２２で認識された他の物体（画面上で認識されたオブジェクトに対応する）との位置関係を満たすように自機を移動させてもよい。また例えば移動制御部２２４は、配置認識部２２２において実空間１５０内の位置を物理的に特定できている場合には、特定された位置を目標点として自機を移動させてもよい。
また、移動に関する条件（例えば「ゆっくり」）が配置認識部２２２から与えられる場合、移動制御部２２４は、与えられた条件を満たすように自機の移動を制御する。
なお、移動制御部２２４には、不図示のマイクから与えられる音声データを音声認識して移動に関する条件を検出する機能が用意されていてもよい。音声認識を実行する機能は、移動制御部２２４とは別に用意されていてもよい。
【００２２】
＜移動の制御に使用する印刷物（電子写真）の例＞
図４は、コンピュータ１１０（図１参照）の操作画面１１０Ａ上に表示された静止画像１１１にマウスポインタ１１２を用いて掃除の範囲を入力する様子を説明する図である。
操作画面１１０Ａには、実空間１５０（図１参照）を撮影した静止画像１１１が小画面（ウィンドウ）の形式で表示されている。
図４に示す静止画像１１１には、画像形成装置の像３０１、表示装置の像３０２、録画再生機の像３０３、人の像３０４、植木の像３０５、空調機の像３０６、監視カメラの像３０７が含まれている。
操作画面１１０Ａの下部にはタスクバー１１０Ｂが配置され、起動中の３つのアプリケーションのアイコン１１３と、現在時刻１１４とが表示されている。
【００２３】
静止画像１１１は実空間１５０（図１参照）のある時刻の状態を表している。このため、人の像３０４の位置は、現在時刻における人（例えば図１では不在）の位置とは一般には異なる。
また、静止画像１１１を撮影した時点と現在時刻とでは実空間１５０に存在する人物も人数も異なっている。
図４では、操作画面１１０Ａに表示された静止画像１１１を例示しているが、静止画像１１１の内容は写真１２０（図１参照）の内容と同じである。
【００２４】
実空間１５０内で画像形成装置１５１（図１参照）の位置を移動させたい場合、ユーザは、コンピュータ１１０（図１参照）を制御して静止画像１１１に対応する画像ファイルを画像形成装置１５１に送信する。
あるいは、図５に示すように、画像読取機構２１３（図２参照）を使用して写真１２０（図１参照）を画像形成装置１５１に読み込む。
図５は、いわゆるスキャナによる写真１２０の読み込みを説明する図である。
なお、移動に関する条件をテキストで指示する場合には、この時点で、静止画像１１１（図４参照）又は写真１２０に書き込まれる。
【００２５】
＜処理動作の例＞
ここでは、図６を使用して、画像形成装置１５１（図１参照）で実行される処理動作の例を説明する。
図６は、実施の形態１で使用する画像形成装置１５１で実行される処理動作を説明するフローチャートである。
まず、制御部２０１（図３参照）は、画像受信部２２１を通じて静止画像１１１（図１参照）又は写真１２０（図１参照）に対応する画像データを受信する（ステップ１）。
【００２６】
次に、制御部２０１は、配置認識部２２２（図３参照）の機能を使用して、画像データに対応する画像（電子写真）に含まれるオブジェクトの位置関係を認識する（ステップ２）。なお、自機に対応するオブジェクトが画像（電子写真）に含まれない場合、制御部２０１は、後続する処理を実行することなく処理動作を終了する。
続いて、制御部２０１は、位置検出部２２３（図３参照）の機能を通じて、自機の位置を検出する（ステップ３）。
この後、制御部２０１は、検出された自機の位置は画像内の位置と同じであるか否かを判定する（ステップ４）。
同じである場合（ステップ４で肯定結果の場合）、制御部２０１は処理動作を終了する。一方、異なる場合（ステップ４で否定結果の場合）、制御部２０１は、移動制御部２２４（図３参照）の機能を使用して、画像内の位置に近づけるように自機を移動させる（ステップ５）。
なお、本実施の形態では、画像形成装置１５１の電源ケーブルの長さは無視している。
【００２７】
図７は、本実施の形態による動作の様子を説明する図である。（ａ）は画像形成装置１５１の移動に使用する写真１２０の例を示し、（ｂ）は実空間１５０における画像形成装置１５１の移動の様子を示す。
図７に示す写真１２０の場合、画像形成装置の像３０１は左端に位置している。また、写真１２０には、「ゆっくり」との文字を丸で囲んだ記号３１０が書き込まれている。ここで、文字を丸で囲んでいるのは、ユーザからの指示であることを画像形成装置１５１が認識できるようにするためである。
本実施の形態の場合、「ゆっくり」の記述は、画像形成装置１５１の移動速度として低速モードを指示する。この他に「高速で」などがある。例えば「高速で」は移動速度として高速モードを指示する場合に使用される。
図７では、文字が丸で囲まれている記号をユーザからの指示として認識するという規則で制御部２０１（図３参照）が動作する場合であるので、予め定めた他の規則が存在する場合には該当する規則を満たすようにユーザが記述を行う。例えば矩形の図形や星形の図形と数字を組み合わせてもよい。
【００２８】
図７に示す実空間１５０の場合、移動を開始する前の画像形成装置１５１の位置を破線で示している。
この例の場合、写真１２０を用いて画像形成装置１５１に移動を指示した時点において、画像形成装置１５１は、録画再生機１５３と植木１５５の間であり、かつ、植木１５５の隣に位置している（図１参照）。
この位置関係は、写真１２０で示されている位置関係とは異なっている。
そこで、実空間１５０の画像形成装置１５１は、矢印で示すように、写真１２０で示されている位置へ自走により移動する。また、ここでの移動は記号３１０の指示に従い低速で実行される。
画像形成装置１５１で使用される位置情報の精度が高いほど、実空間１５０内における画像形成装置１５１の位置も写真１２０における画像形成装置の像３０１の位置に近くに移動する。
なお、位置情報の精度が低い場合でも、画像形成装置１５１は、少なくとも表示装置１５２の左側に移動する。
【００２９】
＜実施の形態の効果＞
ユーザは、例えば画像形成装置１５１が存在する実空間１５０（図１参照）を撮影した写真１２０（図１参照）を画像形成装置１５１に与えるだけで、実空間１５０内における画像形成装置１５１の移動作業を実現できる。すなわち、写真１２０を一種の指示手段として用いることができる。
なお、位置決めの精度は、写真１２０に含まれる特徴点の数や位置情報に依存するが、ユーザに要求される作業量の低減が実現される。
【００３０】
例えば実空間１５０内で画像形成装置１５１の配置が異なる複数枚の写真１２０（又は画像データＤ）が存在する場合、ユーザは、希望する配置の写真１２０を画像形成装置１５１に与えるだけで実空間１５０内の移動を実現できる。
なお、画像形成装置１５１に周囲を撮像するカメラが搭載されている場合には、該当するカメラの前面に写真１２０をかざすだけで、画像形成装置１５１の移動を指示することができる。
前述の説明では画像形成装置１５１の位置を移動させているが、自走のための機構を有する他の機器の移動にも用いることができる。
【００３１】
＜実施の形態２＞
本実施の形態では、写真１２０（図１）等を用いて他の機器の位置を移動させる場合について説明する。
図８は、実施の形態２に係る画像処理システム２００の構成を示す図である。
図８には図１との対応部分に対応する符号を付して示している。
本実施の形態における画像処理システム２００の場合、実空間内にヒト型のロボット１５８が存在し、このロボット１５８が他の物体を移動させる役割を果たす点で実施の形態１と異なっている。
本実施の形態の場合も、移動の指示には、写真１２０や画像データＤが用いられる。
【００３２】
ヒト型のロボット１５８は、胴部、頭部、腕、手、足の各部で構成され、リンク機構（機械機構）によって互いに接続されている。例えば腕や脚はリンク機構を介して胴部に連結されている。腕は上腕と前腕で構成され、物を運搬できるようにリンク機構を介して上腕と前腕の角度を可変できるように構成されている。上腕と前腕の角度の調整はモータによる駆動で実現される。上腕や前腕は想定する荷重を支えることができる。手はリンク機構を介して前腕に連結されている。手は物を掴むことができるように開閉が可能な指を有している。指の開閉はモータによる駆動で実現される。手も想定する荷重を支えることができる。なお、足は移動機構４１０（後述）と兼用される。足についても屈曲できる構造を採用してもよい。腕、手、足は可動手段の一例である。
【００３３】
図９は、ヒト型のロボット１５８のハードウェア構成の一例を示すブロック図である。
ロボット１５８は、制御部４０１と、周囲を撮像するカメラ４０２と、音を発生するスピーカ４０３と、音を収集するマイク４０４と、各部に取り付けられているセンサ部４０５と、外部との通信に使用される通信インターフェース（通信Ｉ／Ｆ）４０６と、可動機構４０８を駆動する可動機構インターフェース（可動機構Ｉ／Ｆ）４０７と、移動機構４１０を駆動する移動機構インターフェース（可動機構Ｉ／Ｆ）４０９とを有している。
制御部４０１と各部は、バス４１１を通じて接続されている。
【００３４】
制御部４０１は、いわゆるコンピュータであり、不図示のＣＰＵ、ＲＯＭ、ＲＡＭにより構成されている。ＲＯＭには、ＣＰＵにより実行されるＢＩＯＳやファームウェアが記憶されている。ＲＡＭはプログラムの作業領域として用いられる。制御部４０１は、ファームウェアなどの実行を通じて各部の動作を制御する。
カメラ４０２は、例えば頭部に配置され、ロボット１５８の周囲や写真１２０（図８参照）の撮影に使用される。カメラ４０２は、例えばＣＣＤセンサやＣＭＯＳセンサなどで構成される。
【００３５】
センサ部４０５は、例えばリンク機構における各部の動きの方向や動きの量を検知するセンサ、温度や湿度などの実空間１５０の環境に関する情報を検知するセンサ等で構成される。また、センサ部４０５は、実施の形態１で説明したＬＩＤＡＲを含んでもよい。
通信インターフェース（通信Ｉ／Ｆ）４０６は、例えばいわゆる携帯電話網、無線通信網（ＩＯＴ（Intranet of Things）ネットワーク、ホームネットワークなど）との通信に用いる通信装置で構成され、その通信には例えばWifi（登録商標）、Bluetooth（登録商標）、ZigBee（登録商標）などを使用する。
【００３６】
可動機構４０８は、前述した頭部、腕、手、足等であり、リンク機構によって連結された複数の構造の集合であり、モータから与えられる駆動力により各部の位置や向きが変化する。可動機構４０８の動作の一例が、物を掴む、抱える、支える等の動作である。
移動機構４１０は、ロボット１５８を実空間１５０内で移動させる手段であり、車輪やキャタピラー等によって構成される。移動機構４１０は、歩行機構でもよい。
【００３７】
図１０は、ロボット１５８（図１参照）を構成する制御部４０１における機能構成の一例を示す図である。
本実施の形態における制御部４０１は、外部から画像データを入力する画像受信部４２１と、受信した画像内における被写体の配置を認識する配置認識部４２２と、自機の位置を検出する位置検出部４２３と、移動の対象として認識された物体の移動を制御する移動制御部４２４とを有している。
ここでの画像受信部４２１は受信手段の一例であり、配置認識部４２２と位置検出部４２３と移動制御部４２４は制御手段の一例である。
なお、移動制御部４２４には物体の移動を実現する際に要求される質（条件）に基づいて動作を制御する機能も用意されている。
【００３８】
本実施の形態における画像受信部４２１は、カメラ４０２によって撮影した写真１２０（図８参照）の画像データ、又は、通信インターフェース（通信Ｉ／Ｆ）４０６（図９参照）を通じてコンピュータ１１０（図８参照）から受信した写真１２０に対応する画像データを配置認識部４２２に出力する。
配置認識部４２２は、画像データに特定の条件を満たすテキストが含まれる場合、該当するテキストを指示として認識して移動制御部４２４に出力する機能も有している。ここでの指示は移動対象とする物体（写真１２０上の被写体）別に与えられる場合もあれば、物体を特定しない場合もある。
【００３９】
配置認識部４２２は、受信された画像データに含まれるオブジェクト（被写体）を認識してオブジェクト間の位置関係、画像データに対応する空間内における各オブジェクトの配置を認識する。
本実施の形態における配置認識部４２２は、実施の形態１における配置認識部２２２（図３参照）の場合と同じく、例えば画像データベースに蓄積されているテンプレート画像と入力された画像データを照合させる方法、例えば入力された画像をオブジェクト別に用意された判別プログラム（機械学習やディープラーニング等の手法を利用して予め用意されている）に入力する方法などを使用して、画像内からオブジェクトを認識する。
【００４０】
配置認識部４２２は、あるオブジェクトが他のオブジェクトに対して画像内で左側に位置するか右側に位置するかの情報、オブジェクトが床面と接している位置が他のオブジェクトが床面と接している位置に対して手前側であるか奥側であるかの情報などを収集し、オブジェクト間の位置関係として認識する。
配置認識部４２２は、自機が存在する実空間１５０に対応する間取り図に含まれる特徴点と画像データ（写真１２０）に含まれる特徴点とを対応付けるように画像データ（写真１２０）を間取り図上に射影することにより、画像データ（写真１２０）から認識されたオブジェクトを間取り図上に配置する。
【００４１】
ここでの間取り図は、例えば本体内の記憶装置（不図示）や通信インターフェース（通信Ｉ／Ｆ）４０６を通じてアクセス可能なデータベースに蓄積されている。
間取り図は、例えばロボット１５８が実空間１５０内を移動する過程で収集した位置情報や画像の情報に基づいて生成される場合もあれば、例えば実空間１５０の真ん中に立って部屋の隅を位置入力しながら３６０°撮影するアプリケーション（例えばMagicPlan（商標））の実行を通じて生成される場合もあれば、例えば実空間１５０の設計図書として与えられる場合もある。
なお、間取り図が存在しない場合、配置認識部４２２は、オブジェクト間の相対的な位置関係の情報を平面上に配置したものを間取り図として生成してもよい。
【００４２】
位置検出部４２３は、実空間１５０内における自機の位置を検出する。例えば位置検出部４２３は、利用可能な間取り図を用いて自機の位置を特定する。
移動制御部４２４は、配置認識部４２２で認識された各オブジェクトの配置と実空間１５０における配置の関係を照合し、予め定めた閾値を超える位置の違いを検知した物体を移動の対象として特定し、対象である物体を写真１２０（図８参照）上の対応位置に移動させるように自機を制御する。
【００４３】
例えば移動制御部４２４は、移動の対象として特定された物体の位置に自機を移動させた後、物体を保持、支える、押すなどして目的とする位置まで対象とする物体を移動させる。例えば軽量物であれば、手を用いて持ち上げ、目的とする地点まで移動する。重量物は基本的に床上を滑らせるように移動させる。
なお、移動の対象とする物体は１つでも複数でもよい。
【００４４】
また、移動の条件がテキストや音声によって与えられている場合、移動制御部４２４は、指示された条件を優先する。移動制御部４２４は、例えば移動の対象である椅子にキャスターが付いていない場合、椅子を持ち上げて移動する。
ただし、指示された条件を満たさない場合には、実現可能な手法で対象とする物体を移動させる。例えば移動の指示が「持ち上げて搬送する」であっても、画像形成装置１５１を持ち上げて搬送することは物理的に困難である場合である。
ユーザの指示した条件を満たすことが困難な場合、その旨を伝える音声をスピーカ４０３（図９参照）から発生させてもよいし、通信インターフェース（通信Ｉ／Ｆ）４０６を用いてコンピュータ１１０に通知してもよい。
【００４５】
次に、図１１を使用して、ロボット１５８（図８参照）で実行される処理動作の例を説明する。
図１１は、ロボット１５８で実行される処理動作を説明するフローチャートである。
まず、制御部４０１（図１０参照）は、画像受信部４２１（図１０参照）を通じて静止画像１１１（図８参照）又は写真１２０（図８参照）に対応する画像データを受信する（ステップ１１）。例えば制御部４０１は、ロボット１５８に設けられたカメラ４０２（図９参照）を通じて写真１２０に対応する画像データを受信する。
【００４６】
次に、制御部４０１は、配置認識部４２２（図１０参照）の機能を通じて、画像データに対応する画像（電子写真）に含まれるオブジェクト間の位置関係を認識する（ステップ１２）。
続いて、制御部４０１は、移動制御部４２４（図１０参照）の機能を通じて、各オブジェクトの位置と実空間１５０における物体の位置とを照合し（又は位置関係を照合し）、移動の対象とする物体を認識する（ステップ１３）。制御部４０１は、例えば共通の間取り図上におけるオブジェクト（電子写真側）の位置と物体（実空間側）の位置との距離が予め定めた閾値を超える物体を移動の対象として認識する。
【００４７】
この後、制御部４０１は、移動の対象があるか否かを判定する（ステップ１４）。実空間１５０にある各物体が写真１２０内のオブジェクトの配置と同じとみなせる場合、制御部４０１はステップ１４で否定結果を得て処理を終了する。一方、実空間１５０にあるいずれかの物体が写真１２０内のオブジェクトの配置と異なる場合、制御部４０１はステップ１４で肯定結果を得、対象とする物体を目的とする地点に移動させる（ステップ１５）。この移動の動作は、移動の対象として認識された全ての物体の移動が終了するまで繰り返し実行される。
【００４８】
図１２は、実施の形態２による動作の様子を説明する図である。（ａ）はロボット１５８に写真１２０を提示する場面を示し、（ｂ）はロボット１５８による移動の終了後の場面を示す。
図１２の例の場合、ロボット１５８は、写真１２０（図４に示されている静止画像１１１に対応）によって特定される各オブジェクトの位置関係に基づいて、植木１５５の位置が移動されている。具体的には、植木１５５は画像形成装置１５１と表示装置１５２の間であり、かつ、これらより手前側の位置から、右側の壁際の奥に移動されている。
【００４９】
なお、図１２に示すように、配線ケーブルによって互いに接続されている表示装置１５２と録画再生機１５３や電源タップ（コンセント）に接続されている機器は移動の対象から除外してもよい。除外の対象は、テキスト又は音声によってユーザが指示してもよい。また、アプリケーション側で移動の対象の例外として設定されていてもよい。
【００５０】
図１３は、音声を用いた移動の条件の指定を説明する図である。
この指定は、前述した画像を用いた移動の指示を補足するために使用される。図１３では、男性が「床を傷つけないように部屋の位置を戻して」と、ロボット１５８に対して発声している。
この条件が与えられない場合、ロボット１５８は、植木１５５（図１２参照）を床面上で滑らせるように移動させることも可能である。ただし、この例の条件が与えられた場合、ロボット１５８は、植木１５５を持ち上げて（持ち上げることが可能な荷重であることが前提であるが）、目的とする地点まで移動する。
【００５１】
本実施の形態によれば、自走のための機構を有していない植木１５５の位置の移動を、可動機構４０８（図９参照）や移動機構４１０（図９参照）を有するロボット１５８に対する写真１２０（図１２参照）の提示によって実現できる。
【００５２】
＜実施の形態３＞
本実施の形態では、写真１２０（図１参照）を用いて自機の状態を制御する場合について説明する。自機の状態の制御は、実空間内の状態を制御する動作の一例である。
本実施の形態では、実施の形態１と同じく、画像形成装置１５１（図１参照）について説明する。従って、画像形成装置１５１に対する画像データの与え方は実施の形態１と同様である。例えば図５に示すように写真１２０をスキャンすることによって入力する。
【００５３】
図１４は、実施の形態３における画像形成装置１５１（図１参照）を構成する制御部２０１における機能構成の一例を示す図である。
図１４には図３との対応部分に対応する符号を付している。
本実施の形態における制御部２０１は、外部から画像データを入力する画像受信部２２１と、受信した画像内に含まれる自機の状態を認識する状態認識部２３１と、認識された状態に基づいて自機の動作を制御する動作制御部２３２とを有している。
ここでの画像受信部２２１は受信手段の一例であり、状態認識部２３１と動作制御部２３２は制御手段の一例である。
【００５４】
状態認識部２３１は、受信された画像を処理の対象とし、自機に対応するオブジェクトの外観を通じて自機の状態を認識する。認識の対象とする状態は、予め定めた部位の形状や位置の違いのように外観に関する状態だけでなく、内部で実行されている動作に関する状態も含まれる。
なお、外観に関する状態には、例えば扉やトレイが閉じている状態か開いた状態かが含まれる。
また、動作に関する状態には、例えば任意の機能のうちいずれかの機能の選択を待ち受ける状態か特定の機能が選択されている状態か（ユーザインタフェース画面のデザインから判別される）、電源が入っている状態か入っていない状態か（電源ボタンの色から判別される）などが含まれる。
【００５５】
動作制御部２３２は、認識された状態と自機の現在の状態とを比較し、現在の状態が認識された状態と異なる場合には、自機の状態を認識された状態に変更するように制御する。ただし、扉やトレイの開閉など機械的な動作を伴う場合には、画像形成装置１５１が制御によって部材の動きを機械的に制御できる必要がある。
【００５６】
図１５は、実施の形態３に係る画像形成装置１５１（図１参照）で実行される処理動作を説明するフローチャートである。
まず、制御部２０１（図１４参照）は、画像受信部２２１（図１４参照）を通じて静止画像１１１（図１参照）又は写真１２０（図１参照）に対応する画像データを受信する（ステップ２１）。
【００５７】
次に、制御部２０１は、状態認識部２３１（図１４参照）の機能を通じて、自機の状態を認識する（ステップ２２）。ここで、制御部２０１は、画像データから認識される１つ又は複数のオブジェクトの中から自機に対応するオブジェクトを認識し、自機に対応するオブジェクトの画像処理を通じて自機の状態を認識する。例えば前面扉や用紙トレイの状態を認識する。認識の対象とする部位は、例えば予め指定されていてもよい。この場合、指定はユーザが行ってもよいし、メーカによって予め設定されていてもよい。
【００５８】
続いて、制御部２０１は、認識された状態と現在の状態が異なるか判定する（ステップ２３）。違いが無ければ（ステップ２３で否定結果の場合）、制御部２０１は、この段階で処理を終了する。一方、違いが発見された場合（ステップ２３で肯定結果の場合）、制御部２０１は、更に、認識された状態を制御によって実現できるか否かを判定する（ステップ２４）。機械的な開閉は、対応する部位を駆動する機構の存在を必要とするためである。
認識された状態を制御によって実現できない場合（ステップ２４で否定結果の場合）、制御部２０１は、この段階で処理を終了する。一方、認識された状態を制御によって実現できる場合、制御部２０１は、自機の状態を認識された状態に制御する（ステップ２５）。
【００５９】
図１６は、実施の形態３による動作の様子を説明する図である。（ａ）は画像形成装置１５１に写真１２０を提示する場面を示し、（ｂ）は画像形成装置１５１が状態を変化させた後の場面を示す。
図１６の例の場合、画像形成装置１５１の前面扉は開いている。このため、装置内部の構造部分（イエロー(Ｙ）、マゼンタ(Ｍ）、シアン(Ｃ）、黒(Ｋ）の４色に対応するトナーカートリッジ等）が外部から見える状態になっている。画像形成装置１５１の制御部２０１は、前面扉が開いた状態を認識している。
この状態で、前面扉が閉じた状態の写真１２０が与えられると、制御部２０１は、前述の動作を実行し、不図示の機構を駆動して前面扉を閉じる。
【００６０】
本実施の形態によれば、実現したい状態の画像形成装置１５１を撮影した写真１２０（図１参照）等の画像が存在していれば、その画像を画像形成装置１５１に与えることにより、他の操作を行わなくてもユーザは希望する状態を実現することができる。
この機能を用いれば、例えば遠隔地からでも希望する状態に画像形成装置１５１を制御することができる。
【００６１】
＜実施の形態４＞
本実施の形態では、写真１２０（図１参照）を用いて他の物体の状態を制御する場合について説明する。他の物体の状態の制御は、実空間内の状態を制御する動作の一例である。
本実施の形態では、実施の形態２と同じく、ロボット１５８（図８参照）を使用する。
従って、ロボット１５８の基本的な構成などは実施の形態２と同様である。
【００６２】
図１７は、実施の形態４におけるロボット１５８（図８参照）を構成する制御部４０１における機能構成の一例を示す図である。
図１７には図１０との対応部分に対応する符号を付している。
本実施の形態における制御部４０１は、外部から画像データを入力する画像受信部４２１と、受信した画像内に含まれる各オブジェクトの状態を認識する状態認識部４３１と、自機の位置を検出する位置検出部４２３と、状態を制御する対象である物体の位置に自機を移動させる移動制御部４２４と、認識された状態を実現するように自機の動作を制御する動作制御部４３２とを有している。
ここでの画像受信部４２１は受信手段の一例であり、状態認識部４３１と位置検出部４２３と移動制御部４２４と動作制御部４３２は制御手段の一例である。
【００６３】
状態認識部４３１は、受信された画像を処理してオブジェクトを認識して、認識されたオブジェクトの状態を認識する。認識される状態は、実施の形態３で説明したように、外観に関する状態だけでなく、内部で実行されている動作に関する状態も含まれる。
また、状態認識部４３１は、認識されたオブジェクトに対応する物体の現在の状態を取得する処理も実行する。
【００６４】
例えばオブジェクトに対応する物体が機器の場合、状態認識部４３１は、例えば自機に設けられているカメラ４０２（図９参照）で撮影された画像やＩＯＴ通信により取得される内部の情報から、対象とする機器の状態を認識する。なお、オブジェクトに対応する物体が植木１５５（図８参照）等のように通信機能を有しない場合、状態認識部４３１は、例えば自機に設けられているカメラ４０２（図９参照）で撮影された画像から対象とする物体の状態を認識する。
なお、物体の現在の状態は監視カメラ１５７（図８参照）から取得される画像を用いて認識してもよい。
さらに、状態認識部４３１は、画像から認識された各オブジェクトの状態と、現時点における対応する物体の状態とを比較し、相違が発見された物体を制御対象に決定する。
【００６５】
本実施の形態における移動制御部４２４は、状態認識部４３１で決定された制御対象としての物体の位置への移動を制御する。移動先である物体の位置は、自機に設けられているカメラ４０２（図９参照）で撮像される画像を用いて検出してもよいし、間取り図上に登録されている物体の位置情報を用いてもよいし、監視カメラ１５７（図８参照）から取得される画像を用いて検出してもよい。
動作制御部４３２は、移動先の物体の状態を認識された状態に変更するように自機の動作を制御する。
【００６６】
図１８は、実施の形態４に係るロボット１５８（図８参照）で実行される処理動作を説明するフローチャートである。
まず、制御部４０１（図１７参照）は、画像受信部４２１（図１７参照）を通じて静止画像１１１（図８参照）又は写真１２０（図８参照）に対応する画像データを受信する（ステップ３１）。
【００６７】
次に、制御部４０１は、状態認識部４３１（図１７参照）の機能を通じて、画像に含まれる各オブジェクトの状態を認識する（ステップ３２）。ここで、制御部４０１は、画像データから認識される各オブジェクトの状態と実空間１５０（図８参照）に存在する物体の状態の両方を認識する。
【００６８】
続いて、制御部４０１は、個々のオブジェクトについて認識された状態と対応する物体の現在の状態が異なるか判定する（ステップ３３）。
違いが無ければ（ステップ３３で否定結果の場合）、制御部４０１は、この段階で処理を終了する。一方、違いが発見された場合（ステップ３３で肯定結果の場合）、制御部４０１は、移動制御部４２４の機能を使用して、対象とする物体の位置に自機を移動させる（ステップ３４）。
その後、制御部４０１は、動作制御部４３２の機能を使用して、移動先である物体の状態を認識された状態に制御する（ステップ３５）。
なお、制御部４０１は、全ての対象について状態の制御が終了したかを判定し（ステップ３６）、処理対象が残っている間は、ステップ３４及び３５を繰り返す。
【００６９】
図１９は、実施の形態４による動作の様子を説明する図である。（ａ）はロボット１５８に写真１２０を提示する場面を示し、（ｂ）はロボット１５８が画像形成装置１５１の状態を変化させた後の場面を示す。
図１９の例の場合、画像形成装置１５１の前面扉は開いており、装置内部の構造部分（イエロー(Ｙ）、マゼンタ(Ｍ）、シアン(Ｃ）、黒(Ｋ）の４色に対応するトナーカートリッジ等）が外部から見えている。
一方、ロボット１５８に提示される写真１２０における画像形成装置の像は前面扉が閉じた状態である。
【００７０】
ロボット１５８の制御部４０１は、カメラ４０２（図９参照）によって撮像された画像から認識される画像形成装置１５１の前面扉の状態と写真１２０から認識される前面扉の状態とが相違すると認識する。
相違を認識したロボット１５８は、画像形成装置１５１の位置まで移動し、腕や手を駆動して前面扉を閉じる。
【００７１】
本実施の形態によれば、実現したい状態の画像形成装置１５１を撮影した写真１２０（図１参照）等の画像が存在していれば、画像形成装置１５１に前面扉を開閉するための機構が設けられていない場合でも、ロボット１５８に写真１２０の画像を与えるだけで、画像形成装置１５１の前面扉が閉じた状態に変更することができる。
この機能を用いれば、例えば遠隔地からでも希望する状態に画像形成装置１５１を制御することができる。
【００７２】
＜実施の形態５＞
本実施の形態では、実施の形態４で説明した機能を応用して実現される他の動作について説明する。
すなわち、ロボット１５８の動作について説明する。前述の実施の形態４では、与えられた写真１２０から認識されるオブジェクトに対応する物体が実空間１５０にも実在していたが、本実施の形態では、写真１２０には含まれない物体が実空間１５０で発見された場合について説明する。
【００７３】
図２０は、実施の形態５におけるロボット１５８（図８参照）で実行される処理動作を説明するフローチャートである。
まず、制御部４０１（図１７参照）は、画像受信部４２１（図１７参照）を通じて静止画像１１１（図８参照）又は写真１２０（図８参照）に対応する画像データを受信する（ステップ４１）。
【００７４】
次に、制御部４０１は、状態認識部４３１（図１７参照）の機能を通じて、受信された画像を処理してオブジェクトを認識し、認識されたオブジェクトの状態を認識する。（ステップ４２）。
続いて、制御部４０１は、認識されたオブジェクトに未対応の物体が実空間１５０（図８参照）にあるかを判定する（ステップ４３）。未対応の物体が存在しなければ（ステップ４３で否定結果）、制御部４０１は処理を終了する。一方、未対応の物体が存在する場合（ステップ４３で肯定結果）、制御部４０１は、発見された物体の存在をユーザに通知する（ステップ４４）。ここでの通知の方法には、例えば不明な物体の存在を音声の形式でスピーカ４０３（図９参照）から発生する方法、例えば不明な物体の存在を示すデータを通信インターフェース（通信Ｉ／Ｆ）４０６（図９参照）を通じてコンピュータ１１０（図８参照）に通知する方法等がある。
【００７５】
図２０に示す例では、制御部４０１は、発見された物体を除去する動作も実行する（ステップ４５）。発見された物体を除去するには、自機を発見された物体の位置に移動させる制御、自機の可動部材（例えば腕、手、足）を駆動して発見された物体を掴む制御、予め定めた位置に該当する物体とともに移動する制御などが実行される。
なお、通知（ステップ４４）と除去（ステップ４５）は一方だけが実行されてもよいし、順番が入れ替わっていてもよい。
【００７６】
図２１は、実施の形態５による動作の様子を説明する図である。
図２１では、写真１２０がロボット１５８に提示された状態で、写真１２０から認識されたオブジェクトと実空間１５０にある物体とが照合され、紙くず５００を発見している。また、ロボット１５８は間取り図や監視カメラ１５７から取得される画像に基づいて、紙くず５００の位置を検出している。このため、コンピュータ１１０には、「テレビの前の床にゴミが落ちています」なるメッセージ５０１が通知されて表示されている。
【００７７】
図２２は、実施の形態５による他の動作の様子を説明する図である。（ａ）はロボット１５８が紙ゴミ５００を発見した場面を示し、（ｂ）はロボット１５８が紙ゴミ５００を拾って他の場所に移動する場面を示す。
図２１及び図２２の例では、紙くず５００が発見される場合を例示しているが、忘れ物（落し物）を発見する場合も考えられる。紙ゴミ５００の場合には床から拾った後にゴミ箱に廃棄すればよいが、忘れ物の場合には予め定めた別の場所に移動させる。この動作は、認識された情報に基づいて切り替えればよい。
【００７８】
＜実施の形態６＞
前述の実施の形態では、写真１２０（図１参照）や写真１２０に対応する画像データＤに記載されている情報を処理して自機又は他機の動作を制御するためのアプリケーションが対象とする機器に予めインストールされている場合について説明した。
本実施の形態では、前述した一連のワークフロー処理を規定する情報が、画像データＤの属性情報として各機器に提供される場合について説明する。
【００７９】
本実施の形態で使用される画像データＤは、便宜的にＪＰＥＧフォーマットに準拠したＪＰＥＧファイルであるものとする。もっとも、画像データＤは、他の画像フォーマットに対応する画像ファイルでもよい。
図２３は、本実施の形態で使用するＪＰＥＧファイル６００のデータ構造を示す図である。ＪＰＥＧファイル６００は、画像ファイルの一例であり、ＪＰＥＧフォーマットに準拠する。
【００８０】
ＪＰＥＧファイル６００は、イメージの開始位置を示すイメージ開始セグメント（Start Of Image segment: SOI）６１１と、Ｅｘｉｆ（Exchangeable image file format）情報などの記述に用いられるタイプ１のアプリケーションセグメント（Application type 1 segment: App1）６１２と、被写体に関連するワークフロー処理を規定する情報の記述に用いられるタイプ１１のアプリケーションセグメント（Application type 11 segment: App11）６１３と、イメージデータ（Image Data: ID）６１４と、イメージの終了位置を示すイメージ終了セグメント（End Of Image segment: EOI）６１５とを有している。
【００８１】
ここで、イメージデータ６１４には静止画像の本体が保存される。
イメージ開始セグメント６１１とイメージ終了セグメント６１５で挟まれた領域はフレームとも呼ばれる。
なお、図２３では表していないが、ＪＰＥＧファイルには、不図示の２つのセグメント、すなわち量子化テーブル定義セグメント（Define Quantization Table segment: DQT）、ハフマンテーブル定義セグメント（Define Huffman Table segment: DHT）も含まれている。これら以外のセグメントは、必要に応じて配置される。
タイプ１のアプリケーションセグメント６１２とタイプ１１のアプリケーションセグメント６１３は、ＪＰＥＧファイル６００の属性情報６１６の一部分である。
【００８２】
アプリケーションセグメント６１３には、ＪＰＥＧファイル６００が作成された静止画像に含まれる被写体に関連するワークフロー処理を規定する情報６１３Ａ、６１３Ｂが記述されている。例えば情報６１３Ａは被写体１に関連するワークフロー処理１に対応する情報であり、情報６１３Ｂは被写体２に関連するワークフロー処理２に対応する情報である。
タイプ１１のアプリケーションセグメント６１３に格納される情報の個数はゼロでもよいし、１個でもよいし、３個以上でもよい。以下では、情報６１３Ａ及び６１３Ｂを区別しない場合には単に情報６１３Ａという。
【００８３】
例えば２つの情報６１３Ａ及び６１３Ｂは、１つの被写体（以下「オブジェクト」という）に対応付けられていてもよい。すなわち、１つの被写体に対して複数の情報が対応付けられていてもよい。
例えば情報６１３Ａは、第１の言語（例えば日本語、第１のＯＳ用）による処理に用いられ、情報６１３Ｂは、第２の言語（例えば英語、第２のＯＳ用）による処理に用いられてもよい。
【００８４】
個々のワークフロー処理には、例えば情報６１３Ａに対応するオブジェクトに関する情報の保存、表示、集計、送信、取得、実空間１５０（図１）に関する情報の取得などが含まれる。
オブジェクトに関する情報は、インターネット上に存在する情報の他、実在する機器に保持されている情報、実在する機器や生物などを撮影した画像などが含まれる。
【００８５】
また、個々のワークフロー処理には、例えば情報６１３Ａが記録されているオブジェクトに対応する機器の動作を制御するための操作パネルの表示、情報６１３Ａで予め定められている実物の機器の動作の制御、被写体に対応する実物の機器等からの情報の取得、取得した実物の機器の状態の画像への反映等が含まれる。
また例えば２つの情報６１３Ａ及び６１３Ｂはいずれも、１つの機器の操作の種類別に設けられていてもよい。例えば情報６１３Ａはテレビジョン受像機のチャンネルの操作用、情報６１３Ｂはテレビジョン受像機の電源ボタンの操作用であってもよい。
【００８６】
例えば情報６１３Ａは、テキストデータの形式で記述される。本実施の形態では、情報６１３Ａの記述にデータ交換フォーマットの一例であるＪＳＯＮ（Java Script Object Notation）を使用する。ＪＳＯＮ（登録商標）は、ＪａｖａＳｃｒｉｐｔ（登録商標）におけるオブジェクトの表記法の一部を構文のベースに使用する言語である。勿論、ワークフロー処理の記述に用いる言語はＪＳＯＮに限らない。
【００８７】
ここでは、実施の形態１の場合と同様に、画像データＤがロボット１５８（図１参照）に対して与えられる場合について説明する。
図２４は、実施の形態６におけるロボット１５８を構成する制御部の機能構成の一例を示す図である。
図２４には図１０との対応部分に対応する符号を付して示している。
図２４に示す機能構成は、制御部４０１によるファームウェアの実行を通じて実現される。ここでのファームウェアに要求される機能は、画像データＤの属性情報６１６（図２３参照）からワークフロー処理を規定する情報６１３Ａ（図２３参照）を読み出して実行する機能である。
【００８８】
本実施の形態における制御部４０１は、外部から画像データＤを入力する画像受信部４２１と、受信した画像データＤの属性情報６１６を読み出して、被写体として含まれる各機器に対応付けられた情報６１３Ａ（図２３参照）を認識する属性情報認識部４４１と、実空間１５０内における自機の位置を検出する位置検出部４２３と、認識された情報６１３Ａに記述されたワークフロー処理の実行を通じて自機の移動を制御する移動制御部４４２とを有している。
【００８９】
図２５は、実施の形態６における制御部４０１（図２４参照）によって実行される処理動作の一例を示すフローチャートである。
図２５は、図２４で説明した処理動作を画像データに付属する属性情報６１６で規定するワークフロー処理に従って実行する場合を想定している。
まず、制御部４０１は、画像受信部４２１を通じて画像データＤを受信する（ステップ５１）。
【００９０】
次に、制御部４０１は、属性情報認識部４４１の機能を通じて、画像データに付属する属性情報６１６を読み込む（ステップ５２）。
続いて、制御部４０１は、属性情報６１６内に自機に対応付けられたＪＳＯＮ形式の記述があるか判定する（ステップ５３）。
ステップ５３で肯定結果が得られた場合、制御部４０１は、ＪＳＯＮ形式の記述を解読し、ワークフロー処理の内容を確認する（ステップ５４）。ここでは、ワークフロー処理として、実施の形態２で説明された物体の移動に関する実行の手順が記載されている。
従って、制御部４０１は、ワークフロー処理として、実施の形態２と同様の処理を実行する。すなわち、制御部４０１は、実空間１５０内の物体の位置を画像内のオブジェクトの位置に移動させる動作を実行する（ステップ５５）。
【００９１】
図２６は、ワークフロー処理を規定する情報６１３Ａ（図２３参照）の記録に用いられる情報処理装置（例えばコンピュータ１１０）を構成する制御部７００の機能構成の一例を示すブロック図である。
ここでの制御部７００は、ユーザが指定するオブジェクトの領域を検出する位置検出部７０１と、ＪＰＥＧファイル６００（図２３参照）のイメージデータ６１４（図２３参照）から画像処理技術を使用してオブジェクトとして登録する像の領域を検出するオブジェクト検出部７０２と、検出された各領域に対応付けるワークフロー処理の記述を対応付けて属性情報６１６を生成する属性情報生成部７０３として機能する。
【００９２】
図２７は、ユーザによるオブジェクトの領域の指定の例を説明する図である。図２７では、マウスポインタ１１２のドラッグにより、静止画像１１１に含まれるオブジェクトの１つであるロボットの像３０８の表示領域を破線で囲むように領域７５０が設定されている。
図２６の説明に戻る。
位置検出部７０１は、この領域７５０（図２７参照）を規定する座標情報として、例えばドラッグの開始点である左上隅の座標値、ドラッグが終了した時点までに垂直方向に移動した画素数と水平方向に移動した画素数を出力する。
【００９３】
オブジェクト検出部７０２は、情報６１３Ａ（図２３参照）を記録する像の画像（登録画像）が予め登録されている場合に用いられる。
オブジェクト検出部７０２は、ＪＰＥＧファイル６００（図２３参照）に含まれるイメージデータ６１４（図２３参照）と登録画像とのマッチング処理を実行し、登録画像にマッチした像（オブジェクト）が存在する領域を特定する座標情報を位置情報として出力する。
【００９４】
属性情報生成部７０３は、別画面を通じて入力された又は予め用意されたワークフロー処理の記述を各位置情報に関連付ける処理を実行する。この実施の形態でも、ワークフロー処理は、ＪＳＯＮ形式で記述される。
なお、オブジェクトに対応する実空間の物体が機器である場合には、静止画像１１１を撮像する時点にＩＯＴネットワークを通じて各機器を特定する製造番号やＩＯＴネットワーク上のアドレスの情報を収集しておき、静止画像１１１との対応付けるようにすれば、個々の機器の製造番号等を手入力する手間を省くことができる。
なお、実施の形態１で説明したように、各像に対応付ける実空間の物体は、各像に対応する実物である必要はない。
【００９５】
図２８は、ワークフロー処理を規定する情報６１３Ａの属性情報６１６への書き込みを説明する図である。（ａ）はＪＰＥＧファイル６００の属性情報６１６に情報６１３Ａが含まれる前のデータ構造を示し、（ｂ）はＪＰＥＧファイル６００の属性情報６１６に情報６１３Ａが追加された状態を示す。
このように、既存のＪＰＥＧファイル６００にワークフロー処理を規定する情報６１３Ａを後から追記してもよい。
【００９６】
本実施の形態によれば、写真１２０（図８参照）を基準に実空間１５０（図８参照）の物体の位置を移動させるプログラムがロボット１５８（図８参照）にインストールされていない場合でも、画像データＤの属性情報６１６（図２３参照）を読み出して実行する機能が設けられていれば、属性情報６１６で規定されるワークフロー処理を通じて、実施の形態２と同等の制御を実現することができる。
また、本実施の形態では、ロボット１５８に実行させたいワークフロー処理の内容を自由に指定することができる。
【００９７】
＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【００９８】
例えば前述の実施の形態では、ユーザが動作の実行主体である機器に対して写真１２０や画像データＤを与えているが中継装置を経由させてもよい。また、各機器の動作の制御は、各機器に設けられている制御部によって実行されているが、制御動作の一部又は全部を他の機器（例えばサーバ）に実行させ、他の機器からの制御に基づいて個々の機器を動作させてもよい。
図２９は、中継装置としてサーバ８００を用いるシステム構成を説明する図である。
サーバ８００は、実空間１５０に存在する機器よりも多くの計算資源を利用できる。従って、負荷の大きい演算はサーバ８００上で実行してもよい。実空間１５０に存在する機器や物品に関する情報をサーバ８００に収集する場合には、より多くの情報を使用して精度の高い制御や判断を実行することができる。
【００９９】
前述の実施の形態では、ＪＳＯＮ形式を使用してワークフロー処理を属性情報６１６（図２３参照）の一部に記録しているが、音データの形式やＪＳＯＮ以外のテキスト形式で属性情報６１６の一部に記録してもよいし、ＪＰＥＧファイル６００（図２３参照）に関連付けられた別ファイルに記録してもよい。例えば属性情報６１６に割り当てられているデータ領域に制限がある場合には、別ファイルとして記録することが望ましい。
【０１００】
ここで、ワークフロー処理を音データの形式で記録している場合には、音データの再生音を解析して該当するワークフロー処理を実行してもよい。この場合、音データはトーン信号の組み合わせとして記録されていてもよい。また、音データを再生することなく、その周波数成分や波形パターンを解析してワークフロー処理を実行してもよい。
【０１０１】
前述の実施の形態においては、写真１２０（図１参照）等の画像データを与えられた機器が自走する場合（実施の形態１）と写真１２０（図１参照）等の画像データを与えられた機器が他の機器を移動させる場合（実施の形態２）について説明しているが、写真１２０（図１参照）を与えられた機器が他の機器を制御して自機の位置を移動させてもよい。
例えば写真１２０（図８参照）等の画像データを与えられた画像形成装置１５１（図８参照）がロボット１５８（図８参照）に対して自機の位置の移動を指示してもよい。
【０１０２】
前述の実施の形態では、実空間における配置や位置が、写真１２０（図１参照）内での配置や位置と異なる物体をいずれも移動の対象としているが、写真１２０を通じて移動の対象とする物体や移動の対象から除外する物体を指定できるようにしてもよい。例えば写真１２０上の像に予め定められている記述や記号等が付されている場合には対象とする物体を移動の対象としたり、反対に除外したりできるようにしてもよい。例えば植木１５５（図１参照）の像３０５（図４参照）の上にバツ印（Ｘ型の記号）が付されている場合には、植木１５５を移動の対象から除外する設定としてもよい。また例えば植木１５５の像３０５の上に丸印（Ｏ型の記号）が付されている場合には、植木１５５のみを移動の対象としてもよい。
【０１０３】
前述の実施の形態では、植木１５５（図１参照）の移動にロボット１５８（図８参照）を使用する例について説明したが、植木１５５が自走式の台座の上に配置されている場合には、自走式の台座に対する画像データＤの送信により、又は、写真１２０（図８参照）を撮像する機器に設けられた制御部との通信により、台座の移動を通じて植木１５５の位置を移動させてもよい。表示装置１５２や録画再生機１５３についても同様である。
【０１０４】
前述の実施の形態においては、静止画像１１１（図１参照）を使用して、実空間１５０（図１参照）内における画像形成装置１５１（図１参照）の位置や植木１５５（図１参照）の位置を移動させる場合について説明したが、これらの例は説明を簡単にするために移動の対象を制限したものであり、実際には複数の物体の移動やゴミの除去、動作状態の変更などを同時に実行させることができる。この機能を用いれば、任意の実空間１５０（図１参照）に静止画像１１１の場面を少ない能力で再現することができる。
【０１０５】
前述の実施の形態では、実空間１５０内における物体の移動に写真１２０（図１参照）を用いているが、動画像を用いることもできる。動画像を用いれば、時間の経過に伴って物体の配置が少しずつ変化する状態や場面の変化のように物体の配置を不連続に指定することもできる。
例えば動画像の再生が開始された直後は植木１５５（図１参照）が部屋の左側の壁際に位置し、１時間後には部屋の中央に位置し、２時間後には部屋の右側の壁際に位置するようにできる。
また例えば動画像の再生が開始された直後には画像形成装置１５１（図１参照）の前面扉が閉じているが、１時間後には前面扉を開けてトナーの交換を開始させる制御も実現できる。
【符号の説明】
【０１０６】
１００、２００…画像処理システム、１１０…コンピュータ、１１１…静止画像、１２０…写真、１５０…実空間、１５１…画像形成装置、１５８…ロボット、２０１、４０１、７００…制御部、２２１、４２１…画像受信部、２２２、４２２…配置認識部、２２３、４２３、７０１…位置検出部、２２４、４２４、４４２…移動制御部、２３１、４３１…状態認識部、２３２、４３１…動作制御部、４４１…属性情報認識部、６００…ＪＰＥＧファイル、６１３…タイプ１１のアプリケーションセグメト、６１３Ａ、６１３Ｂ…ワークフロー処理を規定する情報、７０２…オブジェクト検出部、７０３…属性情報生成部
【図１】
2019053426.tif 000003
【図２】
2019053426.tif 000004
【図３】
2019053426.tif 000005
【図４】
2019053426.tif 000006
【図５】
2019053426.tif 000007
【図６】
2019053426.tif 000008
【図７】
2019053426.tif 000009
【図８】
2019053426.tif 000010
【図９】
2019053426.tif 000011
【図１０】
2019053426.tif 000012
【図１１】
2019053426.tif 000013
【図１２】
2019053426.tif 000014
【図１３】
2019053426.tif 000015
【図１４】
2019053426.tif 000016
【図１５】
2019053426.tif 000017
【図１６】
2019053426.tif 000018
【図１７】
2019053426.tif 000019
【図１８】
2019053426.tif 000020
【図１９】
2019053426.tif 000021
【図２０】
2019053426.tif 000022
【図２１】
2019053426.tif 000023
【図２２】
2019053426.tif 000024
【図２３】
2019053426.tif 000025
【図２４】
2019053426.tif 000026
【図２５】
2019053426.tif 000027
【図２６】
2019053426.tif 000028
【図２７】
2019053426.tif 000029
【図２８】
2019053426.tif 000030
【図２９】
2019053426.tif 000031