(57)【要約】【課題】作業者の作業効率が低下するのを回避可能な技術を提供する。【解決手段】作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部と、前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部とを有する。【選択図】図３
2018077560.tif 000002
【特許請求の範囲】
【請求項１】
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部と、
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部と
を有することを特徴とする情報投影装置。
【請求項２】
前記作業者の手の領域を検出する検出部を更に有し、
前記決定部は、前記作業者の手の領域を、前記投影対象に決定することを特徴とする請求項１に記載の情報投影装置。
【請求項３】
前記決定部が前記作業者の手の領域を前記投影対象に決定した場合、前記作業指示を、簡略化した指示に変換する変換部を更に有し、
前記制御部は、前記作業者の手の領域に、前記簡略化した指示を投影する制御を前記出力装置に対して行うことを特徴とする請求項２に記載の情報投影装置。
【請求項４】
前記作業者の手先の位置を推定する推定部を更に有し、
前記制御部は、前記作業者の手先の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする請求項２または３に記載の情報投影装置。
【請求項５】
前記決定部は、前記作業領域の位置と、前記作業者の目の位置とを結ぶ３次元線分からの距離に基づいて、前記投影対象を決定することを特徴とする請求項１に記載の情報投影装置。
【請求項６】
前記制御部は、前記投影対象の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする請求項５に記載の情報投影装置。
【請求項７】
前記決定部は、前記判定部が前記作業指示を投影できると判定した場合、前記作業領域に、前記作業指示を投影することを特徴とする請求項１乃至６のいずれか１項に記載の情報投影装置。
【請求項８】
前記作業指示を切り替える切替部を更に有し、
前記制御部は、前記切替部により切り替えられた前記作業指示を、前記投影対象に投影する制御を前記出力装置に対して行うことを特徴とする請求項１乃至７のいずれか１項に記載の情報投影装置。
【請求項９】
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定し、
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータが実行する情報投影方法。
【請求項１０】
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定し、
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータに実行させるための情報投影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報投影装置、情報投影方法及び情報投影プログラムに関する。
【背景技術】
【０００２】
従来より、部品の取り付け作業等を行う作業者のために、作業領域（例えば、部品の取り付け位置近傍）に、作業手順や作業方法等の作業指示を投影することで、プロジェクション型の拡張現実感を実現する投影システムが知られている。当該投影システムの場合、作業者の近くにディスプレイ等を設置して作業指示を表示する他のシステムのように、作業者が、現実の作業領域とディスプレイとを見比べて確認する必要がないため、作業領域から大きく視点をずらすこともない。このため、作業者は部品の取り付け作業等において高い作業効率を実現できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５０４７９号公報
【非特許文献】
【０００４】
【非特許文献１】Genta  Suzuki  他２名、"Projecting  Recorded  Expert  Hands  at  Real  Size,  at  Real  Speed,  and  onto  Real  Objects  for  Manual  Work"、[online]、ACM  DIGITAL  LIBRARY、［平成２８年１０月５日検索］、インターネット＜URL：https://dl.acm.org/citation.cfm?id=2879476＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記投影システムの場合、取り付け位置がプロジェクタの死角領域に含まれていた場合には、作業領域に作業指示を投影することができず、例えば、プロジェクタと作業領域との間の面（死角の原因となる面）に、作業指示が投影されることになる。このような場合、作業者は、作業指示を確認するために、一旦、作業領域から視点を大きくずらす必要があり、作業効率が低下する。
【０００６】
一つの側面では、作業者の作業効率が低下するのを回避可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一態様によれば、情報投影装置は、
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部と、
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部とを有することを特徴とする。
【発明の効果】
【０００８】
作業者の作業効率が低下するのを回避可能な技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】投影システムのシステム構成の一例を示す第１の図である。
【図２】情報処理装置のハードウェア構成の一例を示す図である。
【図３】情報処理装置の機能構成の一例を示す第１の図である。
【図４】各情報記憶部に格納されるテーブルの一例を示す第１の図である。
【図５】各情報記憶部に格納されるテーブルの一例を示す第２の図である。
【図６】投影処理のフローチャートである。
【図７】対象物検出処理の第１のフローチャートである。
【図８】手領域検出処理のフローチャートである。
【図９】調整処理のフローチャートである。
【図１０】死角領域判定処理のフローチャートである。
【図１１】死角領域判定処理の具体例を示す図である。
【図１２】手先位置推定処理のフローチャートである。
【図１３】投影画像データの投影例を示す図である。
【図１４】作業者が作業指示を確認する様子を示した第１の図である。
【図１５】作業者が作業指示を確認する様子を示した第２の図である。
【図１６】第２の実施形態における投影システムの適用例を示す図である。
【図１７】情報処理装置の機能構成の一例を示す第２の図である。
【図１８】調整処理の第２のフローチャートである。
【図１９】投影位置決定処理のフローチャートである。
【図２０】相対位置算出処理及び生成した投影画像データを示す図である。
【図２１】作業者が作業指示を確認する様子を示した第３の図である。
【図２２】情報処理装置の機能構成の一例を示す第３の図である。
【図２３】投影画像データの一例を示す図である。
【図２４】投影システムのシステム構成の一例を示す第２の図である。
【図２５】情報処理装置の機能構成の一例を示す第４の図である。
【図２６】各情報記憶部に格納されるテーブルの一例を示す第３の図である。
【図２７】対象物検出処理の第２のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１１】
［第１の実施形態］
＜投影システムのシステム構成＞
はじめに、第１の実施形態に係る投影システムのシステム構成について説明する。図１は、投影システムのシステム構成の一例を示す第１の図である。
【００１２】
図１に示すように、投影システム１００は、出力装置の一例であるプロジェクタ装置１１０と、距離測定装置１２０と、情報投影装置の一例である情報処理装置１３０とを有する。プロジェクタ装置１１０及び距離測定装置１２０と、情報処理装置１３０とは、通信ケーブル１３１、１３２を介して通信可能に接続される。また、プロジェクタ装置１１０及び距離測定装置１２０は、作業台１５０の上方に設置される。
【００１３】
プロジェクタ装置１１０は、作業台１５０の上面を含む所定領域を投影範囲としており、作業対象物１４０内の所定の取り付け位置に取り付け部品を取り付けるための「作業指示」を含む投影画像データを、所定の投影対象に投影する。図１に示すように、プロジェクタ装置１１０は、点１１１を原点とするプロジェクタ３次元座標系（Ｘｐ軸、Ｙｐ軸、Ｚｐ軸）を有している。
【００１４】
距離測定装置１２０は、作業台１５０の上面を含む所定領域を測定範囲として測定を行い、距離画像データを生成する。図１に示すように、距離測定装置１２０は、点１２１を原点とする距離測定装置３次元座標系（Ｘｄ軸、Ｙｄ軸、Ｚｄ軸）を有している。
【００１５】
情報処理装置１３０は、情報投影プログラムを実行することで、作業指示を含む投影画像データをプロジェクタ装置１１０が投影する際の投影対象を決定する。情報処理装置１３０は、距離測定装置１２０から送信される距離画像データに基づいて投影対象を決定する。また、情報処理装置１３０は、情報投影プログラムを実行することで、決定した投影対象に投影画像データが投影されるよう、プロジェクタ装置１１０を制御する。
【００１６】
作業対象物１４０は、作業者１８０が作業を行う対象となる物品であり、作業者１８０によって内部の所定の取り付け位置に取り付け部品が取り付けられる。第１の実施形態において、作業対象物１４０は、矢印１６０に略直交する所定面が開放されており、作業者１８０は、矢印１６０に沿って作業対象物１４０にアクセスすることで、取り付け部品を内部の所定の取り付け位置に取り付ける取り付け作業を行う。なお、図１に示すように、作業対象物１４０には、点１４１を原点とする対象物３次元座標系（Ｘｏ軸、Ｙｏ軸、Ｚｏ軸）が定義されている。
【００１７】
作業台１５０は、作業対象物１４０が載置される台である。作業台１５０には、点１５１を原点とする３次元世界座標系（Ｘｗ、Ｙｗ、Ｚｗ）が定義されている。作業者１８０が作業を行う作業空間内の任意の位置は、３次元世界座標系（Ｘｗ、Ｙｗ、Ｚｗ）により表すことができる。
【００１８】
また、作業台１５０には、所定の指示を入力するための指示ボタン１７０が取り付けられている。第１の実施形態において、指示ボタン１７０は、作業者１８０が、次の作業指示を含む投影画像データの投影指示を、情報処理装置１３０に対して行う際に用いられる。
【００１９】
＜情報処理装置のハードウェア構成＞
次に、情報処理装置１３０のハードウェア構成について説明する。図２は、情報処理装置のハードウェア構成の一例を示す図である。
【００２０】
図２に示すように、情報処理装置１３０は、ＣＰＵ（Central  Processing  Unit）２０１、ＲＯＭ（Read  Only  Memory）２０２、ＲＡＭ（Random  Access  Memory）２０３、補助記憶装置２０４を有する。また、情報処理装置１３０は、操作装置２０５、Ｉ／Ｆ（Interface）装置２０６、ドライブ装置２０７を有する。なお、情報処理装置１３０の各部は、バス２０８を介して相互に接続されている。
【００２１】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされた各種プログラム（例えば、情報投影プログラム等）を実行するコンピュータである。ＲＯＭ２０２は、不揮発性メモリである。ＲＯＭ２０２は、補助記憶装置２０４に格納された各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する主記憶装置として機能する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を格納する。
【００２２】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０３は、補助記憶装置２０４に格納された各種プログラムをＣＰＵ２０１が実行する際に展開する、作業領域を提供する。
【００２３】
補助記憶装置２０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する。
【００２４】
操作装置２０５は、情報処理装置１３０の管理者が情報処理装置１３０に対して各種指示を入力するためのデバイスである。
【００２５】
Ｉ／Ｆ装置２０６は、プロジェクタ装置１１０及び距離測定装置１２０と、情報処理装置１３０とを通信ケーブル１３１、１３２を介して通信可能に接続する。また、Ｉ／Ｆ装置２０６は、指示ボタン１７０からの指示信号を受信する。
【００２６】
ドライブ装置２０７は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００２７】
なお、補助記憶装置２０４に格納される各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０７にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０７により読み出されることでインストールされる。
【００２８】
＜情報処理装置の機能構成＞
次に、情報投影プログラムが実行されることで実現される情報処理装置１３０の機能構成について説明する。図３は、情報処理装置の機能構成の一例を示す第１の図である。
【００２９】
図３に示すように、情報処理装置１３０は、画像データ取得部３１０、手検出部３２０、手先位置推定部３３０、投影変換部３４０、対象物検出部３５０、死角判定部３６０、投影対象決定部３７０、切替部３８０、投影制御部３９０を有する。
【００３０】
画像データ取得部３１０は、所定周期で距離測定装置１２０より距離画像データを取得する。画像データ取得部３１０は、取得した距離画像データを手検出部３２０及び対象物検出部３５０に通知する。
【００３１】
手検出部３２０は、距離画像データより、作業者１８０の手領域（作業者１８０の上腕から手先までの領域）を検出する。図１で示したように、作業者１８０は、矢印１６０に沿って作業対象物１４０にアクセスする。また、第１の実施形態において画像データ取得部３１０により取得される距離画像データは、Ｘｐ軸方向が上下方向に対応し、Ｙｐ軸方向が左右方向に対応する。したがって、手検出部３２０は、距離画像データ内の画像下端から画像上端方向に延びる所定形状の領域を、手領域として検出する。また、手検出部３２０は、検出した手領域の情報（手領域情報（３次元世界座標系））を手先位置推定部３３０に通知する。
【００３２】
手先位置推定部３３０は、手領域情報に基づいて、作業者情報記憶部３９３に登録された、当該作業者１８０の作業者情報を参照することで、当該作業者１８０の手先位置（３次元世界座標系）を推定する。手先位置推定部３３０は、推定した手先位置を、投影変換部３４０に通知する。また、手先位置推定部３３０は、手検出部３２０より通知された手領域情報を、投影対象決定部３７０に通知する。
【００３３】
対象物検出部３５０は、距離画像データに含まれる各物体を抽出し、抽出した各物体の形状を算出する。また、作業対象情報記憶部３９１に登録された各作業対象物のうち、切替部３８０から通知された対象物ＩＤに対応する作業対象物１４０の形状を読み出し、距離画像データより抽出した各物体の中から、形状が一致する物体を作業対象物１４０として特定する。また、対象物検出部３５０は、作業対象物１４０として特定した物体の位置及び姿勢を算出し、対象物位置姿勢情報（３次元世界座標系）を死角判定部３６０に通知する。更に、対象物検出部３５０は、距離画像データを死角判定部３６０に通知する。
【００３４】
死角判定部３６０は、作業指示情報記憶部３９４を参照し、切替部３８０から通知された作業ステップに対応する、取り付け部品の取り付け位置を特定する。また、死角判定部３６０は、デバイス情報記憶部３９２を参照し、プロジェクタ装置１１０の設置位置の座標を取得する。そして、死角判定部３６０は、取り付け部品の取り付け位置と、プロジェクタ装置１１０の設置位置との間の物体の有無を、距離画像データに基づいて検証し、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれるか否かを判定する。更に、死角判定部３６０は、判定結果を取り付け位置（３次元世界座標系）とともに投影対象決定部３７０に通知する。
【００３５】
投影対象決定部３７０は、作業指示を含む投影画像データを投影する投影対象を決定する。投影対象決定部３７０は、死角判定部３６０より、取り付け部品の取り付け位置が、死角領域に含まれない旨の判定結果を受信した場合、作業領域を投影対象として決定する。作業領域とは、取り付け部品が取り付けられる取り付け位置を含む所定の領域を指す。この場合、投影対象決定部３７０は、作業領域を投影対象とする決定結果を投影変換部３４０に通知する。また、投影対象決定部３７０は、作業領域をプロジェクタ３次元座標系に変換した投影先情報を、投影制御部３９０に通知する。更に、投影対象決定部３７０は、取り付け位置（３次元世界座標系）を投影変換部３４０に通知する。
【００３６】
一方、死角判定部３６０より、取り付け部品の取り付け位置が、死角領域に含まれる旨の判定結果を受信した場合、投影対象決定部３７０は、手領域情報により特定される手領域を投影対象に決定する。この場合、投影対象決定部３７０は、手領域を投影対象とする決定結果を投影変換部３４０に通知する。また、投影対象決定部３７０は、手領域をプロジェクタ３次元座標系に変換した投影先情報を、投影制御部３９０に通知する。更に、投影対象決定部３７０は、取り付け位置（３次元世界座標系）を投影変換部３４０に通知する。
【００３７】
投影変換部３４０は、切替部３８０より通知された作業指示情報に基づいて投影画像データを生成し、投影制御部３９０に通知する。なお、投影変換部３４０は、投影対象決定部３７０より、手領域を投影対象とする決定結果が通知されていた場合には、次のように機能する。
【００３８】
すなわち、投影変換部３４０は、投影対象決定部３７０より通知された取り付け位置（３次元世界座標系）と、手先位置推定部３３０より通知された手先位置（３次元世界座標系）とに基づき、取り付け位置と手先位置との相対的な位置関係を算出する。また、投影変換部３４０は、切替部３８０より通知された作業指示情報を簡略化したうえで、算出した相対的な位置関係を反映することで投影画像データを生成し、手領域に応じたサイズに調整したうえで投影制御部３９０に通知する。
【００３９】
切替部３８０は、指示ボタン１７０から受信した指示信号に基づいて作業ステップを特定し、特定した作業ステップに基づいて、作業指示情報記憶部３９４を参照する。これにより、切替部３８０は、作業者１８０により指示された作業ステップに対応する対象物ＩＤを識別し、対象物検出部３５０に通知する。また、切替部３８０は、作業者１８０により指示された作業ステップを死角判定部３６０に通知する。更に、切替部３８０は、作業者１８０により指示された作業ステップを含む作業指示情報を投影変換部３４０に通知する。
【００４０】
投影制御部３９０は、投影変換部３４０より通知された投影画像データを、プロジェクタ装置１１０に送信する。また、投影制御部３９０は、投影対象決定部３７０より通知された投影先情報（プロジェクタ３次元座標系）により特定される投影対象に投影されるよう、プロジェクタ装置１１０を制御する。
【００４１】
＜各種情報記憶部に格納されるテーブル＞
次に、各種情報記憶部（作業対象情報記憶部３９１、デバイス情報記憶部３９２、作業者情報記憶部３９３、作業指示情報記憶部３９４）に格納されるテーブルについて説明する。
【００４２】
はじめに、作業対象情報記憶部３９１に格納される作業対象物情報テーブルについて説明する。図４は、各種情報記憶部に格納されるテーブルを示す図である。このうち、図４（ａ）は、作業対象情報記憶部３９１に格納される作業対象物情報テーブルの一例を示す図である。
【００４３】
図４（ａ）に示すように、作業対象物情報テーブル４１０は情報の項目として、“対象物ＩＤ”、“対象物名称”、“対象物形状”、“形状特徴量”を含む。“対象物ＩＤ”には、作業対象物１４０を識別する識別子が格納される。“対象物名称”には、作業対象物１４０の名称が格納される。“対象物形状”には、作業対象物１４０の形状を示す情報が格納される。“形状特徴量”には、作業対象物１４０の形状を示す情報に基づいて算出された特徴量が格納される。
【００４４】
続いて、作業者情報記憶部３９３に格納される作業者情報テーブルについて説明する。図４（ｂ）は、作業者情報記憶部３９３に格納される作業者情報テーブルの一例を示す図である。
【００４５】
図４（ｂ）に示すように、作業者情報テーブル４２０は情報の項目として、“作業者ＩＤ”、“身長”、“手の長さ”、“手の太さ”、“手形状のモデル”を含む。“作業者ＩＤ”には、作業者１８０を識別する識別子が格納される。“身長”、“手の長さ”、“手の太さ”には、作業者ＩＤにより識別される作業者１８０の身長、手の長さ、手の太さが格納される。“手形状のモデル”には、作業者１８０の身長、手の長さ、手の太さにより特定される手形状のモデルが格納される。
【００４６】
続いて、作業指示情報記憶部３９４に格納される作業指示情報テーブルについて説明する。図４（ｃ）は、作業指示情報記憶部３９４に格納される作業指示情報テーブルの一例を示す図である。
【００４７】
図４（ｃ）に示すように、作業指示情報テーブル４３０は情報の項目として、“対象物ＩＤ”、“作業ステップ”、“取り付け位置”、“取り付け位置名称”、“取り付け位置画像”、“取り付け部品”、“取り付け部品画像”を含む。
【００４８】
“対象物ＩＤ”には、作業対象物１４０を識別する識別子が格納される。“作業ステップ”には、作業対象物１４０に対して行われる各作業ステップを示すステップ番号が格納される。
【００４９】
“取り付け位置”には、対応する“作業ステップ”において取り付け部品を取り付ける位置の座標が格納される。“取り付け位置”に格納される座標は、点１４１を原点とする対象物３次元座標系（Ｘｏ軸、Ｙｏ軸、Ｚｏ軸）に基づく座標である。なお、対象物検出部３５０が、点１４１の３次元世界座標系の座標を算出するとともに、作業対象物１４０の姿勢を算出することで、死角判定部３６０は、取り付け位置の座標を、他の座標系に基づく座標に変換することができる。
【００５０】
“取り付け位置名称”には、取り付け部品を取り付ける位置の名称が格納される。“取り付け位置画像”には、取り付け部品を取り付ける位置の画像が格納される。
【００５１】
“取り付け部品”には、取り付け部品の名称が格納される。“取り付け部品画像”には、取り付け部品の画像が格納される。
【００５２】
続いて、デバイス情報記憶部３９２に格納されるデバイス情報テーブルについて説明する。図５は、各情報記憶部に格納されるテーブルの一例を示す第２の図である。このうち、図５（ａ）は、デバイス情報記憶部３９２に格納される距離測定装置情報テーブルの一例を示す図である。
【００５３】
図５（ａ）に示すように、距離測定装置情報テーブル５１０は、情報の項目として、“パラメータ名”、“内容”、“値”を含む。
【００５４】
“パラメータ名”には、距離測定装置１２０の属性を示す各種パラメータの名称が格納される。“内容”には、各種パラメータの定義及び単位が格納される。“値”には、各種パラメータの値が格納される。
【００５５】
一方、図５（ｂ）は、デバイス情報記憶部３９２に格納されるプロジェクタ装置情報テーブルの一例を示す図である。プロジェクタ装置情報テーブル５２０が有する情報の項目は、距離測定装置情報テーブル５１０が有する情報の項目と同じであるため、ここでは説明を省略する。
【００５６】
デバイス情報記憶部３９２に格納された距離測定装置情報テーブル５１０、プロジェクタ装置情報テーブル５２０、対象物位置姿勢情報を参照することで、情報処理装置１３０は、
・プロジェクタ３次元座標系、距離測定装置３次元座標系、対象物３次元座標系、３次元世界座標系、の相互間の座標変換、
・距離画像データ上の座標と距離測定装置３次元座標系の座標との間の座標変換、及び、
・投影画像データ上の座標とプロジェクタ３次元座標系の座標との間の座標変換、
を実現する。
【００５７】
＜投影処理の流れ＞
次に、情報投影プログラムが実行されることで実現される情報処理装置１３０の投影処理の流れについて説明する。図６は、投影処理のフローチャートである。投影システム１００が起動され、作業対象物１４０が作業台１５０に載置された状態で、例えば、指示ボタン１７０が操作されることで、図６に示すフローチャートが情報処理装置１３０において実行される。なお、指示ボタン１７０が操作されることで、切替部３８０は、対象物ＩＤを対象物検出部３５０に、作業ステップを死角判定部３６０に、作業指示情報を投影変換部３４０に、それぞれ通知しているものとする。
【００５８】
ステップＳ６０１において、画像データ取得部３１０は、距離測定装置１２０より送信された距離画像データを取得する。
【００５９】
ステップＳ６０２において、対象物検出部３５０は対象物検出処理を実行し、画像データ取得部３１０にて取得された距離画像データに基づいて、作業対象物１４０を検出し、対象物位置姿勢情報を死角判定部３６０に通知する。
【００６０】
ステップＳ６０３において、手検出部３２０は手領域検出処理を実行し、画像データ取得部３１０にて取得された距離画像データに基づいて、手領域を検出し、手領域情報を手先位置推定部３３０に通知する。
【００６１】
ステップＳ６０４において、手先位置推定部３３０、死角判定部３６０、投影対象決定部３７０、投影変換部３４０は、調整処理を実行することで、投影画像データ及び投影先情報を生成し、投影制御部３９０に通知する。
【００６２】
ステップＳ６０５において、投影制御部３９０は、投影画像データをプロジェクタ装置１１０に送信するとともに、投影先情報に基づいて、プロジェクタ装置１１０による投影画像データの投影対象への投影を制御する。
【００６３】
以下、上記投影処理のステップＳ６０２（対象物検出処理）、ステップＳ６０３（手領域検出処理）、ステップＳ６０４（調整処理）の詳細について説明する。
【００６４】
＜対象物検出処理（ステップＳ６０２）の詳細＞
図７は、対象物検出処理の第１のフローチャートである。ステップＳ７０１において、対象物検出部３５０は、作業対象情報記憶部３９１に格納された作業対象物情報テーブル４１０を参照し、切替部３８０より通知された対象物ＩＤに対応する形状特徴量を読み出すことで、作業対象物１４０の形状を識別する。
【００６５】
ステップＳ７０２において、対象物検出部３５０は、距離画像データに含まれる各物体を抽出し、抽出した各物体の形状特徴量を算出する。また、対象物検出部３５０は、抽出した各物体の形状特徴量と、作業対象物１４０の形状特徴量とを用いて、特徴点マッチングを行う。これにより、対象物検出部３５０は、抽出した各物体の中から、作業対象物１４０を抽出する。
【００６６】
ステップＳ７０３において、対象物検出部３５０は、ステップＳ７０２において抽出された作業対象物１４０の位置及び姿勢を３次元世界座標系により特定する。また、対象物検出部３５０は、特定した作業対象物１４０の位置及び姿勢を示す対象物位置姿勢情報（３次元世界座標系）を死角判定部３６０に通知する。
【００６７】
＜手領域検出処理（ステップＳ６０２）の詳細＞
図８は、手領域検出処理のフローチャートである。ステップＳ８０１において、手検出部３２０は、背景距離画像データ８２０を補助記憶装置２０４より読み出す。背景距離画像データ８２０とは、作業者１８０が作業を開始する前に距離測定装置１２０により測定された距離画像データである。具体的には、背景距離画像データ８２０とは、作業台１５０上に作業対象物１４０が載置されておらず、かつ、作業者１８０の手が距離測定装置１２０の測定範囲に含まれていない状態で測定され、補助記憶装置２０４に格納された距離画像データを指す。
【００６８】
手検出部３２０は、画像データ取得部３１０より通知された距離画像データ８１０と、補助記憶装置２０４より読み出した背景距離画像データ８２０との差分を算出することで、差分画像データ８３０を生成する。
【００６９】
ステップＳ８０２において、手検出部３２０は、差分画像データ８３０から、対象物検出部３５０により既に検出されている作業対象物１４０の領域を除去することで、差分画像データ８４０を生成する。
【００７０】
ステップＳ８０３において、手検出部３２０は、差分画像データ８４０において、画像下端から画像上端に向かって延びる領域を検出する。図８において、差分画像データ８５０は、画像下端から画像上端に向かって延びる領域を検出した様子を示している。
【００７１】
ステップＳ８０４において、手検出部３２０は、作業者情報テーブル４２０を参照し、差分画像データ８５０に対して、手形状のモデルをフィッティングすることで、手の形状を特定する。また、手検出部３２０は、特定した手の形状を含む手領域の情報（３次元世界座標系）を、手領域情報として、手先位置推定部３３０に通知する。
【００７２】
なお、手形状のモデルをフィッティングできなかった場合、手検出部３２０は、ステップＳ８０３において検出した手領域を、手領域情報として手先位置推定部３３０に通知する。また、手検出部３２０は、手形状のモデルをフィッティングできなかった（手形状が特定できなかった）ことを、手先位置推定部３３０に通知する。手形状のモデルをフィッティングできなかった場合とは、例えば、作業者１８０の手の一部が、距離測定装置１２０から見て作業対象物１４０の陰に隠れてしまっている場合等が挙げられる。
【００７３】
＜調整処理（ステップＳ６０４）の詳細＞
図９は、調整処理のフローチャートである。ステップＳ９０１において、死角判定部３６０は、作業指示情報記憶部３９４の作業指示情報テーブル４３０を参照し、切替部３８０より通知された作業ステップに対応する取り付け部品の取り付け位置（対象物３次元座標系）を識別する。
【００７４】
ステップＳ９０２において、死角判定部３６０は、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て、死角領域に含まれるか否かを判定する。
【００７５】
ステップＳ９０３において、死角判定部３６０は、死角領域に含まれるか否かの判定結果（ステップＳ９０２の判定結果）に基づいて、投影画像データが、作業領域に投影可能か否かを判定する。ステップＳ９０３において、投影画像データが、作業領域に投影可能でないと判定した場合（ステップＳ９０３においてＮｏ）、ステップＳ９０４に進む。
【００７６】
ステップＳ９０４において、投影対象決定部３７０は、手領域を投影対象に決定し、決定結果を投影変換部３４０に通知する。また、投影対象決定部３７０は、死角領域判定処理（ステップＳ９０２）において算出された取り付け位置（３次元世界座標系）を、投影変換部３４０に通知する。更に、投影対象決定部３７０は、手領域情報（プロジェクタ３次元座標系）を生成し、投影先情報として投影制御部３９０に通知する。
【００７７】
ステップＳ９０５において、手先位置推定部３３０は手先位置推定処理を行い、手先位置（３次元世界座標系）を算出する。
【００７８】
ステップＳ９０６において、投影変換部３４０は、投影対象決定部３７０より通知された取り付け部品の取り付け位置（３次元世界座標系）を取得する。また、投影変換部３４０は、手先位置推定部３３０により推定された手先位置（３次元世界座標系）と、取り付け位置（３次元世界座標系）とに基づいて、手先位置から取り付け位置までの距離及び方向を算出する。これにより、投影変換部３４０は、手先位置と取り付け位置との相対的な位置関係を示す相対位置情報を生成する。相対位置情報は、ここでは、手先位置を、どの方向にどのくらい移動させたらよいかを案内する情報である。
【００７９】
ステップＳ９０７において、投影変換部３４０は、切替部３８０より通知された作業指示情報のうち、取り付け位置名称、取り付け位置画像、取り付け部品名、取り付け部品画像を取得し、簡略化した作業指示を生成する。
【００８０】
ステップＳ９０８において、投影変換部３４０は、相対位置情報と簡略化した作業指示とを含む投影画像データを生成する。
【００８１】
ステップＳ９０９において、投影変換部３４０は、生成した投影画像データを、投影対象のサイズ（手領域のサイズ）に応じたサイズに調整し、投影制御部３９０に通知する。
【００８２】
一方、ステップＳ９０３において、投影画像データが、作業領域に投影可能であると判定した場合（ステップＳ９０３においてＹｅｓ）、ステップＳ９１０に進む。
【００８３】
ステップＳ９１０において、投影対象決定部３７０は、作業領域を投影対象に決定し、決定結果を投影変換部３４０に通知する。また、投影対象決定部３７０は、作業領域（プロジェクタ３次元座標系）を生成し、投影先情報として投影制御部３９０に通知する。
【００８４】
ステップＳ９１１において、投影変換部３４０は、切替部３８０より通知された作業指示情報を取得する。また、投影変換部３４０は、取得した作業指示情報を含む投影画像データを生成し、投影制御部３９０に通知する。
【００８５】
＜死角領域判定処理（ステップＳ９０２）の詳細＞
続いて、調整処理（図９）に含まれる各工程のうち、死角領域判定処理（ステップＳ９０２）の詳細について説明する。
【００８６】
図１０は、死角領域判定処理のフローチャートである。なお、図１０に示す死角領域判定処理（ステップＳ９０２）を実行するにあたり、図９のステップＳ９０１では、死角判定部３６０が、作業対象物１４０内の取り付け位置（対象物３次元座標系）として、（Ｘｏ１，Ｙｏ１，Ｚｏ１）を取得しているものとする。
【００８７】
ステップＳ１００１において、死角判定部３６０は、作業対象物１４０内の取り付け位置（対象物３次元座標系）の座標（Ｘｏ１，Ｙｏ１，Ｚｏ１）を、点１１１を原点とするプロジェクタ３次元座標系の座標（Ｘｐ１，Ｙｐ１，Ｚｐ１）に変換する。
【００８８】
変換に際しては、まず、対象物検出部３５０より通知された対象物位置姿勢情報（３次元世界座標系）を用いて、作業対象物１４０内の取り付け位置（対象物３次元座標系）の座標（Ｘｏ１，Ｙｏ１，Ｚｏ１）を３次元世界座標系の座標に変換する。その後、死角判定部３６０は、プロジェクタ装置情報テーブル５２０を参照することで、取り付け位置（３次元世界座標系）の座標を、プロジェクタ３次元座標系の座標（Ｘｐ１，Ｙｐ１，Ｚｐ１）に変換する。
【００８９】
更に、死角判定部３６０は、プロジェクタ装置情報テーブル５２０を参照することで、プロジェクタ３次元座標系の座標（Ｘｐ１，Ｙｐ１，Ｚｐ１）に変換した取り付け位置を、投影画像データの座標（ｘｐ１，ｙｐ１）に変換する。
【００９０】
ステップＳ１００２において、死角判定部３６０は、プロジェクタ３次元座標系において、取り付け位置を、Ｚｐ軸のマイナス方向に移動させた（プロジェクタ装置１１０方向に移動させた）場合の座標Ｚｐ２を算出する。
【００９１】
ステップＳ１００３において、死角判定部３６０は、座標Ｚｐ２が０より大きいか否かを判定する。ステップＳ１００３において、座標Ｚｐ２が０より大きいと判定した場合（ステップＳ１００３においてＹｅｓ）、ステップＳ１００４に進む。
【００９２】
ステップＳ１００４において、死角判定部３６０は、プロジェクタ装置情報テーブル５２０を参照する。これにより、死角判定部３６０は、投影画像データの座標が（ｘｐ１，ｙｐ１）であって、Ｚｐ軸の座標がＺｐ２となる、プロジェクタ３次元座標系の座標（Ｘｐ２，Ｙｐ２，Ｚｐ２）を取得する。
【００９３】
ステップＳ１００５において、死角判定部３６０は、プロジェクタ３次元座標系の座標（Ｘｐ２，Ｙｐ２，Ｚｐ２）を、点１２１を原点とする距離測定装置３次元座標系の座標（Ｘｄ２，Ｙｄ２，Ｚｄ２）に変換する。
【００９４】
変換に際しては、まず、プロジェクタ装置情報テーブル５２０を参照することで、プロジェクタ３次元座標系の座標（Ｘｐ２，Ｙｐ２，Ｚｐ２）を、３次元世界座標系の座標に変換する。その後、死角判定部３６０は、距離測定装置情報テーブル５１０を参照することで、３次元世界座標系の座標を、距離測定装置３次元座標系の座標（Ｘｐ２，Ｙｐ２，Ｚｐ２）に変換する。
【００９５】
更に、死角判定部３６０は、距離測定装置情報テーブル５１０を参照することで、距離測定装置３次元座標系の座標（Ｘｄ２，Ｙｄ２，Ｚｄ２）を、距離画像データの座標（ｘｄ２，ｙｄ２）に変換する。
【００９６】
ステップＳ１００６において、死角判定部３６０は、画像データ取得部３１０が取得した現在の距離画像データ上の座標（ｘｄ２，ｙｄ２）における距離データＺｄ３を取得する。
【００９７】
ステップＳ１００７において、死角判定部３６０は、距離データＺｄ３が座標Ｚｄ２と等しいか否かを判定する。ステップＳ１００７において、距離データＺｄ３が座標Ｚｄ２と等しいと判定した場合（ステップＳ１００７においてＹｅｓ）、ステップＳ１００９に進む。
【００９８】
ステップＳ１００９において、死角判定部３６０は、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれると判定する。
【００９９】
一方、ステップＳ１００７において、距離データＺｄ３が座標Ｚｄ２と等しくないと判定した場合（ステップＳ１００７においてＮｏ）、ステップＳ１００８に進む。
【０１００】
ステップＳ１００８において、死角判定部３６０は、取り付け部品の取り付け位置を、Ｚｐ軸のマイナス方向に移動させた（プロジェクタ装置１１０方向に移動させた）場合の座標Ｚｐ２を算出する。死角判定部３６０は、その後、ステップＳ１００３に戻り、Ｚｐ２が０になるまで、ステップＳ１００３からステップＳ１００８の処理を繰り返す。
【０１０１】
ステップＳ１００３において、Ｚｐ２が０になったと判定した場合（ステップＳ１００３においてＮｏ）、ステップＳ１０１０に進む。
【０１０２】
ステップＳ１０１０において、死角判定部３６０は、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれないと判定する。
【０１０３】
このように、死角判定部３６０は、取り付け位置をプロジェクタ装置１１０に近づけていった場合に算出される、距離測定装置３次元座標系のＺｄ軸の座標が、距離画像データの対応する位置のデータから導出されるＺｄ軸の座標と一致するかを検証する。そして、一致する場合に、死角判定部３６０は、取り付け位置が死角領域に含まれると判定する。
【０１０４】
図１１は、死角領域判定処理の具体例を示す図である。図１１に示すように、取り付け部品の取り付け位置１１００と、点１１１とを結ぶ直線１１１０上に、物体が存在する場合、ステップＳ１００７において、距離データＺｄ３が座標Ｚｄ２（物体の位置のＺｄ座標）と等しいと判定される。この場合、取り付け部品の取り付け位置１１００は、プロジェクタ装置１１０から見て死角領域に含まれると判定される。
【０１０５】
一方、取り付け部品の取り付け位置１１００と、点１１１とを結ぶ直線１１１０上に、物体が存在しない場合、ＺＰ２が０になるまで、ステップＳ１００７において、距離データＺｄ３が座標Ｚｄ２と等しいと判定されることはない。この場合、取り付け部品の取り付け位置１１００は、プロジェクタ装置１１０から見て死角領域に含まれないと判定される。
【０１０６】
＜手先位置推定処理（ステップＳ９０４）の詳細＞
次に、調整処理（図９）に含まれる各工程のうち、手先位置推定処理（ステップＳ９０４）の詳細について説明する。
【０１０７】
図１２は、手先位置推定処理のフローチャートである。ステップＳ１２０１において、手先位置推定部３３０は、手検出部３２０において手形状が特定されたか否かを判定する。
【０１０８】
手形状が特定されている場合には（ステップＳ１２０１においてＹｅｓ）、特定された手形状に基づいて手先位置が特定できるため、ステップＳ１２０６に進む。
【０１０９】
ステップＳ１２０６において、手先位置推定部３３０は、手検出部３２０より通知された手領域情報により特定される手領域の先端位置を、手先位置（３次元世界座標系）として特定する。
【０１１０】
一方、手検出部３２０において手形状が特定されていなかった場合には（ステップＳ１２０１においてＮｏ）、ステップＳ１２０２に進む。上述したように、手形状が特定できなかった場合とは、作業者１８０の手の一部が、距離測定装置１２０から見て作業対象物１４０の陰に隠れてしまっている場合である。したがって、ステップＳ１２０２において、手先位置推定部３３０は、作業者１８０の手先が作業対象物１４０によって隠れていると判定する。図１２（ｂ）の距離画像データ１２１０は、手先が作業対象物１４０によって隠れている様子を示している。
【０１１１】
ステップＳ１２０３において、手先位置推定部３３０は、手検出部３２０により抽出された手領域に基づいて、手の向きを特定する。
【０１１２】
ステップＳ１２０４において、手先位置推定部３３０は、特定した手の向きのもとで、手領域の輪郭の凹凸から、肘の位置を推定する。
【０１１３】
ステップＳ１２０５において、手先位置推定部３３０は、推定した肘の位置から所定方向に、腕の長さ及び掌のサイズを加算することで、手先位置（３次元世界座標系）を推定する。図１２（ｃ）の距離画像データ１２２０は、推定した肘の位置から所定方向に、腕の長さ及び掌のサイズを加算することで、手先位置を推定した様子を示している。
【０１１４】
＜投影画像データの投影例＞
続いて、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれると判定された場合の、投影画像データの投影例について説明する。
【０１１５】
図１３は、投影画像データの投影例を示す図である。図１３に示すように、作業者１８０の手１３００には、取り付け位置名称１３０４、取り付け位置画像１３０１、取り付け部品名１３０６、取り付け部品画像１３０３が投影される。このように、投影対象が作業者１８０の手領域の場合、作業指示情報テーブル４３０に格納された作業指示情報の一部（簡略化した作業指示）を、手領域のサイズに調整して投影する。これにより、作業者１８０は、取り付ける部品と取り付ける位置とを容易に把握することができる。なお、簡略化した作業指示とは、作業指示情報の一部を抜粋した作業指示のほか、作業指示情報の内容を模式化した作業指示等が含まれるものとする。
【０１１６】
また、作業者１８０の手１３００には、取り付け部品画像１３０３から取り付け位置画像１３０１に向かう矢印１３０２が投影される。これにより、作業者１８０は、取り付け部品の取り付け位置に対する取り付け方向を容易に把握することができる。
【０１１７】
更に、作業者１８０の手１３００には、相対位置情報１３０５が投影される。これにより、作業者１８０は、取り付け作業を行うために、手先位置をどの方向にどのくらいの距離移動させればよいかを容易に把握することができる。
【０１１８】
＜作業者が作業指示を確認する場合の動作例＞
続いて、作業者１８０が作業指示を確認する場合の動作例について図１４及び図１５を用いて説明する。図１４及び図１５は、作業者が作業指示を確認する様子を示した第１及び第２の図である。
【０１１９】
このうち、図１４は、比較対象として、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれている場合に、作業対象物１４０の上面（死角の原因となる面）に、作業指示を含む投影画像データを投影した様子を示している。
【０１２０】
図１４に示すように、作業対象物１４０の上面に作業指示を含む投影画像データを投影した場合、作業対象物１４０に対して作業を行っている状態（図１４（ａ）のように、屈んでいる状態）から、作業指示を確認するために、直立する必要がある（図１４（ｂ））。
【０１２１】
このように、プロジェクタ装置１１０と取り付け位置との間の領域に投影画像データを投影した場合、作業者１８０は、作業指示を確認するために、作業領域から一旦視点を大きくずらす必要があるため、取り付け作業時の作業者１８０の作業効率が低下する。
【０１２２】
一方、図１５は、取り付け部品の取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれている場合に、作業者１８０の手領域に、作業指示を含む投影画像データを投影した様子を示している。
【０１２３】
図１５に示すように、作業者１８０の手領域に作業指示を含む投影画像データを投影した場合、作業対象物１４０に対して作業を行っている状態から、作業指示を確認するために、直立する必要がない。つまり、作業者１８０は、屈んだ状態のまま作業指示を確認することができる。
【０１２４】
このように、取り付け作業時の作業者の位置と取り付け位置との間の領域である手領域に投影画像データを投影した場合、作業指示を確認するための作業者１８０の視点の移動距離は、図１４の場合と比較して少なくて済む。この結果、取り付け作業時に作業者１８０の作業効率が低下するのを回避することができる。
【０１２５】
以上の説明から明らかなように、第１の実施形態における投影システム１００では、作業領域に作業指示を投影できない場合に、作業指示を含む投影画像データを、作業者の位置を作業領域との間であって、投影可能な領域である作業者の手領域に投影する。
【０１２６】
これにより、作業領域に作業指示を投影することができない場合でも、作業指示を確認する際の作業者の視点の移動を少なくすることが可能となり、作業時に作業者の作業効率が低下するのを回避可能な技術を提供することができる。
【０１２７】
［第２の実施形態］
上記第１の実施形態では、作業領域に作業指示を投影することができない場合に、作業者の手領域に作業指示を含む投影画像データを投影する場合について説明した。しかしながら、作業領域に作業指示を投影することができない場合の代替の投影対象は、作業者の手領域に限定されない。作業者の位置と作業領域との間の領域であれば、作業領域からの視点移動が少なくて済むことから、手領域以外の他の領域であってもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１２８】
＜投影システムの適用例＞
はじめに、第２の実施形態における投影システム１００の適用例について説明する。図１６は、第２の実施形態における投影システムの適用例を示す図である。
【０１２９】
図１６（ａ）に示すように、第２の実施形態における投影システム１６００は、作業台１５０上に、作業対象物１４０に加えて、他の物体１６０１〜１６０３が置かれている環境において適用されるものとする。
【０１３０】
なお、図１６（ｂ）は、作業対象物１４０と他の物体１６０１〜１６０３との位置関係を、作業台１５０の上方から見た様子を示している。
【０１３１】
＜情報処理装置の機能構成＞
次に、第２の実施形態における投影システム１００の情報処理装置１３０の機能構成について説明する。図１７は、情報処理装置の機能構成の一例を示す第２の図である。
【０１３２】
図３に示した機能構成との相違点は、手検出部３２０、手先位置推定部３３０を有していない点、投影先候補検出部１７１０を有している点である。また、図３に示した機能構成との相違点は、投影対象決定部１７２０及び投影変換部１７３０の機能が、図３の投影対象決定部３７０、投影変換部３４０とは異なっている点である。
【０１３３】
投影先候補検出部１７１０は、作業指示を含む投影画像データを投影する投影先候補を検出する。投影先候補検出部１７１０は、距離画像データより、複数の物体を検出し、検出した複数の物体の中から、プロジェクタ装置１１０から見て死角領域に含まれない物体を投影先候補として抽出し、投影先候補情報として、投影対象決定部１７２０に通知する。
【０１３４】
投影対象決定部１７２０は、作業指示を含む投影画像データを投影する投影対象を決定する。投影対象決定部１７２０は、死角判定部３６０より、取り付け部品の取り付け位置が、死角領域に含まれない旨の判定結果を受信した場合、作業領域を投影対象に決定する。この場合、投影対象決定部１７２０は、作業領域を投影対象とする決定結果を投影変換部１７３０に通知する。また、投影対象決定部１７２０は、作業領域をプロジェクタ３次元座標系に変換した投影先情報を投影制御部３９０に通知する。
【０１３５】
一方、死角判定部３６０より、取り付け部品の取り付け位置が、死角領域に含まれる旨の判定結果を受信した場合、投影対象決定部１７２０は、投影先候補検出部１７１０により通知された投影先候補情報の中から、１の投影先候補を投影対象に決定する。投影対象決定部１７２０は、１の投影先候補を投影対象に決定した決定結果を投影変換部１７３０に通知する。また、投影対象決定部１７２０は、死角判定部３６０により算出された取り付け位置（３次元世界座標系）を投影変換部１７３０に通知する。更に、投影対象決定部１７２０は、１の投影先候補を３次元世界座標系に変換した投影先情報を投影変換部１７３０に通知するとともに、１の投影先候補をプロジェクタ３次元座標系に変換した投影先情報を投影制御部３９０に通知する。
【０１３６】
投影変換部１７３０は、切替部３８０より通知された作業指示情報に基づいて投影画像データを生成し、投影制御部３９０に通知する。
【０１３７】
なお、投影変換部１７３０は、投影対象決定部３７０より、１の投影先候補を投影対象とする決定結果が通知されていた場合には、投影画像データを生成するにあたり、切替部３８０より通知された作業指示情報を簡略化する。また、投影変換部１７３０は、投影先情報（３次元世界座標系）と取り付け位置（３次元世界座標系）との相対的な位置関係を示す相対位置情報を生成する。更に、投影変換部１７３０は、簡略化した作業指示に、相対位置情報を付加した投影画像データを生成し、投影対象に応じてサイズを調整したうえで、投影画像データを投影制御部３９０に通知する。
【０１３８】
＜調整処理（ステップＳ６０４）の詳細＞
次に、第２の実施形態における投影処理について説明する。なお、第２の実施形態における投影処理は、上記第１の実施形態において説明した投影処理（図６）と概ね同じであり、相違点は、手領域検出処理（ステップＳ６０３）が実行されない点、調整処理（ステップＳ６０４）の処理内容が異なる点である。そこで、以下では、調整処理（ステップＳ６０４）の処理内容について、図９との相違点を中心説明する。
【０１３９】
図１８は、調整処理の第２のフローチャートである。図１８に示す各工程のうち、図９との相違点は、ステップＳ１８０１の投影位置決定処理と、ステップＳ１８０２の相対位置算出処理である。そこで、以下では、投影位置決定処理（ステップＳ１８０１）と変換処理（ステップＳ１８０２）について、詳細を説明する。
【０１４０】
図１９は、投影位置決定処理のフローチャートである。ステップＳ１９０１において、投影先候補検出部１７１０は、距離画像データより、複数の物体を検出し、プロジェクタ装置１１０から見て死角領域に含まれない物体を、投影先候補として検出し、投影先候補情報として投影対象決定部１７２０に通知する。
【０１４１】
ステップＳ１９０２において、投影対象決定部１７２０は、取り付け部品の取り付け位置と、作業者１８０の目の位置とを結ぶ３次元線分を算出する。作業者１８０の目の位置は、例えば、作業対象物１４０が置かれた作業台１５０上の点１５１に対して予め定められた固定の位置とする。ただし、点１５１に対して、作業者１８０ごとに異なる固定の位置を定めておいてもよい。
【０１４２】
ステップＳ１９０３において、投影対象決定部１７２０は、投影先候補検出部１７１０より通知された投影先候補情報に基づいて、各投影先候補の上面位置を特定する。
【０１４３】
ステップＳ１９０４において、投影対象決定部１７２０は、各投影先候補の上面位置から、３次元線分までの距離を算出する。
【０１４４】
ステップＳ１９０５において、投影対象決定部１７２０は、各投影先候補の上面位置から、３次元線分までの距離のうち、最も距離が短い１の投影先候補を、投影対象に決定する。投影対象決定部１７２０は、決定した投影対象の上面位置（３次元世界座標系）を示す投影先情報を投影変換部３４０に通知するとともに、決定した投影対象の上面位置（プロジェクタ３次元座標系）を投影制御部３９０に通知する。
【０１４５】
また、投影対象決定部１７２０は、１の投影先候補を投影対象とする決定結果を投影変換部３４０に通知する。更に、投影対象決定部１７２０は、取り付け位置（３次元世界座標系）を投影変換部３４０に通知する。
【０１４６】
図２０は、相対位置算出処理及び生成した投影画像データを示す図である。このうち、図２０（ａ）は、相対位置算出処理のフローチャートである。ステップＳ２００１において、投影変換部１７３０は、投影対象の上面位置から取り付け部品の取り付け位置までの距離及び方向を算出する。ステップＳ２００２において、投影変換部３４０は、相対位置情報を生成する。
【０１４７】
図２０（ｂ）は、生成された相対位置情報が反映された投影画像データの一例を示す図である。図２０（ｂ）に示すように、投影画像データ２０１０には、簡略化した作業指示として、取り付け位置名称１３０４、取り付け位置画像１３０１、取り付け部品名１３０６、取り付け部品画像１３０３が含まれる。また、投影画像データ２０１０には、相対位置情報（投影対象の上面位置から取り付け位置までの距離及び方向）２０１１が含まれる。図２０（ｂ）に示すように、相対位置情報２０１１には、投影対象の上面位置から見た場合の取り付け位置までの、奥行き方向の距離、上下方向の距離、左右方向の距離が含まれる。
【０１４８】
＜作業者が作業指示を確認する場合の動作例＞
続いて、作業者１８０が作業指示を確認する場合の動作例について図２１を用いて説明する。図２１は、作業者が作業指示を確認する様子を示した第３の図である。図２１に示すように、取り付け位置が、プロジェクタ装置１１０から見て死角領域に含まれている場合、死角領域に含まれない物体であって、作業者１８０の視点の移動の少ない位置の物体１６０３の上面に、作業指示を含む投影画像データが投影される。
【０１４９】
このように、取り付け作業時の作業者の位置と取り付け位置との間の領域である物体１６０３の上面に投影画像データを投影した場合、作業指示を確認するための作業者の視点の移動が少なくて済む。この結果、取り付け作業時の作業者の作業効率が低下するのを回避可能な技術を提供することができる。
【０１５０】
［第３の実施形態］
上記第２の実施形態では、投影画像データ２０１０に、相対位置情報として、投影対象の上面位置から取り付け位置までの距離及び方向を含めるものとして説明した。これに対して、第３の実施形態では、相対位置情報として、手先位置から取り付け位置までの距離及び方向を含めるものとして説明する。
【０１５１】
図２２は、情報処理装置の機能構成の一例を示す第３の図である。図１７に示した機能構成との相違点は、手検出部３２０、手先位置推定部３３０、投影変換部３４０を含む点である。ただし、手検出部３２０、手先位置推定部３３０、投影変換部３４０の各部の詳細は、図３を用いて説明済みであるため、ここでは説明を省略する。
【０１５２】
図２３は、投影画像データの一例を示す図である。図２３に示すように、投影画像データ２３１０には、相対位置情報として、推定した手先位置から取り付け位置までの距離及び方向２３１１が含まれる。図２３の例は、現在の手先位置から約３ｃｍ右方向に、取り付け位置があることを示している。
【０１５３】
このように、物体１６０３の上面に投影画像データを投影する場合についても、上記第１の実施形態と同様に、相対位置情報として、現在の手先位置から取り付け位置までの距離及び方向を含める。これにより、作業者は、取り付け作業を行うために、手先位置をどの方向にどれくらいの距離移動させればよいかを、物体１６０３の上面を見て把握することができる。
【０１５４】
なお、第３の実施形態では、投影対象決定部１７２０の機能が、上記第２の実施形態における投影対象決定部１７２０と同じであるものとしたが、上記第２の実施形態における投影対象決定部１７２０とは異なっていてもよい。
【０１５５】
例えば、投影対象決定部１７２０は、死角判定部３６０より、死角領域に含まれる旨の判定結果を受信した場合、投影先候補情報または手領域情報の中から、投影対象を決定してもよい。これにより、他の物体１６０１〜１６０３及び手領域のうち、最も作業者の視点の移動の少ない領域を、投影対象として決定することが可能になる。
【０１５６】
［第４の実施形態］
上記第１乃至第３の実施形態では、投影システム１００に、プロジェクタ装置１１０と距離測定装置１２０と情報処理装置１３０とが含まれるものとして説明した。これに対して、第４の実施形態では、更に、投影システムに撮影装置が含まれるものとして説明する。
【０１５７】
図２４は、投影システムのシステム構成の一例を示す第２の図である。図２４に示すように、投影システム２４００は、プロジェクタ装置１１０、距離測定装置１２０、情報処理装置１３０に加え、撮影装置２４１０を有する。撮影装置２４１０は、通信ケーブル２４０１を介して、情報処理装置１３０に通信可能に接続される。また、撮影装置２４１０は、作業台１５０の上方に設置される。
【０１５８】
撮影装置２４１０は、作業台１５０の上面を含む所定領域を撮影範囲として撮影を行うことで、ＲＧＢ画像データを生成し、情報処理装置１３０に送信する。図２４に示すように、撮影装置２４１０は、点２４１１を原点とする撮影装置３次元座標系（Ｘｃ軸、Ｙｃ軸、Ｚｃ軸）を有している。
【０１５９】
情報処理装置１３０は、情報投影プログラムを実行することで、作業指示を含む投影画像データをプロジェクタ装置１１０が投影する際の投影対象を決定する。第４の実施形態において情報処理装置１３０は、投影対象を決定するにあたり、距離測定装置１２０から送信される距離画像データと、撮影装置２４１０から送信されるＲＧＢ画像データとを用いる。
【０１６０】
＜情報処理装置の機能構成＞
次に、情報処理装置１３０の機能構成について説明する。図２５は、情報処理装置の機能構成の一例を示す第４の図である。図３との相違点は、画像データ取得部３１０が、距離測定装置１２０から送信された距離画像データに加え、撮影装置２４１０から送信されたＲＧＢ画像データを受信する点である。また、図３との相違点は、対象物検出部２５１０の機能が、対象物検出部３５０とは異なっている点である。
【０１６１】
第４の実施形態における対象物検出部２５１０は、画像データ取得部３１０よりＲＧＢ画像データを受信し、ＲＧＢ画像データより作業対象物１４０を含む画像領域を検出する。また、対象物検出部２５１０は、検出した画像領域に基づいて、作業対象物１４０の位置及び姿勢を示す対象物位置姿勢情報（３次元座標系）を算出し、死角判定部３６０に通知する。更に、対象物検出部２５１０は、画像データ取得部３１０より距離画像データを受信し、死角判定部３６０に通知する。
【０１６２】
＜デバイス情報記憶部に格納されるテーブル＞
次に、デバイス情報記憶部３９２に格納されるテーブルについて説明する。第４の実施形態において、デバイス情報記憶部３９２には、距離測定装置情報テーブル５１０、プロジェクタ装置情報テーブル５２０に加え、撮影装置情報テーブルが格納される。
【０１６３】
図２６は、各情報記憶部に格納されるテーブルの一例を示す第３の図である。具体的には、図２６は、撮影装置情報テーブルの一例を示す図である。
【０１６４】
図２６に示すように、撮影装置情報テーブル２６００は、情報の項目として、“パラメータ名”、“内容”、“値”を含む。
【０１６５】
“パラメータ名”には、撮影装置２４１０の属性を示す各種パラメータの名称が格納される。“内容”には、各種パラメータの定義及び単位が格納される。“値”には、各種パラメータの値が格納される。
【０１６６】
デバイス情報記憶部３９２に格納された距離測定装置情報テーブル５１０、プロジェクタ装置情報テーブル５２０、撮影装置情報テーブル２６００、対象物位置姿勢情報を参照することで、情報処理装置１３０は、
・プロジェクタ３次元座標系、距離測定装置３次元座標系、撮影装置３次元座標系、対象物３次元座標系、３次元世界座標系、の相互間の座標変換、
・距離画像データ上の座標と距離測定装置３次元座標系の座標との間の座標変換、
・ＲＧＢ画像データ上の座標と撮影装置３次元座標系の座標との間の座標変換、及び
・投影画像データ上の座標とプロジェクタ３次元座標系の座標との間の座標変換、
を実現する。
【０１６７】
＜対象物検出処理（ステップＳ６０３）の詳細＞
続いて、対象物検出処理（ステップＳ６０３）の詳細について説明する。第４の実施形態において、対象物検出処理（ステップＳ６０３）は、撮影装置２４１０より送信されたＲＧＢ画像データを用いる。図２７は、対象物検出処理の第２のフローチャートである。
【０１６８】
このうち、図２７（ａ）は、作業対象物１４０にマーカが貼り付けられている場合の対象物検出処理のフローチャートである。ステップＳ２７０１において、対象物検出部２５１０は、ＲＧＢ画像データにおいて、２次元マーカを検出する。
【０１６９】
ステップＳ２７０２において、対象物検出部２５１０は、検出した２次元マーカの、ＲＧＢ画像データ内での位置、向きから、作業対象物１４０の位置及び姿勢を特定する。
【０１７０】
ステップＳ２７０３において、対象物検出部２５１０は、対象物位置姿勢情報（３次元世界座標系）を死角判定部３６０に通知する。
【０１７１】
図２７（ｂ）は、作業対象物１４０が特定の模様を有している場合の対象物検出処理のフローチャートである。ステップＳ２７１１において、対象物検出部２５１０は、検出すべき作業対象物１４０の模様を識別する。検出すべき作業対象物１４０の模様は、例えば、作業対象物情報テーブル４１０に予め登録されているものとする。
【０１７２】
ステップＳ２７１２において、対象物検出部２５１０は、ＲＧＢ画像データの各画像領域との間で特徴点マッチングを行う。また、ステップＳ２７１３において、対象物検出部２５１０は、検出すべき対象物の模様が含まれる画像領域を抽出する。
【０１７３】
ステップＳ２７１３において、対象物検出部２５１０は、抽出した画像領域の位置及び模様の向きから、作業対象物１４０の位置及び姿勢を特定し、対象物位置姿勢情報（３次元世界座標系）を死角判定部３６０に通知する。
【０１７４】
このように、投影システム１００に撮影装置２４１０を含めることで、上記第１乃至第３の実施形態とは異なる方法により、作業対象物１４０を検出することができる。
【０１７５】
なお、第４の実施形態では、ＲＧＢ画像データを、対象物検出処理に用いる場合について説明したが、ＲＧＢ画像データの適用は、対象物検出処理に限定されない。例えば、上記第２の実施形態の投影位置決定処理（図１９）のステップＳ１９０２において、作業者の目の位置を特定する際に用いてもよい。
【０１７６】
［その他の実施形態］
上記第１、第３及び第４の実施形態では、作業領域が死角領域に含まれるか否かによらず、手検出部３２０が距離画像データに基づいて手領域を検出した。しかしながら、手検出部３２０による手領域の検出は、作業領域が死角領域に含まれると判定された場合に、実行するようにしてもよい。
【０１７７】
また、上記第１乃至第４の実施形態では、プロジェクタ装置１１０、距離測定装置１２０（及び撮影装置２４１０）を、作業台１５０の上方に設置する場合について説明したが、設置位置はこれに限定されない。例えば、プロジェクタ装置１１０は、死角領域を最小にするように、作業者１８０の後方に設置してもよい。
【０１７８】
また、上記第１乃至第４の実施形態では、次の作業指示を含む投影画像データの投影指示を、作業台１５０に取り付けられた指示ボタン１７０を介して行うものとして説明した。しかしながら、指示ボタン１７０を利用する代わりに、例えば、投影画像データに指示ボタンの画像を含めて作業台１５０に投影してもよい。この場合、指示ボタンの画像が投影されている位置を、作業者１８０が手指で押圧する動作を行ったことを、距離画像データを介して切替部３８０が識別することで、投影指示が入力されたと判定する。これにより、作業台１５０に指示ボタン１７０を取り付ける必要がなくなる。
【０１７９】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部と、
前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部と、
前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部と
を有することを特徴とする情報投影装置。
（付記２）
前記作業者の手の領域を検出する検出部を更に有し、
前記決定部は、前記作業者の手の領域を、前記投影対象に決定することを特徴とする付記１に記載の情報投影装置。
（付記３）
前記決定部が前記作業者の手の領域を前記投影対象に決定した場合、前記作業指示を、簡略化した指示に変換する変換部を更に有し、
前記制御部は、前記作業者の手の領域に、前記簡略化した指示を投影する制御を前記出力装置に対して行うことを特徴とする付記２に記載の情報投影装置。
（付記４）
前記作業者の手先の位置を推定する推定部を更に有し、
前記制御部は、前記作業者の手先の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする付記２または３に記載の情報投影装置。
（付記５）
前記決定部は、前記作業領域の位置と、前記作業者の目の位置とを結ぶ３次元線分からの距離に基づいて、前記投影対象を決定することを特徴とする付記１に記載の情報投影装置。
（付記６）
前記制御部は、前記投影対象の位置と、前記作業領域の位置との相対的な位置関係を示す情報が含まれる前記作業指示を投影する制御を前記出力装置に対して行うことを特徴とする付記５に記載の情報投影装置。
（付記７）
前記決定部は、前記判定部が前記作業指示を投影できると判定した場合、前記作業領域に、前記作業指示を投影することを特徴とする付記１乃至付記６のいずれかの付記に記載の情報投影装置。
（付記８）
前記作業指示を切り替える切替部を更に有し、
前記制御部は、前記切替部により切り替えられた前記作業指示を、前記投影対象に投影する制御を前記出力装置に対して行うことを特徴とする付記１乃至付記７のいずれかの付記に記載の情報投影装置。
（付記９）
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定し、
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータが実行する情報投影方法。
（付記１０）
作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定し、
前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定し、
決定した前記投影対象に、前記作業指示を投影する制御を出力装置に対して行う、
処理をコンピュータに実行させるための情報投影プログラム。
【０１８０】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１８１】
１００              ：投影システム
１１０              ：プロジェクタ装置
１２０              ：距離測定装置
１３０              ：情報処理装置
１４０              ：作業対象物
１５０              ：作業台
１７０              ：指示ボタン
３１０              ：画像データ取得部
３２０              ：手検出部
３３０              ：手先位置推定部
３４０              ：投影変換部
３５０              ：対象物検出部
３６０              ：死角判定部
３７０              ：投影対象決定部
３８０              ：切替部
３９０              ：投影制御部
１１００            ：取り付け位置
１７１０            ：投影先候補検出部
１７２０            ：投影対象決定部
１７３０            ：投影変換部
２０１０            ：投影画像データ
２３１０            ：投影画像データ
２４１０            ：撮影装置
２５１０            ：対象物検出部
【図１】
2018077560.tif 000003
【図２】
2018077560.tif 000004
【図３】
2018077560.tif 000005
【図４】
2018077560.tif 000006
【図５】
2018077560.tif 000007
【図６】
2018077560.tif 000008
【図７】
2018077560.tif 000009
【図８】
2018077560.tif 000010
【図９】
2018077560.tif 000011
【図１０】
2018077560.tif 000012
【図１１】
2018077560.tif 000013
【図１２】
2018077560.tif 000014
【図１３】
2018077560.tif 000015
【図１４】
2018077560.tif 000016
【図１５】
2018077560.tif 000017
【図１６】
2018077560.tif 000018
【図１７】
2018077560.tif 000019
【図１８】
2018077560.tif 000020
【図１９】
2018077560.tif 000021
【図２０】
2018077560.tif 000022
【図２１】
2018077560.tif 000023
【図２２】
2018077560.tif 000024
【図２３】
2018077560.tif 000025
【図２４】
2018077560.tif 000026
【図２５】
2018077560.tif 000027
【図２６】
2018077560.tif 000028
【図２７】
2018077560.tif 000029