(57)【要約】【課題】対象物に対する操作を案内することができるプロジェクターを提供する。【解決手段】プロジェクター１００は、対象物を含む領域を撮像する撮像部５１と、撮像部の撮像結果を解析し、対象物を認識する解析部（画像解析部５２、画像認識部５３）と、対象物に対する操作を案内するための案内情報を取得する案内情報取得部３０と、案内情報取得部３０によって取得された案内情報に基づいた第１案内画像を生成する案内画像生成部３２ｂと、案内画像生成部３２ｂが生成した第１案内画像を、対象物に投写する投写部（画像投写部１０）と、を備える。【選択図】図２
2015106147.tif 000002
【特許請求の範囲】
【請求項１】
対象物を含む領域を撮像する撮像部と、
前記撮像部の撮像結果を解析し、前記対象物を認識する解析部と、
前記対象物に対する操作を案内するための案内情報を取得する案内情報取得部と、
前記案内情報取得部によって取得された前記案内情報に基づいた第１案内画像を生成する案内画像生成部と、
前記案内画像生成部が生成した前記第１案内画像を、前記対象物に投写する投写部と、
を備えることを特徴とするプロジェクター。
【請求項２】
請求項１に記載のプロジェクターであって、
前記解析部は、前記撮像部の撮像結果を解析して、前記対象物および指示体を認識し、
前記案内情報取得部は、前記解析部が認識した前記指示体の操作に基づいて前記案内情報を取得することを特徴とするプロジェクター。
【請求項３】
請求項１または２に記載のプロジェクターであって、
前記第１案内画像には、前記対象物に対する操作を行う位置を表す画像が含まれることを特徴とするプロジェクター。
【請求項４】
請求項１乃至３のいずれか一項に記載のプロジェクターであって、
前記撮像部は複数の撮像素子を有して構成されており、
前記解析部は、前記対象物および前記操作体を立体的に認識することを特徴とするプロジェクター。
【請求項５】
請求項４に記載のプロジェクターであって、
前記撮像部が撮像し、前記解析部が認識した前記対象物の形状に応じて、前記第１案内画像を補正する補正部をさらに有することを特徴とするプロジェクター。
【請求項６】
請求項１乃至５のいずれか一項に記載のプロジェクターであって、
前記案内画像生成部は、前記案内情報に基づいて第２案内画像をさらに生成し、
前記投写部は、前記第２案内画像を前記対象物とは異なる位置に投写することを特徴とするプロジェクター。
【請求項７】
請求項６に記載のプロジェクターであって、
前記第２案内画像には、前記対象物に対する操作の見本を表す画像が含まれることを特徴とするプロジェクター。
【請求項８】
請求項１乃至７のいずれか一項に記載のプロジェクターであって、
前記案内情報取得部が取得する前記案内情報には、案内のための音声情報である案内音声情報を含み、前記案内音声情報を出力する音声出力部をさらに備えることを特徴とするプロジェクター。
【請求項９】
対象物を撮像する撮像装置と、画像情報を解析する解析装置と、画像を投写する画像投写装置と、を備えた画像投写システムであって、
前記撮像装置は、
前記対象物を撮像して撮像画像情報を生成する撮像部と、
前記撮像画像情報を前記解析装置に出力する第１出力部と、
を有し、
前記解析装置は、
前記撮像装置から出力された前記撮像画像情報を入力する第１入力部と、
前記撮像画像情報を解析し、前記対象物を認識する解析部と、
前記対象物に対する操作を案内するための案内情報を取得する案内情報取得部と、
前記案内情報取得部によって取得された前記案内情報に基づいた第１案内画像を生成する案内画像生成部と、
前記案内画像生成部が生成した前記第１案内画像の情報を前記画像投写装置に出力する第２出力部と、
を有し、
前記画像投写装置は、
前記解析装置から出力された前記第１案内画像の情報を入力する第２入力部と、
前記第１案内画像を、前記対象物に投写する投写部と、
を有することを特徴とする画像投写システム。
【請求項１０】
撮像部を有するプロジェクターの制御方法であって、
前記撮像部によって、対象物を含む領域を撮像する撮像ステップと、
前記撮像ステップによる撮像結果を解析し、前記対象物を認識する解析ステップと、
前記対象物に対する操作を案内するための案内情報を取得する案内情報取得ステップと、
前記案内情報取得ステップによって取得された前記案内情報に基づいた第１案内画像を生成する案内画像生成ステップと、
前記案内画像生成ステップによって生成された前記第１案内画像を、前記対象物に投写する投写ステップと、
を備えることを特徴とするプロジェクターの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクター、画像投写システム、およびプロジェクターの制御方法に関する。
【背景技術】
【０００２】
従来、学習者がコンピューター又はコンピューターシステム上で学ぶための電子学習システムであって、学習ストーリーを展開し、学習者の操作によって、学習ストーリーを変化させる電子学習システムが開示されている（特許文献１）。特許文献１において、電子学習システムは、電子記録媒体又は通信手段によって提示された初期学習情報をコンピューターに取り込み、学習者の操作に従い、初期学習情報を用いて初期学習ストーリーを展開する。そして、学習者の操作情報等を記憶し、それらの情報と初期学習情報とから初期学習ストーリーとは異なる学習ストーリーに変化させて実行を可能とする。そして、電子記録媒体または通信手段によって、コンピューターに取り込まれた初期学習情報を含む電子学習情報中の電子学習教材と学習者とが、コンピューター上で相互に情報交換しながら学習ストーリーを学習者の目的に合致させていく。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３０８８１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されているような電子学習システムにおいては、ユーザーは、コンピューター上の表示によって情報を取得することが可能である。しかしながら、コンピューター上での学習ではなく、実技を行う際には、実技を行う対象物に対してどのような操作を行えばよいのかを指示（案内）することはできなかった。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。
【０００６】
［適用例１］本適用例に係るプロジェクターは、対象物を含む領域を撮像する撮像部と、前記撮像部の撮像結果を解析し、前記対象物を認識する解析部と、前記対象物に対する操作を案内するための案内情報を取得する案内情報取得部と、前記案内情報取得部によって取得された前記案内情報に基づいた第１案内画像を生成する案内画像生成部と、前記案内画像生成部が生成した前記第１案内画像を、前記対象物に投写する投写部と、を備えることを特徴とする。
【０００７】
このようなプロジェクターによれば、解析部は、撮像部の撮像結果を解析し、対象物を認識する。案内画像生成部は、案内情報取得部によって取得された案内情報に基づいた第１案内画像を生成する。投写部は、第１案内画像を、対象物に投写する。これにより、プロジェクターは、対象物に第１案内画像を投写することで、対象物に対して行う操作の内容を、操作者に案内することができる。
【０００８】
［適用例２］上記適用例に係るプロジェクターにおいて、前記解析部は、前記撮像部の撮像結果を解析して、前記対象物および指示体を認識し、前記案内情報取得部は、前記解析部が認識した前記指示体の操作に基づいて前記案内情報を取得することを特徴とする。
【０００９】
このようなプロジェクターによれば、解析部は、撮像結果を解析して、対象物および指示体を認識する。そして、案内画像取得部は、指示体の操作に基づいた案内情報を取得する。これにより、プロジェクターは、操作体の操作に応じ、案内情報を取得して第１案内画像として操作者に案内することができる。
【００１０】
［適用例３］上記適用例に係るプロジェクターにおいて、前記第１案内画像には、前記対象物に対する操作を行う位置を表す画像が含まれることを特徴とする。
【００１１】
このようなプロジェクターによれば、第１案内画像によって、対象物に対する操作を行う位置を操作者に案内することができる。
【００１２】
［適用例４］上記適用例に係るプロジェクターにおいて、前記撮像部は複数の撮像素子を有して構成されており、前記解析部は、前記対象物および前記操作体を立体的に認識することを特徴とする。
【００１３】
このようなプロジェクターによれば、撮像部は複数の撮像素子を有して構成されており、解析部は、対象物および操作体を立体的に認識することが可能になる。これにより、対象物の認識性を向上することができる。
【００１４】
［適用例５］上記適用例に係るプロジェクターにおいて、前記撮像部が撮像し、前記解析部が認識した前記対象物の形状に応じて、前記第１案内画像を補正する補正部をさらに有することを特徴とする。
【００１５】
このようなプロジェクターによれば、補正部は、解析部が認識した対象物の形状に応じて、第１案内画像を補正する。これにより、補正された第１案内画像が対象物に投写される。よって、第１案内画像が対象物の形状に即さない場合に、対象物の形状に即するように第１案内画像を補正して、投写することが可能になる。
【００１６】
［適用例６］上記適用例に係るプロジェクターにおいて、前記案内画像生成部は、前記案内情報に基づいて第２案内画像をさらに生成し、前記投写部は、前記第２案内画像を前記対象物とは異なる位置に投写することを特徴とする。
【００１７】
このようなプロジェクターによれば、第２案内画像を対象物とは異なる位置に投写する。これにより、プロジェクターは、対象物への第１案内画像に加えて、第２案内画像を投写することで、操作に関する多くの情報を操作者に提供（案内）することができる。
【００１８】
［適用例７］上記適用例に係るプロジェクターにおいて、前記第２案内画像には、前記対象物に対する操作の見本を表す画像が含まれることを特徴とする。
【００１９】
このようなプロジェクターによれば、第２案内画像によって、対象物に対する操作の見本を操作者に案内することができる。
【００２０】
［適用例８］上記適用例に係るプロジェクターにおいて、前記案内情報取得部が取得する前記案内情報には、案内のための音声情報である案内音声情報を含み、前記案内音声情報を出力する音声出力部をさらに備えることを特徴とする。
【００２１】
このようなプロジェクターによれば、音声出力部は、案内音声情報を出力する。これにより、プロジェクターは、対象物への第１案内画像や第２案内画像に加えて、音声で案内するため、操作に関する多くの情報を操作者に案内することができる。
【００２２】
［適用例９］本適用例に係る画像投写システムは、対象物を撮像する撮像装置と、画像情報を解析する解析装置と、画像を投写する画像投写装置と、を備えた画像投写システムであって、前記撮像装置は、前記対象物を撮像して撮像画像情報を生成する撮像部と、前記撮像画像情報を前記解析装置に出力する第１出力部と、を有し、前記解析装置は、前記撮像装置から出力された前記撮像画像情報を入力する第１入力部と、前記撮像画像情報を解析し、前記対象物を認識する解析部と、前記対象物に対する操作を案内するための案内情報を取得する案内情報取得部と、前記案内情報取得部によって取得された前記案内情報に基づいた第１案内画像を生成する案内画像生成部と、前記案内画像生成部が生成した前記第１案内画像の情報を前記画像投写装置に出力する第２出力部と、を有し、前記画像投写装置は、前記解析装置から出力された前記第１案内画像の情報を入力する第２入力部と、前記第１案内画像を、前記対象物に投写する投写部と、を有することを特徴とする。
【００２３】
このような画像投写システムによれば、撮像装置は、対象物を撮像して撮像画像情報を生成する。解析装置は、撮像画像情報を解析し、対象物を認識する。また、対象物に対する操作を案内するための案内情報を取得する。そして、案内情報に基づいた第１案内画像を生成する。画像投写装置は、第１案内画像を対象物に投写する。これにより、画像投写システムは、対象物に第１案内画像を投写することで、対象物に対して行う操作の内容を、操作者に案内することができる。
【００２４】
［適用例１０］本適用例に係るプロジェクターの制御方法は、撮像部を有するプロジェクターの制御方法であって、前記撮像部によって、対象物を含む領域を撮像する撮像ステップと、前記撮像ステップによる撮像結果を解析し、前記対象物を認識する解析ステップと、前記対象物に対する操作を案内するための案内情報を取得する案内情報取得ステップと、前記案内情報取得ステップによって取得された前記案内情報に基づいた第１案内画像を生成する案内画像生成ステップと、前記案内画像生成ステップによって生成された前記第１案内画像を、前記対象物に投写する投写ステップと、を備えることを特徴とする。
【００２５】
このようなプロジェクターの制御方法によれば、プロジェクターは、対象物に第１案内画像を投写することで、対象物に対して行う操作の内容を、操作者に案内することができる。
【００２６】
また、上述したプロジェクター、画像投写システム、およびプロジェクターの制御方法が、プロジェクターまたは解析装置に備えられたコンピューターを用いて構築されている場合には、上記形態および上記適用例は、その機能を実現するためのプログラム、あるいは当該プログラムを前記コンピューターで読み取り可能に記録した記録媒体等の態様で構成することも可能である。記録媒体としては、フレキシブルディスクやＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ、光磁気ディスク、不揮発性メモリーカード、プロジェクターまたは解析装置の内部記憶装置（ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の半導体メモリー）、および外部記憶装置（ＵＳＢ（Universal Serial Bus）メモリー等）等、前記コンピューターが読み取り可能な種々の媒体を利用することができる。
【図面の簡単な説明】
【００２７】
【図１】第１の実施形態に係るプロジェクターおよび投写状態を表す斜視図。
【図２】第１の実施形態に係るプロジェクターの構成を示すブロック図。
【図３】プロジェクターの操作内容を案内する処理のフローチャート。
【図４】第２の実施形態に係る画像投写システムおよび投写状態を表す斜視図。
【図５】第２の実施形態に係る画像投写システムの構成を示すブロック図。
【発明を実施するための形態】
【００２８】
（第１の実施形態）
以下、第１の実施形態として、投写画像を撮像し、撮像画像に基づいて、投写画像内における対象物および指示体を検出するインタラクティブ機能を有し、操作内容を案内するプロジェクターについて説明する。
【００２９】
図１は、第１の実施形態に係るプロジェクターおよび投写状態を表す斜視図である。
図１には、プロジェクター１００、投写面であるテーブルＴ、対象物である実物の魚Ｆ１、指示体である包丁Ｐ１、および投写画像ＤＡが表されている。また、操作者Ｈも表示されている。プロジェクター１００は、テーブルＴに固定または載置され、テーブルＴ上に画像を投写している。
【００３０】
プロジェクター１００は、投写レンズ１３、および４つの撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４を備えている。投写レンズ１３は、テーブルＴ上に投写画像ＤＡを投写し、撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４は、投写画像ＤＡを含む範囲を撮像する。
【００３１】
第１の実施形態のプロジェクター１００では、魚をさばく操作を案内する。よって、操作者Ｈは、実物の魚Ｆ１をテーブルＴ上に載置して、包丁Ｐ１を用いて魚Ｆ１をさばく。また、プロジェクター１００は、操作の見本となる様子を表す魚の見本画像Ｄ１をテーブル上に投写することで、実物の魚Ｆ１の状態と比較することができる。
【００３２】
プロジェクター１００の魚の見本画像Ｄ１上には、操作を表す画像、即ち包丁Ｐ１で切る位置を表す指示線Ｄ２が投写される。そして、実物の魚Ｆ１上には、包丁Ｐ１で操作する位置（切る位置）を表す案内線Ｌ１を投写する。このとき、プロジェクター１００は、実物の魚Ｆ１を画像認識し、案内線Ｌ１を投写する。なお、案内線Ｌ１は、投写レンズ１３側から見て、実物の魚Ｆ１の影になる部分は表示されないが、本実施形態の図１では、説明のために表示している。さらに見本画像Ｄ１の横（操作者Ｈから見て手前側）には、操作を案内する案内文字Ｄ３が投写される。図１では、「ひれを跨いで包丁を立てます」と表示している。
【００３３】
さらに、プロジェクター１００は、投写画像ＤＡを切り換えるためのボタンＢ１，Ｂ２，Ｂ３を投写する。本実施形態では、ボタンＢ１には、魚をさばく操作を案内するための投写画像ＤＡを次のシーン（場面）の画像に切り換えるための「次へ」という文字が表示されている。また、ボタンＢ２には、前のシーンの画像に戻るための「戻る」という文字が表示されている。さらに、ボタンＢ３には、魚をさばく操作の案内を終了するための「終了」という文字が表示されている。
【００３４】
操作者Ｈが、指（図示せず）や包丁Ｐ１等の指示体によって、ボタンＢ１，Ｂ２，Ｂ３を指示する操作を行うと、プロジェクター１００の撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４によって撮像して操作を認識し、プロジェクター１００は、操作されたボタンに応じた画像を投写する。
【００３５】
なお、プロジェクター１００は、ズーム機能、台形補正機能、フォーカス機能を備えている。そして、操作者Ｈは、これらの機能を用いて、図１に示すように、矩形のテーブルＴに収まるように投写画像ＤＡを投写するように調整する。なお、プロジェクター１００は、投写レンズ１３や撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４を用いて、テーブルＴの枠を検出したり、所定のテストパターンを表示したりして、ズーム機能、台形補正機能、フォーカス機能を自動で調整し、矩形のテーブルＴに収まるように投写画像ＤＡを投写するように調整してもよい。なお、以降では、ズーム機能、台形補正機能、フォーカス機能についての説明は省略する。また、プロジェクター１００では、撮像した投写画像ＤＡ内における所定の場所を、画像信号（画像情報）に基づく画像内における所定の場所に対応付けるための手続きであるキャリブレーションが行われているものとする。
【００３６】
図２は、第１の実施形態に係るプロジェクター１００の構成を示すブロック図である。
図２には、プロジェクター１００に加えて、ネットワークＮＷ、ネットワークＮＷに接続されたデータベースＤＢ、投写面となるテーブルＴ、対象物である実物の魚Ｆ１、および指示体としての包丁Ｐ１等が表されている。これらによって、インタラクティブ機能によって案内画像の投写が実現される。
【００３７】
プロジェクター１００は、投写部としての画像投写部１０、制御部２０、操作受付部２１、案内情報取得部３０、案内情報処理部３１、画像処理部３２、画像情報入力部３５、音声出力部４０、スピーカー４１、撮像解析部５０等を備えて構成されている。
【００３８】
画像投写部１０は、光源１１、光変調装置としての３つの液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂ、投写光学系としての投写レンズ１３、ライトバルブ駆動部１４等を含んでいる。画像投写部１０は、光源１１から射出された光を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂで変調して画像光を形成し、この画像光を投写レンズ１３から投写して投写面であるテーブルＴ等に表示する。
【００３９】
光源１１は、超高圧水銀ランプやメタルハライドランプ等からなる放電型の光源ランプ１１ａと、光源ランプ１１ａが放射した光を液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂ側に反射するリフレクター１１ｂとを含んで構成されている。光源１１から射出された光は、図示しないインテグレーター光学系によって輝度分布が略均一な光に変換され、図示しない色分離光学系によって光の３原色である赤色Ｒ、緑色Ｇ、青色Ｂの各色光成分に分離された後、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。
【００４０】
液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂには、マトリクス状に配列された複数の画素（図示せず）が形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。ライトバルブ駆動部１４が、入力される画像情報に応じた駆動電圧を各画素に印加すると、各画素は、画像情報に応じた光透過率に設定される。このため、光源１１から射出された光は、この液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを透過することによって変調され、画像情報に応じた画像が色光毎に形成される。形成された各色の画像は、図示しない色合成光学系によって画素毎に合成されてカラー画像となった後、投写レンズ１３から投写される。
【００４１】
制御部２０は、ＣＰＵ（Central Processing Unit）、各種データの一時記憶等に用いられるＲＡＭ、および、マスクＲＯＭやフラッシュメモリー、ＦｅＲＡＭ（Ferroelectric RAM：強誘電体メモリー）等の不揮発性のメモリー等（いずれも図示せず）を備え、コンピューターとして機能するものである。制御部２０は、ＣＰＵが不揮発性のメモリーに記憶されている制御プログラムに従って動作することにより、プロジェクター１００の動作を統括制御する。
【００４２】
操作受付部２１は、操作者Ｈからの入力操作を受け付けるものであり、操作者Ｈがプロジェクター１００に対して各種指示を行うための複数の操作キーを備えている。操作受付部２１が備える操作キーとしては、電源のオン・オフを切り換えるための電源キー、各種設定を行うためのメニュー画像の表示・非表示を切り換えるメニューキー、メニュー画像におけるカーソルの移動等に用いられるカーソルキー、各種設定を決定するための決定キー等がある。操作者Ｈが操作受付部２１の各種操作キーを操作（押下）すると、操作受付部２１は、この入力操作を受け付けて、操作者Ｈの操作内容に応じた操作信号を制御部２０に出力する。
【００４３】
なお、操作受付部２１として、遠隔操作が可能なリモコン（図示せず）を用いた構成としてもよい。この場合、リモコンは、操作者Ｈの操作内容に応じた赤外線等の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部２０に伝達する。
【００４４】
案内情報取得部３０は、制御部２０の指示により、ＴＣＰ／ＩＰ等のプロトコルを用いて、ネットワークＮＷを介してデータベースＤＢから案内情報を取得する。ここで案内情報とは、対象物に対する操作を案内するための情報であり、シーン（場面）毎の画像情報や音声情報等を備えて構成されている。案内情報には、シーン毎に通し番号が設定されており、当該案内情報において何番目のシーンなのかを判別することが可能になっている。案内情報取得部３０は、案内情報を取得すると、制御部２０に取得した旨を通知する。取得した案内情報は、案内情報処理部３１に出力する。なお、本実施形態では、案内情報を、ネットワークＮＷを介してデータベースＤＢから取得するものとしたが、メモリーカードや他の記憶媒体等から取得してもよい。また、プロジェクター１００内の不揮発性のメモリー等に予め案内情報を記憶させておき、このメモリーから取得してもよい。
【００４５】
案内情報処理部３１は、制御部２０の指示により、入力された案内情報に対する処理を行う。具体的には、案内情報を画像情報と音声情報とに分割する。案内情報処理部３１は、画像情報を画像処理部３２で処理可能な形式の画像情報に変換して画像処理部３２に出力する。このとき、案内情報処理部３１は、魚の見本画像Ｄ１上に描画されている指示線Ｄ２を画像認識する。そして、その見本画像Ｄ１における指示線Ｄ２の位置情報も画像処理部３２に出力する。また、案内情報処理部３１は、音声情報を音声出力部４０で処理可能な形式に変換して、音声出力部４０に出力する。また、案内情報処理部３１は、画像情報に入力されているシーン番号を制御部２０に通知する。
【００４６】
画像処理部３２は、ＯＳＤ処理部３２ａおよび案内画像生成部３２ｂを含んで構成されている。画像処理部３２は、案内情報処理部３１または画像情報入力部３５から入力される画像情報を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂの各画素の階調を表す画像データに変換し、ライトバルブ駆動部１４に出力する。ここで、変換された画像データは、Ｒ，Ｇ，Ｂの色光別になっており、各液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂのすべての画素に対応する複数の画素値によって構成されている。画素値とは、対応する画素の光透過率を定めるものであり、この画素値によって、各画素から射出する光の強弱（階調）が規定される。また、画像処理部３２は、制御部２０の指示に基づき、変換した画像データに対して、明るさ、コントラスト、シャープネス、色合い等を調整するための画質調整処理等を行う。
【００４７】
ＯＳＤ処理部３２ａは、制御部２０の指示に基づいて、入力された画像情報に基づく画像（以降、「入力画像」とも呼ぶ。）上に、メニュー画像やメッセージ画像等のＯＳＤ（オンスクリーンディスプレイ）画像を重畳して表示するための処理を行う。ＯＳＤ処理部３２ａは、図示しないＯＳＤメモリーを備えており、ＯＳＤ画像を形成するための図形やフォント等を表すＯＳＤ画像情報を記憶している。制御部２０が、ＯＳＤ画像の重畳を指示すると、ＯＳＤ処理部３２ａは、必要なＯＳＤ画像情報をＯＳＤメモリーから読み出し、入力画像上の所定の位置にＯＳＤ画像が重畳されるように、画像情報にこのＯＳＤ画像情報を合成する。
【００４８】
案内画像生成部３２ｂは、対象物である実物の魚Ｆ１上に投写する案内線Ｌ１（第１案内画像）、見本画像Ｄ１（第２案内画像）、指示線Ｄ２（第２案内画像）、案内文字Ｄ３（第２案内画像）を生成する。見本画像Ｄ１、指示線Ｄ２、案内文字Ｄ３は、入力画像に基づいた画像として生成される。案内線Ｌ１は、ＯＳＤ画像として生成され、入力画像に基づいた画像に重畳される。
【００４９】
案内画像生成部３２ｂは、案内情報処理部３１から入力した見本画像Ｄ１における指示線Ｄ２の位置情報に基づき、後述する撮像解析部５０が画像認識した対象物である実物の魚Ｆ１上に相当する位置の画像情報に、案内線Ｌ１をＯＳＤ画像として合成する。ここで、実物の魚Ｆ１は立体であり、案内線Ｌ１を直線として表示すると、実物の魚Ｆ１上で歪む場合がある。このため、案内画像生成部３２ｂは、案内線Ｌ１を実物の魚Ｆ１上で歪まないように曲線等に補正する。具体的には、撮像解析部５０の撮像部５１の複数の撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４によって、複数の方向から実際の魚Ｆ１を撮像する。これによって、実際の魚Ｆ１を立体的に認識することができる。さらに、撮像した撮像画像に基づき、実物の魚Ｆ１上で歪まないように案内線Ｌ１を補正する。この案内画像生成部３２ｂが、補正部に相当する。
【００５０】
画像情報入力部３５は、複数の入力端子を備えており、これらの入力端子には、ビデオ再生装置やパーソナルコンピューター等、図示しない外部の画像供給装置から各種形式の画像情報（画像信号）が入力される。制御部２０からの指示に基づき、画像情報入力部３５は画像情報を選択し、選択した画像情報を画像処理部３２に出力する。なお、本実施形態では、画像処理部３２は、画像情報入力部３５から入力される画像情報ではなく、案内情報処理部３１から入力される画像情報を処理して出力する。
【００５１】
ライトバルブ駆動部１４が、画像処理部３２から入力される画像データ（画像情報）に従って液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを駆動すると、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、画像データに応じた画像を形成し、この画像が投写レンズ１３から投写される。
【００５２】
撮像解析部５０は、撮像部５１、画像解析部５２、画像認識部５３を含んで構成されている。撮像解析部５０は、制御部２０によって制御される。撮像解析部５０は、投写面であるテーブルＴを撮像し、画像解析して、対象物である魚Ｆ１を画像認識する。画像解析部５２および画像認識部５３が、解析部に相当する。
【００５３】
撮像部５１は、複数の撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４を有して構成されている。撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４は、それぞれ、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等からなる撮像素子等（図示せず）と、撮像対象から発せられた光を撮像素子上に結像させるための撮像レンズ（図示せず）を備えている。撮像部５１は、投写面であるテーブルＴに投写された画像（以降、「投写画像」とも呼ぶ。）を含む範囲を制御部２０の指示に基づいて撮像する。そして、撮像部５１は、撮像した画像（以降、「撮像画像」とも呼ぶ。）を表す画像情報を順次生成し、画像解析部５２に出力する。
【００５４】
画像解析部５２は、画像解析用の処理装置やメモリー等（いずれも図示せず）を有して構成されている。画像解析部５２は、撮像部５１から入力された撮像画像情報の解析を行う。画像解析部５２は、解析結果を画像認識部５３に出力する。また、画像解析部５２は、撮像画像上の位置情報から入力画像の画像信号に基づく画像上の位置情報への変換を行う。
【００５５】
画像認識部５３は、画像解析部５２の解析結果に基づいて、画像認識を行い、対象物である実物の魚Ｆ１および指示体である指や包丁Ｐ１の形状情報と位置情報を認識する。画像認識部５３は、実物の魚Ｆ１および指や包丁Ｐ１の形状情報と位置情報を制御部２０および画像処理部３２に出力する。
【００５６】
制御部２０の不揮発性のメモリーには、指や包丁Ｐ１等の指示体を操作デバイスとして利用するためのソフトウェア（デバイスドライバー）が記憶されている。そして、このソフトウェアが起動した状態では、画像処理部３２は、撮像解析部５０から制御部２０を介して入力される位置情報（制御情報）に基づいて、投写画像内で指や包丁Ｐ１の操作がなされた位置をそれぞれ認識する。そして、指や包丁Ｐ１の操作の位置情報に基づいて、画像処理部３２は、ボタンＢ１，Ｂ２，Ｂ３等の指示がなされているか否かの情報を制御部２０に通知する。
【００５７】
音声出力部４０は、図示しない増幅回路等を備えており、案内情報処理部３１から入力された音声情報に基づく音声を、スピーカー４１から出力する。音声情報は、操作者Ｈに操作を案内する。
【００５８】
次に、プロジェクター１００が、操作内容を案内する処理について、フローチャートを用いて説明する。
図３は、本実施形態に係るプロジェクター１００の操作内容を案内する処理のフローチャートである。なお、本実施形態では、案内する操作内容は、予め、「魚のさばき方」が選択されているものとする。
【００５９】
プロジェクター１００の制御部２０は、案内情報取得部３０に指示を出して、ネットワークＮＷを介してデータベースＤＢから、「魚のさばき方」の最初のシーン（場面）の案内情報を取得させる（ステップＳ１０１）。制御部２０は、案内情報処理部３１に指示を出して、案内情報における画像情報を画像処理部３２に出力させ、画像情報に基づいた画像を投写させる。さらに、制御部２０は、案内情報処理部３１に指示を出して、案内情報における音声情報を音声出力部４０に出力させ、スピーカー４１から案内音声を出力させる（ステップＳ１０２）。
【００６０】
制御部２０は、案内情報処理部３１に指示を出して、画像情報上の見本画像Ｄ１における指示線Ｄ２を画像認識して、位置情報を検出する（ステップＳ１０３）。
【００６１】
制御部２０は、撮像解析部５０の撮像部５１に指示を出して、投写面であるテーブルＴを含む領域を撮像させて撮像画像を生成させる（ステップＳ１０４）。画像解析部５２は、撮像画像を解析する（ステップＳ１０５）。そして、画像認識部５３は、解析結果に基づいて対象物である実物の魚Ｆ１の形状情報と位置情報とを画像認識する（ステップＳ１０６）。
【００６２】
制御部２０は、対象物である実物の魚Ｆ１の形状情報と位置情報、および見本画像Ｄ１における指示線Ｄ２の位置情報に基づいて、画像情報にＯＳＤ画像による案内線Ｌ１を重畳して、実物の魚Ｆ１上に案内線Ｌ１を表示させる（ステップＳ１０７）。
【００６３】
制御部２０は、画像認識部５３に指示を出して、解析結果に基づいて指示体である指や包丁Ｐ１の形状情報と位置情報を画像認識する（ステップＳ１０８）。制御部２０は、指示体が、「次へ」のボタンＢ１を指示しているか否かを判断する（ステップＳ１０９）。
【００６４】
指示体が、「次へ」のボタンＢ１を指示している場合（ステップＳ１０９：ＹＥＳ）、制御部２０は、操作の案内が終了、即ち、全ての案内シーンが終了したか否かを判断する（ステップＳ１１０）。操作の案内が終了している場合（ステップＳ１１０：ＹＥＳ）、操作内容を案内する処理（当該フローチャート）を終了する。
【００６５】
操作の案内が終了していない場合（ステップＳ１１０：ＮＯ）、制御部２０は、案内情報取得部３０に指示を出して、データベースＤＢから、次のシーン（場面）の案内情報を取得させる（ステップＳ１１１）。制御部２０は、案内情報処理部３１に指示を出して、案内情報における画像情報を画像処理部３２に出力させ、画像情報に基づいた画像を投写させる。さらに、制御部２０は、案内情報処理部３１に指示を出して、案内情報における音声情報を音声出力部４０に出力させ、スピーカー４１から案内音声を出力させる（ステップＳ１１２）。そして、ステップＳ１０３に移行する。
【００６６】
指示体が、「次へ」のボタンＢ１を指示していない場合（ステップＳ１０９：ＮＯ）、制御部２０は、「戻る」のボタンＢ２を指示しているか否かを判断する（ステップＳ１１３）。
【００６７】
指示体が、「戻る」のボタンＢ２を指示している場合（ステップＳ１１３：ＹＥＳ）、制御部２０は、案内情報取得部３０に指示を出して、データベースＤＢから、１つ前のシーン（場面）の案内情報を取得させる（ステップＳ１１４）。制御部２０は、案内情報処理部３１に指示を出して、案内情報における画像情報を画像処理部３２に出力させ、画像情報に基づいた画像を投写させる。さらに、制御部２０は、案内情報処理部３１に指示を出して、案内情報における音声情報を音声出力部４０に出力させ、スピーカー４１から案内音声を出力させる（ステップＳ１１５）。そして、ステップＳ１０３に移行する。
【００６８】
指示体が、「戻る」のボタンＢ２を指示していない場合（ステップＳ１１３：ＮＯ）、制御部２０は、「終了」のボタンＢ３を指示しているか否かを判断する（ステップＳ１１６）。
【００６９】
指示体が、「終了」のボタンＢ３を指示している場合（ステップＳ１１６：ＹＥＳ）、操作内容を案内する処理（当該フローチャート）を終了する。指示体が、「終了」のボタンＢ３を指示していない場合（ステップＳ１１６：ＮＯ）、ステップＳ１０４に移行する。
【００７０】
このように、プロジェクター１００は、操作内容を案内する処理を実行することで、「魚のさばき方」の操作を画像および音声にて案内することができる。そして、実物の魚Ｆ１上に案内線Ｌ１を表示することができる。なお、案内する操作内容は、「魚のさばき方」に限定するものではなく、その他の案内操作も選択できる。この場合、制御部２０は、案内情報取得部３０に指示を出して、データベースＤＢに記憶されている各種の「案内する操作内容」を取得して、画像投写部１０に投写させる。そして、操作者Ｈに指示体によって選択させて、撮像解析部５０で認識して、実行するものとする。
【００７１】
上述した第１の実施形態によれば、以下の効果が得られる。
（１）プロジェクター１００の撮像解析部５０は、撮像画像を解析し、対象物である実物の魚Ｆ１を認識する。案内画像生成部３２ｂは、案内情報取得部３０によって取得された案内情報に基づいて、画像情報において、対象物である実物の魚Ｆ１上の操作を行う位置に、案内線Ｌ１（第１案内画像）をＯＳＤ画像として合成する。画像投写部１０は、画像情報に基づいた画像を投写する。これにより、プロジェクター１００は、対象物である実物の魚Ｆ１に案内線Ｌ１を投写することが可能となり、対象物に対してどのような操作を行えばよいか（包丁Ｐ１を用いてどこを切ればよいか）を、操作者Ｈに案内し、支援することができるため、有益である。
【００７２】
（２）プロジェクター１００の撮像解析部５０は、撮像結果を解析して、対象物である実物の魚Ｆ１、および操作者Ｈの指や包丁Ｐ１等の指示体を認識する。そして、指示体による指示操作（「次へ」のボタンの指示操作）に基づいて、制御部２０は、案内情報取得部３０に指示を出して、データベースＤＢから、次のシーン（場面）の案内情報を取得させることができる。そして、案内情報処理部３１および画像処理部３２の案内画像生成部３２ｂは、案内線Ｌ１が重畳された画像情報を生成する。画像投写部１０は、対象物に案内画像を投写する。これにより、プロジェクター１００は、操作者Ｈの指示操作に応じ、次にどのような操作を行えばよいかを、操作者Ｈに案内することが可能になる。また、指示体による指示操作によって、前のシーンに戻ったり、案内を終了させたりすることも可能であるため有益である。
【００７３】
（３）プロジェクター１００は、撮像部５１として、複数の撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４を有して構成されており、撮像解析部５０は、対象物である実物の魚Ｆ１および操作体である指や包丁Ｐ１を立体的に認識することが可能である。これにより、画像認識の正確性を向上することができる。
【００７４】
（４）プロジェクター１００の案内画像生成部３２ｂは、対象物の形状に応じて案内線Ｌ１を補正する。つまり、案内画像生成部３２ｂは、撮像解析部５０が認識した対象物である実物の魚Ｆ１の立体的な形状に応じて、案内線Ｌ１（第１案内画像）が歪まないように補正する。これにより、操作者Ｈは、対象物における正しい操作位置を視認することが可能になるため、有益である。
【００７５】
（５）プロジェクター１００は、操作の見本となる様子を表す魚の見本画像Ｄ１、指示線Ｄ２、および操作を案内する案内文字Ｄ３を、対象物とは異なる位置に投写する。これにより、プロジェクター１００は、対象物への案内線Ｌ１に加えて、見本画像Ｄ１、指示線Ｄ２および案内文字Ｄ３を投写することによって、操作に関する多くの情報を操作者Ｈに提供することができる。よって、操作者Ｈは、対象物に対する操作を効率的に行うことが可能になる。
【００７６】
（６）プロジェクター１００は、音声出力部４０およびスピーカー４１によって、案内音声を出力する。これにより、プロジェクター１００は、対象物への案内線Ｌ１、見本画像Ｄ１、指示線Ｄ２、案内文字Ｄ３に加えて、音声で案内するため、操作に関する多くの情報を操作者Ｈに提供することができる。よって、操作者Ｈは、対象物に対する操作を効率的に行うことが可能になる。
【００７７】
（第２の実施形態）
第２の実施形態では、投写画像を撮像する撮像装置と、画像データを解析する解析装置と、画像を投写する画像投写装置と、を備える画像投写システムであって、撮像画像に基づいて、投写画像内における対象物および指示体を検出するインタラクティブ機能を有し、操作内容を案内する画像投写システムについて説明する。
【００７８】
図４は、第２の実施形態に係る画像投写システムおよび投写状態を表す斜視図である。
図４には、画像投写システム１として、画像投写装置としてのプロジェクター２００、解析装置としてのＰＣ３００、撮像装置としての撮像部４００（撮像カメラＣ５，Ｃ６）が表されている。図４には、さらに、投写面であるテーブルＴ、対象物である魚Ｆ１、指示体である包丁Ｐ１、および投写画像ＤＡが表されている。また、操作者Ｈも表示されている。プロジェクター２００は、テーブルＴに固定または載置され、テーブルＴ上に画像を投写している。ここで、第１の実施形態と同様な構成部には同様な符号を付記している。なお、第２の実施形態においても、案内する操作内容は、「魚のさばき方」が選択されているものとする。
【００７９】
画像投写システム１のプロジェクター２００は、投写レンズ１３を備えている。投写レンズ１３は、ＰＣ３００から入力される入力画像情報に基づいて、テーブルＴ上に投写画像ＤＡを投写する。撮像部４００は複数の撮像カメラＣ５，Ｃ６を備えて構成されており、投写面上を撮像する。撮像カメラＣ５，Ｃ６によって撮像された撮像画像情報は、ＰＣ３００に出力される。
【００８０】
第２の実施形態の画像投写システム１では、第１の実施形態と同様に、魚をさばく操作を案内する。よって、操作者Ｈは、実物の魚Ｆ１をテーブルＴ上に載置して、包丁Ｐ１を用いて魚Ｆ１をさばく。また、画像投写システム１のプロジェクター２００は、操作の見本となる様子を表す魚の見本画像Ｄ１をテーブル上に投写することで、実物の魚Ｆ１の状態と比較することができる。
【００８１】
画像投写システム１のプロジェクター２００が投写する魚の見本画像Ｄ１には、操作を表す画像、即ち包丁Ｐ１で切る位置を表す指示線Ｄ２が投写される。そして、実物の魚Ｆ１には、包丁Ｐ１で操作する位置（切る位置）を表す案内線Ｌ１を投写する。このとき、画像投写システム１は、実物の魚Ｆ１を画像認識し、案内線Ｌ１を投写する。なお、案内線Ｌ１は、投写レンズ１３側から見て、実物の魚Ｆ１の影になる部分は表示されないが、本実施形態の図４では、説明のために表示している。さらに見本となる魚の見本画像Ｄ１の横（操作者Ｈから見て手前側）には、操作を案内する案内文字Ｄ３が投写される。図１では、「ひれを跨いで包丁を立てます」と表示している。
【００８２】
さらに、画像投写システム１のプロジェクター２００は、投写画像ＤＡを切り換えるためのボタンＢ１，Ｂ２，Ｂ３を投写する。本実施形態では、ボタンＢ１には、魚をさばく操作を案内するための投写画像ＤＡを次の画像に切り換えるための「次へ」という文字が表示されている。また、ボタンＢ２には、前の画像に戻るための「戻る」という文字が表示されている。さらに、ボタンＢ３には、魚をさばく操作の案内を終了するための「終了」という文字が表示されている。
【００８３】
操作者Ｈが、指（図示せず）や包丁Ｐ１等の指示体によって、ボタンＢ１，Ｂ２，Ｂ３を指示する操作を行うと、撮像カメラＣ５，Ｃ６によって撮像し、ＰＣ３００によって操作を認識し、プロジェクター２００によって、操作されたボタンに応じた画像を投写する。
【００８４】
なお、画像投写システム１のプロジェクター２００は、ズーム機能、台形補正機能、フォーカス機能を備えている。そして、操作者Ｈは、これらの機能を用いて、図４に示すように、矩形のテーブルＴに収まるように投写画像ＤＡを投写するように調整する。なお、画像投写システム１は、投写レンズ１３や撮像カメラＣ５，Ｃ６を用いて、テーブルＴの枠を検出したり、所定のテストパターンを表示したりして、プロジェクター２００のズーム機能、台形補正機能、フォーカス機能を自動で調整し、矩形のテーブルＴに収まるように投写画像ＤＡを投写するように調整してもよい。なお、以降では、ズーム機能、台形補正機能、フォーカス機能についての説明は省略する。また、画像投写システム１では、撮像した投写画像ＤＡ内における所定の場所を、画像信号（画像情報）に基づく画像内における所定の場所に対応付けるための手続きであるキャリブレーションが行われているものとする。
【００８５】
図５は、第２の実施形態に係る画像投写システム１の構成を示すブロック図である。
画像投写システム１は、画像投写装置としてのプロジェクター２００と、解析装置としてのパーソナルコンピューター（ＰＣ）３００と、撮像装置としての撮像部４００とを有して構成されている。
【００８６】
図５には、画像投写システム１に加えて、ネットワークＮＷ、ネットワークＮＷに接続されたデータベースＤＢ、投写面となるテーブルＴ、対象物である実物の魚Ｆ１、および指示体としての包丁Ｐ１等が表されている。これらによって、インタラクティブ機能が実現され、案内画像の投写が実現される。
【００８７】
プロジェクター２００は、投写部としての画像投写部１０、制御部２２０、操作受付部２１、画像情報入力部２３０、画像処理部２３１、音声情報入力部２４０、音声出力部２４１、スピーカー２４２等を備えて構成されている。
【００８８】
画像投写部１０および操作受付部２１は、第１の実施形態のプロジェクター１００の画像投写部１０および操作受付部２１と同様である。よって、説明は省略する。このように同様な構成部には同様な符号を付記する。
【００８９】
制御部２２０は、ＣＰＵ、各種データの一時記憶等に用いられるＲＡＭ、および、マスクＲＯＭやフラッシュメモリー、ＦｅＲＡＭ等の不揮発性のメモリー等（いずれも図示せず）を備え、コンピューターとして機能するものである。制御部２２０は、ＣＰＵが不揮発性のメモリーに記憶されている制御プログラムに従って動作することにより、プロジェクター２００の動作を統括制御する。
【００９０】
画像情報入力部２３０は、複数の入力端子を備えており、これらの入力端子には、ビデオ再生装置やＰＣ等、図示しない外部の画像供給装置から各種形式の画像情報（画像信号）が入力される。制御部２２０からの指示に基づき、画像情報入力部２３０は画像情報を選択し、選択した画像情報を画像処理部２３１に出力する。本実施形態では、画像投写システム１を実現するため、画像情報入力部２３０は、ＰＣ３００に接続されている。画像情報入力部２３０が、第２入力部に相当する。
【００９１】
画像処理部２３１は、画像情報入力部２３０から入力される画像情報を、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂの各画素の階調を表す画像データに変換し、ライトバルブ駆動部１４に出力する。ここで、変換された画像データは、Ｒ，Ｇ，Ｂの色光別になっており、各液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂのすべての画素に対応する複数の画素値によって構成されている。画素値とは、対応する画素の光透過率を定めるものであり、この画素値によって、各画素から射出する光の強弱（階調）が規定される。また、画像処理部３２は、制御部２２０の指示に基づき、変換した画像データに対して、明るさ、コントラスト、シャープネス、色合い等を調整するための画質調整処理等を行う。
【００９２】
ライトバルブ駆動部１４が、画像処理部３２から入力される画像データ（画像情報）に従って液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを駆動すると、液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂは、画像データに応じた画像を形成し、この画像が投写レンズ１３から投写される。
【００９３】
音声情報入力部２４０は、音声入力端子を備えており、音声情報（音声信号）が入力される。入力された音声情報は、音声出力部２４１に出力する。
【００９４】
音声出力部２４１は、図示しない増幅回路等を備えており、音声情報入力部２４０から入力された音声情報に基づく音声を、スピーカー２４２から出力する。音声情報は、操作者Ｈに操作を案内する。
【００９５】
ＰＣ３００は、制御部３２０、通信部３３０、案内情報処理部３３１、案内画像生成部３３２、案内画像出力部３３３、画像入力部３３５、画像解析部３５２、画像認識部３５３、案内音声出力部３４０等を備えて構成されている。
【００９６】
制御部３２０は、ＣＰＵ、各種データの一時記憶等に用いられるＲＡＭ、および、マスクＲＯＭやフラッシュメモリー、ＨＤＤ（ハードディスクドライブ）、ＦｅＲＡＭ等の不揮発性のメモリー等（いずれも図示せず）を備え、コンピューターとして機能するものである。制御部３２０は、ＣＰＵが不揮発性のメモリーに記憶されている制御プログラムに従って動作することにより、ＰＣ３００の動作を統括制御する。
【００９７】
通信部３３０は、制御部３２０の指示により、ＴＣＰ／ＩＰ等のプロトコルを用いて、ネットワークＮＷを介してデータベースＤＢから案内情報を取得する。通信部３３０が、案内情報取得部に相当する。通信部３３０は、案内情報を取得すると、制御部３２０に取得した旨を通知する。取得した案内情報は、案内情報処理部３３１に出力する。なお、本実施形態では、案内情報を、ネットワークＮＷを介してデータベースＤＢから取得するものとしたが、メモリーカードや他の記憶媒体等から取得してもよい。
【００９８】
案内情報処理部３３１は、制御部３２０の指示により、入力された案内情報に対する処理を行う。具体的には、案内情報を画像情報と音声情報とに分割する。そして、案内情報処理部３１は、画像情報を案内画像生成部３３２で処理可能な形式の画像情報に変換して案内画像生成部３３２に出力する。このとき、案内情報処理部３１は、魚の見本画像Ｄ１上に描画されている指示線Ｄ２を画像認識する。そして、その見本画像Ｄ１における指示線Ｄ２の位置情報も案内画像生成部３３２に出力する。また、案内情報処理部３３１は、音声情報を案内音声出力部３４０に出力する。また、案内情報処理部３３１は、画像情報に入力されているシーン番号（場面の番号）を制御部３２０に通知する。
【００９９】
案内画像生成部３３２は、対象物である実物の魚Ｆ１上に投写する案内線Ｌ１（第１案内画像）、見本画像Ｄ１（第２案内画像）、指示線Ｄ２（第２案内画像）、案内文字Ｄ３（第２案内画像）を生成する。見本画像Ｄ１、指示線Ｄ２、案内文字Ｄ３は、入力された画像情報に基づいた画像を生成する。案内線Ｌ１は、画像情報に重畳する重畳画像として生成される。案内画像生成部３３２は、案内情報処理部３３１から入力した見本画像Ｄ１における指示線Ｄ２の位置情報に基づき、後述する画像認識部３５３が画像認識した対象物である実物の魚Ｆ１上に相当する位置の画像情報に、案内線Ｌ１を重畳画像として合成する。ここで、実物の魚Ｆ１は立体であり、案内線Ｌ１を直線で表示すると、実物の魚Ｆ１上で歪む場合がある。このため、案内画像生成部３３２は、案内線Ｌ１を実物の魚Ｆ１上で歪まないように曲線等に補正する。具体的には、撮像部４００の複数の撮像カメラＣ５，Ｃ６によって、複数の方向から実際の魚Ｆ１を撮像する。これによって、実際の魚Ｆ１を立体的に認識することができる。さらに、撮像した撮像画像に基づき、実物の魚Ｆ１上で歪まないように案内線Ｌ１を補正する。
【０１００】
案内画像出力部３３３は、案内画像生成部３３２から画像情報を入力する。そして、案内画像出力部３３３は、プロジェクター２００の画像情報入力部２３０に、画像情報を出力する。案内画像出力部３３３が、第２出力部に相当する。
【０１０１】
案内音声出力部３４０は、案内情報処理部３３１から音声情報を入力する。そして、案内音声出力部３４０は、プロジェクター２００の音声情報入力部２４０に、音声情報を出力する。
【０１０２】
画像入力部３３５は、制御部３２０の指示により、撮像部４００から撮像画像情報を入力する。画像入力部３３５は、撮像画像情報を画像解析部３５２に出力し、制御部３２０に、撮像画像情報を入力したことを通知する。画像入力部３３５が、第１入力部に相当する。
【０１０３】
画像解析部３５２は、画像解析用の処理装置や処理プログラム、メモリー等（いずれも図示せず）を有して構成されている。画像解析部３５２は、画像入力部３３５から入力された撮像画像情報に対して、解析を行う。画像解析部３５２は、解析結果を画像認識部３５３に出力する。また、画像解析部３５２は、撮像画像上の位置情報から画像信号（出力する画像情報）に基づく画像上の位置情報への変換を行う。
【０１０４】
画像認識部３５３は、画像解析部３５２の解析結果に基づいて、画像認識を行い、対象物である実物の魚Ｆ１および指示体である指や包丁Ｐ１の形状情報と位置情報を認識する。画像認識部３５３は、実物の魚Ｆ１および指や包丁Ｐ１の形状情報と位置情報を制御部３２０および案内画像生成部３３２に出力する。画像解析部３５２および画像認識部３５３が、解析部に相当する。
【０１０５】
制御部３２０の不揮発性のメモリーには、指や包丁Ｐ１等の指示体を操作デバイスとして利用するためのソフトウェア（デバイスドライバー）が記憶されている。そして、このソフトウェアが起動した状態では、案内情報処理部３３１は、画像認識部３５３から入力される位置情報（制御情報）に基づいて、投写画像内で指や包丁Ｐ１の操作がなされた位置をそれぞれ認識する。そして、指や包丁Ｐ１の操作の位置情報に基づいて、案内情報処理部３３１は、ボタンＢ１，Ｂ２，Ｂ３等の指示がなされているか否かの情報を制御部３２０に通知する。
【０１０６】
撮像部４００は、複数の撮像カメラＣ５，Ｃ６を有して構成されている。撮像カメラＣ５，Ｃ６は、それぞれ、ＣＣＤセンサー、或いはＣＭＯＳセンサー等からなる撮像素子等（図示せず）と、撮像対象から発せられた光を撮像素子上に結像させるための撮像レンズ（図示せず）を備えている。撮像部４００は、投写面であるテーブルＴに投写された画像を含む範囲を制御部２０の指示に基づいて撮像する。そして、撮像部４００は、撮像した画像を表す画像情報（撮像画像情報）を順次生成し、ＰＣ３００の画像入力部３３５に出力する。ＰＣ３００に撮像画像情報を出力する際の撮像部４００が、第１出力部に相当する。
【０１０７】
上述した画像投写システム１は、第１の実施形態のプロジェクター１００と同様に、操作内容を案内する処理を実行することで、「魚のさばき方」の操作を画像および音声にて案内することができる。また、実物の魚Ｆ１上に案内線Ｌ１を表示することができる。なお、案内する操作内容は、「魚のさばき方」に限定するものではなく、その他の操作内容も選択できる。この場合、ＰＣ３００の制御部３２０は、通信部３３０に指示を出して、データベースＤＢに記憶されている各種の「案内する操作内容」を取得して、プロジェクター２００に投写させる。そして、操作者Ｈに指示体によって選択させ、撮像部４００で撮像してＰＣ３００で認識し、実行するものとする。
【０１０８】
上述した第２の実施形態によれば、以下の効果が得られる。
（１）画像投写システム１において、ＰＣ３００の画像解析部３５２および画像認識部３５３は、撮像画像を解析し、対象物である実物の魚Ｆ１を認識する。案内画像生成部３３２は、通信部３３０によって取得された案内情報に基づいて、画像情報において、対象物である実物の魚Ｆ１上の操作を行う位置に、案内線Ｌ１（第１案内画像）を重畳画像として合成する。プロジェクター２００は、画像情報を入力して、画像情報に基づいた画像を投写する。これにより、プロジェクター２００は、対象物である実物の魚Ｆ１上に案内線Ｌ１を投写することが可能となり、対象物に対してどのような操作を行えばよいか（包丁Ｐ１を用いてどこを切ればよいか）を、操作者Ｈに案内し、支援することができるため、有益である。
【０１０９】
（２）画像投写システム１のＰＣ３００の画像解析部３５２および画像認識部３５３は、撮像結果を解析して、対象物である実物の魚Ｆ１、および操作者Ｈの指や包丁Ｐ１等の指示体を認識する。そして、指示体の指示操作（「次へ」のボタンの指示操作）に基づいて、制御部３２０は、通信部３３０に指示を出して、データベースＤＢから、次のシーン（場面）の案内情報を取得させることができる。そして、案内情報処理部３３１および案内画像生成部３３２は、案内線Ｌ１が重畳された画像情報を生成する。そして、案内画像出力部３３３は、画像情報をプロジェクター２００に出力する。プロジェクター２００は、対象物に案内画像を投写する。これにより、プロジェクター２００は、操作者Ｈの指示操作に応じ、次にどのような操作を行えばよいかを、操作者Ｈに案内することが可能になる。また、指示体の指示操作によって、前のシーンに戻ったり、案内を終了させたりすることも可能であるため、有益である。
【０１１０】
（３）画像投写システム１は、撮像部４００として、複数の撮像カメラＣ５，Ｃ６を有しており、ＰＣ３００の画像解析部３５２および画像認識部３５３は、対象物である実物の魚Ｆ１および操作体である指や包丁Ｐ１を立体的に認識することが可能である。これにより、画像認識の正確性を向上することができる。
【０１１１】
（４）画像投写システム１のＰＣ３００の案内画像生成部３３２は、対象物の形状に応じて案内線Ｌ１を補正する。つまり、案内画像生成部３３２は、画像解析部３５２が認識した対象物である実物の魚Ｆ１の立体的な形状に応じて、案内線Ｌ１（第１案内画像）が歪まないように補正する。これにより、操作者Ｈは、対象物における正しい操作位置を視認することが可能になるため、有益である。
【０１１２】
（５）画像投写システム１は、操作の見本となる様子を表す魚の見本画像Ｄ１、指示線Ｄ２、および操作を案内する案内文字Ｄ３を、対象物とは異なる位置に投写する。これにより、画像投写システム１は、対象物への案内線Ｌ１に加えて、見本画像Ｄ１、指示線Ｄ２、および案内文字Ｄ３を投写することによって、操作に関する多くの情報を操作者Ｈに提供することができる。よって、操作者Ｈは、対象物に対する操作を効率的に行うことが可能になる。
【０１１３】
（６）画像投写システム１は、プロジェクター２００の音声出力部２４１およびスピーカー２４２によって、案内音声を出力する。これにより、画像投写システム１は、対象物への案内線Ｌ１、見本画像Ｄ１、指示線Ｄ２、案内文字Ｄ３に加えて、音声で案内するため、操作に関する多くの情報を操作者Ｈに提供することができる。よって、操作者Ｈは、対象物に対する操作を効率的に行うことが可能になる。
【０１１４】
（７）画像投写システム１のプロジェクター２００は、撮像部４００や画像認識部３５３、通信部３３０等を内蔵する必要がないため、一般的なプロジェクターを用いることが可能となるため、有益である。
【０１１５】
（８）画像投写システム１のＰＣ３００は、画像解析部３５２、画像認識部３５３、案内情報処理部３３１、案内画像生成部３３２等の機能を、ソフトウェアとして実装することが可能である。よって、一般的なＰＣを用いて処理を行うことができるため、有益である。
【０１１６】
なお、上述した実施形態に限定されず、種々の変更や改良等を加えて実施することが可能である。変形例を以下に述べる。
【０１１７】
（変形例１）上記第１の実施形態では、撮像部５１は、４つの撮像カメラＣ１，Ｃ２，Ｃ３，Ｃ４を備えるものとし、第２の実施形態では、撮像部４００は、２つの撮像カメラＣ５，Ｃ６を備えるものとした。しかし、撮像カメラの数は、これに限定するものではなく、複数であればよい。また、撮像カメラは単数であってもよい。単数の場合には、立体的な画像認識ができなくなるが、プロジェクター１００や画像投写システム１の構成を簡易化することができる。
【０１１８】
（変形例２）上記実施形態では、投写表示されるボタンＢ１，Ｂ２，Ｂ３には、投写画像ＤＡを切り換えるための「次へ」、「戻る」、「終了」という文字が表示されているものとしたが、投写表示されるボタンはこれらに限定するものではない。例えば、魚の鱗の有無を操作者Ｈに選択させるための指示ボタン「鱗有り」、「鱗無し」といったボタンを投写表示させてもよい。そして、「鱗有り」が指示された場合には、鱗を取る操作について案内するようにしてもよい。また、ボタンの数も限定するものではない。単数でもよいし、４つ以上でもよい。
【０１１９】
（変形例３）上記実施形態では、ボタンＢ１，Ｂ２，Ｂ３の指示操作によって、投写画像ＤＡを切り換えるものとした。しかし、プロジェクター１００や画像投写システム１の撮像部が撮像して、画像解析部や画像認識部が、対象物である実物の魚Ｆ１や指示体である包丁Ｐ１を画像認識することによって、実物の魚Ｆ１の状態や包丁Ｐ１の状態の認識を行い、投写画像ＤＡを切り換えることも可能である。例えば、実物の魚Ｆ１の頭部が切り離されたことを認識し、プロジェクター１００や画像投写システム１は、次の操作を案内するためのシーンの画像に切り換えてもよい。
【０１２０】
（変形例４）上記実施形態では、プロジェクター１００や画像投写システム１が案内する操作内容は「魚のさばき方」のように、操作に順序があるものとしたが、順序を問わない操作を案内するものとしてもよい。例えば、基板上に複数の部品を配置するような操作内容を案内することも可能である。具体的には、テーブルＴ上に載置された基板および複数の部品を撮像部が撮像して、画像認識部が画像認識する。操作者Ｈが任意の部品を選択すると、プロジェクター１００や画像投写システム１は、その部品を認識して、基板上の配置先に所定の目印を投写表示させることが可能である。そして、操作者Ｈは、所定の目印上に部品を配置することが可能である。
また、例えば、収穫した果実の分別の操作等を案内することも可能である。具体的には、例えばリンゴをテーブルＴ上に載置し、プロジェクター１００や画像投写システム１の撮像部はそのリンゴを撮像して、画像認識部が画像認識する。そして、プロジェクター１００や画像投写システム１は、画像認識した結果に基づいて、そのリンゴの色や大きさを判別してランク付けし、当該リンゴにそのランク情報を画像として投写する。これにより、操作者Ｈは、リンゴ上に投写されたランク情報に基づいて、リンゴを分別することが可能である。
【０１２１】
（変形例５）上記実施形態では、プロジェクター１００および画像投写システム１は、案内線Ｌ１、見本画像Ｄ１、指示線Ｄ２、案内文字Ｄ３、および各種ボタン等を投写表示するものとした。投写画像ＤＡにおけるこれらの案内線Ｌ１、見本画像Ｄ１、指示線Ｄ２、案内文字Ｄ３、および各種ボタン以外の領域には、白色の画像を投写してもよい。こうすれば、投写領域が明るく照明されることになり、操作者Ｈは、明るい環境で操作を行うことができる。また、投写画像ＤＡにおけるこれらの案内線Ｌ１、見本画像Ｄ１、指示線Ｄ２、案内文字Ｄ３、および各種ボタン以外の領域には、黒色の画像を投写してもよい。こうすると、操作者Ｈは、案内線Ｌ１、見本画像Ｄ１、指示線Ｄ２、案内文字Ｄ３、および各種ボタンを鮮明に視認することができる。
【０１２２】
（変形例６）上記実施形態では、プロジェクター１００，２００の光源１１は、放電型の光源ランプ１１ａを有して構成されているが、ＬＥＤ（Light Emitting Diode）光源やレーザー等の固体光源や、その他の光源を用いることもできる。
【０１２３】
（変形例７）上記実施形態では、プロジェクター１００，２００は、光変調装置として、透過型の液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂを用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源から射出した光を変調する微小ミラーアレイデバイス等を光変調装置として用いることもできる。
【符号の説明】
【０１２４】
１…画像投写システム、１０…画像投写部、１１…光源、１１ａ…光源ランプ、１１ｂ…リフレクター、１２Ｒ，１２Ｇ，１２Ｂ…液晶ライトバルブ、１３…投写レンズ、１４…ライトバルブ駆動部、２０…制御部、２１…操作受付部、３０…案内情報取得部、３１…案内情報処理部、３２…画像処理部、３２ａ…ＯＳＤ処理部、３２ｂ…案内画像生成部、３５…画像情報入力部、４０…音声出力部、４１…スピーカー、５０…撮像解析部、５１…撮像部、５２…画像解析部、５３…画像認識部、１００，２００…プロジェクター、２２０…制御部、２３０…画像情報入力部、２３１…画像処理部、２４０…音声情報入力部、２４１…音声出力部、２４２…スピーカー、３００…ＰＣ、３２０…制御部、３３０…通信部、３３１…案内情報処理部、３３２…案内画像生成部、３３３…案内画像出力部、３３５…画像入力部、３４０…案内音声出力部、３５２…画像解析部、３５３…画像認識部、４００…撮像部、Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６…撮像カメラ、Ｆ１…実物の魚、Ｐ１…包丁、Ｂ１，Ｂ２，Ｂ３…ボタン、Ｄ１…見本画像、Ｄ２…指示線、Ｄ３…案内文字、Ｌ１…案内線、Ｔ…テーブル。
【図１】
2015106147.tif 000003
【図２】
2015106147.tif 000004
【図３】
2015106147.tif 000005
【図４】
2015106147.tif 000006
【図５】
2015106147.tif 000007