(57)【要約】【課題】  被操作装置に対する操作を効果的に検知できる入出力システムを提供する。【解決手段】  入出力システムは、撮影装置に２０より撮影された撮影画像に基づいて、ユーザの操作を検知する入出力処理装置１０と、シート３０とシート３０の一方の面に透過したユーザの影とを含む画像を撮影するカメラ２０と、透光性を有するシート３０と、ユーザの肢体の一部の影がシート３０に投影される間隔で、シート３０とユーザの肢体とを連結する連結部材７０と、入出力処理装置１０から出力されたユーザからの操作を実行する被操作装置９０とを有する。【選択図】図１
2019028510.tif 000002
【特許請求の範囲】
【請求項１】
透光性を有するスクリーンと、
前記スクリーンを含む画像を複数のタイミングで撮影するカメラと、
前記カメラにより撮影された撮影画像に基づいて、複数のタイミングにおける前記スクリーンの位置に基づいてユーザの操作を検知する操作検知手段と
を有する
入出力システム。
【請求項２】
前記操作検知手段は、複数のタイミングにおける前記スクリーンに写ったユーザの影の位置に基づいて、ユーザの操作を検知する
請求項１に記載の入出力システム。
【請求項３】
前記スクリーンは、板状であり、当該スクリーンの他方の面に、光源により照射された光をユーザが遮ることにより生じた影を投影され、
前記カメラは、前記スクリーンの他方の面に投影された影を当該スクリーンの一方の面から複数のタイミングで撮影し、
前記操作検知部は、前記カメラにより撮影された撮影画像における、前記スクリーンの一方の面に透過した光により写った影の位置に基づいて、ユーザの操作を検知する
請求項２に記載の入出力システム。
【請求項４】
前記スクリーン内における影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定手段と、
前記カメラにより撮影された撮影画像内におけるスクリーンの位置、スクリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定手段と
をさらに有し、
前記操作検知手段は、前記影特定手段により特定された位置、移動量、移動方向、移動速度、又は、大きさ若しくは濃淡と、前記スクリーン特定手段により特定された位置、移動量、傾き、又は、形状との組合せに基づいて、ユーザの操作を検知する
請求項２又は請求項３に記載の入出力システム。
【請求項５】
前記カメラにより撮影された撮影画像に基づいて、前記スクリーン内における影の画素を特定する画素特定手段と、
前記画素特定手段により特定された影の画素における濃淡の変化を特定する濃淡変化特定手段と
をさらに有し、
前記操作検知手段は、前記濃淡変化特定手段により特定された影の濃淡の変化に基づいて、ユーザの操作を検知する
請求項２又は請求項３に記載の入出力システム。
【請求項６】
前記カメラにより撮影された撮影画像に基づいて、前記スクリーン内における影の画素を特定する画素特定手段と、
前記画素特定手段により特定された影の画素の大きさの変化を特定する大きさ変化特定手段と
をさらに有し、
前記操作検知手段は、前記大きさ変化特定手段とにより特定された影の大きさの変化に基づいて、ユーザの操作を検知する
請求項２又は請求項３に記載の入出力システム。
【請求項７】
前記カメラにより撮影された複数の撮影画像に基づいて、前記スクリーンの移動距離を特定する移動距離特定手段
をさらに有し、
前記操作検知手段は、前記移動距離特定手段に特定された距離に基づいて、ユーザの操作を検知する
請求項４に記載の入出力システム。
【請求項８】
ユーザの肢体の一部の影が前記スクリーンに投影される間隔で、当該スクリーンとユーザの肢体とを連結する連結部材
をさらに有し、
前記連結部材は、前記スクリーン面視において、当該スクリーンの他方の面と、ユーザの肢体の一部とが対向する位置で、当該スクリーンとユーザの肢体とを連結する
請求項２又は請求項３に記載の入出力システム。
【請求項９】
前記カメラにより撮影された撮影画像における前記スクリーンの形状を補正する形状補正手段
をさらに有し、
前記画素特定手段は、前記形状補正手段により補正された撮影画像内の前記スクリーン内から影の画素を特定する
請求項５に記載の入出力システム。
【請求項１０】
前記カメラにより撮影された撮影画像に基づいて、撮影画像に対する前記スクリーンの傾きを特定する傾き特定手段
をさらに有し、
前記操作検知手段は、前記傾き特定手段により特定された前記スクリーンの傾きに基づいて、ユーザ操作を検知する
請求項４に記載の入出力システム。
【請求項１１】
前記スクリーンは、多角形、又は、円形の形状に形成され、一方の面において、全ての領域が単色の色に発色し、
撮影画像内における前記スクリーンの発色する色に基づいて、当該スクリーンの領域を特定する領域特定手段
をさらに有し、
前記濃淡変化特定手段は、前記領域特定手段により特定された前記スクリーン領域内における影の濃淡の変化を特定する
請求項５に記載の入出力システム。
【請求項１２】
前記スクリーンは、一方の面において、中央領域における発色する色と、周縁領域における発色する色とが異なるよう形成され、
撮影画像内における前記スクリーンの中央領域の色、及び、周縁領域の色の少なくとも一方の色に基づいて、当該スクリーンの領域を特定する領域特定手段
をさらに有し、
前記濃淡変化特定手段は、前記領域特定手段により特定された領域内において、前記スクリーン内にある影の濃淡の変化を特定する
請求項５に記載の入出力システム。
【請求項１３】
前記スクリーンの他方の面に光を照射する光源と、前記スクリーンとの離間距離を可変可能に連結する連結部材
をさらに有する
請求項２に記載の入出力システム。
【請求項１４】
前記スクリーンと異なる色を発色する第２のスクリーンと、
撮影された撮影画像に基づいて、前記スクリーンが発色する色と、第２のスクリーンが発色する色とを識別する識別手段と
をさらに有し、
前記操作検知手段は、前記識別手段により識別された各スクリーン内におけるユーザの影に基づいて、各スクリーン毎のユーザの操作を検知する
請求項２又は請求項３に記載の入出力システム。
【請求項１５】
前記スクリーンの他方の面に接続して設けられ、透光性、及び、弾力性を有する緩衝部材
をさらに有し、
前記画素特定手段は、前記スクリーン及び前記緩衝部材を透過した影の画素を特定する
請求項５に記載の入出力システム。
【請求項１６】
撮影された撮影画像に基づいて、前記スクリーンの領域を分割し、分割した各領域に操作内容を振り分ける領域分割手段
をさらに有し、
前記濃淡変化特定手段は、前記領域分割手段により分割した領域において、影の濃淡の変化を特定し、
前記操作検知手段は、影の濃淡の変化を特定した領域に振り分けられた操作内容を、ユーザの操作として検知する
請求項４に記載の入出力システム。
【請求項１７】
撮影画像における前記スクリーンの既定の位置の座標と被操作装置の表示範囲内におけるポインタの座標とを一致させる同期手段と、
前記操作検知手により検知した操作内容を被操作装置に出力する操作内容出力手段と
をさらに有し、
前記操作検知手は、前記スクリーン特定手段により特定されたスクリーンの位置、及び、移動量と、前記影特定手段により特定されたユーザの手の指先の影の位置、影の移動量、影の移動方向、及び、影の移動速度とに基づいてポインタの移動操作を検知し、又は、前記影特定手段により特定されたユーザの指先の影の大きさの変化、又は、影の濃淡の変化に基づいてポインタの座標におけるクリック操作を検知し、
前記操作内容出力手段は、前記操作検知手により検知したポインタの移動操作、又は、クリック操作に基づいて、同期された被操作装置の表示範囲内におけるポインタに出力する
請求項４に記載の入出力システム。
【請求項１８】
ユーザの肢体の一部の影が前記スクリーンに投影される間隔で、当該スクリーンとユーザの肢体とを連結する連結部材
をさらに有し、
前記連結部材は、前記スクリーン面視において、当該スクリーンの他方の面と、ユーザの肢体の一部とが対向する位置で、当該スクリーンとユーザの肢体とを連結する
請求項１７に記載の入出力システム。
【請求項１９】
入力された複数のタイミングにおける画像データに基づいて、複数のタイミングにおけるスクリーンのスクリーンの位置、クリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定手段と、
入力された複数のタイミングにおける画像データに基づいて、スクリーンに写った影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定手段と、
前記スクリーン特定手段により特定された影の位置、移動量、移動方向、移動速度、大きさ、又は、濃淡と、前記影特定手段により特定されたスクリーンの位置、大きさ、移動量、傾き、又は、形状とに基づいてユーザの操作を検知する操作検知手段と
を有する入出力処理装置。
【請求項２０】
スクリーンをカメラが複数のタイミングで撮影するステップと、
複数のタイミングにおける前記スクリーンの位置に基づいて、ユーザの操作を検知するステップと、
検知したユーザの操作を被操作装置に出力するステップと
を有する入出力方法。
【請求項２１】
入力された複数のタイミングにおける画像データに基づいて、複数のタイミングにおけるスクリーンの位置、クリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定機能と、
入力された複数のタイミングにおける画像データに基づいて、スクリーンに写った影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定機能と、
前記スクリーン特定機能により特定された影の位置、移動量、移動方向、移動速度、大きさ、又は、濃淡と、前記影特定機能により特定されたスクリーンの位置、大きさ、移動量、傾き、又は、形状とに基づいてユーザの操作を検知する操作検知機能と
をコンピュータに実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入出力システム、入出力処理装置、入出力方法、及び、プログラムに関するものである。
【背景技術】
【０００２】
例えば、特許文献１には、撮影デバイスと、コンピュータ装置と、を含んで構成され、操作者が遠隔にあるディスプレイに対してポインティング操作を行うためのポインティングシステムであって、前記撮影デバイスは、前記操作者を撮影する撮影部と、前記撮影された操作者の撮影データに基づいて前記操作者の複数の身体上の部位とそれらの位置とを含む骨格情報を取得する撮影データ処理部と、前記操作者の前記骨格情報を出力する骨格情報出力部と、を備え、前記コンピュータ装置は、前記撮影デバイスから前記操作者の前記骨格情報を取得する骨格情報取得部と、前記骨格情報に含まれる前記操作者の身体の一部であって、前記操作者が前記ポインティング操作を行う際に使用する前記操作者の身体の一部である操作点を決定する操作点決定部と、前記操作者が前記ポインティング操作を行う際の不動点である基点を決定する基点決定部と、前記操作者が前記ディスプレイ上の少なくとも第１の位置および第２の位置についてのポインティング操作であるキャリブレーション操作を行った際の前記操作者の前記骨格情報に基づいて、前記第１の位置を指し示した際の前記操作点の位置から前記第２の位置を指し示した際の前記操作点の位置を結ぶ線分を対角線とし、かつ前記第１の位置から鉛直方向または水平方向に延びる直線の一部を一辺とする長方形の仮想タッチパネルを算出する仮想タッチパネル算出部と、前記キャリブレーション操作後に前記操作者が前記操作点を動かした際に、前記操作者の前記骨格情報に基づいて前記操作点の前記仮想タッチパネル上における位置情報を決定し、前記仮想タッチパネルと前記基点との位置関係に基づいて、前記仮想タッチパネル上における位置情報に対応する前記ディスプレイ上の位置を決定する指示位置特定部と、前記指示位置特定部において決定された前記ディスプレイ上の位置を前記ディスプレイに示すための指示位置表示情報を出力する指示位置表示情報出力部と、を備えるポインティングシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１３４０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、被操作装置に対する操作を効果的に検知できる入出力システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る入出力システムは、透光性を有するスクリーンと、前記スクリーンを含む画像を複数のタイミングで撮影するカメラと、前記カメラにより撮影された撮影画像に基づいて、複数のタイミングにおける前記スクリーンの位置に基づいてユーザの操作を検知する操作検知手段とを有する。
【０００６】
好適には、前記操作検知手段は、複数のタイミングにおける前記スクリーンに写ったユーザの影の位置に基づいて、ユーザの操作を検知する。
【０００７】
好適には、前記スクリーンは、板状であり、当該スクリーンの他方の面に、光源により照射された光をユーザが遮ることにより生じた影を投影され、前記カメラは、前記スクリーンの他方の面に投影された影を当該スクリーンの一方の面から複数のタイミングで撮影し、前記操作検知部は、前記カメラにより撮影された撮影画像における、前記スクリーンの一方の面に透過した光により写った影の位置に基づいて、ユーザの操作を検知する。
【０００８】
好適には、前記スクリーン内における影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定手段と、前記カメラにより撮影された撮影画像内におけるスクリーンの位置、スクリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定手段とをさらに有し、前記操作検知手段は、前記影特定手段により特定された位置、移動量、移動方向、移動速度、又は、大きさ若しくは濃淡と、前記スクリーン特定手段により特定された位置、移動量、傾き、又は、形状との組合せに基づいて、ユーザの操作を検知する。
【０００９】
好適には、前記カメラにより撮影された撮影画像に基づいて、前記スクリーン内における影の画素を特定する画素特定手段と、前記画素特定手段により特定された影の画素における濃淡の変化を特定する濃淡変化特定手段とをさらに有し、前記操作検知手段は、前記濃淡変化特定手段により特定された影の濃淡の変化に基づいて、ユーザの操作を検知する。
【００１０】
好適には、前記カメラにより撮影された撮影画像に基づいて、前記スクリーン内における影の画素を特定する画素特定手段と、前記画素特定手段により特定された影の画素の大きさの変化を特定する大きさ変化特定手段とをさらに有し、前記操作検知手段は、前記大きさ変化特定手段とにより特定された影の大きさの変化に基づいて、ユーザの操作を検知する。
【００１１】
好適には、前記カメラにより撮影された複数の撮影画像に基づいて、前記スクリーンの移動距離を特定する移動距離特定手段をさらに有し、前記操作検知手段は、前記移動距離特定手段に特定された距離に基づいて、ユーザの操作を検知する。
【００１２】
好適には、ユーザの肢体の一部の影が前記スクリーンに投影される間隔で、当該スクリーンとユーザの肢体とを連結する連結部材をさらに有し、前記連結部材は、前記スクリーン面視において、当該スクリーンの他方の面と、ユーザの肢体の一部とが対向する位置で、当該スクリーンとユーザの肢体とを連結する。
【００１３】
好適には、前記カメラにより撮影された撮影画像における前記スクリーンの形状を補正する形状補正手段をさらに有し、前記画素特定手段は、前記形状補正手段により補正された撮影画像内の前記スクリーン内から影の画素を特定する。
【００１４】
好適には、前記カメラにより撮影された撮影画像に基づいて、撮影画像に対する前記スクリーンの傾きを特定する傾き特定手段をさらに有し、前記操作検知手段は、前記傾き特定手段により特定された前記スクリーンの傾きに基づいて、ユーザ操作を検知する。
【００１５】
好適には、前記スクリーンは、多角形、又は、円形の形状に形成され、一方の面において、全ての領域が単色の色に発色し、撮影画像内における前記スクリーンの発色する色に基づいて、当該スクリーンの領域を特定する領域特定手段をさらに有し、前記濃淡変化特定手段は、前記領域特定手段により特定された前記スクリーン領域内における影の濃淡の変化を特定する。
【００１６】
好適には、前記スクリーンは、一方の面において、中央領域における発色する色と、周縁領域における発色する色とが異なるよう形成され、撮影画像内における前記スクリーンの中央領域の色、及び、周縁領域の色の少なくとも一方の色に基づいて、当該スクリーンの領域を特定する領域特定手段をさらに有し、前記濃淡変化特定手段は、前記領域特定手段により特定された領域内において、前記スクリーン内にある影の濃淡の変化を特定する。
【００１７】
好適には、前記スクリーンの他方の面に光を照射する光源と、前記スクリーンとの離間距離を可変可能に連結する連結部材をさらに有する。
【００１８】
好適には、前記スクリーンと異なる色を発色する第２のスクリーンと、撮影された撮影画像に基づいて、前記スクリーンが発色する色と、第２のスクリーンが発色する色とを識別する識別手段とをさらに有し、前記操作検知手段は、前記識別手段により識別された各スクリーン内におけるユーザの影に基づいて、各スクリーン毎のユーザの操作を検知する。
【００１９】
好適には、前記スクリーンの他方の面に接続して設けられ、透光性、及び、弾力性を有する緩衝部材をさらに有し、前記画素特定手段は、前記スクリーン及び前記緩衝部材を透過した影の画素を特定する。
【００２０】
好適には、撮影された撮影画像に基づいて、前記スクリーンの領域を分割し、分割した各領域に操作内容を振り分ける領域分割手段をさらに有し、前記濃淡変化特定手段は、前記領域分割手段により分割した領域において、影の濃淡の変化を特定し、前記操作検知手段は、影の濃淡の変化を特定した領域に振り分けられた操作内容を、ユーザの操作として検知する。
【００２１】
好適には、撮影画像における前記スクリーンの既定の位置の座標と被操作装置の表示範囲内におけるポインタの座標とを一致させる同期手段と、前記操作検知手により検知した操作内容を被操作装置に出力する操作内容出力手段とをさらに有し、前記操作検知手は、前記スクリーン特定手段により特定されたスクリーンの位置、及び、移動量と、前記影特定手段により特定されたユーザの手の指先の影の位置、影の移動量、影の移動方向、及び、影の移動速度とに基づいてポインタの移動操作を検知し、又は、前記影特定手段により特定されたユーザの指先の影の大きさの変化、又は、影の濃淡の変化に基づいてポインタの座標におけるクリック操作を検知し、前記操作内容出力手段は、前記操作検知手により検知したポインタの移動操作、又は、クリック操作に基づいて、同期された被操作装置の表示範囲内におけるポインタに出力する。
【００２２】
好適には、ユーザの肢体の一部の影が前記スクリーンに投影される間隔で、当該スクリーンとユーザの肢体とを連結する連結部材をさらに有し、前記連結部材は、前記スクリーン面視において、当該スクリーンの他方の面と、ユーザの肢体の一部とが対向する位置で、当該スクリーンとユーザの肢体とを連結する。
【００２３】
また、本発明に係る入出力処理装置は、入力された複数のタイミングにおける画像データに基づいて、複数のタイミングにおけるスクリーンのスクリーンの位置、クリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定手段と、入力された複数のタイミングにおける画像データに基づいて、スクリーンに写った影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定手段と、前記スクリーン特定手段により特定された影の位置、移動量、移動方向、移動速度、大きさ、又は、濃淡と、前記影特定手段により特定されたスクリーンの位置、大きさ、移動量、傾き、又は、形状とに基づいてユーザの操作を検知する操作検知手段とを有する。
【００２４】
また、本発明に係る入出力方法は、スクリーンをカメラが複数のタイミングで撮影するステップと、複数のタイミングにおける前記スクリーンの位置に基づいて、ユーザの操作を検知するステップと、検知したユーザの操作を被操作装置に出力するステップとを有する。
【００２５】
また、本発明に係るプログラムは、入力された複数のタイミングにおける画像データに基づいて、複数のタイミングにおけるスクリーンの位置、クリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定機能と、入力された複数のタイミングにおける画像データに基づいて、スクリーンに写った影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定機能と、前記スクリーン特定機能により特定された影の位置、移動量、移動方向、移動速度、大きさ、又は、濃淡と、前記影特定機能により特定されたスクリーンの位置、大きさ、移動量、傾き、又は、形状とに基づいてユーザの操作を検知する操作検知機能とをコンピュータに実現させる。
【発明の効果】
【００２６】
本発明によれば、被操作装置に対する操作を効果的に検知できる。
【図面の簡単な説明】
【００２７】
【図１】実施形態における入出力システム１の構成を説明する図である。
【図２】図１の入出力システム１をより詳細に説明する図である。
【図３】図２におけるシート３０の裏面に透過した影の解析方法の概要を説明する図である。
【図４】入出力処理装置１０のハードウェア構成を例示する図である。
【図５】入出力処理装置１０の機能構成を例示する図である。
【図６】図４のシート特定部５００をより詳細に説明する図である。
【図７】図４の影特定部５１０をより詳細に説明する図である。
【図８】シート３０に透過したユーザの影の画像解析イメージを説明する図である。
【図９】シート３０の形状を特定する画像解析イメージを例示する図である。
【図１０】入出力システム１における入出力処理（Ｓ１０）を説明するフローチャートである。
【図１１】入出力システム１におけるシート入力処理（Ｓ２０）を説明するフローチャートである。
【図１２】入出力システム１における影入力処理（Ｓ３０）を説明するフローチャートである。
【図１３】実施形態における入出力システム１の変形例１を例示する図である。
【図１４】実施形態における入出力システム１の変形例２を例示する図である。
【図１５】実施形態における入出力システム１の変形例３を例示する図である。
【図１６】変形例３における入出力処理装置１０の機能構成を例示する図である。
【図１７】実施形態における入出力システム１の変形例４を例示する図である。
【図１８】実施形態における入出力システム１の変形例５を例示する図である。
【図１９】実施形態における入出力システム１の変形例６を例示する図である。
【図２０】変形例６におけるシート特定部５００をより詳細に説明する図である。
【図２１】実施形態における入出力システム１の変形例７を例示する図である。
【発明を実施するための形態】
【００２８】
本発明における実施形態を、各図面に基づいて説明する。
図１は、実施形態における入出力システム１の構成を説明する図である。
図２は、図１の入出力システム１をより詳細に説明する図である。
図１及び図２に例示すように、本実施形態の入出力システム１は、入出力処理装置１０と、カメラ２０と、シート３０と、連結部材７０と、被操作装置９０とを有する。
入出力システム１は、室内に、入出力処理装置１０、カメラ２０、及び、被操作装置９０を配置し、室外（廊下や屋外）に、シート３０、及び、連結部材７０を配置している。なお、室内と室外との間に障害物があるものとする。
室内に配置された入出力処理装置１０、カメラ２０、及び、被操作装置９０は、有線又は無線により互いに接続しており、本実施例の入出力処理装置１０およびカメラ２０は、ケーブル４０Ａを介して互いに接続し、カメラ２０から入出力処理装置１０に情報を送ることができる。また、入出力処理装置１０および被操作装置９０は、ケーブル４０Ｂを介して互いに接続し、入出力処理装置１０から被操作装置９０に情報を送ることができる。
また、カメラ２０は、障害物に対して撮影方向を向けて配置されている。ここで、障害物とは、例えば、シート３０の裏面に透過した影が撮影できる程度の透明な障害物であり、本実施形態の障害物とは、窓ガラスである。つまり、カメラ２０は、撮影方向を室外に向けて配置している。
他方、室外にいるユーザは、連結部材７０を用いてシート３０を装着し、室内にあるカメラ２０の撮影可能範囲内にシート３０と、シート３０に写ったユーザの手の影とが含まれる位置にて入力操作を行う。なお、シート３０に写ったユーザの手の影とは、光源Ｌからのシート３０の表面に向けて入射する光の一部をユーザの手が遮る事によりシート３０の表面に生じた影と、シート３０の表面に生じた影がシート３０の裏面に透過した影（透過光による影）とを含む概念である。
【００２９】
入出力処理装置１０は、コンピュータ端末であり、カメラ２０を制御してシート３０を含む画像をカメラ２０に撮影させ、撮影した画像からユーザの入力操作を受け付け、受け付けた入力操作を被操作装置９０に出力する。本実施例の入出力処理装置１０は、撮影画像に対するシート３０の相対的な移動距離と、撮影画像におけるシート３０の裏面に透過したユーザの手の影とに基づいて、ユーザの入力操作を受け付け、受け付けた操作内容を被操作装置９０に出力する。ここで、撮影画像に対するシート３０の相対的な移動距離とは、図２に例示するように、シート３０の移動前の撮影画像２２と移動後の撮影画像２２とに基づいて比較し特定する。具体的には、移動前の撮影画像２２に対するシート３０の基準点（ＳＸ，ＳＹ）から、移動後の撮影画像２３（不図示）に対するシート３０の基準点（ＥＸ，ＥＹ）に移動した移動距離に基づいて、シート３０の移動距離を特定する。また、影に基づくユーザの入力操作とは、影の位置に基づいた操作（例えばポインタ操作）と、影の移動量、移動方向、及び、移動速度に基づいた操作（例えばドラッグ操作）と、影の濃淡及び大きさに基づいた操作（例えばクリック操作）とを含む概念である。
【００３０】
カメラ２０は、静止画像、又は、動画像を撮影する撮影装置であり、複数のタイミングで画像を撮影する。本例のカメラ２０は、窓のガラス板を介して、シート３０の一方の面（裏面）を含む画像を撮影するデジタルカメラである。カメラ２０は、シート３０の他方の面（表面）に光源Ｌ及びユーザの肢体の一部を配置した状態で、シート３０の一方の面（裏面）を撮影可能範囲内に含むよう撮影する。
【００３１】
シート３０は、透光性を有する板状のスクリーンである。シート３０は、透光性を有するならば、着色した板状、半透明な板状、又は、着色した半透明な板状であってもよい。シート３０は、透過した影と略同色とならない色（例えば、好適には白等）であれば着色可能である。一方、シート３０は、透過した影が認識できない色である黒や灰色である色は不向きである。本例のシート３０は、黒や灰色以外の特定色Ｃで着色した板状のスクリーンである。また、着色したシート３０は、単色又は複数色に着色可能である。
また、シート３０は、少なくともシート３０自身の重さにより略変形しない程度の剛性を有し、好適には、外部から外力が加えられても形状が保てる程度の剛性を有する。
また、シート３０は、ユーザの肢体の一部の影が投影できる大きさに形成されている。ここで、ユーザの肢体の一部とは、ユーザの腕または脚の少なくとも一部であり、ユーザの肢体の一部は、手、又は、足を示す概念である。また、ユーザの肢体の一部の影が投影できる大きさとは、ユーザの手、又は、足の影が投影できる程度の大きさである。本例のシート３０の大きさは、ユーザの腕の一部である手（手首から指先までの範囲）の影が投影できる大きさである。
また、シート３０の形状は、多角形、又は、円形（楕円等を含む）に形成される。なお、本例のシート３０の形状は、矩形（長方形）である。
【００３２】
連結部材７０は、ユーザの手の影がシート３０に投影される間隔で、シート３０とユーザの腕とを連結する連結固定具である。連結部材７０は、シート３０面視において、ユーザの腕と対向する位置にシート３０を配置する。本実施例の連結部材７０は、多軸式アームであり、シート３０とユーザの腕とを連結した状態で、ユーザの手に対するシート３０の角度や位置を適宜調節することができる。
【００３３】
被操作装置９０は、入出力処理装置１０から出力されたユーザからの操作を実行する出力装置である。被操作装置９０とは、例えば、パーソナルコンピュータ９０ａ、産業用ロボット９０ｂ、又は、画像表示装置９０ｃ等である。
【００３４】
光源Ｌは、電球、蛍光灯、又はＬＥＤランプなど照明器具である。光源Ｌは、シート３０のうち、カメラ２０が撮影する面の裏面に配置され、シート３０の表面に光を照射できる位置に配置される。また、光源Ｌは、ユーザが屋外にいる場合、太陽や月も含まれる。
【００３５】
このように、本実施形態の入出力システム１では、上記構成によって、ユーザが手に連結したシート３０を移動させる様子をカメラ２０が複数回撮影し、撮影された撮影画像から、撮影画像に対するシート３０の相対的な移動距離と、シート３０の裏面に透過した手の影と基づいて、ユーザの入力操作として検知し、検知した操作内容を被操作装置９０に出力する。
【００３６】
次に、シート３０の裏面に透過した影の解析方法の概要を説明する。
図３は、図２におけるシート３０の裏面に透過した影の解析方法の概要を説明する図である。
図３に例示するように、蛍光灯等の室内照明である光源Ｌは、室内を隅々まで均一に照らすため、拡散性の光を照射し、発光する部分が点ではなく面で製造されている。室内照明の光源Ｌから照射された光を遮蔽することにより出来る影は、光を遮蔽する手と光源Ｌとの距離が互いに近ければ近い程、投影された影の面積は大きくなり、かつ、影の濃さは薄くなる（図３（Ａ））。一方で、光を遮蔽する物体と影を投影するシートとの離間距離を短くすればする程、投影された影の面積は光を遮蔽する物体と略同じ大きさとなり、かつ、影の濃さは濃くなる（図３（Ｂ））。言い換えると、天井の照明に無地の薄いＡ４用紙の平面を向けた状態で、照明とＡ４用紙との間に手をかざし、Ａ４用紙に手を当てたりＡ４用紙から手を離したりした場合における、Ａ４用紙に透過した影領域の大小、或は、影の濃淡の変化が生じる。これは、面光源による半影による影周辺輪郭部分のぼやけ、室内の他の物体による散乱光、及び、反射光等の影響が小さくなるため濃く写る。
【００３７】
上記原理を利用し、本実施形態の入出力システムは、光源Ｌとシート３０の離間距離を一定とする。入出力システムは、図３（Ａ）に例示するように、シート３０とユーザの手との離間距離が一定距離からさらに長くなった場合、影領域が大きくなり、影の色は薄くなる。一方、図３（Ｂ）に例示するように、シート３０とユーザ手との離間距離が一定距離から短くなった場合、影領域が小さくなり、影の色は濃くなる。
【００３８】
入出力システムは、カメラ２０により上記２つの状態を撮影し、撮影した各撮影画像を基準値と比較する事で、シート３０とユーザの手との離間距離が基準値以上である場合に、影に基づいたユーザの操作を検知する。具体的には、入出力システムは、シート３０とユーザの手との基準となる離間距離を事前に決めておき、その距離における、影の画素数、または、画素の濃さをして基準値としてメモリ記録する。次に、シート３０とユーザの手との間の距離を遠ざけたり近づけたりした際の撮影画像内の影の画素数または画素の濃さと、基準値とした影の画素数または画素の濃さと比較する。比較した結果、基準値以上である場合に、影に基づいたユーザの操作を検知する。
【００３９】
入出力システムは、影の画素数、及び、画素の濃さ又は大きさの少なくとも一方に基づいて、ユーザの操作を検知する。
入出力システムは、影の画素数に基づいてユーザの操作を検知する場合、カメラの素子、又は、カメラのコンピュータドライバーの種類・性能よっては、シート３０を透過した影の微妙な濃淡色を撮影画像として捉えらない場合があるため、透過した影の画素数を用いて離間距離を割り出し、ユーザの操作を検知する方が好適である。また、光源Ｌが蛍光灯等の面光源ではなく太陽光やフィラメント電球等の点光源である場合には、影の画素数をカウントし、ユーザの操作を検知する方が精度が良い。
【００４０】
また、入出力システムは、透過した影の濃淡色に基づいてユーザの操作を検知する場合、透過した影の画素数を常時全てカウントする必要が無いため、軽い処理負荷で処理速度的には高速にユーザ操作を検知できる（何故なら一つ或は２、３の透過した影の部分の画素を抽出してその影の色の濃さを解析するだけで距離を割り出せるため）。
【００４１】
また、入出力システムは、透過した影の画素数および濃淡色に基づいてユーザの操作を検知する場合、画素数だけでユーザ操作を検知する場合に比して精度の向上が図れる。これはシート３０近傍のユーザの手の形状が変化する（例えば、人差し指のみを立てた状態から全ての指を立てた状態へと遷移する）場合、影の形状もそれに合わせて変化してしまい、それに伴い影の画素数が変化しそれが入力操作ではなく離間距離の変化として捉えられてしまい、画素数の検知だけでは精度低下してしまう恐れが有るが、濃淡色に基づいて検知する手法と併用化する事でその精度低下を防げるためである。
なお、本実施形態の入出力システムは、影の濃淡（濃淡変化特定部５２０）、及び、影領域の大きさ（大きさ変化特定部５２１）の両方に基づいて、ユーザの操作を検知する形態を説明するが、これに限定されるものではなく、影領域の大きさ、又は、影の濃淡の一方のみを用いて、ユーザの操作を検知してもよい。
【００４２】
図４は、入出力処理装置１０のハードウェア構成を例示する図である。
図４に例示するように、入出力処理装置１０は、ＣＰＵ１００、メモリ１０２、ＨＤＤ１０４、ネットワークインタフェース１０６（ネットワークＩＦ１０６）、表示装置１０８、及び、入力装置１１０を有し、これらの構成はバス１１２を介して互いに接続している。
ＣＰＵ１００は、例えば、中央演算装置である。
メモリ１０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ１０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図５の入出力プログラム５）やその他のデータファイル（例えば、図５の設定情報データベース５９０）を格納する。
ネットワークＩＦ１０６は、有線又は無線で通信するためのインタフェースであり、例えば、入出力処理装置１０とカメラ２０或は被操作装置９０との通信を実現する。
表示装置１０８は、例えば、液晶ディスプレイであり、入力装置１１０は、例えば、キーボード及びマウスである。表示装置１０８及び入力装置１１０は、これらは専ら図５の設定情報データベース５９０等に事前保存されている入出力システムのパラメーター設定値、例えば光源Ｌの周辺環境による照度の補正値やシートの縦横比等をユーザ自身が手作業で調整する際に利用されるが、この調整作業が不要な場合やカメラ２０の事前撮影画像より自動調整されるようにする場合は必ずしも必要ではない。
【００４３】
図５は、入出力処理装置１０の機能構成を例示する図である。
図５に例示するように、本例の入出力処理装置１０には、入出力プログラム５がインストールされると共に、設定情報データベース５９０（設定情報ＤＢ５９０）が構成される。
入出力プログラム５は、シート特定部５００、影特定部５１０、操作検知部５３０、及び、操作信号出力部５４０を有する。なお、入出力プログラム５の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。
【００４４】
（シート特定部５００）
図６は、図５のシート特定部５００をより詳細に説明する図である。
入出力プログラム５において、シート特定部５００は、図６に例示するように、領域特定部５０２、形状特定部５０４、形状補正部５０７、及び、移動距離特定部５０８を有する。
【００４５】
領域特定部５０２は、カメラ２０により撮影された撮影画像内におけるシート３０の色に基づいて、シート３０の領域を特定する。本例の領域特定部５０２は、撮影画像の画素を順次走査して解析し、特定色Ｃのカラー値（ＲＧＢ値）が連続する領域を特定することにより、特定色Ｃで着色したシート３０の領域を特定する。
【００４６】
形状特定部５０４は、カメラ２０により撮影された撮影画像におけるシート３０の形状を特定する。本例の形状特定部５０４は、領域特定部５０２により特定されたシート３０の特定色Ｃの画素部分を抽出し、抽出した画素部分から影部分を含むシート３０の全体形状を特定する。
【００４７】
形状補正部５０７は、形状特定部５０４により特定されたシート３０の全体形状から、シート３０の変形（例えば傾きや撓み）を、変形前の形状に補正する。本実施例の形状補正部５０７は、設定情報データベース５９０に事前入力された長方形の形状をしたシート３０の縦横の比率を基準値として、この基準値と、前述の形状特定部５０４により特定されたシート３０の形状と比較して、シート３０本来の縦横比と傾きによる遠近や撓みにより発生した差異を計算し、計算結果に基づいて本来の長方形の形状となるように形状を補正する。
【００４８】
移動距離特定部５０８は、カメラ２０により複数のタイミングで撮影された複数の撮影画像に基づいて、シート３０の移動量を特定する。移動距離特定部５０８は、カメラ２０により撮影された複数の撮影画像から、シート３０の移動前の撮影画像と、シート３０の移動後の撮影画像と比較し、撮影画像内におけるシート３０の移動量を特定する。本例の移動距離特定部５０８は、撮影画像内におけるシート３０の左隅の開始位置座標を基準点とし、シート３０の移動前後の撮影画像から基準点の移動量を特定する。
【００４９】
（影特定部５１０）
図７は、図５の影特定部５１０をより詳細に説明する図である。
図７に例示するように、影特定部５１０は、基準値設定部５１１、画素特定部５１２、位置特定部５１４、移動距離特定部５１６、移動方向特定部５１７、移動速度特定部５１８、濃淡変化特定部５２０、大きさ変化特定部５２１、及び、離間距離特定部５２２を有する。
【００５０】
基準値設定部５１１は、シート３０とユーザの手との既定の離間距離における影領域の画素値（より具体的には画素のカラー値等の示すＲＧＢ値）、及び、その画素数を基準値として設定する。この基準値設定部５１１に設定された基準値は、シート３０とユーザの手との予め決められた既定の離間距離毎の影領域の画素値と画素数とし、シート３０とユーザの手が任意の離間距離に有る場合において、その離間距離を相対算出する際の指標となる。基準値設定部５１１は、シート３０とユーザの手が既定の離間距離に配置された際の影領域の画素値と画素数とを別途事前測定し、それを直接マニュアル入力する事により基準値として設定しても良いし、シート３０とユーザの手が前述の既定の離間距離やある特定距離に配置した際の撮影画像から自動的に基準値を設定出来るようにしても良い。また、撮影画像から自動的に設定する際に基準値設定部５１１が基準値として設定する画素値は、後述する濃淡変化特定部５２０がシート３０とユーザの手が前述既定の離間距離に配置された際にシート３０に発生した影領域部分の画素の色データー値つまりＲＧＢ値によりその濃淡の特定作業を行い、一方、基準値として設定する画素数は、後述する大きさ変化特定部５２１或は画素特定部５１２がその影領域の画素数をカウントすることにより特定作業を行い、これらの特定された画素値と画素数が基準値として基準値設定部５１１により記憶設定される。  
なお、基準値設定部５１１は、自動的に基準値を設定する場合、周辺の照度環境の影響を撮影画像より一定間隔で取り込む事で動的に補正した画素値を設定出来るようにして精度向上を図っても良い。  
なお、本例の基準値設定部５１１は、例えば、事前測定により基準値を設定し、例えば、シート３０にユーザの手（例えば人差し指を立てた状態の手）が接触した状態（基準離間距離Ｚ０）（入力状態）の画素値、及び、画素数を基準値Ｃ０とし、シート３０とユーザの手とが離間した状態（基準離間距離Ｚ５）（未入力状態）の画素値、及び、画素数を基準値Ｃ５とを設定する。
【００５１】
画素特定部５１２は、カメラ２０により撮影された撮影画像に基づいて、光源Ｌからシート３０に照射された光をユーザが遮ることにより生じた、シート３０内における影の領域の画素を特定する。具体的には、画素特定部５１２は、領域特定部５０２により特定されたシート３０の領域内における影領域の画素を特定する。画素特定部５１２は、カメラ２０により複数のタイミングで撮影された各画像を解析してシート３０の領域内の影領域の画素を特定する。画素特定部５１２は、例えば、影の色を黒と仮定（つまりＲＧＢ値＝０）し、黒と同色または黒に近似する色の画素を特定することにより、特定した画素が連続する領域を影領域とする。
また、画素特定部５１２は、例えば、シート３０の特定色Ｃのカラー値（ＲＧＢ値）である画素の領域以外の部分の画素を特定し、特定した画素が連続する領域を影領域としてもよい。これにより、間接的にシート３０の領域内における影領域の画素を特定する。なお、本実施例の画素特定部５１２は、黒と同色または黒に近似する色の画素が連続する領域を特定することにより、シート３０の領域内における影領域とする。
【００５２】
位置特定部５１４は、カメラ２０により撮影された撮影画像におけるシート３０の領域内のユーザの手、或はユーザの手の特定部位の影の位置を特定する。具体的には、位置特定部５１４は、画素特定部５１２より特定されたシート３０内の影領域（正確には影のエリア）の各画素のうちユーザの手の部分に該当する画素全てのエリア、或はユーザの手の特定部位の画素エリアを抽出しその位置を特定する。
本実施例の位置特定部５１４は、画素特定部５１２により特定されたユーザの手の影のうち、撮影画像のシート３０における指先の位置を特定する。なお、指先の特定方法については前述の影領域の内、カメラ撮影画像の内最も左上、或は右上の位置の画素の座標を指先の位置と見做す事により特定しても良いし、人差し指でシート３０を押下する場合において指先近傍エリアが最も影が濃くなるためその原理を利用して、手の影の画素の内一定以上の影の濃さ以上の画素を全て抽出し、その縦横の中心の位置の画素を割り出して指先の影の位置として見做す事で特定しても良い。勿論、影領域全体をユーザの手と見做してシステムを構成しても良い。
なお、位置特定部５１４は、前述シート特定部５００や領域特定部５０２で特定したカメラ撮影画像内のシート３０領域と相対比較する事でシート３０内におけるユーザの手の影の相対位置を算出可能である。
【００５３】
移動距離特定部５１６は、カメラ２０により撮影された複数のタイミングにおけるユーザの影の移動量を特定する。具体的には、移動距離特定部５１６は、位置特定部５１４により特定されたユーザの手の影の位置を前述の複数のタイミングで求めて、それらの位置変化を算出する事により移動量を特定する。本実施例の移動距離特定部５１６は、位置特定部５１４により特定されたユーザの指先の影における移動量を特定する。移動距離特定部５１６は、カメラ２０により複数のタイミングで撮影された複数の撮影画像から、移動前後のユーザの指先の影の位置を比較し、撮影画像（シート３０内）におけるユーザの指先の影の移動量を特定する。
【００５４】
移動方向特定部５１７は、カメラ２０により撮影された複数のタイミングにおける影の移動方向を特定する。具体的には、移動方向特定部５１７は、位置特定部５１４により特定されたユーザの手の影における撮影画像（シート３０内）に対する移動方向を特定する。本実施例の移動方向特定部５１７は、位置特定部５１４により特定されたユーザの指先の影における移動方向を特定する。移動方向特定部５１７は、カメラ２０により複数のタイミングで撮影された撮影画像から、移動前後のユーザの指先の影の位置に基づいて、撮影画像（シート３０内）におけるユーザの指先の影の移動方向を特定する。
【００５５】
移動速度特定部５１８は、カメラ２０により撮影された複数のタイミングにおける影の移動速度を特定する。移動速度特定部５１８は、移動距離特定部５１６により特定されたユーザの影の移動量と、複数のタイミングで撮影された撮影画像の撮影間隔時間とに基づいて影の移動速度を特定する。本実施例の移動速度特定部５１８は、移動距離特定部５１６により特定されたユーザの指先の影の移動量と、移動前後の撮影画像の撮影間隔時間とに基づいて、撮影画像（シート３０内）におけるユーザの指先の影の移動速度を特定する。
【００５６】
濃淡変化特定部５２０は、画素特定部５１２により特定された影の画素における濃淡の変化を特定する。具体的には、濃淡変化特定部５２０は、シート３０とユーザの手とにおける既定の離間距離を基準とした画素値を基準値として、この基準値と、複数のタイミングで撮影された画像の影領域の画素値とを比較して、画素値の増減を影の濃淡の変化とする。また、濃淡変化特定部５２０は、基準値より画素値の濃さが上回っているか否かに基づいて、影の画素の２値情報を特定する。
【００５７】
大きさ変化特定部５２１は、カメラ２０により複数のタイミングで撮影された複数の画像データから、光源Ｌから照射された光をユーザが遮ることにより生じる影領域の大きさを比較して、影の大きさの変化を特定する。本実施例の大きさ変化特定部５２１は、画素特定部５１２により特定された影領域の広さの増減を影の大きさの変化とする。具体的には、大きさ変化特定部５２１は、影領域の画素数に基づいて影領域の広さの変化を特定する。大きさ変化特定部５２１は、シート３０とユーザの手とにおける既定の離間距離を基準とした画素数を基準値として、この基準値と、複数のタイミングで撮影された画像の影領域の画素数とを比較して、影領域の広さの増減を影の大きさの変化とする。
【００５８】
離間距離特定部５２２は、濃淡変化特定部５２０により特定された濃淡の変化、又は、大きさ変化特定部５２１により特定された影領域の大きさの変化に基づいて、シート３０からユーザまでの距離を特定する。ここで、距離の特定とは、実際の距離（数値）を測定することに限定されるものではなく、距離の変化状況（近づいている／遠ざかっている、或いは、最も近づいた瞬間）であってもよいし、基準値よりも近い又は遠いという判定結果であってもよい。
本例の離間距離特定部５２２は、濃淡変化特定部５２０により特定された濃淡の変化、及び、大きさ変化特定部５２１により特定された影領域の大きさの変化に基づいて、ユーザの手の最近接点（例えば指先）と、シート３０の距離が事前に決めておいた基準の距離（シート３０に触れているとみなして良い距離）よりも近いか否かを判定する。
【００５９】
（操作検知部５３０）
図５に例示するように、操作検知部５３０は、シート３０による入力操作と、シート３０に透過した影による入力操作とを監視し、ユーザの操作として検知する。
シート３０による入力操作として、操作検知部５３０は、カメラ２０により撮影された撮影画像に基づいて、シート特定部５００により特定されたシート３０の移動量を検知する。
また、影による入力操作として、操作検知部５３０は、影特定部５１０により特定された影の位置と、影の移動量と、影の移動方向と、影の移動速度と、影の濃淡又は影の大きさとの組み合わせに基づいて、ユーザの操作を検知する。本例の操作検知部５３０は、影の指先の位置を基準とし、基準とした位置からの移動量、移動方向、及び、移動速度に基づいた影の移動操作と、影の大きさ、又は、影の濃淡の変化に基づいた影の入出力操作との組み合わせに基づいてユーザの操作とする。
【００６０】
（操作信号出力部５４０）
操作信号出力部５４０は、操作検知部５３０によりユーザの操作が検知された場合に、検知されたユーザ操作に対応した応答信号を被操作装置９０に対応した形で出力する。
本例の操作信号出力部５４０は、操作検知部５３０によりユーザの操作が検知された場合に、検知したシート３０の移動量と、検知したユーザの指先の影の位置、移動量、移動方向、及び、移動速度等とに基づいた入力操作をポインタの表示座標制御信号として、ユーザの指先の影の大きさ、又は、影の濃淡の変化に基づいた入出力操作を同ポインタに対するクリック操作を制御するＯＮ−ＯＦＦ信号として被操作装置９０（例えば画像表示装置９０ｃ）に出力させる。
なお、被操作装置９０が産業用ロボット９０ｂ等の場合は、前述の指先の影の位置や移動方向等に基づいた入力操作をそのロボットの位置や移動方向を制御する信号として出力しても良い。
このように、入出力プログラム５は、シート特定部５００、影特定部５１０、操作検知部５３０、及び、操作信号出力部５４０により構成されている。
【００６１】
図８は、シート３０に透過したユーザの影の画像解析イメージを説明する図である。
図８（Ａ）は、シート３０とユーザの手との離間距離が基準離間距離Ｚ５より遠い場合の画像解析イメージを例示する図であり、図８（Ｂ）は、シート３０とユーザの手との離間距離が基準離間距離Ｚ５より近い場合の画像解析イメージを例示する図である。
入出力プログラム１は、予め、基準値設定部５１１により、シート３０とユーザの手とが離間した状態（基準離間距離Ｚ５）（未入力状態）の画素値（より具体的には画素のカラー値等の示すＲＧＢ値）、及び、画素数を基準値Ｃ５として設定する。
【００６２】
図８に例示するように、カメラ２０はシート３０とユーザの手とが離間した状態（基準離間距離Ｚ７）を撮影し、入出力装置２０は撮影画像を解析する。
画素特定部５１２は、撮影画像のシート３０の領域内の画素を撮影画像の左隅または右隅から順次走査して解析し、位置特定部５１４は、黒と同色または黒に近似する色の画素を初めて特定した部分の画素を、例えば指先に位置する画素として特定する。なお、指先の位置の画素に着目した理由として、入力操作時の手において指先がシート３０に最も接近するためである。
濃淡変化特定部５２０は、位置特定部５１４により特定された指先の位置における画素の画素値と、基準値設定部５１１で設定された画素値の基準値Ｃ５とを比較し、両者の相対的な濃淡値やその基準値に比して明るいか否かの２値情報を特定する。
【００６３】
図８（Ａ）に例示するように、濃淡変化特定部５２０は、位置特定部５１４により特定された指先の位置における画素の画素値が基準値Ｃ５の画素値に比して明るい(薄い)場合、明るい（薄い）状態を示す２値情報の値を出力する。
また、大きさ変化特定部５２１は、画素特定部５１２により特定されたユーザの影の領域の画素数と、基準値Ｃ５の画素数とを相対値を計算し、それにより得られる相対的な影領域が大きい場合、影領域が大きい状態を示す値を出力する。
離間距離特定部５１６は、濃淡変化特定部５２０により特定された明るい（薄い）状態を示す２値情報の値と、大きさ変化特定部５２１はより特定された影領域が大きい状態を示す値とに基づいて、基準離間距離Ｚ５により、離間距離Ｚ７の方が、シート３０とユーザの手とが遠いと判定する。つまり、離間距離特定部５１６は、シート３０とユーザの手が遠い状態つまりＯＦＦと判定する。
【００６４】
他方、図８（Ｂ）に例示するように、濃淡変化特定部５２０は、位置特定部５１４により特定された指先の位置における画素の画素値が基準値Ｃ５の画素値に比して暗い（濃い）場合、暗い（濃い）状態を示す２値情報の値を出力する。
また、大きさ変化特定部５２１は、画素特定部５１２により特定されたユーザの影の領域の画素数と、基準値Ｃ５の画素数とを相対値を計算し、それにより得られる相対的な影領域が小さい場合、影領域が小さい状態を示す値を出力する。
離間距離特定部５１６は、濃淡変化特定部５２０により特定された暗い（濃い）状態を示す２値情報の値と、大きさ変化特定部５２１はより特定された影領域が小さい状態を示す値とに基づいて、基準離間距離Ｚ５により、離間距離Ｚ７の方が、シート３０とユーザの手とが近いと判定する。つまり、離間距離特定部５１６は、シート３０とユーザの手が近い状態つまりＯＮと判定する。
なお、本実施形態の入出力システムの離間距離特定部５１６は、影の濃淡（濃淡変化特定部５２０）、及び、影領域の大きさ（大きさ変化特定部５２１）の両方に基づいて、シート３０とユーザの手との離間距離を特定する形態を説明するが、これに限定されるものではなく、影領域の大きさ、又は、影の濃淡の一方のみを用いて、離間距離を特定してもよい。
離間距離特定部５１６は、シート３０とユーザの手との遠近判定において、前述の影の濃淡（２値情報）と、影領域の大きさ（相対的な影領域の大小の増減）との両方を利用して判定することにより遠近判定精度を高めることができる。また、離間距離特定部５１６は、影領域の大きさ、又は、影の濃淡の一方のみを用いて遠近判定を行うことにより、処理速度向上させることができる。例えば、影の濃淡（２値情報）だけ用いて判定するようにすれば、影領域の画素を全て抽出する必要がなく、位置特定部５１４で特定されたユーザの指先の位置の画素値の解析だけに限定できるため処理速度向上が図れる。
このように、入出力システム１は、撮影された撮影画像における影領域のうち、ユーザの手の指先に位置の画素に着目した場合の画像解析を行うことにより、画像全体の画素を走査解析することなく、ユーザの指先の位置を特定できるため、軽い処理負荷で高速にユーザ操作を検知できる。これにより、例えば、空中配置したタッチパッド（トラックパッド等）に適したシステムとすることができる。
【００６５】
図９は、シート３０の形状を特定する画像解析イメージを例示する図である。図９（Ａ）は、撮影画像内における撓んだ状態のシート３０の画像解析イメージを例示する図であり、図９（Ｂ）は、撮影画像内における傾斜した状態のシート３０の画像解析イメージを例示する図である。
図９（Ａ）に例示するように、カメラ２０は、撮影範囲の外周上辺に対して角度Ｒ１、及び、撮影範囲の外周下辺に対して角度Ｒ２傾いたシート３０を撮影する。よって、画像解析時におけるシート３０は、撮影画像外周の上辺に対して角度Ｒ１、及び、下辺に対して角度Ｒ２傾いている。
形状特定部５０４は、領域特定部５０２により特定されたシート３０の特定色Ｃの画素部分を抽出し、抽出した画素部分から影部分を含むシート３０の全体形状を特定する。
形状補正部５０７は、特定されたシート３０の全体形状から、角度Ｒ１、及び、角度Ｒ２の角度傾きを算出し、変形前のシート３０の形状に補正する。
なお、算出した前述の角度Ｒ１、及び、角度Ｒ２の角度傾きの値を、ユーザの指先の影の位置、移動量と一緒に操作信号出力部５４０から出力できるように拡張しても良い。こうする事により、例えば、ユーザがシート３０を大きく傾けた際にユーザがキーボードのＳｈｉｆｔキー等の何らかのキーを押下した操作と同じ意味を付加する事が可能（つまりＳｈｉｆｔキーを押したままのタッチパッド操作の再現が可能）となり、シート３０に対する操作だけで多様な操作が可能になる。
【００６６】
また、図９（Ｂ）に例示するように、カメラ２０は、撮影方向に対して角度Ｔの角度で傾斜したシート３０を撮影する。シート３０は、例えば、カメラ２０に対して上辺が近く、下辺が遠くなるよう傾斜している。よって、画像解析時におけるシート３０は、上辺Ａ１の画素数の方が、下辺Ａ２の画素数より多い逆台形状となっている。
形状特定部５０４は、領域特定部５０２により特定されたシート３０の特定色Ｃの画素部分を抽出し、抽出した画素部分から影部分を含むシート３０の全体形状を特定する。
形状補正部５０７は、特定されたシート３０の全体形状から、上辺Ａ１と下辺Ａ２との比率を算出し、遠近の原理により傾斜角度Ｔを求めることができる。これにより、形状補正部５０７は、変形前のシート３０の形状に補正することができる。また、操作検知部５３０は、影の位置と、影の移動量とに加えて、算出した前述の傾斜角度Ｔの値をユーザの操作内容として検知し、操作信号出力部５４０は、操作検知部５３０により検知された操作内容を被操作装置９０に出力するよう拡張しても良い。これより多様な操作が可能になる。
なお、上辺及び下辺の場合を説明したが、右辺及び左辺の場合も同様のためその説明は割愛する。
【００６７】
図１０は、入出力システム１における入出力処理（Ｓ１０）を説明するフローチャートである。なお、入出力処理（Ｓ１０）は、基準値設定部５１１による基準値の設定を完了していることを前提として説明する。また、入出力処理（Ｓ１０）は、カメラ２０が撮影する毎に行う処理である。
まず、基準値の設定を説明する。
ユーザは、入出力処理（Ｓ１０）を行う前に基準値の設定を行う。ユーザは、連結部材７０を介してユーザの手と対向する位置にシート３０を配置し、シート３０に手を接触させた状態（基準離間距離Ｚ０）（入力状態）と、シート３０と手とが離間した状態（基準離間距離Ｚ５）（未入力状態）とをカメラ２０に撮影させる。
基準値設定部５１１は、シート３０に手を接触させた状態（基準離間距離Ｚ０）の画素値、及び、画素数を基準値Ｃ０とし、シート３０と手とが離間した状態（基準離間距離Ｚ５）の画素値、及び、画素数を基準値Ｃ５として設定する。このとき、ユーザの手の形状は、例えば人差し指を立てた状態であると仮定して説明する。
【００６８】
図１０に例示するように、ステップ１００（Ｓ１００）において、カメラ２０は、定期的にシート３０を撮影し、撮影した撮影画像を入出力処理装置１０に送信する。
ステップ１０２（Ｓ１０２）において、入出力処理（Ｓ１０）は、シート入力処理（Ｓ２０）の処理を行う。入出力処理（Ｓ１０）は、シート入力処理（Ｓ２０）の処理を終了後に、ステップ１０４（Ｓ１０４）の処理に移行する。
ステップ１０４（Ｓ１０４）において、入出力処理（Ｓ１０）は、影入力処理（Ｓ３０）の処理を行う。入出力処理（Ｓ１０）は、影入力処理（Ｓ３０）の処理を終了後に、ステップ１０６（Ｓ１０６）の処理に移行する。
ステップ１０６（Ｓ１０６）において、操作信号出力部５４０は、シート入力処理（Ｓ２０）の処理により出力された操作内容と、影入力処理（Ｓ３０）の処理により出力された操作内容とをユーザの操作内容として、被操作装置９０に出力する。
シート入力処理（Ｓ２０）の処理により出力された操作内容とは、シート３０の移動量に基づいた影の入力操作（ポインタ移動操作）であり、影入力処理（Ｓ３０）の処理により出力された操作内容とは、影の指先の移動量、移動方向、及び、移動速度に基づいた影の移動操作（ポインタ移動操作）と、影の大きさ、又は、影の濃淡の変化に基づいた影の入力操作（いわゆるクリック操作）との組み合わせ操作である。
【００６９】
図１１は、入出力システム１におけるシート入力処理（Ｓ２０）を説明するフローチャートである。
図１１に例示するように、ステップ２００（Ｓ２００）において、領域特定部５０２は、カメラ２０により撮影された撮影画像を順次走査して解析し、特定色Ｃのカラー値（ＲＧＢ値）が連続する領域を特定することにより、特定色Ｃで着色したシート３０の領域を特定する。形状特定部５０４は、領域特定部５０２により特定されたシート３０の特定色Ｃの画素部分を抽出し、抽出した画素部分からシート３０の全体形状を特定する。
【００７０】
ステップ２０２（Ｓ２０２）において、形状補正部５０７は、特定したシート３０の全体形状が変形（例えば傾きや撓み）しているか否かを判定する。
シート入力処理（Ｓ２０）は、形状補正部５０７により特定されたシート３０の形状が変形している場合に、Ｓ２０４の処理に移行し、特定したシート３０の形状が変形していなかった場合に、Ｓ２０６の処理に移行する。
【００７１】
ステップ２０４（Ｓ２０４）において、形状補正部５０７は、シート３０の変形（例えば傾きや撓み）を特定し、変形前の形状に補正する。
【００７２】
ステップ２０６（Ｓ２０６）において、操作検知部５３０は、シート３０の移動の有無を検知する。操作検知部５３０は、移動距離特定部５０８により特定されたシート３０の移動量の有無を検知する。
シート入力処理（Ｓ２０）は、ユーザの操作が検知された場合に、Ｓ２０８の処理に移行し、ユーザの操作が検知されなかった場合に、本シート入力処理（Ｓ２０）を終了させる。
【００７３】
ステップ２０８（Ｓ２０８）において、移動距離特定部５０８は、カメラ２０により撮影された複数の撮影画像から、シート３０の移動前後の撮影画像を比較する。移動距離特定部５０８は、シート３０の左隅の開始位置座標を基準点とし、基準点の移動距離をシート３０の移動量として特定する。なお、図１１のフローチャートはあくまで一例である。例えばシート３０の位置や移動量だけでなく傾き入出力システム１の出力値の一つとして利用する場合はその処理を別途追加する必要が有る。
【００７４】
ステップ２１０（Ｓ２１０）において、シート特定部５００は、操作検知部５３０へ検知されたシート３０の移動検知信号を出力すると共に、移動距離特定部５０８により特定されたシート３０の移動量を操作信号出力部５４０に出力する。なお、検知信号を出力する代わりにシート３０の移動状態を監視するフラグを適当な共有メモリ空間に用意して、それをＯＮにして移動有り無しの状態を外部の処理ルーチンやオブジェクト、或は被操作装置９０等が任意のタイミングで参照出来るようにしても良い。
シート入力処理（Ｓ２０）は、Ｓ２０８の処理終了後に、入出力処理（Ｓ１０）のＳ１０４の処理に移行する。
【００７５】
図１２は、入出力システム１における影入力処理（Ｓ３０）を説明するフローチャートである。
図１２に例示するように、ステップ３００（Ｓ３００）において、画素特定部５１２は、領域特定部５０２により特定されたシート３０の領域内における影領域（を示す黒と同色または黒に近似する色）の画素が連続する領域を特定する。なお、この時の特定に用いる具体的なアルゴリズム例としては、シート３０領域内の画素の中から黒色に近いＲＧＢ値を指定して特定するか、シート３０の色である特定色ＣのＲＧＢ値を用いてそれ以外の領域を抽出して特定する方法等が挙げられる。なお、本実施例の画素特定部５１２は、黒と同色または黒に近似する色を指定し、指定した画素が連続する領域を特定することにより、シート３０の領域内における影領域を特定する。
【００７６】
ステップ３０２（Ｓ３０２）において、影特定部５１０は、画素特定部５１２により特定された影領域（を示す黒と同色または黒に近似する色）の画素が連続する領域を特定し他か否かを判定する。
影入力処理（Ｓ３０）は、影特定部５１０により影領域を特定された場合に、Ｓ３０４の処理に移行し、影領域を特定されない（つまりシート３０近傍にユーザの手が存在しない）場合に、本影入力処理（Ｓ３０）を終了させる。
なお、この判定時に影領域の画素の連続数つまり影領域の面積の閾値を多めにして撮影画像のノイズを減じて精度を高めても良い。逆に影領域の画素が一つでも見つかった場合に影領域が有ると判断するようにして影領域を検知する感度を高めても良い。
【００７７】
ステップ３０４（Ｓ３０４）において、位置特定部５１４は、画素特定部５１２により特定された影領域の内、ユーザの手の指先部分の影の画素の座標を特定する。なお、この時の特定に用いる具体的なアルゴリズム例としては、画素特定部で特定した影領域の内、最も左上、或は右上の位置の画素の座標を指先の位置と見做す事により特定する方法、もしくは影領域の中心の位置の画素を割り出して指先の位置として見做す事で特定する方法等が挙げられる。
【００７８】
ステップ３０６（Ｓ３０６）において、移動距離特定部５１６は、位置特定部５１４により特定されたユーザの手の影における移動量を特定し、移動方向特定部５１７は、位置特定部５１４により特定されたユーザの指先の影における移動方向を特定する。また、移動速度特定部５１８は、移動距離特定部５１６により特定されたユーザの指先の影の移動量と、移動前後の撮影画像の撮影間隔時間とに基づいて、撮影画像（シート３０内）におけるユーザの指先の影の移動速度を特定する。（いわゆるポインタ移動操作）
【００７９】
ステップ３０８（Ｓ３０８）において、濃淡変化特定部５２０は、位置特定部５１４により特定されたユーザの手の指先部分の影の画素の画素値（つまりＲＧＢ値）における濃淡の変化を特定する。また、大きさ変化特定部５２０は、位置特定部５１４により特定されたユーザの手の指先部分の影の画素の範囲つまり大きさを特定する。
【００８０】
ステップ３１０（Ｓ３１０）において、濃淡変化特定部５２０は、特定したユーザの手の指先部分の影の画素の画素値と、基準値設定部５１１により設定した基準値Ｃ５の画素値とを相対比較する。また、大きさ変化特定部５２０は、特定したユーザの手の指先部分の影領域と、基準値設定部５１１により設定した基準値Ｃ５の画素領域とを相対比較する。
離間距離特定部５２２は、濃淡変化特定部５２０により特定された濃淡の変化、及び、大きさ変化特定部５２１により特定された影領域の大きさの変化に基づいて、シート３０からユーザまでの距離を算出する。
【００８１】
ステップ３１２（Ｓ３１２）において、影特定部５１０は、濃淡変化特定部５２０により特定されたユーザの手の指先部分の影の画素の画素値と、基準値設定部５１１により設定した基準値Ｃ５の画素値との比較結果、及び、大きさ変化特定部５２０により特定されたユーザの手の指先部分の影領域と、基準値設定部５１１により設定した基準値Ｃ５の画素領域との比較結果に基づいて、ユーザの手の指先部分の影が基準値Ｃ５より濃いか否かを判定する。
影入力処理（Ｓ３０）は、影特定部５１０により画素が基準値より濃い（暗い）、換言するとシート３０とユーザの指先が近い場合に、Ｓ３１４に移行し、画素が基準値より薄い（明るい）、換言するとシート３０とユーザの指先が遠い場合に、Ｓ３１６に移行する。
【００８２】
ステップ３１４（Ｓ３１４）において、濃淡変化特定部５２０は、位置特定部５１４により特定された指先の位置における画素の画素値が基準値Ｃ５の画素値に比して濃い（暗い）場合、濃い（暗い）状態を示すＯＮを２値情報に設定する。
【００８３】
ステップ３１６（Ｓ３１６）において、濃淡変化特定部５２０は、位置特定部５１４により特定された指先の位置における画素の画素値が基準値Ｃ５の画素値に比して薄い（明るい）場合、薄い（明るい）状態を示すＯＦＦを２値情報に設定する。
なお、２値情報を設定する場合において、本例のＳ３１４及びＳ３１６のように基準値に基づいて濃淡を比較する方法に限定するものではなく、例えば前述のＳ３１０で算出した離間距離に基づいて、シート３０とユーザの手の指先の離間距離が５ｍｍ以下の状態になればＯＮを、離間距離が５ｍｍ以上ならＯＦＦを２値情報に設定しても良い。
【００８４】
ステップ３１８（Ｓ３１８）において、影特定部５１０は、操作検知部５３０により検知された影による何らかの操作検知信号と共に、位置特定部５１４により特定された影の位置、移動距離特定部５１６により特定された移動量、及び、離間距離特定部５２２により特定されたシート３０とのユーザの手の離間距離と、濃淡変化特定部２０により特定された近い遠いの離間距離の状態を示す２値情報等の数値とを操作信号出力部５４０に出力する。
なお、検知信号を出力する代わりに影による何らかの操作の検知有無を示すフラグを適当な共有メモリ空間に用意して、それをＯＮにして影による操作の検知の有無を外部の処理ルーチンやオブジェクト、或は被操作装置９０等が任意のタイミングで参照出来るようにしても良い。
影入力処理（Ｓ３０）は、Ｓ３１２の処理終了後に、入出力処理（Ｓ１０）のＳ１０６の処理に移行する。
【００８５】
以上説明したように、本実施形態の入出力システム１によれば、ユーザと、シート３０に透過した影とを含む撮影画像からユーザの操作を検知することにより、カメラ２０とユーザとの間に窓等が介在しても、被操作装置９０を遠隔地から操作可能なポインティングデバイスとすることができる。また、入出力システム１は、入出力装置１０、カメラ２０、及び、被操作装置９０を屋内に配置出来るため屋外の風雨に晒される事もなく盗難のリスクも抑えられる。
また、入出力システム１は、シート３０を透過する光による光源Ｌとそのシート間のユーザの手の影を利用する事により、撮影画像を２値化し、２値化した画像を解析するため、コンピュータの処理の負荷が低く、そのまま撮影画像からユーザの手の位置を判別するシステムに比して高精度で高速である。また、入出力システム1は、シートを反射した反射光による影を用いる場合と違いユーザの手や指先がユーザの体や手に隠されて死角になる事がないので指先の位置を正確に特定出来、ユーザの指先がシートに一定以上近づかないとその透過した影はカメラでは捉えられ難くいため、シートが一種のフィルタとして作用し余分なユーザの手の影をマスキングし誤検知を防ぐ役割も果たす。しかもシートの厚さ、或は光透過率を調節する事によりそのマスキングの程度も調節可能である。
また、シート３０には、コードや通信装置（無線装置、赤外線装置）等を具備しないため軽量である。よって、操作するユーザにかかる負担を軽減することができるため、詳細は後述するが左右どちらかの腕にシート３０を支持して中空で動かす事によるマウス型のポインティングデバイスが具現化出来る。また、カメラ２０がシート３０撮影出来る程度の透明度が有る環境下に限定されるが水中での使用も可能である。
なお、本実施形態の入出力システム１は、ユーザの腕にシート３０を装着する場合を説明したが、これに限定するものではなく、予めシート３０を窓ガラスに固定してもよい。この場合、ユーザの視界の妨げとならない位置にシート３０を固定することが好適である。
【００８６】
次に、上記実施例における変形例を説明する。
なお、変形例では、上記実施例と実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略する。
［変形例１］
本変形例１の入出力システム１００は、シート３０の周縁領域の色を中央領域の色と異なる色で形成し、シート３０の周縁領域の色に基づいてシート３０を特定するシステムである。
図１３は、実施形態における入出力システム１の変形例１を例示する図である。
図１３に例示するように、本変形例１のシート３０は、上記実施形態と同様に黒や灰色以外の特定色Ｃで着色した透光性を有する板状のスクリーンである。しかし、本変形例１のシート３０は、複数色に発色するよう形成されている。シート３０は、例えば、中央領域における発色する色と、周縁領域における発色する色とが異なるよう形成されている。本変形例１のシート３０は、中央領域における発色する色は特定色Ｃであり、周縁領域における発色する色は特定色ＣＡである。シート３０の周縁領域の着色法として、着色された布や紙等の接着、又は、ペインティング等により実現できる。
【００８７】
また、入出力プログラム５のシート特定部５００における領域特定部５０２は、中央領域における発色する色と、周縁領域における発色する色とが異なるよう形成されたシート３０を特定するため、カメラ２０により撮影された撮影画像内におけるシート３０の周縁領域の色（特定色ＣＡ）に基づいて、シート３０の領域を特定する。言い換えると、領域特定部５０２は、特定色ＣＡに囲まれた領域を特定する。
【００８８】
このように、変形例１の入出力システム１００は、シート３０の周縁領域の色を中央領域の色と異なるよう形成し、領域特定部５０２により周縁領域の色に囲まれた領域内を特定させることにより、撮影画像内から単色のシート３０を特定する場合に比べて、検知精度を高めることができる。
また、入出力システム１は、画像解析時に、領域特定部５０２に特定色ＣＡに囲まれた領域を特定させるため、特定色ＣＡに囲まれていない領域に、シート３０の中央領域の特定色Ｃと同じ色の物体Ｍが存在してもノイズとして処理でき、シート３０の誤検知を防止することができる。
【００８９】
［変形例２］
本変形例２の入出力システム１０２は、光源Ｌとシート３０との離間距離を可変自在に固定した入出力システムである。
図１４は、実施形態における入出力システム１の変形例２を例示する図である。図１４（Ａ）は、ユーザの手からシート３０を遠ざけた場合の撮影画像を例示する図であり、図１４（Ｂ）は、ユーザの手にシート３０を近づけた場合の撮影画像を例示する図である。
本変形例２における入出力システム１０２は、入出力処理装置１０と、カメラ２０と、シート３０と、連結部材７０と、被操作装置９０とに加えて、連結部材８０とを有する。
連結部材８０は、光源Ｌとシート３０とを連結する連結具である。連結部材８０は、シート３０の他方の面に光を照射する光源Ｌと、シート３０との離間距離を可変可能に連結している。連結部材８０は、例えば、光源Ｌを支持する支持材と、シート３０を支持する支持材とがスライド自在に接続している。
連結部材８０は、図１４（Ａ）に例示するように、ユーザの手からシート３０を遠ざけたることにより、カメラ２０により撮影された画像内のシート３０に投影された影の領域は、ユーザの手のサイズより大きくなる。
一方、連結部材８０は、図１４（Ｂ）に例示するように、ユーザの手にシート３０を近づけることにより、カメラ２０により撮影された画像内のシート３０に投影された影の領域は、ユーザの手のサイズと略等しくなる。
このように、連結部材８０は、光源Ｌとシート３０との離間距離を変えることにより、シート３０に投影される影の大きさを調節することができる。
これにより、入出力システム１０２は、例えば指先の微細な動きであっても影のサイズを拡大して検知することができるため、指先の微細な動きが必要な入力操作においても誤認検知を防止出来る。例えば、手首を左右に振る操作で出力されるドラッグ操作である場合、手首の微細な動きであっても影のサイズを大きくした状態で検知することにより、出力する移動量を増加させることができる。つまり、シート３０に対する影のサイズを拡大縮小することにより、出力する移動量を増加減少させることができる。
【００９０】
［変形例３］
本変形例３の入出力システム１０４は、複数のシート３０からの入力をそれぞれ識別してユーザの入力操作を検知する入出力システムである。
図１５は、実施形態における入出力システム１の変形例３を例示する図である。
図１５に例示するように、入出力システム１０４は、入出力処理装置１０と、カメラ２０と、シート３０と、被操作装置９０とを有する。本変形例３の入出力システム１０４は、シート３０Ａに投影されたユーザ１の手の影と、シート３０Ｂに投影されたユーザ２の手の影とをカメラ２０が同じ画像内に納めるよう撮影し、入出力処理装置１０が撮影された撮影画像から各シート３０のユーザの操作をそれぞれ検知し、検知したユーザの操作をそれぞれ画像表示装置９０ｃに出力する。
本変形例３のシート３０は、複数あり、それぞれ異なる色を発色する。具体的には、シート３０には、シート３０Ａは特定色Ｃを発色するシート３０Ａと、特定色Ｃ２を発色するシート３０Ｂとがある。
【００９１】
図１６は、変形例３における入出力処理装置１０の機能構成を例示する図である。
図１６に例示するように、本変形例３の入出力処理装置１０にインストールされた入出力プログラム５は、シート特定部５００、影特定部５１０、操作検知部５３０、及び、操作信号出力部５４０に加えて、識別部５５０をさらに有する。
識別部５５０は、カメラ２０により撮影された撮影画像に基づいて、シート３０Ａが発色する色と、シート３０Ｂが発色する色とを識別する。具体的には、識別部５５０は、領域特定部５０２により特定された、シート３０Ａが発色する特定色Ｃのカラー値（ＲＧＢ値）が連続する領域と、シート３０Ｂが発色する特定色Ｃ２のカラー値（ＲＧＢ値）が連続する領域とにそれぞれ識別ＩＤを付する。
【００９２】
また、本変形例３の入出力システム１の入出力処理（Ｓ１０）において、撮影した撮影画像を入出力処理装置１０に送信後（Ｓ１００）に、識別部５５０が各シート３０に識別ＩＤを付し（Ｓ１０１）、識別部５５０により識別されたシート３０毎に、Ｓ１０２からＳ１０６の処理を行う。なお、Ｓ１０２からＳ１０６の処理において、上記実施形態と同様の処理のため、重複説明を省略する。
【００９３】
このように、本変形例３の入出力システム１０４によれば、１台のカメラ２０で複数のユーザからの操作を検知し出力することができる。
なお、本変形例３の入出力システム１０４は、複数のユーザがそれぞれ異なる色のシート３０を使用する形態を説明したが、これに限定するものではなく、１人のユーザが、例えば両手にそれぞれ異なる色のシート３０を使用してもよい。
【００９４】
［変形例４］
本変形例４の入出力システム１０６は、柔軟素材に対する入力操作を再現した入出力システムである。
図１７は、実施形態における入出力システム１の変形例４を例示する図である。
図１７に例示するように、本変形例４における入出力システム１０６は、撮影画像からユーザの操作を入出力処理装置１０が検知し、検知した操作を画像表示装置９０ｃに出力することにより、ユーザの操作内容に応じて、表示するキャラクター画像が変化するシステムである。
入出力システム１０６は、入出力処理装置１０と、カメラ２０と、シート３０と、被操作装置９０とに加えて、緩衝部材８５とを有する。
緩衝部材８５は、シート３０の表面に取り付けられ、ユーザの手または手指の操作に適度な抵抗を与える緩衝材である。本変形例４の緩衝部材８５は、空気を注入する注入口を有する袋であり、内部に空気を充填し封入することができる。また、緩衝部材８５の素材は、透光性および弾力性を有する合成樹脂により形成されている。具体的には、緩衝部材８５は、透明若しくは半透明である軟質塩化ビニール（軟質ＰＶＣ）、又は、透明若しくは半透明を有するゴム等により形成されている。よって、緩衝部材８５は、ユーザの手の操作（例えば指先で押す操作）に合わせて自在に変形する袋として形成することができる。また、緩衝部材８５は充填する空気量を自在に調節することができる。
このように、シート３０の表面に緩衝部材８５を取り付けることにより、ユーザの手の操作に合わせて柔軟性および弾力性を自在に変更できる３次元ポインティングデバイスとすることができる。
よって、入出力システム１０６は、緩衝部材８５にユーザの手を埋没させた状態の影の位置に基づくユーザ操作の出力と、画像表示装置９０ｃに表示するキャラクター画像の画像変化の出力とを同期して表示させることができる。これにより、ユーザは、表示されたキャラクター画像を直接触れたかのような感覚を得ることが期待できる。
また、入出力システム１０６は、ピエゾ効果や静電容量の変化を利用した圧電素子を用いたポインテングデバイスと違い、ユーザの手の影の位置、濃さ、又は大きさに基づいてユーザの入力操作とするため、緩衝部材８５の埋没量に応じたシート３０と手との離間距離を簡単に特定できる。
【００９５】
［変形例５］
本変形例５の入出力システム１０８は、ユーザの入力操作を作業ウインドウに同期させた入出力システムである。
図１８は、実施形態における入出力システム１の変形例５を例示する図である。
図１８に例示するように、本変形例５における入出力システム１０６は、撮影画像からシート３０の移動操作、及び、影に基づく入力操作をユーザの操作として入出力処理装置１０が検知し、検知した操作内容を画像表示装置９０ｃに出力することにより、ユーザの操作内容に応じて作業ウインドウＷを操作するシステムである。
【００９６】
本変形例５の入出力処理装置１０にインストールされた入出力プログラム５において、シート特定部５００は、領域特定部５０２、形状特定部５０４、形状補正部５０７、及び、移動距離特定部５０８に加えて、同期部５０３をさらに有する。
同期部５０３は、カメラ２０の撮影範囲内におけるシート３０の基準点（例えば画像解析イメージにおける、シート３０の左隅の開始位置座標）と、画像表示装置９０ｃの表示範囲内における作業ウインドウＷの基準座標（例えば左隅の開始位置座標）とを一致させる。同期部５０３は、基準となる各座標を一致させることにより、撮影画像内のシート３０の移動量と、表示範囲内における作業ウインドウＷの移動量とを同期させることができる。
これにより、ユーザは、シート３０を移動させる動作に連動して、画像表示装置９０ｃ表示された作業ウインドウＷを自在に移動させることができる。また、ユーザは、作業ウインドウＷの移動操作を行うと共に、シート３０に手の影を投影し入力操作を行うことにより、作業ウインドウＷに対し操作（クリック操作等）をすることができる。
【００９７】
［変形例６］
本変形例６の入出力システム１１０は、シート３０の傾き又は形状に基づいてユーザの入力操作を検知する出力システムである。例えば、入出力システム１０６は、ユーザがシート３０を撮影方向に対して水平にし寝かせる、又は、シート３０を畳む等の操作を行うことにより、スリープモード、又は、入力終了の操作内容として被操作装置９０に出力する。
図１９は、実施形態における入出力システム１の変形例６を例示する図である。
図１９に例示するように、入出力システム１１０は、ユーザがシート３０を撮影方向に対して水平に寝かせる、又は、シート３０を畳む等の操作を行うことにより、スリープモード、又は、入力終了の操作内容として被操作装置９０に出力する。
図２０は、変形例６におけるシート特定部５００をより詳細に説明する図である。
図２０に例示するように、変形例６の入出力処理装置１０にインストールされた入出力プログラム５において、シート特定部５００は、領域特定部５０２、形状特定部５０４、形状補正部５０７、及び、移動距離特定部５０８に加えて、傾き特定部５０６、及び、操作内容決定部５０９をさらに有する。
【００９８】
傾き特定部５０６は、カメラ２０により撮影された撮影画像に基づいて、撮影画像に対するシート３０の傾きを特定する。具体的には、傾き特定部５０６は、形状特定部５０４により特定されたシート３０の領域の形状に基づいて、シート３０の傾きを特定する。本変形例６の傾き特定部５０６は、シート３０の形状（例えば縦横の比率）を基準値として設定情報データベース５９０に事前記録し、記録したシート３０の形状の基準値と、形状特定部５０４により特定されたシート３０の形状と比較をしてシート３０の傾きを特定する。
【００９９】
操作内容決定部５０９は、形状特定部５０４により特定されたシート３０の形状、又は、傾き特定部５０６により特定されたシート３０の傾きに基づいて、ユーザの操作内容を決定する。本例では、設定情報ＤＢ５９０に複数の操作内容（例えば、スリープモード、入力終了等）と複数の形状（例えば、シート３０を撮影方向に対して水平に寝かせた形状及び傾き、撮影方向に対して垂直にしたシート３０を畳んだ形状及び傾き等）とが互いに関連付けて登録されており、操作内容決定部５０９は、形状特定部５０４により特定された形状、及び、傾き特定部５０６により特定された傾きと、設定情報ＤＢ５９０に登録されたシート３０の形状、及び、傾きとを比較して、最も近似する形状に関連付けられた操作内容をユーザの操作内容であると決定する。なお、原理上シート３０をカメラ２０の撮影面に対して図１９のように水平にした場合、同カメラ撮影画像にはシートは殆ど捉えられなくなるか、もしくはカメラ撮影画像に対して水平方向のシート３０と同じ色の線として僅かに写るだけなので、シートが同カメラ撮影画像から捉えられなくなった段階でスリープモードや入力終了処理に移っても良い。
このように、本変形例の入出力システム１１０はによれば、シート３０を撮影方向に対して水平にし寝かせる、又は、シート３０を畳む等の操作を行うことにより、スリープモード、又は、入力終了の操作内容として被操作装置９０に出力することができる。
【０１００】
［変形例７］
本変形例７の入出力システム１１２は、撮影画像内のシート３０の位置や移動量と、画像表示装置９０ｃに表示されたマウスポインタの位置とを同期させ、シート３０を押下した指先の位置に基づいて、右クリック又は左クリックの入力操作を行い、被操作装置９０に出力するシステムである。
図２１は、実施形態における入出力システム１の変形例７を例示する図である。
図２１に例示するように、入出力システム１１２は、撮影画像からシート３０の移動操作、及び、影に基づく入力操作をユーザの操作として入出力処理装置１０が検知し、検知した操作内容を画像表示装置９０ｃに出力することにより、ユーザの操作内容に応じてマウスポインタの位置の制御やクリック操作を行う。
なお、本変形例７の入出力システム１１２は、連結部材７０を用いてシート３０とユーザの腕とを連結し、シート３０とユーザの腕との離間間隔を一定としている。
【０１０１】
本変形例７の入出力処理装置１０にインストールされた入出力プログラム５において、シート特定部５００は、領域特定部５０２、形状特定部５０４、形状補正部５０７、及び、移動距離特定部５０８に加えて、領域分割部５０１と同期部５０３とをさらに有する。
領域分割部５０１は、撮影された撮影範囲内におけるシート３０の領域を複数に分割し、操作内容を振り分ける。具体的には、領域分割部５０１は、シート３０の左右方向又は上下方向に、２つ以上の領域に分割し、操作内容を振り分ける。本変形例７の領域分割部５０１は、例えばシート３０を左右方向に２つの領域（左領域、右領域）に分割し、左領域に割り当てる操作を例えば左クリック操作とし、右領域に割り当てる操作を例えば右クリック操作とする。
【０１０２】
同期部５０３は、カメラ２０の撮影範囲内におけるシート３０の基準点（例えば画像解析イメージにおける、シート３０の左隅の開始位置座標）と、画像表示装置９０ｃの表示範囲内におけるマウスポインタの座標とを一致させる。同期部５０３は、各座標を一致させることにより、撮影画像内のシート３０の移動量と、画像表示装置９０ｃの表示範囲内におけるマウスポインタの移動量とを同期させることができる。なお、同期部５０３は、この時シート３０をユーザが素早く移動させた場合はマウスポインタの移動量がその分が大きくなるように、逆にゆっくり移動させた場合はマウスポインタの移動量がその分小さくなるように、シート３０の単位時間あたりの移動量つまりシート３０速度を係数としてマウスポインタの移動量と乗じるように設定してもよい。これにより、シート３０が固定されている腕等を特に大きく動かさなくてもマウスポインタが大きく移動可能となる。また、同期部５０３は、シート３０の傾きによりマウスポインタの移動量を増減させても良い。
【０１０３】
このように、本変形例７の入出力システム１１２は、領域分割部５０１により分割されたシート３０の２つの領域において、位置特定部５１４により特定された指先の位置が２つの領域のどちらか一方で特定され、影の大きさ、又は、影の濃淡の変化に基づいた影の入力操作（いわゆるクリック操作）を行うことにより操作検知部５３０が検知し、振り分けた操作内容を被操作装置９０に出力することができる。
入出力システム１１２は、既存のポインティングデバイスであるマウスと異なり、ユーザの腕の動作によりマウスポインタを操作することができる。また、マウスと違い机や床にデバイスを固定する必要もなく左右どちらの腕に支持されたシート３０による中空操作が可能であり、シート３０の傾きによりマウスポインタの移動量の増減するようにシステムを拡張する事も可能である。さらに、タッチ操作またはクリック操作についても２つの領域だけでなく、３つの領域（左領域、中領域、右領域）に分割し、左領域に割り当てる操作を例えば左クリック操作とし、中領域に割り当てる操作を例えばスクロール操作とし、右領域に割り当てる操作を例えば右クリック操作としてもよく、更に細かい領域に分割してやればその分だけ多様なクリック操作が可能なデバイスも実現出来る。
【符号の説明】
【０１０４】
１        入出力システム
１０      入出力処理装置
２０      カメラ
３０      シート
７０      連結部材
９０      被操作装置
５        入出力プログラム
【図１】
2019028510.tif 000003
【図２】
2019028510.tif 000004
【図３】
2019028510.tif 000005
【図４】
2019028510.tif 000006
【図５】
2019028510.tif 000007
【図６】
2019028510.tif 000008
【図７】
2019028510.tif 000009
【図８】
2019028510.tif 000010
【図９】
2019028510.tif 000011
【図１０】
2019028510.tif 000012
【図１１】
2019028510.tif 000013
【図１２】
2019028510.tif 000014
【図１３】
2019028510.tif 000015
【図１４】
2019028510.tif 000016
【図１５】
2019028510.tif 000017
【図１６】
2019028510.tif 000018
【図１７】
2019028510.tif 000019
【図１８】
2019028510.tif 000020
【図１９】
2019028510.tif 000021
【図２０】
2019028510.tif 000022
【図２１】
2019028510.tif 000023
【手続補正書】
【提出日】平成29年12月18日(2017.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
透光性を有するスクリーンと、
前記スクリーンを含む画像を複数のタイミングで撮影するカメラと、
前記カメラにより撮影された撮影画像に基づいて、複数のタイミングにおける前記スクリーンの位置、大きさ、移動量、傾き、又は、形状に基づいてユーザの操作を検知する操作検知手段と
を有する
入出力システム。
【請求項２】
前記カメラは、前記スクリーンのＲＧＢ値が連続する領域を含む撮影画像を撮影するカメラであり、
前記操作検知手段は、複数のタイミングにおける前記スクリーンに写ったユーザの影の位置に基づいて、ユーザの操作を検知する
請求項１に記載の入出力システム。
【請求項３】
前記スクリーンは、板状であり、当該スクリーンの他方の面に、光源により照射された光をユーザが遮ることにより生じた影を投影され、
前記カメラは、前記スクリーンの他方の面に投影された影を当該スクリーンの一方の面から複数のタイミングで撮影し、
前記操作検知部は、前記カメラにより撮影された撮影画像における、前記スクリーンの一方の面に透過した光により写った影の位置に基づいて、ユーザの操作を検知する
請求項２に記載の入出力システム。
【請求項４】
前記スクリーン内における影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定手段と、
前記カメラにより撮影された撮影画像内におけるスクリーンの位置、スクリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定手段と
をさらに有し、
前記操作検知手段は、前記影特定手段により特定された位置、移動量、移動方向、移動速度、又は、大きさ若しくは濃淡と、前記スクリーン特定手段により特定された位置、移動量、傾き、又は、形状との組合せに基づいて、ユーザの操作を検知する
請求項２又は請求項３に記載の入出力システム。
【請求項５】
前記カメラにより撮影された撮影画像に基づいて、前記スクリーン内における影の画素を特定する画素特定手段と、
前記画素特定手段により特定された影の画素における濃淡の変化を特定する濃淡変化特定手段と
をさらに有し、
前記操作検知手段は、前記濃淡変化特定手段により特定された影の濃淡の変化に基づいて、ユーザの操作を検知する
請求項２又は請求項３に記載の入出力システム。
【請求項６】
前記カメラにより撮影された撮影画像に基づいて、前記スクリーン内における影の画素を特定する画素特定手段と、
前記画素特定手段により特定された影の画素の大きさの変化を特定する大きさ変化特定手段と
をさらに有し、
前記操作検知手段は、前記大きさ変化特定手段とにより特定された影の大きさの変化に基づいて、ユーザの操作を検知する
請求項２又は請求項３に記載の入出力システム。
【請求項７】
前記カメラにより撮影された複数の撮影画像に基づいて、前記スクリーンの移動距離を特定する移動距離特定手段
をさらに有し、
前記操作検知手段は、前記移動距離特定手段に特定された距離に基づいて、ユーザの操作を検知する
請求項４に記載の入出力システム。
【請求項８】
ユーザの肢体の一部の影が前記スクリーンに投影される間隔で、当該スクリーンとユーザの肢体とを連結する連結部材
をさらに有し、
前記連結部材は、前記スクリーン面視において、当該スクリーンの他方の面と、ユーザの肢体の一部とが対向する位置で、当該スクリーンとユーザの肢体とを連結する
請求項２又は請求項３に記載の入出力システム。
【請求項９】
前記カメラにより撮影された撮影画像における前記スクリーンの形状を補正する形状補正手段
をさらに有し、
前記画素特定手段は、前記形状補正手段により補正された撮影画像内の前記スクリーン内から影の画素を特定する
請求項５に記載の入出力システム。
【請求項１０】
前記カメラにより撮影された撮影画像に基づいて、撮影画像に対する前記スクリーンの傾きを特定する傾き特定手段
をさらに有し、
前記操作検知手段は、前記傾き特定手段により特定された前記スクリーンの傾きに基づいて、ユーザ操作を検知する
請求項４に記載の入出力システム。
【請求項１１】
前記スクリーンは、多角形、又は、円形の形状に形成され、一方の面において、全ての領域が単色の色に発色し、
撮影画像内における前記スクリーンの発色する色に基づいて、当該スクリーンの領域を特定する領域特定手段
をさらに有し、
前記濃淡変化特定手段は、前記領域特定手段により特定された前記スクリーン領域内における影の濃淡の変化を特定する
請求項５に記載の入出力システム。
【請求項１２】
前記スクリーンは、一方の面において、中央領域における発色する色と、周縁領域における発色する色とが異なるよう形成され、
撮影画像内における前記スクリーンの中央領域の色、及び、周縁領域の色の少なくとも一方の色に基づいて、当該スクリーンの領域を特定する領域特定手段
をさらに有し、
前記濃淡変化特定手段は、前記領域特定手段により特定された領域内において、前記スクリーン内にある影の濃淡の変化を特定する
請求項５に記載の入出力システム。
【請求項１３】
前記スクリーンの他方の面に光を照射する光源と、前記スクリーンとの離間距離を可変可能に連結する連結部材
をさらに有する
請求項２に記載の入出力システム。
【請求項１４】
前記スクリーンと異なる色を発色する第２のスクリーンと、
撮影された撮影画像に基づいて、前記スクリーンが発色する色と、第２のスクリーンが発色する色とを識別する識別手段と
をさらに有し、
前記操作検知手段は、前記識別手段により識別された各スクリーン内におけるユーザの影に基づいて、各スクリーン毎のユーザの操作を検知する
請求項２又は請求項３に記載の入出力システム。
【請求項１５】
前記スクリーンの他方の面に接続して設けられ、透光性、及び、弾力性を有する緩衝部材
をさらに有し、
前記画素特定手段は、前記スクリーン及び前記緩衝部材を透過した影の画素を特定する
請求項５に記載の入出力システム。
【請求項１６】
撮影された撮影画像に基づいて、前記スクリーンの領域を分割し、分割した各領域に操作内容を振り分ける領域分割手段
をさらに有し、
前記濃淡変化特定手段は、前記領域分割手段により分割した領域において、影の濃淡の変化を特定し、
前記操作検知手段は、影の濃淡の変化を特定した領域に振り分けられた操作内容を、ユーザの操作として検知する
請求項４に記載の入出力システム。
【請求項１７】
撮影画像における前記スクリーンの既定の位置の座標と被操作装置の表示範囲内におけるポインタの座標とを一致させる同期手段と、
前記操作検知手により検知した操作内容を被操作装置に出力する操作内容出力手段と
をさらに有し、
前記操作検知手は、前記スクリーン特定手段により特定されたスクリーンの位置、及び、移動量と、前記影特定手段により特定されたユーザの手の指先の影の位置、影の移動量、影の移動方向、及び、影の移動速度とに基づいてポインタの移動操作を検知し、又は、前記影特定手段により特定されたユーザの指先の影の大きさの変化、又は、影の濃淡の変化に基づいてポインタの座標におけるクリック操作を検知し、
前記操作内容出力手段は、前記操作検知手により検知したポインタの移動操作、又は、クリック操作に基づいて、同期された被操作装置の表示範囲内におけるポインタに出力する
請求項４に記載の入出力システム。
【請求項１８】
ユーザの肢体の一部の影が前記スクリーンに投影される間隔で、当該スクリーンとユーザの肢体とを連結する連結部材
をさらに有し、
前記連結部材は、前記スクリーン面視において、当該スクリーンの他方の面と、ユーザの肢体の一部とが対向する位置で、当該スクリーンとユーザの肢体とを連結する
請求項１７に記載の入出力システム。
【請求項１９】
入力された複数のタイミングにおける画像データに基づいて、複数のタイミングにおけるスクリーンの位置、クリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定手段と、
入力された複数のタイミングにおける画像データに基づいて、スクリーンに写った影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定手段と、
前記スクリーン特定手段により特定された影の位置、移動量、移動方向、移動速度、大きさ、又は、濃淡と、前記影特定手段により特定されたスクリーンの位置、大きさ、移動量、傾き、又は、形状とに基づいてユーザの操作を検知する操作検知手段と
を有する入出力処理装置。
【請求項２０】
スクリーンをカメラが複数のタイミングで撮影するステップと、
複数のタイミングにおける前記スクリーンの位置、大きさ、移動量、傾き、又は、形状に基づいて、ユーザの操作を検知するステップと、
検知したユーザの操作を被操作装置に出力するステップと
を有する入出力方法。
【請求項２１】
入力された複数のタイミングにおける画像データに基づいて、複数のタイミングにおけるスクリーンの位置、スクリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定機能と、
入力された複数のタイミングにおける画像データに基づいて、スクリーンに写った影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定機能と、
前記スクリーン特定機能により特定された影の位置、移動量、移動方向、移動速度、大きさ、又は、濃淡と、前記影特定機能により特定されたスクリーンの位置、大きさ、移動量、傾き、又は、形状とに基づいてユーザの操作を検知する操作検知機能と
をコンピュータに実現させるプログラム。
【手続補正書】
【提出日】平成30年3月2日(2018.3.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
透光性を有するスクリーンと、
前記スクリーンを含む画像を複数のタイミングで撮影するカメラと、
前記カメラにより撮影された撮影画像に基づいて、複数のタイミングにおける前記スクリーンの位置、大きさ、移動量、傾き、又は、形状に基づいてユーザの操作を検知する操作検知手段とを有しており、
前記カメラは、前記スクリーンのＲＧＢ値が連続する領域を含む撮影画像を撮影するカメラであり、
前記操作検知手段は、複数のタイミングにおける前記スクリーンに写ったユーザの影の位置に基づいて、ユーザの操作を検知するものであり、
ユーザの肢体の一部の影が前記スクリーンに投影される間隔で、当該スクリーンとユーザの肢体とを連結する連結部材をさらに有し、
前記連結部材は、前記スクリーン面視において、当該スクリーンの他方の面と、ユーザの肢体の一部とが対向する位置で、当該スクリーンとユーザの肢体とを連結することを特徴とする入出力システム。
【請求項２】
前記スクリーンは、板状であり、当該スクリーンの他方の面に、光源により照射された光をユーザが遮ることにより生じた影を投影され、
前記カメラは、前記スクリーンの他方の面に投影された影を当該スクリーンの一方の面から複数のタイミングで撮影し、
前記操作検知手段は、前記カメラにより撮影された撮影画像における、前記スクリーンの一方の面に透過した光により写った影の位置に基づいて、ユーザの操作を検知することを特徴とする請求項1に記載の入出力システム。
【請求項３】
透光性を有するスクリーンと、
前記スクリーンを含む画像を複数のタイミングで撮影するカメラと、
前記カメラにより撮影された撮影画像に基づいて、複数のタイミングにおける前記スクリーンの位置、大きさ、移動量、傾き、又は、形状に基づいてユーザの操作を検知する操作検知手段とを有しており、
前記カメラは、前記スクリーンのＲＧＢ値が連続する領域を含む撮影画像を撮影するカメラであり、
前記操作検知手段は、複数のタイミングにおける前記スクリーンに写ったユーザの影の位置に基づいて、ユーザの操作を検知するものであり、
前記スクリーンの他方の面に光を照射する光源と、前記スクリーンとの離間距離を可変可能に連結する連結部材をさらに有することを特徴とする入出力システム。
【請求項４】
透光性を有するスクリーンと、
前記スクリーンを含む画像を複数のタイミングで撮影するカメラと、
前記カメラにより撮影された撮影画像に基づいて、複数のタイミングにおける前記スクリーンの位置、大きさ、移動量、傾き、又は、形状に基づいてユーザの操作を検知する操作検知手段とを有しており、
前記カメラは、前記スクリーンのＲＧＢ値が連続する領域を含む撮影画像を撮影するカメラであり、
前記操作検知手段は、複数のタイミングにおける前記スクリーンに写ったユーザの影の位置に基づいて、ユーザの操作を検知するものであり、
前記カメラにより撮影された撮影画像に基づいて、前記スクリーン内における影の画素を特定する画素特定手段と、
前記画素特定手段により特定された影の画素における濃淡の変化を特定する濃淡変化特定手段とをさらに有し、
前記操作検知手段は、前記濃淡変化特定手段により特定された影の濃淡の変化に基づいて、ユーザの操作を検知するものであり、
前記スクリーンの他方の面に接続して設けられ、透光性、及び、弾力性を有する緩衝部材をさらに有し、
前記画素特定手段は、前記スクリーン及び前記緩衝部材を透過した影の画素を特定することを特徴とする入出力システム。
【請求項５】
前記スクリーンは、板状であり、当該スクリーンの他方の面に、光源により照射された光をユーザが遮ることにより生じた影を投影され、
前記カメラは、前記スクリーンの他方の面に投影された影を当該スクリーンの一方の面から複数のタイミングで撮影し、
前記操作検知手段は、前記カメラにより撮影された撮影画像における、前記スクリーンの一方の面に透過した光により写った影の位置に基づいて、ユーザの操作を検知することを特徴とする請求項4に記載の入出力システム。
【請求項６】
透光性を有するスクリーンと、
前記スクリーンを含む画像を複数のタイミングで撮影するカメラと、
前記カメラにより撮影された撮影画像に基づいて、複数のタイミングにおける前記スクリーンの位置、大きさ、移動量、傾き、又は、形状に基づいてユーザの操作を検知する操作検知手段とを有しており、
前記カメラは、前記スクリーンのＲＧＢ値が連続する領域を含む撮影画像を撮影するカメラであり、
前記操作検知手段は、複数のタイミングにおける前記スクリーンに写ったユーザの影の位置に基づいて、ユーザの操作を検知するものであり、
前記スクリーン内における影の位置、影の移動量、影の移動方向、影の移動速度、影の大きさ、又は、影の濃淡を特定する影特定手段と、
前記カメラにより撮影された撮影画像内におけるスクリーンの位置、スクリーンの大きさ、スクリーンの移動量、スクリーンの傾き、又は、スクリーンの形状を特定するスクリーン特定手段とをさらに有し、
前記操作検知手段は、前記影特定手段により特定された位置、移動量、移動方向、移動速度、又は、大きさ若しくは濃淡と、前記スクリーン特定手段により特定された位置、移動量、傾き、又は、形状との組合せに基づいて、ユーザの操作を検知するものであり、
撮影画像における前記スクリーンの既定の位置の座標と被操作装置の表示範囲内におけるポインタの座標とを一致させる同期手段と、
前記操作検知手段により検知した操作内容を被操作装置に出力する操作内容出力手段とをさらに有し、
前記操作検知手段は、前記スクリーン特定手段により特定されたスクリーンの位置、及び、移動量と、前記影特定手段により特定されたユーザの手の指先の影の位置、影の移動量、影の移動方向、及び、影の移動速度とに基づいてポインタの移動操作を検知し、又は、前記影特定手段により特定されたユーザの指先の影の大きさの変化、又は、影の濃淡の変化に基づいてポインタの座標におけるクリック操作を検知し、
前記操作内容出力手段は、前記操作検知手により検知したポインタの移動操作、又は、クリック操作に基づいて、同期された被操作装置の表示範囲内におけるポインタに出力するものであり、
ユーザの肢体の一部の影が前記スクリーンに投影される間隔で、当該スクリーンとユーザの肢体とを連結する連結部材をさらに有し、
前記連結部材は、前記スクリーン面視において、当該スクリーンの他方の面と、ユーザの肢体の一部とが対向する位置で、当該スクリーンとユーザの肢体とを連結することを特徴とする入出力システム。
【請求項７】
前記スクリーンは、板状であり、当該スクリーンの他方の面に、光源により照射された光をユーザが遮ることにより生じた影を投影され、
前記カメラは、前記スクリーンの他方の面に投影された影を当該スクリーンの一方の面から複数のタイミングで撮影し、
前記操作検知手段は、前記カメラにより撮影された撮影画像における、前記スクリーンの一方の面に透過した光により写った影の位置に基づいて、ユーザの操作を検知することを特徴とする請求項6に記載の入出力システム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、入出力システムに関するものである。