(57)【要約】      （修正有）【課題】装置構成が簡易で周囲の温度の影響を受けにくく、使用時に変形可能であり、更に指等で触れた際の力の強さも検出できるタッチパネルシステムを提供する。【解決手段】タッチパネルシステム1は、被接触面11が可撓性を有する材料、被接触面の対向面12が可視光透過性を有する材料から成り、被接触面と対向面とに挟まれた空間内に着色された流体20を収容する袋状のタッチパネル本体部Vと、可視光領域の波長の光を撮影可能であり対向面を撮影するカメラ50と、カメラの撮影画像の画素のRGB値を解析する画像解析部100とを備え、カメラは、被接触面に外力が作用することで被接触面と対向面とが近接して当該近接箇所14から流体が移動することにより生じる対向面の色の変化を撮影し、画像解析部はカメラの撮影画像の画素のRGB値解析結果に基づいて、対向面上の近接箇所の座標と近接箇所の形状の2つのうち少なくとも1つを算出して映像表示装置の映像に反映させる。【選択図】図１
2019174895.tif 000002
【特許請求の範囲】
【請求項１】
被接触面が可撓性を有する材料から成り、前記被接触面の対向面が可視光透過性を有する材料から成り、前記被接触面と前記対向面とに挟まれた空間内に着色された流体を収容する袋状のタッチパネル本体部と、
可視光領域の波長の光を撮影可能であり前記対向面を撮影するカメラと、
前記カメラの撮影画像の画素のRGB値を解析する画像解析部とを備えており、
前記カメラは、前記被接触面に外力が作用することで前記被接触面と前記対向面とが近接して当該近接箇所から前記流体が移動することにより生じる前記対抗面の色の変化を撮影し、
前記画像解析部は前記カメラの前記撮影画像の画素のRGB値解析結果に基づいて、前記対抗面上の前記近接箇所の座標と前記近接箇所の形状の2つのうち少なくとも1つを算出して映像表示装置の映像に反映させることを特徴とするタッチパネルシステム。
【請求項２】
前記画像解析部は、前記流体のRGB値と前記撮影画像の画素のRGB値とを比較することで、前記近接箇所における前記被接触面と前記対抗面との近接距離を算出することを特徴とする請求項1に記載のタッチパネルシステム。
【請求項３】
前記流体の色又は透明度を変更できることを特徴とする請求項1又は2に記載のタッチパネルシステム。
【請求項４】
前記流体が液体である事を特徴とする請求項1〜3のいずれか一項に記載のタッチパネルシステム。
【請求項５】
前記流体が粘性を有していることを特徴とする請求項1〜4のいずれか一項に記載のタッチパネルシステム。
【請求項６】
前記被接触面と前記対向面のいずれか一方が前記流体とは異なる色であることを特徴とする請求項1〜5のいずれか一項に記載のタッチパネルシステム。
【請求項７】
前記対向面に可視光透過性を有する固体の板状の物体が密着固定されることを特徴とする請求項1〜6のいずれか一項に記載のタッチパネルシステム。
【請求項８】
前記タッチパネル本体部が自立可能であることを特徴とする請求項1〜7のいずれか一項に記載のタッチパネルシステム。
【請求項９】
前記タッチパネル本体部が筒状体であることを特徴とする請求項1〜8のいずれか一項に記載のタッチパネルシステム。
【請求項１０】
前記タッチパネル本体部が人体の一部を模した形状であることを特徴とする請求項1〜8のいずれか一項に記載のタッチパネルシステム。
【請求項１１】
前記流体が飲料であり、前記タッチパネル本体部が上部開口を有する有底の筒状体であることを特徴とする請求項1〜8のいずれか一項に記載のタッチパネルシステム。
【請求項１２】
前記対向面の縁部が前記流体の色と異なる色であることを特徴とする請求項1〜11のいずれか一項に記載のタッチパネルシステム。
【請求項１３】
前記被接触面と前記対向面の少なくともいずれか一方の前記流体が接触する面が撥水性を有することを特徴とする請求項1〜12のいずれか一項に記載のタッチパネルシステム。
【請求項１４】
前記タッチパネル本体部が前記カメラを収容するための透明なポケットを備えることを特徴とする請求項1〜13のいずれか一項に記載のタッチパネルシステム。
【請求項１５】
内部に空気が充填された透明なクッションを備えており、
前記タッチパネル本体部が前記クッションの側面に固定されることを特徴とする請求項1〜14のいずれか一項に記載のタッチパネルシステム。
【請求項１６】
前記タッチパネル本体部を複数備えており、前記各タッチパネル本体部には異なる色の前記流体が収容されていることを特徴とする請求項1〜15のいずれか一項に記載のタッチパネルシステム。
【請求項１７】
前記流体から前記タッチパネル本体部に作用する圧力を制御するための流体圧力制御機構を備えており、
前記流体圧力制御機構は前記近接箇所の座標と前記近接箇所の形状の2つのうち少なくとも1つに基づいて前記圧力を変化させることを特徴とする請求項1〜16のいずれか一項に記載のタッチパネルシステム。
【請求項１８】
前記流体圧力制御機構が電動ポンプを備えており、
前記電動ポンプが前記タッチパネル本体部に対して前記流体を流入又は排出することにより前記圧力を変化させることを特徴とする請求項17に記載のタッチパネルシステム。
【請求項１９】
前記流体圧力制御機構がジェット噴射装置を備えており、
前記ジェット噴射装置は前記近接箇所に向けて前記流体をジェット噴射することを特徴とする請求項17に記載のタッチパネルシステム。
【請求項２０】
前記流体の温度を制御するための流体温度制御機構を備えることを特徴とする請求項1〜19のいずれか一項に記載のタッチパネルシステム。
【請求項２１】
前記映像表示装置がヘッドマウントディスプレイであることを特徴とする請求項1〜20のいずれか一項に記載のタッチパネルシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、着色した流体を内包することで任意形状に変形させることができるタッチパネルシステムに関する。
【背景技術】
【０００２】
コンピュータや携帯情報端末などの電子情報機器には入力装置と表示装置（ディスプレイ）とを組み合わせたタッチパネルシステムが搭載されている。
タッチパネルシステムには静電容量方式、抵抗膜方式、超音波表面弾性波方式、光学方式（赤外線光学イメージング方式）などの種々の方式が存在する。
例えば静電容量式（特許文献1参照）では、パネル内にマトリックス状の電極パターンを配置し、ユーザが指などでタッチすることで発生する静電容量の変化に基づいて座標を検出する仕組みになっている。
また、抵抗膜式（特許文献2参照）では、対向配置した2枚の膜の両端に電圧をかけておき、ユーザがタッチすることで膜同士が接触した位置の電圧の変化に基づいて座標を検出する仕組みになっている。
また、本願発明者は袋状のタッチパネル本体に液体を収容し、ユーザが指等で触れた場所の熱を赤外線サーモグラフィカメラで感知してその座標を特定するタッチパネルシステムを開発した（特許文献3参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第5306059号公報
【特許文献２】特開2014−134454号公報
【特許文献３】特許第6086461号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の静電容量方式、抵抗膜方式、超音波表面弾性波方式、光学方式（赤外線光学イメージング方式）はいずれも装置構成が複雑なため、製造コストが嵩むという問題や故障が生じやすいという問題がある。また、使用時にユーザが任意の形状に変形して使用出来ないという問題もある。
上記赤外線サーモグラフィカメラを用いる技術は部屋の室温がユーザの体温に近い場合、室温に起因した熱ノイズにより正常に動作しない場合があるという問題、タッチペン等の熱を持たない物体で接触した場合に熱を感知出来ないという問題がある。更に、タッチパネル本体内の液体の温度がユーザの体温と近い場合、ユーザが指等で触れた場所だけを赤外線サーモグラフィカメラで感知することができないという問題もある。また、ユーザが指等で触れた際の力の強さを検出することができないという問題もある。
【０００５】
本発明は上記問題に鑑み、装置構成が簡易で周囲の温度の影響を受けにくく、使用時に変形可能であり、更に指等で触れた際の力の強さも検出できるタッチパネルシステムを提供することを課題とする。
また、本発明は接触箇所の硬さやクッション性をリアルタイムに変更可能なタッチパネルシステムを提供する事も課題とする。
【課題を解決するための手段】
【０００６】
本発明のタッチパネルシステムは、被接触面が可撓性を有する材料から成り、前記被接触面の対向面が可視光透過性を有する材料から成り、前記被接触面と前記対向面とに挟まれた空間内に着色された流体を収容する袋状のタッチパネル本体部と、可視光領域の波長の光を撮影可能であり前記対向面を撮影するカメラと、前記カメラの撮影画像の画素のRGB値を解析する画像解析部とを備えており、前記カメラは、前記被接触面に外力が作用することで前記被接触面と前記対向面とが近接して当該近接箇所から前記流体が移動することにより生じる前記対抗面の色の変化を撮影し、前記画像解析部は前記カメラの前記撮影画像の画素のRGB値解析結果に基づいて、前記対抗面上の前記近接箇所の座標と前記近接箇所の形状の2つのうち少なくとも1つを算出して映像表示装置の映像に反映させることを特徴とする。
【０００７】
また、前記画像解析部は、前記流体のRGB値と前記撮影画像の画素のRGB値とを比較することで、前記近接箇所における前記被接触面と前記対抗面との近接距離を算出することを特徴とする。
また、前記流体の色又は透明度を変更できることを特徴とする。
また、前記流体が液体である事を特徴とする。
また、前記流体が粘性を有していることを特徴とする。
また、前記被接触面と前記対向面のいずれか一方が前記流体とは異なる色であることを特徴とする。
また、前記対向面に可視光透過性を有する固体の板状の物体が密着固定されることを特徴とする。
【０００８】
また、前記タッチパネル本体部が自立可能であることを特徴とする。
また、前記タッチパネル本体部が筒状体であることを特徴とする。
また、前記タッチパネル本体部が人体の一部を模した形状であることを特徴とする。
また、前記流体が飲料であり、前記タッチパネル本体部が上部開口を有する有底の筒状体であることを特徴とする。
また、前記対向面の縁部が前記流体の色と異なる色であることを特徴とする。
【０００９】
また、前記被接触面と前記対向面の少なくともいずれか一方の前記流体が接触する面が撥水性を有することを特徴とする。
また、前記タッチパネル本体部が前記カメラを収容するための透明なポケットを備えることを特徴とする。
また、内部に空気が充填された透明なクッションを備えており、前記タッチパネル本体部が前記クッションの側面に固定されることを特徴とする。
また、前記タッチパネル本体部を複数備えており、前記各タッチパネル本体部には異なる色の前記流体が収容されていることを特徴とする。
【００１０】
また、前記流体から前記タッチパネル本体部に作用する圧力を制御するための流体圧力制御機構を備えており、前記流体圧力制御機構は前記近接箇所の座標と前記近接箇所の形状の2つのうち少なくとも1つに基づいて前記圧力を変化させることを特徴とする。
また、前記流体圧力制御機構が電動ポンプを備えており、前記電動ポンプが前記タッチパネル本体部に対して前記流体を流入又は排出することにより前記圧力を変化させることを特徴とする。
また、前記流体圧力制御機構がジェット噴射装置を備えており、前記ジェット噴射装置は前記近接箇所に向けて前記流体をジェット噴射することを特徴とする。
また、前記流体の温度を制御するための流体温度制御機構を備えることを特徴とする。
また、前記映像表示装置がヘッドマウントディスプレイであることを特徴とする。
【発明の効果】
【００１１】
本発明のタッチパネルシステムでは、ユーザが被接触面を指等で押して外力を作用させると、被接触面と対向面とが近接し、当該近接箇所から流体が移動する。近接箇所から流体が移動することにより対抗面の色が変化するので、この色の変化をカメラで撮影する。画像解析部はカメラの撮影画像に基づいて対抗面上の近接箇所の座標と近接箇所の形状の2つのうち少なくとも1つを算出し、映像表示装置の映像に反映させる。
このように、本発明のタッチパネルシステムは、従来のように赤外線サーモグラフィカメラを用いてユーザの指等の熱を感知する方式とは異なり、原理的に熱によるノイズが発生しない。したがって、周辺環境の温度がユーザの体温に近い場合でも誤動作するおそれがない。
また、熱を有してない物体、例えばタッチペン等を利用して外力を作用させた場合でも上記近接箇所の座標等を算出できる。
【００１２】
本発明では可視光領域の波長の光を撮影できる一般的なカメラを使用できるので装置構成が簡易であり、製造コストが低く且つ故障が生じにくいという効果がある。
また、タッチパネル本体部の内部に液体を収容しているため、従来のタッチパネルとは異なり、使用形態に応じてユーザ自身で変形が容易であり、柔らかい触り心地のタッチパネルを得られる。
視野角が広い広角タイプのカメラを用いればカメラ一台のみでタッチパネル本体部の面積（被接触面及び対向面の面積）の大小に関係なく対応できる。また、従来のような圧電素子を用いた物に比してタッチパネル本体部を大型化した際のコストを抑えることができる。
また、対向面も可撓性を有する材料で構成すれば、タッチパネル本体部内の流体を外部に排出することでタッチパネル本体部を圧縮収納でき、可搬性を高めることができる。
【００１３】
また、画像解析部は近接箇所における被接触面と対抗面との近接距離も算出できる。画層解析部による解析は流体のRGB値とカメラの撮影画像の画素のRGB値とを比較することで行う。つまり、カメラの撮影画像の画素を液体の色のRGB値でフィルタリングするだけで、近接箇所の座標、近接箇所の形状、近接距離を特定できるためコンピュータの負荷が少なく、低速なICやCPU例えば携帯電話のCPUでも高速に動作する。また、撮影画像の各画素のRGB値を、流体の色のRGB値とどの程度近いかを比較する事で被接触面と対向面との近接距離を算出し、算出した近接距離を被接触面に外力が作用した際の「接触強度」として映像表示装置の映像に出力することもできる。
流体のRGB値とカメラの撮影画像の画素のRGB値との差が顕著に出るように流体の色又は透明度を調節することができる。これにより、タッチパネル本体部の厚さ（被接触面から対向面までの距離）が数十センチから数メートル程度の厚みがある場合でも、外力の作用により被接触面を軽く埋没させただけで反応するタッチパネルシステムを得ることができる。また、流体の色又は透明度を調節することで指等の外力の作用により被接触面が対向面の方向に移動し始めてから画像解析部が実際に接触状態を検知するまでに指等が移動する距離（ストローク距離）を任意に調整することもできる。
【００１４】
流体の粘度や量を調整する事により、ユーザが被接触面に接触した時の柔らかさ、厚さ及びストローク距離を調節できる。
被接触面か対向面のどちらか一方（例えば被接触面）を流体とは異なる色にして、それら2つの色（流体の色と例えば被接触面の色）のRGB値を用いてフィルタリングする事により、液体のRGB値のみでフィルタリングする場合と比較して近接箇所の座標等を算出する際の精度を飛躍的に高めることができる。更にユーザの手や肌の色、人種を問わずにタッチパネルを正確に作動させることができる。また、画像解析部で2つの色が混ざった中間色部分の画素を取得する事により、ユーザが被接触面を対向面に密着しない程度の弱い力で接触した状体、すなわち完全密着と非接触の中間の状態を検知できる。
本タッチパネルは、タッチパネル本体部は全て柔軟な可撓性を有する材質から構成する事が可能なため、透明な固体の外骨格を同タッチパネル本体部に密着固定させる事により、容易にその外骨格の形状のタッチパネルを作る事が出来る。また、同外骨格は固体のため、同タッチパネル本体部をユーザが押下した箇所に同外骨格の応力が発生するため、着色された液体が同押下箇所の排出されやすくなるため、それにより同押下箇所、つまり接触箇所の位置や形状の特定の精度を高める事が出来る。
【００１５】
タッチパネル本体部を自立可能な構造にしたり、或いは内部に空気を充填した透明なクッションをタッチパネル本体部の側面に固定したりすることで、タッチパネル本体部内の流体を鉛直方向に保持することができ、これによりタッチパネル本体部を地面に対して垂直方向を含む如何なる角度でも使用することができる。
タッチパネル本体部の形状を、筒状体や人体の一部を模した形状にしてもよい。
流体を清涼飲料やアルコール飲料等の飲料にして、タッチパネル本体部の形状をグラスやボトル等の上部開口を備えた有底の筒状体にすれば、グラスやボトルにタッチパネル機能を持たせることができる。
【００１６】
対向面の縁部を流体の色と異なる色にすれば、カメラ50の撮影画像中に、流体20と同じ色の物体が映り込んでいる場合でも、縁部で囲まれた範囲を対向面12としてRGB解析により認識出来るようになり、流体と同じ色の物体をノイズとして排除出来るため精度向上を図れる。
被接触面と対向面の少なくともいずれか一方の流体が接触する面に撥水性を持たせることにすれば、表面張力等の作用により近接箇所には水滴が残留してしまう事態を防止できるので、画像解析の精度を高めることができる。
タッチパネル本体部にカメラを収容するためのポケットを設けることで、カメラを支持するための機構が不要になる。また、ポケットを透明にすることで、ポケットを使用せずに対向面を撮影する際に、撮影画像中にポケットが写り込まないようにすることができる。
【００１７】
また、本タッチパネルは色のRGB値を取得出来る通常のカメラを用いているため、複数のタッチパネルを同時に用いる場合、それらのタッチパネル本体部の内部に違う色で着色された液体を注入し、画像解析時にそれらの色のRGB値でフィルタリングするだけでそれら複数の同タッチパネルを識別してIDを振りながら使用する事が可能である。
流体圧力制御機構として電動ポンプやジェット噴射装置を用いて流体の圧力を変化させることでユーザが被接触面に接触した際の硬さや触り心地を変化させることができる。
また、流体温度制御機構を用いて流体の温度を例えば人体の体温付近の温度に調整することにしてもよい。
タッチパネル本体部は柔軟性が有るため、ヘッドマウントディスプレイのようなユーザが周囲を視認し辛い映像表示装置を使用している状態でも、ユーザがタッチパネル本体部にぶつかって怪我するおそれや、タッチパネル本体部が破損するおそれが少なく、安全性を高めることができる。
【図面の簡単な説明】
【００１８】
【図１】タッチパネルシステムの本体の構成を示す図(a)及び(b)
【図２】近接位置の座標及び近接箇所の形状の判定のアルゴリズムの例
【図３】画像解析部の内部処理フローのブロック図
【図４】撮影画像の画素のRGB値が着色した流体のRGB値とどれだけ近いか比較する事により近接距離を判定するアルゴリズムの例
【図５】着色した流体の透明度や色を変える事によりストローク距離を自由に制御出来る原理の説明(a)及び(b)
【図６】水の赤外吸収波長依存性を示すグラフ
【図７】透明な板状の外骨格をタッチパネル本体部の対向面に密着固定した実施例(a)及び(b)
【図８】様々な形状の透明な外骨格をタッチパネル本体部に密着固定した実施例(a)〜(c)
【図９】クッションを備えるタッチパネル本体部の正面図(a)及びクッションを備えずにタッチパネル本体部を立てた状態を示す正面図(b)
【図１０】様々な形状のタッチパネル本体部の実施例(a)〜(c)
【図１１】流体を飲料水にしてタッチパネル本体部の形状をボトルとグラスの形状にした実施例(a)及び(b)
【図１２】被接触面を流体の色と違う色にする事により接触検知の精度向上を図った例(a)及び(b)
【図１３】対向面の縁部を流体と違う色にする事により精度向上を図った例
【図１４】複数のタッチパネル本体部に違う色の液体を注入した状態を示す図
【図１５】画像解析部がIDを付与する場合の内部処理フローのブロック図
【図１６】被接触面と対向面の流体が接する面に撥水性の素材を塗布して精度向上を図った例(a)及び(b)
【図１７】流体圧力制御機構を設けて流体の圧力制御により接触時のタッチパネルの固さ、クッション性を制御出来る様にした例
【図１８】流体圧力制御機構を設けた場合の内部処理フローのブロック図
【図１９】ジェット噴射装置により近接位置の固さ、クッション性を制御出来る様にした例
【図２０】流体温度制御機構により流体の温度を調整出来る様にした例
【発明を実施するための形態】
【００１９】
［第1の実施の形態］
以下、本発明のタッチパネルシステムの第1の実施の形態を図面を用いて示す。
図1〜図3に示すように、タッチパネルシステム1はタッチパネル本体部V、カメラ50、画像解析部100としてのコンピュータから概略構成される。
タッチパネル本体部Vは被接触面11が可撓性を有する透明な材料からなり、対向面12が可視光透過性を有する透明な材料からなる中空の部材である。タッチパネル本体部Vの材料としては例えば軟質塩化ビニール、低密度ポリエチレン等の透明性及び柔軟性を有する材料が好ましいが必ずしもこれに限定されない。後述するようにタッチパネル本体部の内部に流体20が収容される。
カメラ50は可視光領域の波長の光の静止画像又は動画像を撮影出来るカメラなら何でも良いが、流体20の色解析が必要であるため、紫外線領域や赤外線領域等の可視光領域以外の光を撮影する暗視装置カメラや赤外線サーモグラフィカメラは不適格である。
【００２０】
画像解析部100はカメラ50の撮影画像の画素の色（RGB値）を解析出来る能力を有しているコンピュータなら何でもよく、通常のパーソナルコンピュータだけでなく、移動携帯端末に搭載されている小型のコンピュータ、ICチップ、ASIC等でも良い。
流体20は水等の液体や粘性を有するジェル状の液体に着色を施した物であり、タッチパネル本体部Vの内部に収容される。被接触面側にユーザの手UH等を配置し、対向面12側をカメラ50に向けた状態にする事により、対向面12は流体20の色で疑似的に着色された状態となり、その状態がカメラ50で撮影される。
流体20はタッチパネル本体部Vの注入口13から内部に注入される。また、注入口13から流体20を外部に排出することでタッチパネル本体部Vを圧縮して収納することができる。
本実施の形態ではタッチパネル本体部Vの形状を平面視四角形状にしているが、他にも例えば平面視円形状、三角形や五角形等の多角形状であってもよく、或いは鉛直方向に沿った断面がかまぼこ型や人体の胴体部等を模した形状であってもよい。
【００２１】
図1(b)に示すようにユーザの手UHを被接触面11に接触させる事により外力を作用させ、被接触面11と対向面12とを近接させることで近接箇所14が形成される。なお、被接触面11と対向面12を密着させてもよい。近接箇所14の流体20はその周囲に移動するため、カメラ50から見た対向面の近接箇所14の色は他のエリアのように流体20の色で擬似的に着色されて見える事は無い。本発明ではこの原理を利用してタッチパネル本体部Vに対するユーザの操作を検知する。具体的には図2に示すようにカメラ50で近接箇所14を含む対向面12を撮影し、画像解析部100がその撮影画像51に基づいて流体20の色で着色されて無いエリア、つまり近接箇所14の画素をRGB解析により割り出す。そして対向面12における近接箇所14の相対位置のXY座標（近接箇所の座標）や形状（近接箇所の形状）を取得し、それを出力値として外部の映像表示装置200内のポインタ画像201のXY座標や形状に反映させて出力する。
【００２２】
画像解析部100の内部処理の具体例を図3に示す。
まずSTEP1にて、画像取込部101でカメラ50で撮影した近接箇所14を含む対向面12の撮影画像51を取り込む。次のSTEP2にて、流体の色のRGB値保存部102で保存していた流体20の色のRGB値を画像RGB解析部103が取得し（図3の例では流体20の色は赤でありそのRGB値はR:255,G:0,B:0）、そのRGB値を使用して撮影画像の各画素値を順次フィルタリングしていく。そして、流体20の色で着色されていないエリアの画素（図3の例ではRGB値がR:255,G:0,B:0以外の画素）を抽出し、その画素の撮影画像51内の座標や対向面12内の相対座標或は形状を取得し、それらを近接箇所14のエリアの座標や形状データとして画像出力部104に送る。
最後にSTEP3にて、画像出力部104で近接箇所14のエリアの座標や形状データを元に映像表示装置200に出力するポインタ画像等を生成して、その画像を映像表示装置200に出力して終了する。
なお、近接箇所14の位置のみが必要で形状データの取得が不要な場合は、STEP2において撮影画像51内の全ての画素をフィルタリングする必要は無く、流体20の色以外の画素が見つかった段階でその画素の座標を取得して出力する事で大幅な高速化が図れる。また、図3の例では説明上、流体20の色は赤色、RGB値はR:255,G:0,B:0としたが、それ以外の色を流体20の色としてもよい。
【００２３】
本発明では被接触面11側に配置されたユーザの手UHが対向面12側つまりカメラ50から見ると流体20の色で着色されて見える場合があるが、どの程度強く着色されて見えるかはタッチパネル本体部Vの被接触面11と対向面12の距離に依存する。本発明ではこの原理を利用してユーザの手UHがタッチパネル本体部V（被接触面11）にどれだけ強い外力を作用させたかを識別して映像表示装置200に出力する事が出来る。
具体例を図4に示す。ユーザの手UHによりタッチパネル本体部Vに強い外力を加えて被接触面11と対向面12を密着させている場合は近接箇所14における被接触面11と対向面12の距離は0であり間の流体20は存在しない。したがって、図4(a)のように近接箇所14はカメラ50から見ると、ユーザの手UHの手の色（図4の例ではユーザの手UHの色はベージュ（beige）を仮定しておりそのRGB値はR:245,G:245,B:220）が近接箇所14を透過してそのまま見える。そして、それに対応した文字列画像202("Strong Push!!")を映像表示装置200に出力させている。
一方、被接触面11と対向面12を接触させずに近接させる程度の弱い外力をユーザの手UHによりタッチパネル本体部Vに加えると、図4(b)のようにその近接距離に応じてカメラ50から見た近接箇所14におけるユーザの手UHはその流体の色である程度着色されて見える（図4の例ではベージュ（beige）より赤みを帯びた色でそのRGB値はR:250,G:80,B:80）。そして、それに対応した文字列画像203("Weak Push!")を映像表示装置200に出力させている。
また、ユーザの手UHでタッチパネル本体部Vに一切外力を加えない場合は被接触面11と対向面12は距離が離れているため、図4(c)のようにカメラ50から見たユーザの手UHは流体20の色で完全に着色されて見える（図4の例では流体20の色である赤色でそのRGB値はR:255,G:0,B:0）。そして、それに対応した文字列画像204("No Push!")を映像表示装置200に出力させている。
以上のとおり、ユーザの手UHが本来の色からどれだけ流体20の色に近いか、より厳密には近接箇所14のエリアの画素の色のRGB値がどれだけ流体20の色のRGB値に近いかを比較する事により、ユーザがタッチパネル本体部Vをどれだけの強さで押したか（被接触面11にどの程度の外力を作用させたか）を類推し、それを映像表示装置200に出力している。
【００２４】
本発明では対向面12側が流体20の色でどの程度着色されているかをカメラ50で見て近接箇所14を検知する方式のため、流体20の色或は透明度を変える事により感度、すなわち外力の作用により被接触面が対向面の方向に移動し始めてから画像解析部100が実際に接触状態を検知するまでに指等が移動する距離（以下、「ストローク距離」という。）を任意に調整することもできる。
具体例を図5に示す。
図5(a)のように透明度が低い流体21、例えば習字で使う墨汁等を用いれば、その透明度の低さ故に被接触面11と対向面12間の距離が零つまり完全密着時にしかユーザの手UHがカメラ50からは見えない。したがって、被接触面11と対向面12を近づけただけではカメラ50の撮影画像から接触を検知出来ない。一方、図5(b)のように透明度が高い流体22、例えば薄い色で着色されたジュースのような液体を用いれば、被接触面11と対向面12を一定の近さの距離（図5の例ではd2と表記）に近づけただけで、ユーザの手UHがその流体22を透過してカメラ50から見える。したがって、近接箇所14が完全に密着してなくても接触を検知出来る。つまり内部の流体21や流体22を自由に入れ替え可能な注入口13を設けて、ユーザ自身が注入口13から内部の流体を適当な透明度や色の流体に入れ替える事により、容易にタッチパネルシステムの感度つまり被接触面11と対向面12間の距離d2（ストローク距離）を自由に変更或は制御する事が出来る。
【００２５】
また、ストローク距離d2を数十センチから数メートルオーダーの極端に長い距離に設定する事もできる。例えばストローク距離d2を数メートルオーダーに設定したい場合は透明度の高い流体（ほぼ水のような透明度の高い流体）を用いればよく、逆にストローク距離d2を数ミリ以下のオーダーにしたい場合は透明度が非常に低い流体を用いれば良い。以上のように本発明では流体の透明度や色を調整する事により任意の感度や任意の厚さのタッチパネル本体部を得られる。
なお、本発明とは直接関係無いが、［特許文献3］の特許第6086461号公報で開示されている流体内を透過する赤外線を捉える方式のタッチパネルでは、図6に示すように仮に波長が2.5[μm]より短い赤外線を用いても1［mm］以上の厚さの水では透過率は0.2以下になってしまう。したがって、ストローク距離d2の調整幅はどのような波長の赤外線を用いても数ミリオーダーから数センチオーダーにしか設定できない。つまり、赤外線を用いた方式では数十センチから数メートルオーダーの極端に厚い形状のタッチパネル本体部の作成は困難である。
なお、図6は次の論文等から引用した。渡辺敦夫, 清水賢, ”食品工業における電磁波の知用(1)”, 化学技術誌MOL, pp.120-128, 昭和63年2月、実用遠赤外線, 人間と歴史社, 高田紘一 江川芳信 佐々木久夫 編著 1992 年 2月27日初版第1刷 or http://www.nippon-heater.co.jp/wp-content/themes/JapaneseHeater/designmaterials/pdf/infrared.pdf
【００２６】
更に、本発明で用いる流体は着色されていれば良く、例えばジュースやビール等の着色された飲料水を用いる事も可能なため、詳細は後述するがタッチパネル本体部Vの形状を飲料水グラスやボトル型の形状にも出来る。
なお、本明細書では、被接触面11と対向面12を密着させるための外力を加える手段としてユーザの手UHで説明しているが、他にも例えば棒状の物体やタッチペン等でもよい。
最後に被接触面11の色について補足しておくと、本発明では前述のように対向面12側が流体20の色でどの程度着色されているかをカメラ50で見て近接箇所14を検知する方式のため、被接触面11は透明でも着色されていてもどちらでも完全に動作し、詳細は他の実施例にて後述するが、被接触面11の色を流体20の色の補色（反対色）で着色する事により本タッチパネルシステムの精度を高める事が出来る。
【００２７】
［第2の実施の形態］
次に、本発明の第2の実施の形態について説明するが、上記実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図7(b)に示すように、タッチパネル本体部Vの対向面12に可視光透過性を有する透明な材質で出来た固体の板状の外骨格部15を密着固定させても良い。対向面12の材質が可撓性を有する場合、ユーザの手UHが被接触面11を押下すると、図7(a)のように外力が流体20を伝わることにより対向面12も撓ませてしまう。これにより被接触面11と対向面12の間の流体20がうまく排出されず、近接箇所14の検知が正常に行われない可能性が有る。図7(b)のように板状の外骨格部15を対向面12に密着固定させると、外骨格部15の働きによりユーザの手UHが被接触面11を押下した際に対向面12に相応の応力が発生し、被接触面11と対向面12の流体20がうまく排出される。これにより近接箇所14の検知が正常に行われ、検知精度が上がる。また、外骨格部15にテーブル脚部40を設けて、外骨格部15をテーブルの天板として機能させる事により、テーブル状のタッチパネルシステムが得られる。
外骨格部15の素材としてはカメラ50の撮影を妨げない透明な固体の材質の素材なら何でも良く、ガラスやアクリル、ポリカーボネイト等が挙げられる。
また、図8に示すように様々な形状の外骨格部15をタッチパネル本体部Vの対向面12に密着固定する事により、様々な形状のタッチパネルを得る事が出来る。
例えば図8(b)のように外骨格部15を湾曲形状の物にして、それにタッチパネル本体部Vの対向面12を密着固定させる事により湾曲したタッチパネルを得られる。同様に、図8(c)のように外骨格部15を円筒形状にして、それに対向面12を密着固定させる事により、円筒形状のタッチパネルを得られる。なお、カメラ50は対向面12や近接箇所14を撮影するために図8(c)のように円筒形状の外骨格部15の内部空間に配置すると良い。
【００２８】
［第3の実施の形態］
次に、本発明の第3の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図9(a)に示すように、本実施の形態のタッチパネルは、内部に空気が充填されているクッション30を備える点に特徴を有する。
タッチパネル本体部Vはクッション30の側面に取り付けられことで鉛直方向に広がる。本実施の形態のタッチパネルシステムによれば、クッション30の内部に充填されている空気の膨張圧力が働くことにより、図9(b)に示すように流体20が下方に移動することによってクッション本体部Vの下方が撓むことを防止できる。したがって、タッチパネル本体部Vが地面に対して垂直を含むどのような角度であってもタッチパネルシステムは正常に動作する。また、図9(a)に示すようにクッション30にカメラ50を固定するための透明な素材で出来たカメラ固定用ポケット34を設けても良い。カメラ固定用ポケット34を透明にする理由は、カメラ固定用ポケット34を用いずにクッション30の外部から対向面12を撮影する際に同ポケットの素材が撮影の妨げにならないようにするためである。
なお、タッチパネル本体部Vの素材として可撓性が低いものを使用することで流体20の重さによる下方への撓みを防止してタッチパネル本体部Vの垂直配置を実現しても良く、或いはタッチパネル本体部Vの四隅に紐を取り付けてその紐を引っ張るテンションにより垂直配置を実現しても良い。
【００２９】
［第4の実施の形態］
次に、本発明の第4の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図10(b)に示すように、本実施の形態のタッチパネルシステムは、タッチパネル本体部Vが地面41の上に自立できる円筒形である。なお、重心が高くなって自立が安定しない場合は、下部に重石35等の自立機構を設けると良い。
タッチパネル本体部Vを自立した円筒形にする事により、拳闘（英:Boxing）やエクササイズ用のサンドバックとして利用できる。つまり、ユーザが拳や足等で被接触面11を殴打や突打した際の近接箇所14の座標や形状を取得してそれを反映した映像を映像表示装置200に出力できる。
【００３０】
［第5の実施の形態］
次に、本発明の第5の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図10(c)に示すように、本実施の形態のタッチパネルシステムは、タッチパネル本体部Vが人体の頭部と胴体部を模した形状をしている。
可撓性或は柔軟性を有した人型形状のタッチパネル本体部Vにすることで、ユーザの手UHで人型形状のタッチパネル本体部Vに接触した際の近接箇所14の座標や形状を取得し、それを反映した映像を映像表示装置200に出力できる。
【００３１】
［第6の実施の形態］
次に、本発明の第6の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図11(a)及び図11(b)に示すように、本実施の形態のタッチパネルシステムは、着色した流体20としてジュースやビール等の着色した流体を利用し、タッチパネル本体部Vが飲料水グラス及び飲料水ボトルを模した形状をしている。
通常飲料水を溜めるグラス及びボトルの側面は硬質のガラスやアクリル等で出来ているが、本実施の形態ではタッチパネルシステムを動作させるために側面の少なくとも一部に可撓性を有した透明な素材からなる被接触面11を設けている。図11ではグラス及びボトルの側面の底面付近に被接触面11を設けている。ユーザの手UHの押下操作により、内部の流体20つまり飲料水が押し出されて被接触面11と対向面12が密着したり、或はストローク距離d2以下になったりする。なお、ジュースやビールの透明度や色に合わせて、画像解析部100が近接箇所14と判定するRGB値を調整する事により様々な透明度や色の飲料水や調味液に対応出来る。
なお、内部の流体20の入れ替えが必要な場合はそのボトルやグラスの上部開口部をそのままその流体20の注入口13として用いれば良い。
【００３２】
［第7の実施の形態］
次に、本発明の第7の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図12に示すように、本実施の形態のタッチパネルシステムは、タッチパネル本体部Vの被接触面11を流体20とは異なる色にしている。ユーザの手UHで被接触面11に外力が加わって被接触面11と対向面12が密着した際に、カメラ50から見た近接箇所14は、透明の対向面12を透過して被接触面11の色で着色されているよう見える。これによりユーザの手UHの色や人種、或は周辺の照明環境に関わらず、カメラ50から見た近接箇所14の色は被接触面11の色で統一されるためタッチパネルシステムの精度を高める事が出来る。また、被接触面11の色を流体20の色の補色（反対色）にする事により（図12の例では流体20の色が赤色R:255,G:0,B:0であるのに対して被接触面11の色は青色R:0,G:0,B:255）、カメラ撮影画像51の近接箇所14のエリアの画素とその他のエリアの画素のコントラスト比が大きくなるため（つまり両者のエリアの画素のRGB値の振れ幅が大きくなるため）近接箇所14の画素の特定が容易になり、更なる高精度化を図れる。
【００３３】
［第8の実施の形態］
次に、本発明の第8の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図13に示すように、本実施の形態のタッチパネルシステムは、対向面12の縁部16（縁の4辺）が流体20の色と違う色になっている（図13の例では流体20の色が赤色R:255,G:0,B:0であるのに対して縁部16の色は黒色R:0,G:0,B:0）。これによりカメラ50の撮影画像中に、流体20と同じ色の物体42が映り込んでいる場合でも、対向面12のエリアをRGB解析で認識出来るようになり、流体20と同じ色の物体42をノイズとして排除出来るため精度向上を図ることが出来る。
【００３４】
［タッチパネルの第9の実施の形態］
次に、本発明の第9の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図14に示すように、本実施の形態のタッチパネルシステムは、複数のタッチパネル本体部V1及びタッチパネル本体部V2を備えており、各タッチパネル本体部V1, V2に異なる色の流体23,24を収容している。図14の例ではタッチパネル本体部V1には液体の色（liquid Color1（C1））が赤色R:255,G:0,B:0の流体23を封入、タッチパネル本体部V2には液体の色（liquid Color（C2））が青色R:0,G:0,B:255の流体24を封入している。
そして図15に示すように、画像解析部100での画像解析時（STEP2）に流体23と流体24のRGB値を用いて画像解析する事によりタッチパネル本体部V1とタッチパネル本体部V2を識別してIDを付与している。
本実施の形態のタッチパネルシステムでは複数のタッチパネル本体部V1,V2に違う色の流体23,24を封入してIDを付与出来るため、複数のタッチパネル本体部のうちどれをユーザの手UHが触れたか識別してその情報を反映させた画像を映像表示装置200に出力できる。
【００３５】
［第10の実施の形態］
次に、本発明の第10の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図16（b）に示すように、ユーザの手UHで外力を加えて被接触面11と対向面12を密着させたとしても、表面張力等の作用により近接箇所14に残留した水滴43が残ってしまい、画像解析時のノイズとなり精度が落ちる可能性がある。これを防ぐために図16（a）に示すとおり、被接触面11と対向面12の少なくともいずれか一方（両方でもよい）の流体20が接する面に撥水性の素材37を塗布する事により、近接箇所14に残留する水滴43によるノイズの発生を防ぐ事が出来る。
なお、撥水性の素材を塗布するのではなく、被接触面と対向面の少なくともいずれか一方の材料として撥水性を有する素材を用いることにしてもよい。
【００３６】
［第11の実施の形態］
次に、本発明の第11の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図17に示すように、本実施の形態のタッチパネルシステムは流体20からタッチパネル本体部Vに作用する圧力を制御するための流体圧力制御機構38を備える点と、流体圧力制御機構38が近接箇所14の座標、近接箇所の形状及び近接距離の3つのうち少なくとも1つに基づいて圧力を変化させる点に特徴を有する。
具体的には、タッチパネル本体部Vの流体20の圧力を変化させるための電動ポンプ等の流体圧力制御機構38をタッチパネル本体部Vに設ける。そして、画像解析部100によるカメラ50の撮影画像の解析結果を流体圧力制御機構38にフィードバックして流体の圧力を変化させる事により、ユーザの手UHが被接触面11に接触した際の固さ或はクッション性をリアルタイムに調整する事が出来る。例えば、画像解析部100が算出した近接箇所14の縦横座標（図17ではXY座標で表現）やユーザの手UHが被接触面11に埋没した深さ（近接距離）（図17ではZ座標で表現）等の位置座標情報を流体圧力制御機構38の駆動制御に反映させるようにすれば、接触位置の座標によって被接触面の固さ或はクッション性を変化させる事が可能になる。
【００３７】
このときの画像解析部100内の具体的な処理フローを図18に示す。
まず最初のSTEP1にて、画像取込部101でカメラ50で撮影した近接箇所14を含む対向面12の撮影画像を取り込む。
次のSTEP2にて、画像RGB解析部103で流体の色のRGB値保存部102に保存されていた流体20の色のRGB値を取得し（図18の例では流体20の色は赤でありそのRGB値はR:255,G:0,B:0）、そのRGB値を以て撮影画像の各画素値を順次フィルタリングしていき、流体20の色で着色されていないエリアの画素（図18の例ではRGB値がR:255,G:0,B:0以外の画素）を抽出する。そして、撮影画像内のその画素の座標や対向面12内の相対座標或は形状を取得し、それらを近接箇所14のエリアの座標や形状データとして画像出力部104に送る。
最後にSTEP3にて、画像出力部104で近接箇所14のエリアの座標や形状データを元にポインタ画像等を生成して、その画像を映像表示装置200に出力する。この時同時にSTEP4にて、流体圧力制御部105（流体圧力制御機構38の一部）で近接箇所14のエリアの座標や形状データに応じた制御信号を電動ポンプ等の流体圧力制御機構38へ出力する事によりタッチパネル本体部Vの内部流体20の流体の圧力を変化させて終了する。
【００３８】
なお、流体圧力制御機構38として電動ポンプを用いて流体20の圧力をリアルタイムで変化させる事により、被接触面11の固さやクッション性をリアルタイムで制御出来るようにしても良い。
或いは図19に示すようにタッチパネル本体部Vの内部の任意の方向に水流を吐き出す事が出来るホース等のジェット噴射装置39を流体圧力制御機構38として用いてもよい。この場合、近接箇所14の方向に直接、水流を噴射する事により、近接箇所14の近傍の流体20の圧力だけを限定して変化させ、省エネ化を図っても良い。なお、ジェット噴射装置39の噴流を近接箇所14方向へ向けるための具体的な制御方法としてはモータ等の周知のサーボ機構等を用いればよい。噴流の噴出方向は近接箇所14のエリアの座標を用いて算出すれば良い。
【００３９】
［第12の実施の形態］
次に、本発明の第12の実施の形態について説明するが、上記各実施の形態と同一の構成になる箇所については同一の符号を付してその説明を省略する。
図20に示すように、流体20の温度を一定に保つためのヒーターやクーラー等の流体温度制御機構44と温度センサー45を設ける事により、周辺環境の温度に関わらず流体20の温度を例えば人間の体温と同じ温度になるように一定に保つ事ができる。また図20のようにタッチパネル本体部Vを人体を模した形状にすれば、人体に近い柔軟性と体温両方の性質を持つタッチパネルシステムが得られる。
なお、［特許文献3］の特許第6086461号公報に開示されている赤外線を用いた方式のタッチパネルは赤外線サーモグラフィにより人間の体温を感知する方式のため、図20のように人肌に温めたタッチパネル本体部Vに対して赤外線サーモグラフィは近接箇所14を検知出来ないという問題がある。
【産業上の利用可能性】
【００４０】
本発明は、装置構成が簡易で周囲の温度の影響を受けにくく、使用時に変形可能であり、更に指等で触れた際の力の強さも検出できるタッチパネルシステムに関するものであり、また、接触箇所の硬さやクッション性をリアルタイムに変更可能なタッチパネルシステムに関するものであり、産業上の利用可能性を有する。
【符号の説明】
【００４１】
V タッチパネル本体部 
V1 タッチパネル本体部
V2 タッチパネル本体部
UH ユーザの手
U：ユーザ
d:被接触面と対向面距離（非接触時）
d2:接触検知可能距離
1 タッチパネルシステム
11 被接触面（透明）
12 対向面（透明）
13 注入口
14 近接箇所
15 外骨格部（透明）
16 対向面の縁部（着色済）
20 流体
21 流体（透明度低い）
22 流体（透明度高い）
23 流体
24 流体
30 クッション
31 注入口
32 内部の気密空間（空気充填）
33 透明柔軟な素材（クッション構成素材）
34 カメラ固定用ポケット（透明）
35 重石（自立時の重心安定用）
36 蓋
37 撥水性素材
38 流体圧力制御機構（電動ポンプ）
39 流体圧力制御機構（ジェット噴射装置）
40 テーブル脚部
41 地面
42 流体と同じ色の物体（ノイズ）
43 近接箇所に残留した水滴（ノイズ）
44 流体温度維持機構（ヒーター等）
45 温度センサー
50 カメラ
51 カメラ撮影画像（画像解析時イメージ）
100 コンピュータ（画像解析部）
101 画像取込部
102 流体の色のRGB値保存部
103 画像RGB解析部（接触個所特定部）
104 画像出力部
105 流体圧力制御部
200 映像表示装置
201 ポインタ画像
202 文字列画像(Strong Push)
203 文字列画像(Weak Push)
204 文字列画像(No Push)
205 文字列画像(Push detected)
【図１】
2019174895.tif 000003
【図２】
2019174895.tif 000004
【図３】
2019174895.tif 000005
【図４】
2019174895.tif 000006
【図５】
2019174895.tif 000007
【図６】
2019174895.tif 000008
【図７】
2019174895.tif 000009
【図８】
2019174895.tif 000010
【図９】
2019174895.tif 000011
【図１０】
2019174895.tif 000012
【図１１】
2019174895.tif 000013
【図１２】
2019174895.tif 000014
【図１３】
2019174895.tif 000015
【図１４】
2019174895.tif 000016
【図１５】
2019174895.tif 000017
【図１６】
2019174895.tif 000018
【図１７】
2019174895.tif 000019
【図１８】
2019174895.tif 000020
【図１９】
2019174895.tif 000021
【図２０】
2019174895.tif 000022
【手続補正書】
【提出日】平成30年5月11日(2018.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被接触面が可撓性を有する材料から成り、前記被接触面の対向面が可視光透過性を有する材料から成り、前記被接触面と前記対向面とに挟まれた空間内に着色された流体を収容する袋状のタッチパネル本体部と、
可視光領域の波長の光を撮影可能であり前記対向面を撮影するカメラと、
前記カメラの撮影画像の画素のRGB値を解析する画像解析部とを備えており、
前記カメラは、前記被接触面に外力が作用することで前記被接触面と前記対向面とが近接して当該近接箇所から前記流体が移動することにより生じる前記対向面の色の変化を撮影し、
前記画像解析部は前記カメラの前記撮影画像の画素のRGB値解析結果に基づいて、前記対向面上の前記近接箇所の座標と前記近接箇所の形状の2つのうち少なくとも1つを算出して映像表示装置の映像に反映させることを特徴とするタッチパネルシステム。
【請求項２】
前記画像解析部は、前記流体のRGB値と前記撮影画像の画素のRGB値とを比較することで、前記近接箇所における前記被接触面と前記対向面との近接距離を算出することを特徴とする請求項1に記載のタッチパネルシステム。
【請求項３】
前記流体の色又は透明度を変更できることを特徴とする請求項1又は2に記載のタッチパネルシステム。
【請求項４】
前記流体が液体である事を特徴とする請求項1〜3のいずれか一項に記載のタッチパネルシステム。
【請求項５】
前記流体が粘性を有していることを特徴とする請求項1〜4のいずれか一項に記載のタッチパネルシステム。
【請求項６】
前記被接触面と前記対向面のいずれか一方が前記流体とは異なる色であることを特徴とする請求項1〜5のいずれか一項に記載のタッチパネルシステム。
【請求項７】
前記対向面に可視光透過性を有する固体の板状の物体が密着固定されることを特徴とする請求項1〜6のいずれか一項に記載のタッチパネルシステム。
【請求項８】
前記タッチパネル本体部が自立可能であることを特徴とする請求項1〜7のいずれか一項に記載のタッチパネルシステム。
【請求項９】
前記タッチパネル本体部が筒状体であることを特徴とする請求項1〜8のいずれか一項に記載のタッチパネルシステム。
【請求項１０】
前記タッチパネル本体部が人体の一部を模した形状であることを特徴とする請求項1〜8のいずれか一項に記載のタッチパネルシステム。
【請求項１１】
前記流体が飲料であり、前記タッチパネル本体部が上部開口を有する有底の筒状体であることを特徴とする請求項1〜8のいずれか一項に記載のタッチパネルシステム。
【請求項１２】
前記対向面の縁部が前記流体の色と異なる色であることを特徴とする請求項1〜11のいずれか一項に記載のタッチパネルシステム。
【請求項１３】
前記被接触面と前記対向面の少なくともいずれか一方の前記流体が接触する面が撥水性を有することを特徴とする請求項1〜12のいずれか一項に記載のタッチパネルシステム。
【請求項１４】
前記タッチパネル本体部が前記カメラを収容するための透明なポケットを備えることを特徴とする請求項1〜13のいずれか一項に記載のタッチパネルシステム。
【請求項１５】
内部に空気が充填された透明なクッションを備えており、
前記タッチパネル本体部が前記クッションの側面に固定されることを特徴とする請求項1〜14のいずれか一項に記載のタッチパネルシステム。
【請求項１６】
前記タッチパネル本体部を複数備えており、前記各タッチパネル本体部には異なる色の前記流体が収容されていることを特徴とする請求項1〜15のいずれか一項に記載のタッチパネルシステム。
【請求項１７】
前記流体から前記タッチパネル本体部に作用する圧力を制御するための流体圧力制御機構を備えており、
前記流体圧力制御機構は前記近接箇所の座標と前記近接箇所の形状の2つのうち少なくとも1つに基づいて前記圧力を変化させることを特徴とする請求項1〜16のいずれか一項に記載のタッチパネルシステム。
【請求項１８】
前記流体圧力制御機構が電動ポンプを備えており、
前記電動ポンプが前記タッチパネル本体部に対して前記流体を流入又は排出することにより前記圧力を変化させることを特徴とする請求項17に記載のタッチパネルシステム。
【請求項１９】
前記流体圧力制御機構がジェット噴射装置を備えており、
前記ジェット噴射装置は前記近接箇所に向けて前記流体をジェット噴射することを特徴とする請求項17に記載のタッチパネルシステム。
【請求項２０】
前記流体の温度を制御するための流体温度制御機構を備えることを特徴とする請求項1〜19のいずれか一項に記載のタッチパネルシステム。
【請求項２１】
前記映像表示装置がヘッドマウントディスプレイであることを特徴とする請求項1〜20のいずれか一項に記載のタッチパネルシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明のタッチパネルシステムは、被接触面が可撓性を有する材料から成り、前記被接触面の対向面が可視光透過性を有する材料から成り、前記被接触面と前記対向面とに挟まれた空間内に着色された流体を収容する袋状のタッチパネル本体部と、可視光領域の波長の光を撮影可能であり前記対向面を撮影するカメラと、前記カメラの撮影画像の画素のRGB値を解析する画像解析部とを備えており、前記カメラは、前記被接触面に外力が作用することで前記被接触面と前記対向面とが近接して当該近接箇所から前記流体が移動することにより生じる前記対向面の色の変化を撮影し、前記画像解析部は前記カメラの前記撮影画像の画素のRGB値解析結果に基づいて、前記対向面上の前記近接箇所の座標と前記近接箇所の形状の2つのうち少なくとも1つを算出して映像表示装置の映像に反映させることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、前記画像解析部は、前記流体のRGB値と前記撮影画像の画素のRGB値とを比較することで、前記近接箇所における前記被接触面と前記対向面との近接距離を算出することを特徴とする。
また、前記流体の色又は透明度を変更できることを特徴とする。
また、前記流体が液体である事を特徴とする。
また、前記流体が粘性を有していることを特徴とする。
また、前記被接触面と前記対向面のいずれか一方が前記流体とは異なる色であることを特徴とする。
また、前記対向面に可視光透過性を有する固体の板状の物体が密着固定されることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明のタッチパネルシステムでは、ユーザが被接触面を指等で押して外力を作用させると、被接触面と対向面とが近接し、当該近接箇所から流体が移動する。近接箇所から流体が移動することにより対向面の色が変化するので、この色の変化をカメラで撮影する。画像解析部はカメラの撮影画像に基づいて対向面上の近接箇所の座標と近接箇所の形状の2つのうち少なくとも1つを算出し、映像表示装置の映像に反映させる。
このように、本発明のタッチパネルシステムは、従来のように赤外線サーモグラフィカメラを用いてユーザの指等の熱を感知する方式とは異なり、原理的に熱によるノイズが発生しない。したがって、周辺環境の温度がユーザの体温に近い場合でも誤動作するおそれがない。
また、熱を有してない物体、例えばタッチペン等を利用して外力を作用させた場合でも上記近接箇所の座標等を算出できる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、画像解析部は近接箇所における被接触面と対向面との近接距離も算出できる。画層解析部による解析は流体のRGB値とカメラの撮影画像の画素のRGB値とを比較することで行う。つまり、カメラの撮影画像の画素を液体の色のRGB値でフィルタリングするだけで、近接箇所の座標、近接箇所の形状、近接距離を特定できるためコンピュータの負荷が少なく、低速なICやCPU例えば携帯電話のCPUでも高速に動作する。また、撮影画像の各画素のRGB値を、流体の色のRGB値とどの程度近いかを比較する事で被接触面と対向面との近接距離を算出し、算出した近接距離を被接触面に外力が作用した際の「接触強度」として映像表示装置の映像に出力することもできる。
流体のRGB値とカメラの撮影画像の画素のRGB値との差が顕著に出るように流体の色又は透明度を調節することができる。これにより、タッチパネル本体部の厚さ（被接触面から対向面までの距離）が数十センチから数メートル程度の厚みがある場合でも、外力の作用により被接触面を軽く埋没させただけで反応するタッチパネルシステムを得ることができる。また、流体の色又は透明度を調節することで指等の外力の作用により被接触面が対向面の方向に移動し始めてから画像解析部が実際に接触状態を検知するまでに指等が移動する距離（ストローク距離）を任意に調整することもできる。