(57)【要約】【課題】安価に実現可能な構成であるにもかかわらず、操作者の手の動作から操作内容を容易、かつ、確実に判断することができるテレビ受像器の操作を実現すること。【解決手段】赤外光によって操作者の手を撮像し、撮像画像を画像データとして出力する撮像部１１と、操作者の手の動作と、操作者の手の動作に対応付けられたテレビ受像器の操作項目とを記憶する記憶部１３と、時系列的に撮像された撮像画像より得られた複数の画像データから操作者の手の動作を判断し、当該動作に対応するテレビ受像器の操作項目を記憶部から読み出して操作内容として決定する処理部１２と、操作内容を操作信号へと変換する出力部１４と、出力部から出力された操作信号が入力され、テレビ受像器に対して操作内容の操作を行うよう指示する入力部１５とを備える。【選択図】図１
2018045313.tif 000002
【特許請求の範囲】
【請求項１】
赤外光によって操作者の手を撮像し、撮像画像を画像データとして出力する撮像部と、
操作者の手の動作と、操作者の手の動作に対応付けられたテレビ受像器の操作項目とを記憶する記憶部と、
時系列的に撮像された撮像画像より得られた複数の前記画像データから操作者の手の動作を判断し、当該動作に対応するテレビ受像器の前記操作項目を前記記憶部から読み出して操作内容として決定する処理部と、
前記操作内容を操作信号へと変換する出力部と、
前記出力部から出力された前記操作信号が入力され、テレビ受像器に対して前記操作内容の操作を行うよう指示する入力部とを備えたことを特徴とする、テレビ受像器の操作システム。
【請求項２】
操作者の手の動作を認識してテレビ受像器を操作する操作装置であって、
赤外光によって操作者の手を撮像し、撮像画像を画像データとして出力する撮像部と、
操作者の手の動作と、操作者の手の動作に対応付けられたテレビ受像器の操作項目とを記憶する記憶部と、
時系列的に撮像された撮像画像より得られた複数の前記画像データから操作者の手の動作を判断し、当該動作に対応するテレビ受像器の前記操作項目を前記記憶部から読み出して操作内容を決定する処理部と、
前記処理部が決定した前記操作内容を操作信号へと変換する出力部と、
前記出力部から出力された前記操作信号が入力され、テレビ受像器に対して前記操作内容の操作を行うよう指示する入力部とを備えたことを特徴とする、テレビ受像器の操作装置。
【請求項３】
前記処理部が、前記画像データから前記操作者の手の奥行き方向の位置を検出可能であり、操作者の手の動作を三次元的に判断して前記操作内容を決定する、請求項２に記載のテレビ受像器の操作装置。
【請求項４】
前記処理部が、前記操作内容がテレビ受像器の表示部に所定の操作用画像を表示しながらテレビ受像器を操作するものであることを認識した場合に、
前記所定の操作用画像を前記画面に表示させるとともに、
操作者の手の位置とその動作に対応して動く操作用ポインタを前記操作用画像に重ねて表示させ、
前記操作用ポインタによる指示に基づいてテレビ受像器の操作を行う、請求項２または３に記載のテレビ受像器の操作装置。
【請求項５】
前記記憶部が、当該操作装置を操作する操作者毎の手の形状を操作者情報として記憶していて、
前記処理部は、前記操作者情報を用いて操作者の手の動作を判断するとともに、前記画像データから得られた操作者の手の形状が前記記憶部に記憶されていない場合には、手の形状に対応させて新たな操作者情報を前記記憶部に記憶させる、請求項２〜４のいずれかに記載のテレビ受像器の操作装置。
【請求項６】
前記操作者の手の動作が、手首を中心に手を左右いずれかの方向に回転させる動作である場合に、テレビ受像器の音量を上下させる、請求項２〜５のいずれかに記載のテレビ受像器の操作装置。
【請求項７】
前記操作者の手の動作が、手をテレビ受像器に対して奥行き方向に移動させる動作である場合に、テレビ受像器の前記表示部に前記操作用画像と前記操作用ポインタとを表示させる、請求項４〜６のいずれかに記載のテレビ受像器の操作装置。
【請求項８】
前記撮像部において赤外光を受光する受光窓部の近傍に、前方に延出するひさし部材が形成されている、請求項２〜７のいずれかに記載のテレビ受像器の操作装置。
【請求項９】
画像を表示する表示部と、
前記表示部に画像を表示するテレビ回路部と、
請求項１〜７のいずれかに記載のテレビ受像器の操作装置とを備え、
操作者が手の動作を通じて操作可能であることを特徴とする、テレビ受像器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、操作者の手の動きを検出してその動作内容からテレビ受像器に対する所定の操作を行うテレビ受像器の操作システムと、当該システムによりテレビ受像器を操作する操作装置、この操作装置を備えたテレビ受像器に関し、特に、操作者の手の撮像画像から、操作者の手の位置と動作とを確実に認識して、操作者が所望する操作を確実に指示することができるテレビ受像器の操作システム、操作装置、および、テレビ受像器に関する。
【背景技術】
【０００２】
テレビを視聴している視聴者が、例えばテレビ受像器から少し離れた椅子に座った状態でテレビ受像器を操作する場合には、通常、赤外線リモコンを使用し、操作者は赤外線リモコンの上面に配置された各種の操作ボタンを押下して、電源のＯＮ／ＯＦＦ、音量のＵＰ／ＤＯＷＮ、チャンネル選択などのテレビ受像器の操作を行う。
【０００３】
赤外線リモコンは、テレビ受像器に対して確実な操作ができる反面、一時的にでも紛失してしまった場合には、操作者がテレビ受像器を遠隔操作する手段を失ってしまうこととなり不便である。このような不所望な事態を回避するために、特定のリモコン装置を用いることなくテレビ受像を操作する方法として、ジェスチャー入力（操作）と称される技術が提案されている。
【０００４】
ジェスチャー入力は、操作者の手の動きなどのジェスチャーをカメラで撮像し、撮像された画像をデータ処理することで操作者がどのような動作をしたかを判断し、テレビ受像器に対して操作者のジェスチャーに対応して定められている所定の操作を行うものである（特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−    ５９７５号公報
【特許文献２】特開２０１３−１１４６４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来のテレビ受像器の操作方法では、操作者の細かな動作を正しく認識することができるように、高解像度のカメラで撮像された画像を用いて画像の分析を行う。このとき、撮像画像に対する画像分析効率を向上させるために、カメラで撮像された画像から分析対象である操作者の手が撮像されている領域を抽出してデータ処理の範囲を限定（特許文献１）したり、より高速でのデータ処理が可能な処理装置を使用（特許文献２）したりすることで、高速で、かつ、正確に応答可能なジェスチャー入力方法を実現している。
【０００７】
しかし、高速で膨大なデータを処理できる処理装置は高額であり、ジェスチャー入力に対応する操作装置を安価に製造する上での大きな弊害となる。また、ＣＣＤなどの撮像素子を備えたカメラで撮像された撮像画像は平面的なのものであるため、カメラに対して前後に、すなわち、カメラと操作者の手との間の距離が変化するような三次元での動作に対するためには、所定の間隔を隔てた２台のカメラを備える必要がある（特許文献１参照）。
【０００８】
また、近年では、ケーブルテレビやＣＳ放送の普及によって視聴可能なチャンネルの多チャンネル化が進んでいて、視聴者が画面上の番組表から見たいチャンネルを検索して、そのチャンネルを視聴するという操作を行う機会が増えている。しかし、上記従来のジェスチャー入力に対応した操作装置では、このような操作を行うために必要となる操作者の手の細かな動きへの対応や数多くの動作パターンの検出を、実用的な価格で実現することは困難である。
【０００９】
本開示は、このような操作者の手の動作に基づいてテレビ受像器の操作を行う操作装置における従来の課題を解決するものであり、安価に実現可能な構成であるにもかかわらず、操作者の手の動作から操作内容を確実に判断することができるテレビ受像器の操作システム、操作装置、さらに、このような操作装置を備えたテレビ受像器を実現することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため本願で開示するテレビ受像器の操作システムは、赤外光によって操作者の手を撮像し、撮像画像を画像データとして出力する撮像部と、操作者の手の動作と、操作者の手の動作に対応付けられたテレビ受像器の操作項目とを記憶する記憶部と、時系列的に撮像された撮像画像より得られた複数の前記画像データから操作者の手の動作を判断し、当該動作に対応するテレビ受像器の前記操作項目を前記記憶部から読み出して操作内容として決定する処理部と、前記操作内容を操作信号へと変換する出力部と、前記出力部から出力された前記操作信号が入力され、テレビ受像器に対して前記操作内容の操作を行うよう指示する入力部とを備えたことを特徴とする。
【００１１】
また、本願で開示するテレビ受像器の操作装置は、操作者の手の動作を認識してテレビ受像器を操作する操作装置であって、赤外光によって操作者の手を撮像し、撮像画像を画像データとして出力する撮像部と、操作者の手の動作と、操作者の手の動作に対応付けられたテレビ受像器の操作項目とを記憶する記憶部と、時系列的に撮像された撮像画像より得られた複数の前記画像データから操作者の手の動作を判断し、当該動作に対応するテレビ受像器の前記操作項目を前記記憶部から読み出して操作内容を決定する処理部と、前記処理部が決定した前記操作内容を操作信号へと変換する出力部と、前記出力部から出力された前記操作信号が入力され、テレビ受像器に対して前記操作内容の操作を行うよう指示する入力部とを備えたことを特徴とする。
【００１２】
また、本願で開示するテレビ受像器は、画像を表示する表示部と、前記表示部に画像を表示するテレビ回路部と、本願で開示するテレビ受像器の操作装置とを備え、操作者が手の動作を通じて操作可能であることを特徴とする。
【発明の効果】
【００１３】
本願で開示するテレビ受像器の操作システムは、操作者の手の動作の判別を確実に行ってテレビ受像器を操作することができる操作システムを安価で実現することができる。
【００１４】
また、本願で開示するテレビ受像器の操作装置は、テレビ受像器を操作する操作装置として、低コストでありながら操作者の手の動作を確実に検出することができる。
【００１５】
さらに、本願で開示するテレビ受像器は、操作者が手の動作によるジェスチャー入力で所望する操作を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態にかかるテレビ受像器の操作装置と、テレビ受像器の構成を説明するブロック図である。
【図２】本実施形態にかかるテレビ受像器の操作装置を使用して、操作者がテレビ受像器を操作する状態を示すイメージ図である。
【図３】本実施形態にかかるテレビ受像器の操作システム、および、操作装置の動作を説明するフローチャートである。
【図４】本実施形態にかかるテレビ受像器の操作システム、および、操作装置における、画像データから操作者の手のデータを検出する動作を説明するフローチャートである。
【図５】本実施形態にかかるテレビ受像器の操作システム、および、操作装置において、撮像画像の画像データから操作者の手の動作を検出する際のデータ処理の一例を説明する図である。
【図６】本実施形態にかかるテレビ受像器の操作システム、および、操作装置において、操作者の手の動作を検出する動作を説明するフローチャートである。
【図７】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第１の例を示す図である。
【図８】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第２の例を示す図である。
【図９】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第３の例を示す図である。
【図１０】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第４の例を示す図である。
【図１１】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第５の例を示す図である。
【図１２】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第６の例を示す図である。
【図１３】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第７の例を示す図である。
【図１４】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第８の例を示す図である。
【図１５】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第９の例を示す図である。
【図１６】本実施形態のテレビ受像器の操作システム、および、操作装置において、テレビ受像器の操作に対応させる操作者の手の動作の第１０の例を示す図である。
【図１７】本実施形態にかかるテレビ受像器の操作装置の変形例の外観を示す斜視図である。
【発明を実施するための形態】
【００１７】
本願で開示するテレビ受像器の操作システムは、赤外光によって操作者の手を撮像し、撮像画像を画像データとして出力する撮像部と、操作者の手の動作と、操作者の手の動作に対応付けられたテレビ受像器の操作項目とを記憶する記憶部と、時系列的に撮像された撮像画像より得られた複数の前記画像データから操作者の手の動作を判断し、当該動作に対応するテレビ受像器の前記操作項目を前記記憶部から読み出して操作内容として決定する処理部と、前記操作内容を操作信号へと変換する出力部と、前記出力部から出力された前記操作信号が入力され、テレビ受像器に対して前記操作内容の操作を行うよう指示する入力部とを備える。
【００１８】
このようにすることで、本願で開示するテレビ受像器の操作システムは、赤外光によって撮像された操作者の手の撮像画像から、操作者の手の動作を判別し、その動作に対応するテレビ受像器の操作を行うことができる。このため、撮像画像の画像データの中から操作者の手の各部分の位置を容易に認識でき、各部分の変位を確実に検出して、操作者の手の動作を判断できる。この結果、本願で開示するテレビ受像器の操作システムは、比較的安価でありながら確実に操作者の手の動作に基づいてテレビ受像器を正しく操作できる、テレビ受像器の操作システムとして実現できる。
【００１９】
なお、以下本明細書において、操作者の「手」とは、操作装置を操作する操作者の手であって、手首から先の手の平、手の甲、および、親指から小指までの５本の指の全体を示す表現とする。このため、手を動かす、と言った場合には、手の平と５本の指を含めた手全体を左右、または、前後に動かす動作や、手首を中心として手の平を返すように回転させる動作を含む。また、手の平は固定した状態で指だけを動かす動作も、手を動かす動作に含まれるものとし、例えば、人差し指の第２関節から先の部分だけを曲げ伸ばしする動作も、手を動かす動作に含まれる。
【００２０】
本願で開示するテレビ受像器の操作装置は、操作者の手の動作を認識してテレビ受像器を操作する操作装置であって、赤外光によって操作者の手を撮像し、撮像画像を画像データとして出力する撮像部と、操作者の手の動作と、操作者の手の動作に対応付けられたテレビ受像器の操作項目を記憶する記憶部と、時系列的に撮像された撮像画像より得られた複数の画像データから操作者の手の動作を判断し、当該動作に対応するテレビ受像器の前記操作項目を前記記憶部から読み出して操作内容を決定する処理部と、前記処理部が決定した前記操作内容を操作信号へと変換する出力部と、前記出力部から出力された前記操作信号が入力され、テレビ受像器に対して前記操作内容の操作を行うよう指示する入力部とを備える。
【００２１】
このような本願で開示するテレビ受像器の操作システムは、本願で開示する操作システムを実現する操作装置として、低コストでありながら操作者の手の動作を確実に認識してテレビ受像器の操作を行う操作装置とすることができる。
【００２２】
本願で開示するテレビ受像器の操作装置において、前記処理部が、前記画像データから前記操作者の手の奥行き方向の位置を検出可能であり、操作者の手の動作を三次元的に判断して前記操作内容を決定することが好ましい。このようにすることで、奥行き方向の動作を用いたテレビ受像器の操作や、動作途中での操作者の手の位置の三次元的な把握が可能となり、操作者の手の動作を一層確実に把握することができる。
【００２３】
また、前記処理部が、前記操作内容がテレビ受像器の表示部に所定の操作用画像を表示しながらテレビ受像器を操作するものであることを認識した場合に、前記所定の操作用画像を前記画面に表示させるとともに、操作者の手の位置とその動作に対応して動く操作用ポインタを前記操作用画像に重ねて表示させ、前記操作用ポインタによる指示に基づいてテレビ受像器の操作を行うことが好ましい。このようにすることで、手の動作の検出だけでは指示できない多様な操作を行うことが可能となる。
【００２４】
また、前記記憶部が、当該操作装置を操作する操作者毎の手の形状を操作者情報として記憶していて、前記処理部は、前記操作者情報を用いて操作者の手の動作を判断するとともに、前記画像データから得られた操作者の手の形状が前記記憶部に記憶されていない場合には、手の形状に対応させて新たな操作者情報を前記記憶部に記憶させることが好ましい。このようにすることで、操作者毎に異なる手の形状の特徴を考慮してその動作を判別することができるため、操作者の手の動作の識別力を向上させることができる。
【００２５】
本願で開示するテレビ受像器の操作装置において、前記操作者の手の動作が、手首を中心に手を左右いずれかの方向に回転させる動作である場合に、テレビ受像器の音量を上下させるように設定することができる。また、前記操作者の手の動作が、手をテレビ受像器に対して奥行き方向に移動させる動作である場合に、テレビ受像器の前記表示部に前記操作用画像と前記操作用ポインタとを表示させるように設定することができる。このようにすることで、本願で開示するテレビ受像器の操作装置の特長を活かして、テレビ受像器の基本的な操作を指示することができる。
【００２６】
また、前記撮像部において赤外光を受光する受光窓部の近傍に、前方に延出するひさし部材が形成されていることが好ましい。このようにすることで、太陽光や照明装置などから放射される赤外光による誤動作を、効果的に防止することができる。
【００２７】
本願で開示するテレビ受像器は、画像を表示する表示部と、前記表示部に画像を表示するテレビ回路部と、本願で開示するテレビ受像器の操作装置とを備え、操作者が手の動作を通じて操作可能である。
【００２８】
このようなテレビ受像器は、本願で開示するテレビ受像器の操作装置の特長を活かして、操作者が手の動作によって各種の操作を行うことが可能なテレビ受像器を実現することができる。
【００２９】
以下、本願で開示するテレビ受像器の操作システム、操作装置、および、この操作装置を備えたテレビ受像器の実施形態について図面を参照して説明する。本実施形態にかかるテレビ受像器の操作システム、操作装置は、操作者の手の動作によってテレビ受像器を操作するジェスチャー入力を可能とした操作システム、操作装置である。
【００３０】
（実施の形態）
［構成］
図１は、本実施形態にかかるテレビ受像器の操作装置とテレビ受像器の構成を示すブロック図である。
【００３１】
なお、図１では、本実施形態にかかるテレビ受像器の操作システムを実現した操作装置とテレビ受像器とについて、それぞれを構成する主要な部分を、その果たす機能によってブロックに分けて記載したものである。このため、図１に示す各ブロックによる区分は、テレビ受像器の操作装置とテレビ受像器の各構成要件の物理的な境界を示すものではない。例えば、図１に示された１つのブロックの機能が複数の回路ブロックによって構成される場合があり、反対に、図１に示した複数のブロックの機能を果たす電気素子が一つの回路ブロックとして同一の回路基板上に搭載される場合がある。また、図１に示すブロックが、論理回路において動作するプログラムとして実現される場合もある。
【００３２】
図１に示すように、本実施形態にかかるテレビ受像器の操作装置１０は、撮像部１１と、処理部１２，記憶部１３、出力部１４、さらに、テレビ受像器２０内に配置され、操作装置１０の出力部１４から出力される操作信号を受け取って、操作信号に応じた操作をテレビ装置２０に対して行う入力部１５を備えている。
【００３３】
撮像部１１は、操作者の手を撮像した撮像画像を画像データとして出力する部分であり、本実施形態にかかるテレビ受像器の操作装置１０では、赤外光によって操作者の手の撮像画像を取得する。より具体的には、撮像装置１１は、自身から近赤外光を照射して、照射範囲に存在する物体に当たって反射した赤外光を受光する、いわゆるアクティブタイプの赤外線カメラである。
【００３４】
このように、本実施形態にかかるテレビ受像器の操作装置では、赤外光によって操作者の手を撮像して撮像画像の画像データを得る。赤外光によって撮像画像を得ると、従来の操作装置に用いられていたＣＣＤ、ＣＭＯＳなどの受光素子を用いた撮像装置によって得られた撮像画像とは異なり色彩情報を得ることはできないが、撮像対象の温度の差異を容易に検出することができる。この結果、背景となると考えられる室内空間に対して温度が高い操作者の手を容易に識別することができる。このため、操作者の手の動作を把握するにあたって、撮像画像の画像データから解析対象とすべき部分が明確に識別でき、画像データの解析処理の対象を限定することができる。結果として、データ処理の解析のための処理装置として低コストなものを用いても、操作者の手の動作を、確実に、かつ、高速度で認識するシステムを構成することができる。
【００３５】
また、本実施形態のテレビ受像器の操作装置１０の撮像部１１のように、装置側から赤外光を照射するアクティブ型の赤外線カメラを用いることで、撮像対象となる操作者の手で反射される赤外光の光量の大小を容易に把握することができ、撮像部１１と操作者の手との遠近、すなわち、撮像装置と操作者の手との間の距離の大小を判断することができる。この結果、本実施形態の操作装置１０では、操作者の手の動きを三次元的に把握することができ、例えば、操作者が手首を立てた状態で手の平と手の甲とを裏返す動作をした場合に、親指と小指からの反射光の増加と減少とを把握して、操作者がどちらの方向に手の平を回転させているかを容易に認識することができる。このため、操作者の手の形状の変化みに基づいて手の動作を解析する場合と比較して、その解析精度を高めることができる。また、例えば、操作者が肘を曲げ伸ばしすることで手の形状を一定に保ったまま手を操作装置に近づけたり遠ざけたりする動作を、操作者の手からの反射光の強度の全体的な増減から容易に把握することができる。このため、ＣＣＤカメラを用いて操作者の手の動作を把握する従来のジェスチャー入力装置のように、カメラを２台配置する必要が無く、解析対象のデータ量が増大することを回避できる。
【００３６】
なお、本実施形態にかかるテレビ受像器１０の撮像部１１としては、赤外光によって操作者の手を撮像するものであればよく、上記したアクティブタイプの赤外線カメラ以外でも、遠赤外光を受光するパッシブタイプの赤外線カメラを用いることもできる。パッシブタイプの赤外線カメラでは、アクティブタイプの赤外線カメラと比較して奥行き方向の位置情報の精度はやや劣るが、操作者の手の位置が近い場合などでは一定の精度での奥行き方向の位置情報を可能であり、また、赤外光を利用することで操作者の手の平面的な位置や形状を背景画像と区別することが容易に把握できるため、本実施形態の操作装置１０の撮像部１１として十分に活用することができる。
【００３７】
さらに、本実施形態にかかるテレビ受像器の操作装置１０の撮像部１１は、自身から照射した赤外光が照射範囲に存在する物体に当たって反射した反射光の撮像部到達時間と光の速度から手の距離と背景の距離を判別することで手の形状を撮像することもできるし、反射赤外光を受光レンズにより結像された結像位置を検出することにより撮像装置と操作者の手との間の距離の大小を判断することで、操作者の手の動きを三次元的に把握することもできる。その際の赤外光はパルス変調光を用いても良いし、直流光を用いても良い。
【００３８】
処理部１２は、本実施形態にかかるテレビ受像器の操作装置１０におけるデータ処理を行う部分であり、撮像部１１で得られた操作者の手の画像データを受け取って、その内容を解析し、後述の記憶部１３が記憶しているデータを適宜使用しながら操作者の手の動作を判別して操作内容を決定し、出力部１４へと出力する。
【００３９】
より具体的に、処理部１２は、撮像部１１で得られた操作者の手を時系列的に撮像した複数の撮像画像からの画像データを撮像された時間との関係で解析して、操作者の手が操作の開始時点からどのように、位置、形状を変化させたかを把握することで、操作者の手の動作を判別する。このような処理部１２は、マイコン、ＣＰＵその他の論理回路として実現することができる。
【００４０】
本実施形態のテレビ受像器の操作装置１０では、操作者の手の画像を赤外線画像として得るため、画像データ中における解析対象部分の特定が容易であり、複数の画像データ同士を比較するに当たって、比較対象となる画素部分を抽出して高速でのデータ処理を行うことができる。さらに、データ処理を行う対象が操作者の手に限定されていることから、
まず、赤外線画像である撮像画像から操作者の手の特徴的な部分として、親指、人差し指、中指、薬指、小指それぞれの指先部分と、隣り合う指同士の間隔部分（指の付け根の部分）、手の平の付け根部分である手と手首との境界部分などの各部分を特徴点として認識し、時系列的に撮像された各画像データにおけるそれぞれの特徴点部分の位置の移動を追跡することで、容易に手の動作を特定することが可能となる。
【００４１】
このため、本実施形態にかかるテレビ受像器の操作装置１０では、例えば、従来のＣＣＤなどの撮像素子によって撮像された撮像画像に基づいて手の動作を判断するジェスチャー入力装置の場合と比較して、処理部１２において必要となるデータ処理量を抑えることができ、操作装置１０の低コスト化を実現することができる。
【００４２】
処理部１２は、時系列的に得られた複数の画像データから操作者の手の動作を判別すると、記憶部１３に記憶されているデータに基づいて、操作者の動作が意味するテレビ受像器の操作内容を特定する。
【００４３】
ここで、処理部１２が特定するテレビ受像器２０の操作内容とは、例えば、音量のＵＰ／ＤＯＷＮ、視聴チャンネルの変更、電源ＯＦＦなどである。さらに、操作者の手の動作が、テレビ受像器２０の表示画面上にテレビ受像器を操作するための操作用画像を表示することを意味するものである場合には、処理部１２は、テレビ受像器の画面上に操作用画像、例えば、操作ボタンや操作ダイヤル、視聴チャンネル選択のための番組表などを表示するように指示を与える。テレビ受像器の画面上に操作用画像を表示した場合には、処理部１２は、操作用画像に重ねて操作者が操作用画像を用いてその意志を反映させることを示せるような操作用ポインタの表示を指示する。そして、処理部１２は、引き続き操作者の手の動作を解析して、操作者の手の位置の変化や形状の変化に基づいて、操作用画像上の操作用ポインタを移動させ、また、選択ボタンを押下するなどの操作用画像と操作用ポインタとを用いた所定の選択動作を行って、操作者が意図するテレビ受像器の操作内容を把握する。
【００４４】
なお、処理部１２は上記の他に、操作者の手の動作によってテレビ受像器の操作を行う入力モードの開始、終了、さらに、操作者の手の動作の認識内容が正しいか否かの確認、操作者の手の動作が正しく認定できなかった場合にその旨の報知と改めての操作入力の要請など、操作者に対しての各種の情報伝達を行うことができる。操作者への情報伝達は、テレビ受像器の画面に所定のメッセージを表示することによって行うことができる。また、操作者へのメッセージはテレビ受像器の画面上に表示されるものに限られず、録音されたメッセージや警告音などの音声メッセージとすることもできる。さらに、操作装置に所定のランプを配置して、ランプの点灯や点滅によって、操作者に所定の内容を報知することも可能である。
【００４５】
さらに、本実施形態のテレビ受像器の操作装置１０では、処理部１２が、操作者の手の形状上の特徴を踏まえてその動作を判断することができる。例えば、男性と女性、大人と子供など、操作者が異なるとその手の形状の特徴が異なり、５本の指の長さや太さの比、手の平の縦と横の長さの比なども操作者によって異なる。このため、処理部１２において、操作者の手の動作を判断する上で、操作者の手の形状上の特徴を考慮することでその判断精度を向上することができる。また、家庭用のテレビ受像器では、そのテレビ受像器を操作する人間が家族を中心とした特定の人間に限られるという事情がある。
【００４６】
このため、本実施形態のテレビ受像器の操作装置１０では、新たな操作者がジェスチャー入力を行うたびにその操作者と手の形状上の特徴を操作者情報として対応させて登録し、処理部１２は、操作者毎の手の形状上の特徴、例えば、指先の相対的な位置や指同士の間隔などを考慮して、手の動作の判断を行っている。また、処理部１２は、撮像画像データから把握された操作者の手の形状が、操作者情報として登録されていない操作者の手であることを検出した場合には、その新しい操作者についての操作者情報を新たに登録させることができる。
【００４７】
記憶部１３は、本実施形態にかかるテレビ受像器の操作装置１０において、処理部１２が操作者の操作内容を決定する際に必要なデータを記憶する。
【００４８】
より具体的には、記憶部１３は、上述した、処理部１２が判断した操作者の手の動作に対応するテレビ受像器の操作内容、処理部１２が操作者の手の動作に対応してテレビ受像器の画面に表示する操作用画像、その他操作者への警告表示や警告音などが記録される。
【００４９】
また、テレビ受像器の操作装置１０として、より確実なジェスチャー入力を可能とするために、操作者情報としてのそれぞれの操作者の手の形状を登録する場合には、記憶部１３は、操作者の登録名に対応してその手の形状パターンを記憶する。この場合において、処理部１２は、操作者の手のパターンを随時操作者の登録名に対応させて取り込んでいくこととなるため、記憶部１３としてはデータの書き換えが可能であることが必要となる。
【００５０】
このような、記憶部１３としては、ＲＡＭ、書き換え可能なフラッシュメモリなどの各種半導体メモリを採用することができる。また、操作者の登録などを行わず、記憶部１３に記憶されているデータを変更する必要がない場合は、記憶部１３は、ＲＯＭなどの半導体メモリを採用することができる。
【００５１】
なお、記憶部１３内では、判別された操作者の手の動作とこれに対応するテレビ受像器の操作内容とを、対応表（テーブル）として記憶しておくことで、処理部１２と連携した迅速な操作が可能となる。
【００５２】
出力部１４は、処理部１２が画像データから決定して出力したテレビ受像器の操作内容を、テレビ受像器２０へと伝えるインターフェース部分であり、処理部１２から出力された操作内容をテレビ受像器２０側の部材である入力部１５へと送信する操作信号へと変換する。このような出力部１４は、周知のインターフェース回路を用いて構成される。
【００５３】
入力部１５は、本実施形態のテレビ受像器の操作装置１０の一部材であるが、操作装置１０が操作するテレビ受像器２０側に配置された部材である。入力部１５は、操作装置１０の出力部１４から出力された操作信号に基づいて、テレビ受像器２０の制御回路を制御して、操作装置１０の処理部１２が決定した操作を実際にテレビ受像器２０の操作として反映させる部分である。
【００５４】
このように入力部１５は、テレビ受像器１０の内部に配置される機能部分である。入力部１５は、出力部１４から出力された操作信号を実際のテレビ受像器２０における機器操作を指示する信号へと変換するインターフェースであり、周知のインターフェース回路を用いて実現することができる。
【００５５】
入力部１５は、本実施形態にかかる操作装置１０によるジェスチャー入力に対応したものとして製造されたテレビ受像器２０の場合には、操作信号に基づいて具体的にテレビ受像器２０を操作する回路部として、テレビ受像器２０の動作回路であるテレビ回路部２５内に配置することができる。
【００５６】
なお、入力部１５は、特定の機能を果たす回路ユニットとして物理的に存在している必要はなく、操作装置１０からの操作信号に基づいてテレビ受像器２０に所定の動作を行わせることができるプログラムとして実現可能である。例えば、テレビ受像器２０がインターネットへの接続が可能な機能を備えている場合など、動作回路内に所定のプログラムを追加記憶させることができるメモリ部を有し、適宜更新されたプログラムに応じてテレビ受像器を動作させることができる場合には、インターネット回線を通じて、本実施形態にかかる操作装置の入力部として機能するためのプログラムをテレビ受像器の動作回路内の記憶領域にインストールして、テレビ受像器の動作回路を制御することができる。また、テレビ受像器と、放送画像を録画再生する機器や、ケーブルテレビ、ＣＳ放送番組を視聴するためのチューナー装置、インターホンなどのカメラを備えた各種の周辺機器との間で簡易なネットワークを構成する、いわゆるリンク機能に対応させて、操作装置１０からの操作信号をテレビ受像器の操作として反映させることも可能である。
【００５７】
なお、出力部１４と入力部１５との間は、所定のケーブルで有線接続できるとともに、ブルートゥース（登録商標）などの各種規格に応じた無線接続とすることもできる。また、テレビ受像器２０として、本実施形態にかかる操作装置１０を予め備えたものである場合には、出力部１４と入力部１５との機能を果たす単一の回路ユニットとして構成することができる。
【００５８】
なお、本実施形態で開示するテレビ受像器の操作装置１０は、一つのテレビ受像器２０の操作を行う操作装置として複数個を配置することができる。例えば、複数の視聴者が並んでテレビ受像器を見る場合には、それぞれが操作者となってジェスチャー入力を行えるようにすることが好ましい。このため、実際に視聴者がいる方向に向かって配置することができ、それぞれの視聴者を操作者とすることができるように、テレビ受像器とは独立した機器として一又は二以上の操作装置を配置可能とするとともに、それぞれの操作装置からのジェスチャー入力に応じてテレビ受像器を操作可能な操作システムを構成することができる。
【００５９】
本実施形態にかかるテレビ受像器２０は、画像を表示する表示部２１と、テレビ回路部２５とを備えている。
【００６０】
表示部２１は、その表示面をテレビ受像器の画面として画像を表示する液晶ディスプレイなどの表示パネル２２と、テレビ回路部２５から入力された表示画像データを表示パネル２２で表示するための画像信号に変換するとともに、表示パネル２２の明るさや色調などを制御する表示制御部２３とを備えている。
【００６１】
テレビ回路部２５は、テレビ受像器２０を動作させるための、図示を省略する電源回路、チューナー回路などの他に、表示部２１での表示内容やテレビ受像器２０全体を制御するテレビ制御部２４を備えている。
【００６２】
テレビ制御部２４は、入力部１５から入力された操作装置１０からの操作信号に応じてテレビ受像器２０の動作回路を制御して、音声ボリュームのＵＰ／ＤＯＵＮ、視聴チャンネルの変更、操作用画像と操作用ポインタの表示などの各種の動作を実現する。
【００６３】
なお、本実施形態にかかるテレビ受像器２０としては、上述の操作装置１０からの操作信号に基づいて、操作者のジェスチャー入力による機器の操作ができれば良く、その他の基本的な構成や適宜採用される拡張機能についての詳細な説明は省略する。
【００６４】
［操作装置の動作］
次に、本実施形態にかかるテレビ受像器の操作システム、操作装置の動作について、図面を用いて説明する。なお、以下の動作説明では、図１にそのブロック構成を示す上述した操作装置１０での動作を例示して説明する。
【００６５】
図２は、本実施形態にかかるテレビ受像器の操作装置を用いて、操作者がジェスチャー入力を行っている状態を説明するイメージ図である。
【００６６】
図２に示すように、本実施形態のテレビ受像器の操作装置１０は、一例として、操作者が視聴しているテレビ受像器２０の表示部の上方、左右の中央部分に配置されている。視聴者がテレビ受像器２０を視聴するスタイルはさまざまではあるが、図２に示すように、テレビ受像器２０を所定の配置台３１上に載置するとともに、テレビ受像器２０から所定の距離を隔てて対向して配置されたソファー３３などに座った状態でテレビを視聴する例が一般的であると想定できる。このような場合に、テレビ受像器２０の画面の正面に所定距離隔てて座っている視聴者である操作者３２の手の動作を把握するために、操作者３２の正面、やや上方に操作装置１０を配置することができる。このようにすることで、操作装置１０から照射される赤外光の照射範囲３４、または、操作装置１０の撮像部で赤外光を撮像可能である範囲３４を、操作者３２の手が存在することとなる領域とを合致させることが容易となり、操作者３２とテレビ受像器２０との間にテーブルなどがあっても、操作者３２の手の動作を遮られずに撮像することができる。
【００６７】
なお、操作装置の配置位置は、テレビ受像器の表示部の左右いずれかの側方部分、表示部の下側部分、さらには、テレビ受像器とは所定の距離を隔てた周囲部分のいずれかとすることも可能である。操作装置１０をテレビ受像器２０の下方に配置することで、必然的に操作装置１０の上方がテレビ受像器２０で覆われることとなるため、窓から入手する太陽光の赤外線や、室内の照明装置から放射される赤外光を遮って、操作者の手の撮像データに対するノイズとなることを防止することができる。また、上述のように、一つのテレビ受像器２０に対して操作装置１０を複数個配置することが可能であり、また、操作装置１０をテレビ受像器２０から離して操作者３２により近い位置に配置することもできる。
【００６８】
図３は、本実施形態にかかるテレビ受像器の操作システム、および、操作装置における、ジェスチャー入力時の動作例を説明するフローチャートである。
【００６９】
図３に示すように、ジェスチャー入力が開始されると、処理部１２は、撮像素子１１が撮像した画像データから、操作者の手の画像を認識する（ステップＳ１０１）。
【００７０】
なお、ジェスチャー入力の開始は、操作者が操作装置の撮像部に向かって腕を伸ばした状態で、手の平を開いて（じゃんけんの「ぱー」の状態）一定時間静止させるなど、操作者の特定の動作を検出したことを合図として設定することができる。また、この他にも、テレビ受像器の電源がＯＮされた場合に、自動的にジェスチャー入力モードとなるような設定、赤外線リモコンやテレビ受像器の所定の操作ボタンの操作、マイク機能を備えたテレビ受像器において操作者が、特定のキーワードを話しかける、口笛を吹くなどの特定の音を発する、手をたたくなど、予め定められた所定の音声を発したこと、など各種の設定条件でジェスチャー入力を可能とするモードをスタートさせることができる。
【００７１】
操作装置１０の処理部１２は、まず、操作者の手を撮像した画像データに基づいて、手の平の大きさに対するそれぞれの指の長さや太さなどの操作者の手の形状の特徴を、記憶部１３に記憶されている操作者の登録データと比較して、ジェスチャー入力操作を行おうとしている操作者が、既にユーザー登録されている操作者か否かを判定する（ステップＳ１０２）。
【００７２】
現在の操作者が既にユーザー登録されている場合（ステップＳ１０２で「ｙｅｓ」の場合）には、処理部１２は、以下は、当該登録された操作者の手の形状上の特徴を踏まえて、操作者の手の動作判定を行う。
【００７３】
画像データから得られた操作者の手の形状が、ユーザー登録されたものではない場合（ステップＳ１０２で「Ｎｏ」の場合）、処理部１２は、画像データから得られた手の形状情報とユーザー名とを関連づけた操作者情報を記憶させるユーザー登録を行う（ステップＳ１０３）。
【００７４】
ユーザー登録は、例えば、赤外線リモコンを用いて、テレビ受像器本体の操作ボタンなどを用いて、または、ジェスチャー入力の一環として設定されている手の動作を行うことで、ユーザー名と新たに得られた手の形状情報とを対応させた操作者情報を構成して行われる。
【００７５】
手の登録者が判明した後、処理部１２は、操作者の手の第１動作を検出する（ステップＳ１０４）。第１動作は、ジェスチャー入力における手の動作パターンの冒頭部分の動作であり、操作者が手を所定の形状にして操作装置に対して示す動作である。
【００７６】
なお、処理部１２は、操作者に対して登録ユーザーであることを確認した旨を、テレビ受像器の画面上のメッセージや、各種の音声信号、テレビ受像器、または、操作装置自体に設けられたランプの点灯などの信号によって操作者に伝えて、第１動作を行うように促すことができる。
【００７７】
図４は、本実施形態にかかる操作装置での第１動作をはじめとする操作者の手の動作の判定時の、操作者の手の情報を取得する処理の流れを説明するフローチャートである。
【００７８】
図４に示すように、本実施形態のテレビ受像器の操作装置において、撮像部１１は近赤外光を照射（ステップＳ２０１）し、操作者の手に反射してきた反射赤外光を受光（ステップＳ２０２）する。撮像部１１は、このとき得られた撮像画像を、画像データとして出力する。なお、撮像部１１からの赤外光の照射から画像データの出力までの一連の動作は、処理部１２が撮像部１１を制御して行わせることができる。
【００７９】
処理部１２は、撮像された画像データを二次元的に解析して、赤外画像データ上で周囲よりも温度が高い部分として記録されている操作者の手を検出する（ステップＳ２０３）。このとき、処理部１２は、得られた操作者の手の二次元的（平面）画像データから、操作者の手の特徴点を認識して、マーキングするなど後の動作解析において有利となるようにデータを加工することができる。
【００８０】
例えば、操作者の手の特徴点を把握してその位置変化から操作者の手の動作を解析する方法にとして、隣接する特徴点同士をつなげて操作者の手の形状と位置とを決定した後に、各特徴点の推移を連続的に検出する、いわゆるモーションキャプチャーの手法を用いることができる。
【００８１】
図５は、このように、モーションキャプチャーの手法を用いて操作者の手の特徴点を把握する方法を説明するイメージ図である。
【００８２】
図５（ａ）に示すように、操作者が手の平を操作装置１０に向けた場合に、図５（ｂ）に示す撮像画像データが得られる。本実施形態にかかる操作装置１０は、撮像部１１で赤外線画像としての画像データが得られる。このとき、操作者の手４１の画像が含まれている領域、すなわち、操作者の手の形状において、上下左右の最も外側に位置する部分に接して形成された矩形状の認識領域４２を設定される。また、認識領域４２内において、親指から小指までの５本の指の指先を第１の特徴点４３として認識する。さらに、５本の指の間の部分を第２の境界点４４として認識する。なお、赤外光で撮像されていることで、周辺よりも温度の高い部分として把握される手の平の輪郭部分、例えば変曲点となっている部分を第３の特徴点４５として把握する。
【００８３】
このようにして、操作者の手４１の中で、特徴となる各点を特徴点４３〜４５として把握して、それぞれの特徴点の位置変化を追従して把握することで、操作者の手の動作を容易に、かつ、確実に把握することができる。
【００８４】
なお、撮像画像からの操作者の手の動作の認定手法としては、他にも、撮像画像データから操作者の手の外周部分を輪郭線として把握して、輪郭形状の変化を追跡することで手の形状の変化から手の動作を推定する手法を用いることができる。さらに、人体の動作を解析する際に用いられる各種のデータ処理技術を応用することで、本実施形態にかかるテレビ受像器の操作装置の処理部での、操作者の手の動作を解析するためのデータ処理の効率を向上させることができる。
【００８５】
続いて、処理部１２は、得られた操作者の手の画像データを解析して、その強度部分布から操作者の手の各部分の奥行き方向位置、つまり、撮像装置との間の距離の遠近状態を把握する（ステップＳ２０４）。ステップＳ２０３の二次元的なデータ解析と、ステップＳ２０４における奥行き方向のデータ解析とを組み合わせることで、処理部１２は、操作者の手の三次元的な位置を把握することができる。
【００８６】
処理部１２は、解析した操作者の手の位置の三次元的な位置情報から所定の位置情報データを作成し（ステップＳ２０５）、第１動作におけるデータ処理を終了する。
【００８７】
図３に戻って、第１動作が検出されたことが確認されると処理部１２は、例えばテレビ受像器の画面に文字メッセージを表示するなどして、操作者に対して、ジェスチャー入力動作を続けるように指示する（ステップＳ１０５）。
【００８８】
操作者は、引き続いて、テレビ受像器に対して所望する操作を指示するためのジェスチャーを続ける。
【００８９】
処理部１２は、撮像部１１から時系列的に、すなわち、時間経過に対応して取得された順序に従って順次送られてくる操作者の手の動作の画像データから、操作者の手の動作を時系列で把握する。
【００９０】
本実施形態においては、ジェスチャー入力のための所定の動作パターンの終了時点での動作を第２動作と称し、第１動作と第２動作との間の動作を中間動作と称することとする。したがって、第１動作と第２動作とはそれぞれ一つずつ存在するが、中間動作は処理部１２が操作者の手の動作を解析する上で必要な数を存在させることができる。なお、前述したように、本実施形態のテレビ受像器の操作装置では、操作者の手の撮像画像から手の特徴ある部分を特徴点として選択して、この特徴点の位置の推移から操作者の手の動きを解析することができるため、中間動作の数を多くしなくても操作者の手の動作を確実に検出することができる。例えば、第１動作から所定（一例として１／２秒）の時間間隔をおいて複数の中間動作を取得するものとし、前述の第１動作と同様に、操作者が手の動きを一定期間（一例として約１秒間）止めることで、その動作を第２動作として検出するように設定することができる。
【００９１】
処理部１２は、このようにして設定された中間動作を検出し（ステップＳ１０６）、そして、第２動作を検出する（ステップＳ１０７）。
【００９２】
処理部１２は、このようにして得られた１または２以上の中間動作や第２動作における操作者の手の解析を、図４にフローチャートを示した第１動作の解析と同じ手順で行うことができる。
【００９３】
第１動作から第２動作までの操作者の手の動作が把握できると、処理部１２は、得られた一連のデータに基づいて、操作者の手の動作が示すジェスチャーの判断を行う（ステップＳ１０８）。
【００９４】
図６に、処理部における動作判断の処理の流れを説明するフローチャートを示す。
【００９５】
第２動作が検出される（図３のステップＳ１０７）と、処理部１２は、得られた第１動作データの呼び出し（ステップＳ３０１）、中間動作データの呼び出し（ステップＳ３０２）、第２動作データの呼び出し（ステップＳ３０３）を順次行って、操作者の手の動きを判断する情報を取得する。続いて、時系列的に得られた操作者の手の撮像画像から、手の各部分の位置の変化、特に、複数の特徴点の相対的な位置を把握して、各動作での位置情報を比較することで（ステップＳ３０４）、各特徴点同士の間隔などの変化を割り出して操作者の手の動作を判断する。
【００９６】
その後、記憶部１３に記憶されている、手の動作内容と操作内容とを対応付けるテーブルに基づいて、操作者のジェスチャーから操作者の指示内容を判定する（ステップＳ３０５）。
【００９７】
このようにして、処理部１２は、撮像部１１が撮像した操作者の手の赤外線撮像データに基づいて、操作者のジェスチャーによる入力内容を判定する。
【００９８】
図３に戻って、処理部１２は、操作者の手の動きが明確でなかったり、速すぎたりした場合のように、操作者の手の動作からジェスチャー内容が判定できなかった場合（ステップＳ１０９で「Ｎｏ」の場合）には、ステップＳ１１０に戻ってテレビ受像器の画面上への文字メッセージの表示などによって、操作者に、再度ジェスチャー動作を繰り返すように指示し、改めて撮像された撮像データから操作者のジェスチャー内容を判断する。
【００９９】
操作者のジェスチャーが把握でき、テレビ受像器での操作内容が判断できた場合（ステップＳ１０９で「Ｙｅｓ」の場合）には、本実施形態の操作装置では、処理部１２がテレビ受像器の表示部に操作内容を表示（ステップＳ１１１）して、処理部１２で判断された操作内容が、操作者が意図した意図した操作であるか否かの確認を行う（ステップＳ１１２）。
【０１００】
操作者がジェスチャーなどによって、正しい操作指示が認識されていることを確認した場合（ステップＳ１１２で「Ｙｅｓ」の場合）は、処理部１２は所定の操作内容を出力部１４へと出力する。
【０１０１】
操作者が、操作装置が認識した操作が意図したものと違うことを確認した場合（ステップＳ１１２で「Ｎｏ」の場合）、ステップＳ１１０に戻ってテレビ受像器の画面に、改めてジェスチャー入力を行うよう要請するメッセージを表示させて、最初から操作者の手の動作の解析を行うようにする。
【０１０２】
処理部１２から出力部１４へ出力された操作内容に応じて出力部１４で生成された操作信号は、テレビ受像器側の入力部１５に入力され、入力部１５が、テレビ受像器２０の動作回路であるテレビ回路部２５のテレビ制御部２４に働きかけて、操作者がジェスチャーにより入力した所定の操作が実行される。
【０１０３】
このように、本実施形態のテレビ受像器の操作装置では、操作者の手の動作を赤外線によって撮像された画像データとして取得して、得られた画像データにおける操作者の手の動作の時間的な推移を判断して、操作者による一連のジェスチャーの内容を判断する。また、操作者の手の動作が正しく判断できたか否かの確認を随時行って、正しい動作が把握できていない場合には、改めての動作を操作者に要請することで、正しく操作できないというストレスを操作者に与えることがない、ジェスチャー入力によるテレビ受像器の操作装置を実現できる。
【０１０４】
なお、本実施形態にかかるテレビ受像器の操作装置は、テレビ受像器とは別に販売されて、操作者がテレビ受像器に接続してテレビ受像器に対してジェスチャー入力が可能なようにすることができる。
【０１０５】
また、予め操作装置とテレビ受像器と組み合わせた状態で、すなわち、操作装置の機能ブロックが組み込まれた状態のテレビ受像器を、ジェスチャー入力可能なテレビ受像器として販売することができる。さらにこの場合において、操作装置をテレビ受像器に一体に組み込まれた形態とすることができ、また、操作装置はテレビ受像器とは別体の部材として構成して、操作者の位置に対応して操作装置の設置位置を変更できる形態とすることができる。この場合には、上述のように、一台のテレビ受像器用として複数個の操作装置を配置することもできる。
【０１０６】
［ジェスチャー内容］
以下、本実施形態にかかるテレビ受像器の操作装置で、テレビ受像器を操作する際に採用可能な操作者の手の動作について、図面を用いて具体的に例示する。
【０１０７】
図７から図１６は、それぞれが本実施形態にかかるテレビ受像器の操作装置で用いられる手の動作の、第１の動作例から第１０の動作例を示す。
【０１０８】
なお、以下、操作者の手の動作を説明する図７から図１６までの各図では、操作装置の撮像部の側から見た操作者の手の形状を示している。このため、各図において、操作者の側から見た場合に対して左右方向が反転している。また、図７から図１６の各図においては、操作者の手の形状をより明確に示すために、操作者の手を、撮像装置側に向かって曲げた指の輪郭線などが分かるように記載している。本実施形態にかかるテレビ受像器の操作装置は、赤外光を利用して操作者の手の動作を検出するものであるため、例えば操作装置に手の平側を向けた状態で手を握ってじゃんけんの「ぐー」の形の手を示した場合、操作装置１０からは操作者の手の外形線を把握することができる。
【０１０９】
また、各図においては、黒色の細実線矢印が手の動作方向を示し、白抜き矢印が操作者の手の形状の変化の、時間的な方向性を示している。
【０１１０】
図７に示される第１の動作例は、操作者が手の平を開いて操作装置１０側に向けた状態のまま、左右方向に手を移動させる動作である。
【０１１１】
この動作の場合、操作者の各指の先端部分の位置は、お互いの相対的な位置間隔が変化することなく、ほぼ水平な方向にのみ移動する。このため処理部１２は、操作者の手の動きを容易に判断することができる。操作者としては、手首を固定した状態で手を動かすことを留意すれば、手首を中心として手の平を左右の下側方向に回転する別の動作（図１３参照）と確実に区別することができる。
【０１１２】
図８に示される第２の動作例は、操作者が左右両方の手を用いて、指の曲げ伸ばしによって特定の数値を示す動作である。
【０１１３】
図８に示したものは、操作者の右手が５本の指全部を、左手が２本の指のみを立てている状態で、処理部１２は、各指の先端部の位置を特定することで、左右合わせて７本の指が立てられていること、また、左手の親指、薬指、小指の先端部分が認識できないことからこれらの指が折り曲げられていることを容易に判断することができる。
【０１１４】
図８に示す手の形状から、立てられている指の合計数である「７」を意味するジェスチャーとすることかできる。また、右手と左手とに分けて立てられている指の本数を把握して、「５２」または「２５」といった、二桁の数字を表すジェスチャーであるとすることができる。
【０１１５】
なお、例えば、片手のみ、もしくは、両手を用いて、所定の時間間隔を隔てて立てた指の本数を把握することで、さらに多くの桁数の数値をジェスチャーで表すことができる。
【０１１６】
図９に示される第３の動作例は、操作者が右の手の平を操作装置の撮像部に向けた状態から、手を立てたまま手首を中心に回転させて、手の甲が操作装置の撮像部に向かう状態とする動作を示している。この場合は、図９中の黒色矢印に示すように、操作者は、親指が操作装置から遠ざかる方向に、また、小指が操作装置に近づく方向に、すなわち、上方から見た場合に手首を反時計回りに回転させて、手の平を撮像装置側に向けた状態から、手の甲を撮像装置に向けた状態へと変えている。
【０１１７】
図１０に示される第４の動作例は、図９に示した操作者の手の動作例とは反対の動きであり、操作者が右の手の甲を操作装置の撮像部に向けた状態から、手首を中心に回転させて、手の平が操作装置の撮像部に向かう状態とする動作を示している。この場合は、図１０中の黒色矢印に示すように、操作者は、親指が操作装置から遠ざかる方向に、また、小指が操作装置に近づく方向に、すなわち、上方から見た場合に手首を時計回りに回転させて、手の甲を撮像装置側に向けた状態から、手の平を撮像装置に向けた状態へと変えている。
【０１１８】
図９、および、図１０を用いて例示した、操作者の手の第３の動作例と第４の動作例の場合、画像データ上に現れる操作者の手は、手首部分の位置を中心として各指の先端部分の同士の位置間隔が徐々に狭くなったあと一旦全ての点が重なり、その後に、各指の先端部の位置間隔が広がるような変化として容易に認識することができる。
【０１１９】
なお、人間の手首の構造から、例えば手の平を裏返して手の甲を向ける動作は、一方向の回転によってのみ実現することができる。このため、動作の開示時点と終了時点において、手の甲が向けられているかそれとも手の平が向けられているかを認定することで、手首を回転させている動作を容易に判断することができる。
【０１２０】
ここで、図９、図１０に示す、第３の動作例と第４の動作例は手首を立てた状態での手の回転動作であるため、手の左右方向の両端部分に相当する親指と小指とが、一方は撮像部に近づき他方が遠ざかるという動作が行われる。このため、画像データ上の赤外線光量の増減もしくは反射赤外光の結像位置から、撮像者の手の所定部分が操作装置に近づいているか遠ざかっているかを判別することができる場合は、赤外線光量の変化を把握、もしくは反射赤外光の結像位置を把握することで、上記形状の変化のみから判断する場合と比較して、より確実に操作者の手の動作を判別することができる。
【０１２１】
図１１に示される第５の動作例は、操作者が人差し指を１本だけ立てた状態で、手を左右水平方向に移動させる動作である。
【０１２２】
この動作は、図７に第１の動作例として示した、手の平を開いた状態で手を左右に動かす動作と同様に、操作者の手の指先部分がほぼ水平な方向のみに移動することで判断することができる。処理部１２は、動作の開始時点で人差し指のみが立てられ、他の４本の指が曲げられている状態であることを把握し、中間動作や終了時の動作で、操作者の手の形状が変化せず、その水平方向の位置だけが変化していることを検出して、この第５の動作例の動作であることを判断することができる。
【０１２３】
図１２に示す第６の動作例は、操作者が人差し指のみを立てて、他の４本の指は曲げた状態で、肘を曲げて手を自分の身体に近い位置から、肘を伸ばして腕を操作装置に向かって直線状にして、人差し指のみを立てた手を操作装置の側に（自身の体から遠ざかるように）押し出す動作を示している。
【０１２４】
処理部１２において、データ処理速度を向上するために撮像された画像データから操作者の手の部分だけを抽出している場合、図１２に示す第６の動作例の動作は、操作者の手の操作装置に対する距離のみが変化するものとして把握される。本実施形態にかかるテレビ受像器の操作装置では、撮像画像における赤外線の光量の大小もしくは赤外線の反射光の撮像部到達時間を把握することができるため、第６の動作例による操作者の手の動作を、手の二次元的な形状はほとんど変化しない状態で、その光量のみが変化するものとして処理部１２で把握することができる。したがって、本実施形態にかかるテレビ受像器の操作装置によれば、操作者の手の動作をＣＣＤなどの撮像素子により撮像して検出する従来のジェスチャー入力装置では一つのカメラのみでは判定することができない操作者の手の奥行き方向（操作者から見て前後方向）の動作を、容易に、かつ、確実に判別することができる。
【０１２５】
なお、図１２では、操作者が身体に近い位置にあった手を肘を伸ばすことで操作装置へと近づける動作について説明したが、反対に、手を操作装置側に伸ばした状態から身体に近づける方向への動作についても、本実施形態にかかるテレビ受像器の操作装置で容易に検出することができる。また、肘を曲げ伸ばしして、操作装置に対して手を遠ざける動作と近づける動作とを繰り返して行うジェスチャーを、所定の操作を行うジェスチャーとして規定することができる。本実施形態のテレビ受像器の操作装置では、これらのいずれの動作の場合でも、一つの撮像部によって撮像された赤外線画像データから、赤外光量の増減、もしくは反射光の撮像部到達時間として把握、判別することができる。
【０１２６】
本実施形態のテレビ受像器の操作装置では、図１２として示した第７の動作例の動作を、テレビ画面上に所定の操作用画像を表示するとともに、表示されている操作用画像の操作ボタンなどを選択するためのポインタを表示させる動作としている。
【０１２７】
このように、操作者が、指を操作装置に対して遠ざけたり近づけたりする動作を、テレビ受像器の画面上に操作用の画像と操作用のポインタとを表示させる動作と対応させることで、操作者の手の動作を奥行き方向に移動させるという他のジェスチャーと大きく異なるジェスチャーを用いて、直接的にテレビ受像器に所定の操作を指示する他のジェスチャーとは異なる操作を実現できることを、操作者が感覚的に理解しやすいように設定することができる。
【０１２８】
図１３に示された第７の動作例は、操作者が操作装置に手の平を向けた状態で、手首を中心として手の平を左右方向へと平面内で回転させる動作を示している。
【０１２９】
本実施形態の操作装置では、撮像画像の画像データから特定された、各指の先端部分の位置と、手の平の下端部である手首との境界部分の位置との相対的な関係が、手首との境界部分の特徴点を中心として同心円を描くような動作であるとして認識でき、図１３に示された第７の動作例の動作であることを容易に判別することができる。
【０１３０】
本実施形態のテレビ受像器の操作装置では、図１３に示された第７の動作例の動作を、テレビ受像器の音量を増減するボリューム操作に対応付けている。このようにすることで、操作つまみを回転させると音量を変化させることができるという、操作者が過去の体験から認識しているテレビ受像器の基本的な操作と類似の動作によって、ジェスチャー入力の操作内容を規定することができる。
【０１３１】
なお、図示は省略するが、５本の指を揃えた状態で、同様に手首を中心として手の平を平面内で回転させる動作を、所定の操作を示すジェスチャー動作として設定することができ、本実施形態のテレビ受像器の操作装置では、各指の先端部分を示す位置情報同士の間隔の違いによって、操作者が手の平を開いた状態で手を回転させているか、それとも、指を揃えた状態で手を回転させているかを、容易に判別することができる。
【０１３２】
図１４に示す第８の動作例は、操作装置に向かって手の平を開いていた「ぱー」の状態から、全ての指を折り畳んだ「ぐー」の状態とする動作である。
【０１３３】
本実施形態のテレビ受像器の操作装置では、手の上方部分において互いの間隔が大きく離れた状態で位置していた５本の指先部分の特徴点が、一点に集中するように集まってきて、閉じられた状態の手の輪郭線の中に埋没し、各指の先端部分の特徴点の位置が判別不能となるという形態の変化として把握することができる。このような動作は、手の平全体でものを掴む動作として認識されている動作であるから、例えば、テレビ受像器に操作用画面として表示されている選択肢の中から、操作者が当該選択肢の操作を所望することを示す際の動作として規定することができる。
【０１３４】
この動作も、手を閉じた状態から開いた状態とする動作や、繰り返して手を閉じたり開いたりする動作として認識することができ、さらに別の特定の操作と対応付けることができる。
【０１３５】
図１５に示す第８の動作例は、操作装置に手の平を向けて親指と人差し指のみを立て、中指、薬指、小指の３本を曲げた状態で、親指の先端部分と人差し指の先端部分との間隔を閉じたり開いたりする動作である。
【０１３６】
本実施形態のテレビ受像器の操作装置では、操作者の手のそれぞれの指先の位置を特徴点として認識するため、親指と人差し指のみが立てられていて、かつ、その間隔が開いている状態と、２本の指の相互の間隔が徐々に狭くなってきて、指先同士の位置が重なるように狭められた状態となるという形状の変化を、２本の指先の特徴点の位置変化として容易に判別することができる。
【０１３７】
このような動作は、スマートフォンやタブレット型コンピュータにおいて、タッチパネル上に表示されている画像の倍率を拡大、または、縮小する動作として一般的に認知されている。このため、本実施形態にかかるテレビ受像器の操作装置においても、第８の動作例の動作をテレビ画面上に表示されている番組表や操作用画面を拡大または縮小する操作に対応させることで、操作者の理解を助けて、ジェスチャー入力をより円滑に行えるようにすることができる。
【０１３８】
図１６に示す第１０の操作例は、人差し指のみを立てた状態の手を、所定の方向に向ける動作を示している。
【０１３９】
本実施形態のテレビ受像器の操作装置では、図１６（ａ）として示される手の形状について、人差し指の先端位置を特徴点として判別することで、人差し指のみが立てられて他の４本の指が曲げられている状態であって、さらに、手首部分に対して人差し指の指先方向が水平方向を向いていることを容易に認識することができる。
【０１４０】
人差し指のみを立てた動作は、一般的に方向を示す動作として認識されていることから、本実施形態にかかるテレビ受像器の操作装置においても、例えば、画面上に前後左右の４つの方向に配置された状態で表示されている操作ボタンの内、所望のボタンを選ぶ動作として、４つのボタンの中央部分に重ねて表示されるポインタの方向を示す操作として規定することができる。
【０１４１】
また、図１６（ａ）として示すように、操作者が右の方向（操作装置の側からから見た場合は左方向）を示す状態で、手の位置を左右水平の方向に移動させる動作や、右方向を指し示す動作を一定時間以上維持する動作を行うことで、画面上に表示されている番組表で選択されているチャンネルを、表示画面において右方向に順送りしたり、高速で走査させたりする動作を意図するジェスチャーとして設定することができる。
【０１４２】
なお、手の平を操作装置側に向けた状態で、人差し指のみを立てて指先を左右いずれかの方向に向けることは容易であるのに対し、指先を下側に向ける際には、手の平を操作装置側に向けた状態で下側を指し示すのは困難である。この場合は、図１６（ｂ）として示すように、手の甲側を操作装置に向けて人差し指の先端を下側に向けることとなる。本実施形態にかかる操作装置では、手首部分と人差し指の指先部分とをそれぞれ特徴点とし、２つの特徴点の位置関係から指先が下側を向いていることを判別できるので、図１６（ａ）、図１６（ｂ）として示すように、左右方向と下方向とに指先を向ける際に手の平が裏返ったことには関係なく、容易に操作者の手の動作を検出することができる。
【０１４３】
なお、上述した、第１から第１０の動作例はあくまでも例示にすぎない。本実施形態にかかるテレビ受像器の操作装置では、撮像画像から把握された操作者の手の動作を容易に検出してそれぞれの手の動作に対応した所定の操作をテレビ受像器に対して行うことができ、例えば、図示した動作例から立てる指の本数を変更したり、指先の向きを変更したりすること、さらに、それぞれの手の動作の組合せとその順序を設定することで、さらに多くのテレビ受像器の操作をジェスチャー入力として行うことができる。
【０１４４】
図１７は、本実施形態にかかるテレビ受像器の操作装置の変形例を示す斜視図である。
【０１４５】
図１７に示すテレビ受像器の操作装置１０は、赤外光による画像を撮像する撮像部の受光窓部１６の近傍に、受光窓部１６の上側および左右の両側からひさし部材１７が延出して形成されている。
【０１４６】
本実施形態のテレビ受像器の操作装置１０では、赤外光によって操作者の手の撮像画像を得て、赤外線画像データに基づいて、操作者の手の各部分の位置を特定してその動作を解析するものである。このため、撮像部の受光窓部１６に、太陽光や、室内照明器具などから発生した赤外光が照射されると、操作者の手の赤外線画像取得時にノイズとなってしまい、画像データから正しく手の位置や形状を把握できなくなる恐れがある。そこで、図１７に示すようなひさし部材１７を、外部から受光窓部１６に入射する赤外線を遮るように配置することで、外部からの赤外光の入射を要因とする操作者の手の動作の判別時のエラーの発生を回避することができる。
【０１４７】
なお、図１７では、操作装置１０を例えば図２に示したように、テレビ受像器２０の上方に配置する場合を想定して、操作装置１０から操作者側に延出するひさし部材１７を設けた例を示した。例えば、操作装置１０が一体的に組み合わされているテレビ受像器２０の場合で、操作装置１０の受光窓部１６がテレビ受像器２０の表示部の周囲に配置されたエスカッション枠内に配置される場合には、エスカッション枠の表面から少し後退した位置に受光窓部１６が配置されるようにすることで、周囲のエスカッション枠をひさし部材１７として利用することができる。また、操作装置１０をテレビ受像器２０の下部に配置する場合には、テレビ受像器２０自体を、受光窓部１６に入射する赤外光を遮るひさしとして機能させることができる。
【０１４８】
以上説明したように、本実施形態にかかるテレビ受像器の操作装置は、撮像部が赤外光によって操作者の手の撮像画像を得て、処理部が撮像画像データから操作者の手の動作を判別することで、ＣＣＤカメラによる撮像画像を操作者の手の動作の認識に用いていた従来の操作装置と比較して、格段に高速で、かつ、確実に操作者のジェスチャーを認識して、テレビ受像器の操作を行うことができる。
【０１４９】
また、このような操作装置を予め備えたテレビ受像器は、操作装置による正確なジェスチャー動作の判断に基づいて、操作者の所望する操作を確実に実行するジェスチャー入力モードを備えたテレビ受像器とすることができる。
【０１５０】
なお、本実施形態で説明した、ジェスチャー入力の判断手法は一例であり、図３、図４、図６に示したフローチャート以外のデータ処理手法によって、操作者のジェスチャーである手の動作を把握して操作者が意図するテレビ受像器の操作内容を判断することができる。特に、操作者の手の動作を把握する際に、適宜操作者に入力内容が正しいか否かを確認したりするステップについては、適宜省略することができる。また、操作者に対して、操作装置が判断したジェスチャーと、それに対応するテレビ受像器の操作内容についての報知方法は、テレビ受像器の画面への表示、音声での報知、ランプ等による報知など各種の報知携帯を採用することができる。
【０１５１】
さらに、操作者に対して、ジェスチャーの内容を伝達したり、操作者のジェスチャーが判別しにくい場合には、手の動作をより把握しやすい速度に変えるよう依頼したりするなど、操作装置の側からと装置と操作者との間のコミュニケーションを蜜にして、より、正確なジェスチャー入力が可能となるようにする機能を設定することができる。
【産業上の利用可能性】
【０１５２】
本願で開示するテレビ受像器の操作装置は、操作者の多様なジェスチャーによってテレビ受像器の確実な操作を、低コストで実現可能とするものである。また、本願で開示するテレビ装置は、予め操作者のジェスチャーを認識可能な操作装置を備えたテレビ装置である。このため、本願で開示するテレビ受像器の操作装置とテレビ受像器は、特に多チャンネルの視聴が可能なテレビ受像器に採用されることで、従来の赤外線リモコンによる操作と比較して容易に、操作者が所望する操作を行うことができるものとして有用である。
【符号の説明】
【０１５３】
１０    操作装置
１１    撮像部
１２    処理部
１３    記憶部
１４    出力部
１５    入力部
２０    テレビ受像器
【図１】
2018045313.tif 000003
【図２】
2018045313.tif 000004
【図３】
2018045313.tif 000005
【図４】
2018045313.tif 000006
【図５】
2018045313.tif 000007
【図６】
2018045313.tif 000008
【図７】
2018045313.tif 000009
【図８】
2018045313.tif 000010
【図９】
2018045313.tif 000011
【図１０】
2018045313.tif 000012
【図１１】
2018045313.tif 000013
【図１２】
2018045313.tif 000014
【図１３】
2018045313.tif 000015
【図１４】
2018045313.tif 000016
【図１５】
2018045313.tif 000017
【図１６】
2018045313.tif 000018
【図１７】
2018045313.tif 000019