【手続補正書】
【提出日】平成26年12月15日(2014.12.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す位置情報を取得する位置検出部と、
前記位置情報に基づいて、ユーザが身体の一部を用いて操作を行うことができる操作領域を検出し、前記操作領域を検出できた場合には、前記位置情報が表す身体の一部を有する少なくとも１名のユーザを少なくとも１名の操作者の候補として特定するユーザ情報解析部と、
を備え、
前記ユーザ情報解析部は、前記少なくとも１名の操作者の候補のうち、前記操作領域に前記身体の一部が含まれた第１のユーザを操作者と特定し、前記第１のユーザ以外の少なくとも１名の第２のユーザを操作することができないユーザと特定することを特徴とする注目位置検出装置。
【請求項２】
ユーザ情報解析部は、前記操作領域に前記身体の一部が含まれる場合に、前記第１のユーザの身体の一部の形状を表す情報を含むユーザ情報を検出し、
前記注目位置検出装置は、前記ユーザ情報解析部が検出したユーザ情報に対応する処理を実行する制御部を備えることを特徴とする請求項１に記載の注目位置検出装置。
【請求項３】
前記ユーザ情報解析部は、前記第１のユーザが指定する所定の操作によって、前記操作領域を検出することを特徴とする請求項１又は２に記載の注目位置検出装置。
【請求項４】
前記ユーザ情報解析部は、前記第１のユーザが、前記第１のユーザの視野内にある表示装置の表示領域の第一の頂点を指定し、第一の頂点と対角にある第二の頂点を指定する操作によって、前記操作領域を検出することを特徴とする請求項３に記載の注目位置検出装置。
【請求項５】
前記ユーザ情報解析部が検出する操作領域であって表示装置から前記第１のユーザを見た場合の操作領域のサイズと、表示装置の表示領域における被操作領域のサイズと、を対応付け、
前記位置検出部は、当該対応付けに基づいて、前記操作領域内にある前記第１のユーザの身体の一部の位置から被操作領域内で対応する位置を算出することを特徴とする請求項１から４のいずれか一項に記載の注目位置検出装置。
【請求項６】
前記位置検出部は、前記身体の一部として手を用いること
を特徴とする請求項５に記載の注目位置検出装置。
【請求項７】
前記撮像装置が撮像した映像を表示する表示部を備え、
前記撮像装置は、前記表示部よりも高い位置に設置されていること
を特徴とする請求項１から６のいずれか一項に記載の注目位置検出装置。
【請求項８】
前記ユーザ情報解析部は、前記第１のユーザから自装置に向かうに従って広がる操作領域を用いることを特徴とする請求項１から７のいずれか一項に記載の注目位置検出装置。
【請求項９】
前記ユーザ情報解析部は、前記第１のユーザの目の位置と顔の位置の少なくとも一つと、表示装置の表示領域における被操作領域と、に基づいて、前記操作領域を検出することを特徴とする請求項１から８のいずれか一項に記載の注目位置検出装置。
【請求項１０】
前記位置検出部は、前記第１のユーザの目の位置と顔の位置の少なくとも一つを表す基準位置情報と、前記第１のユーザの身体の一部の位置を表す指示位置情報と、に基づいて、表示装置の表示領域における被操作領域内の位置であって、前記操作者の身体の一部が示す位置を算出することを特徴とする請求項１から９のいずれか一項に記載の注目位置検出装置。
【請求項１１】
撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す位置情報を取得する位置検出過程と、
前記位置情報に基づいて、ユーザが身体の一部を用いて操作を行うことができる操作領域を検出し、前記操作領域を検出できた場合には、前記位置情報が表す身体の一部を有する少なくとも１名のユーザを少なくとも１名の操作者の候補として特定し、
前記少なくとも１名の操作者の候補のうち、前記操作領域に前記身体の一部が含まれた第１のユーザを操作者と特定し、前記第１のユーザ以外の少なくとも１名の第２のユーザを操作することができないユーザと特定するユーザ情報解析過程と、
を有することを特徴とする注目位置検出方法。
【請求項１２】
コンピュータに、
撮像装置が撮像した映像に表されたユーザ毎の身体の一部の位置を表す位置情報を取得する位置検出過程と、
前記位置情報に基づいて、ユーザが身体の一部を用いて操作を行うことができる操作領域を検出し、前記操作領域を検出できた場合には、前記位置情報が表す身体の一部を有する少なくとも１名のユーザを少なくとも１名の操作者の候補として特定し、
前記少なくとも１名の操作者の候補のうち、前記操作領域に前記身体の一部が含まれた第１のユーザを操作者と特定し、前記第１のユーザ以外の少なくとも１名の第２のユーザを操作することができないユーザと特定するユーザ情報解析過程と、
を実行させるための注目位置検出プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
次に、データ入力装置２ａのより詳細な構成について説明する。
撮像装置１１は、撮像部１１０ａ、１１０ｂを含んで構成される。撮像部１１０ａ、１１０ｂは、撮像した映像を表す映像信号を生成し、生成した映像信号を画像処理装置２０に出力する。撮像部１１０ａは、生成した映像信号をユーザ情報解析部２０１に出力する。撮像部１１０ａ、１１０ｂは、例えば、被写体から入射された光を集光するレンズを備えた光学系と、集光された光を電気信号に変換する撮像素子を備えるカメラである。撮像部１１０ａ、１１０ｂが備える撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
式（１）において、ｘｉは、左画像ブロック４００に含まれる、例えば緑色（Ｇ）の画素毎の画素値である。８は、１個の画像ブロックに含まれる画素数が９である場合におけるｉの最大値の一例である。画素値ｘ０〜ｘ８にそれぞれ対応する画素の配置は、図５の左側の左画像ブロック４００に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。ｘａｉは、右画像ブロック４１０に含まれる画素毎の画素値である。画素値ｘａ０〜ｘａ８にそれぞれ対応する画素の配置は、図５の右側の右画像ブロック４１０に示すように各行毎に左端から右端に向かい、行間では最上行から最下行に向かう順序である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
〔目の位置の検出〕
目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域の代表点（例えば、重心点）である２次元の目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３６および操作者判別部３５に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号、算出した２次元の目位置座標を表す２次元目位置情報を操作者判別部３５に出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
〔手の位置の検出〕
手位置検出部３２は、撮像部１１０ａから入力された映像信号が表す操作者の手の画像を表す領域を検出し、検出した手の位置を算出する。
手の画像を表す領域を検出するために、手位置検出部３２は、例えば予め設定した手の表面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された映像信号から抽出する。手位置検出部３２は、手の位置として検出した手の画像を表す領域の代表点（例えば、重心点）の２次元座標値を算出する。手位置検出部３２は、算出した座標値に対応する距離値を、距離算出部２００から入力された距離情報から抽出し、算出した２次元座標値と対応する距離値の組を被写空間における３次元座標に変換して３次元手位置情報を生成する。手位置検出部３２は、検出した手の領域の画像を表す手画像信号と、算出した代表点の２次元座標値を表す手位置情報を手形状・指先位置検出部３３に出力する。手位置検出部３２は、当該手位置情報を操作者判別部３５に出力する。
また、手の画像を表す領域を検出するために、手位置検出部３２は、距離算出部２００から入力された距離情報に基づいて、顔検出部３０から入力された３次元顔面位置情報が表す３次元顔面位置を基準とした予め定めた奥行方向の開始点と終了点で表される距離範囲内にある画像を撮像部１１０ａから入力された映像信号から手の画像を表す領域として抽出してもよい。予め定めた距離範囲は、例えば３次元顔面位置より前方（表示装置１０側）にある範囲である。これにより、操作者の前方または後方にいる別人の手を、操作者の手と認識することを防ぐことができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
図８では、操作者は、底面に対して垂直な姿勢（例えば、起立）を取っている。しかし、操作者は、このような姿勢を取るとは限らず、例えば、操作者は底面上に横たわることがある。このような場合にも、操作者判別部３５は、上述のように操作開始検出範囲を定めて操作者１３を判断することによって、操作者の姿勢によらず安定した判断が可能であり、誤検出を回避することができる。このことを次に説明する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
図７に戻り、検出情報出力部３７には、顔検出部３０、特徴情報解析部３４及び操作者判別部３５から検出情報が入力される。検出情報出力部３７は、操作者判別部３５から操作開始信号が入力された場合、入力された操作開始信号に係る操作者の検出情報を制御部２２に出力する。検出情報出力部３７は、操作者判別部３５から操作終了信号が入力された場合、入力された操作終了信号に係る操作者の検出情報の出力を終了する。
なお、ユーザ情報解析部２０１は、上述した方法や特徴量に限られず、入力された映像信号に基づいてユーザの特徴やユーザが指示する操作に係る情報を検出してもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
目位置検出部３１は、顔検出部３０から入力された顔面画像信号が表す顔面の画像から目の領域を検出する。目位置検出部３１は、検出した目の領域に基づいて目位置座標を算出する。目位置検出部３１は、検出した目位置座標に所在する画素における距離値を、距離算出部２００から入力された距離情報から抽出する。目位置検出部３１は、算出した２次元の目位置座標と抽出した距離値の組を、被写空間における３次元の目位置座標に変換して３次元目位置情報を生成する。目位置検出部３１は、算出した３次元の目位置座標を表す３次元目位置情報を注目位置検出部３６および操作者判別部３５に出力する。目位置検出部３１は、検出した目の領域の画像を表す目領域信号、算出した２次元の目位置座標を表す２次元目位置情報を操作者判別部３５に出力する。その後、ステップＳ１０３に進む。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
（ステップＳ１１０）制御部２２は、操作者による操作が終了したか否かを判断する。制御部２２は、例えば、電源断を表す操作入力が入力された場合に操作が終了したと判断する。操作が終了していないと判断された場合（ステップＳ１１０ Ｎｏ）、ステップＳ１１１に進む。操作が終了したと判断された場合（ステップＳ１１０ Ｙｅｓ）、データ入力処理を終了する。
（ステップＳ１１１）制御部２２は、操作者が注目した代表画像に対し、情報ＤＢ２１から対応するコンテンツあるいはプログラムを読みだし、コンテンツの再生あるいはプログラムの実行を行う。再生あるいは実行結果を表示部１２に表示する。その後、ステップＳ１００に進む。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１１４
【補正方法】変更
【補正の内容】
【０１１４】
このように、本実施形態によれば、表示装置１０ａは、ユーザが指定する所定の操作によって、ユーザ操作領域ｒ２を検出する。表示装置１０ａは、ユーザ操作領域ｒ２を検出できた場合には、前記第１位置情報が表す身体の一部を有するユーザを操作者として特定する。これにより、表示装置１０ａは、操作性を向上することができる。
また、本実施形態によれば、表示装置１０ａは、操作者の目の位置又は顔の位置と、表示装置１０ａの表示領域（被操作領域）と、に基づいて、ユーザ操作領域ｒ２を検出する。このユーザ操作領域ｒ２は、操作者から表示装置１０ａに向かうに従って広がる。例えば、ユーザ操作領域ｒ２は、表示装置１０ａと平行な平面が表示装置１０ａに近づくにしたがって徐々に大きくなる形状としている。このため、大型のディスプレイやタイルディスプレイなどの場合は、コンテンツ決定動作である押す動作を行うと、手を表示装置１０ａ上の表示領域平面と垂直方向に押す動作とはならずに、操作者から表示領域上のコンテンツに向かう方向に押す動作となる。
このように、表示装置１０ａを用いれば、操作者は、例えば表示領域上の端にあるコンテンツの代表画像に向かって押す動作ができるため、より直感的な動作でコンテンツの再生またはプログラムの実行を行うことができる。なお、タイルディスプレイとは、複数のディスプレイを組合せることで表示領域を大きくしたディスプレイである。
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2013250882.tif 000001
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2013250882.tif 000002
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2013250882.tif 000003
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2013250882.tif 000004
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2013250882.tif 000005