(57)【要約】【課題】撮影に関する複数の設定を、撮影する側のユーザによる直感的で、少ないジェスチャによって行えるようにする。【解決手段】眼鏡型端末１は、動画像を撮影可能であり、ユーザにより観察される像を撮影して画像データを生成する撮影部１１を備える。撮影部１１は、ユーザが観察する像を撮影するように、眼鏡型端末１に設けられる。眼鏡型端末１は、動画像の撮影により撮影部１１が生成した動画像データに基づいて、ユーザの指によって行われるジェスチャであって、始点と終点とを含む閉じた図形を空間に描くジェスチャを認識する。眼鏡型端末１は、認識したジェスチャにより図形の終点が描かれたとき、当該図形で囲まれた範囲に基づいて撮影範囲にズームインして、撮影部１１に撮影させる。この際、眼鏡型端末１は、認識したジェスチャにより図形の終点が描かれたときの速度や、図形の始点・終点間の距離に応じて動作条件を、撮影部１１に指示する。【選択図】図１
2015091031.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮影可能であり、ユーザにより観察される像を撮影して画像データを生成する撮影部と、
前記動画像の撮影により前記撮影部が生成した第１の画像データに基づいて、始点と終点とを含む図形を空間に描く前記ユーザのジェスチャを認識するジェスチャ認識部と、
前記ジェスチャ認識部が認識したジェスチャにより前記図形の終点が描かれたとき、当該図形で囲まれた範囲に基づいて撮影範囲を設定し、前記撮影部に撮影させる撮影制御部と
を備える撮影装置。
【請求項２】
前記撮影制御部は、
前記認識したジェスチャの特徴、又は、当該ジェスチャで描かれた図形の特徴に予め関連付けられた動作条件を設定して、前記撮影部に撮影させ、
前記撮影部は、前記撮影制御部により設定された動作条件に従って撮影する
ことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記撮影制御部は、
前記終点を描いたときの前記ジェスチャの速度、前記始点及び前記終点間の距離の少なくとも一方に関連付けられた前記動作条件を設定する
ことを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記撮影範囲を撮影して前記撮影部が生成した第２の画像データに対し、前記第１の画像データに基づいて、前記ジェスチャを行った前記ユーザの手に対応する画像を除去する補正処理を施す補正処理部を備える
ことを特徴とする請求項１から請求項３のいずれか１項に記載の撮影装置。
【請求項５】
前記撮影範囲を撮影して前記撮影部が生成した第２の画像データに対し、前記撮影範囲を変更するための補正処理を施す補正処理部を備える
ことを特徴とする請求項１から請求項４のいずれか１項に記載の撮影装置。
【請求項６】
前記ユーザに観察される像に重ねて画像を表示する表示部と、
前記ジェスチャが行われているとき、当該ジェスチャの軌跡を表す画像を、前記表示部に表示させる表示制御部と
を備えることを特徴とする請求項１から請求項５のいずれか１項に記載の撮影装置。
【請求項７】
動画像を撮影可能であり、ユーザにより観察される像を撮影して画像データを生成する撮影部を制御する撮影制御方法であって、
前記動画像の撮影により前記撮影部が生成した画像データに基づいて、始点と終点とを含む図形を空間に描く前記ユーザのジェスチャを認識するステップと、
認識した前記ジェスチャにより前記図形の終点が描かれたとき、当該図形で囲まれた範囲に基づいて撮影範囲を設定し、前記撮影部に撮影させるステップと
を有する撮影制御方法。
【請求項８】
動画像を撮影可能であり、ユーザにより観察される像を撮影して画像データを生成する撮影部を制御する撮影装置のコンピュータに、
前記動画像の撮影により前記撮影部が生成した画像データに基づいて、始点と終点とを含む図形を空間に描く前記ユーザのジェスチャを認識するステップと、
認識した前記ジェスチャにより前記図形の終点が描かれたとき、当該図形で囲まれた範囲に基づいて撮影範囲を設定し、前記撮影部に撮影させるステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間のジェスチャを認識して撮影する技術に関する。
【背景技術】
【０００２】
撮影される側の人物（すなわち被撮影者）のジェスチャを認識して行う自動撮影の発明が、特許文献１及び特許文献２に開示されている。特許文献１は、パン、チルト、ズーム及びレリーズの各動作にジェスチャを一つずつ割り当てておき、被撮影者が行ったジェスチャを判断して自動撮影することを開示している。特許文献２は、被撮影者が発光するリモコン装置を用いて軌跡を描くと、発光スポットの移動軌跡を内包する撮影ターゲット領域を計算し、撮影ターゲット領域の面積が撮影範囲内で最大になるようにズーム制御を行うことを開示している。加えて、特許文献２は、ズーム制御から一定時間後又はズーム制御後の撮影指示を待って、撮影を実行することを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−５１４７２号公報
【特許文献２】特開２００９−４９７４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び特許文献２に記載された発明は、被撮影者の意図に従って撮影するための発明である。また、特許文献１及び特許文献２に記載された発明では、撮影装置の動作毎に個別に、被撮影者が行うべきジェスチャが関連付けられている。特許文献１及び特許文献２に記載された発明において、撮影に関する設定を多岐にわたって行うことは、ジェスチャをする被撮影者に大きな負担を強いる原因となる。例えば、被撮影者は、設定内容毎にジェスチャを覚えなければならず、また、撮影時に多くのジェスチャを行わなければならない。
これに対し、本発明の目的は、撮影に関する複数の設定を、撮影する側のユーザによる直感的で、少ないジェスチャによって行えるようにすることである。
【課題を解決するための手段】
【０００５】
上述した課題を解決するため、本発明の撮影装置は、動画像を撮影可能であり、ユーザにより観察される像を撮影して画像データを生成する撮影部と、前記動画像の撮影により前記撮影部が生成した第１の画像データに基づいて、始点と終点とを含む図形を空間に描く前記ユーザのジェスチャを認識するジェスチャ認識部と、前記ジェスチャ認識部が認識したジェスチャにより前記図形の終点が描かれたとき、当該図形で囲まれた範囲に基づいて撮影範囲を設定し、前記撮影部に撮影させる撮影制御部とを備える。
【０００６】
本発明の撮影装置において、前記撮影制御部は、前記認識したジェスチャの特徴、又は、当該ジェスチャで描かれた図形の特徴に予め関連付けられた動作条件を設定して、前記撮影部に撮影させ、前記撮影部は、前記撮影制御部により設定された動作条件に従って撮影させてもよい。
この発明の撮影装置において、前記撮影制御部は、前記終点を描いたときの前記ジェスチャの速度と、前記始点及び前記終点間の距離とに関連付けられた前記動作条件を設定してもよい。
【０００７】
本発明の撮影装置において、前記撮影範囲を撮影して前記撮影部が生成した第２の画像データに対し、前記第１の画像データに基づいて、前記ジェスチャを行った前記ユーザの手に対応する画像を除去する補正処理を施す補正処理部を備えてもよい。
本発明の撮影装置において、前記撮影範囲を撮影して前記撮影部が生成した第２の画像データに対し、前記撮影範囲を変更するための補正処理を施す補正処理部を備えてもよい。
【０００８】
本発明の撮影装置において、前記ユーザに観察される像に重ねて画像を表示する表示部と、前記ジェスチャが行われているとき、当該ジェスチャの軌跡を表す画像を、前記表示部に表示させる表示制御部とを備えてもよい。
【０００９】
本発明の撮影制御方法は、動画像を撮影可能であり、ユーザにより観察される像を撮影して画像データを生成する撮影部を制御する撮影制御方法であって、前記動画像の撮影により前記撮影部が生成した画像データに基づいて、始点と終点とを含む図形を空間に描く前記ユーザのジェスチャを認識するステップと、認識した前記ジェスチャにより前記図形の終点が描かれたとき、当該図形で囲まれた範囲に基づいて撮影範囲を設定し、前記撮影部に撮影させるステップとを有する。
【００１０】
本発明のプログラムは、動画像を撮影可能であり、ユーザにより観察される像を撮影して画像データを生成する撮影部を制御する撮影装置のコンピュータに、前記動画像の撮影により前記撮影部が生成した画像データに基づいて、始点と終点とを含む図形を空間に描く前記ユーザのジェスチャを認識するステップと、認識した前記ジェスチャにより前記図形の終点が描かれたとき、当該図形で囲まれた範囲に基づいて撮影範囲を設定し、前記撮影部に撮影させるステップとを実行させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、撮影に関する複数の設定を、撮影する側のユーザによる直感的で、少ないジェスチャによって行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る眼鏡型端末の外観構成を示す図。
【図２】同眼鏡型端末のハードウェア構成を示すブロック図。
【図３】同眼鏡型端末の動作条件テーブルの構成例を示す図。
【図４】同眼鏡型端末のジェスチャ又は図形の特徴と動作条件との関係の説明図。
【図５】同眼鏡型端末の静止画像の一例を示す図。
【図６】同眼鏡型端末の制御部の機能構成を示す機能ブロック図。
【図７】同眼鏡型端末における撮影動作の流れを示すフローチャート。
【図８】同眼鏡型端末における表示部の表示例を示す図。
【図９】同眼鏡型端末における表示部の表示例を示す図。
【図１０】同眼鏡型端末における撮影範囲の設定方法の説明図。
【図１１】同眼鏡型端末の静止画像の一例を示す図。
【図１２】同眼鏡型端末における静止画像の補正処理の説明図。
【図１３】変形例１の眼鏡型端末における撮影範囲を変更する補正処理の説明図。
【図１４】変形例３の眼鏡型端末における渦巻き図形の認識アルゴリズムの説明図。
【発明を実施するための形態】
【００１３】
［実施形態］
以下、図面を参照しつつ本発明の実施形態を説明する。
図１は、本発明の一実施形態の眼鏡型端末１の外観構成を示す図である。図１には、ユーザ２が装着しているときの眼鏡型端末１が示されている。眼鏡型端末１は、ユーザ２の頭部に装着された状態で使用される撮影装置である。眼鏡型端末１は、ユーザ２の頭部を挟むようにして装着される。このとき、眼鏡型端末１は、アーム部と呼ばれる部品がユーザの両耳２ａに接する。眼鏡型端末１を装着したユーザ２は、眼鏡部１０のレンズを通して像を観察する。
【００１４】
眼鏡型端末１の眼鏡部１０は、電気的な構成として、撮影部１１と表示部１２とを備える。撮影部１１は、ＣＣＤ（Charge Coupled Device）等の撮像素子を含み、動画像及び静止画像の撮影が可能である。撮影部１１は、眼鏡部１０を通してユーザに観察される像を撮影する。撮影部１１は、撮影する像の位置（範囲）が、眼鏡部１０を通してユーザ２により観察される像の位置（範囲）と一致するように配置される。撮影部１１は、動画像又は静止画像を撮影すると、撮影した画像を表す画像データを生成する。以下、動画像の撮影により得られる画像データ（第１の画像データ）を、「動画像データ」といい、静止画像の撮影により得られる画像データ（第２の画像データ）を、「静止画像データ」という。
【００１５】
眼鏡型端末１は、ユーザ２が行った空間に図形を描くジェスチャを、撮影部１１が生成した動画像データに基づいて認識して、撮影部１１により静止画像の撮影を行う。ここでいう空間は、眼鏡型端末１を装着したユーザ２の眼前の空間である。また、ここでいう図形は、始点と終点とを含む図形であり、例えば、円形、矩形（正方形を含む。）及び三角形等の多角形並びにその他の閉じた図形である。ユーザ２が行うジェスチャは、ユーザ２の手、より詳細には、ユーザ２の指（指先）を用いて行われる。ユーザ２のジェスチャを認識して行われる眼鏡型端末１の撮影動作については、後で詳細を説明する。
【００１６】
表示部１２は、光学シースルー型のＨＭＤ（Head Mounted Display）を含み、眼鏡部１０を通してユーザに観察される像に重ねて画像（表示コンテンツ）を表示する。ここでは、表示部１２は、ユーザの左目で画像が視認されるように、眼鏡部１０の左眼側のレンズに重ねて画像を表示する。
【００１７】
図２は、眼鏡型端末１のハードウェア構成を示すブロック図である。図２に示すように、眼鏡型端末１は、眼鏡部１０と、制御部２０と、記憶部３０とを備える。
眼鏡部１０の撮影部１１は、撮影して画像データ（動画像データ又は静止画像データ）を生成すると、生成した画像データを制御部２０へ供給する。眼鏡部１０の表示部１２は、制御部２０により行われた表示制御に従って画像を表示する。
【００１８】
制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ（Random Access Memory）を有するマイクロコンピュータを備える。ＣＰＵは、ＲＯＭ又は記憶部３０に記憶されたプログラムをＲＡＭに読み出して実行することにより、眼鏡型端末１の各部を制御する。記憶部３０は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）を有する記憶装置であり、制御部２０により実行されるプログラム及び動作条件テーブル３１を記憶する。
【００１９】
図３は、動作条件テーブル３１の構成例を示す図である。動作条件テーブル３１は、ユーザ２が行ったジェスチャの特徴、又は、当該ジェスチャで描かれる図形の特徴に関連付けて、撮影部１１が撮影時に従うべき動作条件を指定したデータテーブルである。図４は、ジェスチャ又は図形の特徴と動作条件との関係を説明する図である。図４では、図形の始点を符号「Ｐｓ」を付して表し、図形の終点を符号「Ｐｆ」を付して表す。
【００２０】
図３に示すように、動作条件テーブル３１では、「特徴」フィールドと、「動作条件」フィールドとが関連付けられている。図３の第１行のレコードを説明すると、「特徴」フィールドには、「描画速度」と書き込まれている。描画速度は、ユーザ２のジェスチャによって図形の終点を描かれたときの速度（すなわちユーザ２の指が移動する速度）を意味する。「動作条件」フィールドには、描画速度に応じて撮影部１１のシャッタスピード（すなわち露光時間）を異ならせることを指定する情報が書き込まれている。具体的には、図３及び図４（ａ）に示すように、描画速度が速いほどシャッタスピードを速くすることが指定され、図３及び図４（ｂ）に示すように、描画速度が遅いほどシャッタスピードを遅くすることが指定されている。動作条件テーブル３１では、例えば、描画速度を複数の段階に区分して、その段階毎にシャッタスピードが指定されていてもよいし、描画速度を変数とする関数によってシャッタスピードが指定されていてもよい。
【００２１】
図３の第２行のレコードを説明すると、「特徴」フィールドには、「始点・終点間距離」と書き込まれている。始点・終点間距離は、ジェスチャによって空間に描かれた図形の始点と終点との距離（より詳細には直線距離）を意味する。「動作条件」フィールドには、始点・終点間距離に応じて、撮影部１１のレンズの絞り（絞り値）を異ならせることを指定する情報が書き込まれている。具体的には、図３及び図４（ｃ）に示すように、始点・終点間距離Ｄが小さいほど撮影部１１の絞りを縮小することが指定され、図３及び図４（ｄ）に示すように、始点・終点間距離Ｄが大きいほど撮影部１１の絞りを拡大することが指定されている。動作条件テーブル３１では、例えば、始点・終点間距離Ｄを複数の段階に区分して、その段階毎に絞りが指定されていてもよいし、始点・終点間距離Ｄを変数とする関数によって絞りが指定されていてもよい。
【００２２】
図５は、眼鏡型端末１が撮影する静止画像の一例を示す図である。図５（ａ）には、眼鏡部１０を通してユーザ２に観察される像（すなわち被写体）が示されている。図５（ａ）に示すように、ここでは、レンズの中心部付近で自動車Ａが観察される。図５（ｂ）には、ユーザ２に観察される像を、眼鏡型端末１が撮影した場合の静止画像１００が示されている。図５（ｂ）に示すように、静止画像１００の中心付近には、自動車Ａを撮影した画像ＩＭ−Ａが含まれる。
【００２３】
図６は、眼鏡型端末１の制御部２０の機能構成を示す機能ブロック図である。図６に示すように、制御部２０は、ジェスチャ認識部２１と、撮影制御部２２と、出力制御部２３と、表示制御部２４と、補正処理部２５とに相当する機能を実現する。
ジェスチャ認識部２１は、撮影部１１の動画像の撮影により生成された動画像データに基づいて、ユーザ２のジェスチャを認識する。ジェスチャ認識部２１の機能は、始点記憶部２１１と、軌跡追跡部２１２と、終点検出部２１３とに大別される。
【００２４】
始点記憶部２１１は、ジェスチャで描かれる図形の始点の位置情報を記憶する。始点の位置情報は、例えば、始点が検出された一のフレームの画像（すなわちフレーム画像）における当該始点の座標である。ジェスチャで描かれる図形の始点を判定するために、始点記憶部２１１は、例えば、ユーザ２がジェスチャを始める前に行ったトリガとなる動作（以下、「トリガ動作」という。）を検出し、トリガ動作が行われたときの指の位置に基づいて、始点の位置情報を記憶する。トリガ動作は、例えば、ユーザ２が人差し指を振る動作、又は、ユーザ２が一定時間同じ場所に指を静止させる動作であるが、これら以外の動作であってもよい。軌跡追跡部２１２は、ユーザ２の指によって始点から連続して描かれた軌跡を追跡する。軌跡追跡部２１２は、軌跡の位置を示す位置情報を、例えば所定期間毎に（例えば所定周期で）繰り返し取得する。終点検出部２１３は、図形の終点を検出して、終点の位置情報を取得する。終点の位置情報は、例えば、終点が検出されたフレーム画像における当該終点の座標である。
【００２５】
図４（ａ）〜（ｃ）に示すように、始点Ｐｓと終点Ｐｆとが一致する閉じた図形が描かれた場合、終点検出部２１３は、始点Ｐｓに重なった点を終点Ｐｆとして検出する。図４（ｄ）に示すように、始点Ｐｓと終点Ｐｆとが不一致である閉じた図形が描かれた場合、終点検出部２１３は、当該閉じた図形を構成する軌跡同士が交差する点を終点Ｐｆとして検出する。
なお、図４では、略円形の図形が描かれた場合を例示しているが、図形の形状や寸法に関係なく終点の検出方法は同じである。
【００２６】
撮影制御部２２は、眼鏡型端末１における撮影制御を司る。例えば、撮影制御部２２は、撮影部１１に動画像の撮影を開始させる。そして、撮影制御部２２は、ジェスチャ認識部２１が認識したジェスチャに基づいて、撮影部１１に撮影させる。撮影制御部２２の機能は、撮影範囲設定部２２１と、動作条件設定部２２２と、撮影指示部２２３とに大別される。
【００２７】
撮影範囲設定部２２１は、ジェスチャ認識部２１が認識したジェスチャで描かれた図形で囲まれた範囲に基づいて、撮影範囲を設定する。動作条件設定部２２２は、ジェスチャ認識部２１が認識したジェスチャ、又は、当該ジェスチャで描かれた図形の特徴に関連付けられた撮影部１１の動作条件を、動作条件テーブル３１に基づいて設定する。撮影指示部２２３は、撮影範囲設定部２２１が設定した撮影範囲を、動作条件設定部２２２が設定した動作条件に従って静止画像を撮影するように、撮影部１１に指示する。撮影指示部２２３は、ジェスチャ認識部２１が認識したジェスチャで図形の終点が描かれたときに撮影部１１に撮影を指示することにより、図形の終点が描かれたタイミングを撮影タイミングに設定する。この撮影の指示の際に、撮影指示部２２３は、設定した動作条件（すなわち絞りやシャッタスピード）も併せて撮影部１１に指示する。
【００２８】
出力制御部２３は、撮影制御部２２の制御により撮影部１１が静止画像を撮影すると、当該撮影により生成された静止画像データを所定の出力先へ出力する。例えば、出力制御部２３は、静止画像データを記憶部３０へ出力して記憶させたり、外部装置と通信するための図示せぬ通信インタフェースを介して静止画像データを送信出力したりする。
表示制御部２４は、眼鏡型端末１における表示制御を司る。表示制御部２４は、例えば、ジェスチャにより描かれている図形の軌跡を示す画像である軌跡画像を、表示部１２に表示させる。
【００２９】
補正処理部２５は、撮影部１１により生成された静止画像データに対し、所定の補正処理を施す。例えば、補正処理部２５は、静止画像データが表す静止画像にユーザ２の手（指）に対応する画像が含まれる場合、ユーザ２の手に対応する画像を除去するための補正処理を施す。
【００３０】
図７は、眼鏡型端末１における撮影動作の流れを示すフローチャートである。以下では、図５（ａ）で説明した自動車Ａを含む風景を撮影する場合の眼鏡型端末１の動作を説明する。図８及び図９は、表示部１２の表示例を示す図である。
まず、眼鏡型端末１の制御部２０は、撮影部１１及び表示部１２を起動し、撮影部１１に動画像の撮影を開始させる（ステップＳ１）。撮影部１１で動画像の撮影が開始されると、制御部２０は、撮影部１１から動画像データを構成する各フレームのフレーム画像を順次取得し、解析する。制御部２０は、フレーム画像を解析して、ユーザ２のジェスチャにより描かれる図形の始点を検出する（ステップＳ２）。図８（ａ）に示すように、ユーザ２の指Ｆで始点Ｐｓが指定されると、制御部２０は、始点Ｐｓの位置情報を取得する。
【００３１】
次に、制御部２０は、ユーザ２のジェスチャにより描かれる図形の終点を検出したかどうかを判断する（ステップＳ３）。ステップＳ３の処理で、制御部２０は、始点の検出後、当該始点を起点とした連続する軌跡が描かれている期間は軌跡の追跡中であるから、終点を検出していないと判断する（ステップＳ３；ＮＯ）。軌跡の追跡中においては、制御部２０は、追跡中の軌跡の位置を周期的に検出して位置情報を取得し、ＲＡＭに記憶させる（ステップＳ４）。図８（ｂ）に示すように、始点Ｐｓから開始した軌跡が描かれている場合、制御部２０は、現在まで指定された軌跡の位置を特定可能な位置情報を、ＲＡＭに記憶させておくこととなる。また、制御部２０は、ＲＡＭに記憶された位置情報に基づいて、現在までに指定された軌跡を示す軌跡画像Ｔを、表示部１２に表示させる（ステップＳ５）。そして、制御部２０は、ステップＳ３の処理に戻って、終点を検出したかどうかを判断する。
【００３２】
すなわち、終点を検出しておらず軌跡の追跡中においては、制御部２０は、ステップＳ３；ＮＯ→ステップＳ４→ステップＳ５→ステップＳ３；ＮＯ→・・・という順で処理を繰り返し、軌跡の位置情報の取得と軌跡画像Ｔの表示（更新）とを行う。ユーザ２が自動車Ａを主に撮影しようとした場合、図８（ｃ），（ｄ）に示されるように、ユーザ２は、時計回りに指Ｆを移動させて、自動車Ａを囲む軌跡を描くジェスチャをする。
【００３３】
そして、図９（ａ）に示すように、ユーザ２が指Ｆで閉じた図形を描いて、始点Ｐｓの位置まで軌跡を描画したとする。ここでは、始点Ｐｓと終点Ｐｆとの位置が一致する。この場合、制御部２０は、終点を検出したと判断する（ステップＳ３；ＹＥＳ）。
【００３４】
制御部２０は、以上のステップＳ１〜Ｓ５の処理を実行することにより、ユーザ２が行った図形を描くジェスチャを認識すると、描かれた図形の範囲を撮影範囲に設定する（ステップＳ６）。ここでは、制御部２０は、図１０に示すように、ジェスチャで描かれた図形（軌跡画像Ｔと同等の図形。）の外接矩形を特定し、特定した外接矩形の範囲全体を撮影範囲Ｒに設定する。この外接矩形は、ジェスチャで描かれた図形の縦横比を固定しておき、図形（軌跡）の外側に存在し、且つ最も小さいサイズの矩形範囲を外接の範囲とすることによって定義できる。ステップＳ６の処理では、制御部２０は、ジェスチャで描かれた図形の内接矩形を特定して撮影範囲Ｒを設定してもよい。この内接矩形は、ジェスチャで描かれた図形の縦横比を固定しておき、図形（軌跡）の内側に存在し、且つ最も大きいサイズの矩形範囲を内接の範囲とすることによって定義できる。
【００３５】
次に、制御部２０は、ユーザ２のジェスチャの特徴又は当該ジェスチャで描かれた図形の特徴に基づいて、撮影部１１の動作条件を設定する（ステップＳ７）。ここでは、制御部２０は、動作条件テーブル３１を参照して、認識したジェスチャ又は当該ジェスチャで描かれた図形の特徴に関連付けられた動作条件を設定する。
例えば、制御部２０は、終点Ｐｆを検出したフレームから複数フレーム前のフレーム画像に基づいて、終点Ｐｆの描画速度を特定する。そして、制御部２０は、特定した描画速度が速いほど、撮影部１１のシャッタスピードを速くする設定とし、描画速度が遅いほど、撮影部１１のシャッタスピードを遅くする設定とする。また、制御部２０は、ジェスチャによって描かれた図形の始点・終点間距離Ｄが小さいほど、撮影部１１の絞りを縮小する設定とし、始点・終点間距離Ｄが大きいほど、撮影部１１の絞りを拡大する設定とする。
【００３６】
次に、制御部２０は、ステップＳ６の処理で設定した撮影範囲Ｒを、ステップＳ７の処理で設定した動作条件に従って静止画像を撮影するように、撮影部１１に指示する（ステップＳ８）。この際、制御部２０は、図形の終点Ｐｆを検出したときの被写体を撮影するように、終点Ｐｆの検出タイミングにより撮影タイミングに設定する。撮影部１１は、制御部２０からの指示に従って、設定された撮影範囲Ｒにズームインするズーム制御を行い、更に、設定されたシャッタスピード及び絞りを含む動作条件に従って、静止画像を撮影する。撮影部１１は、静止画像を撮影すると、静止画像データを生成して制御部２０へ供給する。
【００３７】
図１１は、ステップＳ８の指示により撮影された静止画像１００ｚを示す図である。図１１に示すように、静止画像１００ｚは、自動車Ａを含む撮影範囲Ｒにズームインして撮影された静止画像である。また、静止画像１００ｚは、制御部２０が設定したシャッタスピード及び絞りを含む動作条件に従って、撮影部１１により撮影されている。
【００３８】
次に、制御部２０は、必要に応じて、撮影部１１により生成された静止画像データの補正処理を行う（ステップＳ９）。例えば、制御部２０が終点Ｐｆを検出した後、ユーザ２の指Ｆが直ちに撮影範囲Ｒから退かなかった場合、ユーザ２の指が静止画像に含まれる可能性がある。具体的には、図１２（ａ）に示すように、終点Ｐｆの付近に指に対応する画像ＩＭ−Ｆを含む静止画像１００ｚａが得られる可能性がある。この場合、制御部２０は、終点Ｐｆを検出したフレームよりも所定フレーム前のフレーム画像を用いて、指に対応する画像ＩＭ−Ｆを除去する補正処理を行う。
【００３９】
補正処理について説明する。まず、制御部２０は、静止画像１００ｚａの中から、指に対応する画像ＩＭ−Ｆを含む画像領域１１０を抽出する。例えば、制御部２０は、静止画像１００ｚａから主に肌色で構成され、且つ、指に近い形状及び寸法の画像部分を、指に対応する画像ＩＭ−Ｆと判断する。そして、制御部２０は、画像ＩＭ−Ｆの外接矩形に一致する画像領域１１０を特定する。次に、制御部２０は、終点Ｐｆを検出したフレームから所定数前のフレームのフレーム画像１００ｚｂ（図１２（ｂ）参照）から、画像領域１１０と同じ位置の画像領域Ｉｒを切り出す。そして、制御部２０は、切り出した画像領域Ｉｒを、図１２（ａ）で説明した静止画像１００ｚａの画像領域１１０に配置する。終点Ｐｆが検出されたフレーム画像の所定フレーム前のフレーム画像では、図１２（ｂ）に示すように、ユーザ２の指に対応する画像ＩＭ−Ｆが、終点Ｐｆから離れた位置にある。そこで、制御部２０は、静止画像１００ｚａの画像領域１１０を、本来撮影されるべきであった像を含む画像領域Ｉｒに置換する補正処理を行って、指に対応する画像を除去する。この補正処理より、仮に図１２（ａ）に示される静止画像１００ｚａが得られた場合であっても、実質的に、図１１で説明した静止画像１００ｚと同等の静止画像が得られる。
なお、制御部２０は、指に対応する画像が静止画像に含まれない場合には、ステップＳ９の補正処理を省略してよい。また、指に対応する画像を除去する補正処理は、別の方法で行われてもよい。
【００４０】
そして、制御部２０は、撮影部１１により生成された静止画像データ又は補正処理後の静止画像データを、所定の出力先へ出力する出力制御を行う（ステップＳ１０）。制御部２０は、例えば、記憶部３０の所定のフォルダに格納するように静止画像データを出力したり、図示せぬ通信インタフェースを介して外部装置へ送信出力したりする。
【００４１】
以上説明した実施形態の眼鏡型端末１によれば、ユーザ２は、撮影範囲の設定、撮影タイミングの設定、及び、撮影部１１の動作条件であるシャッタスピードの設定及び絞りの設定を、１つの図形を描くための一連のジェスチャによって行うことができる。このため、眼鏡型端末１によれば、ユーザ２による従来よりも少ないジェスチャで、撮影に関する複数の設定を行うことができる。また、眼鏡型端末１では、撮影部１１の動作条件の設定に関し、図形の終点の描画速度の高低とシャッタスピードの高低とが連動し、また、図形の始点・終点間の距離Ｄの大きさと絞りの大きさとが連動する。このため、ユーザ２にとっては、ジェスチャ又は図形の特徴と動作条件との関係を把握しやすく、また、撮影時において、直感的なジェスチャによって動作条件を指定することができる。
【００４２】
［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した実施形態では、眼鏡型端末１は、ユーザ２によって描かれた図形の外接矩形を撮影範囲に一致させていたが、例えば、この外接矩形よりも大きい撮影範囲を設定してもよい。
更に、眼鏡型端末１は、ユーザ２によって描かれた図形の外接矩形よりも大きい撮影範囲で静止画像を撮影して、更に、その静止画像における撮影範囲を変更するための補正処理を行ってもよい。
【００４３】
図１３は、静止画像における撮影範囲を変更するための補正処理を説明する図である。
眼鏡型端末１では、ユーザ２が指Ｆで描いた図形によって撮影範囲を設定するため、必ずしも、ユーザ２が所望する撮影範囲と、図形の範囲とが一致するとは限らない。例えば、ユーザ２が自動車Ａを中心とした撮影範囲を設定しようとしても、図１３（ａ）に示すように、上下左右のいずれかの方向（ここでは左上方向）にずれた位置に図形を描いてしまう可能性がある。この場合であっても、ユーザ２が撮影範囲を調整して所望する静止画像を得られるように、眼鏡型端末１は、静止画像における撮影範囲を変更するための補正処理を行う。
【００４４】
撮影時には、制御部２０は、図１３（ｂ）に示すように、撮影範囲Ｒよりも大きい撮影範囲Ｒｂで撮影する。そして、制御部２０は、上述した実施形態と同じ方法で撮影範囲Ｒの静止画像データを生成すると、生成した静止画像データが表す静止画像１００ｚｃを表示部１２へ表示させる。制御部２０は、静止画像１００ｚｃを表示部１２へ表示させているとき、ユーザ２により行われる、撮影範囲を変更する操作を受け付ける。撮影範囲を変更する操作はどのように行われてもよいが、例えば、ユーザ２のジェスチャによって行われる。この場合、制御部２０は、静止画像１００ｚｃを表示部１２に表示させているときに、ユーザ２が指を所定方向に移動させるジェスチャを認識すると、撮影範囲を指と同じ方向に移動させる。図１３（ｃ）に示すように、右下方向に撮影範囲を移動させる操作が行われた場合、制御部２０は、撮影範囲Ｒｂの静止画像を表す静止画像データに基づいて、右下方向に移動させた撮影範囲Ｒの静止画像１００ｚｄを示す静止画像データを生成する。この場合、制御部２０は、静止画像１００ｚｄに含まれているが、静止画像１００ｚｃに含まれていない画像部分の画像データを、撮影範囲Ｒｂの静止画像の静止画像データから取得して補完する。
なお、この変形例の補正処理は、図６で説明した補正処理部２５によって行われる。
【００４５】
（変形例２）
上述した実施形態で説明した、撮影部１１が従うべき動作条件はあくまで一例であり、他の動作条件が使用されてもよい。動作条件の他の例としては、静止画像撮影モード／動画像撮影モードの切り替えや、静止画像の色合いや色調等の画質の調整、夜景撮影モードの有無、ストロボ撮影の有無の設定等があるが、汎用のカメラで使用される撮影条件と同じものが採用されてもよい。
【００４６】
（変形例３）
上述した実施形態では、眼鏡型端末１は、図形の形状や大きさ、速度、始点・終点間の距離というジェスチャ又は図形の特徴に基づいて、撮影に関する設定をしていたが、他のジェスチャ又は図形の特徴を用いて撮影に関する設定をしてもよい。
例えば、制御部２０は、図形が描かれる方向をジェスチャの特徴としてもよい。図形が描かれる方向は、例えば時計回り又は半時計回りのどちらの方向に軌跡が進行しているかによって特定される。
【００４７】
眼鏡型端末１の制御部２０が認識する図形は、閉じた図形に限られない。例えば、制御部２０は、渦巻きを描くジェスチャを認識して、認識した渦巻き図形の特徴に応じて撮影に関する設定をしてもよい。
【００４８】
ここで、渦巻き図形の認識アルゴリズムを、図１４を参照して説明する。
（手順１）制御部２０は、始点Ｐｓを検出した後、取得した軌跡の位置情報で特定される軌跡の傾きを所定周期で求める。制御部２０は、軌跡を微分し、その微分値（傾き）が正（＋）（ここでは、接線が右下がりとなる傾き）から、負（−）（ここでは、接線が右上がりとなる傾き）へと変化する点を、始点Ｐｓに近い方から順に２つ特定する。図１４（ａ）の例では、制御部２０は、点ｍ１及び点ｍ２を特定する。
なお、ＲＡＭに記憶されている軌跡は点の集合であるから、制御部２０は、この微分を行うために各点同士の間を補間する処理を行う。
（手順２）制御部２０は、点ｍ１と点ｍ２とを線分で結び、その中点である中心点を特定する処理を試みる。図１４（ａ）において、この中心点は点Ｍに相当する。この点Ｍは、ＲＡＭに記憶された軌跡が渦巻きや円に相当する図形であれば特定されるはずであり、渦巻きや円の中心の位置を表す。
（手順３）制御部２０は、（手順２）で点Ｍを特定することができれば、始点Ｐｓと、点Ｍとを通る半直線を判断直線Ｌとし、この判断直線Ｌが始点Ｐｓ以外の軌跡上の点と重なるかどうかを判断する。図１４（ａ）の例では、判断直線Ｌと始点Ｐｓ以外の軌跡とが重なる点は、点Ｃである。
（手順４）制御部２０は、判断直線Ｌに始点Ｐｓ以外の軌跡上の点があると判断した場合には、この点（点Ｃ）と始点Ｐｓとの距離ｄを算出する。そして、制御部２０は、算出した距離ｄが閾値以上であれば渦巻き図形であり、距離ｄが閾値未満であれば円と判断する。この閾値は、軌跡が渦巻きを示しているのか、円を示しているのかを区別するために用いられる。
なお、図１４（ｂ）に示すように、判断直線Ｌ上の始点Ｐｓ以外の点として、点Ｃ１及びＣ２のように複数の点が特定される場合もある。この場合、制御部２０は、始点Ｐｓから最も近い点（ここでは点Ｃ１）と始点Ｐｓとの距離ｄを算出すればよい。
渦巻き図形の終点Ｐｆを判定する方法として、制御部２０は、例えば、ユーザ２が終点Ｐｆを指示するために行ったトリガ動作を検出する。このトリガ動作は、例えば、ユーザ２が人差し指を振る動作、又は、ユーザ２が一定時間同じ場所に指を静止させる動作であるが、これら以外の動作であってもよい。
【００４９】
以上が渦巻き図形の認識アルゴリズムの説明であるが、制御部２０は、更に別の渦巻き図形の特徴を特定してもよい。
例えば、制御部２０は、渦巻き図形の巻き数を特徴として特定してもよい。この場合、制御部２０は、（手順３）で求めた判断直線Ｌと始点Ｐｓ以外の軌跡上の点とが重なる点の数を、巻き数と判断する。図１４（ａ）に示された軌跡においては、判断直線Ｌ上の始点Ｐｓ以外の点は、点Ｃの１点であるから、渦巻きの特徴（巻き数）は「１」である。図１４（ｂ）に示された軌跡においては、判断直線Ｌ上の始点Ｐｓ以外の点は、点Ｃ１及び点Ｃ２の２点であるから、渦巻きの特徴（巻き数）は「２」である。
また、制御部２０は、渦巻きの幅を特徴としてもよい。渦巻きの幅は、始点Ｐｓと交点（点Ｃ，Ｃ１，Ｃ２）との距離に相当する。
【００５０】
なお、制御部２０は、渦巻き図形のジェスチャを認識する場合にも、閉じた図形の場合と同様に、描画速度、始点・終点間の距離等の特徴を使用して、撮影に関する設定をしてもよい。例えば、制御部２０は、点Ｃが描かれたタイミングにより撮影タイミングを設定して、撮影部１１に撮影を指示する。また、点Ｃが描かれたときの速度に応じて、シャッタスピードを設定してもよい。あるいは、制御部２０は、上述した（手順４）で算出した距離ｄに応じて、絞りを設定してもよい。
また、この変形例においても、各特徴に関連付けられる動作条件は特に問わず、例えば、（変形例２）で説明した動作条件が適宜使用されてもよい。また、この実施形態で説明した円の認識アルゴリズムを、上述した実施形態の眼鏡型端末１に適用してもよい。
【００５１】
（変形例４）
上述した実施形態の眼鏡型端末１の制御部２０は、ジェスチャを認識して撮影部１１に静止画像を撮影させていたが、ジェスチャを認識して撮影部１１に動画像を撮影させてもよい。この動画像の撮影においても、眼鏡型端末１は、撮影範囲、撮影タイミング及び動画像の撮影に関する動作条件を、上述した実施形態と同じ方法で設定する。
また、撮影部１１は、動画像と静止画像とをそれぞれ撮影可能であった。撮影部１１は、単一の撮影装置で実現されるのではなく、動作画像を撮影する撮影装置と、静止画像を撮影する撮影装置との組み合わせで実現されてもよい。
【００５２】
（変形例５）
眼鏡型端末１の制御部２０は、認識したジェスチャ又は当該ジェスチャで描かれた図形の特徴や、この特徴に関連付けられた動作条件を、表示部１２に画像を表示することによってユーザ２に報知してもよい。この場合、制御部２０は、文字の表示、画像（図）の表示、光の点滅等により報知するとよい。
なお、眼鏡型端末１は、表示部１２を備えなくてもよい。この場合、制御部２０は、軌跡画像を表示しない等の表示に係る処理を行わないようにすればよい。
【００５３】
（変形例６）
眼鏡部１０の具体的な形状は、図１に示した形状に限らない。眼鏡部１０は、利用者に装着されるとともに、眼鏡部１０の周辺（典型的には眼前）を撮影するように撮影部１１が設けられていればよい。
本発明は眼鏡型の撮影装置に限らず、ユーザによって観察される像を撮影する撮影装置に適用可能である。例えば、本発明の撮影装置は、ユーザが把持して使用する形態の撮影装置であってもよいし、ユーザが装着するヘルメット等の装着物に取り付けて使用される形態の撮影装置であってもよい。
本発明では、先に説明した構成や処理の一部が省略されてもよいし、別の構成や処理が追加されてもよい。例えば、眼鏡型端末１は、手に対応する画像を除去する補正処理を行わないようにしてもよい。
【００５４】
（変形例７）
上述した眼鏡型端末１の制御部２０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う撮影制御方法として実施することも可能である。
【符号の説明】
【００５５】
１…眼鏡型端末、２…ユーザ、１０…眼鏡部、１１…撮影部、１２…表示部、２０…制御部、２１…ジェスチャ認識部、２１１…始点記憶部、２１２…軌跡追跡部、２１３…終点検出部、２２…撮影制御部、２２１…撮影範囲設定部、２２２…動作条件設定部、２２３…撮影指示部、２３…出力制御部、２４…表示制御部、２５…補正処理部、３０…記憶部、３１…動作条件テーブル。
【図１】
2015091031.tif 000003
【図２】
2015091031.tif 000004
【図３】
2015091031.tif 000005
【図４】
2015091031.tif 000006
【図５】
2015091031.tif 000007
【図６】
2015091031.tif 000008
【図７】
2015091031.tif 000009
【図８】
2015091031.tif 000010
【図９】
2015091031.tif 000011
【図１０】
2015091031.tif 000012
【図１１】
2015091031.tif 000013
【図１２】
2015091031.tif 000014
【図１３】
2015091031.tif 000015
【図１４】
2015091031.tif 000016