(57)【要約】【課題】  直感的でわかりやすい操作入力が可能な操作装置を提供すること。【解決手段】  カメラ装置１０の位置の移動を元に操作を入力させる操作装置９は、カメラ装置１０によって撮影された画像を取得する撮影手段と、画像をもとにカメラ装置１０の位置の移動を検出する操作検出手段と、検出された位置の移動に対応づけられている動作を出力する動作出力手段と、を含めて構成され、操作検出手段は、画像が時系列に拡大されている場合に、カメラ装置１０が撮影対象に接近する方向へ移動する前移動として検出し、画像が時系列に縮小されている場合に、カメラ装置１０が撮影対象から遠ざかる方向へ移動する後移動として検出し、動作出力手段は、移動に対応する動作を出力することを特徴とする。【選択図】      図１
2005332061.tif 000002
【特許請求の範囲】
【請求項１】
カメラ装置の位置の移動を元に操作を入力させる操作装置であって、
前記操作装置は、前記カメラ装置によって撮影された画像を取得する撮影手段と、前記画像をもとにカメラ装置の位置の移動を検出する操作検出手段と、前記検出された位置の移動に対応づけられている動作を出力する動作出力手段と、を含めて構成され、
前記操作検出手段は、前記画像が時系列に拡大されている場合に、前記カメラ装置が撮影対象に接近する方向へ移動する前移動として検出し、前記画像が時系列に縮小されている場合に、前記カメラ装置が撮影対象から遠ざかる方向へ移動する後移動として検出し、
前記動作出力手段は、前記前移動に対応する動作または前記後移動に対応づけられている動作のうち、少なくとも１つの動作を出力することを特徴とする操作装置。
【請求項２】
前記操作装置は、階層化されたデータ構造へのアクセスを行うものとし、
前記前移動に対応づけられている動作は、前記データ構造を下位の階層へアクセスする動作とし、
前記後移動に対応づけられている動作は、前記データ構造を上位の階層へアクセスする動作とすることを特徴とする請求項１に記載の操作装置。
【請求項３】
前記操作検出手段は、前記画像から抽出される特徴点の位置の移動情報をもとに、前記画像の拡大または縮小を検出することを特徴とする請求項１または請求項２に記載の操作装置。
【請求項４】
前記特徴点は、前記画像から抽出される全ての特徴点の集合から、所定の選択窓の範囲内に位置する特徴点の集合を部分的に抽出して構成されることを特徴とする請求項３に記載の操作装置。
【請求項５】
前記操作検出手段は、前記画像が時系列に平行移動されている場合に、平行移動されている方向を検出し、
前記動作出力手段は、前記平行移動されている方向へカーソルを移動させる動作を出力することを特徴とする請求項１ないし請求項４のいずれか１項に記載の操作装置。
【請求項６】
カメラ装置の位置の移動を元に操作を入力させる操作入力端末であって、
前記操作入力端末は、前記カメラ装置によって撮影された画像を取得する撮影手段と、前記画像をもとに検出されたカメラ装置の位置の移動に対応づけられている動作を出力する動作出力手段と、を含めて構成され、
前記カメラ装置の位置の移動は、前記カメラ装置が撮影対象に接近する方向へ移動する前移動、または、前記カメラ装置が撮影対象から遠ざかる方向へ移動する後移動のうち、少なくとも１つから構成され、
前記動作出力手段は、前記前移動に対応する動作または前記後移動に対応づけられている動作のうち、少なくとも１つの動作を、記憶手段から読み出して出力することを特徴とする操作入力端末。
【請求項７】
前記操作入力端末は、階層化されたデータ構造へのアクセスを行うものとし、
前記前移動に対応づけられている動作は、前記データ構造を下位の階層へアクセスする動作とし、
前記後移動に対応づけられている動作は、前記データ構造を上位の階層へアクセスする動作とすることを特徴とする請求項６に記載の操作入力端末。
【請求項８】
カメラ装置の位置の移動を元に操作を入力させる操作方法であって、
コンピュータが、前記カメラ装置によって撮影された画像を取得する撮影手順と、前記画像をもとにカメラ装置の位置の移動を検出する操作検出手順と、前記検出された位置の移動に対応づけられている動作を出力する動作出力手順と、を実行し、
前記操作検出手順は、前記画像が時系列に拡大されている場合に、前記カメラ装置が撮影対象に接近する方向へ移動する前移動として検出し、前記画像が時系列に縮小されている場合に、前記カメラ装置が撮影対象から遠ざかる方向へ移動する後移動として検出し、
前記動作出力手順は、前記前移動に対応する動作または前記後移動に対応づけられている動作のうち、少なくとも１つの動作を出力することを特徴とする操作方法。
【請求項９】
前記コンピュータは、階層化されたデータ構造へのアクセスを行うものとし、
前記前移動に対応づけられている動作は、前記データ構造を下位の階層へアクセスする動作とし、
前記後移動に対応づけられている動作は、前記データ構造を上位の階層へアクセスする動作とすることを特徴とする請求項８に記載の操作方法。
【請求項１０】
請求項８または請求項９に記載の操作方法をコンピュータに実行させるための操作プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作装置、操作入力端末、操作方法、および、操作プログラムに関する。
【背景技術】
【０００２】
従来、携帯端末などの操作は、ボタンを押すことによって行われることが主となっている。さらに、端末の大きさによる制約から、ボタンの数はキーボードと比べ大変少なく、ボタン自体も小さくなっている。このため、利用者は、携帯端末を操作するために、ボタン押し動作を繰り返さなければならず、とても不便である。
【０００３】
このボタン押し動作を軽減する技術として、本願出願人による「携帯電話機用入力方法、および携帯電話機」がある（特許文献１）。これは、携帯端末の操作の際に、利用者の唇の動きなどから発話単語を認識することで、文章入力や端末操作の際のユーザのボタン押し動作を軽減する、というものである。この技術を用いれば、携帯端末の操作時のボタン押し操作を減らすことができる。
【特許文献１】特開２００２−２５２６８２号公報（段落[０００７]）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１などの従来の技術は、ボタン押しの操作や、口を動かしての操作など、操作が直感的ではなく、わかりにくいという問題があった。例えば、ボタン押しの操作では、１つのボタンに複数の操作が割り当てられたりしていたりするので、ボタンと操作との対応を、ユーザは正確に把握することが必要となり、操作性に難点があった。また、口を動かしての操作も同様に、ユーザは、口の動かし方と、その動かし方に対応付けられた操作を把握する負担を強いられる。
【０００５】
そこで、本発明は、前記した問題を解決し、直感的でわかりやすい操作入力が可能な操作装置を提供することを、主な目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため、請求項１に記載の操作装置は、カメラ装置の位置の移動を元に操作を入力させる操作装置であって、
前記操作装置は、前記カメラ装置によって撮影された画像を取得する撮影手段と、前記画像をもとにカメラ装置の位置の移動を検出する操作検出手段と、前記検出された位置の移動に対応づけられている動作を出力する動作出力手段と、を含めて構成され、
前記操作検出手段は、前記画像が時系列に拡大されている場合に、前記カメラ装置が撮影対象に接近する方向へ移動する前移動として検出し、前記画像が時系列に縮小されている場合に、前記カメラ装置が撮影対象から遠ざかる方向へ移動する後移動として検出し、
前記動作出力手段は、前記前移動に対応する動作または前記後移動に対応づけられている動作のうち、少なくとも１つの動作を出力することを特徴とする。
【０００７】
これにより、ユーザは、カメラ装置の位置の移動という直感的でわかりやすい操作入力方法によって、効率的に操作を入力することができる。
【０００８】
請求項２に記載の操作装置は、請求項１に記載の操作装置であって、前記操作装置は、階層化されたデータ構造へのアクセスを行うものとし、
前記前移動に対応づけられている動作は、前記データ構造を下位の階層へアクセスする動作とし、
前記後移動に対応づけられている動作は、前記データ構造を上位の階層へアクセスする動作とすることを特徴とする。
【０００９】
これにより、ユーザは、Ｗｅｂページなどの階層構造をもつデータに対して、あたかも積まれた書類であるかのようにアクセスすることができるので、アクセス操作を直感的に行うことができる。
【００１０】
請求項３に記載の操作装置は、請求項１または請求項２に記載の操作装置であって、前記操作検出手段は、前記画像から抽出される特徴点の位置の移動情報をもとに、前記画像の拡大または縮小を検出することを特徴とする。
【００１１】
これにより、カメラ装置の撮影画像からカメラ装置の位置の移動を取得することにより、カメラ装置を有する携帯電話などの、既存の資産を有効に活用することができる。
【００１２】
請求項４に記載の操作装置は、請求項３に記載の操作装置であって、前記特徴点は、前記画像から抽出される全ての特徴点の集合から、所定の選択窓の範囲内に位置する特徴点の集合を部分抽出して構成されることを特徴とする。
【００１３】
これにより、選択窓によって信頼度の高い特徴点が選択されて、その選択された特徴点をもとに、画像処理が行われるので、画像処理の精度が向上する。
【００１４】
請求項５に記載の操作装置は、請求項１ないし請求項４のいずれか１項に記載の操作装置であって、前記操作検出手段は、前記画像が時系列に平行移動されている場合に、平行移動されている方向を検出し、
前記動作出力手段は、前記平行移動されている方向へカーソルを移動させる動作を出力することを特徴とする。
【００１５】
これにより、ユーザは、カメラ装置を３次元的に動かすことで、操作を直感的に行うことができる。
【００１６】
請求項６に記載の操作入力端末は、カメラ装置の位置の移動を元に操作を入力させる操作入力端末であって、
前記操作入力端末は、前記カメラ装置によって撮影された画像を取得する撮影手段と、前記画像をもとに検出されたカメラ装置の位置の移動に対応づけられている動作を出力する動作出力手段と、を含めて構成され、
前記カメラ装置の位置の移動は、前記カメラ装置が撮影対象に接近する方向へ移動する前移動、または、前記カメラ装置が撮影対象から遠ざかる方向へ移動する後移動のうち、少なくとも１つから構成され、
前記動作出力手段は、前記前移動に対応する動作または前記後移動に対応づけられている動作のうち、少なくとも１つの動作を出力することを特徴とする。
【００１７】
これにより、ユーザは、カメラ装置の位置の移動という直感的でわかりやすい操作入力方法によって、効率的に操作を入力することができる。
【００１８】
請求項７に記載の操作入力端末は、請求項６に記載の操作入力端末であって、前記操作入力端末は、階層化されたデータ構造へのアクセスを行うものとし、
前記前移動に対応づけられている動作は、前記データ構造を下位の階層へアクセスする動作とし、
前記後移動に対応づけられている動作は、前記データ構造を上位の階層へアクセスする動作とすることを特徴とする。
【００１９】
これにより、ユーザは、Ｗｅｂページなどの階層構造をもつデータに対して、あたかも積まれた書類であるかのようにアクセスすることができるので、アクセス操作を直感的に行うことができる。
【００２０】
請求項８に記載の操作方法は、カメラ装置の位置の移動を元に操作を入力させる操作方法であって、
コンピュータが、前記カメラ装置によって撮影された画像を取得する撮影手順と、前記画像をもとにカメラ装置の位置の移動を検出する操作検出手順と、前記検出された位置の移動に対応づけられている動作を出力する動作出力手順と、を実行し、
前記操作検出手順は、前記画像が時系列に拡大されている場合に、前記カメラ装置が撮影対象に接近する方向へ移動する前移動として検出し、前記画像が時系列に縮小されている場合に、前記カメラ装置が撮影対象から遠ざかる方向へ移動する後移動として検出し、
前記動作出力手順は、前記前移動に対応する動作または前記後移動に対応づけられている動作のうち、少なくとも１つの動作を出力することを特徴とする。
【００２１】
これにより、ユーザは、カメラ装置の位置の移動という直感的でわかりやすい操作入力方法によって、効率的に操作を入力することができる。
【００２２】
請求項９に記載の操作方法は、請求項８に記載の操作方法であって、前記コンピュータは、階層化されたデータ構造へのアクセスを行うものとし、
前記前移動に対応づけられている動作は、前記データ構造を下位の階層へアクセスする動作とし、
前記後移動に対応づけられている動作は、前記データ構造を上位の階層へアクセスする動作とすることを特徴とする。
【００２３】
これにより、ユーザは、Ｗｅｂページなどの階層構造をもつデータに対して、あたかも積まれた書類であるかのようにアクセスすることができるので、アクセス操作を直感的に行うことができる。
【００２４】
請求項１０に記載の操作プログラムは、請求項８または請求項９に記載の操作方法をコンピュータに実行させることを特徴とする。
【００２５】
これにより、ユーザは、カメラ装置の位置の移動という直感的でわかりやすい操作入力方法によって、効率的に操作を入力することができる。
【発明の効果】
【００２６】
本発明は、カメラを前後に動かすことで、選択ボタンやクリアボタンなどを押さなければならなかった操作を、直感的に行うことを特徴とする。この効果として、Ｗｅｂページのリンクを辿っていく操作を行う際に、ユーザはカメラ装置を前後に動かす操作を行うことになり、ユーザはＷｅｂページがあたかも立体的に存在しているように閲覧することが可能となる。
【００２７】
また、本発明では、画像から抽出される特徴点のトラッキングの際に、特徴点の選択窓を適用していることにより、トラッキングにかかる計算負荷を減らすことが可能になる。
【００２８】
さらに、ズーム検出のための参照フレーム数を各フレーム間で検出される特徴点の移動距離により変化させることにより、ズーム検出精度を向上することが可能になる。
【発明を実施するための最良の形態】
【００２９】
以下に、本発明が適用される操作装置の一実施形態について、図面を参照して詳細に説明する。まず、本実施形態の操作装置の構成について、図１、図２、図５、図６、図７を参照して説明する。
【００３０】
図７に示されるように本実施形態の操作装置９は、例えばユーザによって把持され、操作装置９のカメラ装置１０が、画像を撮影する。ユーザは、カメラ装置１０を３次元的に動かして、カメラ装置１０の位置を移動させる。そして、操作装置９は、撮影された画像から、カメラ装置１０の移動を検出する。
【００３１】
操作装置９に撮影画像を提供するカメラ装置１０の移動方向について、図５を参照して説明する。図５は、カメラ装置１０が、３次元の空間に配置された図である。３次元の空間は、Ｘ軸、Ｙ軸、Ｚ軸によって表現される。ここで、カメラ装置１０は、撮影するためのレンズがＺ軸の方向を向いているものとする。
【００３２】
この場合、カメラ装置１０を前後に移動することは、カメラ装置１０をＺ軸の方向に移動することを示す。さらに、カメラ装置１０が前に移動することは、カメラ装置１０が撮影対象に接近する旨を示し、カメラ装置１０が後に移動することは、カメラ装置１０が撮影対象から遠ざかる旨を示す。そして、カメラ装置１０が左右に移動することは、カメラ装置１０がＸ軸の方向に移動することを示し、カメラ装置１０が上下に移動することは、カメラ装置１０がＹ軸の方向に移動することを示す。
【００３３】
ここで、ユーザがカメラ装置１０を把持する場合などでは、移動範囲が限定されることもある。例えば、ユーザが前移動による決定動作を入力させたい場合に、既にユーザの手が伸びきってしまっている場合や、カメラ装置１０の移動先に障害物が存在する場合には、カメラ装置１０の物理的な移動に制約が生じる。
そこで、カメラ装置１０は、移動による操作の入力を受け付けるか否かをユーザに指定させる手段として、ボタンなどによる操作有効期間指定手段を設けてもよい。
これにより、カメラ装置１０がこれ以上前に移動できない場合には、ユーザは、操作有効期間指定手段によって操作を無効にして、カメラ装置１０を一旦後に下げ、再び操作有効期間指定手段によって、操作を有効にしてからカメラ装置１０を前に移動させることが可能となる。よって、カメラの移動範囲が有限である場合においても、操作の入力回数に制約を生じさせることを、回避できる。
【００３４】
なお、以下の説明では、カメラ装置１０が前に移動することを、「ズームインする」と定義し、カメラ装置１０が後に移動することを、「ズームアウトする」と定義する。
ここで、ズームを変更する手段として、レンズのピントをハードウェアで調整するアナログズームや、撮影された画像の縮尺を画像処理によって変更するデジタルズームが、知られている。これらのアナログズームやデジタルズームは、それらの機能が対応付けられているズームボタンの押下などによって、ユーザに操作させるような構成が一般的であり、ズームボタンの押下は、カメラ装置１０そのものの移動を伴わないことも、考えられる。
そこで、カメラ装置１０は、装置本体の物理的な移動と、ズームボタンによるズーム機能の起動とを明確に区別するために、例えば、前記の操作有効期間指定手段を、ズームボタンに連動させる構成としてもよい。つまり、カメラ装置１０は、ズームボタンが押されている間は、操作を無効とするための信号を、操作装置９に送信する画像に付加する。そして、操作装置９は、前記無効の信号を検出した場合には、画像処理によるズームの検出を行わないこととする。
これにより、装置本体の物理的な移動の検出を、より正確に実現することが可能となる。
【００３５】
次に、本発明が適用される操作装置９は、ユーザによるカメラ装置１０の位置の移動を検出して、その移動方向に対応する動作を、操作の出力結果とすることを特徴とする。図６（Ａ）は、提示するコンテンツの一例であるＷｅｂページ（Ｐ０１〜Ｐ２３）と、そのＷｅｂページにアクセスするためのカメラ装置１０を用いたユーザ操作（左移動など）との対応を示す図である。
【００３６】
例えば、ユーザが現在閲覧しているトップページであるＰ０１から、順にリンクをたどって、Ｐ２２のページを表示するための操作について、説明する。まず、ユーザは、カメラ装置１０を左に移動させて、カーソル（図示省略）を、Ｐ１１のページへのリンク文字の上に移動する。次に、ユーザは、カメラ装置１０を前に移動させて、カーソルで選択されているＰ１１のページへのリンクを選択（決定）することにより、Ｐ０１のページからＰ１１のページへと、表示を切り替える。さらに、ユーザは、カメラ装置１０を右に移動させて、カーソルを、Ｐ２２のページへのリンク文字の上に移動する。そして、ユーザは、カメラ装置１０を前に移動させて、カーソルで選択されているＰ２２のページへのリンクを選択（決定）することにより、Ｐ１１のページからＰ２２のページへと、表示を切り替える。
【００３７】
図６（Ｂ）は、本発明が適用される操作装置９の効果を説明する図である。コンテンツであるＷｅｂページについて、上位の階層から順にＰ０１、Ｐ１１、Ｐ２１、Ｐ３１、Ｐ４１となり、各階層の間は、リンクで接続されている。ユーザは、カメラ装置１０を前後に移動させることにより、これらの階層構造を、上位から下位および下位から上位に、効率的にアクセスすることができる。これにより、ユーザは、Ｗｅｂページが、あたかも積まれた書類であるかのように、アクセスすることができるので、アクセス操作を直感的に行うことができる。
【００３８】
図１に示す操作装置９は、操作の入力を受け付ける操作入力端末１と、入力された操作を解析する操作解析装置２と、を含めて構成される。操作装置９は、携帯電話やＰＤＡ（Personal Digital Assistance）などの携帯端末によって構成されてもよい。これにより、携帯端末の制約である操作ボタンの少なさをカバーして、多様な操作をユーザに入力させることができる。
【００３９】
なお、操作装置９は、演算処理を行う際に用いられる記憶手段としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備えるコンピュータとして構成される。なお、メモリは、ＲＡＭ（Random Access Memory）などにより構成される。演算処理は、ＣＰＵ（Central Processing Unit）によって構成される演算処理装置が、メモリ上のプログラムを実行することで、実現される。
【００４０】
操作装置９の撮影手段は、撮影して画像を作成するカメラ装置１０と、カメラ装置１０に撮影要求を送信し、画像を受信する画像取得部１１と、を含めて構成される。
【００４１】
操作装置９の操作検出手段は、撮影された画像に含まれる特徴点に関する情報を記憶する特徴点情報記憶部２０と、撮影された画像に含まれる特徴点を抽出する画像特徴点抽出部２１と、撮影された画像が初期フレームとして設定した場合に特徴点選択用の窓を適用することで特徴点の選択を行う選択用窓適用部２２と、撮影された画像のフレームから検出される特徴点に識別用のＩＤを付与する特徴点ＩＤ付与部２３と、特徴点情報登録部２４と、連続して撮影されたフレーム間で特徴点を追跡する特徴点トラッキング部２５と、特徴点の追跡結果から撮影された画像のズーム操作を検出するズーム検出部２６と、を含めて構成される。
【００４２】
操作装置９の操作検出手段は、さらに、画像のフレーム数のカウント数を記憶するカウント記憶部３０と、操作入力端末１のユーザを識別する情報を格納するユーザＩＤ情報記憶部３１と、画像のフレーム数をカウントするフレームカウント部３２と、画像の受信処理を開始してから、または、画像の受信処理の途中で初期化を行うことにより画像の受信処理を再開してから、最初に受信したフレームを初期フレームとして設定する初期フレーム設定部３３と、を含めて構成される。
【００４３】
操作装置９の動作出力手段は、入力された操作と、実行する動作との対応情報を記憶する出力設定記憶部４０と、入力された操作から特定される動作を出力する情報出力部４１と、動作を反映した結果を表示する表示装置４２と、を含めて構成される。
【００４４】
画像取得部１１は、カメラ装置１０に画像撮影命令を送信し、ある既知の時間間隔にて画像を撮影させ、撮影された画像を受信する手段を有している。このとき、撮影の時間間隔としては、１５分の１秒であったり、３０分の１秒であってもよい。操作装置９にて撮影が可能な時間間隔であればよい。カメラ装置１０は操作装置９と一体になっていてもよいし、またはケーブルなどで連結されている形状でもよい。または、カメラ装置１０と無線通信するものとして、分離した状態でもよいものとする。
【００４５】
画像特徴点抽出部２１は、カメラ装置１０にて撮影された画像に含まれる特徴点を取得する手段を有する。このとき、画像から抽出する特徴量としては、輝度情報や色相情報、輪郭、頂点などの情報を取得し、利用してもよいものとする。また、このとき、単一の特徴だけを利用するだけでなく、複数の特徴を同時に利用してもよいものとする。また、この画像特徴点検出部では、画像全体から特徴点を抽出するものとする。
【００４６】
フレームカウント部３２ではフレーム数のカウントを行う手段を有し、画像取得部１１にて受信した画像が処理の初期フレームであった場合や、処理途中でトラッキング失敗した場合などに初期化を行った際には、フレーム数のカウントを初期化する手段も有するものとする。なお、フレーム数は、カメラ装置１０から送信された動画像を構成する各画像（フレーム）について、カメラ装置１０から受信した画像の数として、定義される。そして、フレーム数は、ズーム検出部２６にて安定した検出結果を得るために、複数のフレーム間の特徴点の移動状況の統計（例えば、平均移動方向など）を計算するために、使用される。
【００４７】
特徴点トラッキング部２５は、フレーム内に含まれる特徴点のトラッキングを行う手段を有するものであり、各特徴点の位置変化を求める手段を有するものとする。このとき、特徴点にＩＤを付与しトラッキングを容易にしたり、初期フレームに対して特徴点の選択窓を適用し、特徴点を選択してもよいとする。また、特徴点が画面外に出てしまい、トラッキングを失敗した場合には、初期化を判断する手段を有していてもよいとする。
【００４８】
なお、選択窓は、予め用意されたテンプレートを適用してもよいし、ユーザに領域を指定させてもよい。さらに、コンピュータが選択窓を算出する方法を適用してもよい。選択窓の算出法は、例えば、カメラ装置１０が撮影対象とする画像領域について、カメラ装置１０のオートフォーカスによって合わされた特定のピントに適合する領域と、ピントがずれている（画像がぼけている）領域とに分け、特定のピントに適合する領域を選択窓とする方式が、挙げられる。この方式により、ピントがずれている領域の特徴点の信頼性は低いので、これらの特徴点のノイズを低減することができる。
【００４９】
特徴点情報登録部２４では、特徴点トラッキング部２５にて、トラッキングされた特徴点のフレーム間における変位情報などを特徴点情報記憶部２０に登録する手段を有する。なお、変位情報は、フレーム間において対応する特徴点の位置の移動量として、定義される。ここで、登録する情報としては、特徴点識別用のＩＤ、初期フレームからの経過フレーム番号、撮影時間間隔情報、各フレームにおける各特徴点の位置情報、トラッキングが成功しているか否かについての情報、などの情報を登録してもよいものとする。特徴点情報記憶部２０では、特徴点情報登録部２４から入力された情報を記憶する手段を有する。
【００５０】
ズーム検出部２６では、特徴点情報記憶部２０に記憶された情報を取得し、特徴点の変位情報からカメラの位置が初期フレームから前後に動いたか否かを検出する手段を有する。ここは、カメラ位置が初期フレームよりも前に動いた場合には、ズームインを行ったとし、また反対に初期フレームに比べ後ろに移動したと判断した場合にはズームアウトを行ったとみなすものとする。つまり、ズーム検出部２６は、カメラ装置１０によって撮影された画像に対する画像処理から、カメラ装置１０の位置の移動を検出することを特徴とする。
【００５１】
情報出力部４１では、ズーム検出部２６にてズームイン、ズームアウトの動作が行われたと判断した場合に、出力設定記憶部４０に記憶された設定に従った内容の出力を行う手段を有するものとする。
【００５２】
出力設定記憶部４０では、ズーム検出部２６にてズームイン、ズームアウトが検出された際に、情報出力部４１から出力する内容について設定を記憶しておく手段を有する。たとえば、ズームインが検出された場合には、「リターンキー」が押されたものとみなし、ズームアウトが検出された場合には、「クリア」ボタンが押された際の動作を行うものとする、などといった設定情報を記憶するものとする。
【００５３】
図２の概念図を用いて、本発明について説明する。
【００５４】
符号Ｓ２０１は操作装置９に付属するカメラ装置１０を用いて撮影した画像であるとする。撮影する被写体としては、カメラ周辺に存在し、静物であるものとする。被写体からの距離などは特に指定しないものとする。
【００５５】
前記カメラ装置１０にて撮影された画像を本装置に入力すると、画像に含まれる特徴点が抽出される。特徴点の抽出方法としては、輝度情報や色相情報、輪郭情報などを利用してもよいものとする。安定的に検出される特徴点が抽出されればよいものとする。
【００５６】
この前記抽出された特徴点のうち、特徴点選択用の窓を適用することで、画像の中心付近に存在する特徴点を選択できるようにする。この様子を示したものが符号Ｓ２０２である。符号Ｓ２０２では、画像に含まれた特徴点に対して矩形が重なった状態の窓を適用し、その窓に含まれる特徴点を選択している。これにより、画像中心からある程度の距離を持つ特徴点分布を得ることが可能となる。
【００５７】
このとき、窓の形状としては、符号Ｓ２０２のような矩形状でなくても円形でもよいとする。また、枠問の幅は、事前に設定しておくとしてもよいが、選択窓に含まれる特徴点の数や、画像の平均輝度、ヒストグラムの分布状況によって変化させてもよいとする。
【００５８】
特徴点の検出は、初期フレーム以外では画面全体で行う。そして、初期フレームで検出された特徴点をトラッキングすることで、特徴点位置の変化を求める。
【００５９】
符号Ｓ２０３、符号Ｓ２０４では、カメラが前後され、特徴点の位置が変化した状態を表す。変化前の特徴点を丸、移動語の特徴点をひし形にて示す。カメラが後ろに移動した場合には、画像に含まれる対象物の大きさは移動した分小さくなり、特徴点の分布は移動前よりも狭くなる。また、カメラが前に移動した場合には、画像内での対象物の大きさは移動した分大きくなるため、特徴点分布は移動前よりも広くなる。
【００６０】
前後移動の検出については、特徴点分布が放射状に広がったり狭まったりすることを利用する。特徴点を含む矩形などの図形面積が、初期フレームでの特徴点による図形面積に比べ、広がったり狭まったりした場合に、前後に移動したと判断してもよいし、または、全特徴点の移動ベクトルを求め、初期フレームでの特徴点位置に比べ、外側に向いているのか、内側に向いているのかを判断し、前後移動を検出するとしてもよい。
【００６１】
ユーザがカメラを把持する場合による手ぶれなどのノイズに対応するために、特徴点の変位検出には数フレームの画像を取得するものとする。取得フレーム数は、各フレーム間での特徴点の位置変化の大きさから変化させるものとする。たとえば、カメラを前後にゆっくり動かす場合には、手ぶれなどの変位ノイズが多く含まれるため、取得フレームを多くし、逆に、カメラを急速に移動させる場合には、取得フレーム数は少なくても、前後移動が容易に検出されるため、少ないフレーム数にしてもよいものとする。
【００６２】
特徴点の変位からカメラの動きが検出された場合には、前後移動にそれぞれ対応させた出力をするものとする。この出力は、ある一定の出力を行ってもよいし、または、事前の設定により、特定の出力を行ってもよいものとする。なお、事前の設定は、例えば、前の移動を決定（エンター）動作とし、後の移動を戻る（リターン）動作とし、前後左右の移動をカーソルの前後左右の移動動作とするような、カメラの動きと画面への動作とを対応づける情報である。
【００６３】
以上、操作装置９の構成について、説明した。次に、本実施形態の操作装置９の動作について、図１、図２、図５、図６、図７を参照しつつ、図３および図４に沿って説明する。
【００６４】
まず、図３のフローチャートを用いて、説明を行う。なお、図３の動作の主体は、操作装置９である。
【００６５】
まず、画像要求送信処理（Ｓ３０１）ではカメラ装置１０に対して、撮影要求を送信する。前記撮影要求は、撮影時問間隔や、撮影画像サイズなどの情報も含まれていてもよいものとする。
【００６６】
画像受信処理（Ｓ３０２）は、前記画像要求送信処理（Ｓ３０１）にてカメラ装置１０に送信した内容で撮影された画像を受信する。ここで、カメラ装置１０は、操作装置９に内蔵されていてもよいし、操作装置９と有線通信または無線通信により通信可能に構成されてもよい。なお、有線通信は、例えば、ＵＳＢ（Universal Serial Bus）規格によって行われる。
【００６７】
操作装置９は、画像受信処理（Ｓ３０２）で受信した画像が初期フレームのものであるか否かを判断する。画像要求送信処理（Ｓ３０１）の実行回数が１回目であれば、初期フレームと判断し（Ｓ３０３、Ｙｅｓ）、フレームカウンタ初期化処理（Ｓ３０４）を実行する。ここで、初期フレームとして判断される条件として、特徴点のトラッキングが失敗した場合も含めるものとする。トラッキング失敗の場合には、カウンタ初期化要求が送信されるため、初期化要求を受信した時点で、初期フレームと判断してよいものとする。
【００６８】
フレームカウント処理（Ｓ３０５）では、フレーム数のカウントを行う。フレームカウンタ初期化処理（Ｓ３０４）が実行された場合には、カウント数は初期化されているものとする。
【００６９】
その後、特徴点検出処理（Ｓ３０８）にて画像中の特徴点を抽出する。特徴点抽出方法は、輝度情報や色相情報、または輪郭情報などを利用してもよいとする。または、これらの情報を組み合わせた手法を用い、入力画像により抽出方法を変化させてもよいとする。
【００７０】
フレームのカウント数が初期化されている場合には（Ｓ３０９、Ｙｅｓ）、特徴点選択用の窓を適用するため、選択用窓適用処理（Ｓ３１０）を実行する。その後、特徴点ＩＤ付与処理（Ｓ３１１）にて選択した特徴点に対して特徴点ＩＤ付与処理（Ｓ３１１）を行い、選択した各特徴点にＩＤを付与する。
【００７１】
特徴点トラッキング処理（Ｓ３１２）は、ＩＤを付与された特徴点をトラッキングする。特徴点情報記憶部２０を参照し、特徴点の変位情報を算出する。
【００７２】
特徴点情報登録処理（Ｓ３１４）では、特徴点ＩＤを元に、各特徴点の変位情報、トラッキング結果などを特徴点情報記憶部２０に登録する。Ｓ３０９にて初期フレームであると判断された場合には、特徴点のＩＤ情報や、位置情報などが登録され、次フレームでトラッキングを行うために参照される。
【００７３】
トラッキングが失敗したと判断された場合には（Ｓ３１５、Ｙｅｓ）、初期化要求処理（Ｓ３１６）が実行される。初期化要求処理（Ｓ３１６）では、初期化要求が画像受信処理（Ｓ３０２）に送られ、次の画像が受信された時点を初回の受信として見なすことになる。
【００７４】
トラッキングが成功した場合には（Ｓ３１５、Ｎｏ）、ズームイン、ズームアウトを検出するズーム検出処理（Ｓ３１７）を実行する。ここでは、フレームカウント数を参照し、ズームイン、ズームアウトの時間変化を求め、一定フレーム連続してどちらかの操作が行われた場合に検出結果を出力するものとする。ある一定時間における変化を閾値としておくことで、手ぶれなどの微小変化に対応するものとする。
【００７５】
また、特徴点情報記憶部２０を参照し、各フレーム間での変化量を求めることで、ズームイン、ズームアウトの操作が急速に行われたか、またはゆっくりと行われたかを変化量を求めることで検出でき、この変化量に合わせてズームの検出のための時間を変化させるとしてもよい。たとえば、急速にズームイン、ズームアウトの操作が行われた場合には、フレーム間の変化量が大きいことから、ズーム動作の検出のためのフレーム数を減らしても検出が容易であるため、フレーム数を減らすことができる。
【００７６】
逆に、ゆっくりとした操作である場合には、ズーム検出のためのフレーム数を多く取ることで、手ぶれなどのノイズに対応できるようになる。また、ズーム検出処理（Ｓ３１７）にて、複数のフレーム間における特徴点の変位の平均などの統計量を用いて、ある一定時間における各特徴点の移動方向を検出してもよいとする。
【００７７】
出力処理（Ｓ３１８）では、ズームイン、ズームアウトの動作が検出された場合に、それぞれの動作に対応づけられた出力を、出力設定記憶部４０を参照して、事前の設定を元に情報出力部４１が、表示装置４２に操作を出力する。そして、終了継続の判断において、外部から終了命令が与えられた場合に、終了選択を行い、終了するものとする。
【００７８】
本発明の処理をサーバ・クライアント間で行う場合について、図４を用いて説明する。なお、図４の動作の主体は、操作入力端末１（クライアントに対応）および操作解析装置２（サーバに対応）である。ここで、１台の操作解析装置２（サーバ）は、複数の操作入力端末１（クライアント）を扱ってもよい。そのため、個々の操作入力端末１には、端末を識別するためのＩＤが付されており、操作解析装置２とデータを通信する際には、端末を識別するためのＩＤが、通信の各パケットに含まれるようにする。
【００７９】
図４は、図３と異なり、操作装置９の役割を、操作入力端末１と操作解析装置２とに分離することを特徴とする。これにより、操作解析装置２が画像処理を一括で行うので、操作入力端末１の計算の負担を軽減することができる。よって、操作入力端末１は、従来から普及している簡易的なプログラムが実行可能な携帯電話などに、操作入力端末１の処理を実現するプログラムをインストールするだけで済むので、ハードウェアの買い替えをせずに済む。これにより、本発明に関する操作装置９を、低コストで普及させることができる。
【００８０】
画像要求受信処理（Ｓ４０１）では、カメラ装置１０に画像の送信を要求し、受信を行う。
【００８１】
フレームカウント処理（Ｓ４０２）では、画像を取得した回数をカウントする。入力される画像を動画フレームの１フレームごととみなして、フレーム数をカウントする。
【００８２】
カウント記憶部３０は、カウントしたフレーム数と保存しておく記憶手段であり、ユーザＩＤ情報記憶部３１は、ユーザＩＤを保存しておく記憶手段である。なお、ユーザＩＤはサーバ側にデータを送信したときの、送信元の識別のために使用される。
【００８３】
画像、ユーザＩＤ情報送信処理（Ｓ４０４）では、画像要求受信処理（Ｓ４０１）にて取得された画像と、ユーザＩＤをサーバ側に送信する。サーバ側に送信された画像は、画像、ユーザＩＤ情報受信処理（Ｓ４０５）にて受信される。ここで、画像情報とともに送られたユーザＩＤが認識され、ユーザの識別が行われる。ユーザＩＤから受信した画像データが初期フレームであるか否かを確認する。
【００８４】
初期フレームである場合には（Ｓ４０７、Ｙｅｓ）、カウント初期化処理（Ｓ４０８）にてフレームカウンタのカウンタを初期化する。そして、フレームカウント処理（Ｓ４０９）にてフレームカウントが実行される。カウント初期化処理（Ｓ４０８）でカウントが初期化された場合には、カウントは初期化されるものとする。カウント情報は、カウント記憶部３０で保存される。
【００８５】
特徴点抽出処理（Ｓ４１０）にて画像内の特徴点が抽出される。このとき、特徴点抽出方法としては、輝度分布であったり、色相情報であったりしてもよく、複数の画像特徴量を利用して抽出してもよい。また、画像情報から利用する特徴量を変えてもよいものとする。
【００８６】
カウントがカウント初期化処理（Ｓ４０８）にて初期化されている場合には（Ｓ４１２、Ｙｅｓ）、特徴点の選択を行うために、選択用窓適用処理（Ｓ４１３）にて選択用の窓を適用する。この選択窓は、図２の２０２にて説明したような矩形を重ねた状態の窓であってもよいし、円形を重ねた状態の窓であってもよいものとする。選択された特徴点が、中心からある程度の距離をもって分布するようになればよいとする。
【００８７】
選択用窓適用処理（Ｓ４１３）にて選択された特徴点は、識別用ＩＤ付与処理（Ｓ４１４）にて識別用のＩＤを付与される。特徴点ＩＤの情報と、特徴点の位置情報、フレームカウント数などが特徴点情報記憶部２０に保存される。この特徴点情報記憶部２０に保存された情報を元に、特徴点トラッキング処理（Ｓ４１６）にて特徴点のトラッキングを行う。
【００８８】
特徴点トラッキング処理（Ｓ４１６）によって、各フレーム間での特徴点の変位情報が得られる。この変位情報は、特徴点情報登録処理（Ｓ４１８）で特徴点情報記憶部２０に保存される。
【００８９】
このとき、トラッキングを失敗し、特徴点のトラッキングができなかった場合には（Ｓ４１９、Ｙｅｓ）、再度初期条件に戻すように初期化要求処理（Ｓ４２０）を実行する。この初期化要求処理（Ｓ４２０）にて初期化された際には、画像、ユーザＩＤ情報受信処理（Ｓ４０５）で画像が初めて入力された場合と同様に、カウント初期化処理（Ｓ４０８）が実行され、フレームカウンタが初期化される。
【００９０】
トラッキングが成功した場合には（Ｓ４１９、Ｎｏ）、ズームが行われたか、否かを検出するズーム検出処理（Ｓ４２１）が実行される。ズームイン、ズームアウトが検出されたか否かの検出結果を検出結果送信処理（Ｓ４２２）にてクライアント側に送信する。このとき、送信される検出結果は、ズームイン、ズームアウト、検出なし、失敗などの情報を送信するものとする。
【００９１】
クライアントに送信された検出結果情報は、検出結果受信処理（Ｓ４２３）にて受信され、検出が成功したか否かを判断する。その結果、検出が成功していれば（Ｓ４２４、Ｎｏ）、ズームイン、ズームアウトに対応させた出力を出す。このとき、出力設定記憶部４０の出力設定をもとにして出力を行うものとする。検出が成功しても失敗しても、終了・継続命令送信処理（Ｓ４２７）を実行する。
【００９２】
この終了・継続命令はサーバ側の終了・継続命令受信処理（Ｓ４２８）にて受信される。受信結果から、終了命令が得られた場合には、サーバ側の処理は終了するものとする（Ｓ４２９、Ｎｏ）。これらの処理により、画像の特徴点の変位からカメラの前後移動を検出することが可能となる。
【００９３】
以上説明した本発明は、以下のようにその趣旨を逸脱しない範囲で広く変形実施することができる。
【００９４】
例えば、カメラ装置１０の移動と、カーソル動作との対応情報は、前記の対応情報に限定されず、様々な対応情報を活用してもよい。例えば、前の移動を戻る（リターン）動作とし、後の移動を決定（エンター）動作としてもよい。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施形態に関する操作装置の構成図である。
【図２】本発明の一実施形態に関する選択窓の処理の概念図である。
【図３】本発明の一実施形態に関する操作装置の処理を示すフローチャートである。
【図４】本発明の一実施形態に関するサーバ・クライアント間で行う処理を示すフローチャートである。
【図５】本発明の一実施形態に関するカメラ装置の移動の概念図である。
【図６】本発明の一実施形態に関する階層構造を持つデータ構造へのアクセスを示す図である。
【図７】本発明の一実施形態に関する操作装置の利用例を示す図である。
【符号の説明】
【００９６】
１      操作入力端末
９      操作装置
１０    カメラ装置
２０    特徴点情報記憶部
２１    画像特徴点抽出部
２２    選択用窓適用部
２６    ズーム検出部
４０    出力設定記憶部
４１    情報出力部
【図１】
2005332061.tif 000003
【図２】
2005332061.tif 000004
【図３】
2005332061.tif 000005
【図４】
2005332061.tif 000006
【図５】
2005332061.tif 000007
【図６】
2005332061.tif 000008
【図７】
2005332061.tif 000009