(57)【要約】  電子機器は、カメラと、筐体に加わる加速度を検出する加速度センサと、前記カメラによって撮像された撮像画像と、前記加速度センサによって検出された加速度とに基づいて前記筐体の移動速度を算出する移動速度算出部と、を備える。
2013051645.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
筐体に加わる加速度を検出する加速度センサと、
前記カメラによって撮像された撮像画像と、前記加速度センサによって検出された加速度とに基づいて前記筐体の移動速度を算出する移動速度算出部と、
を備えることを特徴とする電子機器。
【請求項２】
前記カメラによって撮像された撮像画像におけるオプティカルフローに基づいて第１の移動量ベクトルを算出し、前記加速度センサによって検出された加速度に基づいて第２の移動量ベクトルを算出する移動量ベクトル算出部を備え、
前記移動速度算出部は、前記移動量ベクトル算出部で算出された前記第１の移動量ベクトル及び前記第２の移動量ベクトルを用いて前記筐体の移動速度を算出する
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記第１の移動量ベクトルの信頼度を示す第１の信頼度スコア、及び、前記第２の移動量ベクトルの信頼度を示す第２の信頼度スコアを算出する信頼度スコア算出部をさらに備え、
前記移動速度算出部は、前記第１の移動量ベクトル、前記第２の移動量ベクトル、前記第１の信頼度スコア、及び、前記第２の信頼度スコアを用いて、前記筐体の移動速度を算出する
ことを特徴とする請求項２に記載の電子機器。
【請求項４】
請求項３に記載の電子機器において、
前記信頼度スコア算出部は、
前記撮像画像内の特徴点における動きベクトルのばらつきの程度が小さいほど高い値の前記第１の信頼度スコアを算出し、
前記加速度が小さいほど低い値の前記第２の信頼度スコアを算出する
ことを特徴とする電子機器。
【請求項５】
請求項３又は請求項４に記載の電子機器において、
前記信頼度スコア算出部は、
前記撮像画像内の特徴点の数が多いほど高い値の前記第１の信頼度スコアを算出し、
撮像時の測距情報の信頼度が高いほど高い値の前記第１の信頼度スコアを算出する
ことを特徴とする電子機器。
【請求項６】
請求項３から請求項５の何れか１項に記載の電子機器において、
前記筐体の角速度を検出する角速度センサを更に備え、
前記移動量ベクトル算出部は、
前記角速度センサによって検出された角速度に基づいて第３の移動量ベクトルを算出し、
前記信頼度スコア算出部は、
第３の移動量ベクトルの信頼度を示す第３の信頼度スコアを算出し、
前記移動速度算出部は、
前記第１の移動量ベクトル、前記第２の移動量ベクトル、前記第３の移動量ベクトル、前記第１の信頼度スコア、前記第２の信頼度スコア、前記第３の信頼度スコアを用いて、前記筐体の移動速度を算出する
ことを特徴とする電子機器。
【請求項７】
請求項６に記載の電子機器において、
前記信頼度スコア算出部は、
前記角速度が小さいほど低い値の前記第３の信頼度スコアを算出する
ことを特徴とする電子機器。
【請求項８】
請求項３から請求項７の何れか１項に記載の電子機器において、
前記移動量ベクトル算出部は、
前記撮像時の測距情報、撮像時の焦点距離情報、及び前記オプティカルフローとから、前記第１の移動量ベクトルを算出する
ことを特徴とする電子機器。
【請求項９】
請求項３から請求項７の何れか１項に記載の電子機器において、
前記移動量ベクトル算出部は、
前記第２の信頼度スコアの値が所定の閾値以上である直近の１つの時点における前記第２の移動量ベクトルの値と前記時点の前記オプティカルフローとの比率、及び、現在のオプティカルフローに基づいて前記第１の移動量ベクトルを算出する
ことを特徴とする電子機器。
【請求項１０】
請求項３から請求項９の何れか１項に記載の電子機器において、
前記移動量ベクトル算出部は、
前記撮像画像の背景部分におけるオプティカルフローに基づいて前記第１の移動量ベクトルを算出する
ことを特徴とする電子機器。
【請求項１１】
第１の電子機器と第２の電子機器とを備え、前記第１の電子機器及び前記第２の電子機器を用いて前記第２の電子機器の移動速度を算出する移動速度算出システムであって、
前記第１の電子機器は、
特徴点を有する映像を投影する投影部を有し、
前記第２の電子機器は、
前記投影部によって投影された投影像を撮像するカメラと、
前記第２の電子機器に加わる加速度を検出する加速度センサと、
前記カメラによって撮像された前記投影像内の前記特徴点のオプティカルフローに基づいて第１の移動量ベクトルを算出し、前記加速度センサによって検出された加速度に基づいて第２の移動量ベクトルを算出する移動量ベクトル算出部と、
前記第１の移動量ベクトルの信頼度を示す第１の信頼度スコア、及び、前記第２の移動量ベクトルの信頼度を示す第２の信頼度スコアを算出する信頼度スコア算出部と、
前記第１の移動量ベクトル、前記第２の移動量ベクトル、前記第１の信頼度スコア、及び、前記第２の信頼度スコアを用いて、空間での前記第２の電子機器の移動速度を算出する移動速度算出部とを有する  ことを特徴とする移動速度算出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器及び移動速度算出システムに関する。
本願は、２０１１年１０月５日に出願された特願２０１１−２２０８３４号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
従来、加速度センサを備える電子機器が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５０６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、加速度センサを用いて自機器の移動速度を算出した場合、算出した移動速度に誤差が生じ易いという問題がある。特に、筐体に加わる加速度が小さい場合に、移動速度を精度良く算出できないという問題がある。
本発明の態様は、空間における筐体の移動速度を精度良く算出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一態様である電子機器は、カメラと、筐体に加わる加速度を検出する加速度センサと、前記カメラによって撮像された撮像画像と、前記加速度センサによって検出された加速度とに基づいて前記筐体の移動速度を算出する移動速度算出部と、を備える。【０００６】
本発明の他の態様である移動速度算出システムは、第１の電子機器と第２の電子機器とを備え、前記第１の電子機器及び前記第２の電子機器を用いて前記第２の電子機器の移動速度を算出する移動速度算出システムであって、前記第１の電子機器は、特徴点を有する映像を投影する投影部を有し、前記第２の電子機器は、前記投影部によって投影された投影像を撮像するカメラと、前記第２の電子機器に加わる加速度を検出する加速度センサと、前記カメラによって撮像された前記投影像内の前記特徴点のオプティカルフローに基づいて第１の移動量ベクトルを算出し、前記加速度センサによって検出された加速度に基づいて第２の移動量ベクトルを算出する移動量ベクトル算出部と、前記第１の移動量ベクトルの信頼度を示す第１の信頼度スコア、及び、前記第２の移動量ベクトルの信頼度を示す第２の信頼度スコアを算出する信頼度スコア算出部と、前記第１の移動量ベクトル、前記第２の移動量ベクトル、前記第１の信頼度スコア、及び、前記第２の信頼度スコアを用いて、空間での前記第２の電子機器の移動速度を算出する移動速度算出部とを有する。
【発明の効果】
【０００７】
本発明の態様によれば、空間における筐体の移動速度を精度良く算出することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態による電子機器の機能ブロック図の一例である。
【図２Ａ】第１の移動量ベクトル算出部の処理を説明するための説明図である。
【図２Ｂ】第１の移動量ベクトル算出部の処理を説明するための説明図である。
【図２Ｃ】第１の移動量ベクトル算出部の処理を説明するための説明図である。
【図２Ｄ】第１の移動量ベクトル算出部の処理を説明するための説明図である。
【図３】電子機器の処理の流れを示すフローチャートの一例である。
【図４】電子機器を含む移動速度算出システムを説明するための説明図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の実施形態について説明する。図１は、本発明の実施形態による電子機器１０の機能ブロック図の一例である。
【００１０】
電子機器１０は、ハンディサイズの機器であって、図１に示すように、カメラ１１０、加速度センサ１２０、ジャイロセンサ（角速度センサ）１３０、第１の移動量ベクトル算出部（移動量ベクトル算出部）１４０、第２の移動量ベクトル算出部（移動量ベクトル算出部）１５０、第３の移動量ベクトル算出部（移動量ベクトル算出部）１６０、信頼度スコア算出部１７０、及び、移動速度算出部１８０を備える。
【００１１】
カメラ１１０は、カメラユニット（モジュール）であって、例えば、距離を測定する測距部と、レンズを含む光学系と、光学系によって結像された被写体の像を光電変換する撮像素子と、撮像素子から出力されるアナログ信号を増幅するアンプと、アンプから出力されるアナログ信号をデジタル信号に変換するＡＤ変換部と、ＡＤ変換部からの出力に基づいて所定の形式の画像（動画像、静止画像）を生成する画像生成部（ＡＳＩＣ、ＤＳＰ）とを備える。
なお、カメラ１１０の構成のうち、光学系及び撮像素子以外の構成の一部又は全部についてカメラ１１０から独立した構成としてもよい。例えば、測距部、画像生成部は、カメラ１１０の構成要素ではなく、カメラ１１０とは別に電子機器１０が備える構成要素であってもよい（アンプ、ＡＤ変換部についても同様である）。但し、以下の説明においては、カメラ１１０が、上述の構成を全部備えるものとして説明する。
【００１２】
カメラ１１０は、撮像画像を第１の移動量ベクトル算出部１４０に出力する。また、カメラ１１０は、撮像時の測距情報、及び、撮像時の焦点距離情報を第１の移動量ベクトル算出部１４０に出力する。
【００１３】
加速度センサ１２０は、筐体に加わる加速度を検出する。加速度センサ１２０は、加速度の検出値を第２の移動量ベクトル算出部１５０に出力する。
【００１４】
ジャイロセンサ１３０は、筐体の角速度を検出する。ジャイロセンサ１３０は、角速度の検出値を第３の移動量ベクトル算出部１６０に出力する。
【００１５】
第１の移動量ベクトル算出部１４０は、カメラ１１０によって撮像された撮像画像におけるオプティカルフロー（特徴点における動きベクトル）に基づいて筐体の移動量ベクトル（以下、オプティカルフローに基づく筐体の移動量ベクトルを「第１の移動量ベクトル」という）を算出する。第１の移動量ベクトルは、ＸＹＺ座標上の単位時間の移動量、即ち、速度ベクトルである。
【００１６】
第１の移動量ベクトル算出部１４０は、算出した第１の移動量ベクトルを信頼度スコア算出部１７０に出力する。また、第１の移動量ベクトル算出部１４０は、カメラ１１０から取得した測距情報、焦点距離情報を信頼度スコア算出部１７０に出力する。
なお、第１の移動量ベクトル算出部１４０の処理の詳細は後述する。
【００１７】
第２の移動量ベクトル算出部１５０は、加速度センサ１２０によって検出された加速度に基づく筐体の移動量ベクトル（以下、加速度に基づく筐体の移動量ベクトルを「第２の移動量ベクトル」という）を算出する。第２の移動量ベクトルは、ＸＹＺ座標上の単位時間の移動量、即ち、速度ベクトルである。
【００１８】
第２の移動量ベクトル算出部１５０は、算出した第２の移動量ベクトルを信頼度スコア算出部１７０に出力する。また、第２の移動量ベクトル算出部１５０は、更に、加速度センサ１２０から取得した検出値（加速度）を信頼度スコア算出部１７０に出力してもよい。
【００１９】
第３の移動量ベクトル算出部１６０は、ジャイロセンサ１３０によって検出された角速度に基づく筐体の移動量ベクトル（以下、角速度に基づく筐体の移動量ベクトルを「第３の移動量ベクトル」という）を算出する。第３の移動量ベクトルは、ＸＹＺ座標上の単位時間の移動量、即ち、速度ベクトルである。なお、第３の移動量ベクトル算出部１６０は、例えば、回転軸方向の角速度をＸＹＺ座標上の速度成分に分解するなどの既知の手法によって、第３の移動量ベクトルを算出する。
【００２０】
第３の移動量ベクトル算出部１６０は、算出した第３の移動量ベクトルを信頼度スコア算出部１７０に出力する。また、第３の移動量ベクトル算出部１６０は、更に、ジャイロセンサ１３０から取得した検出値（角速度）を信頼度スコア算出部１７０に出力してもよい。
【００２１】
信頼度スコア算出部１７０は、第１の移動量ベクトルの信頼度を示す第１の信頼度スコアを算出する。また、信頼度スコア算出部１７０は、第２の移動量ベクトルの信頼度を示す第２の信頼度スコアを算出する。また、信頼度スコア算出部１７０は、第３の移動量ベクトルの信頼度を示す第３の信頼度スコアを算出する。
信頼度スコア算出部１７０は、算出した各信頼度スコア（第１の信頼度スコア、第２の信頼度スコア、第３の信頼度スコア）を移動速度算出部１８０に出力する。また、信頼度スコア算出部１７０は、第１の移動量ベクトル算出部１４０から取得した第１の移動量ベクトル、第２の移動量ベクトル算出部１５０から取得した第２の移動量ベクトル、及び、第３の移動量ベクトル算出部１６０から取得した第３の移動量ベクトルを移動速度算出部１８０に出力する。
なお、信頼度スコア算出部１７０の処理の詳細は後述する。
【００２２】
移動速度算出部１８０は、第１、第２、第３の移動量ベクトル、第１、第２、第３の信頼度スコアを用いて、空間での電子機器１０の筐体の移動速度を算出する。
なお、移動速度算出部１８０の具体的な処理については後述する。
【００２３】
続いて、第１の移動量ベクトル算出部１４０の処理について詳しく説明する。第１の移動量ベクトル算出部１４０は、カメラ１１０から時間的に連続する複数枚の撮像画像、撮像時の測距情報、及び、撮像時の焦点距離情報を取得する。第１の移動量ベクトル算出部１４０は、カメラ１１０から取得した撮像画像から特徴点のオプティカルフローを算出し、算出したオプティカルフローと、測距情報と、焦点距離情報とから、第１の移動量ベクトルを算出する。以下、図面を用いて具体的に説明する。
【００２４】
図２Ａ〜２Ｄは、第１の移動量ベクトル算出部１４０の処理を説明するための説明図である。具体的には、図２Ａは、時刻Ｔにおける撮像画像ＧＴ内の各特徴点（Ｐ１Ｔ、Ｐ２Ｔ、Ｐ３Ｔ、Ｐ４Ｔ）を表している。図２Ｂは、時刻Ｔ＋１における撮像画像ＧＴ＋１内の各特徴点（Ｐ１Ｔ＋１、Ｐ２Ｔ＋１、Ｐ３Ｔ＋１、Ｐ４Ｔ＋１）、及び、撮像画像上の各特徴点の移動量ベクトル、即ち、各特徴点のオプティカルフロー（ｄＰ１、ｄＰ２、ｄＰ３、ｄＰ４）を表している。なお、図２Ａ、２Ｂにおいて、ＰＮＴとＰＮＴ＋１は、同一の被写体（物点）を表している。また、特徴点ＰＮのオプティカルフローｄＰＮは、撮像画像ＧＴ内のＰＮＴの撮像位置ＸＰＮＴから、撮像画像ＧＴ＋１内のＰＮＴ＋１の撮像位置ＸＰＮＴ＋１に向かう画像領域内のベクトルとして表される。例えば、ｄＰ１は、Ｐ１Ｔの撮像位置ＸＰ１Ｔから、Ｐ１Ｔ＋１の撮像位置ＸＰ１Ｔ＋１に向かう画像領域内のベクトルである。
【００２５】
また、図２Ｃは、特徴点Ｐ１のオプティカルフローｄＰ１と、測距情報によって示される距離Ｚと、焦点距離情報によって示される焦点距離ｆと、特徴点Ｐ１を基準とした電子機器１０の移動量ベクトルＹＰ１との関係を模式的に表している。なお、移動量ベクトルＹＰ１は、特徴点Ｐ１に対する電子機器１０の相対的な移動を表している。
【００２６】
また、図２Ｄは、第１の移動量ベクトル算出部１４０が、各特徴点のオプティカルフローから第１の移動量ベクトルを得る過程を模式的に表している。
【００２７】
図２Ｃの関係から、第１の移動量ベクトル算出部１４０は、下記式（１）に従って特徴点Ｐ１を基準とした電子機器１０の移動量ベクトルＹＰ１を算出する。
【００２８】
ＹＰ１＝Ｚ×ｄＰ１／ｆ…（１）
【００２９】
同様に、第１の移動量ベクトル算出部１４０は、特徴点Ｐ２を基準とした電子機器１０の移動量ベクトルＹＰ２、特徴点Ｐ３を基準とした電子機器１０の移動量ベクトルＹＰ３、及び、特徴点Ｐ４を基準とした電子機器１０の移動量ベクトルＹＰ４を算出する（図２Ｄの算出過程）。
【００３０】
次に、第１の移動量ベクトル算出部１４０は、撮像画像内のそれぞれの特徴点を基準として上述のように算出した複数個の移動量ベクトルの１つを第１の移動量ベクトルとして決定する（図２Ｄの決定過程）。
具体的には、第１の移動量ベクトル算出部１４０は、それぞれの特徴点を基準として算出した複数個の移動量ベクトルのうち、値が同一又は実質的に同一である個数が最多である１つの移動量ベクトルを第１の移動量ベクトルとして決定する。換言すれば、第１の移動量ベクトル算出部１４０は、各特徴点を基準として算出した複数個の移動量ベクトルにおいて、値が共通する複数の移動量ベクトルを移動量ベクトル群、移動量ベクトル群を構成する移動量ベクトルの個数を共通度と呼ぶ場合に、共通度が最大である移動量ベクトル群を構成する１つの移動量ベクトルを第１の移動量ベクトルとして決定する。
【００３１】
図２Ｄの場合、特徴点Ｐ１〜Ｐ３のオプティカルフローｄＰ１〜ｄＰ３は同一又は実質的に同一であるため、上記式（１）に従って算出される、移動量ベクトルＹＰ１〜ＹＰ３のそれぞれの値は、図２Ｄに示すように同一又は実質的に同一となる。つまり、４つの移動量ベクトルＹＰ１〜ＹＰ４において、移動量ベクトルＹＰ１〜ＹＰ３は値が共通する移動量ベクトル群を構成する。
従って、移動量ベクトル算出部１４０は、４つの移動量ベクトルＹＰ１〜ＹＰ４において、値が同一又は実質的に同一である個数が最多の「３個」である１つの移動量ベクトル、つまり共通度が最大の「３個」である移動量ベクトル群を構成する１つの移動量ベクトル（例えば、移動量ベクトルＹＰ１）を第１の移動量ベクトルとして決定する。
なお、上記式（１）によれば、各特徴点の各オプティカルフローにばらつきがある場合、上述の共通度（若しくは、特徴点の総数に対する共通度）は小さくなる。
【００３２】
なお、第１の移動量ベクトル算出部１４０は、上述のように、共通度が最大である移動量ベクトル群を構成する１つの移動量ベクトルを第１の移動量ベクトルとして決定することに代えて、複数個の移動量ベクトルの平均値（図２Ｄの場合、４つの移動量ベクトルＹＰ１〜ＹＰ４の平均値）を算出し、第１の移動量ベクトルとしてしてもよい。
【００３３】
続いて、信頼度スコア算出部１７０の処理について詳しく説明する。信頼度スコア算出部１７０は、第１、第２、第３信頼度スコアの合計スコアが一定（例えば、１）になるように重みを付して正規化した第１、第２、第３の信頼度スコアを算出する。
具体的には、信頼度スコア算出部１７０は、まず、第１、第２、第３のそれぞれの信頼度スコア（正規化前、即ち、重み付け前の信頼度スコア）を個別に算出する。続いて、信頼度スコア算出部１７０は、重みを付して正規化し、最終的な第１、第２、第３のそれぞれの信頼度スコア（正規化後、即ち、重み付け後の信頼度スコア）を算出する。以下、数式を用いて具体的に説明する。
【００３４】
信頼度スコア算出部１７０は、下記式（２）に従って正規化前の第１の信頼度スコアＰｏを算出する。
【００３５】
【数１】
2013051645.tif 000003
但し、関数Ｓａ（ｘ）は、下記式（３）によって定義されるシグモイド関数である。シグモイド関数は、ｘの値を０〜１に滑らかに２値化的な写像をする関数で、ａは０から１に変化する部分の傾きの大きさを表すパラメータである。上記式（１）のｂ０はシグモイド関数が０．５となる特徴点の数ｎを表す。
また、ｎは、オプティカルフローの点数（特徴点の個数）である。ｒ０は、オプティカルフローの共通度（オプティカルフローのばらつきの小ささ）であって、例えば、ある閾値未満では一定値（無限大を避けるため）、ある閾値以上ではオプティカルフローの標準偏差の逆数をとる関数によって表される。ＣＤは、撮像時の測距情報の信頼度、ｋ１、ｋ２、ｋ３は係数である。
【００３６】
なお、オプティカルフローの標準偏差を求める方法は、角度の標準偏差を求める方法を用いることができる。代替的には、ｘ、ｙ、ｚ各成分の標準偏差を求めてからノルムをとる方法が考えられる。
【００３７】
【数２】
2013051645.tif 000004
【００３８】
信頼度スコア算出部１７０は、下記式（４）に従って正規化前の第２の信頼度スコアＰａを算出する。
【００３９】
【数３】
2013051645.tif 000005
但し、τは時定数である。ａ（ｔ）は、時刻ｔにおける加速度センサ１２０からの出力ベクトル（加速度ベクトル）である。ｖｔ−τは、時刻ｔ−τにおける速度、ｋ４は係数である。関数Ｓａ（ｘ）は、シグモイド関数である（上記式（３）参照）。ｂａは、上記式（２）のｂ０と同様、シグモイド関数が０．５となる角速度の大きさである。なお、||ｘ||はベクトルｘの大きさである。
【００４０】
信頼度スコア算出部１７０は、下記式（５）に従って正規化前の第３の信頼度スコアＰｇを算出する。
【００４１】
【数４】
2013051645.tif 000006
但し、ｖｇは、角速度センサ１３０の出力ベクトル（角速度ベクトル）である。ｋ５は係数である。関数Ｓａ（ｘ）は、シグモイド関数である（上記式（３）参照）。ｂｇは、上記式（２）のｂ０と同様、シグモイド関数が０．５となる角速度の大きさである。
【００４２】
また、信頼度スコア算出部１７０は、下記式（６）に従って正規化後の第１の信頼度スコアＳｏを算出し、下記式（７）に従って正規化後の第２の信頼度スコアＳａを算出し、下記式（８）に従って正規化後の第３の信頼度スコアＳｇを算出する。なお、第１の信頼度スコアＳｏ、第２の信頼度スコアＳａ、第３の信頼度スコアＳｇの合計スコアは１となる。
【００４３】
【数５】
2013051645.tif 000007
【００４４】
即ち、信頼度スコア算出部１７０は、上記式（２）に示すように、オプティカルフロー（撮像画像内の特徴点における動きベクトル）のばらつきの程度が小さいほど（即ち、ｒ０が大きいほど）、高い値の、正規化前の第１の信頼度スコアＰｏを算出する。
また、信頼度スコア算出部１７０は、上記式（２）、（６）に示すように、オプティカルフローのばらつきの程度が小さいほど（即ち、ｒ０が大きいほど）、高い値の、正規化後の第１の信頼度スコアＳｏを算出する。
【００４５】
つまり、撮像画像内の全ての被写体（例えば、道路、街路樹、駐車した乗用車）が静止している状態において、電子機器１０を空間にて移動させたときは、電子機器１０の空間での移動のみがオプティカルフローに反映されるため、オプティカルフローは一律になる。一方、撮像画像内の一部の被写体（例えば、道路を走行中の乗用車）が移動している状態において、電子機器１０を空間にて移動させたときは、電子機器１０の空間での移動に加え、移動している被写体もオプティカルフローに反映されるため、オプティカルフローにばらつきが生じる。従って、ばらつきの程度が小さいときほど、正規化前の第１の信頼度スコアＰｏ、正規化後の第１の信頼度スコアＳｏを高くしている。
【００４６】
また、信頼度スコア算出部１７０は、上記式（２）に示すように、特徴点の数ｎが多いほど、高い値の、正規化前の第１の信頼度スコアＰｏを算出する。また、信頼度スコア算出部１７０は、上記式（２）、（６）に示すように、特徴点の数ｎが多いほど、高い値の、正規化後の第１の信頼度スコアＳｏを算出する。つまり、算出基準の特徴点の数が多い場合、基本的に、撮像画像の全領域に特徴点が散らばっていることになる。従って、特徴点の数が多いときほど、正規化前の第１の信頼度スコアＰｏ、正規化後の第１の信頼度スコアＳｏを高くしている。
【００４７】
また、信頼度スコア算出部１７０は、上記式（２）に示すように、測距情報の信頼度ＣＤが高いほど、高い値の、正規化前の第１の信頼度スコアＰｏを算出する。また、信頼度スコア算出部１７０は、上記式（２）、（６）に示すように、測距情報の信頼度ＣＤが高いほど、高い値の、正規化後の第１の信頼度スコアＳｏを算出する。正規化前の第１の信頼度スコアＰｏ、及び、正規化後の第１の信頼度スコアＳｏの値に反映される特徴点を基準とした電子機器１０の移動量ベクトルは、測距情報によって示される距離Ｚを用いて算出しているからである（上記式（１）参照）。なお、信頼度ＣＤは、例えば、特徴点毎の距離のばらつきに影響するオブジェクトの個数及び各オブヘクト領域の大きさ、測距に影響する場合の周囲の明るさなどである。
【００４８】
また、信頼度スコア算出部１７０は、上記式（４）に示すように、加速度ベクトルａ（ｔ）が小さいほど（又は、加速度ベクトルａ（ｔ）に基づく第２の移動量ベクトルが小さいほど）、低い値の、正規化前の第２の信頼度スコアＰａを算出する。また、信頼度スコア算出部１７０は、上記式（４）、（７）に示すように、加速度ベクトルａ（ｔ）が小さいほど（又は、加速度ベクトルａ（ｔ）に基づく第２の移動量ベクトルが小さいほど）、低い値の、正規化後の第２の信頼度スコアＳａを算出する。
【００４９】
また、信頼度スコア算出部１７０は、上記式（５）に示すように、角速度ベクトルｖｇが小さいほど（又は、角速度ベクトルｖｇに基づく第３の移動量ベクトルが小さいほど）、低い値の、正規化前の第３の信頼度スコアＰｇを算出する。また、信頼度スコア算出部１７０は、上記式（５）、（８）に示すように、角速度ベクトルｖｇが小さいほど（又は、角速度ベクトルｖｇに基づく第３の移動量ベクトルが小さいほど）、低い値の、正規化後の第３の信頼度スコアＳｇを算出する。
【００５０】
続いて、移動速度算出部１８０の処理を具体的に説明する。移動速度算出部１８０は、信頼度スコア算出部１７０から正規化後の第１の信頼度スコアＳｏ、正規化後の第２の信頼度スコアＳａ、正規化後の第３の信頼度スコアＳｇ、第１の移動量ベクトルｖｏ、第２の移動量ベクトルｖａ、第３の移動量ベクトルｖｇを取得する。移動速度算出部１８０は、下記式（９）に従って空間での電子機器１０の筐体の移動速度ｖ＊を算出する。
【００５１】
ｖ＊＝Ｓｏ×ｖｏ＋Ｓａ×ｖａ＋Ｓｇ＋ｖｇ…（９）
【００５２】
なお、第１の移動量ベクトル算出部１４０は、オプティカルフロー、測距情報、及び、焦点距離情報に基づいて、第１の移動量ベクトルｖｏを算出する旨を説明したが、他の情報に基づいて、第１の移動量ベクトルｖｏを算出してもよい。
【００５３】
例えば、第１の移動量ベクトル算出部１４０は、測距情報及び焦点距離情報を用いることなく、オプティカルフローと第２の移動量ベクトルｖａとの関係に基づいて、第１の移動量ベクトルｖｏを算出してもよい。具体的には、第１の移動量ベクトル算出部１４０は、第２の信頼度スコアＳａの値が所定の閾値以上である直近の１つの時点ｔｘにおける第２の移動量ベクトルｖａの大きさとこの時点ｔｘのオプティカルフローのベクトルの大きさとの比率、及び、現時点におけるオプティカルフローに基づいて第１の移動量ベクトルｖｏを算出してもよい。その場合、前者を係数として後者に掛ける計算を行う。
【００５４】
例えば、第１の移動量ベクトル算出部１４０は、第２の信頼度スコアＳａの値が所定の閾値以上であるときに、上述の比率として、第２の移動量ベクトルｖａの各座標軸成分の各値を、代表のオプティカルフローの各座標軸成分の各値によってそれぞれに除算した値（比率ｘ，比率ｙ，比率ｚ）を一時記憶する。代表のオプティカルフローとは、複数の特徴点のオプティカルフローの中から、値が同一又は実質的に同一である個数が最多の１つのオプティカルフローである(第１の移動量ベクトルを決定する方法と同様の方法で決定する)。続いて、第１の移動量ベクトル算出部１４０は、現時点の代表のオプティカルフローの値を決定する。続いて、第１の移動量ベクトル算出部１４０は、現時点の代表のオプティカルフローの各座標軸成分の各値に、一時記憶している最新のそれぞれの比率（比率ｘ，比率ｙ，比率ｚ）を乗算した移動量ベクトルを算出し、第１の移動量ベクトルｖｏとする。
【００５５】
微小時間内であれば、電子機器１０の移動方向は同一（直線運動）である（即ち、各座標軸成分毎に見たときの、加速度センサ１２０の出力値とオプティカルフローの値は比例関係にある）と見なせるため、上述の方法によっても、第１の移動量ベクトルｖｏを求めることができる。上述の方法によれば、測距情報を得られない場合にも、第１の移動量ベクトルｖｏを求めることができる。また、加速度が大きいときの第２の移動量ベクトルｖａの値を用いて比率ｘ，比率ｙ，比率ｚを算出しているため、第１の移動量ベクトルｖｏの算出精度を維持することができる。
【００５６】
なお、第１の移動量ベクトル算出部１４０は、測距情報を得られない場合には、妥当と判断される距離を用いて、第１の移動量ベクトルｖｏを算出してもよい。妥当と判断される距離の典型的な例は、設計時に、電子機器１０の製品（商品）としての特性（例えば、想定するユーザ層、使用ケース）に基づいて決定し、出荷前に電子機器１０内に記憶しておく距離である。また、電子機器１０のユーザの過去の使用実績（例えば、日時、場所、照度などと測定距離との関係）を記憶しておき、使用実績を参照し、現在の状況（例えば、日時、場所、照度）に対応する距離を選択し、妥当と判断される距離として用いてもよい。また、電子機器１０が測距機能をそもそも有しない場合、設計時に、照度と距離の対応テーブルを決定し、出荷前に電子機器１０内に記憶しておき、現在の照度に対応する距離を対応テーブルから選択し、妥当と判断される距離として用いてもよい。
また、ユーザに距離、又は、距離の決定方法を選択させるようにしてもよい。例えば、３ｍ、１０ｍの何れかを選択するボタンを用意しユーザに選択させてもよいし、上述の出荷前に記憶した距離を用いるか、過去の使用実績に基づく距離を用いるかを選択させてもよい。
【００５７】
また、第１の移動量ベクトル算出部１４０は、撮像画像の背景部分におけるオプティカルフローに基づいて第１の移動量ベクトルを算出してもよい。例えば、撮像画像中に人物が撮像されている場合、第１の移動量ベクトル算出部１４０は、顔領域に基づいて人物の撮像領域を特定し、人物の撮像領域以外の領域を背景部分としてもよい。背景部分におけるオプティカルフローに基づいて第１の移動量ベクトルを算出することにより、オプティカルフローのばらつきの程度が小さくなるため、第１の信頼度スコアＰｏは高くなる。
【００５８】
図３は、電子機器１０の処理の流れを示すフローチャートの一例である。なお、図３に示すフローチャートの開始時において、カメラ１１０、加速度センサ１２０及びジャイロセンサ１３０は動作中であるものとする。
【００５９】
図３において、第１の移動量ベクトル算出部１４０は、第１の移動量ベクトルｖｏを算出する（ステップＳ１０）。第２の移動量ベクトル算出部１５０は、第２の移動量ベクトルｖａを算出する（ステップＳ１２）。第３の移動量ベクトル算出部１６０は、第３の移動量ベクトルｖｇを算出する（ステップＳ１４）。
【００６０】
信頼度スコア算出部１７０は、第１の信頼度スコア（正規化後）Ｓｏを算出する（ステップＳ１６）。信頼度スコア算出部１７０は、第２の信頼度スコア（正規化後）Ｓａを算出する（ステップＳ１８）。信頼度スコア算出部１７０は、第３の信頼度スコア（正規化後）Ｓｇを算出する（ステップＳ２０）。移動速度算出部１８０は、筐体の移動速度ｖ＊を算出する（ステップＳ２２）。そして、本フローチャートは終了する。
【００６１】
以上、電子機器１０によれば、空間における筐体の移動速度を精度良く算出することができる。例えば、筐体に加わる加速度が小さい場合には、即ち、加速度ベクトルａ（ｔ）が小さい場合には、信頼度スコア算出部１７０が算出する第２の信頼度スコア（正規化前）Ｐａは小さくなる。よって、第１の信頼度スコア（正規化後）Ｓｏ、第２の信頼度スコア（正規化後）Ｓａ、第３の信頼度スコア（正規化後）Ｓｇの関係において、第２の信頼度スコア（正規化後）Ｓａは相対的に小さくなり、第１の信頼度スコア（正規化後）Ｓｏ、及び、第３の信頼度スコア（正規化後）Ｓｇは相対的に大きくなる。従って、信頼性の低い低加速度時の加速度センサ１２０の出力値の寄与度を減らして、筐体の移動速度を精度良く算出することができる。
【００６２】
なお、上記実施形態において、電子機器１０は、移動量ベクトルを算出するデバイスとして、カメラ１１０と加速度センサ１２０とジャイロセンサ１３０とを備えているが、電子機器１０は、ジャイロセンサ１３０を備えていなくてもよい。つまり、電子機器１０は、移動量ベクトルを算出するデバイスとして、カメラ１１０と加速度センサ１２０とを有する構成としてもよい。電子機器１０がジャイロセンサ１３０を有しない場合には、当然に、第３の移動量ベクトル算出部１６０は不要である。また、電子機器１０がジャイロセンサ１３０を有しない場合には、信頼度スコア算出部１７０は、当然に、第３の信頼度スコア（正規化前）Ｐｇ、及び、第３の信頼度スコア（正規化後）Ｓｇを算出しない。
【００６３】
また、電子機器１０がジャイロセンサ１３０を有しない場合には、信頼度スコア算出部１７０は、上記式（６）に代えて下記式（１０）に従って第１の信頼度スコア（正規化後）Ｓｏを算出し、上記式（７）に代えて下記式（１１）に従って第２の信頼度スコア（正規化後）Ｓａを算出する。
【００６４】
【数６】
2013051645.tif 000008
【００６５】
また、電子機器１０がジャイロセンサ１３０を有しない場合には、移動速度算出部１８０は、上記式（９）に代えて下記式（１２）に従って空間での電子機器１０の筐体の移動速度ｖ＊を算出する。
【００６６】
ｖ＊＝Ｓｏ×ｖｏ＋Ｓａ×ｖａ…（１２）
【００６７】
図４は、電子機器１０を含む移動速度算出システム１を説明するための説明図である。
移動速度算出システム１は、図４に示すように、上述の電子機器（第２の電子機器）１０と、電子機器１０とは構成が異なる電子機器（第１の電子機器）２０とを備える。移動速度算出システム１は、電子機器１０、及び電子機器２０を用いて、電子機器１０の移動速度を算出する。
【００６８】
電子機器２０は、出力制御部、光学系などから構成される投影部を備える。投影部によって投影される映像（画像）は、複数の特徴点（図４の場合、Ｐ１、Ｐ２、Ｐ３）を有する。なお、電子機器２０は、記憶部を備え、投影部によって投影される映像を記憶部内に記憶していてもよい。また、電子機器２０は、通信部を備え、投影部によって投影される映像を外部（例えば、電子機器１０）から取得してもよい。なお、電子機器２０が外部から映像を取得する態様の場合、電子機器１０も通信部を備える。
【００６９】
ユーザは、投影面（例えば、建造物の壁）に投射部を向け、安定した場所（例えば、地面、構造物の上）に電子機器２０を置いて投影面に映像を投影させるとともに、投影面に投影された投影像を概ね撮像できる向きに電子機器１０を向けたまま、電子機器１０を空間で移動させる（図４参照）。
【００７０】
これにより、電子機器１０のカメラ１１０は投影像を撮像し、第１の移動量ベクトル算出部１４０は、撮像画像内の特徴点のオプティカルフローに基づいて第１の移動量ベクトルを算出することができる。つまり、特徴点を含まない画像しか撮像できないような場所においても、電子機器２０を用いて壁などに映像を映すことにより、第１の移動量ベクトルを算出することができるようになる。従って、移動速度算出システム１によれば、壁さえあれば、どこでも、電子機器１０の空間での移動速度を精度よく算出することができる。
【００７１】
なお、図２Ａに例示した特徴点の数は４個、図４に例示した特徴点の数は３個であるが、説明の便宜上であって、電子機器１０の処理負荷との兼ね合いもあるが、数十個、数百個程度とすることができる。
【００７２】
なお、本発明の実施形態による電子機器１０の処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の実施形態による電子機器１０に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＳＤカード、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００７４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００７５】
本発明の一実施形態において、電子機器は、カメラと、筐体に加わる加速度を検出する加速度センサと、前記カメラによって撮像された撮像画像と、前記加速度センサによって検出された加速度とに基づいて前記筐体の移動速度を算出する移動速度算出部と、を備える。
【００７６】
上記電子機器において、前記カメラによって撮像された撮像画像におけるオプティカルフローに基づいて第１の移動量ベクトルを算出し、前記加速度センサによって検出された加速度に基づいて第２の移動量ベクトルを算出する移動量ベクトル算出部を備え、前記移動速度算出部は、前記移動量ベクトル算出部で算出された前記第１の移動量ベクトル及び前記第２の移動量ベクトルを用いて前記筐体の移動速度を算出するようにしてもよい。
【００７７】
上記電子機器において、前記第１の移動量ベクトルの信頼度を示す第１の信頼度スコア、及び、前記第２の移動量ベクトルの信頼度を示す第２の信頼度スコアを算出する信頼度スコア算出部をさらに備え、前記移動速度算出部は、前記第１の移動量ベクトル、前記第２の移動量ベクトル、前記第１の信頼度スコア、及び、前記第２の信頼度スコアを用いて、前記筐体の移動速度を算出するようにしてもよい。
【００７８】
上記電子機器において、前記信頼度スコア算出部は、前記撮像画像内の特徴点における動きベクトルのばらつきの程度が小さいほど高い値の前記第１の信頼度スコアを算出し、前記加速度が小さいほど低い値の前記第２の信頼度スコアを算出するようにしてもよい。
【００７９】
上記電子機器において、前記信頼度スコア算出部は、前記撮像画像内の特徴点の数が多いほど高い値の前記第１の信頼度スコアを算出し、撮像時の測距情報の信頼度が高いほど高い値の前記第１の信頼度スコアを算出するようにしてもよい。
【００８０】
上記電子機器において、前記筐体の角速度を検出する角速度センサを更に備え、前記移動量ベクトル算出部は、前記角速度センサによって検出された角速度に基づいて第３の移動量ベクトルを算出し、前記信頼度スコア算出部は、第３の移動量ベクトルの信頼度を示す第３の信頼度スコアを算出し、前記移動速度算出部は、前記第１の移動量ベクトル、前記第２の移動量ベクトル、前記第３の移動量ベクトル、前記第１の信頼度スコア、前記第２の信頼度スコア、前記第３の信頼度スコアを用いて、前記筐体の移動速度を算出するようにしてもよい。
【００８１】
上記電子機器において、前記信頼度スコア算出部は、前記角速度が小さいほど低い値の前記第３の信頼度スコアを算出するようにしてもよい。
【００８２】
上記電子機器において、前記移動量ベクトル算出部は、前記撮像時の測距情報、撮像時の焦点距離情報、及び前記オプティカルフローとから、前記第１の移動量ベクトルを算出するようにしてもよい。
【００８３】
上記電子機器において、前記移動量ベクトル算出部は、前記第２の信頼度スコアの値が所定の閾値以上である直近の１つの時点における前記第２の移動量ベクトルの値と前記時点の前記オプティカルフローとの比率、及び、現在のオプティカルフローに基づいて前記第１の移動量ベクトルを算出するようにしてもよい。
【００８４】
上記電子機器において、前記移動量ベクトル算出部は、前記撮像画像の背景部分におけるオプティカルフローに基づいて前記第１の移動量ベクトルを算出するようにしてもよい。
【符号の説明】
【００８５】
１…移動速度算出システム、１０…電子機器（第２の電子機器）、２０…電子機器（第１の電子機器）、１１０…カメラ、１２０…加速度センサ、１３０…ジャイロセンサ、１４０…第１の移動量ベクトル算出部、１５０…第２の移動量ベクトル算出部、１６０…第３の移動量ベクトル算出部、１７０…信頼度スコア算出部、１８０…移動速度算出部。
【図１】
2013051645.tif 000009
【図２Ａ】
2013051645.tif 000010
【図２Ｂ】
2013051645.tif 000011
【図２Ｃ】
2013051645.tif 000012
【図２Ｄ】
2013051645.tif 000013
【図３】
2013051645.tif 000014
【図４】
2013051645.tif 000015
【国際調査報告】
2013051645.tif 000016
2013051645.tif 000017
2013051645.tif 000018
2013051645.tif 000019