【手続補正書】
【提出日】平成28年2月25日(2016.2.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、請求項５の発明は、請求項４の発明に係る携帯端末装置であって、前記加速度センサにより取得された加速度情報に基づいて、歩行周期ごとに到来する、前記カメラの速度が最小となるタイミングを決定し、前記演算タイミングは、前記カメラの速度が最小となるタイミングとなるように決定される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、請求項８の発明は、請求項７の発明に係る携帯端末装置であって、前記加速度センサにより取得された加速度情報に基づいて、歩行周期ごとに到来する、前記カメラの速度が最小となるタイミングを決定し、前記演算タイミングは、前記カメラの速度が最小となるタイミングとなるように決定される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、請求項１６の発明は、ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、前記コンピュータの移動における角速度を測定して角速度情報を取得するジャイロセンサと、前記コンピュータの移動における加速度を測定して加速度情報を取得する加速度センサと、前記コンピュータが移動している期間における周囲の被写体を撮像して画像情報を取得するカメラと、前記画像情報に基づいて前記被写体の動きベクトルを算出するベクトル演算手段と、前記ジャイロセンサにより取得された角速度情報と前記加速度センサにより取得された加速度情報とに応じて、前記ユーザの歩行動作による進行方向と前記カメラの撮像方向との相対関係を判定する相関判定手段と、前記ベクトル演算手段により算出された前記被写体の動きベクトルと前記相関判定手段により判定された前記相関関係とに応じて、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段とを備えるコンピュータとして機能させる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、請求項１７の発明は、ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、前記コンピュータの移動における角速度を測定して角速度情報を取得するジャイロセンサと、前記コンピュータの移動における加速度を測定して加速度情報を取得する加速度センサと、前記ジャイロセンサにより取得された角速度情報および前記加速度センサにより取得された加速度情報を、予め与えられる歩行動作におけるパターンと比較することにより、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段とを備えるコンピュータとして機能させる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
ベクトル演算部１０１ａは、代表サブブロックの動きベクトルを、歩行周期に平均するのではなく、そのまま被写体の動きベクトルとして動きベクトル情報１１１を作成する。また、ベクトル演算部１０１ａによる演算タイミングは、演算タイマによって決定されるのではなく、歩行周期演算部１００ａから通知される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１５１
【補正方法】変更
【補正の内容】
【０１５１】
また、歩行周期に同期して代表サブブロックの動きベクトルが演算されているため、進行方向の動き以外の動きによる影響はすでにキャンセルされている。したがって、代表サブブロックの動きベクトルを歩行周期で平均する必要はなく、第１の実施の形態におけるステップＳ４４に相当する処理は、第２の実施の形態では実行されず、ステップＳ７２において求められた代表サブブロックの動きベクトルがそのまま被写体の動きベクトルとして動きベクトル情報１１１に格納される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】変更
【補正の内容】
【０１５５】
また、演算タイミングが、カメラ１６の速度が最小のときとなるように決定される。したがって、進行方向への動き以外の動きによる影響を抑制することができるとともに、画像情報１６０のブレも抑制することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１５８
【補正方法】変更
【補正の内容】
【０１５８】
また、第２の実施の形態では、歩行周期に同期してベクトル演算が実行されるため、ベクトル演算の演算周期が比較的長くなる。これにより、代表サブブロックに含まれる被写体の画像内における移動量が大きくなり、代表サブブロックの探索エリアが広がる懸念がある。しかしながら、携帯端末装置１ａでは、角速度ωｗ，ωｓ，ωｖ、および、加速度αｗ，αｓ，αｖに基づいて代表サブブロックの画像内における移動量を推定することができるため、このような問題を抑制することができる。これは以下に説明する第３の実施の形態においても同様である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
また、画像情報１６０にエッジ量検出処理を行って動きベクトルを演算する場合には、当該画像情報１６０における手ブレが少ない方が好ましいことも第２の実施の形態で説明したとおりである。したがって、携帯端末装置１ｂは、カメラ１６ｂの速度が最小のときに撮像タイミングが到来したと判定するように構成する。これにより、第２の実施の形態と同様に、カメラ１６ｂによって撮像される画像情報１６０において、最も手ブレが少ない状態の画像情報１６０によって動きベクトルを演算することができ、精度が向上する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１７１
【補正方法】変更
【補正の内容】
【０１７１】
すなわち、携帯端末装置１ａは、演算タイミングを調整することによって、最適なタイミングの画像情報１６０を用いて動きベクトルを演算するように構成されていたが、携帯端末装置１ｂは、最適なタイミングの画像情報１６０のみを撮像するように構成されている。これによって、カメラ１６ｂによる撮像回数を大幅に減らすことが可能となり、処理負荷が軽減されるとともに、消費電力も抑制される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１７２
【補正方法】変更
【補正の内容】
【０１７２】
以上のことから、携帯端末装置１ｂは、歩行周期ごとに到来する、カメラ１６ｂの速度が最小となるタイミングで撮像タイミングが到来したと判定し、ステップＳ８５においてＹｅｓと判定する。このようなタイミングは、歩行周期演算部１００ｂによって第２の実施の形態における歩行周期演算部１００ａと同様の手法により検出され、カメラ１６ｂに伝達される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１７８
【補正方法】変更
【補正の内容】
【０１７８】
また、撮像タイミングが、カメラ１６ｂの速度が最小のときとなるように決定される。したがって、進行方向への動き以外の動きによる影響を抑制することができるとともに、画像情報１６０のブレも抑制することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１９２
【補正方法】変更
【補正の内容】
【０１９２】
なお、図２０に示す処理が開始されるまでに、携帯端末装置１ｃでは、携帯端末装置１ｃを所持したユーザの既知の歩行動作におけるパターンの特徴点を学習させる工程と、所定の初期設定とがすでに実行されているものとする。初期設定には、ジャイロセンサ１４および加速度センサ１５による測定タイミングを計測するための測定タイマにＴｓをセットして起動する処理と、ジャイロセンサ１４のバイアス値（ｂｖ）の初期値を設定する処理と、携帯端末装置１ｃの姿勢（処理開始時の姿勢）を決定する処理とが含まれる。携帯端末装置１ｃの初期姿勢を決定する手法としては、ユーザが携帯端末装置１ｃの操作部１２を操作して姿勢を入力する方法や、図示しない磁気センサの出力により姿勢を決定する方法などが想定される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１９３
【補正方法】変更
【補正の内容】
【０１９３】
初期設定が終了すると、携帯端末装置１ｃは、測定タイマと、１複歩時間が経過したか否かとを監視する状態となる（ステップＳ１０１，Ｓ１０５）。この状態を、以下の説明では、「監視状態」と称する。ただし、監視状態において、携帯端末装置１ｃは、ステップＳ１０１，Ｓ１０５以外の他の処理を実行していてもよい。
【手続補正１５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザによって携帯される携帯端末装置であって、
前記携帯端末装置の移動における角速度を測定して角速度情報を取得するジャイロセンサと、
前記携帯端末装置の移動における加速度を測定して加速度情報を取得する加速度センサと、
前記携帯端末装置が移動している期間における周囲の被写体を撮像して画像情報を取得するカメラと、
前記画像情報に基づいて前記被写体の動きベクトルを算出するベクトル演算手段と、
前記ジャイロセンサにより取得された角速度情報と前記加速度センサにより取得された加速度情報とに応じて、前記ユーザの歩行動作による進行方向と前記カメラの撮像方向との相対関係を判定する相関判定手段と、
前記ベクトル演算手段により算出された前記被写体の動きベクトルと前記相関判定手段により判定された前記相関関係とに応じて、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、
前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段と、
を備える携帯端末装置。
【請求項２】
請求項１に記載の携帯端末装置であって、
前記ベクトル演算手段は、前記画像情報をそれぞれが第１のサイズとなる複数のブロックに分割し、前記複数のブロックのそれぞれを前記第１のサイズよりも小さい第２のサイズとなる複数のサブブロックに分割し、前記複数のサブブロックごとにエッジ量を検出して、前記複数のブロックのそれぞれにおいてエッジ量が最大となるサブブロックを各ブロックの代表サブブロックとして決定し、決定した前記代表サブブロックの動きベクトルを算出することにより、前記被写体の動きベクトルを算出する携帯端末装置。
【請求項３】
請求項２に記載の携帯端末装置であって、
前記ベクトル演算手段は、前記代表サブブロックの動きベクトルを、前記ユーザの歩行周期単位に平均することにより、前記被写体の動きベクトルを求める携帯端末装置。
【請求項４】
請求項２に記載の携帯端末装置であって、
前記ベクトル演算手段は、前記ユーザの歩行周期に同期した演算タイミングで、前記代表サブブロックの動きベクトルを算出する携帯端末装置。
【請求項５】
請求項４に記載の携帯端末装置であって、
前記加速度センサにより取得された加速度情報に基づいて、歩行周期ごとに到来する、前記カメラの速度が最小となるタイミングを決定し、
前記演算タイミングは、前記カメラの速度が最小となるタイミングとなるように決定される携帯端末装置。
【請求項６】
請求項４に記載の携帯端末装置であって、
前記演算タイミングは、前記ユーザの両足が着地しているときとなるように決定される携帯端末装置。
【請求項７】
請求項２に記載の携帯端末装置であって、
前記カメラは、前記ユーザの歩行周期に同期した撮像タイミングで、前記携帯端末装置が移動している期間における周囲の被写体を撮像する携帯端末装置。
【請求項８】
請求項７に記載の携帯端末装置であって、
前記加速度センサにより取得された加速度情報に基づいて、歩行周期ごとに到来する、前記カメラの速度が最小となるタイミングを決定し、
前記撮像タイミングは、前記カメラの速度が最小となるタイミングとなるように決定される携帯端末装置。
【請求項９】
請求項７に記載の携帯端末装置であって、
前記撮像タイミングは、前記ユーザの両足が着地しているときとなるように決定される携帯端末装置。
【請求項１０】
請求項３ないし９のいずれかに記載の携帯端末装置であって、
前記歩行周期は、前記ユーザの歩行動作において、前記ユーザが左右の足をそれぞれ１歩ずつ進める時間に応じて決定されている携帯端末装置。
【請求項１１】
請求項１ないし１０のいずれかに記載の携帯端末装置であって、
前記相関関係には、前記ユーザの歩行動作による進行方向に対して前記カメラの撮像方向が正対する関係が含まれる携帯端末装置。
【請求項１２】
請求項１１に記載の携帯端末装置であって、
前記ユーザの歩行動作による進行方向に対して前記カメラの撮像方向が正対している場合において、前記直進歩行判定手段は、前記ベクトル演算手段により求められた前記被写体の動きベクトルが、画像情報において放射状となっている場合に、前記ユーザの歩行動作が直進状態であると判定する携帯端末装置。
【請求項１３】
ユーザによって携帯される携帯端末装置であって、
前記携帯端末装置の移動における角速度を測定して角速度情報を取得するジャイロセンサと、
前記携帯端末装置の移動における加速度を測定して加速度情報を取得する加速度センサと、
前記ジャイロセンサにより取得された角速度情報および前記加速度センサにより取得された加速度情報を、予め与えられる歩行動作におけるパターンと比較することにより、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、
前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段と、
を備える携帯端末装置。
【請求項１４】
請求項１３に記載の携帯端末装置であって、
前記直進歩行判定手段は、前記ユーザの歩行動作における歩行周期に応じて、前記パターンとの比較を行う携帯端末装置。
【請求項１５】
請求項１４に記載の携帯端末装置であって、
前記歩行周期は、前記ユーザの歩行動作において、前記ユーザが左右の足をそれぞれ１歩ずつ進める時間に応じて決定されている携帯端末装置。
【請求項１６】
ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
前記コンピュータの移動における角速度を測定して角速度情報を取得するジャイロセンサと、
前記コンピュータの移動における加速度を測定して加速度情報を取得する加速度センサと、
前記コンピュータが移動している期間における周囲の被写体を撮像して画像情報を取得するカメラと、
前記画像情報に基づいて前記被写体の動きベクトルを算出するベクトル演算手段と、
前記ジャイロセンサにより取得された角速度情報と前記加速度センサにより取得された加速度情報とに応じて、前記ユーザの歩行動作による進行方向と前記カメラの撮像方向との相対関係を判定する相関判定手段と、
前記ベクトル演算手段により算出された前記被写体の動きベクトルと前記相関判定手段により判定された前記相関関係とに応じて、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、
前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段と、
を備えるコンピュータとして機能させるプログラム。
【請求項１７】
ユーザによって携帯されるコンピュータによる読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
前記コンピュータの移動における角速度を測定して角速度情報を取得するジャイロセンサと、
前記コンピュータの移動における加速度を測定して加速度情報を取得する加速度センサと、
前記ジャイロセンサにより取得された角速度情報および前記加速度センサにより取得された加速度情報を、予め与えられる歩行動作におけるパターンと比較することにより、前記ユーザが歩行動作における直進状態か否かを判定する直進歩行判定手段と、
前記直進歩行判定手段により前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する補正手段と、
を備えるコンピュータとして機能させるプログラム。
【請求項１８】
携帯端末装置の移動における角速度をジャイロセンサにより測定して角速度情報を取得する工程と、
前記携帯端末装置の移動における加速度を加速度センサにより測定して加速度情報を取得する工程と、
前記携帯端末装置が移動している期間における周囲の被写体をカメラにより撮像して画像情報を取得する工程と、
前記カメラにより取得された前記画像情報に基づいて前記被写体の動きベクトルを算出する工程と、
前記ジャイロセンサにより取得された角速度情報と前記加速度センサにより取得された加速度情報とに応じて、前記ユーザの歩行動作による進行方向と前記カメラの撮像方向との相対関係を判定する工程と、
算出された前記被写体の動きベクトルと前記相関関係とに応じて、前記ユーザが歩行動作における直進状態か否かを判定する工程と、
前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する工程と、
を有する補正方法。
【請求項１９】
携帯端末装置を所持したユーザの既知の歩行動作におけるパターンの特徴点を学習させる工程と、
携帯端末装置の移動における角速度をジャイロセンサにより測定して角速度情報を取得する工程と、
前記携帯端末装置の移動における加速度を加速度センサにより測定して加速度情報を取得する工程と、
前記ジャイロセンサにより取得された角速度情報および前記加速度センサにより取得された加速度情報を、前記パターンの特徴点と比較することにより、前記ユーザが歩行動作における直進状態か否かを判定する工程と、
前記ユーザが歩行状態における直進状態であると判定されたことに応じて、前記ジャイロセンサにより取得される角速度情報を補正する工程と、
を有する補正方法。