【手続補正書】
【提出日】平成30年7月12日(2018.7.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段と、
前記表示手段が前記アプリケーション画像を表示している最中に自機を携帯しているユーザの周囲を撮像して撮像画像を得る撮像手段と、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断して、前記撮像画像のうちから検出された前記オブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に前記表示手段に表示する表示制御手段と、
を備える、
ことを特徴とする携帯情報機器。
【請求項２】
前記撮像画像のうちから前記オブジェクトを検出するオブジェクト検出手段を更に備え、
前記表示制御手段は、前記オブジェクト検出手段によって前記ユーザに向かって近づく前記オブジェクトが検出された場合、前記オブジェクトを強調して表示すると共に警告を示す画像を前記表示手段に表示する、
ことを特徴とする請求項１に記載の携帯情報機器。
【請求項３】
前記表示制御手段は、前記自機を携帯している前記ユーザが移動中である場合と、前記自機を携帯している前記ユーザが移動中でない場合とで、前記撮像画像のうちの前記切り出した部分を前記アプリケーション画像と共に前記表示手段に表示する表示形態を異ならせる、
ことを特徴とする請求項１又は２に記載の携帯情報機器。
【請求項４】
前記表示制御手段は、前記自機を携帯している前記ユーザが移動中である場合に、前記自機を携帯している前記ユーザが移動中でない場合よりも、前記撮像画像のうちの前記切り出した部分を大きく表示すると共に警告を示す画像を大きく表示する、
ことを特徴とする請求項３に記載の携帯情報機器。
【請求項５】
前記表示制御手段は、前記予め定められた条件が満たされた場合、前記アプリケーション画像を、前記予め定められた条件が満たされる前よりもサイズを縮小して前記表示手段に表示し、且つ、前記撮像画像を、前記表示手段の表示領域における前記予め定められた条件が満たされる前に前記アプリケーション画像が表示されていた領域のうちの、サイズが縮小されたことにより前記アプリケーション画像が表示されない領域に、表示する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の携帯情報機器。
【請求項６】
前記撮像手段と、
前記自機の傾きを検出する傾き検出手段と、
を更に備え、
前記表示制御手段は、前記傾き検出手段によって検出された前記傾きに基づいて、前記撮像画像のうちから水平方向に該当する部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に、前記表示手段に表示する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の携帯情報機器。
【請求項７】
前記表示制御手段は、前記予め定められた条件が満たされた場合であって、且つ、前記傾き検出手段によって検出された前記傾きに基づいて定められる前記撮像手段の撮像方向が、前記水平方向から予め定められた角度以上離れている場合に、警告を示す画像を、前記表示手段に表示する、
ことを特徴とする請求項６に記載の携帯情報機器。
【請求項８】
前記表示手段が設けられた面とは逆側の面に、前記撮像手段を備え、
前記撮像手段は、前記ユーザの前方を撮像することによって、前記撮像画像として、前方画像を取得する、
ことを特徴とする請求項１乃至７のいずれか１項に記載の携帯情報機器。
【請求項９】
前記表示手段が設けられた前記面に、第２の撮像手段を更に備え、
前記第２の撮像手段は、前記ユーザの後方を撮像することによって、後方画像を取得する、
前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に前記予め定められた条件が満たされた場合、前記前方画像及び前記後方画像を、前記アプリケーション画像と共に、前記表示手段に表示する、
ことを特徴とする請求項８に記載の携帯情報機器。
【請求項１０】
前記表示制御手段は、前記後方画像の中に前記ユーザの顔の画像が含まれる場合であって、且つ、前記後方画像における前記顔の画像が占める割合が予め定められた閾値以上である場合、警告を示す画像を、前記表示手段に表示する、
ことを特徴とする請求項９に記載の携帯情報機器。
【請求項１１】
請求項８に記載の携帯情報機器と、補助装置と、を備える携帯情報システムであって、
前記補助装置は、
前記ユーザの後方を撮像することによって、後方画像を取得する第２の撮像手段と、
前記第２の撮像手段の撮像によって得られた前記後方画像を前記携帯情報機器に送信する送信手段と、
を備え、
前記携帯情報機器は、
前記補助装置から送信された前記後方画像を受信する受信手段、
を更に備え、
前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に前記予め定められた条件が満たされた場合、前記前方画像及び前記後方画像を、前記アプリケーション画像と共に、前記表示手段に表示する、
ことを特徴とする携帯情報システム。
【請求項１２】
携帯情報機器と、補助装置と、を備える携帯情報システムであって、
前記携帯情報機器は、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段、
を備え、
前記補助装置は、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像して撮像画像を得る撮像手段と、
前記撮像画像を前記携帯情報機器に送信する送信手段と、
を備え、
前記携帯情報機器は、
前記補助装置から送信された前記撮像画像を受信する受信手段と、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断して、前記撮像画像のうちから検出された前記オブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に前記表示手段に表示する表示制御手段と、
を更に備える、
ことを特徴とする携帯情報システム。
【請求項１３】
前記補助装置は、複数存在して前記ユーザの前記周囲の複数の方向を撮像する、
ことを特徴とする請求項１２に記載の携帯情報システム。
【請求項１４】
前記携帯情報機器は、携帯情報機器側撮像手段を有さない、
ことを特徴とする請求項１２又は１３に記載の携帯情報システム。
【請求項１５】
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、携帯情報機器の表示手段に表示し、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段が撮像して撮像画像を得て、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断して、前記撮像画像のうちから検出された前記オブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に前記表示手段に表示する、
ことを特徴とする表示方法。
【請求項１６】
携帯情報機器のコンピュータに、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、前記携帯情報機器の表示手段に表示させ、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段に撮像させて撮像画像を得させ、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断させて、前記撮像画像のうちから検出された前記オブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に前記表示手段に表示させる、
ことを特徴とするプログラム。
【請求項１７】
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段と、
前記表示手段が前記アプリケーション画像を表示している最中に自機を携帯しているユーザの周囲を撮像して撮像画像を得る撮像手段と、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断して、前記オブジェクトを強調して前記アプリケーション画像と共に前記表示手段に表示する表示制御手段と、
を備える、
ことを特徴とする携帯情報機器。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
前記目的を達成するため、本発明に係る携帯情報機器の一態様は、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段と、
前記表示手段が前記アプリケーション画像を表示している最中に自機を携帯しているユーザの周囲を撮像して撮像画像を得る撮像手段と、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断して、前記撮像画像のうちから検出された前記オブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に前記表示手段に表示する表示制御手段と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る携帯情報システムの一態様は、
前記記載の携帯情報機器と、補助装置と、を備える携帯情報システムであって、
前記補助装置は、
前記ユーザの後方を撮像することによって、後方画像を取得する第２の撮像手段と、
前記第２の撮像手段の撮像によって得られた前記後方画像を前記携帯情報機器に送信する送信手段と、
を備え、
前記携帯情報機器は、
前記補助装置から送信された前記後方画像を受信する受信手段、
を更に備え、
前記表示制御手段は、前記表示手段が前記アプリケーション画像を表示している最中に前記予め定められた条件が満たされた場合、前記前方画像及び前記後方画像を、前記アプリケーション画像と共に、前記表示手段に表示する、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る携帯情報システムの一態様は、
携帯情報機器と、補助装置と、を備える携帯情報システムであって、
前記携帯情報機器は、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段、
を備え、
前記補助装置は、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像して撮像画像を得る撮像手段と、
前記撮像画像を前記携帯情報機器に送信する送信手段と、
を備え、
前記携帯情報機器は、
前記補助装置から送信された前記撮像画像を受信する受信手段と、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断して、前記撮像画像のうちから検出された前記オブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に前記表示手段に表示する表示制御手段と、
を更に備える、
ことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、前記目的を達成するため、本発明に係る表示方法の一態様は、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、携帯情報機器の表示手段に表示し、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段が撮像して撮像画像を得て、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断して、前記撮像画像のうちから検出された前記オブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に前記表示手段に表示する、
ことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
携帯情報機器のコンピュータに、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を、前記携帯情報機器の表示手段に表示させ、
前記表示手段が前記アプリケーション画像を表示している最中に前記携帯情報機器を携帯しているユーザの周囲を撮像手段に撮像させて撮像画像を得させ、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断させて、前記撮像画像のうちから検出された前記オブジェクトの位置を基準として定められる部分を切り出し、前記撮像画像のうちの切り出した部分を、前記アプリケーション画像と共に前記表示手段に表示させる、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る携帯情報機器の一態様は、
アプリケーションプログラムの実行に伴う画像であるアプリケーション画像を表示する表示手段と、
前記表示手段が前記アプリケーション画像を表示している最中に自機を携帯しているユーザの周囲を撮像して撮像画像を得る撮像手段と、
前記表示手段が前記アプリケーション画像を表示している最中に、前記ユーザが移動中であり前記ユーザが近づくオブジェクトが検出された場合、又は、前記ユーザに向かって近づく前記オブジェクトが検出された場合、予め定められた条件が満たされたと判断して、前記オブジェクトを強調して前記アプリケーション画像と共に前記表示手段に表示する表示制御手段と、
を備える、
ことを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
このように、表示制御部１６０が表示部１２０に撮像画像を表示すべき予め定められた条件は、実行中のアプリケーションプログラムとは無関係な条件であって、具体的には、以下の（１）又は（２）のどちらかの場合に、満たされる。以下、このような条件が満たされる場合について、説明する。
（１）移動判定部１６１によって自機を携帯しているユーザ３が移動中であると判定された場合。
（２）自機を携帯しているユーザ３が移動中であるか否かにかかわらず、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクトが検出された場合。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
第２に、上記（２）の自機を携帯しているユーザ３が移動中であるか否かにかかわらず、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクトを検出した場合について説明する。図５に示したオブジェクト検出部１６２は、撮像部１３０によってユーザ３の前方を撮像することによって得られた前方画像３１のうちから、ユーザ３に向かって近づくオブジェクトを検出する。オブジェクトとは、人間、動物、ボール、自動車、バイク、及び、自転車等を含む、撮像される可能性のあるあらゆる物体をいう。オブジェクト検出部１６２は、オブジェクト認識及び顔認識等の手法で前方画像３１を解析することによって、時間の経過に伴ってユーザ３に近づくオブジェクトを検出する。ＣＰＵ１１０は、画像処理部１３１等と協働することによって、オブジェクト検出部１６２として機能する。オブジェクト検出部１６２は、オブジェクト検出手段の一例である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
図１１に示すフローチャートの説明に戻る。ＣＰＵ１１０は、指示されたアプリケーションプログラムと撮像画像の認識処理とを実行しながら、撮像画像を表示すべき予め定められた条件が満たされたか否かを判定する（ステップＳ１５）。具体的に説明すると、ＣＰＵ１１０は、（１）移動判定部１６１によって自機を携帯しているユーザ３が移動中であると判定された場合、又は、（２）自機を携帯しているユーザ３が移動中であるか否かにかかわらず、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクトが検出された場合のどちらかの場合に、撮像画像を表示すべき予め定められた条件が満たされたと判定する。（１）及び（２）のどちらでもない場合には、撮像画像を表示すべき予め定められた条件が満たされたと判定しない。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
携帯情報機器１００において、表示制御部１６０は、表示部１２０がアプリケーション画像２０を表示している最中に予め定められた条件が満たされた場合、前方画像及び後方画像を、アプリケーション画像２０と共に、表示部１２０に表示させる。すなわち、表示制御部１６０は、携帯情報機器１００の撮像部１３０がユーザ３の前方を撮像することによって得られた前方画像だけでなく、補助装置２００の撮像部２３０がユーザ３の後方を撮像することによって得られた後方画像を、実行中のアプリケーションプログラムに伴うアプリケーション画像２０と共に、表示部１２０に表示させる。この予め定められた条件は、上記実施形態１と同様、（１）移動判定部１６１によって自機を携帯しているユーザ３が移動中であると判定された場合、又は、（２）自機を携帯しているユーザ３が移動中であるか否かにかかわらず、オブジェクト検出部１６２によってユーザ３に向かって近づくオブジェクトが検出された場合のどちらかの場合に、満たされる。