(57)【要約】【課題】利便性を向上させた全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラムを提供することを目的とする。【解決手段】全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システム１は、全天球カメラで撮像された被写体の視線を検知し、検知された場合に、被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。【選択図】図１
2017179135.tif 000002
【特許請求の範囲】
【請求項１】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の視線を検知する視線検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項２】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の動作を検知する動作検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項３】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の音声を検知する音声検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項４】
前記変更された表示画像に映っている前記被写体に、前記全天球カメラの焦点を合わせる焦点変更手段と、
を備えることを特徴とする請求項１乃至３のいずれか一項に記載の全天球カメラ表示画像変更システム。
【請求項５】
前記表示画像変更手段は、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の全天球カメラ表示画像変更システム。
【請求項６】
前記検知手段は、検知する値が閾値を超えた場合に、検知したと判断する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の全天球カメラ表示画像変更システム。
【請求項７】
前記表示画像変更手段は、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする請求項１に記載の全天球カメラ表示画像変更システム。
【請求項８】
前記表示画像変更手段は、前記被写体の動作している箇所がディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする請求項２に記載の全天球カメラ表示画像変更システム。
【請求項９】
前記表示画像変更手段は、前記被写体の口が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする請求項３に記載の全天球カメラ表示画像変更システム。
【請求項１０】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の視線を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項１１】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の動作を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項１２】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の音声を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項１３】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の視線を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラム。
【請求項１４】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の動作を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラム。
【請求項１５】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の音声を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラムに関する。
【背景技術】
【０００２】
近年、上下左右全方位の３６０度パノラマ画像を撮像可能な全天球カメラが提案されている。このような全天球カメラでは、全視野を撮像するために、複数のカメラを一の装置とした撮像装置や、特殊なレンズを複数備えた撮像装置により、全方位を撮像し、３６０度パノラマ画像を表示画像として表示することを可能としている。このような表示画像において、ユーザは、所望する場所を操作入力することにより、表示位置の変更を行うことが可能となっている。【０００３】
このような構成として、表示装置に表示する表示画像の表示中心を、タッチパネル操作やマウス操作等のユーザの操作入力に基づいて変更し、変更後の画像を表示する構成が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２３０６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の構成では、ユーザが所望する場所の表示画像を閲覧するために、操作入力を行う必要があるため、ユーザが所望する場所を表示するには、多くの操作入力を行わなければならないおそれがあった。そのため、利便性が低かった。【０００６】
本発明の目的は、利便性を向上させた全天球カメラ表示画像変更システム、全天球カメラ表示変更方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、以下のような解決手段を提供する。【０００８】
第１の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の視線を検知する視線検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。【０００９】
第１の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の視線を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。【００１０】
ここで、第１の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。【００１１】
第２の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の動作を検知する動作検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。【００１２】
第２の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の動作を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。【００１３】
ここで、第２の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。【００１４】
第３の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された被写体の音声を検知する音声検知手段と、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システムを提供する。【００１５】
第３の特徴に係る発明によれば、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムは、前記全天球カメラで撮像された被写体の音声を検知し、前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更する。【００１６】
ここで、第３の特徴に係る発明は、全天球カメラ表示画像変更システムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。【００１７】
第４の特徴に係る発明は、前記変更された表示画像に映っている前記被写体に、前記全天球カメラの焦点を合わせる焦点変更手段と、
を備えることを特徴とする第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。【００１８】
第４の特徴に係る発明によれば、第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、前記変更された表示画像に映っている前記被写体に、前記全天球カメラの焦点を合わせる。【００１９】
第５の特徴に係る発明は、前記表示画像変更手段が、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する、
ことを特徴とする第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。【００２０】
第５の特徴に係る発明によれば、第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する。【００２１】
第６の特徴に係る発明は、前記検知手段が、検知する値が閾値を超えた場合に、検知したと判断する、
ことを特徴とする第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムを提供する。【００２２】
第６の特徴に係る発明によれば、第１乃至第３のいずれかの特徴に係る発明である全天球カメラ表示画像変更システムは、検知する値が閾値を超えた場合に、検知したと判断する。【００２３】
第７の特徴に係る発明は、前記表示画像変更手段が、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする第１の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。【００２４】
第７の特徴に係る発明によれば、第１の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する。【００２５】
第８の特徴に係る発明は、前記表示画像変更手段が、前記被写体の動作している箇所がディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする第２の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。【００２６】
第８の特徴に係る発明によれば、第２の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の動作している箇所がディスプレイの中央付近に表示されるように表示画像を変更する。【００２７】
第９の特徴に係る発明は、前記表示画像変更手段が、前記被写体の口が前記ディスプレイの中央付近に表示されるように表示画像を変更する、
ことを特徴とする第３の特徴に係る発明である全天球カメラ表示画像変更システムを提供する。【００２８】
第９の特徴に係る発明によれば、第３の特徴に係る発明である全天球カメラ表示画像変更システムは、前記被写体の口が前記ディスプレイの中央付近に表示されるように表示画像を変更する。【００２９】
第１０の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の視線を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。【００３０】
第１１の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の動作を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。【００３１】
第１２の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された被写体の音声を検知するステップと、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法を提供する。【００３２】
第１３の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の視線を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラムを提供する。【００３３】
第１４の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の動作を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラムを提供する。【００３４】
第１５の特徴に係る発明は、全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された被写体の音声を検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラムを提供する。
【発明の効果】
【００３５】
本発明によれば、利便性を向上させた全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００３６】
【図１】図１は、全天球カメラ表示画像変更システム１の概要を示す図である。
【図２】図２は、全天球カメラ表示画像変更システム１の全体構成図である。
【図３】図３は、情報端末１００の機能ブロック図である。
【図４】図４は、情報端末１００が実行する表示画像変更処理を示すフローチャートである。
【図５】図５は、情報端末１００が表示する変更画像である。
【図６】図６は、情報端末１００が表示する変更画像である。
【図７】図７は、情報端末１００が表示する変更画像である。
【発明を実施するための形態】
【００３７】
以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。
【００３８】
［全天球カメラ表示画像変更システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態における全天球カメラ表示画像変更システム１の概要を説明するための図である。全天球カメラ表示画像変更システム１は、情報端末１００から構成される。
【００３９】
なお、図１において、情報端末１００は、１つに限らず複数であってもよい。また、情報端末１００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。
【００４０】
情報端末１００は、上下左右全方位の３６０度のパノラマ写真を撮像可能な全天球カメラを備え、パノラマ画像を自身が有するディスプレイに表示可能な端末装置である。情報端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、オペレータが装着するスマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
【００４１】
以下の説明において、情報端末１００は、ユーザを被写体として、被写体及び被写体の周辺をパノラマ写真として撮像するものとして説明する。なお、情報端末１００は、ユーザ以外の人物を被写体として撮像してもよいし、人物以外の物品等を被写体として撮像してもよい。
【００４２】
情報端末１００は、全天球カメラにより、全視野画像を撮像し、この全視野画像の一部を表示画像として、自身に表示する（ステップＳ０１）。なお、情報端末１００は、静止画又は動画等の画像を撮像する。
【００４３】
情報端末１００は、被写体の視線、音声、動作等の被写体情報を検知したか否かを判断し、検知した場合、被写体の表示画像における表示位置を、ディスプレイの中央付近に変更し、変更した表示画像を変更画像として表示する（ステップＳ０２）。
【００４４】
以上が、全天球カメラ表示画像変更システム１の概要である。
【００４５】
［全天球カメラ表示画像変更システム１のシステム構成］
図２に基づいて、全天球カメラ表示画像変更システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である全天球カメラ表示画像変更システム１のシステム構成を示す図である。全天球カメラ表示画像変更システム１は、情報端末１００から構成される。なお、情報端末１００は、１つに限らず複数であってもよい。また、情報端末１００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。
【００４６】
情報端末１００は、後述の機能を備えた上述した端末装置である。なお、情報端末１００と全天球カメラとが別体であってもよい。この場合、情報端末１００と全天球カメラとは、有線接続、近距離無線通信、赤外線通信、公衆回線網等を介して接続される構成であってもよい。情報端末１００は、全天球カメラとデータ通信を実行し、全天球カメラが撮像した画像を表示すればよい。
【００４７】
［各機能の説明］
図３に基づいて、本発明の好適な実施形態である全天球カメラ表示画像変更システム１の機能について説明する。図３は、情報端末１００の機能ブロック図である。
【００４８】
情報端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を備え、通信部として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、情報端末１００は、入出力部１３０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等や、被写体の視線や動作や音声を検知する検知デバイスや、被写体を撮像する全天球カメラ等の撮像デバイス等を備える。
【００４９】
情報端末１００は、制御部１１０が所定のプログラムを読み込むことにより、入出力部１３０と協働して、撮像モジュール１７０、表示モジュール１７１、検知モジュール１７２を実現する。
【００５０】
［表示画像変更処理］
図４に基づいて、情報端末１００が実行する表示画像変更処理について説明する。図４は、情報端末１００が実行する表示画像変更処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
【００５１】
はじめに、撮像モジュール１７０は、ユーザからの撮像指示を受け付けたか否かを判断する（ステップＳ１０）。ステップＳ１０において、撮像モジュール１７０は、専用のアプリケーションを起動し、撮像指示の入力を受け付けたか否か、撮像用のスイッチの入力を受け付けたか否か等に基づいて、撮像指示を受け付けたか否かを判断する。ステップＳ１０において、撮像モジュール１７０は、撮像指示を受け付けていないと判断した場合（ステップＳ１０  ＮＯ）、本処理を繰り返す。
【００５２】
一方、ステップＳ１０において、撮像モジュール１７０は、撮像指示を受け付けたと判断した場合（ステップＳ１０  ＹＥＳ）、全視野を撮像し、全視野画像を作成する（ステップＳ１１）。撮像モジュール１７０は、動画や静止画等の画像を撮像する。なお、ステップＳ１１において、ある一点から全方位の画像を複数撮像し、撮像した画像を合成処理することにより、全視野画像を作成する構成であってもよい。
【００５３】
表示モジュール１７１は、撮像された全視野画像の特定領域を表示画像として表示する（ステップＳ１２）。ステップＳ１２において、表示モジュール１７１は、全視野画像の予め設定された領域を、特定領域として表示してもよい。また、表示モジュール１７１は、全視野画像を画像認識することにより、ユーザである被写体を認識し、このユーザの全体像を、特定領域として表示してもよい。また、表示モジュール１７１は、その他の方法により表示画像を表示してもよい。
【００５４】
表示モジュール１７１は、表示画像に被写体が含まれているか否かを判断する（ステップＳ１３）。ステップＳ１３において、表示モジュール１７１は、表示画像を画像認識し、被写体が表示画像に存在しているか否かを判断する。なお、ユーザ以外の人物や物品等が被写体であってもよい。
【００５５】
ステップＳ１３において、表示モジュール１７１は、被写体が含まれていないと判断した場合（ステップＳ１３  ＮＯ）、全視野画像を画像認識し、被写体の位置を特定する（ステップＳ１４）。
【００５６】
表示モジュール１７１は、特定した被写体の全体像が、自身の中央付近の位置に表示されるように、現在の表示画像をぐるっと回転させることにより、表示画像を変更する（ステップＳ１５）。ステップＳ１５において、ぐるっと回転させるとは、現在の表示画像を、被写体の全体像が中央付近に位置するように、表示画像を移動させることを意味する。なお、ステップＳ１５において、回転以外の方法、例えば、表示位置の移動により、表示画像を変更してもよい。また、他の方法により変更してもよい。
【００５７】
表示モジュール１７１は、変更された表示画像において、この被写体に焦点を合わせる（ステップＳ１６）。なお、ステップＳ１６の処理は、省略されてもよい。
【００５８】
一方、ステップＳ１３において、表示モジュール１７１は、被写体が含まれていると判断した場合（ステップＳ１３  ＹＥＳ）、この被写体に焦点を合わせる（ステップＳ１６）。なお、ステップＳ１６の処理は、省略されてもよい。
【００５９】
検知モジュール１７２は、被写体の視線、動作、音声等の被写体情報を検知したか否かを判断する（ステップＳ１７）。なお、ステップＳ１７において、検知モジュール１７２は、この被写体情報の検知において、予め定められた閾値を超えている場合に、検知したと判断し、超えていない場合に、検知していないと判断してもよい。例えば、検知モジュール１７２は、視線や動作の移動量、音声の音量等に閾値を設定しておき、この閾値を超える移動量や音量である場合に、検知したと判断する構成であってもよい。また、閾値は、上述した種類以外の他の種類のものであってもよく、その種類及び量は、適宜変更可能である。
【００６０】
ステップＳ１７において、被写体の視線を検知する場合について説明する。被写体の視線とは、被写体の視線の移動及びその移動量を示す。検知モジュール１７２は、画像認識した被写体において、目頭と虹彩との位置を特定する。検知モジュール１７２は、特定した目頭と虹彩との位置に基づいて、被写体の視線を検知する。また、検知モジュール１７２は、赤外線カメラと赤外線ＬＥＤとにより、角膜反射と瞳孔との位置を特定する。検知モジュール１７２は、特定した角膜反射と瞳孔との位置に基づいて、被写体の視線を検知する。なお、検知モジュール１７２は、他の方法により、被写体の視線を検知してもよい。
【００６１】
また、ステップＳ１７において、被写体の動作を検知する場合について説明する。被写体の動作とは、被写体の身体の一部又は全部の特定の動きを意味する。検知モジュール１７２は、画像認識した被写体において、身体の一部又は全部の動きを特定する。身体の一部又は全部の動きとして、例えば、手を上に動かす、手を下に動かす、指を上に向ける、指を下に向ける、頭を上に向ける、頭を下に向ける、身体全体で後ろに振り向くといったものである。なお、動作は、上述した例に限らず他の動作であってもよいし、複数の動作を組み合わせたものであってもよい。
【００６２】
また、ステップＳ１７において、被写体の音声を検知する場合について説明する。被写体の音声とは、被写体が発した声を示す。検知モジュール１７２は、マイク等の音声入力デバイスを介して入力された被写体の音声を音声認識し、音声を検知する。
【００６３】
ステップＳ１７において、検知モジュール１７２は、被写体情報を検知していないと判断した場合（ステップＳ１７  ＮＯ）、本処理を繰り返す。
【００６４】
一方、ステップＳ１７において、検知モジュール１７２は、被写体情報を検知したと判断した場合（ステップＳ１７  ＹＥＳ）、表示モジュール１７１は、被写体が自身の中央付近に表示されるように、表示画像を変更し、この被写体に焦点を変更して表示する（ステップＳ１８）。ステップＳ１８において、表示モジュール１７１は、表示画像の変更を、全視野画像の対応箇所を回転、移動等することにより実行する。回転とは、表示していた画像をある点を中心に、一方向に所定の角度移動させることを意味する。また、移動とは、表示していた画像を、所定の方向に動かすことを意味する。ステップＳ１８において、画面中央付近とは、画面の中央又は画面の中央近傍を示し、必ずしも、画面中心の位置である必要はない。なお、表示モジュール１７１は、変更画像において、被写体に焦点を合わせなくてもよい。
【００６５】
ステップＳ１８において、検知モジュール１７２が被写体の視線を検知する場合について説明する。検知モジュール１７２は、ステップＳ１７において、被写体の視線を検知した場合、表示モジュール１７１は、この被写体の目の位置を、画面中央付近に合わせた変更画像を表示する。
【００６６】
図５は、表示モジュール１７１が表示する変更画像を示す図である。図５において、表示モジュール１７１は、自身が表示可能な領域である画像表示領域の中央の位置に、被写体の目２００の位置を変更し、この被写体全体に焦点を合わせ、この被写体の目２００を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の目２００に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
【００６７】
ステップＳ１８において、検知モジュール１７２が被写体の動作を検知する場合について説明する。検知モジュール１７２は、ステップＳ１７において、被写体の動作を検知した場合、表示モジュール１７１は、この被写体の動作箇所の位置を、画面中央付近に合わせた変更画像を表示する。
【００６８】
図６は、表示モジュール１７１が表示する変更画像を示す図である。図６において、表示モジュール１７１は、画像表示領域の中央の位置に、被写体の手３００の位置を変更し、この被写体全体に焦点を合わせ、この被写体の手３００を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の手３００に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
【００６９】
ステップＳ１８において、検知モジュール１７２が被写体の音声を検知する場合について説明する。検知モジュール１７２は、ステップＳ１７において、被写体の音声を検知した場合、表示モジュール１７１は、この被写体の口の位置を、画面中央付近に合わせた変更画像を表示する。
【００７０】
図７は、表示モジュール１７１が表示する変更画像を示す図である。図７において、表示モジュール１７１は、画像表示領域の中央の位置に、被写体の口４００の位置を変更し、この被写体全体に焦点を合わせ、この被写体の口４００を中心に、画像表示領域に変更画像を表示する。なお、被写体全体ではなく、被写体の口４００に焦点を合わせてもよい。また、被写体以外に焦点を合わせてもよい。
【００７１】
以上が、表示画像変更処理である。
【００７２】
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【００７３】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【００７４】
１  全天球カメラ表示画像変更システム、１００  情報端末
【図１】
2017179135.tif 000003
【図２】
2017179135.tif 000004
【図３】
2017179135.tif 000005
【図４】
2017179135.tif 000006
【図５】
2017179135.tif 000007
【図６】
2017179135.tif 000008
【図７】
2017179135.tif 000009
【手続補正書】
【提出日】平成29年6月14日(2017.6.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知する視線検知手段と、
前記検知された場合に、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項２】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知する動作検知手段と、
前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項３】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知する音声検知手段と、
前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項４】
（削除）
【請求項５】
前記表示画像変更手段は、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の全天球カメラ表示画像変更システム。
【請求項６】
（削除）
【請求項７】
（削除）
【請求項８】
（削除）
【請求項９】
（削除）
【請求項１０】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知するステップと、
前記検知された場合に、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項１１】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知するステップと、
前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項１２】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知するステップと、
前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項１３】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知するステップ、
前記検知された場合に、前記被写体が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラム。
【請求項１４】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知するステップ、
前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラム。
【請求項１５】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知するステップ、
前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更するステップ、
を実行させることを特徴とするプログラム。
【手続補正書】
【提出日】平成30年6月23日(2018.6.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知する視線検知手段と、
前記検知された場合に、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項２】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知する動作検知手段と、
前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項３】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムであって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知する音声検知手段と、
前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更する表示画像変更手段と、
を備えることを特徴とする全天球カメラ表示画像変更システム。
【請求項４】
前記表示画像変更手段は、全天球カメラの撮像画像をぐるっと回転して表示画像を変更する、
ことを特徴とする請求項１乃至３のいずれか一項に記載の全天球カメラ表示画像変更システム。
【請求項５】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムが実行する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知するステップと、
前記検知された場合に、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項６】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムが実行する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知するステップと、
前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項７】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムが実行する全天球カメラ表示画像変更方法であって、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知するステップと、
前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更するステップと、
を備えることを特徴とする全天球カメラ表示画像変更方法。
【請求項８】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、前記被写体の視線の移動量が所定の閾値を超えていることを検知するステップ、
前記検知された場合に、前記被写体の目が前記ディスプレイの中央付近に表示されるように表示画像を変更するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【請求項９】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の身体の動作の移動量が所定の閾値を超えていることを検知するステップ、
前記検知された場合に、移動量が所定の閾値を超えている身体の部位を前記ディスプレイの中央付近に変更し、移動量が所定の閾値を超えている身体の部位に焦点を変更し、前記身体の動作された部位を中心に前記被写体が表示されるように表示画像を変更するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【請求項１０】
全天球カメラで撮像された撮像画像を、接続されたディスプレイに表示する全天球カメラ表示画像変更システムに、
前記全天球カメラで撮像された全視野画像を画像認識することによって特定された被写体の画像において、被写体の音声の音量が所定の閾値を超えていることを検知するステップ、
前記検知された場合に、前記被写体の口の位置を前記ディスプレイの中央付近に変更し、前記被写体の口に焦点を変更し、前記被写体の口を中心に前記被写体が表示されるように表示画像を変更するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【国際調査報告】
2017179135.tif 000010
2017179135.tif 000011
2017179135.tif 000012
2017179135.tif 000013