(57)【要約】【課題】ユーザの周囲を広い範囲で撮像した映像の中に検出された所定の被写体の方向をユーザが直感的に認識することができるようにユーザに通知する撮像装置を提供する。【解決手段】ＨＭＤ１００は、ユーザに装着される装着部１０１と、装着部１０１がユーザに装着されたときにユーザの眼部と対向する位置に配置される表示部１０４と、ユーザを中心とした周囲を撮像する全周撮像部１０２と、装着部１０１が水平方向に対して傾いた角度を計測する角度計測部１０３と、全周撮像部１０２が撮像した映像から角度計測部１０３により計測された角度を垂直方向の中心としたパノラマ映像を生成する映像生成部１０５と、映像生成部１０５により生成されたパノラマ映像を表示部１０４に表示するように制御する表示制御部１０６を備える。【選択図】図１
2018067773.tif 000002
【特許請求の範囲】
【請求項１】
使用者に装着される装着部と、
前記装着部が前記使用者に装着されたときに前記使用者の眼部と対向する位置に配置される表示部と、
前記使用者を中心とした周囲の所定の範囲を撮像する撮像部と、
前記装着部が水平方向に対して傾いた角度を計測する計測手段と、
前記撮像部が撮像した映像から前記計測手段により計測された角度を垂直方向の中心としたパノラマ映像を生成する生成手段と、
前記生成手段により生成されたパノラマ映像を前記表示部に表示するように制御する制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記撮像部は、複数の全周魚眼の撮像ユニットを有し、前記複数の撮像ユニットによって前記使用者の全周囲の映像を取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、前記撮像部が取得した全周囲の映像から全天周映像を生成し、生成した全天周映像から前記パノラマ映像としての全周パノラマ映像を生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記パノラマ映像の左右中心が前記使用者の顔が向いている方向と略一致するように前記表示部に表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
所定の被写体を特定する特定手段を更に備え、
前記制御手段は、前記特定手段により特定された被写体が前記パノラマ映像に映っている場合に前記特定された被写体の位置と方向の少なくとも一方を示す指標を前記表示部に表示されたパノラマ映像に重畳させて表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記パノラマ映像の全範囲のうち前記使用者による直視が可能と判断される方向の一定の範囲内に前記特定された被写体があると判断した場合に前記パノラマ映像の前記表示部における表示を終了し、前記一定の範囲に前記特定された被写体がないと判断した場合に前記パノラマ映像を前記表示部に表示することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記装着部に設けられ、前記特定の被写体の存在する方向を振動させる振動手段または前記方向を前記使用者に伝える音声を発する音響手段の少なくとも一方を備えることを特徴とする請求項５又は６に記載の撮像装置。
【請求項８】
前記使用者の指示を受け付ける操作手段を更に備え、
前記制御手段は、前記操作手段を通して入力された指示に応じて前記パノラマ映像を前記表示部において非表示とすることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記装着部は、眼鏡のフレームに対応する構造を有し、
前記表示部は、前記装着部に設けられたレンズ部の下側の領域に設けられていることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
使用者に装着される保持部材と、
前記保持部材に設けられ、水平方向を検知する検知手段と、
前記保持部材に設けられ、前記保持部材を中心として水平方向を全周にわたって撮像する撮像部と、を備えることを特徴とする撮像装置。
【請求項１１】
前記撮像部が撮像した映像から所定の被写体を検出する検出手段と、
前記保持部材に設けられ、前記検出手段が検出した被写体の存在する方向を振動させる振動手段または前記方向を前記使用者に伝える音声を発する音響手段の少なくとも一方と、を更に備えることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記保持部材は、前記使用者の頭部または頸部への装着が可能な略Ｕ字形状、あるいは、前記使用者の頭部への装着が可能なドーム形状を有することを特徴とする請求項１０又は１１に記載の撮像装置。
【請求項１３】
前記保持部材は、別の機器を接続するためのコードと、前記コードの繰り出しと巻き取りを行う手段と、を有することを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記コードは、前記撮像装置と前記別の機器とを通信可能に接続するコネクタ部を有することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
使用者に装着される装着部を有する撮像装置の制御方法であって、
前記装着部が前記使用者に装着された状態で前記使用者を中心とした周囲の所定の範囲を撮像部により撮像するステップと、
前記装着部が水平方向に対して傾いた角度を計測するステップと、
前記撮像部が撮像した映像から前記計測された角度を垂直方向の中心としたパノラマ映像を生成するステップと、
前記使用者の眼部と対向する位置に配置された表示部に前記パノラマ映像を表示するステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１６】
コンピュータを、請求項１乃至１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
【請求項１７】
コンピュータを、請求項１乃至１４のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ（使用者）が装着してその周囲を撮像する撮像装置とその制御方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
広視野角の範囲を撮像し、撮像された被写体に関する情報をユーザに提供する撮像システムが知られており、例えば、監視カメラ等の分野で用いられている。また、特許文献１には、デジタルカメラの上面に広視野角レンズ（パノラマレンズ）を取り付けて撮像される広視野撮像画像内に、ズーム画像の撮像範囲枠をズーム位置に応じて自動で変更し、表示することができる撮像装置が提案されている。更に、特許文献２には、馬蹄型の首輪の背当てに撮像部を取り付け、モニタと撮像部とを電気的に回路接続した後方監視装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５１７８３号公報
【特許文献２】特開２００４−１８０２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載された技術では、広視野角レンズがデジタルカメラの上面から上方に突出するように設けられる。そのため、撮像の際に後方の撮像範囲がユーザの頭等で遮られてしまいうことで、ユーザの周囲を十分に撮像することができないという問題がある。また、上記特許文献２に記載された技術では、被写体の方向をユーザが直感的に認識することができるようにユーザに通知することができないという問題がある。
【０００５】
本発明は、ユーザの周囲を広い範囲で撮像することができ、撮像した映像の中に検出された所定の被写体の方向をユーザが直感的に認識することができるようにユーザに通知することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、使用者に装着される装着部と、前記装着部が前記使用者に装着されたときに前記使用者の眼部と対向する位置に配置される表示部と、前記使用者を中心とした周囲の所定の範囲を撮像する撮像部と、前記装着部が水平方向に対して傾いた角度を計測する計測手段と、前記撮像部が撮像した映像から前記計測手段により計測された角度を垂直方向の中心としたパノラマ映像を生成する生成手段と、前記生成手段により生成されたパノラマ映像を前記表示部に表示するように制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザの周囲を広い範囲で撮像することができ、撮像した映像の中に検出された被写体の方向をユーザが直感的に認識することができるようにユーザに通知することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係るＨＭＤの概略構成を説明する図である。
【図２】ＨＭＤの使用態様の具体例を説明する図である。
【図３】ＨＭＤでの全周パノラマ映像の生成と表示制御のフローチャートである。
【図４】実空間から入射した光線が魚眼レンズを通過して撮像素子に投影される全周撮像モデルを説明する図である。
【図５】魚眼レンズにより撮像される歪曲円形映像と、歪曲円形映像から生成される平面正則映像を模式的に示す図である。
【図６】本発明の第２実施形態に係るウエアラブルカメラの概略構成を説明する図である。
【図７】ウエアラブルカメラの使用態様を説明する図である。
【図８】ウエアラブルカメラとデジタルカメラからなる撮像システムでの写真撮影補助処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。以下の説明では、本発明の第１実施形態に係る撮像装置の一例として、眼鏡型のヘッドマウントディスプレイ（以下「ＨＭＤ」という）を取り上げて説明する。
【００１０】
図１（ａ）は、本発明の第１実施形態に係るＨＭＤ１００の概略構成を示すブロック図である。図１（ｂ）は、ＨＭＤ１００の外観を示す斜視図である。ＨＭＤ１００は、装着部１０１、全周撮像部１０２、角度計測部１０３、表示部１０４、映像生成部１０５、表示制御部１０６、操作部１０７、ＣＰＵ１０８、メモリ１０９、電源部１１０、通信部１１１、通知制御部１１２及び振動部１１３を有する。全周撮像部１０２は、第１撮像ユニット１０２ａ及び第２撮像ユニット１０２ｂを有する。振動部１１３は、第１振動子１１３ａ及び第２振動子１１３ｂを有する。
【００１１】
装着部１０１は、眼鏡のフレームに対応する構造を有する。ＨＭＤ１００に眼鏡の構造を採用することで、ユーザ（ＨＭＤ１００の使用者）は容易に頭部の所定位置に着脱（装着／取り外し）することができ、また、違和感なく安定した装着状態を得ることができる。第１撮像ユニット１０２ａ及び第２撮像ユニット１０２ｂはそれぞれ、魚眼レンズと撮像素子を有する撮像ユニットであり、装着部１０１の一部である左右のテンプル部（つる）上の対向する位置に互いに反対方向（外側）を向くように配置されている。
【００１２】
なお、魚眼レンズとは、全天（全視野が１８０度）を所定の大きさの像円（イメージサークル）内に写し込むことができるレンズである。魚眼レンズでは、撮像素子に対する像円の位置と大きさに応じて、撮像される映像のどこで全視野撮像が実現されるかが決まる。像円が撮像素子の短辺に収まる場合を全周魚眼と呼び、第１撮像ユニット１０２ａ及び第２撮像ユニット１０２ｂは、このような全周魚眼の撮像ユニットである。よって、ＨＭＤ１００では、ＨＭＤ１００を装着したユーザを中心とした全周囲の映像を全周撮像部１０２により取得することができる。よって、全周撮像部１０２は、少なくとも第１撮像ユニット１０２ａ及び第２撮像ユニット１０２ｂを有していればよいが、全周撮像部１０２を構成する撮像ユニットの数は２つに限定されるものではない。例えば、全周撮像部１０２は、ユーザの顔が向いている正面方向を撮像する撮像ユニットを有し、他の撮像ユニットと協働して全天周映像を取得する構成であってもよい。
【００１３】
角度計測部１０３は、３軸ジャイロセンサ等を有し、ＨＭＤ１００を装着したユーザの頭部の水平方向に対する傾きに応じてＨＭＤ１００が水平方向に対して傾いた角度（仰角、俯角）を計測する。角度計測部１０３は、例えば、ユーザの顔が水平方向を向いている状態では装着部１０１の水平方向に対する傾き角度が０°であることを検出するように、装着部１０１に配置されている。
【００１４】
表示部１０４は、例えば、半透過型を有する有機ＥＬディスプレイ等であり、グラスシースルー表示が可能となるように、ユーザの眼部と対向するように装着部１０１（フレーム）に設けられたレンズ部の下側の領域に設けられている。ユーザは、直視する実風景と表示部１０４上のグラフィックスとを光学的に重ね合わせて見ることができる。なお、ＨＭＤ１００の正面方向を撮像する撮像ユニットを装着部１０１（フレーム）に設け、その撮像ユニットが取得する映像と他の撮像ユニットが取得する映像のグラフィックスとを電気的に重ね合わせて表示する構成（ビデオシースルー表示）としてもよい。この場合には、表示部１０４を、例えばＴＦＴ液晶ディスプレイ等の非透過型のディスプレイによって構成することができる。
【００１５】
映像生成部１０５は、第１撮像ユニット１０２ａと第２撮像ユニット１０２ｂが撮像している映像から全天周映像を生成すると共に、角度計測部１０３により計測された角度情報に基づいて全周パノラマ映像を生成する。なお、全周パノラマ映像の生成方法については、後述する。表示制御部１０６は、表示部１０４での表示態様、例えば、ユーザが直視する実風景と映像生成部１０５が生成した全周パノラマ映像の重畳表示や、ＧＵＩ（グラフィカルユーザインタフェース）の表示位置や表示タイミング、重ね合わせ程度等を制御する。操作部１０７は、ＨＭＤ１００に対するユーザの指示を受け付けるタッチパッドやスイッチ等であり、装着部１０１に設けられている。操作部１０７を操作することにより、ＨＭＤ１００の動作モードの設定や写真撮影処理等の各種処理を実行することができる。操作部１０７は、第１撮像ユニット１０２ａ及び第２撮像ユニット１０２ｂによりユーザの手指の動き（ジェスチャー）等を撮像し、撮像したジェスチャーによる操作入力機能を含む。
【００１６】
ＣＰＵ１０８は、メモリ１０９に格納されたプログラムを実行してＨＭＤ１００を構成する各部の動作を制御することにより、ＨＭＤ１００の全体的制御を行う。メモリ１０９は、揮発性領域と不揮発性領域を有している。メモリ１０９の揮発性領域は、不揮発性領域から読み出されたプログラム等が展開されるワーク領域と、全周撮像部１０２が撮像した映像データ等を一時的に記憶する領域を有する。メモリ１０９の不揮発性領域は、ＨＭＤ１００の動作制御に必要なプログラム、システム制御用の定数及び変数が記憶される領域と、全周撮像部１０２が撮像した映像データを記憶する領域を有する。
【００１７】
電源部１１０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池であり、ＨＭＤ１００の各部に必要な電力を供給する。また、電源部１１０は、ユーザの操作その他の条件により電源のオン／オフを切り替える電源スイッチを備える。ＨＭＤ１００では、二次電池が用いられている場合には、非接触充電（非接触電力伝送）方式やＡＣアダプタの接続により、二次電池の充電が可能な構成となっている。なお、ＨＭＤ１００がユーザの頭部に装着されているか否かを検知するセンサを装着部１０１（例えば、パッド（鼻当て）やモダン（先セル）の部分）に設け、頭部に装着されていない場合には電源がオンとならない構成としてもよい。
【００１８】
通信部１１１は、ＣＰＵ１０８による制御に従って外部機器との双方向通信を行う。外部機器としては、例えば、パーソナルコンピュータ（ＰＣ）やスマートフォン等の情報端末、通信機能を有するデジタルカメラ等の電子機器が挙げられるが、これらに限定されるものではない。通信方式は、特に限定されるものではないが、装着感を快適とするために無線方式を用いることが望ましい。振動部１１３が有する第１振動子１１３ａ及び第２振動子１１３ｂはそれぞれ、アクチュエータ、モータ、スピーカ等を有し、ユーザへ振動や音声で特定の方向を通知することができるように装着部１０１（左右のテンプル部）に配置されている。通知制御部１１２は、振動部１１３の動作を制御する。
【００１９】
図２は、ＨＭＤ１００の使用態様の具体例を説明する図である。図２（ａ）は、ＨＭＤ１００を装着したユーザの顔が水平方向を向いている態様を示す図である。角度計測部１０３は、前述の通り、ユーザの顔が水平方向を向いているときのＨＭＤ１００の姿勢では、仰角と俯角とが０度であることを示す出力を示すように調整されている。図２（ｂ）は、図２（ａ）の状態で表示部１０４に表示される映像の表示態様を示す図である。表示部１０４には、ユーザの水平前方の実風景に重畳して、ユーザの水平方向の全周パノラマ映像が実風景の下側の領域に表示されている。
【００２０】
図２（ｃ）は、ＨＭＤ１００を装着したユーザが顔を上向きに変えた態様を示す図である。図２（ｄ）は、図２（ｃ）の状態で表示部１０４に表示される映像の表示態様を示す図である。表示部１０４には、ユーザの上方の実風景に重畳して、ユーザの上方の全周パノラマ映像が実風景の下側の領域に表示されている。図２（ｅ）は、ＨＭＤ１００を装着したユーザが顔を下向きに変えた態様を示す図である。図２（ｆ）は、図２（ｅ）の状態で表示部１０４に表示される映像の表示態様を示す図である。表示部１０４には、ユーザの下方の実風景に重畳して、ユーザの下方の全周パノラマ映像が実風景の下側の領域に表示されている。
【００２１】
ＨＭＤ１００を装着したユーザは、ユーザの顔が向いている方向の実風景を視認しながら、仰角又は俯角を垂直方向（鉛直方向）の中心とする全周パノラマ映像を併せて視認することができる。このとき、全周パノラマ映像は、全周パノラマ映像の左右中心がユーザの顔が向いている方向と略一致するように表示部１０４に表示される。よって、ユーザは、全周パノラマ映像の中の被写体が、ユーザの顔が向いている方向に対して右側にあるのか左側にあるのか等、どの方向にあるのかを容易に把握することができる。
【００２２】
例えば、人は、歩行しているときには、仰角と俯角が０度の向き（略水平）を向いていることが多い。その際に、安全上の注意を払うべき自動車やバイク、他の歩行者等も、概ね、仰角と俯角が０度の方向（略水平）から接近してくる。このような状況においてユーザがＨＭＤ１００を装着していれば、前方以外の方向（後方、右側、左側）から自動車等がユーザに接近したとしても、接近する自動車等が全周パノラマ映像に表示されるため、ユーザは早期の段階から安全上の注意を払うことができる。このとき、ＨＭＤ１００では、左右のテンプル部のそれぞれに、第１振動子１１３ａと第２振動子１１３ｂが設けられているため、左右で異なる振動（音響）を発生させてユーザに伝達することで、ユーザに方向情報を通知することができる。例えば、特定の被写体（例えば、自動車）が接近する方向を振動や音声によりユーザに通知することができる。
【００２３】
また、例えば、ユーザが顔を所定角度上向きにして前方の木に止っていた鳥を観察していたときに、その鳥が飛び立ったとする。そこで、ユーザが顔の向きを変えて鳥を目で追ったものの、前方の視野から見失ってしまったとする。このとき、ＨＭＤ１００の表示部１０４には、ユーザを中心として仰角と略同角度上方の風景を写した全周パノラマ映像が表示されており、表示された全周パノラマ映像の中に飛び立った鳥が表示される確率は高い。よって、ユーザは、全周パノラマ映像に基づいて頭部の向きを変えることで、目で追っていた鳥を前方の実風景の中に捉えることが可能となる。
【００２４】
このように、ユーザは、ＨＭＤ１００を装着することによって、自身の周囲にある被写体がどの方向にあるのかを容易に知ることができため、安全上の注意を払う行動や実際に視認したい被写体の存在する方向に顔を向ける行動等を無駄なく取ることが可能になる。
【００２５】
次に、ＨＭＤ１００を装着したユーザの顔が向いている方向の仰角又は俯角を検出し、検出された仰角又は俯角を垂直方向の中心とする全周パノラマ映像を生成して表示部１０４に表示する制御のフローについて説明する。図３は、ＨＭＤ１００における全周パノラマ映像の生成と、生成した全周パノラマ映像の表示部１０４への表示制御のフローチャートである。図３のフローチャートの各種処理は、ＣＰＵ１０８が、メモリ１０９の不揮発性領域に格納されたプログラムをメモリ１０９内の揮発性領域（ワーク領域）に展開し、ＨＭＤ１００を構成する各部の動作を制御することにより実現される。
【００２６】
ＨＭＤ１００の電源スイッチがオンに操作されることによって、ＨＭＤ１００での処理が開始される。ステップＳ３０１においてＣＰＵ１０８は、全周撮像部１０２を制御して、ユーザを中心とした周囲の撮像を開始する。ステップＳ３０２においてＣＰＵ１０８は、角度計測部１０３を制御して、ユーザの顔が向いている方向の俯角及び仰角（ＨＭＤ１００の水平方向に対する傾き角度）を計測する。ステップＳ３０３においてＣＰＵ１０８は、映像生成部１０５を制御して、ステップＳ３０１で全周撮像部１０２により撮像された映像とステップＳ３０２で計測された仰角又は俯角の角度θに基づいて、角度θを垂直方向の中心とする全周パノラマ映像を生成する。なお、全周パノラマ映像の生成方法については後述する。
【００２７】
ステップＳ３０４においてＣＰＵ１０８は、表示制御部１０６を制御して、ステップＳ３０３で生成した全周パノラマ映像を表示部１０４に表示する。ステップＳ３０５においてＣＰＵ１０８は、ユーザによる所定の終了条件が満たされたか否かを判定する。所定の終了条件とは、例えば、電源スイッチのオフ操作等が挙げられる。ＣＰＵ１０８は、終了条件が満たされたと判定した場合（Ｓ３０５でＹＥＳ）、本処理を終了させ、終了条件が満たされていないと判定した場合（Ｓ３０５でＮＯ）、処理をステップＳ３０６へ進める。ステップＳ３０６においてＣＰＵ１０８は、ユーザの顔が向いている方向の俯角及び仰角が変わったか否かを判定する。ＣＰＵ１０８は、俯角及び仰角が変わったと判定した場合（Ｓ３０６でＹＥＳ）、処理をステップＳ３０２へ戻し、俯角及び仰角が変わっていないと判定した場合（Ｓ３０６でＮＯ）、処理をステップＳ３０４へ戻す。
【００２８】
次に、ステップＳ３０３において所定の角度θ（仰角又は俯角）を垂直方向中心とする全周パノラマ映像を生成する処理について説明する。図４は、第１撮像ユニット１０２ａ及び第２撮像ユニット１０２ｂのそれぞれでの撮像モデルを説明する図であり、実空間から入射した光線が魚眼レンズを通過して２次元の撮像素子に投影される全周撮像モデルを説明する図である。図５（ａ）は、魚眼レンズにより撮像される歪曲円形映像を模式的に示す図である。図５（ｂ）は、図５（ａ）の歪曲円形映像から生成される平面正則映像を模式的に示す図である。
【００２９】
ここでは、撮像素子の撮像面をＸＹ平面とし、魚眼レンズの中心軸をＺ軸とする。また、実空間から魚眼レンズへ入射した光線は、球面ＨでＺ軸と平行となり、撮像素子の撮像面（ＸＹ平面）に投影される。よって、魚眼レンズにより全周が撮像されてＸＹ平面上に結像する映像は、図５（ａ）に示されるような歪曲円形映像となる。図４に示すベクトルｎは、仰角（又は俯角）がθ度での視線ベクトルであり、ベクトルｎと直交するＵＶ平面上に方位角φ＝０度〜１８０度の範囲で結像する平面正則映像Ｔは、魚眼レンズにより全周が撮像された映像の仰角又は俯角がθ度でのパノラマ映像である。この映像は、図５（ｂ）のような平面正則映像（歪みのない映像）となる。
【００３０】
魚眼レンズを有する全周撮像部１０２により撮像された映像からパノラマ映像を生成する処理とは、図５（ａ）に示したような歪曲円形映像から図５（ｂ）に示したような平面正則映像を生成する処理である。つまり、ＵＶ平面上の点Ｔｉ（ｕｉ，ｖｉ）に位置する画素の画素値を、ＸＹ平面上の点Ｓｉ（ｘｉ，ｙｉ）に位置する画素（二次元ＸＹ直交座標系上の歪曲円形映像Ｓ内の画素）の画素値に基づいて決定する。そのためには、ＵＶ平面を定める二次元ＵＶ直交座標系上の点（ｕｉ，ｖｉ）と二次元ＸＹ直交座標系上の点（ｘｉ，ｙｉ）との間の対応関係式が必要になる。そして、その対応関係式を用いれば、平面正則映像Ｔ上の任意の点は、歪曲円形映像Ｓのいずれかの点に対応づけられることになり、歪曲円形映像を平面正則映像に変換することができる。
【００３１】
これら２点間の対応関係式は、下記式１，２で表される。但し、下記式１，２において、ｗ＝ｍ×Ｒであり、Ｒは歪曲円形映像Ｓの半径であり、ｍは座標値ｕ，ｖの画素数と座標値ｘ，ｙの画素数の関係を示すパラメータであり、ｍが大きくなるにしたがって平面正則映像Ｔの画素数は大きくなる。なお、後述の通り、一方の撮像ユニットによる平面正則映像Ｔは、他方の撮像ユニットによる映像とつなぎ合わされて表示部１０４上に表示される。そのため、ｍの値は、最終的には表示部１０４上にどのような画素数で表示されるかによって決定される。
【００３２】
【数１】
2018067773.tif 000003
【００３３】
映像生成部１０５は、まず、第１撮像ユニット１０２ａ及び第２撮像ユニット１０２ｂがそれぞれ撮像した映像から平面映像を生成する。続いて、映像生成部１０５は、生成した平面映像を横方向（各平面映像のＵ軸方向）につなぎ合わせることで、ユーザを中心としたユーザの周囲の全周パノラマ映像を生成する。映像のつなぎ合わせには、例えば、各映像のつなぎ位置近傍の画素を比較するパターンマッチング技術等の周知の技術を用いることができる。その際、全周パノラマ映像は、表示部１０４上に表示されたときに左右中心がユーザの顔が向いている方向と略一致していることが必要である。第１撮像ユニット１０２ａ及び第２撮像ユニット１０２ｂは、ＨＭＤ１００がユーザに装着された状態では、ユーザの頭部を左右から挟むように配置される。この場合、左側の第１撮像ユニット１０２ａによる平面映像が左側に、右側の第２撮像ユニット１０２ｂによる平面映像が右側になるように、各平面映像がつなぎ合わされる。
【００３４】
なお、魚眼レンズを備える複数の撮像ユニットを得られる各平面映像をつなぎ合わせる際に重複領域が生じる場合には、各撮像ユニットの配置に応じて対応する各平面映像の左右端よりも内側につなぎ目を設定してもよい。また、上述したＨＭＤ１００とは異なり、ユーザの顔が向いている方向（ユーザの前方）とその逆方向（ユーザの後方）を撮像するように撮像ユニットが配置されているＨＭＤが想定される。この場合には、ユーザの後方を撮像する撮像ユニットから生成された平面映像を左右に分割し、その左側部分を全周パノラマ映像の右側端部に、その右側部分を全周パノラマ映像の左側端部にそれぞれつなぎ合わせばよい。
【００３５】
以上の説明の通り、ユーザの頭部に装着される装着部１０１に全周撮像部１０２を設けたＨＭＤ１００は、着脱が容易であり、安定した装着が可能である。また、ユーザは、ユーザの周囲の全周を撮像することにより生成される全周パノラマ映像を視認することができるため、周囲の被写体の方向を直感的に認識することができる。更に、ＨＭＤ１００では、全周撮像部１０２により撮像された映像からユーザの向く方向の仰角又は俯角を垂直方向の中心とする全周パノラマ映像が生成され、生成され全周パノラマ映像がユーザの顔が向いている方向の実風景に重畳表示される。これにより、ユーザは、自身の顔が向く方向以外の方向に被写体があったときも、迷わずに顔の向きを変えてその被写体を速やかに視野の中に捉えることが可能となる。更に、全周パノラマ映像の左右中心がユーザの顔が向いている方向と略一致するように表示されることで、ユーザは、ユーザの顔が向いている方向に対して被写体が全周パノラマ映像のどの方向にあるのかを容易に把握することができる。
【００３６】
なお、ＨＭＤ１００では、ユーザの操作により被写体を特定し、特定された被写体の位置と方向の少なくとも一方を示す指標を、表示部１０４に表示された全周パノラマ映像に重畳させて表示することも可能である。被写体の特定には、デジタルカメラ等の撮像装置において実用されている、撮像設定条件を動く被写体に対して合わせ続ける「動体追尾」と呼ばれる技術等を用いることができる。その場合、ユーザの操作により特定された被写体の色差情報等の特徴情報をメモリ１０９に記憶し、撮像している映像の中からその特徴情報を有する領域を検出し、検出された領域に四角枠等の指標をＧＵＩとして表示すればよい。これにより、ユーザは、特定の被写体の位置及び方向をより容易に認識することが可能となる。
【００３７】
被写体が特定されている場合には、表示部１０４への全周パノラマ映像の表示のオン／オフが、特定された被写体が実風景内にある場合とない場合とで切り換えられるようにしてもよい。つまり、特定された被写体が実風景内にある場合には、ユーザはその被写体を全周パノラマ映像で確認する必要はないため、全周パノラマ映像の表示はオフに制御される。一方、全周パノラマ映像で確認したい場合とは、その被写体が実風景内にない場合であるため、この場合には全周パノラマ映像の表示はオンに制御される。特定された被写体が実風景内にあるか否かは、全周パノラマ映像から検知することができる。つまり、全周パノラマ映像の全範囲においてユーザの顔が向いている方向は特定されている。そこで、全周パノラマ映像のうちユーザによる直視が可能と判断される方向の一定の範囲内に特定された被写体にあれば、特定された被写体が実風景内にあると判断することができる。ＨＭＤ１００が、ユーザの正面の実風景を撮像可能な別の撮像ユニットを備えている場合には、この撮像ユニットが撮像する映像の中に特定された被写体があるか否かを判定することによっても、特定された被写体が実風景内にあるか否かを判断することができる。
【００３８】
ＨＭＤ１００がユーザの正面の実風景を撮像可能な別の撮像ユニットを備えている場合には、正面の実風景内の被写体を写真として撮像しようとするときに表示部１０４に全周パノラマ映像が表示されていると、正確な構図の確認が妨げられるおそれがある。そこで、正面の実風景を撮像するモードにＨＭＤ１００が設定されている場合には、全周パノラマ映像の表示はオフに制御されることが望ましい。このように全周パノラマ映像の表示が使用状況に応じてオフに制御されることで、消費電力を低減することができる効果も得られる。
【００３９】
次に、本発明の第２実施形態について説明する。ここでは、第２実施形態に係る撮像装置の一例として、頸部に掛けて使用するウエアラブルカメラを取り上げる。図６は、ウエアラブルカメラ６００の外観斜視図である。ウエアラブルカメラ６００は、輪の一部が切り欠かれた弧状又は略Ｕ字形状の首掛け部６０１と、首掛け部６０１の外周面に設けられた第１撮像ユニット６０２ａ、第２撮像ユニット６０２ｂ及び第３撮像ユニット６０２ｃを含む全周撮像部を有する。また、ウエアラブルカメラ６００は、ＨＭＤ１００が備える角度計測部１０３、映像生成部１０５、表示制御部１０６、操作部１０７、ＣＰＵ１０８、メモリ１０９、電源部１１０、通信部１１１、通知制御部１１２及び振動部１１３と同等の各部を有する。これら各部は、首掛け部６０１の内部に実装されており、外観に現れていないために図６では不図示となっている。
【００４０】
首掛け部６０１は、全周撮像部、表示制御部１０６や振動部１１３を保持する保持部材であり、例えば、弾性を有する樹脂等からなり、ユーザが頸部に掛けて装着した際に（図７参照）、良好な装着感が得られるように構成されている。第１撮像ユニット６０２ａ〜第３撮像ユニット６０２ｃはそれぞれ、魚眼レンズ及び撮像素子からなる全周魚眼撮像ユニットである。角度計測部１０３は水平方向を検出することができ、映像生成部１０５は、角度計測部１０３が検出した水平方向を基準として、第１実施形態に係るＨＭＤ１００と同様にして、ユーザの周囲の全周パノラマ映像を生成することができる。なお、全周撮像部が有する撮像ユニットの数は、３つに限定されるものではない。
【００４１】
図７（ａ）は、ウエアラブルカメラ６００の使用態様の一例を示す図である。ウエアラブルカメラ６００は、単独でユーザに装着されている。ウエアラブルカメラ６００は、首掛け部６０１をユーザの頸部に掛けるようにして装着されるため、着脱が容易であり、また、安定して装着することが可能となっている。また、ウエアラブルカメラ６００は、ＨＭＤ１００のように頭部に装着する場合と同様に、ユーザの視点に近い位置で、ユーザを中心として水平方向を全周にわたって撮像することができる。更に、ＨＭＤ１００と同様に、ユーザの頸部まわりに配された振動子（スピーカを含む）により、ユーザに対して左右で異なる振動や音声を伝えることで、ユーザに方向情報を通知することもできる。
【００４２】
ウエアラブルカメラ６００は、ユーザに装着されている間、ユーザを中心とした水平方向の全周囲を撮像し、撮像した映像をメモリに記憶している。なお、首掛け部６０１の内側等に接触センサ（人感センサ）等を設け、ウエアラブルカメラ６００がユーザに装着されていることを接触センサが検知している間のみ、撮像を行って映像を記憶するようにしてもよい。これにより、不要な映像を記憶しなくなることで、使用されるメモリ容量や電力消費を節約することができる。また、ウエアラブルカメラ６００がユーザに装着されていることを接触センサが検知しなくなってから所定時間が経過した後に映像の記憶を終了するようにしてもよい。これにより、事故等の原因でユーザの意志に反して非装着状態となった場合に、そのときの状況を記憶することができる。
【００４３】
ウエアラブルカメラ６００のＣＰＵは、ユーザの全周囲を撮像した映像の中に所定の条件に適合するオブジェクト（人、物）を検出したときには、ユーザに対して振動や音声でその方向を通知する。所定の条件の一例として、「ユーザに接近するオブジェクトがあったとき」が挙げられ、例えば、図７（ａ）に示すように他人７０１が接近している状況は、この条件に当てはまる。このような所定の条件（オブジェクト）は、ユーザ操作によって設定することができ、メモリに保存することができる。なお、ウエアラブルカメラ６００自体は、ディスプレイを備えていない。そのため、所定の条件の設定は、ウエアラブルカメラ６００にディスプレイが接続された状態で行われる。ウエアラブルカメラ６００とディスプレイとの接続は、後述するウエアラブルカメラ６００とデジタルカメラ７１１との接続と同様に行うことができる。なお、首掛け部６０１に小型のディスプレイを設け、そのディスプレイで各種の条件を設定可能な構成としてもよい。
【００４４】
ＣＰＵは、全周撮像部により撮像された映像を数フレームにわたって解析し、フレーム間の画像で変化している領域の大きさや変化の速度が所定の閾値を超えたものについて、変化している領域に対応する方向を振動や音によりユーザに通知する。その際、振動や音の大きさ、振動数、振動パターン等を、変化している領域の大きさや速度等によって異ならせてもよい。
【００４５】
また、所定の条件の別の例として、「特定のオブジェクトが現れたとき」が挙げられる。この場合、予め、「特定のオブジェクト」の特徴データをメモリの不揮発性領域に記憶させておく。ＣＰＵは、ユーザの全周囲を撮像した映像の中に新たなオブジェクトが現れたときに、新たなオブジェクトの特徴データと特定のオブジェクトの特徴データとを比較し、所定の閾値（割合）以上で合致したときに、「特定のオブジェクトが現れた」と判定する。ＣＰＵは、新たなオブジェクトの方向を振動や音によりユーザに通知する。なお、特定のオブジェクトの特徴データは、通信部を介して外部サーバ等に記憶されていてもよい。また、特徴データは、ニューラルネットワーク（Neural Network）その他の所謂「機械学習」の方法等により、随時、学習更新されるものであってもよい。
【００４６】
図７（ｂ）は、ウエアラブルカメラ６００の使用態様の別の例を示す図であり、図６（ｂ）と対応している。首掛け部６０１の両先端よりコード７１０が延びており、他の撮像装置であるデジタルカメラ７１１に連結されている。コード７１０は、首掛け部６０１に設けられた不図示のコード繰り出し／巻き取り機構によって、首掛け部６０１からの繰り出しと首掛け部６０１への収納が可能となっている。コード繰り出し／巻き取り機構は、コード７１０が引き出された状態でコード７１０をロックするロック機構、コード７１０のロック状態を解除するロック解除機構、コード７１０の巻き取りを行うための付勢機構を備える。ウエアラブルカメラ６００は、図７（ａ）の使用態様と図７（ｂ）の使用態様とを切り換えて使用することができるようになっている。
【００４７】
ウエアラブルカメラ６００とデジタルカメラ７１１とは、例えば、無線通信による双方向通信が可能となっており、デジタルカメラ７１１が備えるディスプレイや電子ビューファインダをウエアラブルカメラ６００の表示部として使用することができる。また、デジタルカメラ７１１において撮影光軸が水平方向となす仰角又は俯角を計測し、計測された仰角又は俯角を垂直方向の中心とする全周パノラマ映像をウエアラブルカメラ６００で生成することも可能である。生成された全周パノラマ映像は、デジタルカメラ７１１が備えるディスプレイや電子ビューファインダに、実風景に重畳させて表示することができ、その際の表示態様は図２（ｂ）等と同様とすることができる。よって、例えば、ユーザが撮像しようとしている被写体がデジタルカメラ７１１の撮像画角から外れたときに、全周パノラマ映像から被写体の方向を認識して、再び画角内に納めてレリーズ（写真撮影）する操作を容易に行うことが可能になる。
【００４８】
なお、コード７１０の先端に、デジタルカメラ７１１を含めて他の電子機器とウエアラブルカメラ６００とを通信可能に接続するコネクタ部を設けてもよい。その場合、ウエアラブルカメラ６００にデジタルカメラ７１１を接続すると同時に相互通信のための接続が確立するため、無線通信を用いる場合に必要となるＳＳＩＤやパスワードの入力等の所謂ペアリングの手続を省くことができる。
【００４９】
図８は、ウエアラブルカメラ６００とデジタルカメラ７１１からなる撮像システムによる撮像補助処理のフローチャートである。図８のフローチャートは、デジタルカメラ７１１での処理とウエアラブルカメラ６００での処理を含む。ウエアラブルカメラ６００での各種処理は、ウエアラブルカメラ６００のＣＰＵが、メモリ内の不揮発性領域に格納されたプログラムをメモリ内の揮発性領域に展開し、ウエアラブルカメラ６００の各部の動作を制御することにより実現される。同様に、デジタルカメラ７１１での各種処理は、デジタルカメラ７１１のＣＰＵが、メモリ内の不揮発性領域に格納されたプログラムをメモリ内の揮発性領域に展開し、デジタルカメラ７１１を構成する各部の動作を制御することにより実現される。なお、デジタルカメラ７１１による撮影では、ユーザがデジタルカメラ７１１に設けられた電子ビューファインダを通して被写体を視認しているものとする。
【００５０】
ウエアラブルカメラ６００の電源がオンに操作され又はウエアラブルカメラ６００がユーザに装着されたことを接触センサが検知することにより、また、デジタルカメラ７１１の電源がオンに操作されることにより、処理が開始される。以下の説明では、ウエアラブルカメラ６００のＣＰＵを「ＣＰＵ（Ｗ）」と記し、デジタルカメラ７１１のＣＰＵを「ＣＰＵ（Ｄ）」と記す。
【００５１】
ステップＳ８０１ではＣＰＵ（Ｄ）が、デジタルカメラ７１１での撮像（被写体像の取得）を開始する。ステップＳ８０２ではＣＰＵ（Ｄ）が、取得中の映像をデジタルカメラ７１１の電子ビューファインダに表示する。ステップＳ８０３ではＣＰＵ（Ｄ）が、ユーザのデジタルカメラ７１１に対する操作等により被写体が特定されたか否かを判定する。ＣＰＵ（Ｄ）は、被写体が特定されるまでステップＳ８０３の判定を繰り返し（Ｓ８０３でＮＯ）、被写体が特定されたと判定した場合（Ｓ８０３でＹＥＳ）、処理をステップＳ８０４へ進める。ステップＳ８０４ではＣＰＵ（Ｄ）が、特定された被写体の特徴データをメモリに記憶すると共に、特徴データをウエアラブルカメラ６００へ送信する。ＣＰＵ（Ｗ）は、デジタルカメラ７１１から受信した特徴データをメモリに保存する。
【００５２】
ステップＳ８０５ではＣＰＵ（Ｗ）が、全周撮像部による撮像を開始する。ステップＳ８０６ではＣＰＵ（Ｗ）が、デジタルカメラ７１１から取得してメモリに保存した特徴データに基づき、特徴データと合致する被写体の全周撮像部の撮像画像内での位置を検出する。ここで、デジタルカメラ７１１の仰角・俯角は、デジタルカメラ７１１に設けられた３軸ジャイロセンサ等の姿勢検出センサによって継続的に検出されている。そこで、ステップＳ８０７ではＣＰＵ（Ｗ）が、デジタルカメラ７１１からデジタルカメラ７１１の角度情報（仰角・俯角の角度θ）を取得する。ステップＳ８０８ではＣＰＵ（Ｗ）が、映像生成部を制御して、ステップＳ８０７で取得した角度が垂直方向の中心となるように、ステップＳ８０５で撮像を開始した映像から全周パノラマ映像を生成する。以下の説明では、生成された全周パノラマ映像はデジタルカメラ７１１へ送信されるものとする。
【００５３】
ステップＳ８０９ではＣＰＵ（Ｄ）が、先に特定した被写体がデジタルカメラ７１１の映像（撮像画角）の中にあるか否かを判定する。ＣＰＵ（Ｄ）は、特定された被写体がデジタルカメラ７１１の映像の中にないと判定した場合（Ｓ８０９でＮＯ）、処理をステップＳ８１０へ進める。一方、ＣＰＵ（Ｄ）は、特定された被写体がデジタルカメラ７１１の映像の中にあると判定した場合（Ｓ８０９でＹＥＳ）、処理をステップＳ８１１へ進める。
【００５４】
ステップＳ８１０ではＣＰＵ（Ｄ）が、ウエアラブルカメラ６００から取得した全周パノラマ映像を電子ビューファインダ上に表示する。一方、ステップＳ８１０ではＣＰＵ（Ｄ）が、ウエアラブルカメラ６００から取得した全周パノラマ映像を電子ビューファインダ上から消去する（全周パノラマ映像を電子ビューファインダにおいて非表示とする）。これは、ユーザが特定の被写体をレリーズ（写真撮影）しようとしたときの構図確認を容易にするためである。つまり、被写体が実風景内にある場合には、その被写体を全周パノラマ映像で確認する必要はなく、全周パノラマ映像が電子ビューファインダに表示されていることは、構図確認の妨げとなるおそれがある。よって、実風景内に被写体がある場合には全周パノラマ映像を非表示とし、被写体が撮影画角から外れた場合に、被写体を効率的に追うことを可能とするために全周パノラマ映像を電子ビューファインダに表示する。
【００５５】
ステップＳ８１０，Ｓ８１１の後のステップＳ８１２ではＣＰＵ（Ｄ）が、ユーザによる所定の終了条件が満たされたか否かを判定する。所定の終了条件とは、例えば、デジタルカメラ７１１の電源をオフする操作等が挙げられる。ＣＰＵ（Ｄ）は、終了条件が満たされたと判定した場合（Ｓ８１２でＹＥＳ）、本処理を終了させ、終了条件が満たされていないと判定した場合（Ｓ８１２でＮＯ）、処理をステップＳ８０６へ戻す。なお、ＣＰＵ（Ｗ）は、ＣＰＵ（Ｄ）が本処理を終了させたことに応じて、全周パノラマ映像の生成を終了させる構成とすることができる。
【００５６】
なお、上記のステップＳ８０８〜Ｓ８１１の処理は、以下の通りに行ってもよい。すなわち、上記説明では、ウエアラブルカメラ６００で生成された全周パノラマ映像はデジタルカメラ７１１へ送信されるものとした。これに対して、ＣＰＵ（Ｗ）は、デジタルカメラ７１１から全周パノラマ映像の送信要求を受けたときにのみ、ステップＳ８０８で生成したデジタルカメラ７１１へ全周パノラマ映像を送信するように、ウエアラブルカメラ６００を制御する。また、ＣＰＵ（Ｗ）は、デジタルカメラ７１１から全周パノラマ映像の送信停止要求を受けると、デジタルカメラ７１１への全周パノラマ映像の送信を停止するように、ウエアラブルカメラ６００を制御する。そして、ステップＳ８０９の判定がＮＯとなった場合には、ＣＰＵ（Ｄ）は、全周パノラマ映像の送信要求をウエアラブルカメラ６００へ送信する。この送信要求を受けたＣＰＵ（Ｗ）がデジタルカメラ７１１へ全周パノラマ映像を送信することで、ステップＳ８１０の処理の実行が可能になる。一方、ステップＳ８０９の判定がＹＥＳとなった場合には、ＣＰＵ（Ｄ）は、全周パノラマ映像の送信停止要求をウエアラブルカメラ６００へ送信する。この送信停止要求を受けたＣＰＵ（Ｗ）がデジタルカメラ７１１への全周パノラマ映像の送信を停止することで、ステップＳ８１１の処理の実行が可能になる。
【００５７】
以上の説明の通り、ウエアラブルカメラ６００では、ユーザを中心としたユーザの周囲の全周パノラマ映像を生成し、予め定められた条件に適合する被写体を全周パノラマ映像から検出し、検出した被写体の方向を振動や音声でユーザに通知することができる。これにより、ユーザは、ウエアラブルカメラ６００が認識した被写体を直感的に認識することができる。また、ウエアラブルカメラ６００をデジタルカメラ等の撮像装置と組み合わせ、撮像装置の表示部にウエアラブルカメラ６００で生成した全周パノラマ映像を必要に応じて表示することで、撮像装置での撮像動作を補助することができる。その際、ウエアラブルカメラ６００を撮像装置等のネックストラップとして用いることができる。
【００５８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、図３のフローチャートについては、各処理の動作主をＣＰＵ１０８として説明したが、各処理は、ＨＭＤ１００のハードウェア構成に従って１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担して行ってもよい。このことは、図８のフローチャートの処理についても同様である。また、上記説明では、本発明をＨＭＤに適用した例について説明したが、本発明はこれに限定されるものではなく、広視野角の撮像が所望される用途への適用が可能である。ＨＭＤ１００のように生成した全周パノラマ映像を表示装置に表示する形態で用いられる用途としては、監視カメラや車載カメラが挙げられる。
【００５９】
映像を表示しないウエアラブルカメラ６００の構成は、ネックバンドタイプの携帯型音楽プレーヤ、ヘッドバンド又はネックバンドを有するヘッドホンにも適用可能である。この場合には、首掛け部６０１に対応する保持部材の形状は、首掛け部６０１と同様に、Ｕ字形状とすることができる。また、ウエアラブルカメラ６００の構成は、カチューシャ等の装飾品にも適用が可能であり、この場合には、首掛け部６０１に対応する保持部材に意匠、装飾を施すことが望ましい。更にウエアラブルカメラ６００の構成は、二輪車用、自転車用及び工事現場用等の各種ヘルメット等への適用が可能であり、この場合に首掛け部６０１に対応する保持部材の形状は、ドーム形状（半球体状）とすればよい。
【００６０】
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
１００    ＨＭＤ（ヘッドマウントディスプレイ）
１０１    装着部
１０２    全周撮像部
１０３    角度計測部
１０４    表示部
１０５    映像生成部
１０６    表示制御部
１０８    ＣＰＵ
１１３    振動部
【図１】
2018067773.tif 000004
【図２】
2018067773.tif 000005
【図３】
2018067773.tif 000006
【図４】
2018067773.tif 000007
【図５】
2018067773.tif 000008
【図６】
2018067773.tif 000009
【図７】
2018067773.tif 000010
【図８】
2018067773.tif 000011