(57)【要約】  装着者の周囲全方位を同時に撮影することができる全方位撮影技術を提供する。  全方位撮影システム（１）は、魚眼レンズ付きの少なくとも２つのカメラ（５）と、カメラ（５）がそれぞれ異なる方向を向いて設けられて装着者（Ｗ）が装着する装着具（４）と、カメラ（５）で撮影された画像に基づいて装着者（Ｗ）の周囲を映した全天球画像を生成する画像処理部と（１３，１８）を備える。
2020013313.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズ付きの少なくとも２つのカメラと、
前記カメラがそれぞれ異なる方向を向いて設けられて装着者が装着する装着具と、
前記カメラで撮影された画像に基づいて前記装着者の周囲を映した全天球画像を生成する画像処理部と、
を備える、
全方位撮影システム。
【請求項２】
前記カメラが水平方向に異なる方向を向き、それぞれの前記カメラの画角の一部が互いに重なり、前記装着者の前記水平方向の全周囲の撮影が可能な数の前記カメラが前記装着具に設けられる、
請求項１に記載の全方位撮影システム。
【請求項３】
前記画像処理部は、前記全天球画像に基づいて前記装着者を直上から見たときの直上視点画像を生成する、
請求項１または請求項２に記載の全方位撮影システム。
【請求項４】
前記カメラの互いの位置が前記装着具により固定され、前記画像処理部は、前記カメラで撮影された被写体の画像と前記カメラ同士の距離とに基づいて前記装着者から前記被写体までの距離を求める、
請求項１から請求項３のいずれか１項に記載の全方位撮影システム。
【請求項５】
前記装着具が前記装着者の頭部に装着され、画角１８０度以上の前記カメラが前記装着者の側頭部に対応する位置にそれぞれ設けられる、
請求項１から請求項４のいずれか１項に記載の全方位撮影システム。
【請求項６】
前記装着具は、前記装着者がかぶるヘルメットである、
請求項１から請求項５のいずれか１項に記載の全方位撮影システム。
【請求項７】
前記カメラで撮影された画像を無線通信により取得する管理装置に設けられ、前記画像処理部で生成された画像を表示可能な管理用画像表示部を備える、
請求項１から請求項６のいずれか１項に記載の全方位撮影システム。
【請求項８】
前記画像処理部で生成された画像に基づいて、前記装着者の管理を行う管理者または前記管理装置が前記装着者の周囲の状況を把握可能となっている、
請求項７に記載の全方位撮影システム。
【請求項９】
前記管理者または前記管理装置が前記装着者に対して指示を送るための通信装置を備える、
請求項８に記載の全方位撮影システム。
【請求項１０】
前記画像処理部は、前記管理装置に設けられる、
請求項７から請求項９のいずれか１項に記載の全方位撮影システム。
【請求項１１】
前記装着具に設けられ、前記画像処理部で生成された画像を表示可能な装着用画像表示部を備える、
請求項１から請求項１０のいずれか１項に記載の全方位撮影システム。
【請求項１２】
前記画像処理部は、前記装着者が装着する装着装置に設けられる、
請求項１から請求項１１のいずれか１項に記載の全方位撮影システム。
【請求項１３】
前記装着具に設けられ、前記カメラで撮影された画像を記憶する装着用画像記憶部を備える、
請求項１から請求項１２のいずれか１項に記載の全方位撮影システム。
【請求項１４】
魚眼レンズ付きの少なくとも２つのカメラがそれぞれ異なる方向を向いて設けられる装着具を装着者が装着するステップと、
前記カメラで撮影された画像に基づいて前記装着者の周囲を映した全天球画像を
生成するステップと、
を含む、
全方位撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、全方位撮影システムおよび全方位撮影方法に関する。
【背景技術】
【０００２】
従来、ＣＣＤカメラが取り付けられたヘルメットを用いて、このヘルメットを装着した装着者の前方領域を撮影する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１４８８４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の技術では、装着者の前方の領域しか撮影できないので、撮影された画像に基づいて装着者の周囲の状況を把握することができない。装着者の周囲を撮影したい場合には、装着者が周囲を見渡す必要があり、作業が中断されるので作業効率が悪くなる。そこで、装着者の周囲を同時に撮影したいという要望がある。【０００５】
本発明の実施形態は、このような事情を考慮してなされたもので、装着者の周囲全方位を同時に撮影することができる全方位撮影技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態に係る全方位撮影システムは、魚眼レンズ付きの少なくとも２つのカメラと、前記カメラがそれぞれ異なる方向を向いて設けられて装着者が装着する装着具と、前記カメラで撮影された画像に基づいて前記装着者の周囲を映した全天球画像を生成する画像処理部と、を備える。
【発明の効果】
【０００７】
本発明の実施形態により、装着者の周囲全方位を同時に撮影することができる全方位撮影技術が提供される。
【図面の簡単な説明】
【０００８】
【図１】全方位撮影システムを示すシステム構成図。
【図２】全方位撮影システムを示すブロック図。
【図３】ヘルメットを示す正面図。
【図４】ヘルメットを示す側面図。
【図５】カメラの撮影範囲および全天球画像の合成範囲を示す説明図。
【図６】ヘルメットを直上から見たときのカメラの撮影範囲を示す説明図。
【図７】直上視点画像を示す画像図。
【図８】全方位撮影方法を示すフローチャート。
【図９】変形例のヘルメットを直上から見たときのカメラの撮影範囲を示す説明図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、全方位撮影システムの実施形態について詳細に説明する。図１の符号１は、本実施形態の全方位撮影システムである。
【００１０】
図１および図２に示すように、本実施形態の全方位撮影システム１は、装着者Ｗが装着する装着装置２と、装着者Ｗの管理を行う管理者Ｍが扱う管理装置３とを備える。この全方位撮影システム１は、原子力プラントまたは工場などの作業現場において、作業を行う装着者Ｗの周囲状況を管理者Ｍが監視をして、装着者Ｗに対して的確な指示を行えるようにするものである。
【００１１】
作業現場で工事などの作業を行う複数の装着者Ｗに対して管理者Ｍが遠隔地から指示を行う形態を例示する。なお、装着者Ｗが１人の場合であっても良い。また、複数の管理装置３を用いて複数の管理者Ｍが装着者Ｗの監視を行っても良い。
【００１２】
装着者Ｗは、装着具としての作業用ヘルメット４をかぶって作業を行う。このヘルメット４は、魚眼レンズ付きの２つのカメラ５を備える。これらのカメラ５を用いて装着者Ｗの周囲を同時に撮影可能となっている。つまり、２つのカメラ５を用いて装着者Ｗの上下左右全方位の３６０度パノラマ画像である全天球画像の同時撮影が可能となっている。なお、本実施形態の画像は、動画像であっても良いし、静止画像であっても良い。
【００１３】
また、装着者Ｗは、透過型ヘッドマウントディスプレイ６と装着用ヘッドセット７を装着して作業を行う。なお、ヘルメット４と透過型ヘッドマウントディスプレイ６と装着用ヘッドセット７は、装着装置２を構成する。装着装置２を装着することで、装着者Ｗはハンズフリーで作業を行うことができる。
【００１４】
管理者Ｍは、中央コンピュータ８を扱い、この中央コンピュータ８に接続されたディスプレイ９を視認しながら装着者Ｗの周囲の状況の監視を行う。ディスプレイ９には、装着者Ｗのヘルメット４のカメラ５により撮影された画像がリアルタイムで表示される。
【００１５】
また、管理者Ｍは、管理用ヘッドセット１０を装着して装着者Ｗに指示を行う。中央コンピュータ８には、それぞれの装着者Ｗが装着する装着装置２と無線通信を行う中央無線通信装置１１が接続される。なお、中央コンピュータ８とディスプレイ９と中央無線通信装置１１と管理用ヘッドセット１０とは、管理装置３を構成する。
【００１６】
装着者Ｗと管理者Ｍが装着するヘッドセット７，１０は、マイクおよびスピーカを備えている。これらのヘッドセット７，１０を介して互いの対話が可能となっている。
【００１７】
また、装着装置２と中央無線通信装置１１との間で無線通信ネットワークが構成されても良い。さらに、複数の装着装置２同士で無線通信が行われても良い。なお、無線通信によりカメラ５で撮影された画像に関する情報のやり取りが行われる。また、無線が使えない環境下で装着者Ｗが作業を行う場合には、装着装置２と中央無線通信装置１１とを有線で接続して通信を行っても良い。
【００１８】
次に、全方位撮影システム１のシステム構成を図２に示すブロック図を参照して説明する。
【００１９】
装着装置２は、この装着装置２の制御を行う制御部１２と、ヘルメット４に設けられた２つの魚眼レンズ付きのカメラ５と、カメラ５で撮影された画像を取得してこの画像の処理を行う装着用画像処理部１３と、装着用画像処理部１３で処理された画像を表示する装着用画像表示部１４と、装着用画像処理部１３で処理された画像を記憶する装着用画像記憶部１５と、管理装置３と無線通信を行う無線通信部１６と、装着用ヘッドセット７とを備える。
【００２０】
なお、装着用画像表示部１４は、透過型ヘッドマウントディスプレイ６に搭載された表示画面である。また、装着用画像処理部１３と装着用画像記憶部１５と無線通信部１６は、ヘルメット４または装着者Ｗの腰などに装着される所定の端末（図示略）に搭載されている。また、装着装置２の装着用画像処理部１３は、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。
【００２１】
管理装置３は、この管理装置３の制御を行う制御部１７と、装着装置２から取得した画像の処理を行う管理用画像処理部１８と、管理用画像処理部１８で処理された画像を表示する管理用画像表示部１９と、管理用画像処理部１８で処理された画像を記憶する管理用画像記憶部２０と、装着装置２と無線通信を行う無線通信部２１と、管理用ヘッドセット１０とを備える
【００２２】
なお、管理用画像表示部１９は、ディスプレイ９に搭載された表示画面である。また、無線通信部２１は、中央無線通信装置１１に搭載されている。また、制御部１７と管理用画像処理部１８と管理用画像記憶部２０は、中央コンピュータ８に搭載されている。また、管理装置３の管理用画像処理部１８は、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。
【００２３】
図３は、ヘルメット４を示す正面図である。図４は、ヘルメット４を示す側面図である。図４の紙面右側をヘルメット４の正面側（前方側）として説明する。
【００２４】
図３および図４に示すように、ヘルメット４は、ほぼ半球形状を成し、装着者Ｗの頭部に装着されるものである。このヘルメット４の外周面において、装着者の側頭部に対応する左右のそれぞれの位置に、魚眼レンズ付きのカメラ５が固定される。つまり、２つのカメラ５がヘルメット４を間に介して離れて配置されている。なお、ヘルメット４は装着者Ｗの頭部に装着されるものなので、２つのカメラ５は装着者Ｗの体の一部を間に介して離れて配置されている。
【００２５】
これらのカメラ５は、ヘルメットバンド２２および取付具２３を介してヘルメット４の外周面に着脱可能に取り付けられる。このようにすれば、一般的な作業用ヘルメット４にカメラ５を設けることができる。また、カメラ５が必要ない場合には、ヘルメット４から取り外すことができる。
【００２６】
左右の２つのカメラ５は、それぞれ異なる方向を向いてヘルメット４に設けられる。例えば、ヘルメット４の右側のカメラ５は、その画角の中心が右側方に向くとともに、ヘルメット４の左側のカメラ５は、その画角の中心が左側方に向く。そして、これらのカメラ５は、平面視で水平方向に１８０度反転した互いに異なる方向を向いて配置される。
【００２７】
カメラ５は、ヘルメット４のつば２４の部分の近傍に設けられる。好ましくは、つば２４の部分から上方に１０ｃｍ以内の部分にカメラ５を設けると良い。このようにすれば、装着者Ｗの目の高さ位置に、カメラ５の高さ位置を近づけることができるので、装着者Ｗの視界に対応した撮影範囲を確保することができる。
【００２８】
また、カメラ５は、ヘルメット４の頭頂部以外の部分に設けられる。このようにすれば、上方から落下してきた障害物がヘルメット４に当たった場合に、カメラ５に対する障害物の直撃を避けることができる。また、ヘルメット４の周辺の物体との干渉も生じ難くなる。
【００２９】
仮に、カメラ５同士の距離を離さずに近接して配置して全周囲を撮影する場合には、ヘルメット４の頭頂部などにカメラ５を設けなければならない。すると、カメラ５の画角の大半が装着者Ｗの死角となり撮影範囲が狭くなる。また、管理者Ｍは装着者Ｗの目線の画像が得られなくなる。本実施形態は、このような課題を解決することができる。
【００３０】
本実施形態の魚眼レンズ付きのカメラ５の画角は、１８０度以上となっている。例えば、カメラ５は、２２０度以上の画角を有する。好ましくは、カメラ５が２３５度以上の画角を有すると良い。
【００３１】
図５に示すように、画角の中心が斜め上方を向くようにカメラ５が位置決めされている。例えば、左側のカメラ５の撮影範囲Ｌと右側のカメラ５の撮影範囲Ｒとが、ヘルメット４（装着者Ｗ）の直上位置で互いに重なるようになっている。
【００３２】
なお、図５では、カメラ５の画角を１８０度として例示してあるが、画角が１８０度以上である場合には、必ずしもカメラ５の画角の中心が斜め上方を向かなくても良い。例えば、画角を２２０度以上とし、この画角の中心が水平方向を向くようにカメラ５を位置決めすることで、上下方向の画角の一部が、ヘルメット４の直上位置で重なるようにしても良い。
【００３３】
本実施形態では、左右のカメラ５により撮影した画像に基づいて、装着者Ｗの周囲を映した全天球画像を生成する。例えば、ヘルメット４の直上位置の仮想点Ｖを中心とした球形を成す仮想の撮影範囲Ｓである全天球画像を生成する。つまり、２つのカメラ５により撮影した画像を合成し、仮想点Ｖを中心とした球面画像に変換する。
【００３４】
具体的には、カメラ５で撮影された画像を装着用画像処理部１３（図２参照）が取得する。この装着用画像処理部１３では、取得した画像の曲率と大きさとを調整する。さらに、カメラ５で撮影された各々の部分画像の歪曲、または装着者Ｗの動作による画像のブレを補正する。これら補正された画像をつなぎ合わせて全天球画像を自動的に生成する。
【００３５】
また、カメラ５と装着者Ｗの位置関係に基づいて、全天球画像の曲率と大きさとを変換して、装着者Ｗを直上から見たときの直上視点画像２５（図７参照）を生成する。この直上視点画像２５には、装着者Ｗが映っていないので、自動的に装着者Ｗの頭部画像またはそれに準ずる補助画像を生成し、直上視点画像２５に合成する。
【００３６】
そして、装着用画像処理部１３により生成された直上視点画像２５を装着用画像表示部１４に表示する。このようにすれば、カメラ５で撮影された画像に基づいて周囲の状況を装着者Ｗが把握することができる。また、生成された直上視点画像２５を管理装置３に送信しても良い。
【００３７】
また、生成された直上視点画像２５を装着用画像記憶部１５に記憶する。このようにすれば、装着装置２が外部と通信が行えない状況にあっても、カメラ５で撮影された画像を記憶しておくことができる。
【００３８】
本実施形態では、管理装置３の管理用画像処理部１８においても直上視点画像２５の生成を行う。例えば、装着用画像処理部１３（図２参照）が取得したカメラ５で撮影された画像を管理装置３に送信する。
【００３９】
管理装置３の管理用画像処理部１８では、取得した画像の曲率と大きさとを調整し、画像の歪曲またはブレの補正をし、全天球画像を自動的に生成し、直上視点画像２５（図７参照）を生成する。そして、管理用画像処理部１８により生成された直上視点画像２５を管理用画像表示部１９に表示する。このようにすれば、カメラ５で撮影された画像に基づいて装着者Ｗの周囲の状況を管理者Ｍが把握することができ、管理者Ｍが適切な指示を装着者Ｗに与えることができる。
【００４０】
また、生成された直上視点画像２５を管理用画像記憶部２０に記憶する。このようにすれば、管理者Ｍが画像の管理を行うことができる。
【００４１】
なお、本実施形態では、装着装置２および管理装置３の両方に画像処理部１３，１８が設けられる態様を例示しているが、画像処理部１３，１８は、装着装置２または管理装置３のいずれか一方に設けられる構成でも良い。例えば、装着装置２に装着用画像処理部１３を設けないことで、装着装置２の重量を軽減することができる。そのため、装着者Ｗの負荷が軽減される。また、管理装置３に管理用画像処理部１８を設けないことで、既に処理された画像データのみが管理装置３に送信されるので、送信されるデータ量を軽減させることができる。
【００４２】
本実施形態では、画像処理部１３，１８が全天球画像に基づいて装着者Ｗを直上から見たときの直上視点画像２５を生成し、画像表示部１４，１９に表示することで、カメラ５で撮影された画像に基づいて装着者Ｗの周囲の状況を、装着者Ｗまたは管理者Ｍが把握することができる。
【００４３】
図６は、ヘルメット４を直上から見たときのカメラの撮影範囲を示す説明図である。図６の紙面上側をヘルメット４の正面側（前方側）として説明する。
【００４４】
図６に示すように、ヘルメット４の左右側部にカメラ５が設けられている場合に、それぞれのカメラ５の画角の一部が互いに重なるようになっている。例えば、水平方向の画角が２３５度である魚眼レンズ付きのカメラ５を設けた場合には、装着者Ｗの前方領域Ｆおよび後方領域Ｂで左右のカメラ５の撮影範囲Ｌ，Ｒが重なるようになっている。つまり、装着者Ｗの水平方向の全周囲の撮影が可能な数のカメラ５がヘルメット４に設けられる。このようにすれば、装着者Ｗの水平方向の全周囲を撮影した画像に基づいて全天球画像を生成することができる。
【００４５】
本実施形態では、左右のカメラ５の互いの位置がヘルメット４により固定されている。つまり、左右のカメラ５の間の距離Ｋがヘルメット４により固定される。ここで、装着者Ｗの前方領域Ｆに所定の被写体２６がある場合に、カメラ５で撮影された被写体２６の画像の位置、つまり、左右のそれぞれのカメラ５の被写体２６に対する方向Ｄ１，Ｄ２が求められる。そして、左右のカメラ５の間の距離Ｋと被写体２６に対する方向Ｄ１，Ｄ２とに基づいて、装着者Ｗから被写体２６までの距離を求めることができる。なお、距離Ｋは、５ｃｍ以上、２０ｃｍ以下の範囲にあることが好ましい。
【００４６】
画像処理部１３，１８（図２参照）は、カメラ５で撮影された被写体２６の画像とカメラ５同士の距離Ｋとに基づいて装着者Ｗから被写体２６までの距離を求める。このようにすれば、カメラ５に関する情報に基づいて装着者Ｗから被写体２６までの距離を把握することができる。
【００４７】
なお、装着者Ｗの前方領域Ｆのみならず、後方領域Ｂに所定の被写体がある場合にも、装着者Ｗから被写体までの距離を求めることができる。つまり、被写体が、２つのカメラ５の撮影範囲Ｌ，Ｒが重なる領域にある場合に、装着者Ｗから被写体までの距離を求めることができる。
【００４８】
また、装着者Ｗを中心とした所定の範囲内に被写体としての危険物がある場合に、装着者Ｗまたは管理者Ｍに対して警告を行う報知出力を行っても良い。
【００４９】
なお、管理者Ｍが視認するディスプレイ９を、立体画像を表示可能な３次元ディスプレイとし、このディスプレイ９に、被写体２６が映る立体画像であって、左右のカメラ５の視認差を利用した立体画像を表示しても良い。
【００５０】
本実施形態では、画角１８０度以上のカメラ５が装着者Ｗの側頭部に対応する位置にそれぞれ設けられることで、装着者Ｗの前方領域Ｆまたは後方領域Ｂを２つのカメラ５でそれぞれ撮影できる。そのため、生成された画像に基づいて前方領域Ｆまたは後方領域Ｂに存在する被写体２６の距離などの３次元情報を得ることができる。特に、装着者Ｗの手元の領域Ｈなどの前方領域Ｆを立体視可能な画像を生成することができる。また、装着者Ｗの視点の位置に近い位置から撮影を行うことができる。
【００５１】
図７に示すように、直上視点画像２５には、装着者Ｗから被写体２７までの距離を示す補足情報２９が含まれる。例えば、補足情報２９に基づいて、管理者Ｍが装着者Ｗに適切な指示を与えることができる。
【００５２】
また、直上視点画像２５に基準となる基準被写体２８が映っている場合に、画像処理部１３，１８は、画面上の基準被写体２８に基づいて、装着者Ｗの位置を算出することができる。また、装着者Ｗの位置を連続して記憶することで、装着者Ｗの移動の軌跡を算出することができる。
【００５３】
また、一方の装着者Ｗの直上視点画像２５に、他の装着者Ｗが映っている場合に、画像処理部１３，１８は、画面上の他の装着者Ｗに基づいて、一方の装着者Ｗを中心としたときの他の装着者Ｗの位置を算出することができる。さらに、一方の装着者Ｗの位置が判明している場合には、他の装着者Ｗの位置を算出することができる。また、他の装着者Ｗの位置を連続して記憶することで、他の装着者Ｗの移動の軌跡を算出することができる。なお、この他の装着者Ｗは、装着装置２を装着していない者であっても良い。
【００５４】
装着者Ｗは、透過型ヘッドマウントディスプレイ６の装着用画像表示部１４を視認することで、自分の周囲の状況を把握することができる。また、装着者Ｗが防護マスクをして視野が狭められている場合であっても、周囲の状況を的確に把握することができる。
【００５５】
管理者Ｍは、ディスプレイ９の管理用画像表示部１９を視認することで、遠隔地で作業を行う装着者Ｗの周囲の状況を把握することができる。また、装着者Ｗに的確な指示を与えることができる。
【００５６】
次に、全方位撮影システム１が実行する全方位撮影方法について図８のフローチャートを用いて説明する。なお、図２に示すブロック図を適宜参照する。
【００５７】
この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、全方位撮影システム１で全方位撮影方法が実行される。なお、全方位撮影システム１が他のメイン処理を実行中に、この処理を割り込ませて実行しても良い。
【００５８】
図８に示すように、まず、ステップＳ１１において、魚眼レンズ付きの複数のカメラ５がそれぞれ異なる方向を向いて設けられるヘルメット４を含む装着装置２を装着者Ｗが装着する。
【００５９】
次のステップＳ１２において、ヘルメット４に設けられた複数のカメラ５を用いて装着者Ｗの周囲を同時に撮影する。
【００６０】
次のステップＳ１３において、装着装置２の装着用画像処理部１３は、カメラ５で撮影された画像を取得する。または、管理装置３の管理用画像処理部１８は、装着装置２からカメラ５で撮影された画像を取得する。
【００６１】
次のステップＳ１４において、装着用画像処理部１３または管理用画像処理部１８は、取得した画像の曲率と大きさとを調整し、画像の歪曲またはブレの補正を行う。
【００６２】
次のステップＳ１５において、装着用画像処理部１３または管理用画像処理部１８は、カメラ５で撮影した画像に基づいて、装着者Ｗの周囲を映した全天球画像を生成する。
【００６３】
次のステップＳ１６において、装着用画像処理部１３または管理用画像処理部１８は、全天球画像の曲率と大きさとを変換して、装着者Ｗを直上から見たときの直上視点画像を生成する。
【００６４】
次のステップＳ１７において、装着装置２の装着用画像表示部１４または管理装置３の管理用画像表示部１９は、直上視点画像の表示を行う。
【００６５】
次のステップＳ１８において、装着用画像処理部１３または管理用画像処理部１８は、カメラ５で撮影された被写体２７の画像とカメラ５同士の距離Ｋとに基づいて装着者Ｗから被写体２７までの距離の演算を行う。
【００６６】
次のステップＳ１９において、装着用画像表示部１４または管理用画像表示部１９は、装着者Ｗから被写体２７までの距離を示す補足情報２９を表示する。
【００６７】
次のステップＳ２０において、装着装置２の装着用画像記憶部１５または管理装置３の管理用画像記憶部２０は、直上視点画像の記憶を行う。
【００６８】
本実施形態の装着具が、装着者Ｗがかぶるヘルメット４であることで、装着者Ｗが装着具の装着を簡便に行うことができる。また、装着者Ｗがハンズフリーで作業を行うことができ、搭載されるカメラ５が作業の邪魔にならずに済む。
【００６９】
また、カメラ５で撮影された各々の部分画像の歪曲、または装着者Ｗの動作によるブレを補正することで、画像を見ている者の画面酔い（３Ｄ酔い）を防ぐことができる。
【００７０】
また、魚眼レンズ付きのカメラ５を用いることで、ヘルメット４に搭載するカメラ５の個数を少なくすることができる。そのため、ヘルメット４の軽量化を図ることができる。さらに、装着装置２の製造コストの低減を図ることができる。
【００７１】
次に変形例としてのヘルメット４を説明する。図９は、ヘルメット４を直上から見たときのカメラの撮影範囲を示す説明図である。図９の紙面上側をヘルメット４の正面側（前方側）として説明する。
【００７２】
図９に示すように、変形例のヘルメット４では、前部と左後部と右後部との３箇所に、魚眼レンズ付きのカメラ５が設けられる。これら３つのカメラ５の画角は、１８０度となっている。それぞれのカメラ５の位置は、平面視でヘルメット４を中心とした１２０度の回転対称となっている。
【００７３】
この変形例では、装着者Ｗの左前の領域Ｑ１と右前の領域Ｑ２と後方領域Ｑ３で、それぞれのカメラ５の撮影範囲が重なるようになっている。つまり、装着者Ｗの水平方向の全周囲の撮影が可能な数のカメラ５がヘルメット４に設けられる。このようにすれば、画角が狭い魚眼レンズ付きのカメラ５を用いても、装着者Ｗの水平方向の全周囲の撮影を行うことができる。
【００７４】
本実施形態の全方位撮影システムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の全方位撮影方法は、プログラムをコンピュータに実行させることで実現される。
【００７５】
なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。
【００７６】
本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。
【００７７】
なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。
【００７８】
また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。
【００７９】
なお、本実施形態では、管理用画像表示部１９がディスプレイ９の表示画面となっているが、その他の形態でも良い。例えば、管理用画像表示部１９は、非透過型ヘッドマウントディスプレイに搭載された表示画面であっても良い。そして、この非透過型ヘッドマウントディスプレイを管理者Ｍが装着し、装着者Ｗの周囲を示す全天球画像を視認できるようにしても良い。
【００８０】
なお、本実施形態では、ヘルメット４の外周面にカメラ５が設けられているが、その他の位置にカメラ５を設けても良い。例えば、ヘルメット４のつば２４の下面側にカメラ５を設け、装着者Ｗの周囲を撮影可能としても良い。このようにすれば、雨天に作業を行う場合にカメラ５が濡れることがなくなる。また、ヘルメット４が障害物に当たったときにカメラ５の破損を防止できる。
【００８１】
なお、本実施形態では、装着具としてヘルメット４を例示したが、その他の装着具でも良い。例えば、防止、メガネ、ゴーグル、ヘッドマウントディスプレイ、防護マスクなどの頭部に装着する物に、カメラ５を設け、装着者Ｗの周囲を撮影可能としても良い。
【００８２】
なお、本実施形態では、カメラ５により撮影した画像により、まず、全天球画像を生成し、この全天球画像に基づいて直上視点画像２５を生成しているが、その他の実施形態でも良い。例えば、全天球画像を生成せずに、カメラ５により撮影した画像に基づいて直上視点画像２５を生成しても良い。
【００８３】
なお、本実施形態では、２つまたは３つのカメラ５がヘルメット４に設けられているが、４つ以上のカメラ５をヘルメット４に設けるようにしても良い。
【００８４】
なお、本実施形態では、装着者Ｗの周囲状況を管理者Ｍが監視をし、この管理者Ｍが装着者Ｗに対して的確な指示を行えるようにしているが、その他の態様であっても良い。例えば、人工知能（ＡＩ：Artificial Intelligence）を備える管理装置３が装着者Ｗの周囲状況を監視し、この人工知能が装着者Ｗに対して的確な指示を行えるようにしても良い。また、人工知能を備える装着装置２が装着者Ｗの周囲状況を監視して指示を行えるようにしても良い。
【００８５】
本実施形態のコンピュータを用いた画像の解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。
【００８６】
本実施形態の全方位撮影システム１は、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータで全方位撮影システム１を構成しても良いし、ニューラルネットワークを備える複数台のコンピュータで全方位撮影システム１を構成しても良い。
【００８７】
ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。
【００８８】
例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、ユニット数、学習率、学習回数、活性化関数を設定することができる。
【００８９】
なお、学習の対象となる各種情報に報酬関数を設定し、この報酬関数に基づいて価値が最も高くなるものを抽出する深層強化学習を用いても良い。
【００９０】
例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に着目する領域のいずれの値を用いるかによって、画像の多少のずれも吸収することができる。
【００９１】
畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。
【００９２】
なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。
【００９３】
以上説明した実施形態によれば、魚眼レンズ付きの少なくとも２つのカメラがそれぞれ異なる方向を向いて設けられて装着者が装着する装着具を備えることにより、装着者の周囲全方位を同時に撮影することができる。
【００９４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９５】
１…全方位撮影システム、２…装着装置、３…管理装置、４…ヘルメット、５…カメラ、６…ヘッドマウントディスプレイ、７…装着用ヘッドセット、８…中央コンピュータ、９…ディスプレイ、１０…管理用ヘッドセット、１１…中央無線通信装置、１２…制御部、１３…装着用画像処理部、１４…装着用画像表示部、１５…装着用画像記憶部、１６…無線通信部、１７…制御部、１８…管理用画像処理部、１９…管理用画像表示部、２０…管理用画像記憶部、２１…無線通信部、２２…ヘルメットバンド、２３…取付具、２４…つば、２５…直上視点画像、２６，２７…被写体、２８…基準被写体、２９…補足情報、Ｂ…後方領域、Ｄ１，Ｄ２…被写体に対する方向、Ｆ…前方領域、Ｋ…カメラ間の距離、Ｌ…左側のカメラの撮影範囲、Ｍ…管理者、Ｑ１…左前の領域、Ｑ２…右前の領域、Ｑ３…後方領域、Ｒ…右側のカメラの撮影範囲、Ｓ…仮想の撮影範囲、Ｖ…仮想点、Ｗ…装着者。
【図１】
2020013313.tif 000003
【図２】
2020013313.tif 000004
【図３】
2020013313.tif 000005
【図４】
2020013313.tif 000006
【図５】
2020013313.tif 000007
【図６】
2020013313.tif 000008
【図７】
2020013313.tif 000009
【図８】
2020013313.tif 000010
【図９】
2020013313.tif 000011
【国際調査報告】
2020013313.tif 000012
2020013313.tif 000013
2020013313.tif 000014
2020013313.tif 000015