(57)【要約】【課題】パノラマ画像に関して利便性を向上することができる画像生成装置、画像生成方法及びコンピュータプログラムを提供することである。【解決手段】実施形態の画像生成装置は、画像取得部と、センサ情報取得部と、センサ画像生成部と、合成画像生成部とを持つ。画像取得部は、パノラマ画像を取得する。センサ情報取得部は、パノラマ画像が撮像される環境に関する情報を示すセンサ情報を取得する。センサ画像生成部は、センサ情報取得部によって取得されたセンサ情報の一部又は全部を示すセンサ画像を生成する。合成画像生成部は、パノラマ画像に対してセンサ画像を合成することによって合成画像を生成する。【選択図】図１
2017158117.tif 000002
【特許請求の範囲】
【請求項１】
パノラマ画像を取得する画像取得部と、
前記パノラマ画像が撮像される環境に関する情報を示すセンサ情報を取得するセンサ情報取得部と、
前記センサ情報取得部によって取得されたセンサ情報の一部又は全部を示すセンサ画像を生成するセンサ画像生成部と、
前記パノラマ画像に対して前記センサ画像を合成することによって合成画像を生成する合成画像生成部と、
を備える画像生成装置。
【請求項２】
前記パノラマ画像は、撮影された被写体が写っている画像領域と、被写体が一切写っていない非画像領域とを有し、
前記合成画像生成部は、前記画像領域と前記非画像領域との境界部分に前記センサ画像を配置することによって前記合成画像を生成する、請求項１に記載の画像生成装置。
【請求項３】
前記合成画像生成部によって生成された前記合成画像を、ユーザによって指示される視野に応じた部分が表示されるように再生する閲覧機能から、表示されている領域である表示領域を示す情報を取得する表示領域情報取得部をさらに備え、
前記合成画像生成部は、前記表示領域情報取得部によって取得される前記表示領域を示す情報に基づいて、前記センサ画像の変形又は前記センサ画像の合成位置の変更を行う、請求項１又は２に記載の画像生成装置。
【請求項４】
前記センサ情報取得部によって取得されたセンサ情報に基づいて、前記ユーザに対して通知を行う必要があるセンサ情報である通知対象センサ情報を判定するセンサ情報判定部をさらに備え、
前記合成画像生成部は、前記表示領域内に前記ユーザに対して前記通知対象センサ情報が示されるように前記合成画像を生成する、請求項３に記載の画像生成装置。
【請求項５】
パノラマ画像を取得する画像取得ステップと、
前記パノラマ画像が撮像される環境に関する情報を示すセンサ情報を取得するセンサ情報取得ステップと、
前記センサ情報取得ステップにおいて取得されたセンサ情報の一部又は全部を示すセンサ画像を生成するセンサ画像生成ステップと、
前記パノラマ画像に対して前記センサ画像を合成することによって合成画像を生成する合成画像生成ステップと、
を有する画像生成方法。
【請求項６】
請求項１から４のいずれか一項に記載の画像生成装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像生成装置、画像生成方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、全周魚眼レンズ等の特殊なレンズを用いることによって広い視野の画像（例えばパノラマ画像）を撮影することが行われている。例えば、全周魚眼レンズを垂直方向に向けて配置することによって、水平視野角が３６０度前後、垂直視野角が１８０度前後の画像を撮像することが可能である。このようにして撮像された画像（以下「全周魚眼画像」という。）は、レンズの特性に応じて円形の歪んだ画像として生成される。一般的には、このようにして撮影された全周魚眼画像は長方形の画像（以下「変換後画像」という。）に変換される。変換後画像の具体例として、エクレクタンギュラー形式の画像がある。閲覧機能を用いて変換後画像を再生することにより、ユーザの指示に応じて動的に視野を移動させて閲覧することが可能である。しかしながら、従来は単に視野移動が可能な画像として再生されるのみであり、さらなる利便性の向上が求められている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０４０８９８号公報
【特許文献２】特開２００５−０９４７１３号公報
【特許文献３】特開２０１０−１３４６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、パノラマ画像に関して利便性を向上することができる画像生成装置、画像生成方法及びコンピュータプログラムを提供することである。
【課題を解決するための手段】
【０００５】
実施形態の画像生成装置は、画像取得部と、センサ情報取得部と、センサ画像生成部と、合成画像生成部とを持つ。画像取得部は、パノラマ画像を取得する。センサ情報取得部は、パノラマ画像が撮像される環境に関する情報を示すセンサ情報を取得する。センサ画像生成部は、センサ情報取得部によって取得されたセンサ情報の一部又は全部を示すセンサ画像を生成する。合成画像生成部は、パノラマ画像に対してセンサ画像を合成することによって合成画像を生成する。
【図面の簡単な説明】
【０００６】
【図１】合成画像生成装置の第１の実施形態（合成画像生成装置１０）の機能構成を示す概略ブロック図である。
【図２】合成画像生成装置１０に対して入力される全周魚眼画像の撮影環境の具体例を示す図である。
【図３】合成画像生成装置１０の画像取得部１０１によって取得される全周魚眼画像の具体例を示す図である。
【図４】合成画像生成装置１０の画像変換部１０２によって生成される変換後画像の具体例を示す図である。
【図５】合成画像生成装置１０の合成画像生成部１０５によってセンサ画像が合成される領域の具体例を示す図である。
【図６】合成画像生成装置１０のセンサ画像生成部１０４によって生成されるセンサ画像の具体例を示す図である。
【図７】合成画像生成装置１０の合成画像生成部１０５によって生成される合成画像の具体例を示す図である。
【図８】閲覧機能において変換後画像５０を再生した場合に表示される画像の具体例を示す図である。
【図９】閲覧機能において合成画像５０ａを再生した場合に表示される画像の具体例を示す図である。
【図１０】第１の実施形態（合成画像生成装置１０）が行う処理の流れの具体例を示すフローチャートである。
【図１１】合成画像生成装置の第２の実施形態（合成画像生成装置１０ａ）の機能構成を示す概略ブロック図である。
【図１２】スライド処理が行われる前のセンサ画像の具体例を示す図である。
【図１３】スライド処理が行われた後のセンサ画像の具体例を示す図である。
【図１４】第２の実施形態（合成画像生成装置１０ａ）が行う処理の流れの具体例を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下、実施形態の画像生成装置、画像生成方法及びコンピュータプログラムを、図面を参照して説明する。
【０００８】
（第１の実施形態）
図１は、合成画像生成装置の第１の実施形態（合成画像生成装置１０）の機能構成を示す概略ブロック図である。合成画像生成装置１０は、ＣＰＵ（Central Processing Unit）やメモリや補助記憶装置を備えた情報処理装置が合成画像生成プログラムを実行することによって実現される。合成画像生成装置１０は、画像取得部１０１、画像変換部１０２、センサ情報取得部１０３、センサ画像生成部１０４及び合成画像生成部１０５を備える装置として機能する。なお、合成画像生成装置１０が備える各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。合成画像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。合成画像生成プログラムは、電気通信回線を介して送信されてもよい。
【０００９】
画像取得部１０１は、パノラマ画像を取得する。以下の実施形態では、パノラマ画像の具体例として全周魚眼画像が用いられる。画像取得部１０１は、合成画像生成装置１０に対して入力される全周魚眼画像のデータを取得する。画像取得部１０１は、例えばＣＤ−ＲＯＭやＵＳＢメモリ（Universal Serial Bus Memory）等の記録媒体に記録された全周魚眼画像のデータを読み出しても良い。また、画像取得部１０１は、全周魚眼画像を撮影可能なスチルカメラやビデオカメラによって撮像された全周魚眼画像を、カメラから取得しても良い。また、合成画像生成装置１０がスチルカメラやビデオカメラ若しくはカメラを備えた情報処理装置に内蔵されている場合は、画像取得部１０１は撮像された全周魚眼画像又は撮像前の全周魚眼画像（プレビュー状態の全周魚眼画像）をバスから取得しても良い。また、画像取得部１０１は、ネットワークを介して他の情報処理装置から全周魚眼画像のデータを受信しても良い。画像取得部１０１は、全周魚眼画像のデータを取得することが可能な構成であれば、さらに異なる態様で構成されても良い。
【００１０】
画像変換部１０２は、画像取得部１０１によって取得された全周魚眼画像を閲覧機能で再生可能な形式の画像に変換する。このような形式の具体例として、エクレクタンギュラー形式がある。画像変換部１０２によって変換された画像を「変換後画像」という。
【００１１】
センサ情報取得部１０３は、画像取得部１０１によって取得される全周魚眼画像が撮像されるタイミングでセンサによって検知された情報（以下「センサ情報」という。）を取得する。センサ情報取得部１０３が取得するセンサ情報は、画像取得部１０１によって取得される全周魚眼画像が撮影される環境に関する情報である。センサ情報は、例えば全周魚眼画像が撮影された環境の温度であってもよい。例えば、撮影された環境が空気中であれば気温であってもよいし、撮影された環境が水中であれば水温であってもよいし、全周魚眼画像に個体が撮影されている場合にはその個体表面又は内部の温度であってもよい。センサ情報は、例えば全周魚眼画像が撮影された位置を示す情報であってもよい。例えば、全周魚眼画像が撮影された環境が陸上であれば標高であってもよいし、全周魚眼画像が撮影された環境が空中であれば高度であってもよいし、全周魚眼画像が撮影された環境が水中であれば水深であってもよい。全周魚眼画像が撮影された位置の水平方向の位置（例えば緯度及び経度）であってもよい。センサ情報は、例えば全周魚眼画像が撮影された日時であってもよい。センサ情報は、例えば全周魚眼画像が撮影された環境における照度であってもよい。センサ情報は、例えば全周魚眼画像を撮影するカメラの加速度であってもよい。なお、センサ情報取得部１０３が取得するセンサ情報は、全周魚眼画像を撮影するカメラと別装置として設けられたセンサによって検知されてもよいし、全周魚眼画像を撮影するカメラに一体に設けられたセンサによって検知されてもよい。
【００１２】
センサ画像生成部１０４は、センサ情報取得部１０３によって取得されたセンサ情報の一部又は全部を示す画像（以下「センサ画像」という。）を生成する。センサ画像の形状は、所定の幾何学形状である。例えば、センサ画像の形状は長方形である。センサ画像生成部１０４によって生成されるセンサ画像は、変換後画像に合成される。そのため、センサ画像の縦幅又は横幅のいずれか一方は、変換後画像の縦幅又は横幅に一致することが望ましい。
【００１３】
合成画像生成部１０５は、変換後画像とセンサ画像を合成することによって合成画像を生成する。合成画像生成部１０５が合成に用いるセンサ画像は、合成に用いられる変換後画像の元となる全周魚眼画像が撮像されたタイミングと同じタイミングで検知されたセンサ情報に基づいて生成されるセンサ画像である。合成画像の画像サイズは、合成前の変換後画像と同じ画像サイズであることが望ましい。合成画像生成部１０５は、生成された合成画像を出力する。合成画像生成部１０５は、例えば変換後画像を視野移動可能に再生する閲覧機能に合成画像を出力してもよい。なお、閲覧機能は、合成画像生成装置１０が実装される情報処理装置と同じ装置において実行されてもよいし、他の情報処理装置において実行されてもよい。
【００１４】
図２は、合成画像生成装置１０に対して入力される全周魚眼画像の撮影環境の具体例を示す図である。全周魚眼画像は、例えば水面３０付近に鉛直下方向（矢印３１方向）に視線を向けて配置されたカメラ２０によって撮影される。カメラ２０には、全周囲魚眼レンズが設けられている。２本の破線２１は、カメラ２０の視野の境界を示す。カメラ２０の水平方向の視野角が３６０度であり、垂直方向の視野角は矢印２２によって示されるように１８０度に近い角度又は１８０度よりも大きい角度である。このようなカメラ２０によって全周魚眼画像が撮影されることにより、水中の環境が広範囲にわたって写った全周魚眼画像を撮影することが可能となる。
【００１５】
図３は、合成画像生成装置１０の画像取得部１０１によって取得される全周魚眼画像の具体例を示す図である。図３における全周魚眼画像４０は、画像領域４１及び非画像領域４２を有する。
【００１６】
図４は、合成画像生成装置１０の画像変換部１０２によって生成される変換後画像の具体例を示す図である。図４における変換後画像５０は、画像領域５１及び非画像領域５２を有する。画像領域５１は、カメラ２０によって撮影された際に実空間に存在するなんらかの被写体が写っている領域である。非画像領域５２は、カメラ２０によって撮影された際に実空間に存在する被写体が一切写っていない領域である。合成画像生成装置１０の画像取得部１０１によって取得される全周魚眼画像が、図２に示すように垂直方向の視野角が３６０度よりも十分小さい値（例えば２７０度、２００度、１８０度など）であるため、図４に示されるように変換後画像５０内に非画像領域５２が生じる。
【００１７】
図５は、合成画像生成装置１０の合成画像生成部１０５によってセンサ画像が合成される領域の具体例を示す図である。図５における変換後画像５０の非画像領域５２の一部には、合成領域５３が設けられている。合成領域５３には、合成画像生成部１０５によってセンサ画像が配置される。合成領域５３が設けられる位置は、画像領域５１及び非画像領域５２の境界部分であることが望ましい。このように配置されることによって、画像領域５１及び非画像領域５２の境界部分に生じる歪みをセンサ画像で被うことが可能となる。したがって、視認性の向上や、見た目の品質の向上を図ることが可能となる。
【００１８】
なお、合成領域５３は、その全てが非画像領域５２内に設けられる必要は無い。例えば、合成領域５３は、一部が画像領域５１内に設けられ、残りの部分が非画像領域５２内に設けられてもよい。
【００１９】
図６は、合成画像生成装置１０のセンサ画像生成部１０４によって生成されるセンサ画像の具体例を示す図である。センサ画像６０には、複数の部分領域（例えば６１，６２，６３，６４）が設けられる。各部分領域には、センサ情報を示す画像が配置される。例えば、部分領域６１には、水温を示すセンサ情報が配置される。より具体的には、水温を示す数値と“Temperature”の文字とを示す画像が部分領域６１に配置される。例えば、部分領域６２には、水深を示すセンサ情報が配置される。より具体的には、水深を示す数値と“Water Depth”の文字とを示す画像が部分領域６２に配置される。例えば、部分領域６３には、位置を示すセンサ情報が配置される。より具体的には、緯度及び経度を示す数値と“Position”、“Lon”及び“Lat”の文字とを示す画像が部分領域６３に配置される。例えば、部分領域６４には、日時を示すセンサ情報が配置される。より具体的には、日時を示す数値と“Date & Time”の文字とを示す画像が部分領域６４に配置される。
【００２０】
図７は、合成画像生成装置１０の合成画像生成部１０５によって生成される合成画像の具体例を示す図である。合成画像５０ａは、その画像サイズは変換後画像５０と同じである。変換後画像５０の合成領域５３に対してセンサ画像を配置することによって合成画像５０ａが生成される。この場合、変換後画像５０の横幅とセンサ画像６０の横幅とは同じであることが望ましい。変換後画像５０の横幅とセンサ画像６０の横幅とが異なる場合、合成画像生成部１０５は、いずれか一方の画像に対してアフィン変換を行うことによって横幅が同じになるように画像処理を行ってもよい。
【００２１】
図８は、閲覧機能において変換後画像５０を再生した場合に表示される画像の具体例を示す図である。図８において、閲覧機能の再生領域７０には、画像領域７１及び非画像領域７２が表示される。画像領域７１には、変換後画像において画像領域５１であった部分の画像が、ユーザによって指定された視野に応じて表示される。非画像領域７２には、変換後画像において非画像領域５２であった部分の画像が、ユーザによって指定された視野に応じて表示される。図８に示されるように、閲覧機能で変換後画像５０を再生した場合、射影変換の影響により、画像領域７１と非画像領域７２との境界は歪んで表示される。
【００２２】
図９は、閲覧機能において合成画像５０ａを再生した場合に表示される画像の具体例を示す図である。図９において、閲覧機能の再生領域７０には、画像領域７１、非画像領域７２及びセンサ画像領域７３が表示される。センサ画像領域７３には、合成画像において合成領域５３に配置されたセンサ画像６０が、ユーザによって指定された視野に応じて表示される。図９に示されるように、合成画像において画像領域５１及び非画像領域５２の境界部分にセンサ画像が合成されることにより、画像領域５１及び非画像領域５２の境界部分に生じる歪みをセンサ画像で被うことが可能となる。したがって、視認性の向上や、見た目の品質の向上を図ることが可能となる。
【００２３】
図１０は、第１の実施形態（合成画像生成装置１０）が行う処理の流れの具体例を示すフローチャートである。まず、画像取得部１０１が全周魚眼画像を取得する（ステップＳ１０１）。次に、画像変換部１０２が、取得された全周魚眼画像に対して変換処理を行うことによって変換後画像を生成する（ステップＳ１０２）。
【００２４】
センサ情報取得部１０３がセンサ情報を取得する（ステップＳ１０３）。次に、センサ画像生成部１０４は、取得されたセンサ情報に基づいてセンサ画像を生成する（ステップＳ１０４）。
【００２５】
ステップＳ１０２及びステップＳ１０４の処理の後、合成画像生成部１０５が変換後画像に対しセンサ画像を合成することによって合成画像を生成する（ステップＳ１０５）。そして、合成画像生成部１０５が、生成された合成画像を出力する（ステップＳ１０６）。なお、ステップＳ１０１及びステップＳ１０２の処理と、ステップＳ１０３及びステップＳ１０４の処理とは、それぞれ並行して行われてもよいし、図１０とは異なりステップＳ１０３及びステップＳ１０４の処理が先に行われてもよい。
【００２６】
このように構成された合成画像生成装置１０によれば、出力される合成画像においてセンサ情報を示すセンサ画像が表示される。そのため、ユーザは単に画像が表示される場合に比べてより多くの情報を画像から取得する事が可能となる。
【００２７】
また、合成画像生成装置１０によれば、変換後画像５０において画像領域５１及び非画像領域５２の境界部分にセンサ画像が合成される。センサ画像は、所定の幾何学形状（例えば長方形）を有している。このような、所定の幾何学形状のセンサ画像が境界部分に合成されるため、たとえ変換後画像５０において境界部分が歪んでいたとしても、その歪みをセンサ画像で被うことによって視認性の向上や見た目の品質の向上を図ることが可能となる。
【００２８】
［変形例］
画像取得部１０１は、全周魚眼画像ではなく変換後画像を取得してもよい。この場合、合成画像生成装置１０とは異なる装置によって予め全周魚眼画像に対して変換処理が行われている必要がある。また、この場合、合成画像生成装置１０は画像変換部１０２を備えないように構成されてもよい。
【００２９】
カメラ２０の垂直方向の視野各は３６０度に近い角度又は３６０度であってもよい。このように構成された場合、非画像領域５２及び非画像領域７２が殆ど又は全く無い。このような場合であっても、所定の領域にセンサ画像が合成されてもよい。このように構成されることによって、ユーザは画像を閲覧すると共にセンサ情報を閲覧することが可能となる。
【００３０】
合成画像生成部１０５は、センサ情報取得部１０３によって取得されたセンサ情報のうちカメラ２０の位置のずれを示す情報（例えばカメラ２０に備えられたジャイロセンサの出力）に基づいて、カメラ２０の撮影領域のずれを補正してもよい。例えば、合成画像生成部１０５は、カメラ２０の撮影領域のずれを示す移動量を打ち消すように変換後画像の画像領域５１の位置を移動させることによってずれを補正してもよい。このように構成されることにより、カメラ２０の位置のぶれに伴う表示画像のぶれを軽減することが可能となる。
【００３１】
変換後画像における画像領域５１は、図４に示されるように長方形である必要は無い。例えば、カメラ２０のレンズの歪み等の原因によって、画像領域５１と非画像領域５２との境界が直線ではない態様で形成されてもよい。例えば、左右方向の中央部分が下方向にへこみ、左右両端部分に近づくにつれて上方向に出っ張るような形状で画像領域５１と非画像領域５２との境界が形成されてもよい。また、画像領域５１の一部が、非画像領域５２において飛び地の形で形成されてもよい。このような場合は特に、図８に示されるように閲覧機能において変換後画像が再生された際に画像領域７１と非画像領域７２との境界が歪んでしまい、見た目が悪くなってしまうおそれがある。このような場合であっても、合成画像生成装置１０によれば、歪んでしまった部分にセンサ画像が重畳されて表示されるため、見た目の品質の向上を図ることが可能となる。
【００３２】
（第２の実施形態）
図１１は、合成画像生成装置の第２の実施形態（合成画像生成装置１０ａ）の機能構成を示す概略ブロック図である。第２の実施形態（合成画像生成装置１０ａ）は、表示領域情報取得部１１１及びセンサ情報判定部１１２をさらに備える点、合成画像生成部１０５に代えて合成画像生成部１０５ａを備える点、において第１の実施形態（合成画像生成装置１０）と異なる。第２の実施形態の他の構成は第１の実施形態と同様である。以下、第２の実施形態に特有の構成について特に説明する。
【００３３】
表示領域情報取得部１１１は、合成画像生成部１０５ａによって生成された合成画像を再生している閲覧機能から、合成画像のうち再生領域７０に表示されている領域（以下「表示領域」という。）を示す情報（以下「表示領域情報」という。）を取得する。表示領域情報は、例えば合成画像のイメージ座標に基づいて表示領域を示す座標によって表されてもよい。表示領域情報は、例えば再生領域７０に表示されている視野を示すベクトルによって表されてもよい。表示領域情報は、上記した具体例とは異なる形態によって表されてもよい。
【００３４】
センサ情報判定部１１２は、センサ情報取得部１０３によって取得されたセンサ情報が所定の条件を満たしているか否か判定する。所定の条件とは、閲覧機能によって合成画像を閲覧しているユーザに対して何らかの通知を行う必要がある状態であることを示す条件である。例えば、所定の条件は、ユーザに対して警告を行う必要がある状態であることを示す条件であってもよい。より具体的には、水温、水深、位置、加速度等の値の１つ又は複数が、ユーザにとって注意を促す必要があると定められている値又はそれに近い値であることを示す条件が所定の条件として定められてもよい。センサ情報判定部１１２は、所定の条件が満たされると、所定の条件を満たしたことと、所定の条件が満たされた場合にユーザに対して通知すべき情報として予め定められているセンサ情報（以下「通知対象センサ情報」という。例えば、所定の条件を満たしたセンサ情報。）と、を合成画像生成部１０５ａに出力する。
【００３５】
合成画像生成部１０５ａは、センサ情報判定部１１２によって所定の条件が満たされたと判定されていない場合は、第１の実施形態における合成画像生成部１０５と同様に合成画像を生成する。一方、センサ情報判定部１１２によって所定の条件が満たされたと判定された場合、合成画像生成部１０５ａは、通知対象センサ情報が表示領域内に表示されるようにセンサ画像に対してスライド処理を実行する。スライド処理の実行によって、センサ画像内に表示される各センサ情報の位置が変更される。この変更において、通知対象センサ情報に関する画像が合成画像の表示領域内に位置するように画像処理が行われる。
【００３６】
図１２は、スライド処理が行われる前のセンサ画像の具体例を示す図である。図１２において通知対象センサ情報は水温の情報である。図１２において、線分８１は、通知対象センサ情報を示す画像の水平方向の中心位置を示す。線分８２は、表示領域の水平方向の中心位置を示す。スライド処理において、合成画像生成部１０５ａは、線分８１で示される水平方向の位置の画像が線分８２で示される水平方向の位置に移動するように画像を右方向に平行移動する画像処理を行う。この画像処理において、スライド処理の実行前のセンサ画像の右端よりも右側に移動したセンサ画像については、スライド処理の実行前のセンサ画像の左端を端点として右側に位置するように移動させる。
【００３７】
図１３は、スライド処理が行われた後のセンサ画像の具体例を示す図である。図１３に示されるように、水深のセンサ情報の位置が、表示領域の中心に位置するように移動している。図１２においてセンサ画像の右側に位置していた日時を示すセンサ情報の画像は、スライド処理においてセンサ画像の右端を越えたため、センサ画像の左端を起点とした右側に表示される。
【００３８】
なお、図１３に示されるように、センサ画像において通知対象センサ情報を示す文字の画像は他のセンサ情報の文字の画像とは異なる態様で表されてもよい。異なる態様とは、例えばより太いフォントで示されることであってもよいし、斜体のフォントで示されることであってもよいし、異なる色で示されることであってもよいし、より大きいフォントで示されることであってもよいし、点滅して示されることであってもよい。これらの組み合わせで示されてもよいし、上述した具体例とは異なる他の態様で示されてもよい。
【００３９】
図１４は、第２の実施形態（合成画像生成装置１０ａ）が行う処理の流れの具体例を示すフローチャートである。以下、第１の実施形態とは異なる処理について説明する。ステップＳ１０４の処理の後、センサ情報判定部１１２によって所定の条件が満たされたと判定されると（ステップＳ１１１−ＹＥＳ）、合成画像生成部１０５ａはセンサ画像に対してスライド処理を実行する（ステップＳ１１２）。このスライド処理によって、表示領域内に通知対象センサ情報の画像が移動する。その後、ステップＳ１０５及びステップＳ１０６の処理が実行される。この場合、ステップＳ１０５において用いられるセンサ画像は、ステップＳ１１２においてスライド処理が実施されたセンサ画像である。なお、ステップＳ１１２において所定の条件が満たされていないと判定された場合（ステップＳ１１１−ＮＯ）、スライド処理が行われていないセンサ画像を用いてステップＳ１０５及びステップ１０６の処理が実行される。
【００４０】
このように構成された合成画像生成装置１０ａによれば、第１の実施形態と同様の効果を奏することができる。さらに、合成画像生成装置１０ａでは、表示領域内に通知対象センサ情報の画像が位置するようにセンサ画像に対してスライド処理が実行される。そして、スライド処理が実行されたセンサ画像を用いて合成画像が生成される。そのため、合成画像生成部１０５ａから出力された合成画像を表示する閲覧機能において、ユーザが閲覧している表示領域内に、ユーザに対して通知されるべきセンサ情報を示す画像が表示される。したがって、ユーザに対して、通知されるべきセンサ情報がユーザによってより容易に認識されるように通知される。例えば、ユーザが指定している視野では本来は表示されない位置に存在している通知対象センサ情報が、スライド処理の実行によりユーザが認識可能な表示領域内に移動して表示される。
【００４１】
また、スライド処理が実行される対象となる画像はセンサ画像であり、変換後画像に対してはスライド処理は実行されない。そのため、ユーザが閲覧している映像の視野についてはユーザの指示に応じた視野を維持することができる。
【００４２】
［変形例］
閲覧機能において常に一定の場所にセンサ画像が表示されるように合成処理が行われてもよい。このような処理は、合成画像生成部１０５ａが、表示領域情報を取得することによって実現が可能である。すなわち、合成画像生成部１０５ａは、表示領域情報に基づいて、常に表示領域内の所定の位置にセンサ画像が表示されるように、変換後画像に対するセンサ画像の合成位置を動的に変更する。
【００４３】
以上説明した少なくともひとつの実施形態によれば、合成画像生成部１０５を持つことにより、パノラマ画像に関して利便性を向上することができる。
【００４４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００４５】
１０，１０ａ…合成画像生成装置、  １０１…画像取得部，  １０２…画像変換部，  １０３…センサ情報取得部，  １０４…センサ画像生成部，  １０５，１０５ａ…合成画像生成部，  １１１…表示領域情報取得部，  １１２…センサ情報判定部，  ２０…カメラ，  ３０…水面，  ４０…全周魚眼画像，  ４１…画像領域，  ４２…非画像領域，  ５０…変換後画像，  ５１…画像領域，  ５２…非画像領域，  ５３…合成領域，  ６０…センサ画像，  ７０…再生領域，  ７１…画像領域，  ７２…非画像領域，  ７３…センサ画像領域
【図１】
2017158117.tif 000003
【図２】
2017158117.tif 000004
【図３】
2017158117.tif 000005
【図４】
2017158117.tif 000006
【図５】
2017158117.tif 000007
【図６】
2017158117.tif 000008
【図７】
2017158117.tif 000009
【図８】
2017158117.tif 000010
【図９】
2017158117.tif 000011
【図１０】
2017158117.tif 000012
【図１１】
2017158117.tif 000013
【図１２】
2017158117.tif 000014
【図１３】
2017158117.tif 000015
【図１４】
2017158117.tif 000016