(57)【要約】【課題】撮影画像と、電子地図等の広域画像との向きの関係が直感的に把握できる技術を得る。【解決手段】航空機から撮影した周囲の縁の形状が矩形の写真画像および前記写真画像の撮影位置を示す矩形のマークの地図画像上への表示と、前記写真画像の向きと前記マークの向きの関係を特定する強調表示とを行う表示制御部１０５を備える画像処理装置１００。【選択図】図１
2018028607.tif 000002
【特許請求の範囲】
【請求項１】
航空機から撮影した周囲の縁の形状が矩形の写真画像および前記写真画像の撮影位置を示すマークの広域画像上への表示と、
前記写真画像の向きと前記マークの向きの関係を特定する強調表示と
を行う表示制御部を備えることを特徴とする画像処理装置。
【請求項２】
前記強調表示は、対応する辺の表示が強調された表示であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
航空機から撮影した周囲の縁の形状が矩形の写真画像および前記写真画像の撮影位置を示すマークの広域画像上への表示と、
前記写真画像の向きと前記マークの向きの関係を特定する強調表示と
を行うことを特徴とする画像処理方法。
【請求項４】
コンピュータに読み取らせて実行させる画像処理用プログラムであって、
航空機から撮影した周囲の縁の形状が矩形の写真画像および前記写真画像の撮影位置を示すマークの広域画像上への表示と、
前記写真画像の向きと前記マークの向きの関係を特定する強調表示と
をコンピュータに行わせることを特徴とする画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
例えば土木工事現場等を上空から写真撮影し、その際に得られた画像データに基づき対象となる地形の三次元モデル（電子データとしてモデル化された三次元地形データ）を得る技術が知られている（例えば、特許文献１参照）。この技術では、撮影した写真画像と飛行データや地図データとを関連付けする必要がある。撮影は、有人または無人の航空機から行われるが、近年は、カメラを搭載した自律飛行可能な無人航空機（ＵＡＶ（Unmanned Air Vehicle））を用いる方法が注目されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−９６７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の技術では、航空機から撮影した多数の撮影画像、航空機の飛行経路、電子地図情報等の対応関係を視覚的に表示するアプリケーションソフトウェアを用いて、データの後処理を行う。この際、当該ソフトウェアの表示画面は、例えば、電子地図上における撮影位置が表示されたマップビューと、それとは別に撮影画像とが表示され、両者の関係が把握できるようにデザインされている。
【０００５】
この技術では、マップビューと撮影画像の向きが直感的に把握し易いことが望まれる。そこで本発明は、撮影画像と、電子地図等の広域画像との向きの関係が直感的に把握できる技術の提供を目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、航空機から撮影した周囲の縁の形状が矩形の写真画像および前記写真画像の撮影位置を示すマークの広域画像上への表示と、前記写真画像の向きと前記マークの向きの関係を特定する強調表示とを行う表示制御部を備えることを特徴とする画像処理装置である。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、前記強調表示は、対応する辺の表示が強調された表示であることを特徴とする。
【０００８】
請求項３に記載の発明は、航空機から撮影した周囲の縁の形状が矩形の写真画像および前記写真画像の撮影位置を示すマークの広域画像上への表示と、前記写真画像の向きと前記マークの向きの関係を特定する強調表示とを行うことを特徴とする画像処理方法である。
【０００９】
請求項４に記載の発明は、コンピュータに読み取らせて実行させる画像処理用プログラムであって、航空機から撮影した周囲の縁の形状が矩形の写真画像および前記写真画像の撮影位置を示すマークの広域画像上への表示と、前記写真画像の向きと前記マークの向きの関係を特定する強調表示とをコンピュータに行わせることを特徴とする画像処理用プログラムである。
【発明の効果】
【００１０】
本発明によれば、撮影画像と、電子地図等の広域画像との向きの関係が直感的に把握できる技術が得られる。
【図面の簡単な説明】
【００１１】
【図１】実施形態のブロック図である。
【図２】表示画面の一例を示す図面代用写真である。
【発明を実施するための形態】
【００１２】
ここでは、自律飛行可能な無人航空機（ＵＡＶ（Unmanned Air Vehicle））を用いて、飛行しながら地上を撮影し、その撮影画像を処理する技術について説明する。ここで用いるＵＡＶは、カメラ、ＧＮＳＳ装置（ＧＰＳ衛星等の航法衛星からの航法信号を用いて位置の測定を行う装置）、ＩＭＵ（慣性計測装置（Inertial Measurement Unit））を搭載し、予め定めた飛行経路に沿って自律飛行し、地上の写真撮影を行う。写真撮影は、特定の間隔（１秒間隔や２秒間隔等）で行われ、時間軸上に沿って、少しずつ撮影範囲がずれ、且つ、一部で重複した撮影画像が多数取得される。飛行経路に関する飛行ログと、撮影画像の画像データ、撮影時刻、撮影位置に関するデータは、関連付けされて記録される。このデータは、後で回収され、それに基づいて撮影した地上の三次元モデルの作成や各種の解析が行われる。
【００１３】
図１には、画像処理装置１００が示されている。画像処理装置１００は、上述したＵＡＶから撮影した写真画像に基づく、三次元モデルの作成や各種の処理や解析を行うための装置である。通常は、専用のハードウェアではなく、ＰＣ（パーソナルコンピュータ）に画像処理装置１００の機能を実現するアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェア起動することで、画像処理装置１００がＰＣを用いてソフトウェア的に実現される。
【００１４】
図１に示す各機能部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部が混在していてもよい。例えば、図示する各機能部は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）などの電子回路により構成される。
【００１５】
各機能部を専用のハードウェアで構成するのか、ＣＰＵにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。例えば、特定の機能部をＦＰＧＡで構成すれば、処理速度の上では優位であるが高コストとなる。他方で、ＣＰＵでプログラムを実行することで特定の機能部を実現する構成は、ハードウェア資源を節約できるので、コスト的に優位となる。しかしながら、ＣＰＵで機能部を実現する場合、処理速度は、専用のハードウェアに比較して見劣りする。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、上述した違いはあるが、特定の機能を実現するという観点からは、等価である。
【００１６】
画像処理装置１００は、画像データ記憶部１０１、操作内容受付部１０２、画像データ取得部１０３、外部標定要素取得部１０４、表示制御部１０５を備えている。画像データ記憶部１０１は、ＵＡＶから撮影された写真画像の画像データを記憶する。この画像データは、ＵＡＶの飛行経路に関する飛行ログ、撮影時刻、撮影位置に関する情報が関連付けされたものとして記憶される。
【００１７】
操作内容受付部１０２は、画像処理装置１００を操作する作業者の操作内容に係るデータの受付を行う。例えば、当該作業者は、画像処理装置１００として動作するＰＣを操作して各種の作業を行うが、この際における作業者によるＰＣの操作内容が操作内容受付部１０２で受け付けられる。
【００１８】
画像データ取得部１０３は、画像データ記憶部１０１が記憶しているＵＡＶ（のカメラ）から撮影された写真画像の画像データを取得する。外部標定要素取得部１０４は、画像データ取得部１０３が取得した写真画像の撮影位置と撮影時刻を画像データ記憶部１０１から取得する。ＵＡＶ本体に対するカメラの外部評定要素（位置と姿勢）は既知であるので、撮影時のＵＡＶの姿勢と位置から、当該撮影時におけるカメラの位置と姿勢を知ることができる。外部標定要素は、撮影画像中の位置特定用マーカの座標位置情報に基づく後方公会法により求めることもできる。
【００１９】
表示制御部１０５は、（１）ＵＡＶから撮影した写真画像、（２）予め用意された地図情報、（３）飛行ログから得られる飛行経路の情報、撮影位置や撮影時刻の情報、その他ＵＡＶを用いて得たデータの処理に必要な情報をＰＣや適当なディスプレイ（例えば、液晶ディスプレイ）上に表示するための制御を行う。
【００２０】
図２は、表示制御部１０５に制御された画面表示の一例を示す図面代用写真である。図２における左側が３Ｄビュー画面であり、中央がマップビュー画面であり、右側が撮影画像である。３Ｄビュー画面は、広域画像の一例であり、撮影画像から作成した三次元モデル（あるいは３Ｄ地図）とＵＡＶの撮影位置の関係を３Ｄ表示した画面である。マップビュー画面は、広域画像の一例であり、電子地図や航空写真に地図情報を加えた画像により構成されている。撮影画像は、６枚がサムネイル表示され、その中の１枚が選択され、拡大表示された状態が示されている。なお、図２には表示されていないが、東西南北の表示や飛行経路を３Ｄビュー画面やマップビュー画面に表示してもよい。
【００２１】
マップビュー画面には、地図情報が表示され、そこに右側のサムネイル表示された６枚の写真画像それぞれの撮影位置が矩形のマークによって示されている。右側の撮影画像において、選択された矩形の写真画像(DSC01447 USE)の上辺は、赤い太線で強調表示されている。また、マップビュー画面の６か所の撮影位置の矩形のマークも一辺が赤い太線で強調表示されている。この赤い太線で強調表示された辺は、中央のマップビュー画面と右側の写真画像とで対応している。すなわち、マップビュー画面の矩形マークの赤い太線の辺と右側の写真画像の赤い太線の辺とが合うように、右側の写真画像を回転させることで、電子地図と写真画像の向きを合わせることができ、電子地図上における写真画像の向きを直感的に把握できるように工夫されている。
【００２２】
４辺の中のどの辺に、赤い太線で強調表示を行うかを決める演算について説明する。まず、飛行ログの情報から、写真撮影した際のカメラの向きが判り、この情報から当該写真画像における東西南北の方位が判る。他方で、マップビュー画面は、地図情報に基づくので、マップビュー画面（図２中央）における東西南北も判る。よって、マップビュー画面における矩形マークと写真画像の４辺の対応関係が判り、対応する辺の関係も判る。このことから、どの辺を赤い太線で強調表示するかを決めることができる。
【００２３】
上記の強調表示があると、図２中央のマップビュー画面を回転させた場合に、右側の写真画像との向きの関係が判別し易い。また、写真画像の向きを回転させた場合も同様に、マップビュー画面との関係が判りやすい。強調表示は、矢印の表示や点滅表示等でもよい。
【図１】
2018028607.tif 000003
【図２】
2018028607.tif 000004