(57)【要約】【課題】画像の判読において、ニューラルネットワークの出力の妥当性を確認する作業の負荷を軽減する。【解決手段】推定部２２０は、実画像に映っている対象物の種類と前記対象物に対する撮像の方向とをニューラルネットワークを利用して推定する。推定画像生成部２３１は、推定された種類と推定された方向とに基づいて撮像シミュレーションを行う。これにより、前記対象物と同じ種類の物品を前記推定された方向と同じ方向から撮像することによって得られる推定画像が生成される。表示部２３２は、前記実画像と前記推定画像とをディスプレイに表示する。【選択図】図２
2020173720.tif 000002
【特許請求の範囲】
【請求項１】
実画像に映っている対象物の種類と前記対象物に対する撮像の方向とをニューラルネットワークを利用して推定する推定部と、
推定された種類と推定された方向とに基づいて撮像シミュレーションを行うことによって、前記対象物と同じ種類の物品を前記推定された方向と同じ方向から撮像することによって得られる推定画像を生成する推定画像生成部と、
前記実画像と前記推定画像とをディスプレイに表示する表示部と、
を備える画像判読支援システム。
【請求項２】
前記推定画像生成部は、
物品の種類と物品の形状を表す三次元モデルとが互いに対応付けられた三次元モデルファイルから前記推定された種類と同じ種類に対応付けられた三次元モデルを取得し、取得された三次元モデルと前記推定された方向とに基づいて前記撮像シミュレーションを行う
請求項１に記載の画像判読支援システム。
【請求項３】
前記画像判読支援システムは、
前記ニューラルネットワークの内部パラメータを教師あり学習によって調整する学習部を備え、
前記推定部は、前記内部パラメータが調整された後のニューラルネットワークを利用して前記対象物の種類と前記対象物に対する撮像の方向とを推定する
請求項１または請求項２に記載の画像判読支援システム。
【請求項４】
前記学習部は、
物品の種類と前記物品に対する撮像の方向とを決定し、
決定した種類と決定した方向とに基づいて前記撮像シミュレーションを行うことによって、前記決定した種類と同じ種類の物品を前記決定した方向と同じ方向から撮像することによって得られる模擬画像を生成し、
前記模擬画像を入力データとして使用すると共に前記決定した種類と前記決定した方向とを教師データとして使用することによって前記教師あり学習を行う
請求項３に記載の画像判読支援システム。
【請求項５】
前記学習部は、
物品の種類と物品の三次元形状を表す三次元モデルとが互いに対応付けられた三次元モデルファイルから、前記決定した種類と同じ種類に対応付けられた三次元モデルを取得し、取得された三次元モデルと前記決定した方向とに基づいて、前記撮像シミュレーションを行う
請求項４に記載の画像判読支援システム。
【請求項６】
実画像に映っている対象物の種類と前記対象物に対する撮像の方向とをニューラルネットワークを利用して推定する推定部と、
推定された種類と推定された方向とに基づいて撮像シミュレーションを行うことによって、前記対象物と同じ種類の物品を前記推定された方向と同じ方向から撮像することによって得られる推定画像を生成する推定画像生成部と、
前記実画像と前記推定画像とをディスプレイに表示する表示部として、
コンピュータを機能させるための画像判読支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に映っている物品の種類を判別する技術に関するものである。
【背景技術】
【０００２】
リモートセンシング画像等の判読において、業務を省力化したり個人の技量差を解消したりする目的で、たとえば特許文献１に開示されているようなシステムが用いられる。
このシステムは、入力された画像中の対象物の位置および種類を出力する。
ここで、対象物とは、ユーザが、位置を特定したり型名を識別したりしたい物品である。
【０００３】
このようなシステムを実現する手段として、非特許文献１に挙げるようなニューラルネットワークが有効である。
ニューラルネットワークは、教師あり学習によって出力の正確さを向上できる。但し、十分な数量の学習データを確保する必要がある。
十分な数量の学習データを現実の計測によって確保できない場合、非特許文献２に開示された手法によって学習データを補てんすることができる。この手法は、シミュレーションによって模擬画像を生成して学習データを補填する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２７１８４５号公報
【非特許文献】
【０００５】
【非特許文献１】“ＩｍａｇｅＮｅｔ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｗｉｔｈ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ”，  Ａｌｅｘ  Ｋｒｉｚｈｅｖｓｋｙ，  Ｉｌｙａ  Ｓｕｔｓｋｅｖｅｒ，  Ｇｅｏｆｆｒｅｙ  Ｅ．  Ｈｉｎｔｏｎ，  Ａｄｖａｎｃｅｓ  ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓｉｎｇ  Ｓｙｓｔｅｍｓ  ２５  （ＮＩＰＳ），  ２０１２，  ｐｐ．  １１０６−１１１４
【非特許文献２】“Ｌｅａｒｎｉｎｇ  ｆｒｏｍ  Ｓｉｍｕｌａｔｅｄ  ａｎｄ  Ｕｎｓｕｐｅｒｖｉｓｅｄ  Ｉｍａｇｅｓ  ｔｈｒｏｕｇｈ  Ａｄｖｅｒｓａｒｉａｌ  Ｔｒａｉｎｉｎｇ”，  Ａｓｈｉｓｈ  Ｓｈｒｉｖａｓｔａｖａ，  Ｔｏｍａｓ  Ｐｆｉｓｔｅｒ，  Ｏｎｃｅｌ  Ｔｕｚｅｌ，  Ｊｏｓｈ  Ｓｕｓｓｋｉｎｄ，  Ｗｅｎｄａ  Ｗａｎｇ，  Ｒｕｓｓ  Ｗｅｂｂ，Ｔｈｅ  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），  ２０１７，  ｐｐ．  ２１０７−２１１６
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ニューラルネットワークの出力の誤りを訂正したりニューラルネットワークの出力の正しさを保証したりする目的で、ユーザはニューラルネットワークの出力の妥当性を確認する作業を実施する。
妥当性の確認において、ユーザは、ニューラルネットから出力された識別結果に基づき、対象物のイメージの想起を実施する。識別結果は、画像中の対象物の種類を示す。
対象物の見え方は、観測する方向によって異なる。そのため、イメージの想起は、観測する方向を脳内で変化させながら反復して実施する必要がある。この反復が原因となって、妥当性の確認の認知負荷が高くなっている。
このように、妥当性を確認する作業の負荷が高いため、妥当性を確認する作業を高精度に多数回実施することが難しい。
【０００７】
本発明は、画像の判読において、ニューラルネットワークの出力の妥当性を確認する作業の負荷を軽減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像判読支援システムは、
実画像に映っている対象物の種類と前記対象物に対する撮像の方向とをニューラルネットワークを利用して推定する推定部と、
推定された種類と推定された方向とに基づいて撮像シミュレーションを行うことによって、前記対象物と同じ種類の物品を前記推定された方向と同じ方向から撮像することによって得られる推定画像を生成する推定画像生成部と、
前記実画像と前記推定画像とをディスプレイに表示する表示部とを備える。
【発明の効果】
【０００９】
本発明によれば、ニューラルネットワークの出力（推定された種類、推定された方向）に基づく推定画像が表示される。これにより、画像の判読において、ニューラルネットワークの出力の妥当性を確認する作業の負荷が軽減される。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における画像判読支援システム１００の構成図。
【図２】実施の形態１における画像判読支援装置２００の構成図。
【図３】実施の形態１における画像判読支援方法のフローチャート。
【図４】実施の形態１における学習処理（Ｓ１１０）のフローチャート。
【図５】実施の形態１における推定処理（Ｓ１２０）のフローチャート。
【図６】実施の形態１における支援処理（Ｓ１３０）のフローチャート。
【発明を実施するための形態】
【００１１】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【００１２】
実施の形態１．
画像判読支援システム１００について、図１から図６に基づいて説明する。
【００１３】
＊＊＊構成の説明＊＊＊
図１に基づいて、画像判読支援システム１００の構成を説明する。
画像判読支援システム１００は、ニューラルネットワークを利用して画像を判読するシステムであり、判読結果の妥当性を確認する業務においてユーザの負荷を軽減する。
【００１４】
画像判読支援システム１００は、ディスプレイ１０１と画像判読支援装置２００とを備える。
画像判読支援装置２００は、判読結果の妥当性の確認を支援するための画面をディスプレイ１０１に表示する。表示される画面については後述する。
【００１５】
図２に基づいて、画像判読支援装置２００の構成を説明する。
画像判読支援装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【００１６】
プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。
【００１７】
メモリ２０２は揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。
【００１８】
補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略称である。
【００１９】
通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。
ＮＩＣは、Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄの略称である。
【００２０】
入出力インタフェース２０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース２０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイ１０１である。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略称である。
【００２１】
画像判読支援装置２００は、学習部２１０と推定部２２０と支援部２３０といった要素を備える。これらの要素はソフトウェアで実現される。
学習部２１０は、模擬画像生成部２１１とパラメータ調整部２１２とを備える。
支援部２３０は、推定画像生成部２３１と表示部２３２とを備える。
【００２２】
補助記憶装置２０３には、学習部２１０と推定部２２０と支援部２３０としてコンピュータを機能させるための画像判読支援プログラムが記憶されている。画像判読支援装プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、画像判読支援プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍの略称である。
【００２３】
画像判読支援プログラムの入出力データは記憶部２９０に記憶される。例えば、記憶部２９０には、実画像２９１および三次元モデルファイル２９２などが記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
【００２４】
画像判読支援装置２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ２０１の役割を分担する。
【００２５】
画像判読支援プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
【００２６】
＊＊＊動作の説明＊＊＊
画像判読支援装置２００の動作は画像判読支援方法に相当する。また、画像判読支援方法の手順は画像判読支援プログラムの手順に相当する。
【００２７】
図３に基づいて、画像判読支援方法の概要を説明する。
ステップＳ１１０において、学習部２１０は、ニューラルネットワーク１２０の内部パラメータ１２１を教師あり学習によって調整する。ニューラルネットワーク１２０は、画像を入力として判読を支援するための情報を推定するために利用されるニューラルネットワークである。内部パラメータは、ニューラルネットワークの入力に対する推定結果を左右する数値パラメータである。具体的には、内部パラメータは、ニューラルネットワークを構成するユニットのバイアス、及び、ニューラルネットワークを構成するコネクションの重みである。
ステップＳ１２０において、推定部２２０は、実画像２９１に映っている対象物の種類と対象物に対する撮像の方向とをニューラルネットワーク１２０を利用して推定する。対象物は、実画像２９１に映っている物品である。
ステップＳ１３０において、支援部２３０は、実画像２９１と推定結果に基づく推定画像１３２とをディスプレイ１０１に表示する。
【００２８】
図４に基づいて、学習処理（Ｓ１１０）の詳細を説明する。
ステップＳ１１１において、模擬画像生成部２１１は、物品の種類を決定し、種類情報１１１を生成する。
種類情報１１１は、決定された種類を示す情報である。物品の種類は識別子によって識別される。
具体的には、模擬画像生成部２１１は、物品の種類をランダムに決定する。
【００２９】
ステップＳ１１２において、模擬画像生成部２１１は、物品に対する撮像の方向を決定し、方向情報１１２を生成する。
物品に対する撮像の方向は、物品を観測する方向に相当する。
方向情報１１２は、決定された方向を示す情報である。撮像の方向は識別子によって識別される。
具体的には、模擬画像生成部２１１は、撮像の方向をランダムに決定する。
【００３０】
ステップＳ１１３において、模擬画像生成部２１１は、三次元モデルファイル２９２を検索することによって、三次元モデル１１３を三次元モデルファイル２９２から取得する。
三次元モデルファイル２９２は、物品の種類と物品の三次元モデルとが互いに対応付けられたファイルであり、記憶部２９０に予め記憶される。三次元モデルファイル２９２には、複数の種類情報と複数の三次元モデルとが互いに対応付けられている。三次元モデルは、物品の三次元形状を表すデータである。具体的には、三次元モデルは、物品の表面を複数の多角形の組合せで表現した際の頂点の番号、Ｘ座標、Ｙ座標及びＺ座標、並びに、多角形を構成する頂点の番号の組合せから成るデータである。
三次元モデル１１３は、種類情報１１１に示される種類と同じ種類に対応付けられた三次元モデルである。
【００３１】
ステップＳ１１４において、模擬画像生成部２１１は、三次元モデル１１３と方向情報１１２に示される方向とに基づいて、撮像シミュレーションを行う。これにより、模擬画像１１４が生成される。
模擬画像１１４は、種類情報１１１に示される種類と同じ種類の物品を方向情報１１２に示される方向と同じ方向から撮像することによって得られる画像に相当する。
撮像シミュレーションは、撮像をシミュレートすることによって画像を生成する処理である。具体的には、撮像シミュレーションは、光線追跡法等の手法で、物品の表面で反射する電磁波に対して撮像素子における計測値を求める。
【００３２】
ステップＳ１１５において、パラメータ調整部２１２は、ニューラルネットワーク１２０の内部パラメータ１２１に対する教師あり学習を行う。
教師あり学習において、パラメータ調整部２１２は、模擬画像１１４を入力データとして使用すると共に種類情報１１１に示される種類と方向情報１１２に示される方向とを教師データとして使用する。
これにより、ニューラルネットワーク１２０の内部パラメータ１２１が調整される。
【００３３】
具体的には、パラメータ調整部２１２は、ニューラルネットワーク１２０によって推定される種類が種類情報１１１に示される種類と一致し、且つ、ニューラルネットワーク１２０によって推定される方向が方向情報１１２に示される方向と一致するように、内部パラメータ１２１を調整する。
【００３４】
図５に基づいて、推定処理（Ｓ１２０）の詳細を説明する。
ニューラルネットワーク１２０には、調整後の内部パラメータ１２１が設定されている。
【００３５】
ステップＳ１２１において、推定部２２０は、実画像２９１に映っている対象物の種類と対象物に対する撮像の方向とをニューラルネットワーク１２０を利用して推定する。これにより、種類推定結果１２３と方向推定結果１２４とが得られる。
実画像２９１は、対象物を撮像することによって得られた画像であり、記憶部２９０に予め記憶される。または、実画像２９１は、ユーザによって画像判読支援装置２００に入力される。
対象物に対する撮像の方向は、対象物を観測する方向に相当する。
種類推定結果１２３は、推定された種類を示す情報である。
方向推定結果１２４は、推定された方向を示す情報である。
【００３６】
図６に基づいて、支援処理（Ｓ１３０）の詳細を説明する。
ステップＳ１３１において、推定画像生成部２３１は、三次元モデルファイル２９２を検索することによって、三次元モデル１３１を三次元モデルファイル２９２から取得する。
三次元モデル１３１は、種類推定結果１２３に示される種類と同じ種類に対応付けられた三次元モデルである。
【００３７】
ステップＳ１３２において、推定画像生成部２３１は、三次元モデル１３１と方向推定結果１２４に示される方向とに基づいて、撮像シミュレーションを行う。これにより、推定画像１３２が生成される。
撮像シミュレーションは、ステップＳ１１４で行われる処理と同じである。
推定画像１３２は、種類推定結果１２３に示される種類と同じ種類の物品を方向推定結果１２４に示される方向と同じ方向から撮像することによって得られる画像に相当する。
【００３８】
推定画像１３２は、ニューラルネットワーク１２０の出力（種類推定結果１２３、方向推定結果１２４）に基づいて生成される。そのため、推定画像１３２はニューラルネットワーク１２０の出力を画像の形式で表現したものである、と言える。
【００３９】
ステップＳ１３３において、表示部２３２は、実画像２９１と推定画像１３２とをディスプレイ１０１に表示する。
具体的には、表示部２３２は、確認画面をディスプレイ１０１に表示する。確認画面は、実画像２９１と推定画像１３２とが並べて表示される画面である。
【００４０】
＊＊＊実施の形態１の効果＊＊＊
画像判読支援装置２００は、ニューラルネットワーク１２０の出力を画像化して推定画像１３２を生成し、実画像２９１と推定画像１３２とを並べてディスプレイ１０１に表示することができる。
そして、利用者は、実画像２９１と推定画像１３２を照合することによって、ニューラルネットワーク１２０の出力の妥当性を確認することができる。つまり、利用者は、対象物を観測する方向を変化させながら対象物のイメージを想起することなく、ニューラルネットワーク１２０の出力の妥当性を確認することができる。
【００４１】
＊＊＊実施の形態１の補足＊＊＊
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
【００４２】
画像判読支援装置２００は、複数の装置で実現されてもよい。例えば、三次元モデルファイル２９２が、外部のサーバ装置に記憶されていてもよい。この場合、画像判読支援装置２００は、外部のサーバ装置と通信することによって、三次元モデルファイル２９２にアクセスする。
画像判読支援装置２００の各要素は、ソフトウェア、ハードウェア、ファームウェアまたはこれらの組み合わせのいずれで実現されてもよい。
画像判読支援装置２００の要素である「部」は、「処理」または「工程」と読み替えてもよい。
【符号の説明】
【００４３】
１００  画像判読支援システム、１０１  ディスプレイ、１１１  種類情報、１１２  方向情報、１１３  三次元モデル、１１４  模擬画像、１２０  ニューラルネットワーク、１２１  内部パラメータ、１２３  種類推定結果、１２４  方向推定結果、１３１  三次元モデル、１３２  推定画像、２００  画像判読支援装置、２０１  プロセッサ、２０２  メモリ、２０３  補助記憶装置、２０４  通信装置、２０５  入出力インタフェース、２１０  学習部、２１１  模擬画像生成部、２１２  パラメータ調整部、２２０  推定部、２３０  支援部、２３１  推定画像生成部、２３２  表示部、２９０  記憶部、２９１  実画像、２９２  三次元モデルファイル。
【図１】
2020173720.tif 000003
【図２】
2020173720.tif 000004
【図３】
2020173720.tif 000005
【図４】
2020173720.tif 000006
【図５】
2020173720.tif 000007
【図６】
2020173720.tif 000008