(57)【要約】【課題】魚眼画像上でのアノテーション付与を簡易にするアノテーション付与方法等を提供する。【解決手段】魚眼画像へのアノテーション付与方法では、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者に提示し、処理者から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として記録する。【選択図】図４
2018026104.tif 000002
【特許請求の範囲】
【請求項１】
魚眼画像へのアノテーション付与方法であって、
魚眼画像を取得し、
前記魚眼画像を透視投影変換した変換画像を生成し、
前記変換画像を処理者に提示し、
前記処理者から、前記変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、
入力された前記アノテーション情報に含まれる、前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換し、
変換後の前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として記録する
アノテーション付与方法。
【請求項２】
前記処理者から、前記魚眼画像及び前記変換画像のうちで提示する画像を選択する入力を受け付け、
前記処理者に、選択された画像を提示し、
前記処理者から、前記選択された画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、
前記選択された画像が前記変換画像の場合、入力された前記アノテーション情報に含まれる、前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換し、
変換後の前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として記録し、
前記選択された画像が前記魚眼画像の場合、入力された前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として記録する
請求項１に記載のアノテーション付与方法。
【請求項３】
前記処理者から、前記変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付けた際、入力された前記アノテーション情報が、前記変換画像の第一の領域を含む場合、前記変換画像に代わり前記魚眼画像を前記処理者に提示し、
前記処理者から、前記魚眼画像に付与されるアノテーションに関するアノテーション情報の入力を受け付けた際、入力された前記アノテーション情報が、前記魚眼画像の第二の領域を含む場合、前記処理者に警告又は前記アノテーションの近似領域を提示する
請求項２に記載のアノテーション付与方法。
【請求項４】
前記第一の領域は、前記魚眼画像には映出されるが前記変換画像には不映出である領域であり、
前記第二の領域は、前記魚眼画像における不映出な領域である
請求項３に記載のアノテーション付与方法。
【請求項５】
前記変換画像は、前記魚眼画像をパノラマ展開する変換によって得られるパノラマ画像である
請求項１〜４のいずれか一項に記載のアノテーション付与方法。
【請求項６】
魚眼画像へのアノテーション付与システムであって、
第一データ格納部に格納された魚眼画像を取得する取得部と、
前記魚眼画像を透視投影変換した変換画像を生成する画像変換部と、
前記変換画像を処理者の装置に送る提示部と、
前記処理者の装置で前記変換画像に付与されたアノテーションに関するアノテーション情報を、前記処理者の装置から受け取る受取部と、
前記アノテーション情報に含まれる、前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換する座標変換部と、
変換後の前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として第二データ格納部に記録する記録部とを備える
アノテーション付与システム。
【請求項７】
前記第一データ格納部及び前記第二データ格納部を備え、前記取得部及び前記記録部と通信するサーバ装置をさらに備える
請求項６に記載のアノテーション付与システム。
【請求項８】
前記第一データ格納部、前記第二データ格納部及び前記処理者の装置の間で、情報の流れを中継するアノテーション中継装置をさらに備え、
前記アノテーション中継装置は、前記取得部、前記画像変換部、前記提示部、前記受取部、前記座標変換部及び前記記録部を含む
請求項６または７に記載のアノテーション付与システム。
【請求項９】
前記提示部は、前記処理者の装置から、前記魚眼画像及び前記変換画像のうちで提示する画像を選択する指令を受け取り、前記処理者の装置に、選択された画像を送り、
前記受取部は、前記処理者の装置で前記選択された画像に付与されたアノテーションに関するアノテーション情報を、前記処理者の装置から受け取り、
前記座標変換部は、前記選択された画像が前記変換画像の場合、前記アノテーション情報に含まれる、前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換し、
前記記録部は、変換後の前記アノテーション情報を、前記魚眼画像におけるアノテーション情報として前記第二データ格納部に記録し、
前記座標変換部は、前記選択された画像が前記魚眼画像の場合、前記アノテーション情報を前記魚眼画像におけるアノテーション情報とし、
前記記録部は、前記アノテーション情報を前記第二データ格納部に記録する
請求項６〜８のいずれか一項に記載のアノテーション付与システム。
【請求項１０】
通知部をさらに備え、
前記通知部は、
前記選択された画像としての前記変換画像に付与されたアノテーションに関するアノテーション情報が、前記変換画像の第一の領域を含む場合、前記変換画像に代わり前記魚眼画像を前記処理者の装置に送り、
前記選択された画像としての前記魚眼画像に付与されたアノテーションに関するアノテーション情報が、前記魚眼画像の第二の領域を含む場合、前記処理者の装置に、警告又は前記アノテーションの近似領域を通知する
請求項９に記載のアノテーション付与システム。
【請求項１１】
前記第一の領域は、前記魚眼画像には映出されるが前記変換画像には不映出である領域であり、
前記第二の領域は、前記魚眼画像における不映出な領域である
請求項１０に記載のアノテーション付与システム。
【請求項１２】
前記変換画像は、前記魚眼画像をパノラマ展開する変換によって得られるパノラマ画像である
請求項６〜１１のいずれか一項に記載のアノテーション付与システム。
【請求項１３】
コンピュータに実行させるプログラムであって、
魚眼画像を取得し、
前記魚眼画像を透視投影変換した変換画像を生成し、
前記変換画像を処理者の装置に提示し、
前記処理者の装置から、前記変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、
入力された前記アノテーション情報に含まれる前記変換画像でのアノテーションの座標情報を、前記魚眼画像での座標に変換し、
変換後の前記アノテーション情報を前記魚眼画像におけるアノテーション情報として記録する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、魚眼画像へのアノテーション付与方法等に関する。
【背景技術】
【０００２】
機械学習を行うための学習データの構築等において、画像データの認識のためにラベル等のアノテーションが、画像データに付与される。例えば、特許文献１には、画像データにラベリングを行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６１２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
アノテーションは、画像に含まれる人物、物等の対象物に付与される。アノテーションが付与される画像データには、魚眼レンズを介して撮影された画像データが、用いられることがある。魚眼レンズで撮影された画像は、同心円状の画像になる。これにより、魚眼レンズで撮影された画像内の対象物は、同心円の中心からの放射方向を基準する向きで指向されるため、様々な向きで位置する。このため、上記画像上で、アノテーションを付与すべき対象物の領域を画定する処理に、手間がかかる。
【０００５】
そこで、本開示は、魚眼レンズで撮影された画像である魚眼画像上でのアノテーション付与を簡易にするアノテーション付与方法、アノテーション付与システム及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係るアノテーション付与方法は、魚眼画像へのアノテーション付与方法であって、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者に提示し、処理者から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として記録する。
【０００７】
本開示の一態様に係るアノテーション付与システムは、魚眼画像へのアノテーション付与システムであって、第一データ格納部に格納された魚眼画像を取得する取得部と、魚眼画像を透視投影変換した変換画像を生成する画像変換部と、変換画像を処理者の装置に送る提示部と、処理者の装置で変換画像に付与されたアノテーションに関するアノテーション情報を、処理者の装置から受け取る受取部と、アノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換する座標変換部と、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として第二データ格納部に記録する記録部とを備える。
【０００８】
本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者の装置に提示し、処理者の装置から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を魚眼画像におけるアノテーション情報として記録する。
【発明の効果】
【０００９】
本開示に係るアノテーション付与方法等によれば、魚眼画像上でのアノテーションの付与を簡易にすることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、室内の天井に取り付けられた全方位ビデオカメラによる室内の撮影画像の一例を示す図である。
【図２】図２は、図１の撮影画像を透視投影変換した一例の変換画像を示す図である。
【図３】図３は、図１の撮影画像と図２の変換画像との間の対応関係を示す図である。
【図４】図４は、実施の形態に係るアノテーション付与システム１００の概略的な構成を示すブロック図である。
【図５】図５は、実施の形態に係るアノテーション付与システム１００の動作の流れを示すフローチャートである。
【図６】図６は、全方位ビデオカメラである車載カメラにより撮影された駐車場の魚眼画像に付与されるアノテーションを示す図である。
【図７】図７は、図６の魚眼画像を透視投影変換したパノラマ画像に付与される図６と同一のアノテーションを示す図である。
【図８】図８は、アノテーション付与システム１００における変形例１に係る動作の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
［発明者による知見］
本開示に係る発明者ら、つまり本発明者らは、画像において人物をはじめとする対象物の認識及び検出の精度を向上するために、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた技術を用いることを検討した。Ｄｅｅｐ  Ｌｅａｒｎｉｎｇでの対象物の認識には大量の学習用の画像データが必要となる。そして、学習用の画像データでは、対象物に対して、対象物の内容、位置、領域等を含む情報が、アノテーション情報として付与される、つまりアノテーションされる。なお、通常、アノテーションでは、画像上で対象物を囲む等による対象物の領域の設定が、画像に人が入力することによって実施される。
【００１２】
本発明者らは、アノテーションする大量の画像データとして、デジタル動画から切り出されるデジタル画像データを採用することを検討した。特に、本発明者らは、大量の画像データを得るために、監視カメラ、車載カメラ等の長時間にわたる動画を撮影する撮影装置による動画の採用を検討した。監視カメラ及び車載カメラには、広範囲の領域の撮影を可能にするために、全方位カメラが用いられる場合がある。全方位カメラは、魚眼レンズ、円錐ミラー、多角錐ミラー、球面ミラー又は双曲面ミラーのような光学系を備え、これらを用いて３６０°の全方位を同時に撮影することができるカメラである。
【００１３】
例えば、図１には、魚眼レンズを備える全方位ビデオカメラによる撮影画像の一例が示されている。なお、図１は、室内の天井に取り付けられた全方位ビデオカメラによる室内の撮影画像の一例を示す。また、魚眼レンズとは、中心射影方式ではない射影方式を採用するレンズである。図１の円形状の撮影画像Ａは、同心円状の画像を形成し、撮影対象物は、撮影画像Ａの中心Ａｃを中心する円周に沿うように歪んでいる。全方位ビデオカメラは、魚眼レンズを下方に向けて配置され、上方から下方に向かって室内を撮影するが、例えば、撮影画像Ａ内で同じ床面上に立っている人はそれぞれ、中心Ａｃから半径方向外側へ放射状に横たわるように映し出されている。
【００１４】
アノテーションの処理者は、撮影画像Ａに、その中の人Ｃ１のアノテーションを付与する場合、撮影画像Ａが表示される図示しないコンピュータの表示装置等の画面上で、人Ｃ１の領域を設定する。この際、一般的に、領域の設定を容易にし且つ領域の位置及び範囲の特定を容易にするために、人Ｃ１全体を囲み且つ各辺が水平方向又は鉛直方向に沿う矩形枠Ｄ１を用いて、人Ｃ１の領域が設定される。なお、上記水平方向は、コンピュータの表示装置等の画面を画面に沿って側方に横断する方向であり、図１のＸ軸方向である。上記鉛直方向は、コンピュータの表示装置等の画面に沿い且つ上記水平方向と垂直な方向であり、図１のＹ軸方向である。また、人Ｃ１、矩形枠Ｄ１等の位置は、図１のＸ軸及びＹ軸を座標軸とする直交座標系で表わされてもよく、中心Ａｃを原点とした動径の長さ及び角度を用いる極座標系で表わされてもよい。
【００１５】
矩形枠Ｄ１の各辺の方向と、人Ｃ１の直立方向つまり身長方向とが斜めに交差するため、矩形枠Ｄ１は、人Ｃ１以外の領域も多く含む。このため、矩形枠Ｄ１内の領域がコンピュータによる画像データの認識のために用いられると、画像データ内の人が人と認識されないこと、及び画像データ内の人以外の要素が人と認識されることが発生するおそれがある。
【００１６】
このため、本発明者らは、矩形枠を用いて人等の対象物の領域を設定する場合でも、対象物以外の要素が矩形枠に含まれることを低減する技術を検討した。そこで、本発明者らは、撮影画像Ａを透視投影変換することによって、撮影画像Ａ内の要素の向きを概ね揃える、例えば、同じ床面上に立っている人及び物の起立方向を略鉛直方向つまり略Ｙ軸方向に揃えることができることを見出した。
【００１７】
撮影画像Ａを透視投影変換した結果である変換画像Ｂが、図２に示されている。図２は、図１の撮影画像Ａを透視投影変換した一例の変換画像Ｂを示す図である。図２を参照すると、パノラマ画像状の変換画像Ｂでは、人Ｃ１を含む複数の人、棚Ｅの縦支柱、扉Ｆの縦枠等が、略鉛直方向に直立している。このため、人Ｃ１を囲む矩形枠Ｄ２は、人Ｃ１に沿って延在し、その内側に含む人Ｃ１以外の要素を低減するように設定されることができる。また、図２の変換画像Ｂに対して、変換画像Ｂの長手方向側方にＸ１軸が設定され、変換画像Ｂに沿い且つＸ１軸に垂直な方向にＹ１軸が設定され、Ｘ１軸及びＹ１軸を座標軸とする直交座標系が設定される。そして、矩形枠Ｄ２は、各辺をＸ１軸又はＹ１軸に沿うようにさせつつ、容易に形成され得る。
【００１８】
ここで、撮影画像Ａから変換画像Ｂへの透視投影変換について、説明する。撮影画像Ａから変換画像Ｂへの透視投影変換では、撮影画像Ａがその周囲を囲む円筒面上に投影されるように変換されることによってパノラマ画像を形成し、このパノラマ画像が変換画像Ｂに該当する。撮影画像Ａを円筒面上に投影することを、パノラマ展開とも呼ばれる。パノラマ展開では、極座標−直交座標変換が用いられ、様々な極座標−直交座標変換が既知であるが、いかなる極座標−直交座標変換が用いられてもよい。
【００１９】
例えば、図３に示されるように、単純な極座標−直交座標変換では、極座標表現（ｒ，θ）とする撮影画像Ａの極座標上で、半径ｒ方向と円周θ方向とのそれぞれについて、等間隔に画素がサンプリングされる。さらに、サンプリングされた画素が、θをＸ１軸方向としてその値に従い且つｒをＹ１軸方向としてその値に従って、格子状に再配置されることによって、パノラマ展開された変換画像Ｂを形成する。よって、撮影画像Ａを中心Ａｃを通る半径部分Ｒ１で展開し、破線の円で示される中心Ａｃ側の部位を拡張するようにして、変換画像Ｂが形成される。
【００２０】
また、上記の極座標−直交座標変換において、Ｌоｇ−Ｐоｌａｒ変換を適用してもよい。具体的には、撮影画像Ａからサンプリングされた画素は、θをＸ１軸方向としてのその値に従うが、ｒをＹ１軸方向としてｒの対数の値に従って、格子状に再配置されることによって、変換画像Ｂを形成する。これにより、変換画像Ｂにおける縦横比の実物に対する精度が向上する。
【００２１】
また、本発明者らは、上述のようにして撮影画像Ａを変換画像Ｂにする場合、撮影画像Ａの中心Ａｃ付近の領域では、変換画像Ｂでの拡大率が大きくなり画像の歪みが大きくなるため、中心Ａｃから径方向外方に離れた円Ａａよりも径方向外側の部分を展開することが好適であるという知見にも至った。
【００２２】
また、本発明者らは、撮影画像Ａの外縁付近の領域の画像は歪みが大きく、撮影対象物を判別できない場合がある。さらに、撮影画像Ａの外縁付近の領域の画像は、透視投影変換の際に撮影画像Ａの外側の影響も受ける。このため、上述のようにして撮影画像Ａを変換画像Ｂにする場合、撮影画像Ａの外縁から径方向内方に離れた円Ａｂよりも径方向内側の部分を展開することが好適であるという知見にも至った。
【００２３】
以下、上述の種々の知見に基づき本発明者らが開示する実施の形態について、図面を参照しつつ具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、並びにステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、第１、第２及び第３などの序数が、構成要素などに対して、表現上、適宜付け加えられてもよい。
【００２４】
また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
【００２５】
［実施の形態］
［アノテーション付与システムの構成］
図４を参照して、実施の形態に係るアノテーション付与システム１００の構成を説明する。なお、図４は、実施の形態に係るアノテーション付与システム１００の概略的な構成を示すブロック図である。アノテーション付与システム１００は、アノテーション中継装置１０と、サーバ装置２０と、アノテーション付与装置３０とを備える。サーバ装置２０は、種々のデータを蓄積する要素である。アノテーション付与装置３０は、画像にアノテーションを付与する装置である。アノテーション中継装置１０は、サーバ装置２０からアノテーションを付与すべき画像を取得し変換してアノテーション付与装置３０に送信すること、付与されたアノテーションに関する情報をアノテーション付与装置３０から受け取り、画像に対応付けてサーバ装置２０に送信すること等を実施する要素である。つまり、アノテーション中継装置１０は、サーバ装置２０及びアノテーション付与装置３０の間で、情報に変更を加えつつ情報の流れを中継する。
【００２６】
サーバ装置２０は、アノテーション中継装置１０と通信するように構成されている。サーバ装置２０、コンピュータ等の情報処理装置でもよい。サーバ装置２０は、１つ以上のサーバ装置を含んでもよく、クラウドシステムを構成してもよい。サーバ装置２０は、サーバ装置２０の全体を制御する制御部２１と、アノテーション中継装置１０と通信する通信部２２と、種々のデータを蓄積するデータ蓄積部２３とを備える。通信部２２は、インターネット等の通信網を介してアノテーション中継装置１０と通信する。通信部２２は、通信インタフェースを含む通信回路であってもよい。例えば、通信部２２とアノテーション中継装置１０との間の通信には、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）などの無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）が適用されてもよく、ケーブルを用いた有線通信が適用されてもよく、その他の無線通信又は有線通信が適用されてもよい。
【００２７】
データ蓄積部２３は、例えば、ハードディスクにより構成され、変換前画像データ蓄積部２４とパノラマ変換データ蓄積部２５とアノテーションデータ蓄積部２６とを備える。変換前画像データ蓄積部２４には、種々の撮影装置で撮影された画像が格納されており、具体的には、魚眼レンズを備える撮影装置で撮影された魚眼画像が格納されている。魚眼画像は、全周魚眼レンズで撮影された画像であってもよく、対角線魚眼レンズで撮影された画像であってもよい。対角線魚眼レンズでは、レンズを通った光が結像する円形範囲であるイメージサークルの径の方が、矩形状の撮影画像の対角線よりも大きくなる。全周魚眼レンズでは、イメージサークルの径が、撮影画像の水平方向及び鉛直方向の寸法よりも大きくなる。
【００２８】
パノラマ変換データ蓄積部２５は、変換前画像データ蓄積部２４の魚眼画像に対して実施する透視投影変換の内容、例えば、透視投影変換に用いるパラメータ、テーブル、データ等をパノラマ変換データとして、格納する。又は、パノラマ変換データ蓄積部２５は、魚眼画像に対して透視投影変換を行って得られる変換画像を格納してもよく、パノラマ変換データ及び変換画像の両方を格納してもよい。本実施の形態では、変換画像は、魚眼画像に対してパノラマ展開を行うことによって得られるパノラマ画像である。また、パノラマ変換データ蓄積部２５は、魚眼画像に対して実施する透視投影変換の逆変換、つまり、パノラマ画像から魚眼画像への変換の内容も格納してもよい。アノテーションデータ蓄積部２６には、魚眼画像等に対して実施されたアノテーションに関する情報が、格納されている。
【００２９】
制御部２１は、通信部２２及びデータ蓄積部２３を制御する。制御部２１は、通信部２２を介して、アノテーション中継装置１０からデータ蓄積部２３の変換前画像データ蓄積部２４、パノラマ変換データ蓄積部２５及びアノテーションデータ蓄積部２６への対応するデータの格納を実施する。また、制御部２１は、通信部２２を介して、アノテーション中継装置１０からの要求に応じて、変換前画像データ蓄積部２４、パノラマ変換データ蓄積部２５及びアノテーションデータ蓄積部２６からのデータの取り出し及び送信を実施する。
【００３０】
アノテーション中継装置１０は、これ単独で一つの装置を構成してもよく、コンピュータなどの情報処理装置又はその他の装置に組み込まれてもよい。アノテーション中継装置１０は、制御部１１、第一通信部１２、第二通信部１３、画像変換部１４、座標変換部１５及び入力部１６を備える。制御部１１は、アノテーション中継装置１０の全体を制御する。入力部１６は、指令等の種々の入力を受け付ける要素である。
【００３１】
第一通信部１２は、インターネット等の通信網を介してサーバ装置２０の通信部２２と通信する。第一通信部１２は、通信インタフェースを含む通信回路であってもよい。例えば、第一通信部１２とサーバ装置２０との間の通信には、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮが適用されてもよく、ケーブルを用いた有線通信が適用されてもよく、その他の無線通信又は有線通信が適用されてもよい。第一通信部１２と通信部２２との間に、これらの間の通信を中継する通信装置であるルータが設けられてもよい。ルータは、第一通信部１２と通信網との間の通信を中継してもよい。
【００３２】
第二通信部１３は、アノテーション付与装置３０と通信する。第二通信部１３は、通信インタフェースを含む通信回路であってもよい。第二通信部１３とアノテーション付与装置３０との通信は、第一通信部１２と同様にインターネット等の通信網を介した通信であってもよく、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、又はＬＴＥ（登録商標）等のような移動通信システムで利用されるモバイル通信規格が適用されてもよい。
【００３３】
画像変換部１４は、制御部１１の制御を受けて、魚眼画像を透視投影変換することによって、パノラマ画像を生成する。座標変換部１５は、制御部１１の制御を受けて、アノテーションに関する情報を、魚眼画像に対応するように座標変換する又はパノラマ画像に対応するように座標変換する。例えば、座標変換部１５は、パノラマ画像に設定されたアノテーションに関する情報を、このパノラマ画像の変換前の元画像である魚眼画像の座標系に対応するように座標変換し、当該魚眼画像に対応付ける。この場合、座標変換部１５は、制御部１１の制御のもとで、サーバ装置２０の変換前画像データ蓄積部２４から魚眼画像データを取得すること、並びに、パノラマ画像及び／又は透視投影変換の内容をサーバ装置２０のパノラマ変換データ蓄積部２５へ送ることを実施する。
【００３４】
アノテーション付与装置３０は、アノテーション中継装置１０と情報の送受信が可能な要素である。アノテーション付与装置３０は、コンピュータ等の情報処理装置であってもよく、携帯電話でもよく、スマートフォン、スマートウォッチ、タブレット、小型パーソナルコンピュータ等の携帯端末であってもよい。アノテーション付与装置３０は、制御部３１、通信部３２、表示部３３及び入力部３４を備える。制御部３１は、アノテーション付与装置３０の全体を制御する。通信部３２は、通信インタフェースを含む通信回路であってもよい。通信部３２は、アノテーション中継装置１０の第二通信部１３と通信し、これらの間の通信は、上述したとおりである。
【００３５】
表示部３３は、例えば、液晶パネル、又は有機若しくは無機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルにより構成されてよい。入力部３４は、指令等の種々の入力を受け付ける要素である。入力部３４は、表示部３３と別個に設けられた構成であってもよく、タッチパネルのように表示部３３に触れることによって入力可能である表示部３３と一体である構成を有してもよい。
【００３６】
また、サーバ装置２０の制御部２１、アノテーション中継装置１０の制御部１１、画像変換部１４及び座標変換部１５、並びにアノテーション付与装置３０の制御部３１の各構成要素は、専用のハードウェアで構成されてもよく、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。この場合、各構成要素は、例えば、演算処理部（図示せず）と、制御プログラムを記憶する記憶部（図示せず）とを備えてもよい。演算処理部としては、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等が例示される。記憶部としては、半導体メモリなどのメモリ等が例示される。なお、各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
【００３７】
また、各構成要素は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）、システムＬＳＩ等の回路でもよい。複数の構成要素が、全体として１つの回路を構成してもよく、それぞれ別々の回路を構成してもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。
【００３８】
システムＬＳＩは、複数の構成部を１つのチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。システムＬＳＩ及びＬＳＩは、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）であってもよく、ＬＳＩ内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブルプロセッサを含んでもよい。
【００３９】
また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。
【００４０】
［アノテーション付与システムの動作］
図４及び図５を参照して、アノテーション付与システム１００の動作を説明する。図５は、実施の形態に係るアノテーション付与システム１００の動作の流れを示すフローチャートである。
【００４１】
本実施の形態では、アノテーション中継装置１０は、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇをはじめとするニューラルネットワーク等の機械学習のための大量の学習用の画像データの構築者によって、運用される。サーバ装置２０は、上記構築者によって運用されもよく、上記構築者以外によって運用されてもよい。上記構築者以外によって運用される場合、サーバ装置２０は、クラウドシステムを構成してもよい。
【００４２】
サーバ装置２０の変換前画像データ蓄積部２４には、アノテーション中継装置１０とは別個の装置によって、魚眼画像が格納される。例えば、アノテーション付与システム１００において、上記構築者と契約する画像提供者によって、監視カメラ、車載カメラなどの動画等による魚眼画像が、変換前画像データ蓄積部２４に送られる。この場合、サーバ装置２０がクラウドシステムを構成することによって、魚眼画像の格納が容易になる。
【００４３】
アノテーション付与装置３０は、上記構築者以外によって運用される。アノテーション付与装置３０の操作者は、上記構築者とアノテーションの付与処理の契約をしており、上記構築者から提供される画像にアノテーションを付与する。つまり、アノテーション付与装置３０の操作者は、アノテーションの処理者である。
【００４４】
アノテーション付与システム１００の動作に関して、アノテーション付与装置３０は、操作者によって入力部３４に入力される指令に従い、アノテーション中継装置１０に、アノテーションを付与すべき画像を要求する（ステップＳ１０１）。要求を受けたアノテーション中継装置１０の制御部１１は、サーバ装置２０の変換前画像データ蓄積部２４に、魚眼画像とこの魚眼画像に設定された画像ＩＤ（ｉｄｅｎｔｉｆｉｃａｔｉоｎ）とを要求すると共に、パノラマ変換データ蓄積部２５に、上記画像ＩＤに対応するパノラマ変換データを要求し、これらを取得する（ステップＳ１０２）。
【００４５】
アノテーション中継装置１０の制御部１１は、画像変換部１４に、パノラマ変換データに基づき魚眼画像を透視投影変換してパノラマ画像を生成させる（ステップＳ１０３）。例えば、画像変換部１４は、図１に示される魚眼画像を、図２に示されるパノラマ画像に変換する。さらに、画像変換部１４は、変換後のパノラマ画像と、変換前の魚眼画像に設定された画像ＩＤとを関連付ける。次いで、制御部１１は、画像ＩＤと関連付けられたパノラマ画像を、アノテーション付与装置３０に送信する（ステップＳ１０４）。
【００４６】
アノテーション付与装置３０は、アノテーション中継装置１０から受け取ったパノラマ画像を表示部３３に表示する（ステップＳ１０５）。処理者は、入力部３４を操作し、表示部３３に表示されるパノラマ画像上で、この画像に含まれる対象物にアノテーションを付与する（ステップＳ１０６）。対象物は、例えば、人物であり得る。そして、例えば、図２に示されるように、処理者は、人物の周囲を矩形状の枠で囲み、アノテーションを付与する対象物の領域を設定する。入力部３４がタッチパネルであっても、マウス又はキーボードを使用する構成であっても、矩形状の枠の設定は、容易に実施することができる。なお、矩形状の枠内には、対象とする人物以外のものが含まれない方が望ましい。
【００４７】
処理者は、パノラマ画像内の人物をそれぞれ矩形状枠で囲む度に、当該矩形状枠に関する情報、つまりアノテーション情報を、アノテーションを付与したパノラマ画像の画像ＩＤと共に、アノテーション中継装置１０に送信する（ステップＳ１０７）。アノテーションを付与する対象物に設定される領域は、矩形状に限定されず、いかなる形状であってもよい。また、領域の設定動作も、領域を囲む動作に限定されず、いかなる動作であってもよい。例えば、処理者が４つの角の位置を設定することによって、四角形の領域が設定されてもよい。
【００４８】
送信されるアノテーション情報は、図２のパノラマ画像の場合、このパノラマ画像に設定されるＸ１軸及びＹ１軸による座標系を用いた情報である。例えば、アノテーション情報は、矩形枠に含まれる人物の属性と、矩形状枠の左上部の角の点Ｐの座標と、Ｘ１軸方向での点Ｐからの矩形状枠の幅と、Ｙ１方向での点Ｐからの矩形状枠の高さとを含み得る。人物の属性は、人物の性別、体格、年齢層等を含み得る。例えば、アノテーション情報は、（属性，点Ｐの座標，幅，高さ）の各要素を記号化又は数値化して含み得る。
【００４９】
アノテーション情報及び対応する画像ＩＤを受け取ったアノテーション中継装置１０の制御部１１は、座標変換部１５に、パノラマ画像に対応するアノテーション情報を、魚眼画像に対応するように座標変換させる。この際、座標変換部１５は、受け取った画像ＩＤに対応するパノラマ変換データを、サーバ装置２０のパノラマ変換データ蓄積部２５から取得する（ステップＳ１０８）。
【００５０】
次いで、座標変換部１５は、取得したパノラマ変換データに基づき、アノテーション情報内のパノラマ画像の座標系、例えばＸ１軸及びＹ１軸による座標系に関連する情報を、魚眼画像の座標系による情報に変換する（ステップＳ１０９）。魚眼画像の座標系は、図３に示すように中心Ａｃを原点とする極座標であってもよく、直交する２つの直線軸による直交座標であってもよい。この際、座標変換部１５は、座標変換後のアノテーション情報を画像ＩＤと関連付ける。なお、ステップＳ１０８で取得されたパノラマ変換データは、魚眼画像からパノラマ画像への変換に関するデータであってもよく、パノラマ画像から魚眼画像への変換に関するデータであってもよい。パノラマ変換データが魚眼画像からパノラマ画像への変換に関するデータであれば、座標変換部１５は、パノラマ変換データを使用して逆変換することによって、パノラマ画像の座標系から魚眼画像の座標系へ変換してもよい。
【００５１】
制御部１１は、座標変換部１５による座標変換後のアノテーション情報を、画像ＩＤと共に、サーバ装置２０のアノテーションデータ蓄積部２６に送信し格納つまり記録させる（ステップＳ１１０）。これにより、アノテーションデータ蓄積部２６には、魚眼画像に対応したアノテーション情報が蓄積される。よって、魚眼画像及びそのアノテーション情報を、そのままニューラルネットワークのための学習用の画像データとして用いることが可能になる。
【００５２】
なお、パノラマ変換データ蓄積部２５がパノラマ画像を格納する場合、ステップＳ１０２及びＳ１０３において、アノテーション中継装置１０の制御部１１は、パノラマ変換データ蓄積部２５からパノラマ画像を取得してもよい。また、アノテーション中継装置１０の座標変換部１５は、ステップＳ１０８において、パノラマ画像及びこれに対応する魚眼画像を取得し、ステップＳ１０９において、パノラマ画像及び魚眼画像の関係に基づき、座標変換を実施してもよい。
【００５３】
［アノテーション付与システムの動作の変形例１］
以下、アノテーション付与システム１００の動作の変形例１を説明する。アノテーション付与装置３０がアノテーションを付与すべき画像を要求したとき、実施の形態では、アノテーション中継装置１０はパノラマ画像を提供していたが、本変形例では、アノテーション付与装置３０が、魚眼画像及びパノラマ画像のうちから提供を受ける画像を選択することができる。以下に、本変形例について、実施の形態と異なる点を中心に説明する。
【００５４】
図６及び図７を参照すると、魚眼画像及びそのパノラマ画像において、同一の対象物に、対象物の領域を囲む枠を用いて付与されるアノテーションの例が示されている。なお、図６及び図７において、対象物は、自動車の駐車スペースである。図６は、全方位ビデオカメラである車載カメラにより撮影された駐車場の魚眼画像に付与されるアノテーションを示す図である。図７は、図６の魚眼画像を透視投影変換したパノラマ画像に付与される図６と同一のアノテーションを示す図である。
【００５５】
図６の魚眼画像において、アノテーションが付与される駐車スペースの領域Ｓ１は、台形形状を有している。図７のパノラマ画像において、アノテーションが付与される駐車スペースの領域Ｓ２は、領域Ｓ１よりも大幅に小さく幅狭の台形形状を有している。よって、アノテーションの処理者が、アノテーションを付与するために画像上で駐車スペースの領域を囲む等により特定するためには、パノラマ画像を用いるよりも、魚眼画像を用いる方が容易である。よって、本変形例では、アノテーションの処理者は、アノテーションの付与処理を実施する際、アノテーション付与装置３０の表示部３３に表示される画像を、魚眼画像及びパノラマ画像の間で切り替えつつ選択することができる。具体的には、アノテーション付与システム１００は、図８に示すように、アノテーション付与動作を実施する。なお、図８は、アノテーション付与システム１００における変形例１に係る動作の流れを示すフローチャートである。
【００５６】
まず、アノテーション中継装置１０及びアノテーション付与装置３０が、実施の形態と同様に、ステップＳ１０１〜Ｓ１０５の処理を実施する。これにより、アノテーション付与装置３０の表示部３３には、パノラマ画像が表示されている。ステップＳ１０５に続くステップＳ２０１において、アノテーション付与装置３０は、アノテーション付与装置３０の入力部３４に、パノラマ画像から魚眼画像への表示画像の変更要求があれば（ステップＳ２０１でＹｅｓ）、ステップＳ２０２の処理へと進み、変更要求がなければ（ステップＳ２０１でＮｏ）、ステップＳ１０６の処理へと進む。アノテーション中継装置１０及びアノテーション付与装置３０は、ステップＳ１０６以降は、実施の形態と同様に、ステップＳ１０７〜Ｓ１１０の処理を実施する。
【００５７】
ステップＳ２０２では、アノテーション付与装置３０は、アノテーション中継装置１０に、先に受け取ったパノラマ画像に対応する魚眼画像を要求する。次いで、アノテーション中継装置１０の制御部１１は、サーバ装置２０の変換前画像データ蓄積部２４に、当該魚眼画像を要求して取得し、アノテーション付与装置３０に送信する（ステップＳ２０３）。なお、アノテーション中継装置１０の制御部１１は、ステップＳ１０２で取得した魚眼画像を、自身の図示しないメモリ等に一時的に記憶していてもよく、ステップＳ２０３で、この記憶している魚眼画像を使用してもよい。そして、アノテーション付与装置３０は、アノテーション中継装置１０から受け取った魚眼画像を表示部３３に表示する（ステップＳ２０４）。
【００５８】
ステップＳ２０４に続くステップＳ２０５において、アノテーション付与装置３０は、アノテーション付与装置３０の入力部３４に、魚眼画像からパノラマ画像への表示画像の変更要求があれば（ステップＳ２０５でＹｅｓ）、ステップＳ２０６の処理へと進み、変更要求がなければ（ステップＳ２０５でＮｏ）、ステップＳ２０７の処理へと進む。
【００５９】
ステップＳ２０６では、アノテーション付与装置３０は、アノテーション中継装置１０にパノラマ画像を要求する。ステップＳ２０６に続くステップＳ１０４では、アノテーション中継装置１０は、自身の図示しないメモリ等に一時的に記憶しているパノラマ画像を、アノテーション付与装置３０に送信する。しかしながら、アノテーション中継装置１０は、パノラマ画像を一時的に記憶していない場合、ステップＳ１０２及びＳ１０３の処理を再び実施してパノラマ画像を生成してもよい。
【００６０】
ステップＳ２０７では、処理者は、アノテーション付与装置３０の入力部３４を操作し、表示部３３に表示される魚眼画像上で、この画像に含まれる対象物にアノテーションを付与する。次いで、処理者は、魚眼画像内の対象物にアノテーションを付与する度に、アノテーション情報を、アノテーションを付与した魚眼画像の画像ＩＤと共に、アノテーション中継装置１０に送信する（ステップＳ２０８）。さらに、アノテーション中継装置１０は、受け取ったアノテーション情報を、画像ＩＤと共に、サーバ装置２０のアノテーションデータ蓄積部２６に送信し格納つまり記録させる（ステップＳ２０９）。
【００６１】
なお、上記変形例１に係るアノテーション付与システム１００の動作において、アノテーション中継装置１０は、ステップＳ１０４において、最初の送信画像としてパノラマ画像をアノテーション付与装置３０に送信していたが、これに限定されない。アノテーション中継装置１０は、魚眼画像を最初に送信し、アノテーション付与装置３０に魚眼画像を表示させてもよく、魚眼画像及びパノラマ画像を最初に送信し、アノテーション付与装置３０に魚眼画像及びパノラマ画像を一緒に表示させてもよい。
【００６２】
また、上記変形例１に係るアノテーション付与システム１００の動作において、ステップＳ１０６及びステップＳ２０７それぞれでのアノテーションの付与処理が完了するまでの間で、アノテーション付与装置３０の入力部３４を介して、ステップＳ２０１又はＳ２０５と同様の処理が割り込まれてもよい。さらに、アノテーション付与装置３０の表示部３３に表示される画像が、パノラマ画像から魚眼画像へ、又はこの反対へ切り替えられたとき、切り替え後の画像に、当該切り替えまでに対象物に設定されたアノテーションの領域、例えば、図６及び図７の領域Ｓ１又はＳ２が、表示されてもよい。これにより、処理者は、対象物に応じて、アノテーションの付与処理を実施する画像を選択し、アノテーションの付与を重複することなく実施することができる。
【００６３】
［アノテーション付与システムの動作の変形例２］
以下、アノテーション付与システム１００の動作の変形例２を説明する。変形例２に係るアノテーション付与システム１００の動作では、変形例１におけるステップＳ１０６及びステップＳ２０７それぞれでのアノテーションの付与処理に対して、アノテーションを付与する際に設定する対象物の領域の適否を、アノテーション付与装置３０が判定する。以下に、本変形例について、実施の形態及び変形例１と異なる点を中心に説明する。
【００６４】
図６を参照すると、この図に示される魚眼画像は、矩形状の外形を有しており、対角線魚眼レンズで撮影された画像である。このような魚眼画像をパノラマ画像に変換した場合、図７に示されるパノラマ画像が得られる。このパノラマ画像では、例えば、２つの領域Ｎｂ１及びＮｂ２において画素が存在しない、つまり画像が映し出されない。領域Ｎｂ１は、図６の魚眼画像の頂部中央の領域Ｎａ１に対応する領域である。魚眼画像からパノラマ画像への透視投影変換の際、領域Ｎｂ１は、魚眼画像内の領域Ｎａ１と、領域Ｎａ１の周辺の魚眼画像外の領域とを含んで形成され、その情報量を大きく低下させるため、パノラマ画像では画素が存在しないように表示される。同様に、領域Ｎｂ２は、図６の魚眼画像のうちの撮影画像が映し出される部分とその周囲の映し出されない部分との境界付近の領域Ｎａ２に対応する領域である。よって、魚眼画像からパノラマ画像への透視投影変換の際、領域Ｎｂ２は、領域Ｎａ２とその周囲の映し出されない領域Ｎａ３とを含んで形成され、その情報量を大きく低下させるため、パノラマ画像では画素が存在しないように表示される。よって、パノラマ画像の領域Ｎｂ１及びＮｂ２は、魚眼画像では映し出されている可能性がある。
【００６５】
これにより、アノテーション付与装置３０の制御部３１は、図８のステップＳ１０６において、処理者が、パノラマ画像上で、図７の領域Ｎｂ１又はＮｂ２のような領域にアノテーションの付与処理を実施すると、当該パノラマ画像の魚眼画像を表示部３３に表示する処理を実施する。パノラマ画像から魚眼画像への表示変更処理は、変形例１に記載した処理と同様である。
【００６６】
また、アノテーション付与装置３０の制御部３１は、図８のステップＳ２０７において、処理者が、魚眼画像上で、図７の領域Ｎａ３のような領域にアノテーションの付与処理を実施すると、表示部３３及び／又は図示しない音声発生装置を介して警告を発する。上述したように、パノラマ画像で映し出されない領域は、魚眼画像で映し出される可能性があるが、魚眼画像で映し出されない領域は、パノラマ画像でも映し出されない。また、アノテーション付与装置３０の制御部３１は、領域Ｎａ３の近傍の撮影画像が映し出される領域である領域Ｎａ２を、近似値候補として指し示してもよい。なお、領域Ｎａ２は、魚眼画像の中心Ｃを中心として領域Ｎａ３に半径方向内側で隣接する領域であり、領域Ｎａ３の近似領域である。
【００６７】
［効果等］
上述したように、実施の形態に係るアノテーション付与システム１００は、魚眼画像へのアノテーション付与システムである。アノテーション付与システム１００は、第一データ格納部としての変換前画像データ蓄積部２４に格納された魚眼画像を取得する取得部としての制御部１１と、魚眼画像を透視投影変換した変換画像を生成する画像変換部１４と、変換画像を処理者の装置としてのアノテーション付与装置３０に送る提示部としての制御部１１と、アノテーション付与装置３０で変換画像に付与されたアノテーションに関するアノテーション情報を、アノテーション付与装置３０から受け取る受取部としての制御部１１と、アノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換する座標変換部１５と、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として第二データ格納部としてのアノテーションデータ蓄積部２６に記録する記録部としての制御部１１とを備える。なお、変換画像は、魚眼画像をパノラマ展開する変換によって得られるパノラマ画像であってもよい。
【００６８】
上述の構成において、魚眼画像は、一旦、変換画像にされ、この変換画像上でアノテーションが付与される。さらに、付与されたアノテーション情報は、魚眼画像の座標に対応するように変換される。これにより、アノテーションの付与が、変換画像上でなされるため、容易になり得る。魚眼画像の座標に対応するように変換されたアノテーション情報は、魚眼画像を対象とした対象物の認識及び検出のための学習用の画像データ等の情報として、そのまま使用することができる。よって、魚眼画像上でのアノテーションの付与が簡易になり、且つ、付与したアノテーションの利用が容易になる。
【００６９】
実施の形態に係るアノテーション付与システム１００は、変換前画像データ蓄積部２４及びアノテーションデータ蓄積部２６を含み且つ取得部及び記録部としての制御部１１と通信するサーバ装置２０をさらに備える。さらに、実施の形態に係るアノテーション付与システム１００は、変換前画像データ蓄積部２４、アノテーションデータ蓄積部２６及びアノテーション付与装置３０の間で、情報の流れを中継するアノテーション中継装置１０をさらに備える。アノテーション中継装置１０は、取得部、提示部、受取部及び記録部としての制御部１１と、画像変換部１４と、座標変換部１５とを含む。
【００７０】
上述の構成において、大量のデータを蓄積する変換前画像データ蓄積部２４及びアノテーションデータ蓄積部２６を、制御部１１と別個にすることにより、制御部１１を含む装置としてのアノテーション中継装置１０の小型化が可能になる。さらに、アノテーション付与システム１００を用いる画像データの構築者は、アノテーション付与装置３０及びサーバ装置２０を自身以外の者の装置とすることができる。例えば、アノテーション付与装置３０を構築者とのアノテーション処理の契約者の装置とすることができ、サーバ装置２０をクラウドサーバとすることができる。これにより、アノテーション付与システム１００の構成の簡略化が可能になる。
【００７１】
実施の形態の変形例に係るアノテーション付与システム１００において、提示部としての制御部１１は、アノテーション付与装置３０から、魚眼画像及び変換画像のうちで提示する画像を選択する指令を受け取り、アノテーション付与装置３０に、選択された画像を送り、受取部としての制御部１１は、アノテーション付与装置３０で選択された画像に付与されたアノテーションに関するアノテーション情報を、アノテーション付与装置３０から受け取る。座標変換部１５は、選択された画像が変換画像の場合、アノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、記録部としての制御部１１は、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報としてアノテーションデータ蓄積部２６に記録する。座標変換部１５は、選択された画像が魚眼画像の場合、アノテーション情報を魚眼画像におけるアノテーション情報とし、記録部としての制御部１１は、アノテーション情報をアノテーションデータ蓄積部２６に記録する。
【００７２】
上述の構成において、アノテーション付与装置３０を用いてアノテーションの付与を行う処理者は、魚眼画像及び変換画像のうちからアノテーションの付与が容易な画像を選択することができる。よって、アノテーションの付与処理の簡易化が可能になる。
【００７３】
実施の形態の変形例に係るアノテーション付与システム１００は、通知部としての制御部１１を備える。制御部１１は、選択された画像としての変換画像に付与されたアノテーションに関するアノテーション情報が、変換画像の第一の領域を含む場合、変換画像に代わり魚眼画像をアノテーション付与装置３０に送る。制御部１１は、選択された画像としての魚眼画像に付与されたアノテーションに関するアノテーション情報が、魚眼画像の第二の領域を含む場合、アノテーション付与装置３０に、警告又はアノテーションの近似領域を通知する。なお、第一の領域は、魚眼画像には映出されるが変換画像には不映出である領域であり、第二の領域は、魚眼画像における不映出な領域であってもよい。
【００７４】
上述の構成において、魚眼画像から変換画像に透視投影変換する場合、変換画像には、魚眼画像から著しい歪みを伴って形成される部分が含まれる。このような部分は、魚眼画像では映出されるが、変換画像で映出されない場合がある。つまり、魚眼画像よりも変換画像の方が、狭い映出領域を有する可能性がある。よって、変換画像に付与されたアノテーションに関するアノテーション情報が、変換画像の第一の領域を含む場合、アノテーション付与装置３０に表示する画像を、変換画像から魚眼画像にすることによって、第一の領域が不映出であっても魚眼画像で映出され、アノテーションの付与が可能になる場合がある。また、魚眼画像に付与されたアノテーションに関するアノテーション情報が、魚眼画像の第二の領域を含む場合、第二の領域が不映出であれば、変換画像でも不映出である。よって、魚眼画像において、アノテーションで設定する領域内に、不映出な部分が含まれる場合に、警告又はアノテーションの近似領域を通知することによって、アノテーションで設定する領域内に、不映出な部分が含まれないようにすることができる。なお、アノテーションで設定する領域内に不映出な部分が含まれると、対象物が画像上で正確に認識されないおそれがある。
【００７５】
また、実施の形態に係るアノテーション付与方法は、魚眼画像へのアノテーション付与方法である。この方法では、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者に提示し、処理者から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として記録する。さらに、変換画像は、魚眼画像をパノラマ展開する変換によって得られるパノラマ画像であってもよい。
【００７６】
また、実施の形態の変形例に係るアノテーション付与方法では、処理者から、魚眼画像及び変換画像のうちで提示する画像を選択する入力を受け付け、処理者に、選択された画像を提示し、処理者から、選択された画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、選択された画像が変換画像の場合、入力されたアノテーション情報に含まれる、変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を、魚眼画像におけるアノテーション情報として記録し、選択された画像が魚眼画像の場合、入力されたアノテーション情報を、魚眼画像におけるアノテーション情報として記録する。
【００７７】
また、実施の形態の変形例に係るアノテーション付与方法では、処理者から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付けた際、入力されたアノテーション情報が、変換画像の第一の領域を含む場合、変換画像に代わり魚眼画像を処理者に提示し、処理者から、魚眼画像に付与されるアノテーションに関するアノテーション情報の入力を受け付けた際、入力されたアノテーション情報が、魚眼画像の第二の領域を含む場合、処理者に警告又はアノテーションの近似領域を提示する。さらに、第一の領域は、魚眼画像には映出されるが変換画像には不映出である領域であり、第二の領域は、魚眼画像における不映出な領域であってもよい。
【００７８】
上記方法によって、実施の形態及び変形例に係るアノテーション付与システム１００の効果と同様の効果が得られる。なお、上記方法は、ＭＰＵ、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【００７９】
また、実施の形態及び変形例での処理は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよい。例えば、実施の形態での処理は、次のようなプログラムによって、実現される。
【００８０】
すなわち、このプログラムは、魚眼画像を取得し、魚眼画像を透視投影変換した変換画像を生成し、変換画像を処理者の装置に提示し、処理者の装置から、変換画像に付与されるアノテーションに関するアノテーション情報の入力を受け付け、入力されたアノテーション情報に含まれる変換画像でのアノテーションの座標情報を、魚眼画像での座標に変換し、変換後のアノテーション情報を魚眼画像におけるアノテーション情報として記録する。
【００８１】
なお、上記プログラム及び上記プログラムからなるデジタル信号は、コンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、半導体メモリ等に記録したものであってもよい。
【００８２】
また、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。
【００８３】
また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実施されてもよい。
【００８４】
［その他の変形例］
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態の変形例又は他の実施の形態にも適用可能である。また、実施の形態及び変形例で説明する各構成要素を組み合わせて、新たな実施の形態又は変形例とすることも可能である。
【００８５】
実施の形態及び変形例では、アノテーションの対象とする撮影画像が、魚眼レンズを備える撮影装置で撮影された魚眼画像であった。そして、適用される魚眼レンズは、全周魚眼レンズ及び対角線魚眼レンズによって例示されていたが、これらに限定されず、いかなる魚眼レンズであってもよい。例えば、魚眼レンズは、自由曲面レンズであってもよい。
【００８６】
実施の形態及び変形例に係るアノテーション付与システム１００では、アノテーション中継装置１０の画像変換部１４は、魚眼画像を透視投影変換することによって、パノラマ画像を生成していた。透視投影変換は、上述したような魚眼画像をその周囲を囲む円筒面上に投影するようにパノラマ展開する変換に限定されない。例えば、透視投影変換は、魚眼画像の撮影装置のレンズパラメータを変換することによる歪み補正であってもよい。
【００８７】
実施の形態及び変形例に係るアノテーション付与システム１００では、サーバ装置２０と、アノテーション中継装置１０と、アノテーション付与装置３０とは、別個の要素であり、互いに離れて配置されていたが、これに限定されない。例えば、サーバ装置２０とアノテーション中継装置１０とが、１つの装置を構成してもよく、アノテーション中継装置１０とアノテーション付与装置３０とが、１つの装置を構成してもよい。
【００８８】
実施の形態及び変形例に係るアノテーション付与システム１００は、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ等のニューラルネットワークでの大量の学習用の画像データを構築するために用いられていたが、これに限定されず、画像データを構築するいかなる構成に適用されてもよい。
【００８９】
実施の形態及び変形例に係るアノテーション付与システム１００では、変換前の画像データとして、魚眼画像を用いていたが、これに限定されず、例えば、全方位カメラで撮影された画像であってもよい。
【００９０】
なお、本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００９１】
以上のように、本開示における技術の例示として、実施の形態及び変形例を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態及び変形例は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９２】
本開示は、魚眼画像へアノテーションを付与する技術に利用可能である。
【符号の説明】
【００９３】
１０  アノテーション中継装置
１１  制御部（取得部、提示部、受取部、記録部、通知部）
１４  画像変換部
１５  座標変換部
２０  サーバ装置
２４  変換前画像データ蓄積部（第一データ格納部）
２６  アノテーションデータ蓄積部（第二データ格納部）
３０  アノテーション付与装置（処理者の装置）
１００  アノテーション付与システム
【図１】
2018026104.tif 000003
【図２】
2018026104.tif 000004
【図３】
2018026104.tif 000005
【図４】
2018026104.tif 000006
【図５】
2018026104.tif 000007
【図６】
2018026104.tif 000008
【図７】
2018026104.tif 000009
【図８】
2018026104.tif 000010