(57)【要約】【課題】本発明は、魚眼カメラが撮影した画像進行オブジェクト検出の装置、方法和電子機器を提供する。【解決手段】該装置は、魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピングを行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び、各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む。【選択図】図１
2020135866.tif 000002
【特許請求の範囲】
【請求項１】
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得する第一処理ユニットであって、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記第一処理ユニットが前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、装置。
【請求項３】
請求項1に記載の装置であって、
前記第二処理ユニットは、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う、装置。
【請求項４】
請求項1に記載の装置であって、
第三処理ユニットは、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを得る第四処理ユニット；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する第五処理ユニットを含む、装置。
【請求項５】
請求項1に記載の装置であって、
第三処理ユニットの検出の結果に基づいて、オブジェクトの移動状態の検出を行う第六処理ユニットをさらに含む、装置。
【請求項６】
請求項5に記載の装置であって、
前記第六処理ユニットは、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算する第七処理ユニット；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する第八処理ユニットを含む、装置。
【請求項７】
請求項1〜6のうちの任意の一項に記載の装置を含む、電子機器。
【請求項８】
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出するステップを含む、方法。
【請求項９】
請求項8に記載の方法であって、
前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、方法。
【請求項１０】
請求項8に記載の方法であって、
各逆マッピング画像におけるオブジェクトの検出は、
前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行うことを含む、方法。
【請求項１１】
請求項8に記載の方法であって、
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトの検出は、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断することを含む、方法。
【請求項１２】
請求項8に記載の方法であって、
前記検出の結果に基づいて、オブジェクトの移動状態の検出をさらに含む、方法。
【請求項１３】
請求項12に記載の方法であって、
オブジェクトの移動状態の検出は、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出することを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報技術分野に関し、特に、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法、装置及び電子機器に関する。
【背景技術】
【０００２】
従来のカメラに比べ、魚眼カメラ（fisheye  camera）がより広い視野（Field  Of  View、FOV）を有し、より多くの環境情報を撮影することができ、例えば、魚眼カメラの視野は、120度以上に達することができ、ひいては、180度を超えることができる。
【０００３】
しかし、魚眼カメラは、幾つかの局限性も存在し、例えば、画像の辺縁（エッジ）に近いほど、変形が大きい。よって、魚眼カメラにより道路に対して撮影を行うときに、車線及び車両に往々にして大きいディストーションがあるため、画像処理が困難になり、これにより、画像処理の結果に基づいて車速を正確に計算することが難しい。
【０００４】
上述のようなことが原因で、今のところ、高度道路交通システム（Intelligent  Traffic  System、ITS）では、通常、従来のカメラを用いてビデオ監視を行う。
【０００５】
なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈してはならない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の発明者が次のようなことを発見した。即ち、魚眼カメラを用いて撮影を行う場合、魚眼カメラが撮影した画像の辺縁部分が通常切除され、画像の中央部分のみが画像処理のために残され、このように、画像の辺縁部分の情報が捨てられるから、魚眼カメラの広視野の利点を発揮し難い。
【０００７】
本発明の実施例は、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法、装置及び電子機器を提供し、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基いいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【課題を解決するための手段】
【０００８】
本発明の実施例の第一側面によれば、魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置が提供され、該装置は、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む。
【０００９】
本発明の実施例の第二側面によれば、魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法が提供され、該方法は、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出することを含む。
【００１０】
本発明の実施例の第三側面によれば、電子機器が提供され、それは、上述の第一側面に記載の装置を含む。
【００１１】
本発明の実施例の有益な効果は次の通りであり、即ち、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例1におけるオブジェクト検出方法を示す図である。
【図２】本発明の実施例1におけるオリジナル画像及びサイズ調整後の画像を示す図である。
【図３】本発明の実施例1に係る円柱面投影モデルにおける画像及び逆マッピングによる画像を示す図である。
【図４】本発明の実施例1におけるオフセットの異なる値及び逆マッピングによる平面画像を示す図である。
【図５】本発明の実施例1におけるオブジェクト検出を行う方法を示す図である。
【図６】本発明の実施例1における同一のオブジェクトを検出する方法を示す図である。
【図７】本発明の実施例1における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法のフローチャートである。
【図８】本発明の実施例2における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置を示す図である。
【図９】図8に示す装置における第三処理ユニットを示す図である。
【図１０】図8に示す装置における第六処理ユニットを示す図である。
【図１１】本発明の実施例3における電子機器の構成図である。
【発明を実施するための形態】
【００１３】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
【実施例１】
【００１４】
本発明の実施例1は、オブジェクト検出方法を提供し、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う。
【００１５】
図1は、本実施例におけるオブジェクト検出方法を示す図である。図1に示すように、該方法は、以下のステップを含む。
【００１６】
ステップ101：魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
ステップ102：各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
ステップ103：各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであるかを判断する。
【００１７】
本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【００１８】
本実施例では、魚眼カメラの撮影によるオリジナル画像は、魚眼カメラがリアルタイムに撮影した画像からのものであっても良く、記憶器に記憶された、魚眼カメラが撮影した画像からのものであっても良いが、本実施例では、これについて限定しない。
【００１９】
本実施例では、該魚眼カメラの撮影の被写対象は道路、室内環境などであっても良く、オブジェクトは画像における人物、車両などであっても良い。本実施例の以下の説明では、該魚眼カメラが交通監視を行うために用いられ、被写体が車道であり、オブジェクトが車道上の車両などの物体である。なお、本実施例は、これに限られず、該魚眼カメラは、他の被写体に対して撮影を行っても良く、また、オブジェクトは、画像における他の物体であっても良い。
【００２０】
本実施例のステップ101では、魚眼カメラが撮影したオリジナル画像を円柱面モデル又は球面モデルにマッピングすることで、該オリジナル画像に対して修正を行うことができる。そのうち、オリジナル画像を円柱面モデル又は球面モデルにマッピングする具体的な方法については、従来技術を参照することができ、例えば、画像のつなぎ合わせ（image  stitching）のときに行われる、オリジナル画像を円柱面モデル又は球面モデルにマッピングする処理である。
【００２１】
本実施例の１つの実施方式では、ステップ101においてオリジナル画像を円柱面モデルにマッピングすることができ、そのうち、円柱面モデルは、例えば、半円柱面モデルであっても良く、これにより、オリジナル画像における視野角が180度の範囲内の画像を該半円柱面モデルにマッピングすることができる。
【００２２】
また、本実施例では、オリジナル画像を半円柱面モデルにマッピングする前に、さらにオリジナル画像のサイズを調整することで、調整後のサイズが以下の公式（1）を満たすようにさせることもできる。
【数１】
2020135866.tif 000003
【００２３】
公式（1）では、widthは、調整後の画像の幅、即ち、水平方向のサイズを表し；heightは、調整後の画像の高さ、即ち、水平方向に垂直な垂直方向のサイズを表し；HFOVは、オリジナル画像の水平視野角、即ち、幅方向に沿った視野角であり；UVFOVは、オリジナル画像の垂直方向の第一視野角であり、DVFOVは、オリジナル画像の垂直方向の第二視野角であり、そのうち、UVFOV及びDVFOVは、それぞれ、魚眼カメラのレンズの中心光軸の、オリジナル画像の上下辺縁に対しての開角度を表す。
【００２４】
また、公式（1）における180度とは、半円柱面モデルの横断面円弧に対応する中心角（central  angle）を指し、半円柱面モデルの代わりに全円柱面モデルを使用するときに、円柱面モデルの横断面円弧に対応する中心角が360度であるので、公式（1）における180度は、360度で置換されても良い。
【００２５】
図2は、オリジナル画像及びサイズ調整後の画像を示す図であり、そのうち、w1及びh1は、それぞれ、オリジナル画像201の幅及び高さを示し、w2及びh2は、それぞれ、サイズ調整後の画像202の幅及び高さを示し、そのうち、w2及びh2は、それぞれ、公式（1）におけるwidth及びheightに等しい。
【００２６】
本実施例の以下の説明では、サイズ調整後のケースを例として説明を行う。なお、本実施例は、これに限られず、例えば、上述のようなサイズ調整を行わなくても良く、また、サイズ調整を行わない場合、以下の説明におけるサイズ調整後の画像についての記載がオリジナル画像についての説明にも適用される。
【００２７】
本実施例のステップ101では、円柱面投影モデルに投影された画像に対して逆マッピング（reverse  mapping）を行うことができ、即ち、円柱面投影モデルにおける画像を平面に投影する。
【００２８】
図3は、本実施例に係る円柱面投影モデルにおける画像及び逆マッピングによる画像を示す図である。図3に示すように、円柱面投影モデルにおける画像301は、AEBCFDであり、そのうち、円柱面投影モデルの投影面は、半円柱面であり、逆マッピングにより得られた平面画像は、302であり、平面ABCDは、画像302の平面に平行である。
【００２９】
図3に示すように、oは、平面ABCDの中心点であり、座標系xyzの座標原点でもあり、x軸は、ABに平行であり、y軸は、ADに平行であり、z軸は、平面ABCDに垂直である。P(u,v)は、画像301における任意の点である。O及びPの接続線と、画像302との交点（交わる点）は、P’(X,Y)であり、即ち、P’(X,Y)は、画像302上の、P(u,v)に対応する点である。P’からy軸までの垂直線分と、z方向との夾角は、θである。
【００３０】
図3は、以下のような公式（2）、（3）を満足する。
【数２】
2020135866.tif 000004
【００３１】
そのうち、heighttarget及びweighttargetは、それぞれ、平面画像302の高さ及び幅を示し、fは、魚眼カメラの焦点距離を示し、h1は、上述の調整後の画像の高さheightを示す。
【００３２】
平面画像302の高さ及び幅が与えられている場合下、P’(X,Y)とP(u,v)との間には、以下の公式（4）、（5）に示す関係を有する。
【数３】
2020135866.tif 000005
【００３３】
上述の公式は、以下のような限定条件がある。
【数４】
2020135866.tif 000006
【００３４】
そのうち、widthは、上述のサイズ調整後の画像の幅を表す。
【００３５】
本実施例では、offsetは、公式（4）に現れ、オリジナル画像の幅に関するオフセット量を表す。
【００３６】
本実施例では、上述の公式（2）〜（4）に基づいて逆マッピングを行うときに、offsetの値を調整することで、幅方向における視角が異なる方向に面する平面画像を得ることができ、例えば、offsetの値を第一値よりも大きく設定することで、第一平面画像を得ることができ、offsetの値を第一値よりも小さく設定することで、第二平面画像を得ることができ、第一平面画像及び第二平面画像の幅方向における視角は、異なる方向に面する。
【００３７】
１つの実施方では、offsetの値が第一値のときに、平面画像の幅方向における視角が幅方向の中心位置に面し、offsetの値が第一値よりも小さいときに、平面画像の幅方向における視角が幅方向の中心位置に対して左寄りであり、offsetの値が第一値よりも大きいときに、平面画像の幅方向における視角が幅方向の中心位置に対して右寄りである。
【００３８】
例えば、第一値が0.5であっても良く、この場合、offsetの値が第一値よりも小さいときに、offsetの値は、0.45であっても良く、offsetの値が第一値よりも大きいときに、offsetの値は、0.55であっても良い。
【００３９】
図4は、offsetの異なる値及び逆マッピングによる平面画像を示す図である。図4の（a）は、offsetの値が第一値のときの平面画像を示し、図4の（b）は、offsetの値が第一値よりも小さいときの平面画像を示し、図4の（c）は、offsetの値が第一値よりも大きいときの平面画像を示す。図4の各平面画像に対応するオリジナル画像は、図2のオリジナル画像201に示されるようである。
【００４０】
図4に示すように、本実施例では、（a）、（b）、及び（c）に対応するoffsetは、それぞれ、0.5、0.45、及び0.55であっても良い、他の値を取っても良い。
【００４１】
また、本実施例では、公式（5）に、オリジナル画像の高さに関するオフセット量offset1を設定しても良く、offset1を調整することで、高さ方向における視角が異なる方向に面する少なくとも２つの逆マッピング画像を得ることができる。
【００４２】
１つの実施方式では、ステップ101で逆マッピングを行うときに、オフセット量offsetを調整することで、少なくとも２つの逆マッピング画像を取得し、及び／又は、offset1を調整することで、少なくとも２つの逆マッピング画像を取得することができる。
【００４３】
また、本実施例の上述の説明では、オリジナル画像を円柱面投影モデルに投影する場合、逆マッピングを行い、少なくとも2つの逆マッピング画像を取得するのである。なお、本実施例は、これに限定されず、例えば、オリジナル画像を球面投影モデルに投影する場合、逆マッピングを行うことで少なくとも2つの逆マッピング画像を得ても良い。
【００４４】
本実施例の下述の説明では、「オフセット量offsetを調整することで２つの逆マッピング画像を得る」ことを例として説明を行うが、他の場合の処理がこれとほぼ同様である。
【００４５】
本実施例のステップ102では、ステップ101で生成された少なくとも２つの逆マッピング画像について、各逆マッピング画像におけるオブジェクトをそれぞれ検出することができ、これにより、各逆マッピング画像について、それに対応するオブジェクト検出結果があり、例えば、図4の（b）、（c）について、それぞれ、その中のオブジェクトを検出することができる。
【００４６】
１つの実施方式では、前景及び背景検出の方法に基づいて各逆マッピング画像におけるオブジェクトを検出しても良く、又は、分類器に基づいて各逆マッピング画像におけるオブジェクトを検出しても良く、又は、この２種類の検出方法を組み合わせても良く、例えば、前景及び背景検出の方法に基づいて検出されたオブジェクトと、分類器に基づいて検出されたオブジェクトとに対して融合を行うことで、最終のオブジェクト検出結果を得ても良い。
【００４７】
図5は、本実施例におけるオブジェクト検出を行う方法を示す図であり、図5に示すように、各逆マッピング画像について、オブジェクト検出を行う方法は、以下のステップを含む。
【００４８】
ステップ501：逆マッピング画像に対して前景検出及び背景検出を行い、例えば、Vibeアルゴリズムを採用して前景検出及び背景検出を行うことができ；
ステップ502：所定の閾値に基づいて、前景に対して閾値化処理を行い、二値化画像を取得し、例えば、前景における画素値が閾値以上の画素を白色画素とし、前景における画素値が閾値よりも小さい画素を黒色画素とすることで、二値化画像を得ることができ；
ステップ503：二値化画像に対して形態学的処理（morphological  processing）を行い、二値化画像における画素数が比較的少ない領域を除去することで、少なくとも１つの画素集合（blob）を得ることができ；
ステップ504：形態学的処理後の二値化画像に対して接続領域合併処理（connected  domain  processing）を行うことで、隣接する画素集合を比較的大きい画素集合として合併することができ；
ステップ505：接続領域合併処理の結果に基づいて、ブロブ（blob）のクラスタリング（clustering）を行い、例えば、中心距離が所定の閾値よりも小さい画素集合を１つの画素クラスタとしてクラスタリングし、そのうち、１つの画素クラスタを、検出された１つのオブジェクトとし；
ステップ506：分類器により逆マッピング画像におけるオブジェクトを検出し、そのうち、該分類器は、オブジェクトに基づく訓練により得られた分類器であっても良く、例えば、該分類器は、車両の画像に基づいて訓練することにより得られた分類器であっても良く、これにより、逆マッピング画像から車両を検出することができ、該分類器は、例えば、HOG（Histogram  of  Oriented  Gradient）特徴に基づいて検出を行うことができ；
ステップ507：ステップ505で検出されたオブジェクト及びステップ506で検出されたオブジェクトの融合を行うことで、最終のオブジェクト検出結果を取得し、そのうち、融合は、例えば、ステップ505で検出されたオブジェクト1の輪郭フレームBbox1と、ステップ506で検出されたオブジェクト2の輪郭フレームBbox2とを比較し、Bbox1とBbox2との両者のIoU（Intersection-over-Union）が所定の閾値Tmergeよりも大きいときに、該オブジェクト1を最終のオブジェクトとして確定し、そうでないときに、該オブジェクト1を最終のオブジェクトとして確定しない。
【００４９】
図5では、ステップ501〜ステップ505において前景及び背景検出の方法に基づいて逆マッピング画像におけるオブジェクトを検出し、ステップ506において分類器に基づいて逆マッピング画像におけるオブジェクトを検出し、ステップ507において両者を融合する処理が行われる。なお、図5における各ステップのより詳しい説明については、従来技術を参照することができる。また、図5は、例示に過ぎず、ステップ102では、他の方法で各逆マッピング画像におけるオブジェクトを検出しても良い。
【００５０】
本実施例のステップ103では、各逆マッピング画像の中から検出されたオブジェクトのうちから同一のオブジェクトを検出することができる。
【００５１】
図6は、本実施例における同一のオブジェクトの検出方法を示す図であり、図6に示すように、該方法は、以下のステップを含んでも良い。
【００５２】
ステップ601：各逆マッピング画像の重畳（overlapping）領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
ステップ602：前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。
【００５３】
以下、図4に示す画像を例として同一のオブジェクトの検出方法を説明する。
【００５４】
図4に示すように、（b）における領域Spublic1及び（c）における領域Spublic2ｊは、（b）及び（c）における互いに重畳した領域、即ち、共通領域を示す。
【００５５】
図4の（b）においてトータルでM個のオブジェクトが検出され、第i個目のオブジェクトの輪郭フレームがboxiview1と表され得るとすると、該輪郭フレームの幾何中心の画素をciview1と表することができ、そのうち、i=1、2、…、Mであり、Mは、自然数である。
【００５６】
本実施例では、各オブジェクトにフラグを設定することで、該オブジェクトが領域Spublic1にあるかを示すことができ、例えば、フラグFiSpubilic1が、第i個目のオブジェクトが領域Spublic1にあるかを示すために用いられても良く、そのうち、FiSpubilic1が0のときに、該第i個目のオブジェクトが領域Spublic1の外にあることを示し、FiSpubilic1が1のときに、該第i個目のオブジェクトが該領域Spublic1の中にあることを示しても良い。
【００５７】
本実施例では、フラグFiSpubilic1により領域Spublic1におけるオブジェクトの数を判定することができ、例えば、領域Spublic1におけるオブジェクトの数がkであり、該k個のオブジェクトの輪郭フレームがboxiSpub1と表され、そのうち、i=1、2、…、kであり、kは、自然数である。
【００５８】
図4の（c）においてトータルでN個のオブジェクトが検出され、各オブジェクトの輪郭フレームがboxjview2と表されるとすれば、各輪郭フレームの幾何中心の画素をcjview2と表することができ、そのうち、j=1、2、…、Nであり、Nは、自然数である。
【００５９】
本実施例では、各オブジェクトにフラグを設定することで、該オブジェクトが領域Spublic2にあるかを示すことができ、例えば、フラグFjSpubilic2により第j個目のオブジェクトが領域Spublic1にあるかを示すことができ、例えば、FjSpubilic2が0のときに、該第j個目のオブジェクトが領域Spublic2の外にあることを示し、FｊSpubilic2が1のときに、第j個目のオブジェクトが該領域Spublic2の中にあることを示しても良い。
【００６０】
本実施例では、フラグFjSpubilic2により領域Spublic2におけるオブジェクトの数を判定することができ、例えば、領域Spublic2におけるオブジェクトの数がpである。該p個のオブジェクトの輪郭フレームがboxjSpub2と表され、そのうち、j=1、2、…、pであり、pは、自然数である。
【００６１】
本実施例では、図4の（b）の領域Spublic1における各オブジェクトの輪郭フレームboxiSpub1及び（c）の領域Spublic2における各オブジェクトの輪郭フレームboxjSpub2がそれぞれオリジナル画像201にマッピングされ、それぞれ輪郭フレームboxiSpub1′及びboxjSpub2′を形成し、そのうち、i=1、2、…、kであり、j=1、2、…、pである。
【００６２】
本実施例では、輪郭フレームboxiSpub1′及びboxjSpub2′の重畳度が閾値Tmatchより大きいときに、輪郭フレームboxiSpub1′におけるオブジェクト及び輪郭フレームboxjSpub2′におけるオブジェクトが同一のオブジェクトであると判断し、例えば、第i個目のオブジェクトのマッチングフラグFboxiSpub1及び第j個目のオブジェクトのマッチングフラグFboxjSpub2をともに1に設定する。そのうち、重畳度は、例えば、IoU（Intersection-over-Union）と表されても良い。
【００６３】
また、本実施例では、輪郭フレームboxiSpub1におけるオブジェクト及び輪郭フレームboxjSpub2におけるオブジェクトが同一のオブジェクトのときに、さらにオブジェクトの移動方向に基づいて、どの輪郭フレームを該同一のオブジェクトの好適輪郭フレームとするかを設定することができる。例えば、オブジェクトが図2の左側から右側へと移動する方向を正方向とし、その逆の方向を逆方向とする場合、該オブジェクトが正方向に沿って移動するときに、boxjSpub2を好適輪郭フレームとし、また、FboxjSpub2を0とすることで、もう１回の検出を行うことができ、また、該オブジェクトが逆方向に沿って移動するときに、boxiSpub1を好適輪郭フレームとし、また、FboxiSpub1を0とすることで、もう１回の検出を行うこともできる。
【００６４】
本実施例では、該オブジェクトが正方向に沿って移動するか、それとも、逆方向に沿って移動するかについての判定が、例えば、或る期間内で画像中の該オブジェクトの移動軌迹に基づいて行われても良く、その具体的な方法は、従来技術を参照することができる。
【００６５】
本実施例では、図1に示すように、該方法はさらに以下のステップを含んでも良い。
【００６６】
ステップ104：ステップ103の検出結果に基づいて、オブジェクトの移動動状態の検出を行う。
【００６７】
本実施例のステップ104では、各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判定された場合、それぞれ、各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し、そして、それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。
【００６８】
例えば、輪郭フレームboxiSpub1におけるオブジェクト及び輪郭フレームboxjSpub2におけるオブジェクトが同一のオブジェクトであるときに、該同一のオブジェクトが例えば車両である場合、図4の（b）に基づいて、輪郭フレームboxiSpub1におけるオブジェクトの移動速度、例えば、v1を計算することができ、また、図4の（c）に基づいて、輪郭フレームboxjSpub2におけるオブジェクトの移動速度、例えば、v2を計算することができ、そして、両者の差（v1-v2）を算出し、該差が閾値Tvelocityよりも大きいときに、オブジェクトの移動が減速移動であると判断することができる。
【００６９】
本実施例の上述の説明では、オブジェクトの移動状態が加速又は減速状態であるが、本実施例は、これに限定されず、オブジェクトの移動状態が他の状態であっても良い。
【００７０】
以下、１つの例に基づいて本実施例における方法を説明する。
【００７１】
図7は、本実施例における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法の１つのフローを示す図であり、ステップ101、ステップ102及びステップ103に対応する。
【００７２】
図7に示すように、該フローは、以下のステップを含む。
【００７３】
ステップ701：魚眼カメラが撮影を行うことでオリジナル画像を取得し；
ステップ702：オリジナル画像のサイズを調整して円柱面投影モデルに投影し；
ステップ703：第一値よりも小さいオフセット量を設定し、逆マッピングを行い、第一逆マッピング画像、例えば、図4の（b）を取得し；
ステップ704：第一値よりも大きいオフセット量を設定し、逆マッピングを行い、第二逆マッピング画像、例えば、図4の（c）を取得し；
ステップ705：第一逆マッピング画像におけるオブジェクトを検出し；
ステップ706：第二逆マッピング画像におけるオブジェクトを検出し；
ステップ707：第i個目のオブジェクトが領域Spublic1にあるか、即ち、FiSpublic1が1であるかを判断し、「はい」と判断された場合”、ステップ708に進み、「いいえ」と判断された場合、ステップ709に進み；
ステップ708：boxiSpub1をオリジナル画像にマッピングし、boxiSpub1′を取得し；
ステップ709：第i個目のオブジェクトの速度を計算し；
ステップ710：第j個目のオブジェクトが領域Spublic2にあるか、即ち、FjSpublic2が1であるかを判断し、「はい」と判断された場合、ステップ711に進み、「いいえ」と判断された場合、ステップ712に進み；
ステップ711：boxjpub2をオリジナル画像にマッピングし、boxjpub2′を取得し；
ステップ712：第j個目のオブジェクトの速度を計算し；
ステップ713：boxiSpub1′とboxjSpub2′とのIoUが閾値Tmatchよりも大きいか、即ち、FboxiSpub1及びFboxjSpub2がすべて1であるかを判断し、「はい」と判断された場合、ステップ714に進み；
ステップ714：該オブジェクトの移動方向が正方向であるかを判断し、「はい」と判断された場合、ステップ715に進み、「いいえ」と判断された場合、ステップ716に進み；
ステップ715：FboxjSpub2を0に設定し、ステップ706に戻り；
ステップ716：FboxiSpub1を0に設定し、ステップ705に戻る。
【００７４】
本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【実施例２】
【００７５】
本実施例2は、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置を提供する。該装置が問題を解決する原理は、実施例1における方法に類似する。よって、その具体的な実施は、実施例1における方法の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。
【００７６】
図8は、本実施例における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置を示す図である。図8に示すように、該装置800は、以下のものを含む。
【００７７】
第一処理ユニット801：魚眼カメラが撮影したオリジナル画像を円柱面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
第二処理ユニット802：各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
第三処理ユニット803：各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する。
【００７８】
そのうち、第一処理ユニット801が前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく、及び、前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、そのうち、前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する。
【００７９】
本実施例では、第二処理ユニット802は、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う。
【００８０】
図9は、図8の装置における第三処理ユニット803を示す図であり、図9に示すように、第三処理ユニット803は、以下のものを含む。
【００８１】
第四処理ユニット901：各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
第五処理ユニット902：前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。
【００８２】
図8に示すように、装置800は、さらに、以下のものを含む。
【００８３】
第六処理ユニット804：前記検出の結果に基づいて、オブジェクトの移動状態の検出を行う。
【００８４】
図10は、図8の装置における第六処理ユニット804を示す図である。図10に示すように、第六処理ユニット804は、以下のものを含む。
【００８５】
第七処理ユニット1001：各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ、各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
第八処理ユニット1002：それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。
【００８６】
なお、本実施例における各ユニットの詳細な説明については、実施例1におけるそれ相応のステップの説明を参照することができ、ここでは、その詳しい説明を省略する。
【００８７】
本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【実施例３】
【００８８】
本実施例3は、電子機器を提供し、該電子機器が問題を解決する原理が実施例2の装置800と類似したので、その具体的な実施は、実施例2の装置800の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。
【００８９】
図11は、本発明の実施例における電子機器の構成図である。図11に示すように、電子機器1100は、中央処理器（CPU）1101及び記憶器1102を含んでも良く、記憶器1102は、中央処理器1101に接続される。そのうち、該記憶器1102は、各種のデータを記憶することができ、また、データ処理用のプログラムをさらに記憶し、且つ中央処理器1101の制御下で該プログラムを実行することもできる。
【００９０】
１つの実施方式では、装置800の機能が中央処理器1101に集積されても良い。そのうち、中央処理器1101は、実施例1における方法を実現するように構成されても良い。
【００９１】
中央処理器1101は、制御を行って、電子機器1100に以下の方法を実行させるように構成されても良く、即ち、魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び、各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する。
【００９２】
中央処理器1101は、さらに、次のように構成されても良く、即ち、前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく、及び前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、そのうち、前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する。
【００９３】
中央処理器1101は、さらに、次のように構成されても良く、即ち、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う。
【００９４】
中央処理器1101は、さらに、次のように構成されても良く、即ち、各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び、前記マッピング後の各輪郭フレームの重畳度を検出し、該重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。
【００９５】
中央処理器1101は、さらに、次のように構成されても良く、即ち、前記検出の結果に基づいて、オブジェクトの移動状態の検出を行う。
【００９６】
中央処理器1101は、さらに、次のように構成されても良く、即ち、各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び、それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。
【００９７】
また、図11に示すように、電子機器1100は、さらに、入出力ユニット1103、表示ユニット1104などを含んでも良く、そのうち、上述の部品の機能が従来技術と類似しているため、ここではその詳細な説明を割愛する。なお、電子機器1100は、図11に示す全部の部品を含む必要がない。また、電子機器1100は、さらに図11に無い部品を含んでも良く、これについては、従来技術を参照することができる。
【００９８】
本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。
【００９９】
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器に、実施例1に記載の、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法を実行させる。
【０１００】
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器中で該プログラムを実行するときに、該プログラムは、該魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器に、実施例1における、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法を実行させる。
【０１０１】
本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図8〜図10に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図1、図5、図6、図7に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable  gate  array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
【０１０２】
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
【０１０３】
また、以上の実施例などに関し、さらに以下のように付記を開示する。
【０１０４】
（付記1）
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得する第一処理ユニットであって、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む、装置。
【０１０５】
（付記2）
付記1に記載の装置であって、
前記第一処理ユニットが前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、装置。
【０１０６】
（付記3）
付記1に記載の装置であって、
前記第二処理ユニットは、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う、装置。
【０１０７】
（付記4）
付記1に記載の装置であって、
第三処理ユニットは、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを得る第四処理ユニット；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する第五処理ユニットを含む、装置。
【０１０８】
（付記5）
付記1に記載の装置であって、
第三処理ユニットの検出の結果に基づいて、オブジェクトの移動状態の検出を行う第六処理ユニットをさらに含む、装置。
【０１０９】
（付記6）
付記5に記載の装置であって、
前記第六処理ユニットは、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算する第七処理ユニット；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する第八処理ユニットを含む、装置。
【０１１０】
（付記7）
付記1〜6のうちの任意の一項に記載の装置を含む、電子機器。
【０１１１】
（付記8）
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse  mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出するステップを含む、方法。
【０１１２】
（付記9）
付記8に記載の方法であって、
前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、方法。
【０１１３】
（付記10）
付記8に記載の方法であって、
各逆マッピング画像におけるオブジェクトの検出は、
前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行うことを含む、方法。
【０１１４】
（付記11）
付記8に記載の方法であって、
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトの検出は、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断することを含む、方法。
【０１１５】
（付記12）
付記8に記載の方法であって、
前記検出の結果に基づいて、オブジェクトの移動状態の検出をさらに含む、方法。
【０１１６】
（付記13）
付記12に記載の方法であって、
オブジェクトの移動状態の検出は、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出することを含む、方法。
【０１１７】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2020135866.tif 000007
【図２】
2020135866.tif 000008
【図３】
2020135866.tif 000009
【図４】
2020135866.tif 000010
【図５】
2020135866.tif 000011
【図６】
2020135866.tif 000012
【図７】
2020135866.tif 000013
【図８】
2020135866.tif 000014
【図９】
2020135866.tif 000015
【図１０】
2020135866.tif 000016
【図１１】
2020135866.tif 000017