(57)【要約】  画像処理装置、画像処理方法及び画像処理プログラムは、２次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得し、各画素のうち一の画素群の輝度と一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する。【選択図】図５
2020161899.tif 000002
【特許請求の範囲】
【請求項１】
２次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得する輝度取得手段と、
前記各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する形状判定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記各画素の輝度に基づいて前記２次元写真画像の撮影対象物におけるエッジを判定するエッジ判定手段をさらに備え、
前記形状判定手段は、前記判定輝度差として前記各画素のうち前記エッジを間にした一方側の周辺画素の輝度と他方側の周辺画素の輝度との輝度差を算出し、算出した前記判定輝度差の絶対値が所定の凸エッジ閾値よりも大きい場合は、凸エッジであると判定することを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置であって、
前記各画素の輝度に基づいて前記２次元写真画像の撮影対象物における面を判定する面判定手段をさらに備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記形状判定手段は、前記凸エッジ及び前記面の形状から凹エッジを判定することを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置であって、
前記面判定手段は、隣り合う前記画素の輝度差の絶対値が段階的に大きくなるか、或いは、小さくなる場合に、曲面であると判定し、
前記形状判定手段は、前記曲面の隣接する面の面積が小さい方の面とのエッジが凸エッジであり、前記曲面の隣接する面の面積が大きい方の面とのエッジが凹エッジであるときは、該曲面が凸側曲面であると判定することを特徴とする画像処理装置。
【請求項６】
請求項４又は請求項５に記載の画像処理装置であって、
前記面判定手段は、隣り合う前記画素の輝度差の絶対値が段階的に大きくなるか、或いは、小さくなる場合に、曲面であると判定し、
前記形状判定手段は、前記曲面の隣接する面の面積が小さい方の面とのエッジが凹エッジであり、前記曲面の隣接する面の面積が大きい方の面とのエッジが凸エッジであるときは、該曲面が凹側曲面であると判定することを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６までの何れか１つに記載の画像処理装置であって、
前記２次元写真画像の画像情報から前記２次元写真画像の凸エッジの情報を付加した３次元データを取得する３次元データ取得手段をさらに備えることを特徴とする画像処理装置。
【請求項８】
２次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得する輝度取得ステップと、
前記各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する形状判定ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
請求項８に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元写真画像の画像情報から撮影対象物の形状を判定する画像処理装置及び画像処理方法、特に、２次元写真画像の画像情報から撮影対象物の形状を判定して３次元データを取得する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
車両や飛行体等の移動体に搭載したカメラ（デジタルビデオカメラ、デジタルカメラ）により地形や構造物等の撮影対象物を撮影する画像処理装置として、撮影対象物を複数の位置及び角度から写真撮影し、撮影した複数枚の写真の２次元写真画像と該複数枚の写真を撮影した時のカメラの撮影情報（例えば撮影位置や撮影姿勢の情報）とに基づいて３次元データ（座標）を取得する画像処理装置が従来から知られている。２次元写真画像の画像情報から３次元データを得る手法としては、代表的には、ステレオマッチングによる手法を挙げることができる（例えば特許文献１参照）。また、特許文献１の段落［００５８］，［００５９］には、撮影対象物のエッジを認識する点が開示されている。【０００３】
ところで、２次元写真画像における撮影対象物は、立方体で構成されているものが多く、そのような撮影対象物は、少なくとも凸エッジの形状を持つ。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１８３２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、２次元写真画像の画像情報から３次元データを得る従来の手法では、２次元写真画像の撮影対象物においてエッジを認識できたとしても、そのエッジが凸エッジなのか否かを認識することができない。【０００６】
そこで、本発明は、２次元写真画像の撮影対象物においてエッジが凸エッジなのか否かを認識することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、次の画像処理装置、画像処理方法及び画像処理プログラムを提供する。【０００８】
（１）画像処理装置
本発明に係る画像処理装置は、２次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得する輝度取得手段と、前記各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する形状判定手段とを備えることを特徴とする。【０００９】
（２）画像処理方法
本発明に係る画像処理方法は、２次元写真画像の画像情報に基づいて各画素の輝度をそれぞれ取得する輝度取得ステップと、前記各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する形状判定ステップとを含むことを特徴とする。【００１０】
（３）画像処理プログラム
本発明に係る画像処理プログラムは、前記本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によると、２次元写真画像の撮影対象物においてエッジが凸エッジなのか否かを認識することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態に係る画像処理装置のシステム構成を示すブロック図である。
【図２】図２は、カメラで撮影した撮影対象物の２次元写真画像の一例である。
【図３】図３は、図２に示す２次元写真画像をエッジで表した図である。
【図４】図４は、本発明の実施の形態に係る画像処理装置による画像処理のメインルーチンの一例を示すフローチャートである。
【図５】図５は、形状判定ステップのサブルーチンの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
【００１４】
図１は、本発明の実施の形態に係る画像処理装置１００のシステム構成を示すブロック図である。
【００１５】
画像処理装置１００は、２次元写真画像の画像情報に対して画像処理して２次元写真画像の形状を判定する装置である。図２は、カメラで撮影した撮影対象物Ｍの２次元写真画像の一例である。図３は、図２に示す２次元写真画像をエッジ（輪郭）で表した図である。図４は、本発明の実施の形態に係る画像処理装置１００による画像処理のメインルーチンの一例を示すフローチャートである。また、図５は、形状判定ステップＳ５のサブルーチンの一例を示すフローチャートである。
【００１６】
画像処理装置１００は、制御部１０と、記憶部２０と、データベース３０とを備えている。記憶部２０は、ＲＯＭ等の不揮発性メモリ、ＲＡＭ等の揮発性メモリを含む。制御部１０は、画像処理装置全体の制御を司る。制御部１０は、ＣＰＵ等のコンピュータからなる。制御部１０は、記憶部２０のＲＯＭに予め格納された画像処理プログラムＰＰを記憶部２０のＲＡＭ上にロードして実行することにより、各種構成要素の作動制御を行う。
【００１７】
制御部１０は、輝度取得手段Ｐ１と、背景判定手段Ｐ２と、面判定手段Ｐ３と、エッジ判定手段Ｐ４と、形状判定手段Ｐ５、３次元データ取得手段Ｐ６とを備える手段として機能する。すなわち、画像処理プログラムＰＰは、輝度取得ステップＳ１と、背景判定ステップＳ２と、面判定ステップＳ３と、エッジ判定ステップＳ４と、形状判定ステップＳ５と、３次元データ取得ステップＳ６とを含むステップを制御部１０に実行させるためのプログラムである。
【００１８】
［画像処理装置の処理手順］
図４に示すように、輝度取得ステップＳ１では、制御部１０は、車両や無人飛行体（いわゆるドローン）等の移動体に搭載したカメラ（デジタルビデオカメラ又はデジタルカメラ）で撮影した撮影対象物Ｍの動画写真又は複数の静止画写真（図２参照）の２次元写真画像の画像情報（アナログデータ）に基づいて各画素の輝度をそれぞれ取得する。２次元写真画像の画像情報は、データベース３０に保存される。制御部１０は、２次元写真画像がカラー画像である場合、白黒画像に変換した２次元写真画像を用いることができる。制御部１０は、各画素の画像情報（アナログデータ）を量子化（０〜２５５の２５６階調に輝度分解）する。
【００１９】
背景判定ステップＳ２では、制御部１０は、各画素の輝度に基づいて２次元写真画像の背景Ｂ（図２、図３参照）を判定する。例えば、制御部１０は、２次元写真画像の画像端部を含んでおり、隣り合う画素の輝度差の絶対値が所定の背景閾値範囲（例えば０〜５）内にある画素が所定の画素数（例えば５０画素）以上連続している場合は、背景Ｂであると判定する。背景閾値範囲は、記憶部２０に予め記憶されている。
【００２０】
面判定ステップＳ３では、制御部１０は、各画素の輝度に基づいて２次元写真画像の撮影対象物Ｍにおける面Ｆ（１）〜Ｆ（ｉ）（ｉは面の数、ｉ＝８）（図３参照）を判定する。面判定ステップＳ３では、例えば、制御部１０は、２次元写真画像の画像端部を含んでおらず、隣り合う画素の輝度差の絶対値が所定の平面閾値範囲（例えば０〜５）内にある画素が所定の画素数（例えば５０画素）以上連続している場合は、平面であると判定する。この例では、図３に示すように、制御部１０は、面Ｆ（１）〜Ｆ（７）が平面であると判定する。平面閾値範囲は、記憶部２０に予め記憶されている。また、面判定ステップＳ３では、制御部１０は、例えば、隣り合う画素の輝度差の絶対値が段階的に〔例えば輝度差の絶対値が所定画素数（３画素）毎に所定範囲（１〜５）内の値ずつ段階的に〕大きくなるか、或いは、小さくなる場合に、曲面であると判定する。この例では、制御部１０は、面Ｆ（８），Ｆ（９）が曲面であると判定する。
【００２１】
エッジ判定ステップＳ４では、制御部１０は、各画素の輝度に基づいて２次元写真画像の撮影対象物ＭにおけるエッジＥ（１）〜Ｅ（ｊ）（ｊはエッジの数、ｊ＝１８）（図３参照）を判定する。ここで、エッジは、形状の切り替わる部分、すなわち形状の起点であり、辺、頂点を含む概念である。例えば、制御部１０は、隣り合う面Ｆ，Ｆ間をエッジＥであると判定する。この例では、制御部１０は、平面Ｆ（１），Ｆ（２）間をエッジＥ（１）であると、平面Ｆ（１），Ｆ（３）間をエッジＥ（２）であると、平面Ｆ（１），Ｆ（４）間をエッジＥ（３）であると、平面Ｆ（１），Ｆ（５）間をエッジＥ（４）であると、平面Ｆ（２），Ｆ（３）間をエッジＥ（５）であると、平面Ｆ（３），Ｆ（４）間をエッジＥ（６）であると、平面Ｆ（４），Ｆ（５）間をエッジＥ（７）であると、平面Ｆ（６），Ｆ（８）間をエッジＥ（８）であると、平面Ｆ（７）と曲面Ｆ（９）との間をエッジＥ（１０）であると、平面Ｆ（１）と曲面Ｆ（８）との間をエッジＥ（９）であると、平面Ｆ（１）と曲面Ｆ（９）との間をエッジＥ（１１）であると判定する。また、制御部１０は、平面Ｆ（１）と背景Ｂとの間をエッジＥ（１２）であると、平面Ｆ（２）と背景Ｂとの間をエッジＥ（１３）であると、平面Ｆ（３）と背景Ｂとの間をエッジＥ（１４）であると、平面Ｆ（４）と背景Ｂとの間をエッジＥ（１５）であると、平面Ｆ（５）と背景Ｂとの間をエッジＥ（１６）であると判定する。
【００２２】
−形状判定ステップ−
図５に示す形状判定ステップＳ５では、制御部１０は、各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定する。ここで、判定輝度差としては、それぞれの画素群の平均輝度の輝度差とすることができる。
【００２３】
詳しくは、形状判定ステップＳ５では、制御部１０は、判定輝度差として各画素のうちエッジ〔例えばエッジＥ（１）〕を間にした一方側〔例えば平面Ｆ（１）側〕の周辺画素〔エッジＥ（１）から所定の画素数（例えば５０画素）以上の領域〕の輝度（平均輝度、例えば２５０）と他方側〔例えば平面Ｆ（２）側〕の周辺画素〔エッジＥ（１）から所定の画素数（例えば５０画素）以上の領域〕の輝度（平均輝度、例えば６０）との輝度差（例えば１９０）を算出する（Ｓ５１）。ここで、判定輝度差としては、それぞれの周辺画素の平均輝度の輝度差とすることができ、例えば、エッジに隣接するそれぞれの面が平面の場合には、それぞれの周辺画素の任意の画素の輝度差、一方側の周辺画素の平均輝度と他方側の周辺画素の最大輝度又は最小輝度との輝度差、一方側の周辺画素の最大輝度と他方側の周辺画素の最小輝度との輝度差を用いてもよい。
【００２４】
次に、制御部１０は、算出した判定輝度差（例えば１９０）が所定の凸エッジ閾値（例えば５０）よりも大きい場合は（Ｓ５２：Ｙｅｓ）、凸エッジであると判定する（Ｓ５３）。この例では、制御部１０は、エッジＥ（１）〜Ｅ（５），Ｅ（７），Ｅ（８），Ｅ（１１）が凸エッジであると判定する。凸エッジ閾値は、記憶部２０に予め記憶されている。
【００２５】
また、制御部１０は、判定輝度差が所定の凸エッジ閾値以下の場合は（Ｓ５２：Ｎｏ）、凹エッジの判定処理を行う（Ｓ５４）。凹エッジの判定処理Ｓ５４では、例えば、制御部１０は、凸エッジ及び面の形状から凹エッジを判定する。この例では、制御部１０は、エッジＥ（６）の周りにある面Ｆ（１），Ｆ（３），Ｆ（４）が平面であり、平面Ｆ（１），Ｆ（３），Ｆ（４）のエッジＥ（２），Ｅ（３），Ｅ（５），Ｅ（７）が凸エッジであることから、エッジＥ（６）が凹エッジであると判定する。制御部１０は、エッジＥ（９）の周りにある面Ｆ（１），Ｆ（８）がそれぞれ平面、曲面であり、曲面Ｆ（８）の平面Ｆ（６）との間のエッジＥ（８）が凸エッジであることから、エッジＥ（９）が凹エッジであると判定する。また、制御部１０は、エッジＥ（１０）の周りにある面Ｆ（７），Ｆ（９）がそれぞれ平面、曲面であり、曲面Ｆ（９）の平面Ｆ（１）との間のエッジＥ（１１）が凸エッジであることから、エッジＥ（１０）が凹エッジであると判定する。
【００２６】
次に、制御部１０は、凸側曲面の判定処理を行う（Ｓ５５）。凸側曲面の判定処理Ｓ５５では、例えば、制御部１０は、曲面の隣接する面の面積が小さい方の面とのエッジが凸エッジであり、曲面の隣接する面の面積が大きい方の面とのエッジが凹エッジであるときは、該曲面が凸側曲面であると判定する。この例では、制御部１０は、曲面Ｆ（８）の隣接する面の面積が小さい方の面Ｆ（６）とのエッジＥ（８）が凸エッジであり、曲面Ｆ（８）の隣接する面の面積が大きい方の面Ｆ（１）とのエッジＥ（９）が凹エッジであることから、曲面Ｆ（８）が凸側曲面であると判定する。
【００２７】
次に、制御部１０は、凹側曲面の判定処理を行う（Ｓ５６）。凹側曲面の判定処理Ｓ５６では、例えば、制御部１０は、曲面の隣接する面の面積が小さい方の面とのエッジが凹エッジであり、曲面の隣接する面の面積が大きい方の面とのエッジが凸エッジであるときは、該曲面が凹側曲面であると判定する。この例では、制御部１０は、曲面Ｆ（９）の隣接する面の面積が小さい方の面Ｆ（７）とのエッジＥ（１０）が凹エッジであり、曲面Ｆ（９）の隣接する面の面積が大きい方の面Ｆ（１）とのエッジＥ（１１）が凸エッジであることから、曲面Ｆ（９）が凹側曲面であると判定する。そして、制御部１０は、図４に示すメインルーチンに戻る。
【００２８】
−３次元データ取得−
図４に示す３次元データ取得ステップＳ６では、制御部１０は、２次元写真画像の画像情報から２次元写真画像の凸エッジ、凹エッジ、凸側曲面及び凹側曲面のうち少なくとも凸エッジの情報を付加した３次元データ（ｘ，ｙ，ｚ）（ｘはｘ軸の値、ｙはｘ軸に直交するｙ軸の値、ｚはｘ軸及びｙ軸の双方に直交するｚ軸の値）を取得する。２次元写真画像の凸エッジ、凹エッジ、凸側曲面及び凹側曲面のうち少なくとも凸エッジの情報を付加した３次元データは、データベース３０に保存される。
【００２９】
ここで、２次元写真画像の画像情報から３次元データを取得する画像処理としては、代表的には、ステレオマッチングによる写真測量を挙げることができる。かかる写真測量における調整計算法としては、代表的には、誤差の二乗和を最小化する最小二乗法を用いて各写真の画像間の対応点を空間上で結ぶことにより写真相互間のつながりをつけて３次元座標を計算するバンドル調整法（いわゆるバンドル計算）を例示できる。また、車両や無人飛行体等の移動体にＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ：全地球測位システム）受信機を搭載し、制御部１０は、衛星からの電波を受信したＧＮＳＳ受信機からのＧＮＳＳ情報（具体的には日付、時刻、緯度、経度、標高といった情報）により、絶対的な撮影情報の値を取得するようにしてもよい。
【００３０】
２次元写真画像の画像情報から３次元データを取得する画像処理は、従来公知の手法で行うことができる。従って、２次元写真画像の画像情報から３次元データを取得する処理の詳しい説明は省略する。
【００３１】
（本実施の形態にいて）
本実施の形態によれば、制御部１０は、各画素のうち一の画素群の輝度と該一の画素群に隣接する他の画素群の輝度との輝度差である判定輝度差に基づいて凸エッジであるか否かを判定するので、２次元写真画像の撮影対象物Ｍにおいてエッジが凸エッジであることを認識することができる。従って、２次元写真画像の撮影対象物Ｍにおいてエッジが凸エッジなのか否かを認識することができる。しかも、凸エッジを判定するために判定輝度差を用いるので、簡単な制御構成で凸エッジを判定することができる。
【００３２】
本実施の形態において、制御部１０は、判定輝度差として各画素のうちエッジを間にした一方側の周辺画素の輝度と他方側の周辺画素の輝度との輝度差を算出し、算出した判定輝度差の絶対値が凸エッジ閾値よりも大きい場合は、凸エッジであると判定する。こうすることで、凸エッジを精度良く判定することができる。
【００３３】
本実施の形態において、制御部１０は、各画素の輝度に基づいて２次元写真画像の撮影対象物Ｍにおける面を判定する。こうすることで、２次元写真画像における面を簡単な制御構成で判定することができる。
【００３４】
本実施の形態において、制御部１０は、凸エッジ及び面の形状から凹エッジを判定する。こうすることで、エッジが凹エッジであることを簡単な制御構成で判定することができる。
【００３５】
本実施の形態において、制御部１０は、曲面の隣接する面の面積が小さい方の面とのエッジが凸エッジであり、曲面の隣接する面の面積が大きい方の面とのエッジが凹エッジであるときは、該曲面が凸側曲面であると判定する。こうすることで、２次元写真画像における曲面が凸側曲面であることを簡単な制御構成で判定することができる。
【００３６】
本実施の形態において、制御部１０は、曲面の隣接する面の面積が小さい方の面とのエッジが凹エッジであり、曲面の隣接する面の面積が大きい方の面とのエッジが凸エッジであるときは、該曲面が凹側曲面であると判定する。こうすることで、２次元写真画像における曲面が凹側曲面であることを簡単な制御構成で判定することができる。
【００３７】
本実施の形態において、３次元データ取得ステップＳ６では、制御部１０は、２次元写真画像の画像情報から２次元写真画像の凸エッジ、凹エッジ、凸側曲面及び凹側曲面のうち少なくとも凸エッジの情報を付加した３次元データを取得する。こうすることで、凸エッジ、凹エッジ、凸側曲面及び凹側曲面のうち少なくとも凸エッジの情報を付加した利用価値が高い３次元データを得ることができる。例えば、２次元写真画像からリアルタイムに３次元形状を認識することで、自動運転に関する技術に利用することができる。また、２次元写真画像から３次元メッシュを生成することで、都市強度（集中性）予測に関する技術に利用することができる。これにより、都市のモデル化に貢献することができる。また、インターネット上に存在する地図情報サービスの３次元データと組み合わせることで、さらに精度の高い３次元データを得ることができる。
【００３８】
本発明は、以上説明した実施の形態に限定されるものではなく、他のいろいろな形で実施することができる。そのため、係る実施の形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【００３９】
本発明は、２次元写真画像の画像情報から撮影対象物の形状を判定する画像処理技術に係るものであり、特に、２次元写真画像の撮影対象物においてエッジが凸エッジなのか否かを認識するための用途、例えば、自動運転や都市強度予測の用途に適用できる。
【符号の説明】
【００４０】
１０    制御部
２０    記憶部
３０    データベース
１００  画像処理装置
Ｂ      背景
Ｅ      エッジ
Ｆ      面
Ｍ      撮影対象物
Ｐ１    輝度取得手段
Ｐ２    背景判定手段
Ｐ３    面判定手段
Ｐ４    エッジ判定手段
Ｐ５    形状判定手段
Ｐ６    ３次元データ取得手段
ＰＰ    画像処理プログラム
Ｓ１    輝度取得ステップ
Ｓ２    背景判定ステップ
Ｓ３    面判定ステップ
Ｓ４    エッジ判定ステップ
Ｓ５    形状判定ステップ
Ｓ６    ３次元データ取得ステップ
【図１】
2020161899.tif 000003
【図２】
2020161899.tif 000004
【図３】
2020161899.tif 000005
【図４】
2020161899.tif 000006
【図５】
2020161899.tif 000007
【国際調査報告】
2020161899.tif 000008
2020161899.tif 000009