(57)【要約】      （修正有）【課題】全天空画像から、各画素の明るさに応じた凹凸形状を有する、立体感に優れた立体構造物を作製することができる立体表現装置、方法及びプログラムを提供する。【解決手段】全天空像取得手段を用いて正距円筒画像を取得し、正距円筒画像を複数の要素画像領域に分割して球面画像を作成し、複数の要素画像領域の境界線、要素画像領域内の各画素の明るさを判定し、要素画像領域の境界線を凹部とし、各画素の明るさに比例させて各画素の球中心距離を設定して、その表面に凹凸形状情報を有する凹凸球面画像を作成し、凹凸球面画像のデータから立体構造物作製手段を用いて、その表面に各画素の明るさに対応した凹凸形状を有する立体構造物を作製する。【選択図】図２
2018151933.tif 000002
【特許請求の範囲】
【請求項１】
全天空画像を得るための全天空画像取得手段と、前記全天空画像を複数の要素画像領域に分割して球面画像を作成するための球面画像作成手段と、該球面画像作成手段によって得られた前記複数の要素画像領域の境界線を求める画像境界線判定手段と、球面画像中の各画素の明るさを判定するための画素明度判定手段と、前記画像境界線判定手段と前記画素明度判定手段で得られた結果から各画素の球中心距離を設定する球中心距離設定手段と、該球中心距離設定手段で設定した各画素の球中心距離を基に凹凸情報を有する凹凸球面画像を作成する凹凸球面画像作成手段と、該凹凸球面画像作成手段で作成された凹凸球面画像のデータを基にその表面に凹凸構造を有する立体構造物を作製する立体構造物作製部からなる、全天空画像の立体表現装置。
【請求項２】
全天空画像取得手段によって全天空画像を取得し、該全天空画像を複数の要素画像領域に分割して球面画像を作成し、前記複数の要素画像領域の境界線と各画素の明るさを求め、各画素の明るさに対応して各画素の球中心距離を設定し、該球中心距離を基に凹凸情報を有する凹凸球面画像を作成し、凹凸球面画像のデータを基にその表面に凹凸構造を有する立体構造物を作製する、全天空画像の立体表現方法。
【請求項３】
前記複数の要素画像領域中の各画素の明るさ変化の平滑化処理を行う、請求項２に記載の全天空画像の立体表現方法。
【請求項４】
前記平滑化処理を行った後の各画素の明るさをいくつかのレベルに分類し、分類後の明るさに対応して各画素の球中心距離を設定する、請求項３に記載の全天空画像の立体表現方法。
【請求項５】
前記複数の要素画像領域の境界線を最も深い凹部、即ち、境界線部の球中心距離が最も短くなるように設定する、請求項２ないし請求項４に記載の全天空画像の立体表現方法。
【請求項６】
コンピュータに、全天空画像取得手段によって取得した正距円筒画像を複数の要素画像領域に分割して球面画像を作成する手順と、前記複数の要素画像領域の境界線と各画素の明るさを求める手順と、各画素の明るさに対応して各画素の球中心距離を設定する手段と、各画素の球中心距離を基に凹凸情報を有する凹凸球面画像を作成する手順と、作成した凹凸球面画像のデータを基にその表面に凹凸構造を有する立体構造物を作製する手順を実行させることを特徴とする、全天空画像の立体表現プログラム
【請求項７】
前記正距円筒画像の各画素の明るさの変化を滑らかにする平滑化処理を行う、請求項６に記載の全天空画像の立体表現プログラム。
【請求項８】
前記平滑化処理後の各画素の明るさをいくつかのレベルに分類し、分類後のレベルに対応して各画素の球中心距離を設定する、請求項７に記載の全天空画像の立体表現プログラム。
【請求項９】
前記複数の要素画像領域の境界線を最も深い凹部、即ち、境界線部の球中心距離が最も短くなるように設定する、請求項８に記載の全天空画像の立体表現プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全天空画像取得手段によって取得した正距円筒画像から表面に凹凸形状を有する立体構造物を作製するための装置、方法及びプログラムに関し、より詳細には、全天空カメラ等の全天空画像取得手段によって正距円筒画像を取得し、取得した正距円筒画像から複数の要素画像領域に分割された球面画像を作成し、複数の要素画像領域の境界線と各画素の明るさを判定し、要素画像領域の境界線を凹部とし、各画素の明るさに比例させて各画素の球中心距離を設定して、各画素の明るさに対応した凹凸情報を有する凹凸球面画像データを作成し、得られた凹凸球面画像データを基に３次元プリンタ等の立体構造物作製手段を用いて、その表面に各画素の明るさに対応した凹凸形状を有する立体構造物を作製する、全天空画像の立体表現装置、立体表現方法及び立体表現プログラムに関する。
【背景技術】
【０００２】
全天空カメラで撮影された正距円筒画像から３次元立体構造物を作製する方法として、正距円筒画像をリンゴの皮を剥いた時のようなペーパークラフト状に印刷して組み立てる方法や３次元プリンタを用いて立体表現化する方法が知られているが、これらの方法で得られる立体構造物はその表面が滑らかな球状となり、立体感に優れているとは言えない。（非特許文献１）
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】https://www.kickstarter.com/project/scandy-sphere-360-panorama-3d-printed
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、従来法における「立体感に優れない」という課題を解決し、その表面に球面画像の各画素の明るさに対応した凹凸形状を有する立体構造物を作製することができる装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
係る目的を達成するため、本発明の全天空画像の立体表現装置は、正距円筒画像を得るための全天空画像取得手段と、前記正距円筒画像から複数の要素画像領域に分割された球面画像を作成する球面画像作成手段と、該球面画像作成手段によって得られた前記複数の要素画像領域の境界線を求める画像境界線判定手段と、球面画像中の各画素の明るさを判定するための画素明度判定手段と、前記画像境界線判定手段と前記画素明度判定手段で得られた結果から各画素の球中心距離を設定する球中心距離設定手段と、該球中心距離設定手段で設定した各画素の球中心距離を基に凹凸情報を有する凹凸球面画像を作成する凹凸球面画像作成手段と、該凹凸球面画像作成手段で作成された凹凸球面画像のデータを基にその表面に凹凸構造を有する立体構造物を作製する立体構造物作製手段からなることを特徴とする。
【０００６】
係る目的を達成するため、本発明の全天空画像の立体表現方法は、全天空画像取得手段によって正距円筒画像を取得し、該正距円筒画像から複数の要素画像領域に分割された球面画像を作成し、該複数の要素画像領域の境界線と各画素の明るさを求め、各画素の明るさに対応して各画素の球中心距離を設定し、該球中心距離を基に凹凸情報を有する凹凸球面画像を作成し、該凹凸球面画像のデータを基にその表面に凹凸構造を有する立体構造物を作製することを特徴とする。
【０００７】
また、本発明の全天空画像の立体表現方法は、全天空画像取得手段によって取得した正距円筒画像の各画素の明るさの変化を滑らかにする平滑化処理を行うこととしても良い。
【０００８】
また、本発明の全天空画像の立体表現方法は、前記平滑化処理後の各画素の明るさをいくつかのレベルに分類し、分類後のレベルに対応して各画素の球中心距離を設定することとしても良い。
【０００９】
また、本発明の全天空画像の立体表現方法は、前記複数の要素画像領域の境界線を最も深い凹部、即ち、境界線部の球中心距離が最も短くなるように設定することとしても良い。
【００１０】
係る目的を達成するため、本発明の全天空画像の立体表現プログラムは、コンピュータに、全天空画像取得手段によって取得した正距円筒画像を複数の要素画像領域に分割して球面画像を作成する手順と、前記複数の要素画像領域の境界線と各画素の明るさを求める手順と、各画素の明るさに対応して各画素の球中心距離を設定する手段と、各画素の球中心距離を基に凹凸情報を有する凹凸球面画像を作成する手順と、作成した凹凸球面画像のデータを基にその表面に凹凸構造を有する立体構造物を作製する手順を実行させることを特徴とする。
【００１１】
また、本発明の全天空画像の立体表現プログラムは、全天空画像取得手段によって取得した正距円筒画像の各画素の明るさの変化を滑らかにする平滑化手順を実行させることとしても良い。
【００１２】
また、本発明の全天空画像の立体表現プログラムは、前記平滑化手順実行後の各画素の明るさをいくつかのレベルに分類し、分類後のレベルに対応して各画素の球中心距離を設定する手順を実行させることとしても良い。
【００１３】
また、本発明の全天空画像の立体表現に係るプログラムは、前記複数の要素画像領域の境界線を最も深い凹部、即ち、境界線部の球中心距離が最も短くなるように設定する手順を実行させることとしても良い。
【発明の効果】
【００１４】
以上説明したように、本発明の全天空画像の立体表現装置、立体表現方法及び立体表現プログラムによれば、全天空カメラ等の全天空画像取得手段によって撮影した正距円筒画像を基に、各画素の明るさに対応した表面凹凸構造を有する、立体感覚に優れた立体構造物を作製することができる。
また、各画素の明るさの変化を平滑化することによって、立体構造物表面凹凸の局部的な変化率を調整した、滑らかな凹凸変化を有する立体構造物の作製が可能となる。
【図面の簡単な説明】
【００１５】
「図１」全天空画像の立体表現装置の装置構成を示す図である。
「図２」本発明の操作・処理手順の概要を示す図である。
「図３（a）」全天空画像取得手段によって取得した正距円筒画像を複数の要素画像領域に分割して球面画像を作成する際の、要素画像への分割例を示す図である。
「図３（b）」表面が複数の要素画像領域に分割された球面画像の一例を示す図である。
「図３（c）」表面に凹凸情報を有する凹凸球面画像の一例を示す図である。
「図３（d）」作製された立体構造物の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００１７】
図１は本発明の全天空画像の立体表現装置の装置構成を示す図であり、図１において１は立体表現装置である。２は全天空カメラ等によって構成される全天空画像取得部であり、取得された正距円筒画像データ５は球面画像処理部３に送出される。球面画像処理部３では、全天空画像取得部２から受け取った正距円筒画像データ５からその表面に凹凸情報を持つ凹凸球面画像データ６を作成し、３次元プリンタ等によって構成される立体構造物作製部４に送出する。
【００１８】
図２は本発明の全天空画像の立体表現方法の操作・処理手順を示す図であり、図３は図２に示す操作・処理手続きの段階で得られる画像、立体構造物等を示す。
１．ステップ１
図２のステップ１では、全天空画像取得手段によって得た正距円筒画像の各画素の明度変化を滑らかにするための平滑化処理を行う。
平滑化処理方法としては、例えば、よく知られたガウシアンフィルタ、メディアンフィルタ等を用いることができる。
２．ステップ２
図２のステップ２では、平滑化処理後の正距円筒画像から球面画像を作成する前処理として、その表面が複数の要素画像領域に分割された球面を作成する。要素画像領域への分割方法としては、例えば、測地ドーム法を用いることができる。分割領域の一例を図３（a）に示す。
３．ステップ３
図２のステップ３ではステップ２で作成した分割された画像領域に正距円筒画像をマッピングして、その表面が複数の要素画像領域に分割された球面画像を作成する。得られた球面画像の一例を図３（b）に示す。
４．ステップ４
図２のステップ４では、ステップ３で得られた、その表面が複数の要素画像領域に分割された球面画像について、各要素画像領域内の各画素の明度と、隣接する要素画像領域間の境界線の有無、その位置等を検出する。
５．ステップ５
図２のステップ５では、ステップ４で得られた要素画像領域内の各画素の明度と境界領域が求められた球面画像について、各画素の明るさに対応した各画素の球中心距離と境界領域に対応した中心距離球を設定することで凹凸情報を有する凹凸球面画像を作成する。作成された凹凸球面画像の一例を図３（c）に示す。
６．ステップ６
図２のステップ６では、ステップ５で作成された凹凸球面画像のデータを基に、立体構造物作製手段によって立体構造物を作製する。作製された立体構造物の一例を図３（d）に示す。
【００１９】
なお、図２のステップ３では各画素の明度に対応して球中心距離を設定することとしたが、明度に代えて、色相、彩度に対応した球中心距離を設定することも可能であることはもちろんである。
【実施例】
【００２０】
以下、本発明の全天空画像の立体表現装置、立体表現方法及び立体表現プログラム
の実現可能性を確認するため、実際に撮影した全天空画像を用いて立体構造物を作製した
結果について説明する。
【００２１】
１．全天周画像の取得
全天周カメラであるリコーイメージング株式会社製のTHETA(型番:RICOH THETA)で、正距円筒画像を取得した。
２．全天空画像の画素明度の平滑化処理
取得した正距円筒画像に対して、メディアンフィルタによる画像の平滑化処理を行った。
３．分割された球面の作成
測地ドーム法によって、図３（a）に示すような、球面が複数個の要素画像領域に分割された球面を作成した。具体的には、32768個の要素画像領域に分割した。
４．球面画像の作成
図３（a）で示す球面が複数個の要素画像領域に分割された構造の頂点は、球面画像の画素に対応し、その画素の天頂角と方位角をそれぞれθ、φとすると、正距円筒画像の横軸iが球面極座標の方位角の値に、縦軸jが球面極座標の天頂角の値に比例するので、正距円筒画像の横の幅と縦の長さをそれぞれW画素,H画素とすると、以下の式を得る。
θ=j*π/W
φ=i*2π/H
上記の関係式を利用すれば、図3（a）で示す球面画像の構造の頂点における画素値は、対応する正距円筒画像の画素値から計算でき、図3(b)で示す球面画像を得ることができる。
５．画素明度のクラス分け
要素画像領域の明度を要素画像領域の重心点の画素の明度で代表させ、グレー輝度値Ix
（ｘ＝1〜255）として各要素画像領域の明度を求めた。
明度を以下の５つのクラス（A,B,C,D,E）に分類し、各要素画像領域の輝度とした。
Ａ＝［0≦Iｘ≦49］、Ｂ＝［50≦Iｘ≦100］、Ｃ＝［101≦Iｘ≦150］、
Ｄ＝［151≦Iｘ≦200］、Ｅ＝［201≦Iｘ≦255］、
６．各画素の球中心の決定
各画素の球中心距離Rn(n=1,2,・・・32768)を次式で設定した。
Rn＝ＷS×r
ここに、ＷS(S=A,B,C,D,E)はクラスＡ，Ｂ，Ｃ，Ｄ，Ｅに対応する重み係数であり、ｒは
球の半径である。
ＷEの値は0.9程度が望ましく、ＷA、ＷA、ＷA、ＷA、は、例えば以下のように設定する
ことができる。
ＷA＝1-0×(1-ＷE)/4、ＷB＝1-1×(1-ＷE)/4、ＷC＝1-2×(1-ＷE)/4、
ＷD＝1-3×(1-ＷE)/4、
上記の処理によって、各要素画像領域について、その明度に対応した球中心距離（即ち
、表面凹凸量）を有する、図３（c）に示すような、その表面に凹凸情報を持つ凹凸球
面面画像データが得られる。
７．要素画像の境界線の探索
分割された複数個の要素画像領域について、そのグレー輝度値Ixの変化量が設定値以上になる箇所を、要素画像領域の境界線とした。
設定値としては1000程度が好ましい。
また、境界線部分の重み係数は0.9程度とすることが好ましい。
８．凹凸球面画像の作成
上記６、７で求めた各要素画像領域の明度と要素画像領域の境界線に対応した表面凹凸
形状を有する凹凸球面画像データをVRMLデータ形式に変換し、3Dプリンタ(3D SYSTE
MS Projet 3500HD Max)で印刷して、図３（d）に示すような立体構造物を作製した。
【産業上の利用可能性】
【００２２】
本発明によれば、全天空カメラ等で撮影した全天空画像から、３次元プリンタ等を用いて、正距円筒画像上の各画素の明るさに対応した表面凹凸構造を有する、立体感覚に優れた立体構造物を作製することができる。
また、各画素の明るさの変化を平滑化することによって、立体構造物表面凹凸の局部的な変化率を調整した立体構造物の作製も可能となる。
【符号の説明】
【００２３】
１  立体表現装置
２  全天空画像取得部
３  球面画像処理部
４  立体構造物作製部
５  正距円筒画像データ
６  凹凸球面画像データ
【図１】
2018151933.tif 000003
【図２】
2018151933.tif 000004
【図３】
2018151933.tif 000005
【手続補正書】
【提出日】平成29年4月17日(2017.4.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
【図１】全天空画像の立体表現装置の装置構成を示す図である。
【図２】本発明の操作・処理手順の概要を示す図である。
【図３】図３（a）は全天空画像取得手段によって取得した正距円筒画像を複数の要素画像領域に分割して球面画像を作成する際の、要素画像への分割例を示す図である。図３（b）は表面が複数の要素画像領域に分割された球面画像の一例を示す図である。図３（c）は表面に凹凸情報を有する凹凸球面画像の一例を示す図である。図３（d）は作製された立体構造物の一例を示す図である。