(57)【要約】【課題】撮影された現実世界の映像を仮想世界のように三次元空間の情報として再構成すること。【解決手段】三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得する画像取得部１０１と、空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得する奥行処理部１０２と、空間画像を構成する画素について、奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させる空間処理部１０４と、空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力する画像出力部１０７とを含むことを特徴とする。【選択図】図１
2018052100.tif 000002
【特許請求の範囲】
【請求項１】
三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得する画像取得部と、
前記空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得する奥行取得部と、
前記空間画像を構成する画素について、前記奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させる空間処理部と、
前記記憶媒体に記憶された空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力する画像出力部とを含むことを特徴とする画像処理装置。
【請求項２】
前記空間画像に合成する対象物の形状を示す形状情報を取得し、前記空間情報と同一の形式で座標情報と色彩とが関連付けられた情報を生成して前記空間情報に合成する画像合成部を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記空間画像は、視点の全周囲が撮影された全周画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像取得部は、取得した前記全周画像を複数の範囲に分割し、分割したそれぞれの範囲ごとに各画素の縦横比が同一である二次元画像として記憶媒体に記憶させることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像取得部は、前記全周画像が分割されたそれぞれの範囲およびそれぞれの範囲の画像を構成する画素の座標に関連付けられた前記記憶媒体のアドレスに対して、それぞれの座標に対応した画素の色の情報を記憶させることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像取得部は、取得した前記全周画像を、キューブマップ形式の画像に変換して記憶媒体に記憶させることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記空間処理部は、前記キューブマップ形式の画像を立体として定義した際に立体の各面を構成する前記二次元画像に含まれる各画素について、三次元空間上の位置と画素の色の情報とを関連付けると共に、取得された前記奥行情報に基づいて前記各画素の三次元空間上の位置を修正するための情報を付加して記憶媒体に記憶させ、その情報に基づいて前記空間情報を生成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記空間処理部は、前記立体の各面を構成する前記二次元画像に含まれる各画素の三次元空間上の位置を示す座標に関連付けられた前記記憶媒体のアドレスに対して、それぞれの座標に対応した画素の色の情報および前記奥行情報に基づいて生成された前記三次元空間上の位置を修正するための情報を関連付けて記憶させることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記奥行取得部は、前記記憶媒体に記憶された前記二次元画像を解析することにより前記奥行情報を取得することを特徴とする請求項４に記載の画像処理装置。
【請求項１０】
前記奥行取得部は、前記記憶媒体に記憶された前記二次元画像を解析することにより前記奥行情報に加えて前記二次元画像において表示されている物体を識別する識別子を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像取得部は、
取得された前記空間画像を構成する画素のうち基準点となる基準画素を所定の画素間隔ごとに抽出するサンプリング部と、
取得された前記空間画像を構成する画素の座標を前記後段形式に変換するための変換式を用いて前記基準画素の座標を後段形式における座標である後段座標に変換する正変換部と、
前記空間画像を構成する画素の座標をパラメータとする式であって前記空間画像を構成する画素の座標を前記後段形式に変換するための変換式を近似する近似式の係数を、前記基準画素について得られた前記後段座標に基づいて算出する係数算出部と、
前記係数算出部によって得られた係数および前記近似式に基づき、複数の前記基準画素によって画定される範囲の画素の座標を前記後段形式に近似変換する近似処理部とを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記サンプリング部は、前記空間画像上の範囲を画定するための画素および画定された範囲内に含まれる画素をそれぞれ前記基準画素として抽出し、
前記係数算出部は、複数の前記基準画素について得られた前記後段座標と、複数の前記基準画素についての前記近似式による近似結果とが最小となるように前記係数を算出することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得し、
前記空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得し、
前記空間画像を構成する画素について、前記奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させ、
前記記憶媒体に記憶された空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力することを特徴とする画像処理方法。
【請求項１４】
三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得するステップと、
前記空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得するステップと、
前記空間画像を構成する画素について、前記奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させるステップと、
前記記憶媒体に記憶された空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力するステップとを情報処理装置に実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
近年、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ：仮想現実）、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）、ＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ：複合現実）といった、画像処理技術により視覚的効果を増幅させる技術が用いられている。それぞれの技術の境界は必ずしも明確ではないが、例えばＶＲは仮想的な映像により現実世界を置き換えるもの、ＡＲは現実世界に仮想的な映像を足し合わせるもの、ＭＲはそれらの中間に位置するものと定義される。【０００３】
現実空間の映像中に仮想的な映像を合成するための技術として、撮影された現実空間の画像を解析してカメラの位置やベクトルを求め、求められたそれらの情報に基づいて合成すべき仮想的な映像を投影する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１２２３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＡＲやＭＲにおいては、撮影された現実空間の映像上に仮想的な映像や他の現実の映像を合成して映像として出力することが求められる。そのような映像において、特に複数のユーザが同一空間の映像を視聴するような場合においては、撮影された現実空間について複数の異なる視点からの映像を出力することが求められる。【０００６】
特許文献１に開示された技術を用いることにより可能となる映像の出力は、カメラによって撮影された現実世界の映像中に仮想的な映像を合成することのみである。すなわち、撮影された現実世界の映像を仮想世界のように三次元空間の情報として再構成し、当初のカメラの視点とは異なる視点からの映像を出力することはできない。【０００７】
本発明は、上述した課題に対応してなされたものであり、撮影された現実空間の映像を仮想空間のように三次元空間の情報として再構成することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の一態様は、画像処理装置において、三次元空間としての情報を取得するべき空間が撮影された画像である空間画像を取得する画像取得部と、前記空間画像を構成する画素について、撮影視点からの奥行を示す奥行情報を取得する奥行取得部と、前記空間画像を構成する画素について、前記奥行情報を参照して空間上の位置を示す座標情報を生成し、生成した座標情報と対象の画素の色彩とが関連付けられた空間情報を生成して記憶媒体に記憶させる空間処理部と、前記記憶媒体に記憶された空間情報によって表現される空間における指定された視点による映像を示す画像情報を取得して出力する画像出力部とを含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影された現実空間の映像を仮想空間のように三次元空間の情報として再構成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置において処理される全周画像の例を示す図である。である。
【図３】本発明の実施形態に係る全周画像の情報形式を示す図である。
【図４】本発明の実施形態に係る奥行情報の情報形式を示す図である。
【図５】本発明の実施形態に係る角度情報の意味を示す図である。
【図６】本発明の実施形態に係る角度情報の情報形式を示す図である。
【図７】本発明の実施形態に係る空間座標の算出態様を示す図である。
【図８】本発明の実施形態に係る座標情報の情報形式を示す図である。
【図９】本発明の実施形態に係る空間情報の情報形式を示す図である。
【図１０】本発明の実施形態に係る視点情報の例を示す図である。
【図１１】本発明の他の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１２】本発明の他の実施形態に係る全周画像の領域の区分けの例を示す図である。である。
【図１３】本発明の他の実施形態に係るキューブマップ形式の立体画像の例を示す図である。
【図１４】本発明の他の実施形態に係る立体画像のメモリへの格納形式を示す図である。
【図１５】本発明の他の実施形態に係るキューブマップ形式の立体画像を三次元画像へ変換する態様を示す図である。
【図１６】本発明の他の実施形態に係る奥行情報に基づく補正値の例を示す図である。
【図１７】本発明の他の実施形態に係る三次元画像のメモリへの格納形式を示す図である。
【図１８】本発明の他の実施形態に係る三次元画像の各画素が奥行情報に従って変換された状態を概念的に示す図である。
【図１９】本発明の他の実施形態に係る空間情報の情報形式を示す図である。
【図２０】本発明の他の実施形態に係る３６０°カメラが出力する３６０°画像の例を示す図である。
【図２１】本発明の他の実施形態に係る３６０°カメラの立体射影の態様を示す図である。
【図２２】本発明の他の実施形態に係る３６０°カメラの正射影の態様を示す図である。
【図２３】球体表面の位置を緯度および経度によって表現する態様を示す図である。
【図２４】本発明の実施形態に係るパノラマ画像と３６０°画像との座標の変換態様を示す図である。
【図２５】近似による誤差を示す図である。
【図２６】本発明の他の実施形態に係る画像取得部内の機能構成を示す図である。
【図２７】本発明の他の実施形態に係る基準点のサンプリング態様を示す図である。
【図２８】近似による誤差を示す図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態に係る画像処理装置は、カメラによって撮影された画像であって視点の上下左右３６０°にわたる画像を全周画像としてリアルタイムに取得して空間画像として処理すると共に、その空間画像によって表現される空間に他の画像を合成して出力する。
【００１２】
図１は、本実施形態に係る画像処理装置１の全体構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置１は３６０°カメラ１０および画像処理回路１００を含む。
【００１３】
３６０°カメラ１０は、自身を始点とした前後左右および上下の３６０°を撮影して画像情報を生成する。３６０°カメラによって生成された画像は、３６０°カメラを中心とした全周囲を示す画像（以降、「全周画像」とする）であり、本実施形態においては正距円筒図法によって表現された二次元の画像である。
【００１４】
図２は、本実施形態に係る３６０°カメラ１０によって撮影された全周画像の例を示す図である。図２に示す画像は、部屋の中心に設置された３６０°カメラ１０によって撮影された全周画像である。図２に示すように、扉のある正面、窓のある左側、ロッカーなどの設置された右側、壁面のみの後方、および天井と床が二次元の画像によって表現されている。
【００１５】
図２に示す全周画像は３６０°カメラ１０によって撮影された画像であり、前後左右および上下の映像が含まれることが前提となっているが、あくまでも二次元の画像として表現されている。従って、全周画像の情報の形式は通常の二次元の画像と同様である。
【００１６】
図３は本実施形態に係る全周画像の情報の例を示す図である。図３に示すように、全周画像は、Ｘ軸、Ｙ軸の位置を示す“座標”と、夫々の座標によって示される位置の画素の色味をＲ、Ｇ、Ｂ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）それぞれの色味で示す“色情報”とが関連付けられた情報である。
【００１７】
なお、全周画像として正距円筒図法を用いるのは一例であり、その他の形式を用いても良い。例えばドームマスター形式の画像を２つ組み合わせて用いる等、一視点の全周にわたって撮影された画像を表す形式であれば同様に実現可能である。
【００１８】
また、本実施形態においては全周画像を用いる場合を例とするが、それに限るものではなく、なるべく広い空間が撮影された広角の画像を取得し、そこから空間の情報を生成してもよい。これにより、一般的な人間の視野角を超えた広角画像であれば、本実施形態に係る効果を得ることが可能である。
【００１９】
上述したように全周画像や広角画像であればより広い範囲の画像が取得され、より広い範囲についての空間情報を生成することが可能であるが、これは本願発明の効果をより効果的に得るための一例であり、それに限るものではない。本願発明の趣旨は撮影された現実空間の画像を３次元空間の情報として再構成することであり、取得する現実空間の画像は全周画像や広角画像に限らず一般的なカメラの画角によって撮影された画像で会ってもよい。
【００２０】
画像処理回路１００は、３６０°カメラ１０が生成した全周画像を取得して空間を表現するための三次元情報に変換し、空間内をある視点から見た状態を示す映像を出力する。画像処理回路１００はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）および情報を一時的に記憶するＤＤＲ  ＳＤＲＭ（Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ  Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリを含む。
【００２１】
図１に示すように、本実施形態に係る画像処理回路１００は、画像取得部１０１、奥行処理部１０２、座標処理部１０３、空間処理部１０４、画像合成部１０５、視点取得部１０６および画像出力部１０７を含む。これらの各処理部は、上述したＦＰＧＡによって構成される。
【００２２】
画像取得部１０１は３６０°カメラ１０が出力する全周画像を取得して記憶媒体であるメモリに格納する。これにより、図３に示す全周画像の情報が画像処理回路１００内のメモリに保存される。奥行処理部１０２は、メモリに保存された全周画像の情報を解析し、全周画像を構成する各画素の奥行きを判断する。
【００２３】
奥行処理部１０２が判断する各画素の奥行とは、全周画像を撮影した３６０°カメラ１０の視点である撮影視点から、全周画像に写っている風景や物体までの距離である。奥行処理部１０２は、例えばラプラシアンフィルタを全周画像に適用することによって全周画像から抽出した輪郭の角度を解析し、画像の焦点距離に基づいて奥行を算出する。その他、画像の色を解析する方法や、画像のぼけ具合を解析する方法等、奥行処理部１０２による奥行情報の算出方法としては様々な方法を用いることが出来る。
【００２４】
図４は、奥行処理部１０２によって算出された奥行情報を示す図である。図４に示すように、本実施形態に係る奥行情報は、全周画像の各画素を示す“座標”と、夫々の画素について算出された“奥行”とが関連付けられた情報である。図４に示す“座標”は、図３に示す“座標”に対応している。奥行処理部１０２は、図４に示すような情報を生成して画像処理回路１００内のメモリに格納する。つまり、奥行き処理部１０２が奥行取得部として機能する。
【００２５】
なお、本実施形態においては奥行処理部１０２が全周画像を解析することにより奥行情報を生成する場合を例として説明するが、これは一例である。画像処理回路１００において奥行情報を取得する方法としては、全周画像の解析による方法の他、例えば３６０°カメラ１０による全周画像の撮影に際して、全周画像を構成するそれぞれの画素ごとに奥行を測定する態様を用いることも可能である。どのような方法を用いる場合であっても、図４に示すような形式で奥行の情報が取得されれば、本実施形態を同様に実現可能である。
【００２６】
座標処理部１０３は、奥行処理部１０２によって生成された奥行情報と、全周画像を構成する各画素が視点からどの方向に存在するかを示す角度情報とに基づき、全周画像の各画素の位置を三次元空間上の座標で示す座標情報を生成する。上述したように全周画像とは３６０°カメラ１０によって撮影された前後左右および上下にわたる全周の画像であり、二次元画像の形式である全周画像を実際の映像のように配置すると、視点である３６０°カメラを中心とした円のようになる。
【００２７】
従って、全周画像の視点を中心とした全周画像を構成する各画素Ｘｉ、Ｙｉの配置方向は、図５に示すように、θ１ｉ、θ２ｉによって表現される。本実施形態に係る角度情報は、図６に示すように各画素を示す“座標”と、図５に示すθ１ｉ、θ２ｉに対応する“角度”とが関連付けられた情報である。図６に示す“座標”は、図３、図４に示す“座標”に対応している。
【００２８】
また、夫々の画素について、その画素に写っている背景や対象物までの視点からの距離である奥行Ｄｉは、奥行処理部１０２によって算出されて既にメモリ上に格納されている。従って、座標処理部１０３は、図７に示すように、奥行情報Ｄｉおよび図に示す角度情報θ１ｉ、θ２ｉに基づき、夫々の画素についての三次元空間上での座標ｘｉ、ｙｉ、ｚｉを計算して座標情報を求める。
【００２９】
図８は、そのようにして求められた座標情報を示す図である。図８に示すように、本実施形態に係る座標情報は、各画素を示す“座標”と、各画素について算出されたｘｉ、ｙｉ、ｚｉである“空間座標”とが関連付けられた情報である。図８に示す“座標”は、図３、図４、図６に示す“座標”に対応している。
【００３０】
空間処理部１０４は、座標処理部１０３によって生成された座標情報と、全周画像の情報とに基づき、全周画像に写っている空間を３次元空間の情報として表現する空間情報を生成する。図９は、本実施形態に係る空間情報を示す図である。図９に示すように、本実施形態に係る空間情報は、三次元空間上での位置を示す“空間座標”と、その位置に存在する物体の色を示す“色情報”とが関連付けられた情報である。図９に示す“空間座標”は図８の“空間座標”と対応し、“色情報”は図３に示す“色情報”に対応している。
【００３１】
空間処理部１０４は、図３に示す全周画像の“座標”と図８に示す座標情報の“座標”とをそれぞれ参照し、同一の“座標”について図３の“色情報”と図８の“空間座標”とを抽出して関連付けることにより図９に示す空間情報を生成する。空間処理部１０４は、このように生成した空間情報を画像処理回路１００内のメモリに格納する。
【００３２】
このような処理により、図２に示すような二次元画像の形式で入力された全周画像に基づき、一般的な３ＤＣＧの形式に準じた空間情報の生成が完了する。すなわち、現実の空間が撮影された空間画像を、三次元空間を表現する３ＤＣＧのような情報として再構成することが可能となる。
【００３３】
従って、図９に示す空間情報が生成された以降は、他の３ＤＣＧデータと空間情報との合成処理を容易かつ高精度に行うことが可能となり、３６０°カメラ１０によって撮影された現実空間に他の３ＤＣＧを合成するような映像処理を容易かつ高精度に行うことが可能となる。このような映像処理は、現実空間に仮想的な映像を合成するという点ではＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）の処理であるし、撮影された現実空間の画像が三次元空間の情報として再構成されている点ではＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ：複合現実）である。
【００３４】
画像合成部１０５は、空間情報としてメモリに保存された情報、すなわち３６０°カメラ１０によって撮影された現実空間の情報に、他の３ＤＣＧの情報を合成する。他の３ＤＣＧの情報とは、仮想的な映像をＣＧで表現したものの他、他の現実の風景や物体をＣＧ化したものも含まれる。そのため、画像合成部１０５は、合成すべき３Ｄ情報を取得し、その情報を図９と同様の形式で空間情報に追加する。３Ｄ情報は、合成対象のオブジェクトの形状情報や色彩を示す情報の他、オブジェクトを配置するべき位置や向きを示す情報を含む。これにより、３６０°カメラ１０によって撮影された現実空間に他の３ＤＣＧが合成された情報が生成される。
【００３５】
視点取得部１０６は、画像処理回路２００から出力される画像の視点を示す視点情報を取得し、画像出力部１０７に入力する。視点情報は、図１０に示すように視点の位置を示す“視点位置”および視線の方向を示す“視線方向”の情報を含む。図１０に示す情報により、空間情報によって表現される空間において、何処から、どの方向を向いているかが特定される。視点情報は、例えば画像処理回路１００が出力する映像の情報を受信して表示するＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）の向きに基づいて生成される。
【００３６】
画像出力部１０７は、空間情報としてメモリに格納された図９に示す情報を取得する際、視点取得部１０６から入力された視点情報に基づいて情報を取得する。これにより、３６０°カメラ１０によって撮影された現実空間に他の３ＤＣＧが合成された状態の空間を、視点情報に基づいて特定される視点から見た状態の映像が取得される。画像出力部１０７は、取得した映像を出力する。
【００３７】
３６０°カメラ１０は、撮影した３６０°映像を所定のフレームレートで連続して出力する。そのフレームレートは、例えば３０ｆｐｓである。そして、画像取得部１０１、奥行処理部１０２、座標処理部１０３、空間処理部１０４、画像出力部１０７は、３６０°カメラ１０が映像を出力するフレームレートに準じたフレームレートで処理を繰り返す。
【００３８】
このような処理によれば、画像出力部１０７は、３６０°カメラ１０によって撮影された現実空間の画像が三次元空間の情報として再構成された情報に、画像合成部１０５によって３Ｄ情報が合成された映像であり、かつ所定のフレームレートのリアルタイム動画である。画像合成部１０５は、空間処理部１０４によってメモリに保存された３ＤＣＧに準じた形式の空間情報に対して、３Ｄ情報と共に入力される位置や向きの情報に従って３Ｄ情報を合成する。そのため、本実施形態により出力される映像、すなわち現実空間に仮想的な映像が合成された映像は、２次元のライブ映像に映像を重畳するようなＡＲの処理よりも高精度なものとなる。
【００３９】
以上説明したように、本実施形態に係る画像処理回路１００によれば、撮影された現実空間の映像を仮想空間のように三次元空間の情報として再構成することができる。これにより、３ＤＣＧ等の三次元空間上で表現される他の情報との合成処理を用意且つ高精度に行うことが可能となる。
【００４０】
実施の形態２．
本実施形態においては、実施の形態１において説明した画像処理回路を含む画像処理装置について、メモリ容量や処理によるレイテンシを考慮したより具体的な構成について説明する。なお、実施の形態１と同様の符号を付す構成については同一または相当部を示すものとし、詳細な説明を省略する。
【００４１】
図１１は、本実施形態にかかる画像処理装置１の全体構成を示すブロック図である。図１に示すように、３６０°カメラ１０および画像処理回路２００を含む全体的な構成は実施の形態１と同様である。図１に示すように、本実施形態にかかる画像処理回路２００は、実施の形態１と同様の画像合成部１０５、視点取得部１０６、画像出力部１０７に加えて、画像取得部２０１、画像処理部２０２、三次元処理部２０３および空間処理部２０４を含む。
【００４２】
画像取得部２０１は、３６０°カメラ１０が出力する３６０°映像を取得して画像処理回路２００内のメモリに格納する。その際、画像取得部２０１は、画像の形式を変換した上で立方体画像として格納する。
【００４３】
実施の形態１において説明したように、３６０°カメラ１０は、正距円筒図法の形式やドームマスター形式等、３６０°の画像に適した形式の画像情報を出力する。これらの形式は３６０°の画像の表現に適している反面、２次元の画像としてそのまま見た場合には画像が歪んで表現されているため、２次元画像が前提となっている画像処理をそのまま適用することが出来ないという欠点がある。
【００４４】
そのため、画像取得部２０１は、３６０°画像、即ち球体の中心から周囲を見渡すようなイメージが前提となっている画像を、立方体の中心から周囲を見渡すようなイメージのキューブマップ形式の立方体画像に変換する。
【００４５】
キューブマップ形式の画像は、立方体の各面である６面を１ｓｔ  ｐｌａｎｅ、２ｎｄ  ｐｌａｎｅ、３ｒｄ  ｐｌａｎｅ、４ｔｈ  ｐｌａｎｅ、５ｔｈ  ｐｌａｎｅ、６ｔｈ  ｐｌａｎｅとして定義し、夫々の面の画像が二次元画像として保存された形式の画像である。図１２は、正距円筒図法の画像をキューブマップ形式の画像に変換する際の領域の切り分けの例を示す図である。
【００４６】
画像取得部２０１は、図１２に示される太字破線を境界として画像を分割し、正方形に画像成形することにより、１ｓｔ  ｐｌａｎｅから６ｔｈ  ｐｌａｎｅまでの二次元画像を生成して画像処理回路２００のメモリに格納する。また、５ｔｈ  ｐｌａｎｅの画像に関して、画像取得部２０１は、図１２の上部および下部の領域をそれぞれ長方形状に成形した上で合成することにより正方形の画像を生成する。
【００４７】
図１３は、キューブマップ形式の画像、即ち立方体画像を示す図である。図１３に示すように、正距円筒図法の画像から切り出された６つの領域が正方形に成形された画像によって構成された立方体となっている。それぞれの面を構成する画像は、図１３に示すように、各画素の縦横比が同一であり、Ｘ方向およびＹ方向が現実の空間に即して直行する二次元画像である。
【００４８】
従って、キューブマップ形式においてそれぞれの面を構成する画像に対して、２次元画像に対して適用可能な画像処理をそのまま適用することが可能となる。なお、図１３に示すようにそれぞれの面がすべて正方形であり、全体として立方体を構成することは本実施形態に係る一例であり、各面が長方形によって表現された直方体であってもよい。この場合においても、各画素の縦横比が同一であるとともに、Ｘ方向およびＹ方向が現実空間に即して直行する形式であれば、同様の効果を得ることが可能である。
【００４９】
図１４は、図１３に示すようなキューブマップ形式の画像が画像処理回路２００内のメモリに格納される際の格納形式を示す図である。図１４に示すように、本実施形態に係る立方体画像は、画像処理回路２００内のメモリのうち、１ｓｔ  ｐｌａｎｅから６ｔｈ  ｐｌａｎｅに区切られたアドレス空間において、Ｘ、Ｙ座標の順に定められた順番で格納される。
【００５０】
実施の形態１においては、図３において説明したように、それぞれの画素を定義するための“座標”と、それぞれの画素の色味を示す“色情報”とによって情報が格納される場合を例として説明した。この場合、例えば、“色情報”において必要なビット数をＲＧＢ各色８ｂｉｔで合計２４ｂｉｔとし、“座標”において必要なビット数をＸ、Ｙそれぞれ１０ｂｉｔで２０ｂｉｔとすると、合計で一画素当たり５４ｂｉｔが必要となる。
【００５１】
これに対して、図１４に示すような格納形式であれば、格納される情報は“色情報”において必要なビット数であるＲＧＢ各色８ｂｉｔで合計２４ｂｉｔのみであり、メモリ容量を大幅に削減することが出来る。
【００５２】
また、図１４に示すような格納形式を用いることにより、画像処理回路１００においては、定められたメモリのアドレス空間に従って機械的に処理を実行すればよいため、処理に要する時間を短縮し、高フレームレート化、低遅延化を図ることが可能となる。
【００５３】
画像処理部２０２は、図１４に示すように画像処理回路２００内のメモリに格納された立方体画像をそれぞれの面ごとに読み出し、奥行処理やオブジェクト判定処理等の画像処理を行って奥行情報およびオブジェクト情報を生成する。上述したように、立方体画像を構成する各面の画像は、３６０°画像が含む縦横の歪みが補正された２次元画像であるため、画像処理部２０２としては一般的な画像処理を適用することが可能であり、回路の小規模化を図ることが可能である。
【００５４】
画像処理部２０２が行う奥行処理は、実施の形態１において奥行処理部１０２が行う処理と同様である。オブジェクト処理は、画像中に写っているものを判定する処理である。例えば図２に示すような画像であれば、「天井」、「床」、「窓」、「ドア」、「ロッカー」といったそれぞれの画像領域の違いを判定し、夫々の領域毎に異なる識別子を付与する。奥行処理やオブジェクト処理に関しては、一般的な画像処理を適用可能である。
【００５５】
三次元処理部２０３は、メモリに格納された立方体画像を読み出し、キューブ形式を前提とした３次元の情報である三次元画像を生成する。図１５は、キューブマップ形式の画像をＸ、Ｙ、Ｚの三次元の画像に変換する概念を示す図である。三次元処理部２０３は、まずはキューブマップとして定義された各面の画像を構成する画素について、それぞれの画素の位置を図１５に示すＸ、Ｙ、Ｚ空間の座標に変換する。
【００５６】
但し、本実施形態に係る三次元処理部２０３は実際には変換処理を行うのではなく、図１４に示すようにアドレス空間によって定義されたそれぞれの面のＸ、Ｙ座標の画素を、同様にＸ、Ｙ、Ｚ座標に関連付けて定義されたアドレス空間に記憶し直す。図１５に示すように、Ｘ、Ｙ、Ｚ空間における１ｓｔ  ｐｌａｎｅから６ｔｈ  ｐｌａｎｅの各面の画素の位置は直接的に関連付けることが可能である。このような構成により、上記と同様に処理に要する時間を短縮し、高フレームレート化、低遅延化を図ることが可能である。
【００５７】
また、三次元処理部２０３は、画像処理部２０２によって生成された奥行情報およびオブジェクト情報を取得し、夫々の画素の３次元空間上での位置を補正する情報およびオブジェクト情報を付与する。図１６は、三次元処理部２０３による３次元空間上での位置補正処理を概念的に示す図である。
【００５８】
キューブマップ形式の立体画像を構成する各面の画像に写っている映像は、現実においては奥行を持った空間である。三次元処理部２０３は、画像処理部２０２によって生成された各画素についての奥行（図中に示すｄｅｐｔｈ）を加味することにより、キューブマップ形式における立方体の面上から実空間における位置に補正するための補正値（±Ｘ、±Ｙ、±Ｚ）を生成する。なお、図１６に示す補正値（±Ｘ、±Ｙ、±Ｚ）は、三次元処理部２０３が生成しても良いし、画像処理部２０２が予め生成しても良い。
【００５９】
図１７は、三次元処理部２０３による処理の結果として画像処理回路２００内のメモリに格納される情報の例を示す図である。上述したように、Ｘ、Ｙ、Ｚ座標に関連付けて定義されたアドレス空間に、夫々の画素の色味を示すＲＧＢ情報、補正値（±Ｘ、±Ｙ、±Ｚ）の情報およびオブジェクト判定結果を示す識別子であるオブジェクトＮｏが格納される。
【００６０】
図１７に示す三次元画像は、一画素についてＲＧＢの各色８ｂｉｔで２４ｂｉｔ、補正値（±Ｘ、±Ｙ、±Ｚ）各方向１０ｂｉｔで３０ｂｉｔ、オブジェクトＮｏおよび予備で１０ｂｉｔが割り当てられ、合計６４ｂｉｔによって表現されている。
【００６１】
図１６において説明したように、キューブマップ形式の立方体の面上の位置を示すＸＹＺ座標に補正値（±Ｘ、±Ｙ、±Ｚ）を加味した座標は、空間上における画素の位置を示すこととなる。従って、図１６に示す情報は、実施の形態１の図９において説明したように、空間座標と色情報とが関連付けられた情報であるが、座標情報がアドレス空間との関連付けによって表現されている点が異なる。
【００６２】
図１８は、図１６に示すような処理に従い、全ての画素が奥行を加味した点に変換された状態を概念的に示す図である。図１８に示すように、視点を中心とした球体を基準として、その周囲にそれぞれの画素に対応する色情報およびオブジェクト情報を持った点が配置された状態となる。このような情報を３ＤＣＧとして扱うことにより、実空間を撮影することによって生成された画像情報を完全なデジタルデータとして認識し、特定オブジェクトの切り出し、他オブジェクトとの合成等、予めデザインされた３ＤＣＧの様に自由に処理することが可能となる。
【００６３】
空間処理部２０４は、図１７に示す三次元画像を図９と同様に間座標と色情報とが関連付けられた情報に変換して空間情報を生成する。図１９は、本実施形態に係る空間情報を示す図である。上述したように、図１７に示す三次元画像は、ＸＹＺ座標に関連付けられたアドレス空間毎に補正値が格納されているため、アドレス空間によって特定されるＸＹＺ座標に補正値を適用すれば容易にＸＹＺ座標を算出することが可能である。また、本実施形態に係る空間情報は、夫々の画素がどのオブジェクトに含まれるかを示すオブジェクトＮｏの情報を含む。
【００６４】
図１７に示す三次元画像は、一画素についてＲＧＢの各色８ｂｉｔで２４ｂｉｔ、空間情報ＸＹＺ各方向１０ｂｉｔで３０ｂｉｔ、オブジェクトＮｏおよび予備で１０ｂｉｔが割り当てられ、合計６４ｂｉｔによって表現されている。このようにして空間情報が生成された後は、実施の形態１の画像処理回路１００と同様の構成により画像出力部１０７によって映像情報が出力される。
【００６５】
以上説明したように、本実施形態に係る画像処理回路２００によれば、限られたメモリ資源を有効に利用して画像処理を行うことが可能となる。また、画像取得部２０１、画像処理部２０２、三次元処理部２０３および空間処理部２０４による処理の遅延を可能な限り低減し、３６０°カメラ１０によって撮影された映像のリアルタイム性を損なうことなく合成３Ｄ画像を出力することが可能となる。
【００６６】
実施の形態３．
本実施形態においては、実施の形態２の態様において、３６０°カメラから入力された映像データを画像処理回路における処理対象の形式に変換する手法、特に少ない回路規模での変換を可能とする構成について説明する。なお、実施の形態１と同様の符号を付す構成については同一または相当部を示すものとし、詳細な説明を省略する。
【００６７】
実施の形態１、２においては、図２および図３において説明したように、画像処理回路が３６０°カメラから取得する全周画像は、前後左右上下３６０°が撮影され、正距円筒図法により二次元画像として配置されたパノラマ画像である。これに対して、３６０°カメラが出力する全周映像の画像形式は機種により様々であるため、画像処理回路が処理対象とする画像形式、すなわち後段の処理において対象とされている後段形式に変換する必要がある。
【００６８】
図２０は、本実施形態に係る３６０°カメラ１０が出力する映像の形式を示す図である。図２０に示すように、本実施形態に係る３６０°カメラ１０は、全天球を半分に分割した半球それぞれの画像が立体射影により円形に写像された２つの円形画像を含むパノラマ画像を出力する。
【００６９】
図２１は、図２０に示す画像の立体射影の原理を示す図である。図２１に示すように、立体射影の場合、中心部分から外部にいくほど、単位緯度、単位経度に対する平面上の幅が広くなる。これに対して、正距円筒図法においては、中心部分に近いほど単位緯度、単位経度に対する平面上の幅が広くなる。
【００７０】
そのため、図２０に示す形式の画像を正距円筒図法に変換するためには、まず２つの円形の画像を立体射影から正射影に変換する必要がある。図２２は、正射影の原理を示す図である。図２１に示す立体射影の座標系を、図２２に示す正射影の座標系に変換する場合、正射影の座標を（ｘｔ，ｙｔ）、距離をｒ、立体射影の座標を（ｘ´，ｙ´）、距離をｒ´とし、方位角をθ、仰角をφｔとすると、正射影の距離ｒ＝仰角φｔであり、以下の数式１、数式２により（ｘｔ，ｙｔ）、（ｘ´，ｙ´）を相互に変換可能である。
【００７１】
【数１】
2018052100.tif 000003
【００７２】
【数２】
2018052100.tif 000004
【００７３】
図２３は、球体の緯度λおよび経度φを示す図である。緯度λをｘ座標に、経度φをｙ座標にそのまま変換することにより、図１２に示すような正距円筒図法による画像を得ることが可能である。従って、図２２に示すような正射影の画像の座標系を図２３に示すような緯度および経度に変換することにより、正距円筒図法による画像の座標系を得ることが可能である。そのような変換は、以下の数式３によって可能である。
【００７４】
【数３】
2018052100.tif 000005
【００７５】
上記数式３によって得られたλおよびφに基づく（ｘ，ｙ）座標系により、図２０に示す形式の画像が図１２に示すような正距円筒図法によるパノラマ画像を得ることが可能である。この座標が本実施形態に係る後段座標である。図２０に示すような形式の画像に基づいて図１２に示すような形式の画像を生成する場合、まずは変換後の形式である図１２に示す形式の画像を構成する画素の座標を順に選択する。
【００７６】
そして、選択したその座標を上記数式１〜数式３に基づいて変換することにより、図２０に示す形式の画像における画素の座標を取得し、その座標に対応する画素の情報を取得して最初に選択した図１２に示す形式の画像の座標と関連付けて保存する。このような処理を全画素について繰り返すことにより、図２０に示すような形式の画像に基づいて図１２に示すような形式の画像を生成することができる。
【００７７】
ＦＰＧＡによって構成される画像処理回路２００において、上述したような数式１〜数式３による座標変換の処理を各画素についてリアルタイム性をもって実現するためには、膨大な回路規模が必要となる。そのため、本実施形態においては、画像全体から所定間隔ごとに抽出したサンプリング画素について上記数式１〜数式３に基づく計算を行って正確な変換結果を取得すると共に、その他の画素についてはサンプリング画素に変換結果に基づく近似を行うことによって回路規模の低減を図る。
【００７８】
図２４は、本実施形態に係る近似の原理を示す図である。図２４上段は画像処理回路２００において処理対象となる正距円筒図法のパノラマ画像であり、下段は３６０°カメラ１０から出力される画像（以降、「３６０°画像」という）である。図に示すように、本実施形態に係る画像取得部２０１は、パノラマ画像を縦横に格子状に分割した格子点の画素の座標（ｘ１，ｙ１）〜（ｘ２，ｙ２）を基準として上記数式１〜数式３を用いて座標変換を行うことにより、３６０°画像上の座標（ｈ（ｘ１，ｙ１），ｖ（ｘ１，ｙ１））〜（ｈ（ｘ２，ｙ２），ｖ（ｘ２，ｙ２））を求める。
【００７９】
このような（ｈ（ｘｉ，ｙｉ），ｖ（ｘｉ，ｙｉ））の正式な式は上記数式１〜数式３の合成によって得られる事は言うまでもないが、本実施形態においては、以下の数式４による近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を用いる。
【００８０】
【数４】
2018052100.tif 000006
【００８１】
３６０°画像上の座標（ｈ（ｘｉ，ｙｉ），ｖ（ｘｉ，ｙｉ））は、上記数式１〜数式３からもわかる通り、パノラマ画像上の座標ｘｉ、ｙｉがパラメータである。近似式である数式４は、ｘｉ、ｙｉについて図２４に示すように格子の左上の（ｘ１，ｙ１）を基点とし、その基点からの差分（ｘｉ−ｘ１）、（ｙｉ−ｙ１）およびその積をパラメータとして線型近似を行う式である。
【００８２】
本実施形態に係る近似式である数式４に含まれるｘ座標の差分を示す（ｘｉ−ｘ１）とｙ座標の差分を示す（ｙｉ−ｙ１）との積の項は、計算量に伴って増大する回路規模と近似精度との兼ね合いにより採用される項である。一次近似式のみでは精度が不十分であり、二次近似の場合には回路規模が制約を超えるような場合に、わずかな回路規模の増大により精度を高める事ができる。
【００８３】
上記数式１〜数式３に基づいて算出された（ｈ（ｘ１，ｙ１），ｖ（ｘ１，ｙ１））〜（ｈ（ｘ２，ｙ２），ｖ（ｘ２，ｙ２））がそれぞれ（ｈ´（ｘ１，ｙ１），ｖ´（ｘ１，ｙ１））〜（ｈ´（ｘ２，ｙ２），ｖ´（ｘ２，ｙ２））と等しいと仮定して得られる以下の連立方程式である数式５を解くことにより、上記数式４の係数ａ１〜ａ４、ｂ１〜ｂ４が得られる。
【００８４】
【数５】
2018052100.tif 000007
【００８５】
このようにして得られた係数ａ１〜ａ４、ｂ１〜ｂ４を用いた近似式である数式４を用いることにより、パノラマ画像上の格子点（ｘ１，ｙ１）〜（ｘ２，ｙ２）によって囲まれた範囲内の座標（ｘｉ，ｙｉ）に対応する３６０°画像上の座標の近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を得る事ができる。
【００８６】
このような処理は、図１１に示す画像処理回路２００においては画像取得部２０１が実行する。実施の形態２において説明したように、画像処理回路２００は３６０°カメラ１０が出力する３６０°映像を立方体画像として格納する。本実施形態に係る画像処理回路２００は、その前段階の処理として上述した処理を行い、図２０に示すような形式で出力される画像を図１２に示す形式で取得する。
【００８７】
図２５は、このようにして得られた近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を、正式に計算した計算値（ｈ（ｘｉ，ｙｉ），ｖ（ｘｉ，ｙｉ））と比較した結果を、格子の間隔ごとに示す図である。格子の間隔が狭ければ、正式な計算結果に対するパラメータの変化量が小さくなるため誤差は小さくなるが、その分正式に計算する必要のあるサンプリング画素の数が多くなり、回路規模が増大する。他方、格子の間隔が広ければ、正式な計算結果に対するパラメータの変化量が大きくなるため誤差は大きくなるが、その分正式に計算する必要のあるサンプリング画素の数が少なくなり、回路規模が縮小される。
【００８８】
図２６は、本実施形態に係る画像取得部２０１内部の機能構成を示すブロック図である。図２６に示すように、本実施形態に係る画像取得部２０１は、サンプリング部２１１、正変換部２１２、係数算出部２１３および近似処理部２１４を含む。サンプリング部２１１は、図２４において説明したように、３６０°カメラ１０から入力された３６０°画像を格子を特定する画素間隔の設定に従って格子状に分割し、それぞれの格子点の座標を抽出する。
【００８９】
正変換部２１２は、サンプリング部２１１によって抽出された格子点の画素、すなわち基準点となる基準画素の座標を、座標変換の正式な変換式である上記数式１〜数式３を用いて変換することにより正変換結果を得る。係数算出部２１３は、サンプリング部２１１によって抽出された基準画素の座標と、正変換部２１２によって得られた正変換結果に基づき、上記数式５の連立方程式を解いて係数ａ１〜ａ４、ｂ１〜ｂ４を算出する。
【００９０】
近似処理部２１４は、係数算出部２１３によって得られた係数ａ１〜ａ４、ｂ１〜ｂ４を用いて、近似式である数式４により３６０°画像を構成する各画素の座標を近似変換して近似値を得る。そして近似処理部２１４は、このようにして得られた座標と、変換前の座標に対応する色情報により、図３に示すような形式であって且つ図１２に示す正距円筒図法による画像の情報を得る。
【００９１】
以上説明したように、本実施形態に係る画像処理回路においては、サンプリングされた複数画素の座標の正式な変換結果に基づいて近似式を生成し、その画素によって画定される範囲の画素の変換後の座標を近似する。これにより、処理対象の形式とは異なる形式で入力される画像を処理対象の画像に変換する際、回路規模の増大を抑えることが可能である。
【００９２】
実施の形態１、２においては、画像形式の変換を行う場合、画像が格納されたメモリアドレスの関連付けにより座標変換を行う態様を例として説明した。この場合、変換前の画像における座標と変換後の画像における座標とを固定で関連付けることにより自動的、且つリアルタイム性を維持した座標変換が実現される。
【００９３】
他方、この場合には３６０°カメラ１０の画像形式も固定されることとなり、３６０°カメラ１０が変更された場合や、３６０°カメラ１０が出力する画像の形式が変更された場合には、メモリアドレスの関連付けを設定し直す膨大な作業が必要となる。これに対して、本実施形態に係る近似による座標変換を用いることにより、そのような３６０°カメラ１０自体や、出力される画像形式の固定の問題を回避することが可能である。
【００９４】
なお、上記実施形態においては図２０に示す形式の画像を図１２に示す形式に変換する場合を例として説明した。しかしながらこれは一例であり、画像形式の変換処理であれば同様に適用可能である。例えば、図１２において説明したような、正距円筒図法の画像をキューブマップ形式の画像に変換する処理を同様の手法で行うことも可能である。
【００９５】
実施の形態４．
実施の形態３における近似式である数式４は一次式による近似であるが、二次近似に加えてサンプリング画素を増やして最小二乗法による近似を行うことも可能である。本実施形態ではそのような態様について説明する。
【００９６】
図２７は、本実施形態に係る近似の原理を示す図である。図２７に示すように、本実施形態に係るサンプリング部２１１は、実施の形態３において対象とした格子の四角の点に加えて、ｘ座標、ｙ座標それぞれの中間点も含めた９画素をサンプリング画素とする。正変換部２１２がこのようなサンプリング画素について実施の形態３における数式１〜数式３を用いて座標変換を行うことにより、３６０°画像上の座標（ｈ（ｘ１，ｙ１），ｖ（ｘ１，ｙ１））〜（ｈ（ｘ２，ｙ２），ｖ（ｘ２，ｙ２））が得られることは同様である。
【００９７】
以下の数式６は、本実施形態に係る近似式である。本実施形態に係る係数算出部２１３および近似処理部２１４は、実施の形態３において説明した近似式である数式４に替えて以下の数式６を用いる。本実施形態に係る近似式である数式６は、ｘｉ、ｙｉについて図２７に示すように格子の左上の（ｘ１，ｙ１）を基点とし、その基点からの差分（ｘｉ−ｘ１）、（ｙｉ−ｙ１）、その積に加えて、差分それぞれの二乗（ｘｉ−ｘ１）２、（ｙｉ−ｙ１）２をパラメータとして線型近似を行う式である。
【００９８】
【数６】
2018052100.tif 000008
【００９９】
本実施形態に係る係数算出部２１３は、上述した９点のサンプリング画素について上記数式１〜数式３を計算した結果得られる（ｈ（ｘ１，ｙ１），ｖ（ｘ１，ｙ１））〜（ｈ（ｘ２，ｙ２），ｖ（ｘ２，ｙ２））と、それぞれのサンプリング画素についての上記数式６の計算結果である近似結果（ｈ´（ｘ１，ｙ１），ｖ´（ｘ１，ｙ１））〜（ｈ´（ｘ２，ｙ２），ｖ´（ｘ２，ｙ２））との差分が最も小さくなるように、最小二乗法により係数ａ１〜ａ６、ｂ１〜ｂ６を求める。
【０１００】
近似処理部２１４は、このようにして得られた係数ａ１〜ａ６、ｂ１〜ｂ６を用いた近似式である数式６により、パノラマ画像上の格子点（ｘ１，ｙ１）〜（ｘ２，ｙ２）によって囲まれた範囲内の座標（ｘｉ，ｙｉ）に対応する３６０°画像上の座標の近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を得る。
【０１０１】
図２８は、このようにして得られた近似値（ｈ´（ｘｉ，ｙｉ），ｖ´（ｘｉ，ｙｉ））を、正式に計算した計算値（ｈ（ｘｉ，ｙｉ），ｖ（ｘｉ，ｙｉ））と比較した結果を、格子の間隔ごとに示す図である。格子の間隔に応じて精度が変動することは実施の形態３と同様であるが、実施の形態３よりも総じて誤差が低減されていることがわかる。
【０１０２】
以上説明したように、本実施形態に係る画像処理回路においては、実施の形態３の態様に加えて、サンプリング画素として、近似により変換を行う画素の範囲を画定するための頂点となる画素と共に、確定された範囲内からも複数のサンプリング画素を抽出する。そのようにして抽出されたサンプリング画素の正変換結果と、近似式による変換結果との差分が最小となるよう、最小二乗法により近似式の係数を求める。これにより、実施の形態３の態様に対して近似による精度を高めることが可能となる。
【０１０３】
本実施形態に係る態様においては、サンプリング画素を増やすために実施の形態３よりも回路規模が増大するが、すべての画素について正式な変換処理を行う場合に比べれば大幅に回路規模を低減することが可能である。従って、実施の形態３、実施の形態４の態様は、許容可能な回路規模と求められる変換精度との兼ね合いにより適宜選択して用いられる。
【０１０４】
尚、本実施形態においては、実施の形態３の近似式である数式４に変えて二次近似式である数式６を用いる場合を例として説明した。しかしながらこれは一例であり、本実施形態に係る要旨は図２７において説明した格子点およびその中点の正式な変換結果を参酌して最小二乗法により近似係数を求める事にある。従って、近似式として数式４を用いてもよい。
【符号の説明】
【０１０５】
１０  ３６０°カメラ
１００  画像処理回路
１０１  画像取得部
１０２  奥行処理部
１０３  座標処理部
１０４  空間処理部
１０５  画像合成部
１０６  視点取得部
１０７  画像出力部
２０１  画像取得部
２０２  画像処理部
２０３  三次元処理部
２０４  空間処理部
２１１  サンプリング部
２１２  正変換部
２１３  係数算出部
２１４  近似処理部
【図１】
2018052100.tif 000009
【図２】
2018052100.tif 000010
【図３】
2018052100.tif 000011
【図４】
2018052100.tif 000012
【図５】
2018052100.tif 000013
【図６】
2018052100.tif 000014
【図７】
2018052100.tif 000015
【図８】
2018052100.tif 000016
【図９】
2018052100.tif 000017
【図１０】
2018052100.tif 000018
【図１１】
2018052100.tif 000019
【図１２】
2018052100.tif 000020
【図１３】
2018052100.tif 000021
【図１４】
2018052100.tif 000022
【図１５】
2018052100.tif 000023
【図１６】
2018052100.tif 000024
【図１７】
2018052100.tif 000025
【図１８】
2018052100.tif 000026
【図１９】
2018052100.tif 000027
【図２０】
2018052100.tif 000028
【図２１】
2018052100.tif 000029
【図２２】
2018052100.tif 000030
【図２３】
2018052100.tif 000031
【図２４】
2018052100.tif 000032
【図２５】
2018052100.tif 000033
【図２６】
2018052100.tif 000034
【図２７】
2018052100.tif 000035
【図２８】
2018052100.tif 000036
【国際調査報告】
2018052100.tif 000037
2018052100.tif 000038
2018052100.tif 000039
2018052100.tif 000040