(57)【要約】【課題】デプスカメラから得られた奥行き画像におけるデプス値を、カメラの動きにできる限り追従するように補正するプログラム等を提供する。【解決手段】所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正するデプス値補正手段として機能させる。また、ＲＧＢ画像と奥行き画像とを同期させて、ＲＧＢ画像に仮想オブジェクトを重畳的に表示する画像合成手段として更に機能させる。【選択図】図４
2019114131.tif 000002
【特許請求の範囲】
【請求項１】
所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正するデプス値補正手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項２】
前記デプス値補正手段は、時刻t1のデプス値の信頼度ｃt1が時刻t2のデプス値の信頼度ｃt2よりも高い場合、時刻t1における又は時刻t1及びt2における当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2とのいずれか一方のみが第１の閾値以下となる場合に、信頼度ｃt1と信頼度ｃt2とを比較して信頼度が高い方のデプス値ｚを、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
【請求項４】
前記デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高く、且つ、デプス値ｚt1とデプス値ｚt2との差が第２の閾値以下である場合に、時刻t1のデプス値ｚt1と時刻t2のデプス値のデプス値ｚt2とを比較して小さい方のデプス値ｚを、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載のプログラム。
【請求項５】
前記デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高く、且つ、デプス値ｚt1とデプス値ｚt2との差が第２の閾値よりも大きい場合に、時刻t2の各点座標についてその周辺の所定複数の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
【請求項６】
前記デプス値補正手段は、時刻t1のデプス値の信頼度ｃt1が時刻t2のデプス値の信頼度ｃt2よりも高い場合、時刻t1における又は時刻t1及びt2における当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることを特徴とする請求項５に記載のプログラム。
【請求項７】
前記デプス値の代表値は、デプス値の中央値、平均値、最頻値又は一定パーセンタイル値である
ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。
【請求項８】
前記奥行き画像と同期するＲＧＢ画像に、仮想オブジェクトを重畳的に表示する画像合成手段と
して更に機能させ、
前記画像合成手段は、前記奥行き画像と前記仮想オブジェクトの奥行きとを比較し、当該奥行き画像が手前にある画素については当該仮想オブジェクトを描画しない
ようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載のプログラム。
【請求項９】
前記ＲＧＢ画像は、ＲＧＢカメラから出力されたものであり、
前記奥行き画像は、デプスカメラ（深度センサ）から出力されたものである
ようにコンピュータを機能させることを特徴とする請求項８に記載のプログラム。
【請求項１０】
前記ＲＧＢ画像は、ＲＧＢカメラから出力されたものであり、
デプスカメラから、３次元上の点(ｘ,ｙ,ｚ)と信頼度ｃとの集合であるポイントクラウドデータを取得するポイントクラウドデータ取得手段と、
ＲＧＢカメラとデプスカメラとの位置に基づく校正変換行列Ｍdを用いて、デプスカメラ座標系(ｘ,ｙ,ｚ)のポイントクラウドデータＰを、端末座標系のポイントクラウドデータＰ’へ変換する座標変換手段と、
前記端末座標系のポイントクラウドデータＰ’を投影し、射影変換行列Ｍsを用いて奥行き画像を生成する奥行き画像生成手段と、
して更に機能させ、
前記デプス値補正手段は、生成された前記奥行き画像に対してデプス値を補正する
ようにコンピュータを機能させることを特徴とする請求項１から９のいずれか１項に記載のプログラム。
【請求項１１】
所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正するデプス値補正手段を有することを特徴とする装置。
【請求項１２】
装置が、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ように実行することを特徴とする装置のデプス値補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列のＲＧＢ(Red-Green-Blue)画像に同期する奥行き画像を用いて、そのＲＧＢ画像に仮想オブジェクトを重畳する画像合成の技術に関する。
【背景技術】
【０００２】
ＲＧＢカメラによる現実空間の撮影映像に、仮想オブジェクトを重畳的に表示する拡張現実（ＡＲ(Augmented Reality)）の技術がある。最も簡易には、撮影映像の上に、仮想オブジェクトを単に上書きしただけのものがある。
これに対し、デプスカメラを用いて得られたポイントクラウドデータと、仮想オブジェクトの世界座標との関係から、仮想オブジェクトが現実空間にあるように見せる技術もある。この技術によれば、カメラから見た、現実オブジェクト（現実空間の各物体）と仮想オブジェクトとの距離の前後関係を認識している。
【０００３】
図１は、撮影映像に仮想オブジェクトを重畳的に表示した拡張現実画像である。
【０００４】
図１によれば、現実オブジェクト（電子黒板）の後方に、仮想オブジェクト（白板）が表示されている。ここで、カメラから見て、仮想オブジェクトは現実オブジェクトの後方に表示すべき場合、如何にも、現実オブジェクトが手前に見えるように表示する。そのために、白板の仮想オブジェクトは、電子黒板の現実オブジェクトの輪郭に合わせて切り取って表示されている。
【０００５】
カメラと現実オブジェクトとの距離を把握するために、「奥行き画像」が必要となる。これは、デプスカメラによって撮影された画像の各画素に、現実オブジェクト表面までのデプス値（深度）を対応付けたものである。他の実施形態として、デプスカメラを用いてポイントクラウドデータが取得される場合、それらをカメラに投影することによって、奥行き画像を生成することができる。
【０００６】
デプスカメラの市販製品として、ＲＧＢ画像と奥行き画像とを同時に取得する「ＲＧＢ−Ｄカメラ」がある。例えばMicrosoft社製「Kinect」や、ASUS社製「Xtion」、Intel社製「RealSense」がある。
例えば対象物のＲＧＢ情報付き３次元モデルを作成する場合、既存のＲＧＢカメラを用いたならば、多視点の撮影画像が必要となり、且つ、その点群も疎となる。これに対し、ＲＧＢ−Ｄカメラを用いた場合、１視点からの撮影だけで密な３次元情報を取得することができ、高精度な３次元モデルを簡単に作成することができる。
【０００７】
図２は、従来技術におけるＲＧＢ画像のフレームレートと奥行き画像のフレームレートとの差を表す説明図である。
【０００８】
図２によれば、奥行き画像のフレームレートは、ＲＧＢ画像のフレームレートよりも低い。即ち、ＲＧＢ画像に対してデプス値が間欠的にしか取得できないために、ＲＧＢ画像よりも遅れた時刻のデプス値しか取得できない。特に、ＲＧＢ−Ｄカメラ自体が動いた場合、ＲＧＢ画像の変化に対して、奥行き画像は追従できない。これは、ＲＧＢ画像に基づく現実オブジェクトの位置と、奥行き画像のデプス値とにズレが生じるという問題を生じる。
【０００９】
このような、ＲＧＢ画像に対する奥行き画像の取得の遅れに対して、ＲＧＢ−Ｄカメラの移動量に基づいて補正する技術もある（例えば特許文献１参照）。この技術によれば、ＲＧＢ−Ｄカメラに搭載されたセンサを用いて当該カメラの動きを検出し、ポイントクラウドデータの点群座標を、移動後のＲＧＢカメラ座標に変換する。そして、変換後のＲＧＢ画像に対する各画素のデプス値を構築することによって、デプス値の遅れを補正する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許３７４５１１７号公報
【非特許文献】
【００１１】
【非特許文献１】デプスカメラから得られる信頼度、[online]、［平成２９年１２月１日検索］、インターネット＜URL:https://developers.google.com/tango/apis/c/reference/struct/tango-point-cloud#struct_tango_point_cloud＞
【非特許文献２】「OpenCVの内部パラメータでOpenGLの透視投影行列を作成」、[online]、［平成２９年１２月１日検索］、インターネット＜URL:http://13mzawa2.hateblo.jp/entry/2016/06/12/202640＞
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、ＲＧＢ−Ｄカメラの移動量に応じてデプス値を補正しようとしても、移動量を完全に予測することはできない。そのために、デプス値の補正によっては、ＲＧＢ画像に重畳される仮想オブジェクトの前後関係にズレが生じ、拡張現実画像に違和感が生じる。
【００１３】
図３は、従来技術における拡張現実画像の違和感を表す画像図である。
【００１４】
（時刻t0）図１と同様に、電子黒板の現実オブジェクトの後方に、白板の仮想オブジェクトが表示されている。
（時刻t1）ここで、ＲＧＢ−Ｄカメラが少し右側に移動し、ＲＧＢ画像全体も少し左側にずれたとする。このとき、現実オブジェクトと仮想オブジェクトとの境界部分が、ガタガタに遅延しながら表示されている。このような拡張現実画像の違和感は、ＲＧＢ−Ｄカメラを急に動かしたり、逆に急に止めた場合、その移動量に応じて過度な補正や逆に軽微な補正によって生じやすくなる。
（時刻t2）ＲＧＢ−Ｄカメラが静止することによって、現実オブジェクトと仮想オブジェクトとの境界部分の違和感が落ち着く。
【００１５】
これに対し、本願の発明者らは、図３の拡張現実画像の違和感は、ＲＧＢ画像に対する奥行き画像の遅延によって生じている、と考えた。通常、直前に取得された奥行き画像のデプス値のみを用いるために、ＲＧＢ−Ｄカメラの移動によって直前のデプス値が外れ値となった場合、拡張現実画像の精度の劣化につながる。２時点前のデプス値が正確なものであっても、１時点前のデプス値が外れ値であれば、そのまま、拡張現実画像の違和感につながる。
【００１６】
即ち、本願の発明者らは、奥行き画像のデプス値を、できる限りＲＧＢ画像の変化に対応できるように補正することはできないか、と考えた。特に、デプスカメラによって取得される奥行き画像やポイントクラウドデータの各点座標に付与される信頼度も、デプス値の補正に反映させることができないか、と考えた。
【００１７】
そこで、本発明は、デプスカメラから得られた時系列の奥行き画像におけるデプス値を、カメラの動きにできる限り追従するように補正するプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明によれば、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正するデプス値補正手段と
してコンピュータを機能させることを特徴とする。
【００１９】
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、時刻t1のデプス値の信頼度ｃt1が時刻t2のデプス値の信頼度ｃt2よりも高い場合、時刻t1における又は時刻t1及びt2における当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
【００２０】
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2とのいずれか一方のみが第１の閾値以下となる場合に、信頼度ｃt1と信頼度ｃt2とを比較して信頼度が高い方のデプス値ｚを、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
【００２１】
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高く、且つ、デプス値ｚt1とデプス値ｚt2との差が第２の閾値以下である場合に、時刻t1のデプス値ｚt1と時刻t2のデプス値のデプス値ｚt2とを比較して小さい方のデプス値ｚを、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
【００２２】
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高く、且つ、デプス値ｚt1とデプス値ｚt2との差が第２の閾値よりも大きい場合に、時刻t2の各点座標についてその周辺の所定複数の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
【００２３】
本発明のプログラムにおける他の実施形態によれば、
デプス値補正手段は、時刻t1のデプス値の信頼度ｃt1が時刻t2のデプス値の信頼度ｃt2よりも高い場合、時刻t1における又は時刻t1及びt2における当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ようにコンピュータを機能させることも好ましい。
【００２４】
本発明のプログラムにおける他の実施形態によれば、
デプス値の代表値は、デプス値の中央値、平均値、最頻値又は一定パーセンタイル値である
ようにコンピュータを機能させることも好ましい。
【００２５】
本発明のプログラムにおける他の実施形態によれば、
奥行き画像と同期するＲＧＢ画像に、仮想オブジェクトを重畳的に表示する画像合成手段と
して更に機能させ、
画像合成手段は、奥行き画像と仮想オブジェクトの奥行きとを比較し、当該奥行き画像が手前にある画素については当該仮想オブジェクトを描画しない
ようにコンピュータを機能させることも好ましい。
【００２６】
本発明のプログラムにおける他の実施形態によれば、
ＲＧＢ画像は、ＲＧＢカメラから出力されたものであり、
奥行き画像は、デプスカメラ（深度センサ）から出力されたものである
ようにコンピュータを機能させることも好ましい。
【００２７】
本発明のプログラムにおける他の実施形態によれば、
ＲＧＢ画像は、ＲＧＢカメラから出力されたものであり、
デプスカメラから、３次元上の点(ｘ,ｙ,ｚ)と信頼度ｃとの集合であるポイントクラウドデータを取得するポイントクラウドデータ取得手段と、
ＲＧＢカメラとデプスカメラとの位置に基づく校正変換行列Ｍdを用いて、デプスカメラ座標系(ｘ,ｙ,ｚ)のポイントクラウドデータＰを、端末座標系のポイントクラウドデータＰ’へ変換する座標変換手段と、
端末座標系のポイントクラウドデータＰ’を投影し、射影変換行列Ｍsを用いて奥行き画像を生成する奥行き画像生成手段と、
して更に機能させ、
デプス値補正手段は、生成された奥行き画像に対してデプス値を補正する
ようにコンピュータを機能させることも好ましい。
【００２８】
本発明によれば、装置は、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正するデプス値補正手段を有することを特徴とする。
【００２９】
本発明によれば、装置が、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる奥行き画像を入力し、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合に、時刻t2の当該点座標の周辺の所定複数の他の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する
ように実行することを特徴とする。
【発明の効果】
【００３０】
本発明のプログラム、装置及び方法は、デプスカメラから得られた時系列の奥行き画像におけるデプス値を、カメラの動きにできる限り追従するように補正することができる。
【図面の簡単な説明】
【００３１】
【図１】撮影映像に仮想オブジェクトを重畳的に表示した拡張現実画像である。
【図２】従来技術におけるＲＧＢ画像のフレームレートと奥行き画像のフレームレートとの差を表す説明図である。
【図３】従来技術における拡張現実画像の違和感を表す画像図である。
【図４】本発明における撮影装置の機能構成図である。
【図５】本発明におけるＲＧＢ画像のフレームレートと奥行き画像のフレームレートとの差を表す説明図である。
【図６】本発明におけるデプス値の補正パターンを表すテーブルである。
【図７】本発明におけるＲＧＢ画像と仮想オブジェクトとの奥行き関係を表すフロー図である。
【図８】本発明における拡張現実画像のスムーズさを表す画像図である。
【図９】ポイントクラウドデータを奥行き画像に変換する機能構成図である。
【図１０】デプス座標系と端末座標系との関係を表す概説図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００３３】
図４は、本発明における撮影装置の機能構成図である。
【００３４】
図４によれば、ＲＧＢ−Ｄカメラ１は、以下のデバイスを搭載する。
ＲＧＢカメラ１０１（可視光カメラ）
デプスカメラ１０２（赤外線カメラ＋赤外線プロジェクタ）
ＲＧＢカメラ１０１は、市販のＷＥＢカメラと同様に、撮影したＲＧＢ画像を出力する。
デプスカメラ１０２は、赤外線プロジェクタから赤外線を照射し、その反射を計測することによって奥行き画像を出力する。
尚、デプスカメラは、ポイントクラウドデータを出力するものであってもよい。その場合の実施形態については、図９以降に詳述する。
【００３５】
ここで、画像の種別を、以下のように定義する。
ＲＧＢ画像：各画素（点座標）に、ＲＧＢの色情報が付与された２次元データ
奥行き画像：各画素（点座標）に、デプス値と信頼度とが付与された２次元データ
ポイントクラウドデータ：信頼度が付与された点座標(ｘ,ｙ,ｚ)の集合となる
３次元データ
尚、信頼度は、０（低）〜１（高）の値である（例えば非特許文献１参照）。
【００３６】
図４によれば、撮影装置１は、デプス値補正部１１と、仮想オブジェクト記憶部１２と、画像合成部１３とを有する。これら機能構成部は、撮影装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、デプス値補正方法としても理解できる。
【００３７】
［デプス値補正部１１］
デプス値補正部１１は、所定時刻毎に、点座標(ｘ,ｙ)とデプス値(ｚ)と信頼度ｃとの集合からなる「奥行き画像」を入力し、その奥行き画像のデプス値を補正する。
【００３８】
図５は、本発明におけるＲＧＢ画像のフレームレートと奥行き画像のフレームレートとの差を表す説明図である。
【００３９】
図５によれば、１時点のＲＧＢ画像に対して、過去２時点の奥行き画像が対応付けられている。即ち、時刻tのＲＧＢ画像に対応する奥行き画像のデプス値を、以下の２つを用いて補正する。
過去時刻t1における奥行き画像のデプス値ｚt1及び信頼度ｃt1
過去時刻t2における奥行き画像のデプス値ｚt2及び信頼度ｃt2
勿論、本発明によれば、過去３時点以上の奥行き画像を用いるものであってもよい。
【００４０】
図６は、本発明におけるデプス値の補正パターンを表すテーブルである。
【００４１】
デプス値補正部１１は、以下のような４つのパターンのいずれか１つのパターンで、奥行き画像のデプス値を補正する。
【００４２】
（パターン１）［各点座標について、時刻t2（t1->t2)の各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値以下となる場合］
デプス値補正部１１は、時刻t2の当該点座標の周辺の所定複数（例えば８個）の他の点座標におけるデプス値の代表値を、時刻t2の当該点座標におけるデプス値として補正する。
デプス値の代表値は、例えば、所定複数の他の点座標のデプス値の中央値、平均値、最頻値又は一定パーセンタイル値であってもよい。これによって、１つの点座標のデプス値について外れ値を持ったとしても、全体的にバランスをとったデプス値に収束させることができる。
【００４３】
オプション的に他の実施形態として、できる限り信頼度が高い方の周辺デプス値を用いるように、所定複数の他の点座標を、以下のように選択することもできる。
［時刻t1の信頼度＞時刻t2の信頼度］
時刻t1の周辺デプス値の代表値、又は、時刻t1+時刻t2の周辺デプス値の代表値
［時刻t1の信頼度≦時刻t2の信頼度］
時刻t2の周辺デプス値の代表値
【００４４】
（パターン２）［各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2とのいずれか一方のみが第１の閾値以下となる場合］
信頼度ｃt1と信頼度ｃt2とを比較して信頼度が高い方のデプス値ｚを、当該点座標におけるデプス値として補正する。
これによって、できる限り信頼度が高い方のデプス値によって補正する。
【００４５】
（パターン３）［各点座標について、時刻t1のデプス値の信頼度ｃt1と時刻t2のデプス値の信頼度ｃt2との両方が第１の閾値よりも高い場合］
【００４６】
（パターン３−１）デプス値ｚt1とデプス値ｚt2との差が第２の閾値以下である場合：
時刻t1のデプス値ｚt1と時刻t2のデプス値のデプス値ｚt2とを比較して小さい方のデプス値ｚを、当該点座標におけるデプス値として補正する。
これによって、撮影装置１から見て手前のデプス値で補正し、現実オブジェクトが、仮想オブジェクトよりもできる限り手前に表示される。
【００４７】
（パターン３−２）デプス値ｚt1とデプス値ｚt2との差が第２の閾値よりも大きい場合：
時刻t2の各点座標についてその周辺の所定複数の点座標におけるデプス値の代表値を、当該点座標におけるデプス値として補正する。
ここでは、両方の時刻t1及びt2で高い信頼度のデプス値が得られているが、それらデプス値の差が大きいということは、デプスを取得しづらい物体がカメラに写っていることが考えられる。その場合、時刻t2における１つの点座標のデプス値を、時刻t2におけるその点座標周辺の例えば８個（所定複数）の他の点座標のデプス値の代表値として補正する。尚、ここでの周辺の他の点座標として、時刻t1及び時刻t2におけるその点座標周辺の他の点座標を用いてもよい。また、信頼度ｃt1の方が信頼度ｃt2より高い場合には、周辺の他の点座標として、時刻t1におけるその点座標周辺の例えば８個（所定複数）の他の点座標を用いてもよい。
これによって、１つの点座標のデプス値について外れ値を持ったとしても、全体的にバランスをとったデプス値に収束させることができる。
【００４８】
パターン３−２についても、前述したパターン１と同様に、オプション的に他の実施形態として、できる限り信頼度が高い方の周辺デプス値を用いるように、所定複数の他の点座標を、以下のように選択することもできる。
［時刻t1の信頼度＞時刻t2の信頼度］
時刻t1の周辺デプス値の代表値、又は、時刻t1+時刻t2の周辺デプス値の代表値
［時刻t1の信頼度≦時刻t2の信頼度］
時刻t2の周辺デプス値の代表値
【００４９】
［仮想オブジェクト記憶部１２］
仮想オブジェクト記憶部１２は、ＲＧＢ画像及び奥行き画像が対応付けられた仮想オブジェクトを記憶する。仮想オブジェクト記憶部１２は、画像合成部１３から参照される。
【００５０】
［画像合成部１３］
画像合成部１３は、デプス値補正部１１から出力された奥行き画像と、仮想オブジェクトの奥行き画像との前後関係を比較することによって、仮想オブジェクトの表示を制御する。画像合成部１３は、デプス値補正部１１から出力された奥行き画像が、仮想オブジェクトの奥行き画像よりも手前にある画素については、当該仮想オブジェクトを描画しない。これによって、仮想オブジェクトと実在する物体の前後関係が正しく反映された画像を生成することとができる。
このようにして、画像合成部１３は、ＲＧＢ画像と奥行き画像とを同期させて、ＲＧＢ画像に、仮想オブジェクトを重畳的に表示する。
【００５１】
図７は、本発明におけるＲＧＢ画像と仮想オブジェクトとの奥行き関係を表すフロー図である。
【００５２】
図７（ａ）によれば、ＲＧＢ画像は、ＲＧＢ−Ｄカメラが左側に移動することによって、その画像全体も右側に移動している。
図７（ｂ）によれば、奥行き画像も、ＲＧＢ−Ｄカメラが左側に移動することによって、その画像全体も右側に移動している。但し、奥行き画像は、図７（ａ）のＲＧＢ画像よりも間欠的にしか取得することができない。
図７（ｃ）によれば、図７（ｂ）における現実オブジェクトの奥行き画像に対応させて、仮想オブジェクトの前後関係が決定されている。
図７（ｄ）によれば、図７（ｂ）の現実オブジェクトの奥行き画像のデプス値が補正され、その補正された奥行き画像に対応させて、仮想オブジェクトの前後関係が決定されている。そして、図７（ａ）について、奥行画像を取得できない時刻の現実オブジェクトのＲＧＢ画像に対して、現実のオブジェクトと重なった領域が欠けた形で、仮想オブジェクトが重畳的に表示されている。
【００５３】
図８は、本発明における拡張現実画像のスムーズさを表す画像図である。
【００５４】
（時刻t0）図３と同様に、電子黒板の現実オブジェクトの後方に、白板の仮想オブジェクトが表示されている。
（時刻t1）ここで、ＲＧＢ−Ｄカメラが少し右側に移動し、ＲＧＢ画像全体も少し左側にずれたとする。このとき、図３のように、現実オブジェクトと仮想オブジェクトとの境界部分が、ガタガタに遅延することなくスムーズに表示されている。これは、奥行き画像のデプス値がスムーズに遷移したことによる。
（時刻t2）ＲＧＢ−Ｄカメラが静止することによって、現実オブジェクトと仮想オブジェクトとの境界部分も落ち着いている。
【００５５】
図９は、ポイントクラウドデータを奥行き画像に変換する機能構成図である。
【００５６】
図９の撮影装置１によれば、デプスカメラ１０２は、奥行き画像ではなく、ポイントクラウドデータを出力する。この場合、撮影装置１は、図４と比較して、ポイントクラウドデータ取得部１４１と、座標変換部１４２と、奥行き画像生成部１４３とを更に有する。これら機能構成部は、撮影装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、ポイントクラウドデータから奥行き画像を生成する方法として理解できる。
デプス値補正部１１は、奥行き画像生成部１４３によって生成された奥行き画像に対してデプス値を補正する。
【００５７】
［ポイントクラウドデータ取得部１４１］
ポイントクラウドデータ取得部１４１は、アプリケーションソフトウェアの機能によって、デプスカメラ１０２から、デプスカメラ座標系のポイントクラウドデータを取得する。ポイントクラウドデータは、座標変換部１４２へ出力される。
【００５８】
［座標変換部１４２］
座標変換部１４２は、ＲＧＢカメラとデプスカメラとの位置に基づく校正変換行列Ｍdを用いて、ポイントクラウドデータＰを、端末座標系のポイントクラウドデータＰ’へ変換する。
ＲＧＢカメラ及びデプスカメラは、別デバイスであるために、それらのカメラ座標系は通常、一致しない。そのため、ＲＧＢカメラのＲＧＢ画像とデプスカメラの奥行き画像との間の、画素座標系の対応関係（校正変換行列Ｍd）が必要となる。画素座標系の対応関係は、通常、市販製品のＳＤＫ(Software Development Kit)や外部ライブラリにデフォルト値が用意されており、ＡＰＩ(Application Programming Interface)を用いて取得することができる。ＲＧＢカメラとデプスカメラとが一体的に組み込まれた市販のＲＧＢ−Ｄカメラ単体を用いる場合は、外部パラメータのキャリブレーション等の作業を別途行うことなく、メーカ側で用意されたデフォルト値を用いる
【００５９】
図１０は、デプス座標系と端末座標系との関係を表す概説図である。
【００６０】
具体的に、時刻t0で取得されたデプスカメラ座標系の点座標(ｘ,ｙ,ｚ)は、以下のように算出される（例えば非特許文献２参照）。
［x' y' z' 1］T＝Ｍwt＊Ｍwt0-1＊Ｍd-1＊［x y z 1］T
Ｍwt：世界座標系から時刻tでの端末座標系への変換行列
Ｍd：デプスカメラ座標系から端末座標系への変換行列
（-1：逆行列、T：転置）
算出された端末座標系のポイントクラウドデータＰ’は、奥行き画像生成部１４３へ出力される。
【００６１】
［奥行き画像生成部１４３］
奥行き画像生成部１４３は、端末座標系のポイントクラウドデータＰ’を投影し、射影変換行列Ｍsを用いて奥行き画像を生成する。
具体的には、以下のように算出される。
［px  py  pz］T＝ＭsＰ’
画素(px,py)に、Ｐ'のデプス値zが対応付けられる
このようにして生成された奥行き画像は、デプス値補正部１１へ出力される。
【００６２】
尚、撮影装置１の機能構成部（ＲＧＢカメラ１０１、デプスカメラ１０２、デプス値補正部１１、仮想オブジェクト記憶部１２、画像合成部１３、ポイントクラウドデータ取得部１４１、座標変換部１４２、奥行き画像生成部１４３）の一部を分離して、他の装置で実現し、その装置間をネットワーク等で接続するようなシステム構成にしてもよい。
【００６３】
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、デプスカメラから得られた奥行き画像におけるデプス値を、カメラの動きにできる限り追従するように補正することができる。これによって、ＲＧＢ画像に仮想オブジェクトを重畳的に表示する際に、取得タイミングが少ない奥行き画像やポイントクラウドデータであっても、できる限りオクルージョンに対応することができる。
【００６４】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００６５】
１  撮影装置、ＲＧＢ−Ｄカメラ
１０１  ＲＧＢカメラ
１０２  デプスカメラ
１１  デプス値補正部
１２  仮想オブジェクト記憶部
１３  画像合成部
１４１  ポイントクラウドデータ取得部
１４２  座標変換部
１４３  奥行き画像生成部
【図１】
2019114131.tif 000003
【図２】
2019114131.tif 000004
【図３】
2019114131.tif 000005
【図４】
2019114131.tif 000006
【図５】
2019114131.tif 000007
【図６】
2019114131.tif 000008
【図７】
2019114131.tif 000009
【図８】
2019114131.tif 000010
【図９】
2019114131.tif 000011
【図１０】
2019114131.tif 000012