(57)【要約】【課題】  符号化された映像データに基づく三次元復元処理を効率的に行うことができる。【解決手段】  本発明は、映像を三次元復元処理する復元装置に関する。本発明の復元装置は、フレーム毎の予測残差情報を含む符号化された映像データを復号する復号処理手段と、映像データのフレーム毎に、復号処理手段が映像データを復号して得た予測残差情報に基づいて、映像データのフレーム毎の撮影環境における姿勢を決定する姿勢決定処理のための参照ピクセルを決定する参照ピクセル決定手段と、映像データのフレーム毎に、参照ピクセル決定手段が決定した参照ピクセルの情報を用いて姿勢決定処理を行い、姿勢決定処理の結果を用いて前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理を行う三次元復元処理手段とを有することを特徴とする。【選択図】      図１
2019041267.tif 000002
【特許請求の範囲】
【請求項１】
符号化された映像データを復号する復号処理手段と、
前記映像データのフレーム毎に、前記復号処理手段が前記映像データを復号して得た画像の予測処理に関する情報に基づいて、姿勢を決定する姿勢決定処理のための参照ピクセルを決定する参照ピクセル決定手段と、
前記映像データのフレーム毎に、前記参照ピクセル決定手段が決定した参照ピクセルの情報を用いて姿勢決定処理を行い、姿勢決定処理の結果を用いて前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理を行う三次元復元処理手段と
を有することを特徴とする復元装置。
【請求項２】
前記参照ピクセル決定手段は、前記映像データのフレーム毎に、前記復号処理手段が前記映像データを復号して得た予測残差情報に基づいて、参照ピクセルを決定する
ことを特徴とする請求項１に記載の復元装置。
【請求項３】
前記参照ピクセル決定手段は、前記予測残差情報において予測残差値が閾値以上のピクセルを含む領域のピクセルを参照ピクセルとして決定することを特徴とする請求項２に記載の復元装置。
【請求項４】
前記映像データのフレーム毎の特性を示すフレーム特性情報に基づいて、三次元復元処理で用いるキーフレーム情報を更新するか否かの判定を行うキーフレーム判定手段と、
前記キーフレーム判定手段の判定結果を利用して、三次元復元処理におけるキーフレーム情報を更新するキーフレーム処理手段とをさらに備え、
前記三次元復元処理手段は、前記キーフレーム処理手段が更新したキーフレーム情報を利用して三次元復元処理を行う
ことを特徴とする請求項１〜３のいずれかに記載の復元装置。
【請求項５】
前記フレーム特性情報は、前記映像データのフレーム毎に、インター符号化されたフレームであったか、イントラ符号化されたフレームであったかを示すフレームタイプ情報であることを特徴とする請求項４に記載の復元装置。
【請求項６】
コンピュータを、
符号化された映像データを復号する復号処理手段と、
前記映像データのフレーム毎に、前記復号処理手段が前記映像データを復号して得た画像の予測処理に関する情報に基づいて、姿勢を決定する姿勢決定処理のための参照ピクセルを決定する参照ピクセル決定手段と、
前記映像データのフレーム毎に、前記参照ピクセル決定手段が決定した参照ピクセルの情報を用いて姿勢決定処理を行い、姿勢決定処理の結果を用いて前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理を行う三次元復元処理手段と
して機能させることを特徴とする復元プログラム。
【請求項７】
復元装置が行う復元方法において、
前記復元装置は、復号処理手段、参照ピクセル決定手段、及び三次元復元処理手段を有し、
前記復号処理手段は、符号化された映像データを復号し、
前記参照ピクセル決定手段は、前記映像データのフレーム毎に、前記復号処理手段が前記映像データを復号して得た画像の予測処理に関する情報に基づいて、姿勢を決定する姿勢決定処理のための参照ピクセルを決定し、
前記三次元復元処理手段は、前記映像データのフレーム毎に、前記参照ピクセル決定手段が決定した参照ピクセルの情報を用いて姿勢決定処理を行い、姿勢決定処理の結果を用いて前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理を行う
ことを特徴とする復元方法。
【請求項８】
符号化された映像データを復号する復号処理手段と、
前記映像データのフレーム毎の特性を示すフレーム特性情報に基づいて、前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理で用いるキーフレーム情報を更新するか否かの判定を行うキーフレーム判定手段と、
前記キーフレーム判定手段の判定結果を利用して、三次元復元処理におけるキーフレーム情報を更新するキーフレーム処理手段と、
前記映像データのフレームごとに、前記キーフレーム処理手段が更新したキーフレーム情報を利用して、三次元復元処理を行う三次元復元処理手段と
を有することを特徴とする復元装置。
【請求項９】
コンピュータを、
符号化された映像データを復号する復号処理手段と、
前記映像データのフレーム毎の特性を示すフレーム特性情報に基づいて、前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理で用いるキーフレーム情報を更新するか否かの判定を行うキーフレーム判定手段と、
前記キーフレーム判定手段の判定結果を利用して、三次元復元処理におけるキーフレーム情報を更新するキーフレーム処理手段と、
前記映像データのフレームごとに、前記キーフレーム処理手段が更新したキーフレーム情報を利用して、三次元復元処理を行う三次元復元処理手段と
して機能させることを特徴とする復元プログラム。
【請求項１０】
復元装置が行う復元方法において、
前記復元装置は、復号処理手段、キーフレーム判定手段、キーフレーム処理手段、及び三次元復元処理手段を有し、
前記復号処理手段は、符号化された映像データを復号し、
前記キーフレーム判定手段は、前記映像データのフレーム毎の特性を示すフレーム特性情報に基づいて、前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理で用いるキーフレーム情報を更新するか否かの判定を行い、
前記キーフレーム処理手段は、前記キーフレーム判定手段の判定結果を利用して、三次元復元処理におけるキーフレーム情報を更新し、
前記三次元復元処理手段は、前記映像データのフレームごとに、前記キーフレーム処理手段が更新したキーフレーム情報を利用して、三次元復元処理を行う
ことを特徴とする復元方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、復元装置、プログラム及び方法に関し、例えば、単眼のカメラで撮影され映像に基づいて、映像撮影環境を三次元復元処理した三次元復元情報を得る処理に適用し得る。
【背景技術】
【０００２】
近年、単眼カメラによる複数地点撮影画像から、映像撮影環境を三次元復元する三次元復元処理を行い、仮想現実表示や撮影時の自己位置推定を行う技術を適用した装置が普及してきている。また、従来、時間的、距離的に離散した少数の画像により構成された映像（動画像）を対象に位置測定を実施する技術が存在している（例えば、特許文献１参照）。さらに、従来、コンピュータの演算速度の向上に伴い、大量の参照点を用いる三次元復元処理方式も存在している（非特許文献１、３参照；非特許文献３は非特許文献１の実装例である）。
【０００３】
一方、映像（動画像）を撮影する際の撮影機器は、必ずしも三次元復元を十分現実的に実施できる機能（例えば、カメラの位置や姿勢を認識する機能等）に対応した機器でなかったり、使用目的によっては撮影場所と離れた遠隔地で三次元復元の結果を用いる必要がある場合もある。すなわち、従来、通常の符号化された映像データ（例えば、三次元復元を前提としない単眼カメラで撮影された映像を符号化したストリーム）に基づいて、付加情報を必要とせずに、三次元復元処理を実現することが求められている。通常の符号化された映像データとしては、例えば、ＩＴＵ−ＴＨ．２６４（非特許文献２、４参照）などが該当する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１４４５０号公報
【非特許文献】
【０００５】
【非特許文献１】Ｊａｋｏｂ  Ｅｎｇｅｌ，Ｐｒｏｆ．Ｄｒ．Ｄａｎｉｅｌ  Ｃｒｅｍｅｒｓ，“ＬＳＤ−ＳＬＡＭ：Ｌａｒｇｅ−Ｓｃａｌｅ  Ｄｉｒｅｃｔ  Ｍｏｎｏｃｕｌａｒ  ＳＬＡＭ”，［Online］，［２０１７年８月２１日検索］，INTERNET <http://vision.in.tum.de/research/vslam/lsdslam>
【非特許文献２】ＩＳＯ／ＩＥＣ  １４４９６−１０，“Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ，”，ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４  ２００３．
【非特許文献３】ＧｉｔＨｕｂ，  Ｉｎｃ，Ｊａｋｏｂ  Ｅｎｇｅｌ，“ＧｉｔＨｕｂ−ｔｕｍ−ｖｉｓｉｏｎ／ｌｓｄ＿ｓｌａｍ”，［Online］，［２０１７年８月２１日検索］，INTERNET < https://github.com/tum-vision/lsd_slam>
【非特許文献４】社団法人  電波産業会，デジタル放送システム開発部会，ＣＳデジタル放送高度化作業班，映像符号化方式作業班，「情報源符号化部  Ｈ．２６４  ＭＰＥＧ−４  ＡＶＣ  規格の概要」，［Online］，［２０１７年８月２１日検索］，INTERNET <URL:http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/bunkakai/pdf/060720_3_1-2_sa2.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来の三次元復元処理を行う装置では、符号化された映像データを構成する各画像の復号と、復号した画像に対する三次元復元処理は別々に実施するため処理負荷がそれぞれにかかるという課題が存在する。
【０００７】
以上のような問題に鑑みて、符号化された映像データに基づく三次元復元処理を効率的に行うことができる復元装置、プログラム及び方法が望まれている。
【課題を解決するための手段】
【０００８】
第１の本発明の復元装置は、（１）符号化された映像データを復号する復号処理手段と、（２）前記映像データのフレーム毎に、前記復号処理手段が前記映像データを復号して得た画像の予測処理に関する情報に基づいて、姿勢を決定する姿勢決定処理のための参照ピクセルを決定する参照ピクセル決定手段と、（３）前記映像データのフレーム毎に、前記参照ピクセル決定手段が決定した参照ピクセルの情報を用いて姿勢決定処理を行い、姿勢決定処理の結果を用いて前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理を行う三次元復元処理手段とを有することを特徴とする。
【０００９】
第２の本発明の復元プログラムは、コンピュータを、（１）符号化された映像データを復号する復号処理手段と、（２）前記映像データのフレーム毎に、前記復号処理手段が前記映像データを復号して得た画像の予測処理に関する情報に基づいて、姿勢を決定する姿勢決定処理のための参照ピクセルを決定する参照ピクセル決定手段と、（３）前記映像データのフレーム毎に、前記参照ピクセル決定手段が決定した参照ピクセルの情報を用いて姿勢決定処理を行い、姿勢決定処理の結果を用いて前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理を行う三次元復元処理手段として機能させることを特徴とする。
【００１０】
第３の本発明は、復元装置が行う復元方法において、（１）前記復元装置は、復号処理手段、参照ピクセル決定手段、及び三次元復元処理手段を有し、（２）前記復号処理手段は、符号化された映像データを復号し、（３）前記参照ピクセル決定手段は、前記映像データのフレーム毎に、前記復号処理手段が前記映像データを復号して得た画像の予測処理に関する情報に基づいて、姿勢を決定する姿勢決定処理のための参照ピクセルを決定し、（４）前記三次元復元処理手段は、前記映像データのフレーム毎に、前記参照ピクセル決定手段が決定した参照ピクセルの情報を用いて姿勢決定処理を行い、姿勢決定処理の結果を用いて前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理を行うことを特徴とする。
【００１１】
第４の本発明の復元装置は、（１）符号化された映像データを復号する復号処理手段と、（２）前記映像データのフレーム毎の特性を示すフレーム特性情報に基づいて、前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理で用いるキーフレーム情報を更新するか否かの判定を行うキーフレーム判定手段と、（３）前記キーフレーム判定手段の判定結果を利用して、三次元復元処理におけるキーフレーム情報を更新するキーフレーム処理手段と、（４）前記映像データのフレームごとに、前記キーフレーム処理手段が更新したキーフレーム情報を利用して、三次元復元処理を行う三次元復元処理手段とを有することを特徴とする。
【００１２】
第５の本発明の復元プログラムは、コンピュータを、（１）符号化された映像データを復号する復号処理手段と、（２）前記映像データのフレーム毎の特性を示すフレーム特性情報に基づいて、前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理で用いるキーフレーム情報を更新するか否かの判定を行うキーフレーム判定手段と、（３）前記キーフレーム判定手段の判定結果を利用して、三次元復元処理におけるキーフレーム情報を更新するキーフレーム処理手段と、（４）前記映像データのフレームごとに、前記キーフレーム処理手段が更新したキーフレーム情報を利用して、三次元復元処理を行う三次元復元処理手段として機能させることを特徴とする。
【００１３】
第６の本本発明は、復元装置が行う復元方法において、（１）前記復元装置は、復号処理手段、キーフレーム判定手段、キーフレーム処理手段、及び三次元復元処理手段を有し、（２）前記復号処理手段は、符号化された映像データを復号し、（３）前記キーフレーム判定手段は、前記映像データのフレーム毎の特性を示すフレーム特性情報に基づいて、前記映像データの映像撮影環境を三次元復元した三次元復元情報を更新する三次元復元処理で用いるキーフレーム情報を更新するか否かの判定を行い、（４）前記キーフレーム処理手段は、前記キーフレーム判定手段の判定結果を利用して、三次元復元処理におけるキーフレーム情報を更新し、（５）前記三次元復元処理手段は、前記映像データのフレームごとに、前記キーフレーム処理手段が更新したキーフレーム情報を利用して、三次元復元処理を行うことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、符号化された映像データに基づく三次元復元処理を効率的に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態に係る復元装置の機能的構成について示したブロック図である。
【図２】従来の三次元復元処理で行われる傾斜値の算出処理について示した説明図である。
【図３】実施形態に係る復元装置で行われる予測残差情報に基づく参照ピクセル決定処理の例について示した説明図（その１）である。
【図４】実施形態に係る復元装置で行われる予測残差情報に基づく参照ピクセル決定処理の例について示した説明図（その２）である。
【図５】実施形態に係る復元装置で行われる予測残差情報に基づく参照ピクセル決定処理の例について示した説明図（その３）である。
【発明を実施するための形態】
【００１６】
（Ａ）主たる実施形態
以下、本発明による復元装置、プログラム及び方法の一実施形態を、図面を参照しながら詳述する。
【００１７】
（Ａ−１）実施形態の構成
図１は、第１の実施系他愛に係る復元装置２００の機能的構成について示したブロック図である。
【００１８】
復元装置２００は、符号化された映像データ（動画像データ）のストリーム（ストリームデータ）が供給されると、その映像データを復号して、一連のフレーム（画像）列を取得し、その一連のフレーム列の映像撮影環境（一連のフレーム列に映っている環境）の三次元復元処理を行い、その三次元復元処理結果を示す情報（以下、「三次元復元情報」と呼ぶ）を出力する。
【００１９】
復元装置２００は、ストリーム受信部２０１、ストリーム復号部２０２、画像生成部２０３、画像蓄積部２０４、トラッキング部２４１、深度マップ評価部２４２、マップ最適化部２４３、及び出力部２１２を有している。また、トラッキング部２４１は、参照ピクセル決定部２０６、及び姿勢決定部２０７を有している。さらに、深度マップ評価部２４２は、キーフレーム選択判定部２０９、及びキーフレーム処理部２１０を有している。さらにまた、マップ最適化部２４３は、広域調整部２１１を有している。復元装置２００の各構成要素の詳細処理については後述する。
【００２０】
復元装置２００は、全てハードウェアで構築（例えば、専用の半導体チップを用いて構築）するようにしてもよいし、一部をソフトウェア的に構築するようにしてもよい。復元装置２００は、例えば、プロセッサ及びメモリを備えるコンピュータ上にソフトウェア（この実施形態の復元プログラムを含む）をインストールすることにより構築してもよい。
【００２１】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態の復元装置２００の動作（実施形態に係る復元方法）を説明する。
【００２２】
ストリーム受信部２０１は、符号化された映像データ（動画像データ）のストリームを受信（取得）するものである。そして、ストリーム受信部２０１は受信した符号化された映像データ（ストリーム）をストリーム復号部２０２へ供給する。ストリーム受信部２０１が符号化された動画像データを取得する方式は限定されないものであり、通信により受信（例えば、図示しない符号化装置から受信）するようにしてもよいし、データ記録媒体（例えば、ＨＤＤ等）からオフラインで読み込むようにしてもよい。
【００２３】
ストリーム復号部２０２は、供給された映像データ（映像データのストリーム）を復号する。
【００２４】
ここでは、映像データを復号した復号データには、少なくともフレームごとの予測残差情報（予測画像における各ピクセルの予測残差値）と、フレームごとにイントラフレームとして符号化されていたのか、インターフレームとして符号化されていたかの情報（以下、「フレームタイプ情報」と呼ぶ）が認識可能なデータが含まれているものとする。すなわち、復元装置２００で復号対象となる映像データ（符号化された映像データ）は、フレームごとの予測残差情報、及びフレームタイプ情報（フレームごとにイントラフレームかインターフレームかを示す情報）が含まれる符号化形式で符号化されている必要がある。復元装置２００では、例えば、ＩＴＵ−ＴＨ．２６４（非特許文献２、４参照）やＩＴＵ−ＴＨ．２６５に基づき符号化された映像データを適用することができる。
【００２５】
そして、ストリーム復号部２０２は、映像データ（ストリームとして供給されたデータ）を復号した復号データを、画像生成部２０３に供給する。
【００２６】
そして、ストリーム復号部２０２は、復号された映像データに含まれる予測残差情報を参照ピクセル決定部２０６に供給する。さらに、ストリーム復号部２０２は、復号された映像データを構成する各フレームのフレームタイプ情報をキーフレーム選択判定部２０９へ送信する。
【００２７】
画像生成部２０３は供給された復号データに基づいて、所定の処理単位ごと（例えば、フレーム単位ごと）に復号画像を生成して、画像蓄積部２０４に供給する。
【００２８】
画像蓄積部２０４は、供給された復号画像を時系列順に蓄積し、時系列順に参照ピクセル決定部２０６へ供給する。
【００２９】
参照ピクセル決定部２０６は供給された現フレームの復号画像、及び現フレームの予測残差情報を用いて、現フレームに対する三次元復元処理で用いる参照ピクセルを決定し、決定した参照ピクセルを示す情報（以下、「参照ピクセル情報」と呼ぶ）を生成する。参照ピクセル決定部２０６は、例えば、予測残差情報に基づき、あらかじめ決定した閾値Ｔｈを越えた残差値が発生したピクセルを参照ピクセルとして決定し、参照ピクセルとして決定した各ピクセルを特定した情報を参照ピクセル情報として生成する。そして、参照ピクセル決定部２０６は生成した、参照ピクセル情報を復号画像とともに姿勢決定部２０７へ供給する。
【００３０】
姿勢決定部２０７は、キーフレーム処理部２１０から供給された最新の（最新に更新された）三次元復元情報、キーフレーム処理部２１０から供給された最新の（最新に更新された）三次元復元処理におけるキーフレーム（以下、「三次元復元用キーフレーム」と呼ぶ）の情報（以下、「キーフレーム情報」と呼ぶ）、現フレームの復号画像、及び現フレームの参照ピクセル情報から、現フレームの姿勢（撮影時の姿勢）を決定し、決定した姿勢に基づいて三次元復元情報を更新する処理を行う。なお、キーフレーム情報には、三次元復元用キーフレームの復号画像に基づく画像が含まれるものとする。
【００３１】
姿勢決定部２０７は、例えば、非特許文献１の「３．４  Ｄｅｐｔｈ  Ｍａｐ  Ｅｓｔｉｍａｔｉｏｎ」の処理により、三次元復元情報を更新する処理を行うようにしてもよい。さらに、姿勢決定部２０７は、最初のフレーム（復号画像）について処理する際には、キーフレーム情報及び三次元復元情報に、予め定められた初期情報を設定するようにしてもよい。
【００３２】
そして、姿勢決定部２０７は、最新に更新された三次元復元情報、最新に供給された（最新に更新された）キーフレーム情報、現フレームの復号画像、現フレームに対する参照ピクセル情報、及び現フレームに対する姿勢情報をキーフレーム選択判定部２０９へ供給する。
【００３３】
キーフレーム選択判定部２０９は、供給された現フレームのフレームタイプ情報に基づき、現フレームについて、三次元復元用キーフレームとして取り扱うか否かを判定するキーフレーム選択判定処理を行う。キーフレーム選択判定部２０９は、現フレームがインターフレームとして符号化されていた場合は、直近の三次元復元用キーフレームと現フレームとの類似度が高い可能性が高いため、これまでの三次元復元用キーフレームを、継続して三次元復元用キーフレームとして取り扱うことを決定する。一方現フレームがイントラフレームとして符号化されていた場合は現フレームを新しい三次元復元用キーフレームとして決定する。
【００３４】
そして、キーフレーム選択判定部２０９は、最新の（最新に更新された）三次元復元情報、最新の（最新に更新された）キーフレーム情報、現フレームに対するキーフレーム選択判定結果、現フレームの復号画像、現フレームに対する参照ピクセル情報、及び現フレームに対する姿勢情報を、キーフレーム処理部２１０へ供給する。
【００３５】
キーフレーム処理部２１０は、供給された最新の（前回更新された）三次元復元情報、最新の（最新に更新された）キーフレーム情報、現フレームに対するキーフレーム選択判定結果、現フレームの復号画像、現フレームに対する参照ピクセル情報、及び現フレームに対する姿勢情報に基づき、キーフレーム情報を更新する処理を行う。キーフレーム処理部２１０は、例えば、非特許文献１の「３．１  Ｔｈｅ  Ｃｏｍｐｌｅｔｅ  Ｍｅｔｈｏｄ」の手法によりキーフレーム情報を更新するようにしてもよい。そして、キーフレーム処理部２１０は、最新の（最新に更新された）三次元復元情報、及び最新の（最新に更新された）キーフレーム情報を姿勢決定部２０７へ供給する。また、キーフレーム処理部２１０は、最新の（最新に更新された）三次元復元情報を、広域調整部２１１へ供給する。
【００３６】
広域調整部２１１は、最新の（最新に更新された）三次元復元情報を広域調整して、広域調整後の三次元復元情報を出力部２１２へ供給する。広域調整部２１１は、例えば、非特許文献１の「３．６  Ｍａｐ  ｏｐｔｉｍｉｚａｔｉｏｎ」の手法により三次元復元情報の広域調整を行うようにしてもよい。
【００３７】
出力部２１２は供給された広域調整後の三次元復元情報を所定の手段で出力する。出力部２１２による出力方法は限定されないものである。また、出力部２１２が出力する三次元復元情報の形式は限定されないものであるが、例えば、特許文献１や非特許文献３の装置で出力されるデータと同様の形式を適用するようにしてもよい。また、出力部２１２は、例えば、表示装置に三次元復元情報に基づく映像（任意の位置の任意の姿勢で見た場合の映像（画像））の信号を出力するようにしてもよい。また、出力部２１２は、三次元復元情報を、データ記録媒体へのデータ書き込みや、通信によるデータ送信により出力するようにしてもよい。
【００３８】
次に、第１の実施系他愛に係る復元装置２００において、従来の三次元復元処理を行う装置と比較して軽減されている処理について説明する。
【００３９】
従来の三次元復元処理を行う装置では、通常の復号映像（単眼カメラで撮像した映像）を三次元復元するために、撮影環境における傾斜情報（カメラの傾斜に関する情報）の算出処理や、三次元復元用キーフレームに適用する復号画像の更新処理に必要となるフレーム間の類似度算出処理（直近の三次元復元用キーフレームと現フレームとの類似度算出処理）を行う必要がある。
【００４０】
具体的には、従来の三次元復元処理を行う装置では、傾斜情報の算出処理を行う際に、各フレームのピクセル毎に、隣接するピクセルの輝度値のそれぞれ縦と横の変化量の二乗の和の平方が取得される（非特許文献３参照）。
【００４１】
ここで、図２に示すように、任意のフレームの任意のピクセルを対象ピクセルＰ１とし、当該対象ピクセルＰ１の上隣のピクセルをＰＵ、下隣のピクセルをＰＤ、右隣のピクセルをＰＲ、左隣のピクセルをＰＬとする。そして、ピクセルＰＲ、ＰＬ、ＰＤ、ＰＵの輝度値を、それぞれＩＲ、ＩＬ、ＩＤ、ＩＵとする。そうすると、従来の三次元復元処理を行う装置では、各フレームについて、各ピクセルを対象ピクセルとして、以下の（１）式を用いて傾斜値ｇを算出し、フレームごとに傾斜値ｇの集合体を傾斜情報として取得する処理を行うことになる。
【数１】
2019041267.tif 000003
【００４２】
従来の三次元復元処理を行う装置において、傾斜情報は、参照ピクセルの決定処理に利用されるが、この実施形態の復元装置２００の参照ピクセル決定部２０６では、傾斜情報を算出する処理を行わない。代わりに、この実施形態の参照ピクセル決定部２０６では、予測残差情報を用いて参照ピクセルを決定している。三次元復元処理において、参照ピクセルの決定処理の本来の目的は、姿勢情報（カメラ姿勢）推定時にエッジとなって最適化エラースコアを計算できるピクセル点の周辺を探索することである。
【００４３】
そして、本願発明者は、予測残差情報を用いることで、従来の傾斜情報を用いた参照ピクセル決定と近似的な結果が得られる傾向にあることを発見した。
【００４４】
以下では、図３〜図５を用いて、予測残差値に基づいた参照ピクセル決定結果の例について説明する。以下では、参照ピクセル決定部２０６で、参照ピクセルを決定するための閾値Ｔｈ＝４として説明する。すなわち、参照ピクセル決定部２０６は、予測残差値の絶対値が４以上（｜Ｔｈ｜≧４）のピクセルを参照ピクセルとして決定するものとして説明する。また、図３〜図５の例において、従来手法（上記の（１）を用いた手法）により参照ピクセルを決定する際には、傾斜値ｇが２以上（ｇ≧２）のピクセルを参照ピクセルとして決定するものとして説明する。
【００４５】
まず、図３の例について説明する。
【００４６】
図３（ａ）は、イントラ４×４ブロックＢ１０１の各ピクセルの輝度配置例を示している。そして、図３（ｂ）は、イントラ４×４ブロックＢ１０１が、イントラ４×４ＤＣ予測で符号化されていた場合の各ピクセルの予測残差値を示している。
【００４７】
図３（ｂ）に示すようにブロックＢ１０１には、予測残差値が｜Ｔｈ｜≧４に該当するピクセルとして、予測残差値＝−５のピクセルＰ１０１が存在する。そして、従来の傾斜値ｇを用いた参照ピクセルの決定方法（上記の（１）を用いた手法）により参照ピクセルを決定する場合、図３（ａ）に示すように、傾斜値ｇが２以上（ｇ≧２）となるピクセルは、ピクセルＰ１０１と縦方向で隣接するピクセルＰ１０２と、ピクセルＰ１０１と横方向で隣接するピクセルＰ１０３となる。すなわち、図４の例では、予測残差値に基づいて決定した参照ピクセルと、傾斜値ｇを用いて決定した参照ピクセルは隣接するため、参照ピクセルの決定結果が近似することがわかる。
【００４８】
なお、この実施形態の参照ピクセル決定部２０６において、予測残差値が｜Ｔｈ｜≧４に該当するピクセルと、当該ピクセルに隣接する周辺のピクセル（すなわち３ｘ３ピクセル）を参照ピクセルとして採用すれば（予測残差値が｜Ｔｈ｜≧４に該当するピクセルを含むピクセルを参照ピクセルとして採用すれば）、従来手法の結果を含むことになり、従来手法の結果との近似度は増すことになる。
【００４９】
次に、図４の例について説明する。
【００５０】
図４（ａ）は、イントラ４×４ブロックＢ２０１の各ピクセルの輝度配置例を示している。そして、図４（ｂ）は、イントラ４×４ブロックＢ２０１がイントラ４×４ＤＣ予測で符号化されていた場合の各ピクセルの予測残差値を示している。
【００５１】
図４（ｂ）に示すようにブロックＢ２０１には、予測残差値が｜Ｔｈ｜≧４に該当するピクセルは存在しないため、この実施形態の参照ピクセル決定部２０６において、ブロックＢ２０１からは参照ピクセルは検出されないことになる。そして、従来の傾斜値ｇを用いた参照ピクセルの決定方法（上記の（１）を用いた手法）により参照ピクセルを決定した場合、図４（ａ）に示すように、傾斜値ｇが２以上（ｇ≧２）となるピクセルは存在しないため、ブロックＢ２０１からは参照ピクセルは検出されないことになる。
【００５２】
したがって、図４の例においても、予測残差値に基づいて決定した参照ピクセルの決定結果と、傾斜値ｇを用いて決定した参照ピクセルの決定結果は近似（同一）となる。
【００５３】
次に、図５の例について説明する。
【００５４】
図５（ａ）は、イントラ４×４ブロックＢ３０１の各ピクセルの輝度配置例を示している。そして、図５（ｂ）は、イントラ４×４ブロックＢ３０１がイントラ４×４ＤＣ予測で符号化されていた場合の各ピクセルの予測残差値を示している。
【００５５】
図５（ｂ）に示すようにブロックＢ３０１には、予測残差値が｜Ｔｈ｜≧４に該当するピクセルは、予測残差値＝−５のピクセルＰ３０１が存在する。そして、従来の傾斜値ｇを用いた参照ピクセルの決定方法（上記の（１）を用いた手法）により参照ピクセルを決定した場合、図５（ａ）に示すように、傾斜値ｇが２以上（ｇ≧２）となるピクセルとしては、ピクセルＰ３０１と縦方向で隣接するピクセルＰ３０２、Ｐ３０３と、ピクセルＰ１０１と横方向で隣接するピクセルＰ３０４とが該当する。すなわち、図５の例においても、予測残差値に基づいて決定した参照ピクセルと、傾斜値ｇを用いて決定した参照ピクセルは隣接するため、参照ピクセルの決定結果が近似することがわかる。
【００５６】
以上のように、予測残差値に基づいて決定した参照ピクセルと、傾斜値ｇを用いて決定した参照ピクセルは隣接し、参照ピクセルの決定結果と近似しやすい傾向があることがわかる。そこで、この実施形態の復元装置２００（参照ピクセル決定部２０６）では、上述のような傾向を利用して、符号化された映像データを復号して得られる予測残差情報を参照することによって三次元復元の参照ピクセルの決定を行っている。
【００５７】
また、従来の三次元復元処理を行う装置では、上述の通り、現フレームを三次元復元用非キーフレームとして取り扱うか否かを判定するキーフレーム選択判定を行う際に、現フレームと三次元復元用キーフレームとの類似度算出処理を行う。具体的には、従来の三次元復元処理を行う装置では、現フレームと三次元復元用キーフレームとの類似度算出処理の際に、現フレームの復号画像を姿勢情報の姿勢に従って変形した場合に、それぞれ三次元復元用キーフレームの復号画像の対応するピクセルとの画素値の差分の分散値の平均を類似度として算出する(非特許文献３参照)。
【００５８】
これに対して、この実施形態の復元装置２００（キーフレーム選択判定部２０９）では、キーフレーム選択判定処理に際して、従来必要だった類似度算出を行わずに、映像データを復号する過程で得られるフレームタイプ情報を利用している。
【００５９】
映像データを復号する過程で得られるフレームタイプ情報は、符号化する際にイントラフレームとして符号化されていたかであるため、厳密には三次元復元用キーフレームであるか否かを示す情報ではない。しかし、通常、映像が符号化される際に、イントラフレームが発生するタイミングは、シーンチェンジ等著しくフレームの内容（画像）が変化するタイミングであることが多いため、イントラフレームとして符号化されたフレームを、三次元復元用キーフレームとして処理することで、従来の類似度算出を用いた判定結果と近似的な判定結果が得られる。
【００６０】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【００６１】
この実施形態の復元装置２００では、符号化された映像データを復号して得られる予測残差情報を参照することによって三次元復元の参照ピクセルの決定を行っている。また、この実施形態の復元装置２００では、キーフレーム判定に際して、従来必要だった類似度算出を行わずに、映像データを復号する過程で得られるフレームタイプ情報を利用している。これにより、この実施形態の復元装置２００では、従来（符号化された映像データの復号と三次元復元中の傾斜算出と類似度算出を別々に実施した場合）と比較して、低負荷で三次元復元処理を実現することを可能とする。
【００６２】
特に、フレームタイプ情報は、映像データを復号する過程で得られる情報であるため、この情報を参照することによる処理負荷の上昇はほぼ無視できるものである。
【００６３】
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【００６４】
（Ｂ−１）上記の実施形態では、復元装置２００の参照ピクセル決定部２０６は、予測残差情報を参照ピクセル決定に用いるように説明したが、映像データの復号データに含まれるその他の画像予測処理に関する情報を用いるようにしてもよい。例えば、参照ピクセル決定部２０６は、復号データに含まれるイントラブロック予測情報を用いて参照ピクセルを決定するようにしてもよい。この場合、参照ピクセル決定部２０６は、例えば、ＤＣ予測でもなくプレーン予測でも無いブロックのピクセルに対して、ある１点が参照ピクセルとして決定された場合、予測方向と垂直のピクセルの変化がある可能性が高いため、そのピクセルと同一のブロックの予測方向と垂直のピクセルを候補点（参照ピクセルの候補店）として追加するよう判定してもよい。また、参照ピクセル決定部２０６は、例えば、デブロッキングフィルタによりピクセル値が補正されたピクセルについて、参照ピクセルの候補に追加する判定を行ってもよい。
【００６５】
（Ｂ−２）上記の実施形態で、参照ピクセル決定部２０６が参照ピクセルを決定する際に用いた閾値Ｔｈは固定としてもよいし、動的に変化するようにしてもよい。例えば、参照ピクセル決定部２０６は、各フレームの量子化サイズに応じて閾値Ｔｈを変化させるようにしてもよい。
【００６６】
（Ｂ−３）上記の実施形態では、キーフレーム選択判定部２０９は、フレームタイプ情報（フレームがイントラフレームまたはインターフレームのどちらで符号されているかの情報）を用いて三次元復元用キーフレームを更新するか否かの判定を行ったが、映像データの復号データに含まれるその他の各フレームの特性を示す情報を用いるようにしてもよい。例えば、キーフレーム選択判定部２０９は、フレームに含まれるイントラマクロブロックの個数があらかじめ決定した閾値以上である場合に、現フレームを三次元復元用キーフレームとすると判定するようにしてもよい。
【００６７】
（Ｂ−４）上記の実施形態において、参照ピクセル決定部２０６は、予測残差情報を参照ピクセル決定に用いる構成について説明したが、従来と同様に傾斜情報を求めて参照ピクセルを決定するようにしてもよい。また、上記の実施形態において、キーフレーム選択判定部２０９は、フレームタイプ情報を用いて三次元復元用キーフレームを更新するか否か判定しているが、従来と同様にフレーム間の類似度に基づき判定するようにしてもよい。
【符号の説明】
【００６８】
２００…動画像復元装置、２０１…ストリーム受信部、２０２…ストリーム復号部、２０３…画像生成部、２０４…画像蓄積部、２０６…参照ピクセル決定部、２０７…姿勢決定部、２０９…キーフレーム選択判定部、２１０…キーフレーム処理部、２１１…広域調整部、２１２…出力部、２４１…トラッキング部、２４２…深度マップ評価部、２４３…マップ最適化部。
【図１】
2019041267.tif 000004
【図２】
2019041267.tif 000005
【図３】
2019041267.tif 000006
【図４】
2019041267.tif 000007
【図５】
2019041267.tif 000008