(57)【要約】【課題】より高品質に動画像フレーム間の補間を可能とする動画像フレーム補間装置を提供する。【解決手段】撮影対象の輝度情報で表現されたカラー動画像と撮影対象の深度情報で表現された深度動画像とにおいて、欠落したフレームを補間によって生成する動画像フレーム補間装置であって、カラー動画像と深度動画像とがフレーム同期しており、２つの動画像のいずれか一方の動画像のフレームが欠落した場合に、他方の動画像のフレームの情報に基づき欠落したフレームの補間を行う補間手段を備えた。【選択図】図１
2017050731.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象の輝度情報で表現されたカラー動画像と撮影対象の深度情報で表現された深度動画像とにおいて、欠落したフレームを補間によって生成する動画像フレーム補間装置であって、
前記カラー動画像と前記深度動画像とがフレーム同期しており、２つの動画像のいずれか一方の動画像のフレームが欠落した場合に、他方の動画像のフレームの情報に基づき欠落したフレームの補間を行う補間手段を備えた動画像フレーム補間装置。
【請求項２】
前記カラー動画像の画素それぞれに対して、前記深度動画像の深度情報を与えて、３次元点群とすることで、前記カラー動画像のフレームと前記深度動画像のフレームとを統合した３次元点群データを各フレームに対応させて生成する３次元点群化手段と、
前記３次元点群データに基づき、オプティカルフローを検出することにより時間方向のフレーム間での各画素の対応付けを行うフレーム間対応付け手段とをさらに備え、
前記補間手段は、前記時間方向のフレーム間での各画素の対応付け結果に基づき、欠落した前記フレームの補間を行う請求項１に記載の動画像フレーム補間装置。
【請求項３】
前記補間手段は、
前記深度動画像のフレームが欠落した場合に、欠落した前記フレームの前後のフレームそれぞれに対応する前記３次元点群データと欠落した前記フレームと同時刻の前記カラー動画像のフレームとを参照して、欠落したフレームの画素値を求める補間によって欠落した前記深度動画像のフレームを生成する請求項２に記載の動画像フレーム補間装置。
【請求項４】
前記補間手段は、
前記カラー動画像のフレームが欠落した場合に、欠落した前記フレームの前後のフレームそれぞれに対応する前記３次元点群データと欠落した前記フレームと同時刻の前記深度動画像のフレームとを参照して、欠落したフレームの画素値を求める補間によって欠落した前記カラー動画像のフレームを生成する請求項２に記載の動画像フレーム補間装置。
【請求項５】
前記カラー動画像と前記深度動画像との両方の同時刻のフレームが欠落した前記カラー動画像または前記深度動画像のいずれか一方において、欠落したフレームの補間を行うフレーム補間手段をさらに備え、
前記補間手段は、
前記フレーム補間手段によって補間した動画像がカラー動画像である場合に、欠落した前記フレームの前後のフレームそれぞれに対応する前記３次元点群データと欠落した前記フレームと同時刻の前記補間によって得られた前記カラー動画像のフレームとを参照して、欠落した深度動画像のフレームの画素値を求める補間によって欠落した前記フレームを生成し、
前記フレーム補間手段によって補間した動画像が深度動画像である場合に、欠落した前記フレームの前後のフレームそれぞれに対応する前記３次元点群データと欠落した前記フレームと同時刻の前記補間によって得られた前記深度動画像のフレームとを参照して、欠落したカラー動画像のフレームの画素値を求める補間によって欠落した前記フレームを生成する請求項２に記載の動画像フレーム補間装置。
【請求項６】
前記補間手段は、前記カラー動画像中または前記深度動画像中の前記撮影対象の動きの時間的または空間的変化が滑らかになるように補間を行う請求項１から５のいずれか１項に記載の動画像フレーム補間装置。
【請求項７】
撮影対象の輝度情報で表現されたカラー動画像と撮影対象の深度情報で表現された深度動画像とにおいて、欠落したフレームを補間によって生成する動画像フレーム補間装置が行う動画像フレーム補間方法であって、
前記カラー動画像と前記深度動画像とがフレーム同期しており、２つの動画像のいずれか一方の動画像のフレームが欠落した場合に、他方の動画像のフレームの情報に基づき欠落したフレームの補間を行う補間ステップを有する動画像フレーム補間方法。
【請求項８】
コンピュータを、請求項１から６のいずれか１項に記載の動画像フレーム補間装置として機能させるための動画像フレーム補間プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレーム間の補間を行う動画像フレーム補間装置、動画像フレーム補間方法及び動画像フレーム補間プログラムに関する。
【背景技術】
【０００２】
カメラ等で撮影された映像（動画像）データは有線・無線などの物理的なネットワークを通じて伝送・蓄積される。この映像データの伝送においては、データの帯域幅に制限がある。そのため映像データの伝送のための帯域幅が不足する場合、一時的に映像の時間分解能を低減することが行われる。具体的には、ある一定のフレームレートで取得された映像のフレームの一部を意図的に破棄することで、帯域幅を制限内に収めるようにするような処理が挙げられる。
【０００３】
特に、映像データとして、シーンのカラーデータに加えて、シーンの深度情報を同時に取得するような場合、必要とされる帯域幅が広くなるため、フレームの一部を意図的に破棄する必要性が高まる。なお、深度情報とは、実空間上に存在する物体と、シーンの撮影に用いられたデバイスとの奥行き距離を表現した情報のことである。一般に深度情報よりカラーデータの方が必要なビット数が多いため、フレームの一部を破棄する際に、ある時刻におけるカラーデータと深度情報の両方を破棄するのではなく、カラーデータのみを破棄することで、帯域幅の制約を満たす処理が行われることがある。また、深度情報画像の画素あたりのビット深度として１６ｂｉｔもしくは３２ｂｉｔが採用されることがあり、その際にはカラーデータよりも深度情報の方が必要なビット数が多くなることがあるので、カラーデータではなく、深度情報のみを破棄することで、帯域幅の制約を満たす処理が行われることもある。
【０００４】
しかしながら、帯域幅の制限を満たすために一部のフレームを破棄すると、モーションジャギーのようなアーティファクトが生じ、伝送された映像の主観品質が著しく低下してしまう。そのような場合において、アーティファクトを低減し主観品質を向上させるために、フレーム補間またはフレームレートアップコンバージョンと呼ばれる技術が存在する。
【０００５】
フレーム補間／フレームレートアップコンバージョンとは、動画像符号化・表示において、伝送路内のフレーム欠損の修復や、滑らかな動きを表現するための倍速表示の実行を目的として行われる処理のことである。フレーム補間／フレームレートアップコンバージョンの代表的な手法として、ブロックマッチング等により検出した動画像内の被写体や背景の動き情報を用いて、フレーム間のモーフィングやワーピングなどによってフレーム補間を実現する方法が挙げられる（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】山本貴史, 長谷山美紀，”動画像のフレーム補間に関する考察-モーフィングを用いたアプローチ-“，電子情報通信学会技術報告，vol. 106，no. 112，pp. 1-5，2006．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述のフレーム補間／フレームレートアップコンバージョンを用いることで、帯域幅の制限による制約を満たすために破棄されたフレームを補間することが可能となる。それによって、一部のフレームの破棄によって映像の主観品質が低下してしまうことを防ぐことができる。
【０００８】
しかしながら、前述のような手法では、対象とする動画像の被写体や背景の動きが画像内において周期性を有していることもしくは等速直線運動であること、移動している物体とそうでない物体が明確に区別されていることなどの、いくつかの制約を満たしているという仮定に基づいた処理が行われる。そのため、画像から判断される動作に上記に該当しない不規則な運動が含まれる場合は正しいフレーム補間を実現することができないという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、より高品質に動画像フレーム間の補間を可能とする動画像フレーム補間装置、動画像フレーム補間方法及び動画像フレーム補間プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様は、撮影対象の輝度情報で表現されたカラー動画像と撮影対象の深度情報で表現された深度動画像とにおいて、欠落したフレームを補間によって生成する動画像フレーム補間装置であって、前記カラー動画像と前記深度動画像とがフレーム同期しており、２つの動画像のいずれか一方の動画像のフレームが欠落した場合に、他方の動画像のフレームの情報に基づき欠落したフレームの補間を行う補間手段を備えた動画像フレーム補間装置である。
【００１１】
本発明の一態様は、前記カラー動画像の画素それぞれに対して、前記深度動画像の深度情報を与えて、３次元点群とすることで、前記カラー動画像のフレームと前記深度動画像のフレームとを統合した３次元点群データを各フレームに対応させて生成する３次元点群化手段と、前記３次元点群データに基づき、オプティカルフローを検出することにより時間方向のフレーム間での各画素の対応付けを行うフレーム間対応付け手段とをさらに備え、前記補間手段は、前記時間方向のフレーム間での各画素の対応付け結果に基づき、欠落した前記フレームの補間を行う。
【００１２】
本発明の一態様は、前記動画像フレーム補間装置であって、前記補間手段は、前記深度動画像のフレームが欠落した場合に、欠落した前記フレームの前後のフレームそれぞれに対応する前記３次元点群データと欠落した前記フレームと同時刻の前記カラー動画像のフレームとを参照して、欠落したフレームの画素値を求める補間によって欠落した前記深度動画像のフレームを生成する。
【００１３】
本発明の一態様は、前記動画像フレーム補間装置であって、前記補間手段は、前記カラー動画像のフレームが欠落した場合に、欠落した前記フレームの前後のフレームそれぞれに対応する前記３次元点群データと欠落した前記フレームと同時刻の前記深度動画像のフレームとを参照して、欠落したフレームの画素値を求める補間によって欠落した前記カラー動画像のフレームを生成する。
【００１４】
本発明の一態様は、前記動画像フレーム補間装置であって、前記カラー動画像と前記深度動画像との両方の同時刻のフレームが欠落した前記カラー動画像または前記深度動画像のいずれか一方において、欠落したフレームの補間を行うフレーム補間手段をさらに備え、前記補間手段は、前記フレーム補間手段によって補間した動画像がカラー動画像である場合に、欠落した前記フレームの前後のフレームそれぞれに対応する前記３次元点群データと欠落した前記フレームと同時刻の前記補間によって得られた前記カラー動画像のフレームとを参照して、欠落した深度動画像のフレームの画素値を求める補間によって欠落した前記フレームを生成し、前記フレーム補間手段によって補間した動画像が深度動画像である場合に、欠落した前記フレームの前後のフレームそれぞれに対応する前記３次元点群データと欠落した前記フレームと同時刻の前記補間によって得られた前記深度動画像のフレームとを参照して、欠落したカラー動画像のフレームの画素値を求める補間によって欠落した前記フレームを生成する。
【００１５】
本発明の一態様は、前記動画像フレーム補間装置であって、前記補間手段は、前記カラー動画像中または前記深度動画像中の前記撮影対象の動きの時間的または空間的変化が滑らかになるように補間を行う。
【００１６】
本発明の一態様は、撮影対象の輝度情報で表現されたカラー動画像と撮影対象の深度情報で表現された深度動画像とにおいて、欠落したフレームを補間によって生成する動画像フレーム補間装置が行う動画像フレーム補間方法であって、前記カラー動画像と前記深度動画像とがフレーム同期しており、２つの動画像のいずれか一方の動画像のフレームが欠落した場合に、他方の動画像のフレームの情報に基づき欠落したフレームの補間を行う補間ステップを有する動画像フレーム補間方法である。
【００１７】
本発明の一態様は、コンピュータを、前記動画像フレーム補間装置として機能させるための動画像フレーム補間プログラムである。
【発明の効果】
【００１８】
本発明によれば、同期させたフレームで構成するカラー動画像と深度動画像とを用いて、一方の動画像のフレームが欠落していた場合に他方の動画像の情報を用いて補間するようにしたため、高品質な動画像のフレーム補間が可能になるという効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態による動画像フレーム補間装置の構成を示すブロック図である。
【図２】図１に示す動画像フレーム補間装置１の動作を示すフローチャートである。
【図３】図２に示すステップＳ２の処理（通し番号の付与と時間同期を行う処理）を示す説明図である。
【図４】図２に示すステップＳ２の処理（通し番号の付与と時間同期を行う処理）を示す説明図である。
【図５】図２に示すステップＳ２の処理（通し番号の付与と時間同期を行う処理）を示す説明図である。
【図６】フレームデータを３次元点群として統合する処理を示す説明図である。
【図７】時間方向のフレーム間での各画素の対応付けを行う処理を示す説明図である。
【図８】深度情報を用いてカラー動画像への補間を行う処理を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明の一実施形態による動画像フレーム補間装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、動画像フレーム補間装置である。符号１１は、外部からカラー動画像を取得するカラー動画像取得部である。符号１２は、外部から深度動画像を取得する深度動画像取得部である。符号１３は、カラー動画像取得部１１からの出力であるカラー動画像と、深度動画像取得部１２からの出力である深度動画像とに対して、各フレームへの通し番号を付与するとともに、２つの動画像の時間を同期させるフレーム同期部である。符号１４は、フレーム同期部１３からの出力である２つの動画像（カラー動画像と深度動画像）の各フレームの情報（以下、フレームデータと記載）、即ち、カラー動画像であれば各フレームの色情報、深度動画像であれば各フレームの深度情報 を３次元点群として統合する３次元点群化部である。符号１５は、３次元点群化部１４からの出力である３次元点群のフレーム間対応付けを行うフレーム間対応付け部である。符号１６は、フレーム間対応づけ部１５の出力である、時間方向のフレーム間での各画素の対応付け済みの動画像を入力として、深度動画像に基づく深度情報を用いたカラー動画像のフレームの補間、または、カラー動画像を用いた深度動画像のフレームの補間処理を行う動画像補間部である。符号１７は、動画像補間部１６において補間した動画像のフレームを外部へ出力する補間動画像出力部である。
【００２１】
次に、図２を参照して、図１に示す動画像フレーム補間装置１の動作を説明する。図２は、図１に示す動画像フレーム補間装置１の動作を示すフローチャートである。まず、カラー動画像取得部１１、深度動画像取得部１２のそれぞれは、外部からカラー動画像及び深度動画像を取得する（ステップＳ１）。
【００２２】
カラー動画像及び深度動画像の取得は、両動画像が同一シーンを対象にしているのであればどのような手法を用いても構わない。例えば、記憶装置に保存されたデータを用いても構わないし、深度を取得可能なセンサを搭載したカメラなどのデバイスを用いて取得しても構わない。カメラなどのデバイスを用いる場合、カラー動画像と深度動画像を単一のデバイスで取得しても構わないし、カラー動画像と深度動画像とを別々のデバイスで取得しても構わない。なお、ここで取得したカラー動画像及び深度動画像では、各フレームのフレーム取得時刻も与えられるものとする。
【００２３】
次に、フレーム同期部１３は、各フレームの通し番号の付与及び時間同期を行う（ステップＳ２）。フレーム同期部１３は、カラー動画像取得部１１、深度動画像取得部１２において取得したカラー動画像及び深度動画像に対して、時間同期及び通し番号の付与を行う。ステップＳ２の処理動作を図３、図４、図５を参照して説明する。図３〜図５は、図２に示すステップＳ２の処理（通し番号の付与と時間同期を行う処理）を示す説明図である。なお、両動画像が予め時間的に同期されている場合は、以下の手順における時間的ずれやフレーム間の位置合わせをせずに、取得したカラー動画像と深度動画像のそれぞれについて、先頭フレームから順番に連続したフレーム番号の付与を行う。
【００２４】
フレーム同期部１３は、ステップＳ１において取得したカラー画像及び深度動画像に対して本ステップの処理を行うことで、各動画像における各フレームの正しい時系列順序及び、両動画像のフレーム同士の対応情報が取得できる。また、両動画像の各フレーム間間隔についても、デバイスの撮影速度に応じた一様な値へと修正される。具体的な手順を以下に示す。
【００２５】
取得されたカラー動画像及び深度動画像全体の内、先頭フレーム取得時間が早い動画像を動画像Ｙ、もう一方の動画像を動画像Ｎとする。なお、先頭フレームの取得時刻が同一である場合、どちらを動画像Ｙとしても構わない。動画像Ｙの中で、時間的に最も早い位置に存在するフレームのフレーム番号０を付与する（図３参照）。ここで、既にフレーム番号を付与した動画像Ｙのフレームのうち最大のフレーム番号をｎ、フレーム取得時刻をＴｎとする。ここで、デバイスの１秒当たりのフレーム取得枚数をｆ［ｆｐｓ］として、Ａを（１）式で定義する。
Ａ＝１／ｆ＋ε  ・・・（１）
ここで、εは伝送路などの遅延を考慮して、微小な値を任意で与える。
【００２６】
動画像Ｙの時間［Ｔｎ，Ｔｎ＋Ａ］内にフレームが存在した場合、そのフレームにフレーム番号ｎ＋１を付与する。フレームが存在しない場合、空のフレームを配置し、フレーム番号ｎ＋１を付与する。また、この空のフレームはフレーム取得時刻を持たないので、仮にフレーム取得時刻Ｔｎ＋１を付与する。Ｔｎ＋１は以下の（２）式で表される。以上の処理を、動画像Ｙの末尾まで行う。
Ｔｎ＋１＝Ｔｎ＋１／ｆ  ・・・（２）
【００２７】
その後、動画像Ｎに対しても前述の処理と同様の処理を行う（図４参照）。動画像Ｎの時間［Ｔ０−１／ｆ，Ｔ０＋１／ｆ］でフレームを探索し、フレームが存在した場合、そのフレームにフレーム番号０を付与する。フレームが存在しない場合、空のフレームを配置し、フレーム番号０及び仮にフレーム取得時刻としてＴ０’（＝Ｔ０）を付与する。ここで、既にフレーム番号を付与した動画像Ｎのフレームのうち最大のフレーム番号をｍ、フレーム取得時刻をＴｍ’とする。
【００２８】
動画像Ｎの時間［Ｔｍ’，Ｔｍ’＋Ａ］内にフレームが存在した場合、そのフレームにフレーム番号ｍ＋１を付与する。フレームが存在しない場合、空のフレームを配置し、フレーム番号ｍ＋１を付与する。また、この空のフレームはフレーム取得時刻を持たないので、仮にフレーム取得時刻Ｔｍ＋１’を付与する。Ｔｍ＋１’は以下の（３）式で表される。以上の処理を、動画像Ｎの末尾まで行う。
Ｔｍ＋１’＝Ｔｍ’＋１／ｆ  ・・・（３）
【００２９】
動画像Ｙ及び動画像Ｎの各フレームに与えられたフレーム番号の最大値は同一であり、これをＬと定める（図５参照）。以下の（４）〜（６）式を全フレームに対して適用し、動画像Ｙ及び動画像Ｎのフレーム取得時刻を更新する。
Ｔ０＝０  ・・・（４）
Ｔｎ＝Ｔｎ−１＋１／ｆ  （１≦ｎ≦Ｌ）  ・・・（５）
Ｔｍ’＝Ｔｍ  （０≦ｍ≦Ｌ）  ・・・（６）
【００３０】
次に、３次元点群化部１４は、フレーム同期部１３の出力である、時間同期がとれており、通し番号の付与されているカラー動画像と深度動画像を入力として、両動画像の各フレームの情報（以下、フレームデータと記載）、即ち、カラー動画像であれば各フレームの色情報、深度動画像であれば各フレームの深度情報を３次元点群として統合する（ステップＳ３）。ここで、両フレームデータを３次元点群として統合する処理について、図６を参照して説明する。図６は、フレームデータを３次元点群として統合する処理を示す説明図である。以下ではカラー動画像の１フレームをカラー画像、深度動画像の１フレームを深度画像と称する。
【００３１】
カラー画像の各画素は、撮影対象の色情報を持つ。深度画像の各画素は、撮影対象の奥行き距離情報（深度情報）を持つ。同じフレーム番号を持つカラー画像と深度画像に対して、各画素の画素位置が同じ画素同士の深度情報と色情報を統合することで、深度画像の画素ごとに３次元空間における色情報を持った点を生成し、各フレーム番号に対応する色情報付き３次元点群を生成する。なお、カラー画像が空のフレーム番号に対しては、色情報のない３次元点群（以下、色情報無３次元点群）が生成されることになる。
【００３２】
この処理は、カラー画像と深度画像の空間解像度が同一であると仮定して行われている。しかし、両画像の空間解像度が異なる場合は、事前に解像度が低い画像をアップサンプリング、又は解像度が高い画像をダウンサンプリングすることで、同じ空間解像度を持つようにすることで同様の処理が行える。なお、アップサンプルやダウンサンプルにはどのようなフィルタを用いても構わない。
【００３３】
次に、フレーム間対応付け部１５は、３次元点群化部１４の出力である３次元点群を入力として、３次元点群のフレーム間対応付けを行う（ステップＳ４）。フレーム間対応付け部１５は、ステップＳ３において取得した色情報付き３次元点群を対象として、時間方向のフレーム間での各画素の対応付けを行う。ここで、時間方向のフレーム間での各画素の対応付けを行う処理について図７を参照して説明する。図７は、時間方向のフレーム間での各画素の対応付けを行う処理を示す説明図である。
【００３４】
色情報付き３次元点群のフレーム間の対応付けを、各画素の持つカラー情報と深度情報を用いてオプティカルフローを検出することで行う（図７参照）。この対応付け処理は、全ての色情報付き３次元点群を持つフレームに対して行うが、ある色情報付き３次元点群を持つフレームＳに対して、色情報付き３次元点群を持つフレームのうち、フレーム番号がフレームＳのフレーム番号よりも大きく、その差分が最も小さいフレームＤとの間で行う。
【００３５】
従来の動画像に対するオプティカルフロー（参考文献１参照）では、画像平面に投影した動きベクトルしか表現できなかったが、本ステップの処理のように深度情報を用いることで、３次元上での動きベクトルを検出することが可能となり、より正確なオプティカルフローを検出することが可能となる。
参考文献１：「B. D. Lucas and T. Kanade, “An Iterative Image Registration Technique with an Application to Stereo Vision,” in Proc. of Int. Joint Conf. on Artificial Intelligence, pp.674-679, Aug.」
【００３６】
次に、動画像補間部１６は、フレーム間対応付け部１５の出力である、時間方向のフレーム間での各画素の対応付け済みの動画像を入力として、深度情報を用いてカラー動画像の各フレームへの補間処理を行う（ステップＳ５）。そして、補間によって得られた補間動画像を外部へ出力する（ステップＳ６）。ここで、深度情報を用いてカラー動画像への補間を行う処理について、図８を参照して説明する。図８は、深度情報を用いてカラー動画像への補間を行う処理を示す説明図である。
【００３７】
ここでの処理は色情報がない３次元点群を持つフレームに対して行われる。以下の説明では、処理対象となるフレームをフレームＴ、フレーム番号がフレームＴのフレーム番号よりも大きくて、そのフレームとフレームＴとのフレーム番号の差が最も小さい色情報付きの３次元点群を持つフレームをフレームＦ、フレーム番号がフレームＴのフレーム番号よりも小さくて、そのフレームとフレームＴとのフレーム番号の差が最も小さい色情報付き３次元点群を持つフレームをフレームＰとする。
【００３８】
まず、フレームＴにおける推定３次元点群と、その推定３次元点群とフレームＦ及びフレームＰの３次元点群との対応関係を求める。すなわち、ステップＳ４（フレーム間対応付け）の結果、フレームＦの３次元点群とフレームＰの３次元点群との対応関係が得られているため、フレームＰの各３次元点がフレームＦの対応する３次元点へ移動したとみなして、その間に存在するフレームＴにおける３次元点群を推定し、３次元点の対応関係を与える。
【００３９】
このフレームＰのある３次元点がフレームＦの対応する３次元点へ移動したとする際の、移動方向及び移動距離を表すベクトルを動きベクトルと定義し、複数の点における動きベクトルの集合のことを動きベクトル場と定義する。このとき、フレームＰからフレームＦへの動きベクトル場によって示される各３次元点の運動を、等速直線運動や等加速度運動とみなしても構わない。また、ステップＳ４の結果、フレームＰに対して、更に過去のフレームとの対応関係が与えられている場合は、フレームＰにおける各３次元点の速度ベクトルや加速度ベクトルを計算し、それらを考慮して、フレームＰとフレームＦとの間の３次元点の運動を仮定しても構わない。
【００４０】
一方、ステップＳ４の結果、フレームＦに対して、さらに未来のフレームとの対応関係が与えられている場合は、フレームＦにおける速度ベクトルや加速度ベクトルを計算し、それらを考慮して、フレームＰとフレームＦとの間の３次元点の運動を仮定しても構わない。
【００４１】
次に、動画像補間部１６は、推定３次元点群に対して色情報を付与する。この処理は、各推定３次元点に対応付けられたフレームＰ及びフレームＦの色情報付き３次元点の持つ色情報を用いて、推定３次元点の色情報を決定することで行われる。どのような方法を用いても構わないが、例えば、対応付けられたフレームＰ及びフレームＦの色情報付き３次元点の持つ色情報のどちらか一方を、推定３次元点の色情報としても構わない。また、対応付けられたフレームＰ及びフレームＦの色情報付き３次元点の持つ色情報の平均値からなる色情報や、フレームＴ、フレームＰ及びフレームＦの時間間隔に従って、それらの色情報を重み付き加算して生成される色情報を与えても構わない。
【００４２】
推定３次元点群に色情報が与えられたら、フレームＴの色情報無３次元点群と、推定３次元点群を対応付けることで、色情報無３次元点群に対して色情報を与える。色情報無３次元点群と推定３次元点群を対応付ける処理にはどのようなものを用いても構わない。例えば、対応付いた３次元点間の距離の差の合計が最小となるように、対応付けを求めても構わない。別の方法としては、色情報無３次元点ごとに、距離の差が最小となるように推定３次元点を対応付けても構わない。この場合、１つの推定３次元点が複数の色情報無３次元点に対応付くこともある。色情報無３次元点群と推定３次元点群の対応付けが得られたら、その対応関係に基づいて、推定３次元点の色情報を色情報無３次元点の色情報とする。
【００４３】
フレームＴの３次元点群に色情報が与えられたら、その３次元点群を画像平面上に投影することで、フレームＴのカラー画像が得られ、カラー動画像のフレーム補間が実現される。
【００４４】
前述の説明では、１つの色情報無３次元点について１つの推定３次元点を対応付けているが、１つの色情報無３次元点に複数の推定３次元点を対応付けても構わない。その場合、対応付けられた複数の推定３次元点の色情報の平均値や中央値などを、色情報無３次元点の色情報として付与することができる。また、単純な平均値や中央値ではなく、３次元点間の距離を考慮した重み付けを行っても構わない。
【００４５】
また、前述の説明では、推定３次元点の色情報を求めた後に、色情報無３次元点の色情報を求めているが、推定３次元点の色情報は求めずに、対応関係に基づいて、フレームＰ及びフレームＦの色情報付き３次元点から、直接、色情報無３次元点の色情報を求めても構わない。その場合、どのような処理を行っても構わない。例えば、フレームＰ及びフレームＦにおける速度ベクトルや加速度ベクトルを計算し、それらを考慮して、フレームＰとフレームＦとの間の３次元点の運動を仮定し、フレームＴにおける色情報付き３次元点を求めても構わない。例えば、フレームＰとフレームＦにおける加速度ベクトルの差がある値以下の場合、フレームＰとフレームＦの間で３次元点は等加速度運動をしているとみなし、等加速度運動方程式を用いてフレームＴにおける色情報付３次元点を求めても構わない。
【００４６】
また、時間的な動きベクトルの変化の自然さと、空間的な動きベクトルの変化の自然さとを考慮して、フレームＴにおける色情報付き３次元点を求めても構わない。その場合、どのような処理を行っても構わない。
【００４７】
ここで時間的または空間的な動きベクトルの変化の自然さとは、動きベクトルの変化によって示される物体の運動が現実空間において発生しうる度合を表したものである。例えば、時間的または空間的な動きベクトルの変化の自然さは、動きベクトルの時間的または空間的な変化の滑らかさによって表すことができる。これは、現実空間において物体の運動が時間的に急激に変化しないことや、同じ物体上の点は同じ運動に従うことに基づいている。なお、空間的な動きベクトルの変化の自然さを考慮するために、フレームＰとフレームＦとの間の３次元点の運動を仮定して求めたフレームＴにおける色情報付き３次元点と、フレームＰもしくはフレームＦにおける色情報付き３次元点との間の、各対応点同士の移動ベクトルが交差しないことを制約として加えることで、フレームＴにおける色情報付き３次元点を求めても構わない。
【００４８】
また、時間的な動きベクトルの変化の自然さを考慮するために、フレームＰとフレームＦとの間の３次元点の運動を仮定して求めたフレームＴにおける色情報付き３次元点とフレームＰにおける色情報付き３次元点との間の各対応点同士の移動ベクトルの大きさと、フレームＰとフレームＦとの間の３次元点の運動を仮定して求めたフレームＴにおける色情報付き３次元点とフレームＦにおける色情報付き３次元点との間の各対応点同士の移動ベクトルの大きさとの差分がある一定以上の値にならないという条件を制約として加えることで、フレームＴにおける色情報付き３次元点を求めても構わない。
【００４９】
次に、カラー情報を用いた深度動画像への補間処理について以下に詳細を示す。ここでの処理は、色情報のみが存在し、深度情報を持たないフレームに対して行われる。以下の説明では、処理対象となるフレームをフレームＴ、フレーム番号がフレームＴのフレーム番号よりも大きくて、そのフレームとフレームＴとのフレーム番号の差が最も小さい色情報付き３次元点群を持つフレームをフレームＦ、フレーム番号がフレームＴのフレーム番号よりも小さくて、そのフレームとフレームＴとのフレーム番号の差が最も小さい色情報付き３次元点群を持つフレームをフレームＰとする。
【００５０】
まず、オプティカルフローなどを用いて、フレームＴにおける各画素と、フレームＦ及びフレームＰの各画素との対応付けを行う。各画素の対応付けには、どのような処理を用いても構わない。これによりフレームＰとフレームＴとの間の各画素の画像平面上での移動ベクトル及び、フレームＴとフレームＦとの間の各画素の画像平面上での移動ベクトルが算出される。
【００５１】
この移動ベクトルは、画像平面と平行な成分のみしか持っていないため、画像平面と垂直な方向の成分を導出する。この場合どのような処理を用いても構わない。例えば、ある領域を同一の動きベクトル場を持つとみなし、当該領域がフレームＰ及びフレームＴで占める画素面積を求め、フレームＰにおける当該領域の画素面積とフレームＴにおける当該領域の画素面積の差から、フレームＰとフレームＴとの間での当該領域の動きベクトル場の画像平面と垂直な方向の成分を導出しても構わない。また、当該領域のぼけ具合の差から、フレームＰとフレームＴとの間での当該領域の動きベクトル場の画像平面と垂直な方向の成分を導出しても構わない。
【００５２】
フレームＴの３次元点群に深度情報が与えられたら、その３次元点群を画像平面上に投影することで、フレームＴの深度画像が得られ、深度動画像のフレーム補間が実現される。
【００５３】
また、補間対象となるフレームに、カラー画像も深度画像も存在しない場合は、どちらか一方の画像を公知のフレーム補間技術を用いて補間した後、上記、深度情報を用いた、カラー動画像への補間処理、もしくはカラー情報を用いた、深度動画像への補間処理を行う。この時、従来のフレーム補間技術を用いた補間は、カラー画像と深度画像のどちらに対して行ってもよい。
【００５４】
最後に、補間動画像出力部１７は、動画像補間部１６において補間した動画像をフレームごとの静止画像、もしくは動画ファイルとして出力する。これらの出力方式はどちらを用いても構わない。
【００５５】
以上説明したように、ある時刻のフレームのカラーデータ（カラー画像）が欠落した映像に対して、そのシーンにおける深度情報を用いることで、より高品質に動画像フレーム間の補間を行うことが可能となる。また、ある時刻のフレームの深度画像が欠落した映像に対して、そのシーンにおけるカラー画像を用いることで、より高品質に動画像フレーム間の補間を行うことが可能となる。
【００５６】
この構成によれば、カラーデータから取得できる各画素の色情報と、画像平面上における２次元方向の情報に加え、深度情報が持つ奥行き方向の情報を併用することで、フレーム間の動きベクトル場がより高精度に推定可能となるため、高品質な動画像のフレーム補間が可能になる。
【００５７】
前述した実施形態における動画像フレーム補間装置１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００５８】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００５９】
カラー画像と深度画像によって、相互のフレーム間の補間を行うことが不可欠な用途にも適用できる。
【符号の説明】
【００６０】
１・・・動画像フレーム補間装置、１１・・・カラー動画像取得部、１２・・・深度動画像取得部、１３・・・フレーム同期部、１４・・・３次元点群化部、１５・・・フレーム間対応付け部、１６・・・動画像補間部、１７・・・補間動画像出力部
【図１】
2017050731.tif 000003
【図２】
2017050731.tif 000004
【図３】
2017050731.tif 000005
【図４】
2017050731.tif 000006
【図５】
2017050731.tif 000007
【図６】
2017050731.tif 000008
【図７】
2017050731.tif 000009
【図８】
2017050731.tif 000010