(57)【要約】  本発明では、拡張現実技術に基づき、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成すると共に、目標ピクチャに関連するビデオファイルをビデオストリーミングとオーディオストリーミングに分離した後、ビデオストリーミングにおけるビデオの画像をテクスチャとしてフレーム毎に３Ｄモデルに写像してグラフィックスレンダリングを行い、最後に、ビデオカメラがキャプチャしたシーン画像と、レンダリングによって生成された３Ｄモデルとを融合して出力し、オーディオストリーミングを同期的に出力する拡張現実技術に基づくビデオ再生方法が開示される。これに対応して、本発明では、新聞や雑誌等活字媒体上のピクチャ情報をビデオ情報に容易に変換でき、ビデオとピクチャの空間位置が完全にフィットすることで、ユーザが「景色に情感を込める」という全く新しい視聴体験を楽しめる拡張現実技術に基づくビデオ再生システム及び携帯端末も開示される。新聞や雑誌などの紙媒体は、本発明の技術によって情報の多様的な伝達を実現することができ、正確且つ迅速なビデオプッシュサービスを提供することができる。
2015528961.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラがキャプチャした現在のシーン画像に基づいて、現在のシーン画像における目標ピクチャとマッチするサンプル画像、及び前記サンプル画像に対応するビデオファイルを画像データベースから検索するステップと、
前記サンプル画像に対応するビデオファイルに対してオーディオ・ビデオ分離及びデコーディングを行うことで、ビデオ画像列及びオーディオデータを得るステップと、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得ると共に、前記ホモグラフィ行列に基づいて、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成するステップと、
前記ビデオ画像列における各フレームの画像をテクスチャとしてフレーム毎に前記３Ｄモデルに写像し、グラフィックスレンダリングを行うステップと、
ビデオカメラがキャプチャした現在のシーン画像と、レンダリングによって生成された３Ｄモデルとを融合して出力し、表示すると共に、前記オーディオデータの出力を同期的に行うステップとを含む、拡張現実技術に基づくビデオ再生方法。
【請求項２】
前記の、ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップは、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションをリアルタイム且つ継続的に行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップを含む、請求項１に記載の方法。
【請求項３】
前記の、ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップは、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、初期的ホモグラフィ行列を得るステップと、
画像のレジストレーションが成功的に行われた画像特徴点、初期的ホモグラフィ行列、及びビデオカメラがリアルタイムでキャプチャした現在のシーン画像に基づいて、目標ピクチャに対するオプティカルフロー追跡を行い、追跡アルゴリズムによってホモグラフィ行列を得るステップとを含む、請求項１に記載の方法。
【請求項４】
前記目標ピクチャに対するオプティカルフロー追跡に追跡外れが発生したか否かを判定し、追跡外れが発生した場合、ビデオカメラがキャプチャした現在のシーン画像に対して再び特徴点の検出及び画像のレジストレーションを行うステップをさらに含む、請求項３に記載の方法。
【請求項５】
前記の、ビデオカメラがキャプチャした現在のシーン画像に基づいて、現在のシーン画像における目標ピクチャとマッチするサンプル画像、及び前記サンプル画像に対応するビデオファイルを画像データベースから検索するステップは、
ビデオカメラが目標ピクチャを含む現在のシーン画像をキャプチャするステップと、
ビデオカメラがキャプチャした現在のシーン画像に対して特徴の検出を行って画像の特徴点を抽出すると共に、画像の特徴点に対して特徴記述を行うことで、画像全体の特徴記述データを得るステップと、
現在のシーン画像の特徴記述データに基づいて、画像データベースから画像を検索し、現在のシーン画像における目標ピクチャとマッチするサンプル画像、及び前記サンプル画像に対応するビデオファイルを得るステップとを含む、請求項１から４のいずれか１項に記載の方法。
【請求項６】
目標ピクチャを含む現在のシーン画像をキャプチャする撮影モジュールと、
前記撮影モジュールがキャプチャした現在のシーン画像に対して特徴点の検出及び抽出を行うと共に、特徴点記述を生成することで、現在のシーン画像の特徴記述データを得る画像特徴抽出モジュールと、
前記画像特徴抽出モジュールからの、現在のシーン画像の特徴記述データを受信すると共に、画像データベースにおいて検索を行い、マッチしたサンプル画像の特徴記述データを画像レジストレーションモジュールに送信すると共に、マッチしたサンプル画像に対応するビデオリソースのＵＲＬをオーディオ・ビデオ分離及びデコーディングモジュールに送信する画像検索モジュールと、
前記画像検索モジュールからのサンプル画像の特徴記述データと、前記画像特徴抽出モジュールが生成した現在のシーン画像の特徴記述データとに基づいて、前記撮影モジュールがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ホモグラフィ行列を得る画像レジストレーションモジュールと、
前記画像検索モジュールで得られたビデオリソースのＵＲＬに基づいて、対応するビデオファイルを見つけ出すと共に、前記ビデオファイルに対してオーディオ・ビデオ分離及びデコーディングを行うことで、ビデオ画像列及びオーディオデータを得、且つ前記ビデオ画像列をグラフィックスレンダリングモジュールに送信し、前記オーディオデータをオーディオ・ビデオ出力モジュールに送信するオーディオ・ビデオ分離及びデコーディングモジュールと、
前記画像レジストレーションモジュールで算出されたホモグラフィ行列に基づいて、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成すると共に、前記オーディオ・ビデオ分離及びデコーディングモジュールで抽出されたビデオの各フレームの画像をテクスチャとしてフレーム毎に前記３Ｄモデルに写像することで、グラフィックスレンダリングを完成するグラフィックスレンダリングモジュールと、
前記撮影モジュールがキャプチャした現在のシーン画像と、前記グラフィックスレンダリングモジュールがレンダリングを行って生成した３Ｄモデルとを融合して出力し、表示すると共に、前記オーディオデータの出力を同期的に行うオーディオ・ビデオ出力モジュールとを備える、拡張現実技術に基づくビデオ再生システム。
【請求項７】
前記画像レジストレーションモジュールは、前記撮影モジュールがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションをリアルタイム且つ継続的に行い、前記撮影モジュールの姿勢を算出し、ホモグラフィ行列を得る、請求項６に記載のシステム。
【請求項８】
前記システムは、前記画像レジストレーションモジュールと前記グラフィックスレンダリングモジュールとの間に接続され、且つ前記撮影モジュールにも接続される追跡モジュールをさらに備え、前記追跡モジュールは、前記撮影モジュールがキャプチャした現在のシーン画像における目標ピクチャと、サンプルピクチャとのマッチングが成功的に行われた後に、前記撮影モジュールがキャプチャした現在のシーン画像における目標ピクチャに対してオプティカルフロー追跡を行い、ホモグラフィ行列を算出する、請求項６に記載のシステム。
【請求項９】
前記追跡モジュールは、目標ピクチャへの追跡に追跡外れが発生した際に、前記撮影モジュールがキャプチャした現在のシーン画像に対して再び特徴点を検出することを前記画像特徴抽出モジュールに指示すると共に、再び画像のレジストレーションを行うことを前記画像レジストレーションモジュールに指示する、請求項８に記載のシステム。
【請求項１０】
請求項６から９のいずれか１項に記載の、拡張現実技術に基づくビデオ再生システムを備える携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル拡張現実分野に関し、特に拡張現実技術に基づくビデオ再生方法及びビデオ再生システム、並びに携帯端末に関する。
【背景技術】
【０００２】
モバイル拡張現実（Ｍｏｂｉｌｅ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）とは、携帯端末に基づく拡張現実のことであり、拡張現実（ＡＲ）技術とモバイルコンピューティングとの結合によって生まれた研究方向であり、近年においてヒューマンコンピュータインタラクション分野で注目されているホットスポットの１つである。モバイル拡張現実は、コンピュータグラフィックス技術及び可視化技術によって、仮想情報を現実の環境にあるシーンにリアルタイムに「隙間なく」融合させ、仮想情報で現実のシーンを拡張したり強化したりするという従来の拡張現実の本質を有しながら、携帯端末プラットフォームとの組み合わせにより、拡張現実技術の「モビリティ」という特性を最大限に発揮し、従来のＰＣプラットフォームとは全く異なる斬新な知覚的体験と対話モード（ｉｎｔｅｒａｃｔｉｖｅ  ｍｏｄｅ）をユーザにもたらすことができるものである。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の拡張現実システムは、主に仮想三次元モデルを現実のシーンに直接的に重ねるものであり，使用範囲が限られている。
【０００４】
また、従来の携帯端末におけるビデオの再生は、基本的に、一般のビデオ再生ソフトウェアによって行われる。例えば、ネットワークにおいて検索してきたビデオを携帯電話で視聴しようとする場合には、ネットワークで当該ビデオを検索してきた後に、一般の再生ソフトウェアで当該ビデオを再生するしかない。このように、従来のビデオ再生方法は、比較的古くて新鮮さがなく、従来のＰＣプラットフォームと異なる知覚的体験と対話モードをユーザにもたらすことができない。
【０００５】
本発明の目的は、拡張現実技術に基づくビデオ再生方法及びビデオ再生システム、並びに携帯端末を提供することにある。この方法及びシステム、並びに携帯端末によれば、拡張現実技術の使用範囲を広げると共に、従来のビデオ再生方法に存在する、古くて新鮮さがないという課題を解決できる。本発明のシステムによれば、新聞や雑誌等活字媒体上のピクチャ情報をビデオ情報に変換することができ、ビデオの空間位置とピクチャの空間位置が完全にフィットすることで、ユーザは「景色に情感を込める」という全く新しい視聴体験を楽しむことができる。
【課題を解決するための手段】
【０００６】
上記発明の目的を達成するために、本発明は、
ビデオカメラがキャプチャした現在のシーン画像に基づいて、現在のシーン画像における目標ピクチャとマッチするサンプル画像、及び前記サンプル画像に対応するビデオファイルを画像データベースから検索するステップと、
前記サンプル画像に対応するビデオファイルに対してオーディオ・ビデオ分離及びデコーディングを行うことで、ビデオ画像列及びオーディオデータを得るステップと、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得ると共に、前記ホモグラフィ行列に基づいて、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成するステップと、
前記ビデオ画像列における各フレームの画像をテクスチャとしてフレーム毎に前記３Ｄモデルに写像し、グラフィックスレンダリングを行うステップと、
ビデオカメラがキャプチャした現在のシーン画像と、レンダリングによって生成された３Ｄモデルとを融合して出力し、表示すると共に、前記オーディオデータの出力を同期的に行うステップとを含む、拡張現実技術に基づくビデオ再生方法を提供する。
【０００７】
前記の、ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップは、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションをリアルタイム且つ継続的に行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップを含むことが好ましい。
【０００８】
前記の、ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップは、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、初期的ホモグラフィ行列を得るステップと、
画像のレジストレーションが成功的に行われた画像特徴点、初期的ホモグラフィ行列、及びビデオカメラがリアルタイムでキャプチャした現在のシーン画像に基づいて、目標ピクチャに対するオプティカルフロー追跡を行い、追跡アルゴリズムによってホモグラフィ行列を得るステップとを含むことが好ましい。
【０００９】
目標ピクチャに対してオプティカルフロー追跡を行う際に、前記方法は、前記目標ピクチャに対するオプティカルフロー追跡に追跡外れが発生したか否かを判定し、追跡外れが発生した場合、ビデオカメラがキャプチャした現在のシーン画像に対して再び特徴点の検出及び画像のレジストレーションを行うステップをさらに含むことが好ましい。
【００１０】
前記の、ビデオカメラがキャプチャした現在のシーン画像に基づいて、現在のシーン画像における目標ピクチャとマッチするサンプル画像、及び前記サンプル画像に対応するビデオファイルを画像データベースから検索するステップは、
ビデオカメラが目標ピクチャを含む現在のシーン画像をキャプチャするステップと、
ビデオカメラがキャプチャした現在のシーン画像に対して特徴の検出を行って画像の特徴点を抽出すると共に、画像の特徴点に対して特徴記述を行うことで、画像全体の特徴記述データを得るステップと、
現在のシーン画像の特徴記述データに基づいて、画像データベースから画像を検索し、現在のシーン画像における目標ピクチャとマッチするサンプル画像、及び前記サンプル画像に対応するビデオファイルを得るステップとを含むことが好ましい。
【００１１】
上記に対応して、本発明は、
目標ピクチャを含む現在のシーン画像をキャプチャする撮影モジュールと、
前記撮影モジュールがキャプチャした現在のシーン画像に対して特徴点の検出及び抽出を行うと共に、特徴点記述を生成することで、現在のシーン画像の特徴記述データを得る画像特徴抽出モジュールと、
前記画像特徴抽出モジュールからの、現在のシーン画像の特徴記述データを受信すると共に、画像データベースにおいて検索を行い、マッチしたサンプル画像の特徴記述データを画像レジストレーションモジュールに送信すると共に、マッチしたサンプル画像に対応するビデオリソースのＵＲＬをオーディオ・ビデオ分離及びデコーディングモジュールに送信する画像検索モジュールと、
前記画像検索モジュールからのサンプル画像の特徴記述データと、前記画像特徴抽出モジュールが生成した現在のシーン画像の特徴記述データとに基づいて、前記撮影モジュールがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ホモグラフィ行列を得る画像レジストレーションモジュールと、
前記画像検索モジュールで得られたビデオリソースのＵＲＬに基づいて、対応するビデオファイルを見つけ出すと共に、前記ビデオファイルに対してオーディオ・ビデオ分離及びデコーディングを行うことで、ビデオ画像列及びオーディオデータを得、且つ前記ビデオ画像列をグラフィックスレンダリングモジュールに送信し、前記オーディオデータをオーディオ・ビデオ出力モジュールに送信するオーディオ・ビデオ分離及びデコーディングモジュールと、
前記画像レジストレーションモジュールで算出されたホモグラフィ行列に基づいて、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成すると共に、前記オーディオ・ビデオ分離及びデコーディングモジュールで抽出されたビデオの各フレームの画像をテクスチャとしてフレーム毎に前記３Ｄモデルに写像することで、グラフィックスレンダリングを完成するグラフィックスレンダリングモジュールと、
前記撮影モジュールがキャプチャした現在のシーン画像と、前記グラフィックスレンダリングモジュールがレンダリングを行って生成した３Ｄモデルとを融合して出力し、表示すると共に、前記オーディオデータの出力を同期的に行うオーディオ・ビデオ出力モジュールとを備える、拡張現実技術に基づくビデオ再生システムをも提供する。
【００１２】
前記画像レジストレーションモジュールは、前記撮影モジュールがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションをリアルタイム且つ継続的に行い、前記撮影モジュールの姿勢を算出し、ホモグラフィ行列を得ることが好ましい。
【００１３】
前記システムは、前記画像レジストレーションモジュールと前記グラフィックスレンダリングモジュールとの間に接続され、且つ前記撮影モジュールにも接続される追跡モジュールをさらに備え、前記追跡モジュールは、前記撮影モジュールがキャプチャした現在のシーン画像における目標ピクチャと、サンプルピクチャとのマッチングが成功的に行われた後に、前記撮影モジュールがキャプチャした現在のシーン画像における目標ピクチャに対してオプティカルフロー追跡を行い、ホモグラフィ行列を算出することが好ましい。
【００１４】
前記追跡モジュールは、目標ピクチャへの追跡に追跡外れが発生した際に、前記撮影モジュールがキャプチャした現在のシーン画像に対して再び特徴点を検出することを前記画像特徴抽出モジュールに指示すると共に、再び画像のレジストレーションを行うことを前記画像レジストレーションモジュールに指示することが好ましい。
【００１５】
上記に対応して、本発明は、上述した拡張現実技術に基づくビデオ再生システムを備える携帯端末をも提供する。
【発明の効果】
【００１６】
従来技術と比べて、本発明は下記に示す有益効果を有している。
【００１７】
１．ビデオを現実のシーンに重ねることができる。例えば、本発明のシステムによれば、新聞や雑誌等活字媒体上のピクチャ情報をビデオ情報に変換することができ、ビデオの空間位置とピクチャの空間位置が完全にフィットすることで、ユーザは「景色に情感を込める」という全く新しい視聴体験を楽しむことができる。
【００１８】
２．正確且つ迅速なビデオプッシュサービスを提供することができる。
【００１９】
３．ＳＦ的視聴効果を有する全く新しい対話モードをモバイルインターネットユーザに提供することができる。
【００２０】
本発明の実施形態又は従来技術に係る技術構想をより明確に説明するために、以下、実施形態又は従来技術の説明に必要な図面を簡単に説明する。以下に記載される図面は本発明の実施形態の一部を示すものであり、当業者は創造的労力を要しない前提において、これらの図面に基づいて他の図面を得られることは明らかである。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態１に係る、拡張現実技術に基づくビデオ再生システムの構成を示す模式図である。
【図２】本発明の実施形態２に係る、拡張現実技術に基づくビデオ再生システムの構成を示す模式図である。
【図３】本発明の実施形態３に係る、拡張現実技術に基づくビデオ再生方法のフローチャートである。
【図４】本発明の実施形態４に係る、拡張現実技術に基づくビデオ再生方法のフローチャートである。
【図５】本発明の実施形態の効果を示す模式図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態の図面を参照しながら、発明の実施形態に係る技術構想を明確且つ十分に説明する。記載される実施形態は本発明の実施形態の一部にすぎず、全ての実施形態ではないことは明らかなことである。当業者が創造的労力を要しない前提において本発明の実施形態から得られた全ての他の実施形態は、本発明の保護範囲内にある。
【００２３】
本発明は、拡張現実技術の利用を拡大し，従来のビデオ再生方法に存在する、古くて新鮮さがないという課題を主に解決するものである。本発明のシステムによれば、新聞や雑誌などの活字媒体上のピクチャ情報をビデオ情報に変換することができ、ビデオの空間位置とピクチャの空間位置が完全にフィットすることで、ユーザは「景色に情感を込める」という全く新しい視聴体験を楽しむことができる。したがって、本発明に係る技術の核心は、如何にしてビデオを現実のシーンにおけるある画像領域に「重ねる」かにある。
【００２４】
以下、図面を参照しながら、本発明の各実施形態を詳細に説明する。
【００２５】
実施形態１
図１は、本発明の実施形態１に係る、拡張現実技術に基づくビデオ再生システムの構成を示す模式図であり、図１に示すように、該ビデオ再生システムは、撮影モジュール１（撮影モジュールは携帯端末におけるビデオカメラを含む）、画像特徴抽出モジュール２、画像検索モジュール３、画像レジストレーションモジュール４、オーディオ・ビデオ分離及びデコーディングモジュール５、グラフィックスレンダリングモジュール６及びオーディオ・ビデオ出力モジュール７を備える。
【００２６】
前記撮影モジュール１は、目標ピクチャを含む現在のシーン画像をキャプチャするためのものであり、画像特徴抽出モジュール２とオーディオ・ビデオ出力モジュール７のそれぞれに接続されている。該撮影モジュール１がキャプチャした画像は、特徴の抽出を行うために画像特徴抽出モジュール２に送信されると共に、融合、出力及び表示を行うためにオーディオ・ビデオ出力モジュール７に送信される。
【００２７】
前記画像特徴抽出モジュール２は、撮影モジュール１がキャプチャした現在のシーン画像に対して特徴点の検出及び抽出を行うと共に、特徴点記述を生成することで、現在のシーン画像の特徴記述データを得、且つ特徴記述データを画像検索モジュール３に送信する。
【００２８】
前記画像検索モジュール３は、前記画像特徴抽出モジュール２からの、現在のシーン画像の特徴記述データを受信すると共に、当該特徴記述データとマッチするサンプル画像をサーバー側の画像データベースから検索し、マッチしたサンプル画像の特徴記述データを画像レジストレーションモジュール４に送信すると共に、マッチしたサンプル画像に対応するビデオリソースのＵＲＬをオーディオ・ビデオ分離及びデコーディングモジュール５に送信する。
【００２９】
前記画像レジストレーションモジュール４は、画像検索モジュール３からのサンプル画像の特徴記述データと、画像特徴抽出モジュール２が生成した現在のシーン画像の特徴記述データとに基づいて、撮影モジュールがキャプチャした現在のシーン画像と、サンプル画像のレジストレーションをリアルタイム且つ継続的に行い、撮影モジュールの姿勢を算出し、ホモグラフィ行列を得、且つホモグラフィ行列をグラフィックスレンダリングモジュール６に送信する。
【００３０】
前記オーディオ・ビデオ分離及びデコーディングモジュール５は、画像検索モジュール３で得られたビデオリソースのＵＲＬに基づいて、対応するビデオファイル（ビデオカメラがキャプチャした画像と関連するビデオ）を見つけ出すと共に、前記ビデオファイルに対してオーディオ・ビデオ分離及びデコーディングを行うことで、ビデオ画像列（ビデオストリーミング）及びオーディオデータ（オーディオストリーミング）を得、更に、ビデオ画像列（ビデオストリーミング）に対して、ビデオの各フレームの画像を逐一抽出してグラフィックスレンダリングモジュール６に送信すると共に、前記オーディオデータをオーディオ・ビデオ出力モジュール７に送信する。
【００３１】
前記グラフィックスレンダリングモジュール６は、画像レジストレーションモジュール４で算出されたホモグラフィ行列に基づいて、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成すると共に、オーディオ・ビデオ分離及びデコーディングモジュールで抽出された、ビデオの各フレームの画像をテクスチャとして画像毎に前記３Ｄモデルに写像し且つリアルタイムで更新を行うことで、グラフィックスレンダリングを完成する。前記目標ピクチャを完全に覆い隠すことは、目標ピクチャと重なることを含む。例えば、目標ピクチャが長方形である場合には、該目標ピクチャと完全に重なる長方形平面３Ｄモデルを作成する一方、目標ピクチャが非矩形状である場合には、該目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成する。
【００３２】
前記オーディオ・ビデオ出力モジュール７は、ビデオカメラモジュール１がキャプチャした現在のシーン画像と、グラフィックスレンダリングモジュール６がレンダリングを行って生成した３Ｄモデルとを融合して出力し、表示すると共に、オーディオデータの出力を同期的に行う。
【００３３】
オーディオデータとビデオの画像との同期を実現するには、ビデオファイルがビデオストリーミングとオーディオストリーミングに分離された後に、これらに対してデータパケットへの分割を行う必要がある。ビデオデータパケットは、そのタイムスタンプに基づく順に連結リストを構成し、オーダードキューを形成するが、各データパケットに対してデコーディングを行ってその中の画像を抽出すれば、ビデオ画像列が得られる。画像列の出力はタイムスタンプを用いて制御される。グラフィックスレンダリングモジュールがビデオの画像をテクスチャとして３Ｄモデルに写像する際に、出力される画像は時間の経過につれて順序的に変化し、これに伴って３Ｄモデルのテクスチャも変化するので、このようにしてビデオの再生が完成する。また、オーディオストリーミングもデータパケットに分割され、ビデオデータパケットのタイムスタンプを基準にしてオーディオデータパケットの出力を調整し、オーディオ・ビデオを同期的に出力するようにしている。
【００３４】
本実施形態では、１回のビデオ再生において、画像検索モジュール３は原則上、撮影モジュールがキャプチャした画像とサンプル画像との成功的なマッチング検索を１回のみ行い、サンプル画像と、サンプル画像に対応するビデオリソースを見つけ出すようになっている。一方、撮影モジュール１は、シーン画像のキャプチャを終始継続的に行うようになっている。画像特徴抽出モジュール２も、撮影モジュールがキャプチャしたシーン画像に対して特徴の抽出を常に行うようになっている。画像レジストレーションモジュール４は、撮影モジュール１がキャプチャした現在のシーン画像と、サンプル画像とに対してリアルタイム且つ継続的にレジストレーションを行い、撮影モジュールのリアルタイムの姿勢を算出し、撮影モジュール１のリアルタイムの姿勢に対応するホモグラフィ行列を継続的に得るようになっている。このため、本実施形態に係るシステムでは、撮影モジュールがキャプチャしたピクチャ毎に対して特徴の検出及びレジストレーションを行うようになっているため、実際に使用する際に、スピードが影響を及ぼすおそれがある。
【００３５】
図５は、本実施形態における、ビデオを重ねる効果を示す模式図である。図５に示すように、撮影モジュールがキャプチャした現在のシーン画像は、すなわち図５におけるビデオカメラがキャプチャした現実のシーン画像である。図５に示す例において、現実のシーン画像に含まれる目標ピクチャは長方形ピクチャであり、本実施形態に係るシステムによって、目標ピクチャと位置が重なる３Ｄモデルを作成し、検索してきた、目標ピクチャに関連するビデオファイルを分離してデコーディングした後、分離されたビデオ画像列からビデオの各フレームの画像を抽出すると共に、テクスチャとしてフレーム毎に長方形平面３Ｄモデルに写像し且つリアルタイムに更新することで、グラフィックスレンダリングを完成し、ビデオを現実のシーンにおける目標ピクチャに重ねることを実現する。また、これと共に、ビデオ画像のレンダリングの進み具合に応じ、ビデオファイルから分離されたオーディオデータを同期的に出力する。
【００３６】
実施形態２
図２は、本発明の実施形態２に係る、拡張現実技術に基づくビデオ再生システムの構成を示す模式図である。図２に示すように、本実施形態に係るビデオ再生システムは、図１（実施形態１）に示すビデオ再生システムを基に、追跡モジュール８を更に備えたものである。前記追跡モジュール８は、前記画像レジストレーションモジュール４と前記グラフィックスレンダリングモジュール６との間に接続されている。本実施形態において、画像レジストレーションモジュール４で算出されるホモグラフィ行列は、初期的ホモグラフィ行列である。前記追跡モジュール８は、撮影モジュール１にも接続されている。撮影モジュール１がキャプチャした現在のシーン画像における目標ピクチャと、サンプルピクチャとのマッチングが成功的に行われた後に、特徴の検出は停止され（すなわち画像特徴抽出モジュール２は、撮影モジュール１がキャプチャした画像に対する特徴点の抽出を停止する）、追跡モジュール８は撮影モジュール１がキャプチャした現在のシーン画像における目標ピクチャに対してオプティカルフロー追跡を行い、追跡アルゴリズムによってホモグラフィ行列を得る。
【００３７】
オプティカルフローとは、空間で移動する物体の、観察結像面における画素動きの瞬間的速度のことであり、画像列における画像の時間領域での変化と、隣接する画像間の関連性とによって直前の画像と現在の画像との間の対応関係を求めることで、隣接画像間における目標物体の移動情報を算出する方法である。本実施形態において、画像レジストレーションモジュール４は、算出された初期的ホモグラフィ行列と、追跡する必要のある特徴点を追跡モジュール８に送信すると共に、追跡モジュール８は撮影モジュール１がキャプチャした現在のシーン画像をリアルタイムで受信して追跡計算を行う。追跡する必要のある前記特徴点とは、画像を検索する過程において、ピクチャのレジストレーションが成功的に行われた特徴点のことである。
【００３８】
追跡外れを防止するため、前記追跡モジュール８は、目標ピクチャへの追跡に追跡外れが発生した際に、ビデオカメラがキャプチャした現在のシーン画像に対して再び特徴点を検出することを画像特徴抽出モジュールに指示すると共に、再び画像のレジストレーションを行うことを画像レジストレーションモジュールに指示することで、新たな追跡を実現するようになっていることが好ましい。追跡外れが発生したか否かを判定するための条件は、追跡できた点に対して改めてマッチング度を算出すると共にカウントを行い、マッチングが良かった点の数が閾値以下となる（閾値の範囲は一般的に５〜２０であり、好ましくは１０である）場合に、追跡外れが発生したと判定するように設定することができる。
【００３９】
本実施形態では、追跡モジュール８の設置により、画像毎に対して特徴の検出及びレジストレーションを行う必要がないため、実施形態１に係るシステムと比べて速度が向上され、且つレジストレーションを行う過程においてホモグラフィ行列の算出結果上の微小なずれによるゆらぎを防止することができるため、視覚効果から見て、重ねられる３Ｄモデルはより安定となる。
【００４０】
実施形態３
図３は、本発明の実施形態３に係る、拡張現実技術に基づくビデオ再生方法のフローチャートである。図３に示すように、本実施形態に係る、拡張現実技術に基づくビデオ再生方法は以下のステップを含む。
【００４１】
Ｓ１０１：シーン画像をキャプチャする。すなわち、ビデオカメラが現在のシーン画像をキャプチャする。
【００４２】
Ｓ１０２：画像の特徴点を抽出する。すなわち、ビデオカメラがキャプチャした画像に対して特徴の検出を行って画像の特徴点を抽出し、画像の特徴点に対して特徴記述を行って特徴点の記述ベクトルを得ることで、画像全体の特徴記述データを得る。
【００４３】
Ｓ１０３：画像を検索する。すなわち、ビデオカメラがキャプチャした画像の特徴記述データに基づいて、サーバー側の画像データベースにおいて検索を行い、現在のシーン画像における目標ピクチャとマッチするサンプル画像、及び前記サンプル画像に対応するビデオファイル（ここでは、対応するビデオファイルを得ることは、ビデオリソースの識別子を得ることと理解し得る）を得る。
【００４４】
Ｓ１０４：画像のレジストレーションを行う。すなわち、画像検索の結果として送られてくるサンプル画像の特徴データに基づいて、ビデオカメラがキャプチャした画像と、サンプル画像とのレジストレーションをリアルタイム且つ継続的に行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得ると共に、前記ホモグラフィ行列に基づいて、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成する。
【００４５】
Ｓ１０５：オーディオとビデオを分離する。すなわち、ステップＳ１０３で得られたビデオファイルに対してオーディオ・ビデオ分離及びデコーディングを行うことで、ビデオ画像列及びオーディオデータを得る（ステップＳ１０３で検索できたのがビデオリソースの識別子の場合には、まずビデオリソースの識別子に基づいて関連するビデオを見つけ出し、そしてビデオに対してオーディオ・ビデオ分離及びデコーディングを行う）。なお、ビデオ画像列はビデオストリーミングとも言う。
【００４６】
Ｓ１０６：ビデオの画像を取得する。すなわち、ビデオストリーミングに対して、ビデオの各フレームの画像を抽出する。
【００４７】
Ｓ１０７：Ｓ１０６で抽出されたビデオの画像をテクスチャとしてフレーム毎に前記３Ｄモデルに写像し且つリアルタイムで更新することで、グラフィックスレンダリングを行う。
【００４８】
Ｓ１０８：ビデオカメラがキャプチャした現在のシーン画像と、レンダリングによって生成された３Ｄモデルとを融合して出力し、表示すると共に、ステップＳ１０９を同期的に行う。
【００４９】
Ｓ１０９：前記オーディオデータを同期的に出力し、オーディオとビデオの同期的再生を行うことで、ビデオを現実のシーンにおけるある画像領域に「重ねる」ことを実現する。
【００５０】
本発明の実施形態の効果は、図５を参照して説明したものと同様であり、実施形態１において図５を詳細に説明したため、ここでは説明を省略する。本実施形態では、ステップＳ１０１、Ｓ１０２、Ｓ１０４はビデオの再生中に継続的に行われるが、ステップＳ１０３については、１回のビデオ再生において、撮影モジュールがキャプチャした画像とサンプル画像との成功的なマッチング検索を１回のみ行い、サンプル画像と、サンプル画像に対応するビデオリソースとが見つかれば、繰り返して検索することを行わない。
【００５１】
実施形態４
図４は本発明の実施形態４に係る、拡張現実技術に基づくビデオ再生方法のフローチャートである。
【００５２】
本実施形態に係るビデオ再生方法は、図３（実施形態３）に示すビデオ再生方法を基に、目標ピクチャ追跡ステップＳ１０４１及び追跡外れ判定ステップＳ１０４２を更に含むものである（図４参照）。
【００５３】
Ｓ１０４１：目標を追跡する。すなわち、ステップＳ１０４において画像のレジストレーションが成功的に行われると、特徴の検出を停止し（すなわちステップＳ１０２を停止する）、目標ピクチャに対してオプティカルフロー追跡を行い、追跡アルゴリズムによってホモグラフィ行列を得る。追跡ステップＳ１０４１が追加されると、ステップＳ１０４において得られたホモグラフィ行列は初期的ホモグラフィ行列となる。初期的ホモグラフィ行列は、直接的に３Ｄモデルを作成するために使用されるのではなく、目標ピクチャへの追跡時に、目標ピクチャに対するオプティカルフロー追跡を行い、追跡アルゴリズムによってホモグラフィ行列を得るために、追跡する必要のある特徴点、及びビデオカメラがリアルタイムでキャプチャした現在のシーン画像と共に使用される。追跡する必要のある前記特徴点とは、画像を検索する過程において、画像のレジストレーションが成功的に行われた特徴点のことである。
【００５４】
ステップＳ１０４２：追跡外れの判定を行う。追跡外れが発生したか否かを判定するための条件は、追跡できた点に対して改めてマッチング度を算出すると共にカウントを行い、マッチングが良かった点の数が閾値以下となる（閾値の範囲は一般的に５〜２０であり、好ましくは１０である）場合に、追跡外れが発生したと判定するように設定することができる。追跡外れが発生したと判定した場合には、ステップＳ１０２、Ｓ１０４を再び繰り返して特徴の検出及び画像のレジストレーションを行った後、ステップＳ１０４１を続けて行って目標ピクチャの追跡を行う（ステップＳ１０３については、実施形態３での説明通りに、１回のビデオ再生において、検索を１回のみ行う）。
【００５５】
本実施形態では、追跡ステップの設置により、画像毎に対して特徴の検出及びレジストレーションを行う必要がないため、実施形態３に係る方法と比べて速度が向上され、且つレジストレーションを行う過程においてホモグラフィ行列の算出結果上の微小なずれによるゆらぎを防止することができるため、視覚効果から見て、重ねられる３Ｄモデルはより安定となる。
【００５６】
本発明は、上記ビデオ再生システム及びビデオ再生方法に加えて、上記拡張現実技術に基づくビデオ再生システムを有する携帯端末をも提供する。このような携帯端末を所持するユーザは、新聞や雑誌などの活字媒体上のピクチャ情報をビデオ情報に変換することができ、ビデオの空間位置とピクチャの空間位置が完全にフィットすることで、ユーザは「景色に情感を込める」という全く新しい視聴体験を楽しむことができる。また、本発明の技術によれば、新聞や雑誌などの紙媒体も、情報の多様的な伝達を実現することができ、正確且つ迅速なビデオプッシュサービスを提供することができる。
【００５７】
本明細書において開示される特徴、又は開示される方法や過程におけるステップの全てについては、互いに排斥する特徴及び／又はステップを除いて、如何なる方法でもそれらを組み合わせることはできる。
【００５８】
本明細書（請求項、要約及び図面のいずれをも含む）において開示される特徴はすべて、特に説明がない限り、他の同等の代替特徴、又は類似する目的に用いられる代替特徴と置き換えられる。すなわち、特に説明がない限り、各特徴は、一連の同等又は類似特徴の一例に過ぎない。
【００５９】
本発明は上述した具体的な実施形態に限定されない。本明細書において開示された新しい特徴又は新しい組み合わせ、及び新しい方法や過程におけるステップ又は新しい組み合わせのいずれも、本発明の範囲に含まれる。
【図１】
2015528961.tif 000003
【図２】
2015528961.tif 000004
【図３】
2015528961.tif 000005
【図４】
2015528961.tif 000006
【図５】
2015528961.tif 000007
【手続補正書】
【提出日】平成27年1月29日(2015.1.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオカメラが目標ピクチャを含む現在のシーン画像をキャプチャするステップと、
ビデオカメラがキャプチャした現在のシーン画像に対して特徴の検出を行って画像の特徴点を抽出すると共に、画像の特徴点に対して特徴記述を行うことで、画像全体の特徴記述データを得るステップと、
現在のシーン画像の特徴記述データに基づいて、画像データベースから画像を検索し、現在のシーン画像における目標ピクチャとマッチするサンプル画像、及び前記サンプル画像に対応するビデオファイルを得るステップと、
前記サンプル画像に対応するビデオファイルに対してオーディオ・ビデオ分離及びデコーディングを行うことで、ビデオ画像列及びオーディオデータを得るステップと、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得ると共に、前記ホモグラフィ行列に基づいて、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成するステップと、
前記ビデオ画像列における各フレームの画像をテクスチャとしてフレーム毎に前記３Ｄモデルに写像し、グラフィックスレンダリングを行うステップと、
ビデオカメラがキャプチャした現在のシーン画像と、レンダリングによって生成された３Ｄモデルとを融合して出力し、表示すると共に、前記オーディオデータの出力を同期的に行うステップとを含む、拡張現実技術に基づくビデオ再生方法。
【請求項２】
前記の、ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップは、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションをリアルタイム且つ継続的に行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップを含む、請求項１に記載の方法。
【請求項３】
前記の、ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ビデオカメラの姿勢を算出し、ホモグラフィ行列を得るステップは、
ビデオカメラがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、初期的ホモグラフィ行列を得るステップと、
画像のレジストレーションが成功的に行われた画像特徴点、初期的ホモグラフィ行列、及びビデオカメラがリアルタイムでキャプチャした現在のシーン画像に基づいて、目標ピクチャに対するオプティカルフロー追跡を行い、追跡アルゴリズムによってホモグラフィ行列を得るステップとを含む、請求項１に記載の方法。
【請求項４】
前記目標ピクチャに対するオプティカルフロー追跡に追跡外れが発生したか否かを判定し、追跡外れが発生した場合、ビデオカメラがキャプチャした現在のシーン画像に対して再び特徴点の検出及び画像のレジストレーションを行うステップをさらに含む、請求項３に記載の方法。
【請求項５】
目標ピクチャを含む現在のシーン画像をキャプチャする撮影モジュールと、
前記撮影モジュールがキャプチャした現在のシーン画像に対して特徴点の検出及び抽出を行うと共に、特徴点記述を生成することで、現在のシーン画像の特徴記述データを得る画像特徴抽出モジュールと、
前記画像特徴抽出モジュールからの、現在のシーン画像の特徴記述データを受信すると共に、画像データベースにおいて検索を行い、マッチしたサンプル画像の特徴記述データを画像レジストレーションモジュールに送信すると共に、マッチしたサンプル画像に対応するビデオリソースのＵＲＬをオーディオ・ビデオ分離及びデコーディングモジュールに送信する画像検索モジュールと、
前記画像検索モジュールからのサンプル画像の特徴記述データと、前記画像特徴抽出モジュールが生成した現在のシーン画像の特徴記述データとに基づいて、前記撮影モジュールがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションを行い、ホモグラフィ行列を得る画像レジストレーションモジュールと、
前記画像検索モジュールで得られたビデオリソースのＵＲＬに基づいて、対応するビデオファイルを見つけ出すと共に、前記ビデオファイルに対してオーディオ・ビデオ分離及びデコーディングを行うことで、ビデオ画像列及びオーディオデータを得、且つ前記ビデオ画像列をグラフィックスレンダリングモジュールに送信し、前記オーディオデータをオーディオ・ビデオ出力モジュールに送信するオーディオ・ビデオ分離及びデコーディングモジュールと、
前記画像レジストレーションモジュールで算出されたホモグラフィ行列に基づいて、現在のシーン画像における目標ピクチャを完全に覆い隠す矩形平面の３Ｄモデルを作成すると共に、前記オーディオ・ビデオ分離及びデコーディングモジュールで抽出されたビデオの各フレームの画像をテクスチャとしてフレーム毎に前記３Ｄモデルに写像することで、グラフィックスレンダリングを完成するグラフィックスレンダリングモジュールと、
前記撮影モジュールがキャプチャした現在のシーン画像と、前記グラフィックスレンダリングモジュールがレンダリングを行って生成した３Ｄモデルとを融合して出力し、表示すると共に、前記オーディオデータの出力を同期的に行うオーディオ・ビデオ出力モジュールとを備える、拡張現実技術に基づくビデオ再生システム。
【請求項６】
前記画像レジストレーションモジュールは、前記撮影モジュールがキャプチャした現在のシーン画像と、サンプル画像とのレジストレーションをリアルタイム且つ継続的に行い、前記撮影モジュールの姿勢を算出し、ホモグラフィ行列を得る、請求項５に記載のシステム。
【請求項７】
前記システムは、前記画像レジストレーションモジュールと前記グラフィックスレンダリングモジュールとの間に接続され、且つ前記撮影モジュールにも接続される追跡モジュールをさらに備え、前記追跡モジュールは、前記撮影モジュールがキャプチャした現在のシーン画像における目標ピクチャと、サンプルピクチャとのマッチングが成功的に行われた後に、前記撮影モジュールがキャプチャした現在のシーン画像における目標ピクチャに対してオプティカルフロー追跡を行い、ホモグラフィ行列を算出する、請求項５に記載のシステム。
【請求項８】
前記追跡モジュールは、目標ピクチャへの追跡に追跡外れが発生した際に、前記撮影モジュールがキャプチャした現在のシーン画像に対して再び特徴点を検出することを前記画像特徴抽出モジュールに指示すると共に、再び画像のレジストレーションを行うことを前記画像レジストレーションモジュールに指示する、請求項７に記載のシステム。
【請求項９】
請求項５から８のいずれか１項に記載の、拡張現実技術に基づくビデオ再生システムを備える携帯端末。
【国際調査報告】
2015528961.tif 000008
2015528961.tif 000009
2015528961.tif 000010
2015528961.tif 000011