(57)【要約】【課題】撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置、およびこれに用いるパノラマ映像情報生成方法、パノラマ映像情報生成用プログラムを提供する。【解決手段】撮影領域の一部が重複する第１映像情報および第２映像情報からそれぞれ、フレーム画像情報である第１撮像情報および第２撮像情報を順次取得する撮像情報取得部１１と、第１撮像情報から第１縮小画像情報を生成し第２撮像情報から第２縮小画像情報を生成する縮小画像情報生成部１２と、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得部１３と、取得されたシーム情報に基づいて該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成するスティッチング処理部１８とを備える。【選択図】図１
2018026744.tif 000002
【特許請求の範囲】
【請求項１】
撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置において、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得部と、
前記撮像情報取得部で取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成部と、
前記縮小画像情報生成部で生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得部と、
前記シーム情報取得部で取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理部と
を備えることを特徴とするパノラマ映像情報生成装置。
【請求項２】
前記縮小画像情報生成部は、前記第１縮小画像情報および前記第２縮小画像情報を生成する際に、縦方向の縮小率と横方向の縮小率とを異なる値で処理する
ことを特徴とする請求項１に記載のパノラマ映像情報生成装置。
【請求項３】
前記第１映像情報と前記第２映像情報とを繋ぎ合わせる処理において、過去に取得されたシーム情報を記憶するシーム情報記憶部と、
前記シーム情報記憶部に記憶された過去のシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けを設定する重み付け設定部と、
前記シーム情報取得部で取得された最新のシーム情報を、前記重み付け設定部で設定された重み付けの値が高い位置情報に近づけるように調整するシーム情報調整部とをさらに備え、
前記スティッチング処理部は、前記シーム情報調整部で調整されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成する
ことを特徴とする請求項１または２に記載のパノラマ映像情報生成装置。
【請求項４】
前記重み付け設定部は、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けを設定する
ことを特徴とする請求項３に記載のパノラマ映像情報生成装置。
【請求項５】
前記重み付け設定部は、該当するシーム情報の取得タイミングが現在時刻よりも古い程、重み付けの値が低くなるように設定する
ことを特徴とする請求項３または４に記載のパノラマ映像情報生成装置。
【請求項６】
前記シーム情報が取得された縮小画像情報を、当該シーム情報が付加された状態で、元の画像情報の大きさになるように拡大する画像拡大処理部をさらに有し、
前記スティッチング処理部は、前記画像拡大処理部で拡大された画像情報のシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成する
ことを特徴とする請求項３〜５いずれか１項に記載のパノラマ映像情報生成装置。
【請求項７】
撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置が、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得ステップと、
前記撮像情報取得ステップで取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成ステップと、
前記縮小画像情報生成ステップで生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得ステップと、
前記シーム情報取得ステップで取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理ステップと
を有することを特徴とするパノラマ映像情報生成方法。
【請求項８】
撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置に、
前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得機能と、
前記撮像情報取得機能により取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成機能と、
前記縮小画像情報生成機能により生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得機能と、
前記シーム情報取得機能により取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理機能と
を実行させるためのパノラマ映像情報生成用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに重なるように撮影した複数の映像情報を繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムに関する。
【背景技術】
【０００２】
従来、複数台のカメラ装置により一部領域が重なるように撮影した映像情報を繋ぎ合わせて、広角のパノラマ映像情報を生成する技術がある。この技術では、繋ぎ合わせの処理対象となる２つの映像情報内のそれぞれのフレーム画像情報から特徴点を抽出することで、同一の被写体を映している部分を判別し、これに基づいて画像情報の繋ぎ目（以下、シームと称する）を決定して繋ぎ合わせ処理を行う。
【０００３】
この技術を用いることにより、精度の高い広角の映像情報をリアルタイムに生成することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】画像領域に適応したパノラマ映像生成技術の提案  IPSJ SIG Technical report Vol. 2009-AVM-66 No.9 2009/9/24
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、近年は映像技術の分野において解像度の高度化が進んでおり、４Ｋ（横4000×縦2000ピクセル前後）に対応した高解像度のカメラ装置やテレビ装置が普及してきている。このような装置で撮影された複数の高解像度の映像情報を、上述したような技術を用いて繋ぎ合わせようとすると、その計算量が膨大になり、リアルタイムでパノラマ映像情報を生成することが困難になるという問題があった。
【０００６】
本発明は上記事情を鑑みてなされたものであり、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するための、本発明のパノラマ映像情報生成装置は、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置において、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得部と、前記撮像情報取得部で取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成部と、前記縮小画像情報生成部で生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得部と、前記シーム情報取得部で取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理部とを備えることを特徴とする。
【０００８】
また、本発明のパノラマ映像情報生成方法は、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置が、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得ステップと、前記撮像情報取得ステップで取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成ステップと、前記縮小画像情報生成ステップで生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得ステップと、前記シーム情報取得ステップで取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理ステップとを有することを特徴とする。
【０００９】
また本発明のパノラマ映像情報生成用プログラムは、撮影領域の一部が重複する第１映像情報と第２映像情報とを繋ぎ合わせてパノラマ映像情報を生成するパノラマ映像情報生成装置に、前記第１映像情報内のフレーム画像情報を第１撮像情報として順次取得するとともに、前記第２映像情報内の前記第１撮像情報に対応するフレーム画像情報を第２撮像情報として順次取得する撮像情報取得機能と、前記撮像情報取得機能により取得された前記第１撮像情報を縮小した第１縮小画像情報を生成するとともに、前記第２撮像情報を縮小した第２縮小画像情報を生成する縮小画像情報生成機能と、前記縮小画像情報生成機能により生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得するシーム情報取得機能と、前記シーム情報取得機能により取得されたシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成するスティッチング処理機能とを実行させることを特徴とする。
【発明の効果】
【００１０】
本発明のパノラマ映像情報生成装置、これに用いるパノラマ映像情報生成方法、およびパノラマ映像情報生成用プログラムによれば、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態によるパノラマ画像生成装置の構成を示すブロック図である。
【図２】本発明の一実施形態によるパノラマ画像生成装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
本発明の一実施形態として、４Ｋカメラで構成された第１カメラ装置で撮影された第１映像情報と、４Ｋカメラで構成された第２カメラ装置で、撮影領域の一部が第１映像情報と重複するように撮影された第２映像情報とを繋ぎ合わせて、広角のパノラマ映像情報を生成する場合について説明する。
【００１３】
〈一実施形態によるパノラマ映像情報生成装置の構成〉
本発明の一実施形態によるパノラマ映像情報生成装置の構成について、図１を参照して説明する。
【００１４】
本実施形態によるパノラマ映像情報生成装置１は、第１カメラ装置２、第２カメラ装置３、およびディスプレイ４に接続され、撮像情報取得部１１と、縮小画像情報生成部１２と、シーム情報取得部１３と、シーム情報記憶部１４と、重み付け設定部１５と、シーム情報調整部１６と、画像拡大処理部１７と、スティッチング処理部１８とを有する。
【００１５】
撮像情報取得部１１は、第１カメラ装置２で撮影された第１映像情報を構成するフレーム画像情報を、第１撮像情報として順次取得するとともに、第２カメラ装置３で撮影された第２映像情報を構成するフレーム画像情報を、第２撮像情報として順次取得する。
【００１６】
縮小画像情報生成部１２は、撮像情報取得部１１で取得された撮像情報に基づいて、第１撮像情報を縮小した第１縮小画像情報を順次生成するとともに、第２撮像情報を縮小した第２縮小画像情報を順次生成する。
【００１７】
シーム情報取得部１３は、縮小画像情報生成部１２で生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と当該第２縮小画像情報とを繋ぎ合わせるための接合線を探索し、探索した接合線の位置情報をシーム情報として取得する。
【００１８】
シーム情報記憶部１４は、当該第１映像情報と当該第２映像情報とを繋ぎ合わせる処理において、過去に取得されたシーム情報を記憶する。
【００１９】
重み付け設定部１５は、シーム情報記憶部１４に記憶された過去のシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けを設定する。また、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けを設定する。また、これらの重み付けの値を、該当するシーム情報の取得タイミングが現在時刻よりも古い程、低くなるように更新する。
【００２０】
シーム情報調整部１６は、シーム情報取得部１３で取得された最新のシーム情報を、重み付け設定部１５で設定された重み付けの値が高い位置情報に近づけるように調整する。
【００２１】
画像拡大処理部１７は、シーム情報が取得された縮小画像情報を、元の画像情報の大きさに拡大した拡大画像情報を生成する。
【００２２】
スティッチング処理部１８は、画像拡大処理部１７で生成された拡大画像情報のシーム情報に基づいて、該当する第１撮像情報と第２撮像情報とを繋ぎ合わせて順次パノラマ画像情報を生成することで、パノラマ映像情報を生成する。
【００２３】
〈一実施形態によるパノラマ映像情報生成装置の動作〉
次に、本実施形態によるパノラマ映像情報生成装置の動作について、図２のフローチャートを参照して説明する。
【００２４】
まず、第１カメラ装置２で撮影された第１映像情報のフレーム画像情報、および第２カメラ装置３で撮影された第２映像情報のフレーム画像情報が、順次撮像情報取得部１１で取得される（Ｓ１）。
【００２５】
次に、縮小画像情報生成部１２において、撮像情報取得部１１で取得された第１映像情報内のフレーム画像情報である第１撮像情報から、当該第１撮像情報を縮小した第１縮小画像情報が順次生成される。また、撮像情報取得部１１で取得された第２映像情報内のフレーム画像情報である第２撮像情報から、当該第２撮像情報を縮小した第２縮小画像情報が順次生成される（Ｓ２）。
【００２６】
このとき、縦方向の縮小率と横方向の縮小率とを異なる値で処理することにより、第１縮小画像情報および第２縮小画像情報が生成される。
【００２７】
ここで、縦方向の縮小率よりも横方向の縮小率を高くする（例えば、縦方向に１／２倍に縮小するのに対し、横方向に１／３倍に縮小する）ことで、横方向に大きくフィルタをかけた縮小画像情報が生成され、シーム情報が横方向に大きく振れることが防止され、生成されるパノラマ映像情報を再生した際にチラつきが目立つ状態になることを防ぐことができる。
【００２８】
また、横方向の縮小率よりも縦方向の縮小率を高くする（例えば、横方向に１／２倍に縮小するのに対し、縦方向に１／３倍に縮小する）ことで、縦方向に大きくフィルタをかけた縮小画像情報が生成され、以降実行されるシーム情報の取得処理において縦方向の接合線の探索処理を粗くして計算量を大きく低減させることができ、処理時間の短縮を図ることができる。
【００２９】
このため、例えば動きの速いスポーツコンテンツに対してパノラマ映像情報生成処理を行う場合は横方向の縮小率を高くすることで、チラつきを抑えた滑らかな動きのパノラマ映像情報を再生させることができ、全体的に画面が暗く画像処理の難易度が高いライブ映像コンテンツに対してパノラマ映像情報生成処理を行う場合は縦方向の縮小率を高くすることで、処理時間を短縮させてリアルタイムでのパノラマ映像情報の再生を可能にすることができる。
【００３０】
次に、シーム情報取得部１３において、縮小画像情報生成部１２で生成された第１縮小画像情報と、対応する第２縮小画像情報との少なくともいずれかから、当該第１縮小画像情報と対応する第２縮小画像情報とを繋ぎ合わせるための接合線が探索され、探索された接合線の位置情報がシーム情報として取得される（Ｓ３）。
【００３１】
次に、シーム情報調整部１６において、シーム情報取得部１３で取得されたシーム情報の調整が行われる（Ｓ４）。シーム情報の調整に用いる縮小画像情報内の位置情報ごとの重み付け設定について説明する。
【００３２】
シーム情報記憶部１４には、当該第１映像情報と第２映像情報とに対するパノラマ映像生成処理において、過去に取得されたシーム情報が記憶されている。
【００３３】
また、重み付け設定部１５には、シーム情報記憶部１４に記憶されたシーム情報に基づいて、シーム情報の取得元の縮小画像情報内の位置情報ごとに、シーム情報が取得された回数が多い程高い値になるように重み付けが設定されている。また、各シーム情報の周辺の位置情報に関し、対応するシーム情報に近い程高い値になるように重み付けが設定されている。また、これらの重み付けの値は、該当するシーム情報の取得タイミングが現在時刻よりも古い程、低くなるように更新される。この重み付けの更新処理は、新たなシーム情報が取得される都度実行してもよいし、予め設定された所定時間間隔で実行してもよい。
【００３４】
そして、シーム情報調整部１６において、シーム情報取得部１３で取得されたシーム情報が、重み付け設定部１５に設定された重み付けの値が高い位置情報に近づくように調整される。このように調整されることにより、接合線の位置が急激に移動することを防ぐことができ、生成されるパノラマ映像情報を再生した際の画面のチラつきや揺れの発生、画質の劣化が防止される。
【００３５】
シーム情報調整部１６において調整された最新のシーム情報は、新たにシーム情報記憶部１４に記憶され（Ｓ５）、以降の重み付けの更新や、シーム情報の調整に用いられる。
【００３６】
次に、画像拡大処理部１７により、取得されたシーム情報が付加された状態で縮小画像情報が元の画像情報の大きさに拡大され、拡大画像情報が生成される（Ｓ６）。そして、拡大画像情報に付加されているシーム情報に基づいて、スティッチング処理部１８により、処理対象の第１画像情報と第２画像情報とが繋ぎ合わせられてパノラマ画像情報が生成される（Ｓ７）。上述したステップＳ２〜Ｓ７の処理は第１映像情報または第２映像情報が終了するまで繰り返される（Ｓ８の「NO」）。
【００３７】
このようにして対応する第１画像情報と第２画像情報とがそれぞれ繋ぎ合わせられ、生成されたパノラマ画像情報が順次ディスプレイ４に出力され、パノラマ映像情報が再生される。
【００３８】
以上の実施形態によれば、撮影領域の一部が重複する高解像度の複数映像情報を、高速且つ高精度に繋ぎ合わせてパノラマ映像情報を生成することができる。
【符号の説明】
【００３９】
１  パノラマ映像情報生成装置
２  第１カメラ装置
３  第２カメラ装置
１１  撮像情報取得部
１２  縮小画像情報生成部
１３  シーム情報取得部
１４  シーム情報記憶部
１５  重み付け設定部
１６  シーム情報調整部
１７  画像拡大処理部
１８  スティッチング処理部
【図１】
2018026744.tif 000003
【図２】
2018026744.tif 000004