(57)【要約】【課題】元動画像の四角形領域を補正して、補正動画像を元動画像に合成出力する場合に、出力タイミングがずれることなく、同期を取って再生することができる動画像補正装置を提供する。【解決手段】動画像補正装置は、動画像入力部１００、動画像入力部１００により入力された動画像から四角形領域の動画像を抽出する四角形領域抽出部１０２、四角形領域抽出部１０２により抽出された四角形領域の動画像を補正する動画像補正部１０３を備える。また、動画像補正部１０３より出力された補正動画像を元動画像に同期させて合成する動画像合成部１０５、動画像合成部１０５により合成された動画像を出力する動画像出力部１０６を備える。【選択図】図１
2009059299.tif 000002
【特許請求の範囲】
【請求項１】
動画像入力手段と、
前記動画像入力手段により入力された動画像から四角形領域の動画像を抽出する四角形領域抽出手段と、
前記四角形領域抽出手段により抽出された四角形領域の動画像を補正する動画像補正手段と、
前記動画像補正手段より出力された補正動画像を元動画像に同期させて合成する動画像合成手段と、
前記動画像合成手段により合成された動画像を出力する動画像出力手段と、
を備えることを特徴とする動画像補正装置。
【請求項２】
補正動画像を保存するデータ保存手段と、
元動画像と補正動画像の出力タイミングを管理する出力タイミング管理手段とを備え、
前記動画像合成手段は、前記出力タイミング管理手段により管理される出力タイミングに基づいて元動画像と補正動画像を合成することを特徴とする請求項１記載の動画像補正装置。
【請求項３】
前記動画像補正手段は、任意の四角形から矩形への補正、拡大縮小を行うことを特徴とする請求項１記載の動画像補正装置。
【請求項４】
前記動画像合成手段は、動画像の合成をリアルタイムに行う場合、前記動画像補正手段による補正が間に合わないとき、一部のフレームは飛ばして動画像の合成を行うことを特徴とする請求項１記載の動画像補正装置。
【請求項５】
動画像入力ステップと、
前記動画像入力ステップにより入力された動画像から四角形領域の動画像を抽出する四角形領域抽出ステップと、
前記四角形領域抽出ステップにより抽出された四角形領域の動画像を補正する動画像補正ステップと、
前記動画像補正ステップより出力された補正動画像を元動画像に同期させて合成する動画像合成ステップと、
前記動画像合成ステップにより合成された動画像を出力する動画像出力ステップと、
を備えることを特徴とする動画像補正装置の制御方法。
【請求項６】
補正動画像を保存するデータ保存ステップと、
元動画像と補正動画像の出力タイミングを管理する出力タイミング管理ステップとを備え、
前記動画像合成ステップは、前記出力タイミング管理ステップにより管理される出力タイミングに基づいて元動画像と補正動画像を合成することを特徴とする請求項５記載の動画像補正装置の制御方法。
【請求項７】
前記動画像補正ステップは、任意の四角形から矩形への補正、拡大縮小を行うことを特徴とする請求項５記載の動画像補正装置の制御方法。
【請求項８】
前記動画像合成ステップは、動画像の合成をリアルタイムに行う場合、前記動画像補正ステップによる補正が間に合わないとき、一部のフレームは飛ばして動画像の合成を行うことを特徴とする請求項５記載の動画像補正装置の制御方法。
【請求項９】
動画像補正装置の制御方法をコンピュータに実行させるプログラムにおいて、
前記動画像補正装置の制御方法は、
動画像入力ステップと、
前記動画像入力ステップにより入力された動画像から四角形領域の動画像を抽出する四角形領域抽出ステップと、
前記四角形領域抽出ステップにより抽出された四角形領域の動画像を補正する動画像補正ステップと、
前記動画像補正ステップより出力された補正動画像を元動画像に同期させて合成する動画像合成ステップと、
前記動画像合成ステップにより合成された動画像を出力する動画像出力ステップと、
を備えることを特徴とするプログラム。
【請求項１０】
請求項９記載のプログラムを格納するコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を補正して元動画像と補正動画像とを合成出力する動画像補正装置及びその制御方法、並びにプログラム及び記憶媒体に関する。
【背景技術】
【０００２】
従来、特許文献１に記載されているように、静止画に含まれるスライド等の四角形領域を、台形補正や拡大縮小等を行って、見やすくする方法や装置は提案されていた。また、四角形領域の補正を動画に適用する場合、必要なフレーム毎に補正を行い、補正後の画像のみを再生することにより、動画に含まれる四角形領域を見やすく出力する技術も提案されている。
【特許文献１】特開２００５−１２２３２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、元動画像に四角形領域の補正動画像を重ねて合成出力する場合は、単に合成するだけだと出力タイミングがずれて、元動画像と補正動画像の同期がずれるとともに、画像と音声もずれて非常に見にくくなってしまうという欠点があった。
【０００４】
本発明の目的は、元動画像の四角形領域を補正して、補正動画像を元動画像に合成出力する場合に、出力タイミングがずれることなく、同期を取って再生することができる動画像補正装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１記載の動画像補正装置は、動画像入力手段と、前記動画像入力手段により入力された動画像から四角形領域の動画像を抽出する四角形領域抽出手段と、前記四角形領域抽出手段により抽出された四角形領域の動画像を補正する動画像補正手段と、前記動画像補正手段より出力された補正動画像を元動画像に同期させて合成する動画像合成手段と、前記動画像合成手段により合成された動画像を出力する動画像出力手段とを備えることを特徴とする。
【０００６】
請求項５記載の動画像補正装置の制御方法は、動画像入力ステップと、前記動画像入力ステップにより入力された動画像から四角形領域の動画像を抽出する四角形領域抽出ステップと、前記四角形領域抽出ステップにより抽出された四角形領域の動画像を補正する動画像補正ステップと、前記動画像補正ステップより出力された補正動画像を元動画像に同期させて合成する動画像合成ステップと、前記動画像合成ステップにより合成された動画像を出力する動画像出力ステップとを備えることを特徴とする。
【０００７】
請求項９記載のプログラムは、動画像補正装置の制御方法をコンピュータに実行させるプログラムにおいて、前記動画像補正装置の制御方法は、動画像入力ステップと、前記動画像入力ステップにより入力された動画像から四角形領域の動画像を抽出する四角形領域抽出ステップと、前記四角形領域抽出ステップにより抽出された四角形領域の動画像を補正する動画像補正ステップと、前記動画像補正ステップより出力された補正動画像を元動画像に同期させて合成する動画像合成ステップと、前記動画像合成ステップにより合成された動画像を出力する動画像出力ステップとを備えることを特徴とする。
【０００８】
請求項１０記載のコンピュータで読み取り可能な記憶媒体は、請求項９記載のプログラムを格納する。
【発明の効果】
【０００９】
本発明によれば、元動画像の四角形領域を補正して、補正動画像を元動画像に合成出力する場合に、出力タイミングがずれることなく、同期を取って再生することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１１】
（第１の実施の形態）
第１の実施の形態では、本発明を、図９のように、斜めからプレゼンテーションのスクリーンを撮影した動画像に対して補正、保存を行い、撮影した元動画像と補正動画像を合成して出力する事例に適用して説明する。
【００１２】
図９は、動画像４００を表す図であり、プロジェクター装置などで投影したスライド４０１と、発表者４０２が示される。スライド４０１が台形に歪んでいるのは投影されたスクリーンを斜めから撮影したことを表している。
【００１３】
図１は、本発明の第１の実施の形態に係る動画像補正装置ブロック図である。
【００１４】
本動画像補正装置は、動画像入力部１００、出力タイミング管理部１０１、四角形領域抽出部１０２、動画像補正部１０３、データ保存部１０４、動画像合成部１０５、動画像出力部１０６を有している。
【００１５】
動画像入力部１００は、動画像を入力する部位であり、例えば、ビデオカメラで撮影した動画像をそのまま接続してもよいし、ＰＣ（パーソナルコンピュータ）内にある動画像のデータを入力してもよい。接続される装置、手段は特に限定されない。
【００１６】
出力タイミング管理部１０１は、補正動画像と、元動画像を合成するタイミングの情報を管理する。出力タイミング管理部は、図８のように＜parallel＞に合成する形式を記入する（図８中<parallel  mode=”overlap”>の部分）。更に、＜parallel＞＜/parallel＞の間に動画像の管理情報（動画像のファイル名、スタート時刻、エンド時刻、出力サイズ、出力位置）を記入して管理する。
【００１７】
管理の方法は、図８に示すように、ファイル名、スタート時刻、エンド時刻等を指定してもよいし、動画像のフレームのヘッダ情報を保持してもよい。管理情報の保持方法は特に限定されない。また、出力タイミング管理部１０１で保持した情報は、データ保存部１０４に保存される。
【００１８】
四角形領域抽出部１０２は、例えば、図９の動画像４００中よりスライド４０１部分を抽出する役割を担う部位であるが、スライド４０１部分の四角形領域を抽出するための方法は自動または手動が選択可能である。
【００１９】
自動で抽出する方法としては、エッジ抽出を行い、エッジ抽出された画像に対して、直線を抽出し、直線が四角形となっている部分を抽出する方法を用いる。手動で抽出する方法としては、予め用意された四角形の辺を手動で移動させ指定する方法を用いてもよいし、手書きで指定した四角形を用いて指定してもよい。
【００２０】
動画像補正部１０３は、四角形領域抽出部１０２で抽出された四角形画像を矩形に補正する部位である。矩形に補正する方法としては、抽出した四角形領域に対して、角度補正及び台形補正を行う方法がある。
【００２１】
また、矩形に補正する方法として、二次元の射影変換を用いてもよい。矩形のアスペクト比は基本的に４：３とするが、１６：９でもよいし、任意に指定されたアスペクト比でもよい。更に、必要ならここで拡大縮小処理を行うことも可能である。
【００２２】
データ保存部１０４は、動画像入力部１００から入力された元動画像の情報と、動画像補正部１０３で補正された補正動画像の情報と、出力タイミング管理部１０１で生成された、出力タイミング情報を保持する。
【００２３】
元動画像がデータ保存部１０４に存在しなかった場合は、補正動画像や出力タイミング情報と一緒に保存する。情報を保持する装置はハードディスクドライブであっても良いしフラッシュメモリであってもよい。情報を保持する装置は特に限定されない。
【００２４】
動画像合成部１０５は、データ保存部１０４より、出力タイミング情報を参照し、元動画像と補正動画像を指定された形式で重ね合わせて表示する。
【００２５】
図７は、元動画像と補正動画像を、時間情報を用いて重ね合わせる概念を示す図である。元動画像３００、補正動画像３０１、合成動画像３０２が示される。また、区間３０３、３０４は、元動画像３００と補正動画像３０１を合成した区間を表している。このように時間情報を元に元動画像と補正動画像を指定の形式で重ね合わせてもよい。
【００２６】
動画像を合成する形式としては、例として、図１０の、画像５０１に示されるように、補正動画像５０２の上に元動画像５０３を重ねた形式を指定してももよいし、画像５０４に示されるように、元動画像５０５の上に補正動画像５０６を重ねた形式を指定してもよい。更に、画像５０７に示されるように、元動画像５０９と補正動画像５０８を左右に並べた形式でもよい。尚、画像５１０に示されるように、補正動画像５１１のみを表示する形式を選択することができる。
【００２７】
動画像を合成する形式を決定する管理情報について図８を用いて説明する。図８における<parallel>部分の属性modeにoverlapが記述されていた場合、動画像の重ね合わせ合成を行う。<parallel>部分に属性の指定がない場合は、続く<video>部分の属性start、endに記述された時間情報または、フレーム情報を元に属性srcに記述された動画像を出力する。
【００２８】
動画像の合成の行う場合は、<video>部分の属性width、height、pos情報を元に動画像の合成を行う。属性widthは合成する動画像の全画面に対する横方向のサイズの割合を記述する。属性heightには合成する動画像の全画面に対する縦方向のサイズの割合を記述する。
【００２９】
また属性width、heightにはピクセル情報を記述してもよい。属性posには合成する位置を記述する。図８のpos=”leftbottom“は、図１０の動画５０４のように、元動画像の左下に補正動画像を合成することを意味している。
【００３０】
上記のように、動画像の合成を行う場合には、srcに指定された動画像を、属性width、height、pos情報を元に合成し、属性start、end指定された時間情報または、フレーム情報を元に出力する。尚、図８の例は、図１０における動画５０４の場合を示したものである。
【００３１】
動画像出力部１０６は、動画像を出力する部位であり、表示装置、例えば液晶ディスプレイなどを接続してもよいし、記憶装置、例えば、ハードディスクドライブなどを接続してもよい。接続される装置、手段は特に限定されない。
【００３２】
次に、第１の実施の形態の処理の流れを、図２、図３、図４のフローチャートを用いて説明する。最初に図２のフローチャートの説明を行い、次に図３のフローチャートの説明を行う。尚、図４のフローチャートの説明は図２のフローチャート説明中に行う。
【００３３】
図２は、図１の動画像補正装置によって実行される補正動画像生成処理の手順を示すフローチャートである。
【００３４】
より具体的には、動画像補正装置の内部状態を補正動画像生成モードに切り替えた状態を開始とし、補正動画像、出力タイミング情報の保存が終了した状態を終了とする動画像補正装置の動作を表すフローチャートである。
【００３５】
動画像補正装置は、補正動画像生成モードに切り替えた状態にすると、まず補正動画像を生成するための動画像を入力する（ステップＳ１００）。次に、入力された動画像に対して補正処理を行う（Ｓ１０１）。
【００３６】
この補正処理に関しては、図４を参照して説明する。
【００３７】
図４は、図２のステップＳ１０１で実行される補正処理の手順を示すフローチャートである。
【００３８】
元動画像が入力された時点を開始とする。まず、自動抽出モードであるか否かを判断する（ステップＳ３００）。自動抽出モードであった場合は、自動で四角形領域を抽出する（ステップＳ３０１）。また、手動抽出モードであるときは手動で抽出する（ステップＳ３０２）。自動抽出及び手動抽出の方法は、前述した四角形領域抽出部１０２の説明で述べた通りである。
【００３９】
手動または自動で抽出された四角形領域の抽出に失敗した場合（ステップＳ３０３でＮＯ）、補正処理失敗で補正処理が終了する（ステップＳ３０５）。四角形領域の抽出に成功した場合は（ステップＳ３０３でＹＥＳ）四角形領域の補正をする（ステップＳ３０４）。この四角形領域の補正の方式については、前述した動画像補正部１０３の説明で述べた通りであり、四角形領域補正（ステップＳ３０４）後、補正処理成功で補正処理が終了する（ステップＳ３０６）。
【００４０】
図２に戻って、補正処理（ステップＳ１０１）終了後、補正処理が成功した場合は、補正動画像をデータ保存部１０４に保存する（ステップＳ１０２）。更に、出力タイミング管理部１０１の出力タイミング情報を更新する（ステップＳ１０３）。また補正処理が失敗した場合は、補正動画像保存処理（ステップＳ１０２）、出力タイミング情報更新処理（ステップＳ１０３）は行わずに次の処理に移る。
【００４１】
続いて動画像の入力が終了したか否かを判断し（ステップＳ１０４）、動画像の入力が終了していたら、出力タイミングの情報を保存して（ステップＳ１０５）終了する。動画像の入力が終了していなかった場合、再度動画入力を行う処理（ステップＳ１００）に戻る。
【００４２】
図３は、図１の動画補正装置によって実行される動画合成出力処理の手順を示すフローチャートである。
【００４３】
図２のフローチャートを経て生成された補正動画像と元動画像を合成して出力する。
【００４４】
まず、データ保存部１０４から出力タイミング情報を取得する（ステップＳ２００）。次に、データ保存部１０４から出力タイミング情報を元に、必要な動画像のデータを取得する（ステップＳ２０１）。具体的には元動画像、補正動画像のいずれか、もしくは、元動画像と補正動画像を両方取得する。
【００４５】
そして、出力タイミング情報から合成すべきフレームが存在するか否かを判断し（ステップＳ２０２）、合成すべきフレームが存在する場合は、指定された形式で元動画像と補正動画像を合成する（ステップＳ２０３）。合成の方法については、前述した動画像合成部１０５の説明で述べた通りである。
【００４６】
また、出力タイミング情報から合成すべきフレームは存在しないと判断されたら、指定された形式で元動画像と補正動画像を合成する処理（ステップＳ２０３）は行わない。続いて、上記の処理を経て生成された動画像を出力する（ステップＳ２０４）。
【００４７】
次に、動画像入力が終了したか否かを判断し（ステップＳ２０５）、終了していた場合は、図３のフローチャートの処理を終了し、動画像の入力が終了していなかった場合には、データ保存部１０４から必要な動画像を取得する処理（ステップＳ２０１）に戻る。
【００４８】
（第２の実施の形態）
第２の実施の形態では、本発明を、図９のように、斜めからプレゼンテーションを撮影した動画像を補正し、撮影した元動画像と補正動画像を合成してリアルタイムに出力する事例に適用し説明する。
【００４９】
図５は、本発明の第２の実施の形態に係る動画像補正装置ブロック図である。
【００５０】
図５において、図１と同一箇所には同一符号を付して、重複する説明は省略する。
【００５１】
本動画装置は、動画像入力部１００、四角形領域抽出部１０２、動画像補正部１０３、動画像一時保存部２０１、動画像合成部１０５、動画像出力部１０６を有している。
【００５２】
動画像一時保存部２０１は、動画像入力部１００で入力された動画像と動画像補正部１０３で補正された動画像を一時的に保存する部位である。動画像を保存する装置はハードディスクドライブであってもよいしフラッシュメモリであってもよい。情報を保持する装置は特に限定されない。
【００５３】
動画像合成部１０５は、動画像一時保存部２０１で保存された元動画像と補正動画像を指定の形式で重ね合わせて表示する。尚、元動画像のリアルタイム性を重視するために、元動画像とタイミングを検証することなく、補正動画像を動画像一時保存部２０１から取得し合成する。
【００５４】
第２の実施の形態の処理の流れを図６のフローチャートを用いて説明する。
【００５５】
図６は、図５の動画像補正装置によって実行される動画像補正処理の手順を示すフローチャートである。
【００５６】
具体的には、動画像補正装置がリアルタイム出力モードに設定された時点を開始とし、動画像補正装置に動画像の入力が終了した時点を終了とする動画像補正装置の動作を表すフローチャートである。
【００５７】
動画像補正装置は、リアルタイム出力モードに設定後、まず、動画像を入力する（ステップＳ４００）。次に現在補正処理中であるか否かを判断する（ステップＳ４０１）。補正処理をしていないのであれば補正処理（ステップＳ４０２）を行う。但し、補正処理（ステップＳ４０２）は別タスクで実行し、リアルタイム性を保証するために即時復帰（ステップＳ４０４）し、動画像一時保存部２０１より最新の補正画像を取得する（ステップＳ４０５）。補正処理の内容は、図４で説明した通りである。
【００５８】
別タスクで実行している補正処理（ステップＳ４０２）が成功した場合、補正動画像を動画像一時保存部２０１に保存する（ステップＳ４０３）。尚、補正処理（ステップＳ４０２）が失敗した場合は、動画像一時保存部２０１には補正動画像を保存しない。即ち、動画像一時保存部２０１には常に最新の補正動画像が保存されていることになる。
【００５９】
現在補正処理中であるか判断する処理（ステップＳ４０１）において補正処理中であった場合、そのまま動画像一時保存部２０１より最新補正動画像を取得する処理に移る（ステップＳ４０５）。
【００６０】
次に、指定された形式で元動画像と補正動画像を合成する（ステップＳ４０６）。そして、元動画像と補正動画像を合成した動画像を出力する（ステップＳ４０７）。動画像の入力が終了したら（ステップＳ４０８）、図６のフローチャートを終了し、動画像の入力が終了していなかったら動画像入力（ステツプＳ４００）の処理に戻る。
【００６１】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００６２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６３】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００６４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００６５】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施の形態に係る動画像補正装置ブロック図である。
【図２】図１の動画像補正装置によって実行される補正動画像生成処理の手順を示すフローチャートである。
【図３】図１の動画補正装置によって実行される動画合成出力処理の手順を示すフローチャートである。
【図４】図２のステップＳ１０１で実行される補正処理の手順を示すフローチャートである。
【図５】本発明の第２の実施の形態に係る動画像補正装置ブロック図である。
【図６】図５の動画像補正装置によって実行される動画像補正処理の手順を示すフローチャートである。
【図７】元動画像と補正動画像を、時間情報を用いて重ね合わせる概念を示す図である。
【図８】図１における出力タイミング管理部が管理する情報を示す図である。
【図９】斜めからプレゼンテーションのスクリーンを撮影した動画像を示す図である。
【図１０】図９の元動画像と補正動画像の合成の各態様を示す図である。
【符号の説明】
【００６７】
１００  動画像入力部
１０１  出力タイミング管理部
１０２  四角形領域抽出部
１０３  動画像補正部
１０４  データ保存部
１０５  動画像合成部
１０６  動画像出力部
【図１】
2009059299.tif 000003
【図２】
2009059299.tif 000004
【図３】
2009059299.tif 000005
【図４】
2009059299.tif 000006
【図５】
2009059299.tif 000007
【図６】
2009059299.tif 000008
【図７】
2009059299.tif 000009
【図８】
2009059299.tif 000010
【図９】
2009059299.tif 000011
【図１０】
2009059299.tif 000012