(57)【特許請求の範囲】
【請求項１】
複数の描画装置が描画するグラフィック映像を合成して表示させる映像合成装置において、
前記映像合成装置の動作を制御する制御部と、
前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するタイミング要求情報生成部と、
前記タイミング要求情報生成部が生成した前記タイミング要求情報を前記複数の描画装置に送信する通信部と、
前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取る映像入力部と、
前記制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成する映像合成部と、
前記映像合成部が合成したグラフィック映像を表示させる表示出力部と、
前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出する入力映像解析部とを備え、
前記通信部は、前記タイミング要求情報とともに、前記タイミング情報を描画する位置を指すタイミング情報描画位置を、前記複数の描画装置に対して送信し、
前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が送信した前記タイミング情報描画位置に描画されている前記タイミング情報を取得し、
前記制御部は、前記入力映像解析部が取得した前記タイミング情報が、前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示する
ことを特徴とする映像合成装置。
【請求項２】
複数の描画装置が描画するグラフィック映像を合成して表示させる映像合成装置において、
前記映像合成装置の動作を制御する制御部と、
前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するタイミング要求情報生成部と、
前記タイミング要求情報生成部が生成した前記タイミング要求情報を前記複数の描画装置に送信する通信部と、
前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取る映像入力部と、
前記制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成する映像合成部と、
前記映像合成部が合成したグラフィック映像を表示させる表示出力部と、
前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出する入力映像解析部とを備え、
前記通信部は、前記複数の描画装置から、前記タイミング情報を描画する位置を指すタイミング情報描画位置を受信し、
前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が受信した前記タイミング情報描画位置に描画されている前記タイミング情報を取得し、
前記制御部は、前記入力映像解析部が取得した前記タイミング情報が、前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示する
ことを特徴とする映像合成装置。
【請求項３】
前記複数の描画装置のうちの１つは、前記映像合成装置の内部に含まれていることを特徴とする請求項１または請求項２記載の映像合成装置。
【請求項４】
前記タイミング要求情報は、時刻、前記通信部による通信開始時刻からの経過時間、映像フレーム番号のいずれかであることを特徴とする請求項１または請求項２記載の映像合成装置。
【請求項５】
前記グラフィック映像に描画されている前記タイミング情報は、２次元コード、文字列、バイナリ値、電子すかしのいずれかであることを特徴とする請求項１または請求項２記載の映像合成装置。
【請求項６】
複数の描画装置が描画するグラフィック映像を合成して表示装置に表示させる映像合成装置において、
前記映像合成装置の動作を制御する制御部と、
前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するタイミング要求情報生成部と、
前記タイミング要求情報生成部が生成した前記タイミング要求情報を前記複数の描画装置に送信する通信部と、
前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取る映像入力部と、
前記制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成する映像合成部と、
前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出する入力映像解析部とを備え、
前記通信部は、前記タイミング要求情報とともに、前記タイミング情報を描画する位置を指すタイミング情報描画位置を、前記複数の描画装置に対して送信し、
前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が送信した前記タイミング情報描画位置に描画されている前記タイミング情報を取得し、
前記制御部は、前記入力映像解析部が取得した前記タイミング情報が、前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示する
ことを特徴とする映像合成装置。
【請求項７】
複数の描画装置が描画するグラフィック映像を合成して表示装置に表示させる映像合成装置において、
前記映像合成装置の動作を制御する制御部と、
前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するタイミング要求情報生成部と、
前記タイミング要求情報生成部が生成した前記タイミング要求情報を前記複数の描画装置に送信する通信部と、
前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取る映像入力部と、
前記制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成する映像合成部と、
前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出する入力映像解析部とを備え、
前記通信部は、前記複数の描画装置から、前記タイミング情報を描画する位置を指すタイミング情報描画位置を受信し、
前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が受信した前記タイミング情報描画位置に描画されている前記タイミング情報を取得し、
前記制御部は、前記入力映像解析部が取得した前記タイミング情報が、前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示する
ことを特徴とする映像合成装置。
【請求項８】
映像合成装置が、複数の描画装置が描画するグラフィック映像を合成して表示装置に表示させる映像合成方法であって、
タイミング要求情報生成部が、前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するステップと、
通信部が、前記タイミング要求情報生成部が生成した前記タイミング要求情報を前記複数の描画装置に送信するステップと、
映像入力部が、前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取るステップと、
映像合成部が、前記映像合成装置の動作を制御する制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成するステップと、
入力映像解析部が、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出するステップとを備え、
前記通信部は、前記タイミング要求情報とともに、前記タイミング情報を描画する位置を指すタイミング情報描画位置を、前記複数の描画装置に対して送信し、
前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が送信した前記タイミング情報描画位置に描画されている前記タイミング情報を取得し、
前記制御部が、前記入力映像解析部が取得した前記タイミング情報が、前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示するステップをさらに備えたことを特徴とする映像合成方法。
【請求項９】
映像合成装置が、複数の描画装置が描画するグラフィック映像を合成して表示装置に表示させる映像合成方法であって、
タイミング要求情報生成部が、前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するステップと、
通信部が、前記タイミング要求情報生成部が生成した前記タイミング要求情報を前記複数の描画装置に送信するステップと、
映像入力部が、前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取るステップと、
映像合成部が、前記映像合成装置の動作を制御する制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成するステップと、
入力映像解析部が、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出するステップとを備え、
前記通信部は、前記複数の描画装置から、前記タイミング情報を描画する位置を指すタイミング情報描画位置を受信し、
前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が受信した前記タイミング情報描画位置に描画されている前記タイミング情報を取得し、
前記制御部が、前記入力映像解析部が取得した前記タイミング情報が、前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示するステップをさらに備えたことを特徴とする映像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の装置が描画するグラフィック映像を合成して表示させる映像合成装置およびその方法に関するものである。
【背景技術】
【０００２】
一般的に、複数の装置が描画した画像を合成して表示させる場合、その画像が静止画である場合には、例えば図１に示すように、装置Ａが描画した画像と装置Ｂが描画した画像とをそのまま合成するだけで、合成後に画像を期待どおり問題なく表示できる。【０００３】
しかし、複数の装置が描画する画像がアニメーション等のグラフィック映像である場合には、合成したときのタイミングが合わないと、合成後の画像（映像）が期待したものにはならず、ずれてしまうという問題があった。【０００４】
外部から取り込んだ映像を合成して表示させる技術として、例えば、特許文献１，２には、外部から受信した映像を拡大・縮小し、内部（自装置）で描画するグラフィックと合成する際に、外部から取り込んだ映像の拡大・縮小に要する時間を考慮して、合成タイミングを合わせる合成装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３０２３６１号公報
【特許文献２】特許国際公開２００８／１３９７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば特許文献１，２のような従来の合成装置では、外部から受信した映像をそのまま内部（自装置）で描画した映像と合成する場合や、複数の外部装置から受信した映像を合成する場合のタイミングのずれについては考慮していないため、それぞれの装置で描画されて連続的に送られてくるアニメーションの変化のタイミングまで合わせて合成することはできないという課題があった。【０００７】
この発明は、上記のような課題を解決するためになされたものであり、複数の装置が描画するグラフィック映像を、連続的に送られてくるアニメーションの変化のタイミングまで合わせて合成して表示させることができる映像合成装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、この発明は、複数の描画装置が描画するグラフィック映像を合成して表示させる映像合成装置において、前記映像合成装置の動作を制御する制御部と、前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するタイミング要求情報生成部と、前記タイミング要求情報生成部が生成した前記タイミング要求情報を前記複数の描画装置に送信する通信部と、前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取る映像入力部と、前記制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成する映像合成部と、前記映像合成部が合成したグラフィック映像を表示させる表示出力部と、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出する入力映像解析部とを備え、前記通信部は、前記タイミング要求情報とともに、前記タイミング情報を描画する位置を指すタイミング情報描画位置を、前記複数の描画装置に対して送信し、前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が送信した前記タイミング情報描画位置に描画されている前記タイミング情報を取得し、前記制御部は、前記入力映像解析部が取得した前記タイミング情報が、前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示することを特徴とする。
【発明の効果】
【０００９】
この発明によれば、複数の装置が描画するグラフィック映像が連続的に送られてくるフレーム数に違いがあるような場合であっても、アニメーションの変化のタイミングまで合わせて合成して表示させることができる。
【図面の簡単な説明】
【００１０】
【図１】複数の装置が描画する静止画を合成した場合の合成画像の一例を示す説明図である。
【図２】複数の装置が描画するグラフィック映像を合成した場合の従来の合成画像の例を示す説明図である。
【図３】実施の形態１における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。
【図４】実施の形態１における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
【図５】実施の形態１における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
【図６】実施の形態２における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。
【図７】実施の形態２における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
【図８】実施の形態２における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
【図９】実施の形態２における第２描画装置が描画する映像フレームの一例を示す図である。
【図１０】実施の形態２における第２描画装置が描画する映像フレームの別の例を示す図である。
【図１１】実施の形態３における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。
【図１２】実施の形態３における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
【図１３】実施の形態３における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
【図１４】実施の形態４における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。
【図１５】実施の形態４における映像合成装置、第１描画装置および第２描画装置の動作を示すフローチャートである。
【図１６】実施の形態４における映像合成装置、第１描画装置および第２描画装置の動作のタイミングを示すタイミングチャートである。
【図１７】実施の形態５における映像合成システムの概要を示す図である。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図２は、複数の装置が描画するグラフィック映像を合成した場合の従来の合成画像の例を示す説明図である。例えば、装置Ａが描画したグラフィック映像と装置Ｂが描画したグラフィック映像から図２（ａ）に示すような合成後の映像を得たい場合に、従来では、それぞれの装置Ａ，Ｂから連続的に送られてくるアニメーションの変化のタイミングまで合わせることができずに、図２（ｂ）や図２（ｃ）に示すように、合成のタイミングがずれた映像になってしまうことがあった。
【００１２】
そこで、この発明では、複数の描画装置が描画するグラフィック映像を合成して表示させる映像合成装置において、合成前のグラフィック映像を描画する描画装置に対して映像合成装置側からタイミング要求情報を送信し、映像合成装置が各描画装置からタイミングの合ったグラフィック映像を取得して合成して提示することができる映像合成装置および方法を提供する。
【００１３】
図３は、この発明の実施の形態１における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。なお、この実施の形態１では、第１描画装置＝映像合成装置であるものとする。
【００１４】
第１描画装置（映像合成装置）１は、制御部１１、通信部１２、描画部１３、映像入力部１４、映像合成部１５、表示出力部（表示部）１６、操作部１７を備えている。
制御部１１は、第１描画装置（映像合成装置）１の動作を制御するものであり、第１描画装置（映像合成装置）１による映像フレームの描画、第２描画装置２から受信した映像フレームと第１描画装置（映像合成装置）１による映像フレームの合成などを制御する。
【００１５】
また、制御部１１は、タイミング要求情報生成部１０を備えている。
このタイミング要求情報生成部１０は、制御部１１において、複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成する。具体的には、第２描画装置２における画面描画やフレームバッファを切り替えるタイミングを示すタイミング要求情報を生成する。
【００１６】
通信部１２は、動作の指示やその応答などを第２描画装置２と送受信する。すなわち、少なくともタイミング要求情報生成部１０が生成したタイミング要求情報を、第２描画装置２に送信する。実現方式としては、例えば、シリアル通信、ＵＳＢ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などがある。
【００１７】
描画部１３は、画面に表示するためのグラフィック映像を描画する。この描画部１３は複数（図３においては２つ）のフレームバッファを管理しており、このフレームバッファ（メモリ）にグラフィック映像を描画する。
【００１８】
映像入力部１４は、第２描画装置２からの映像フレーム（第２描画装置２から送信される当該描画装置２が描画したグラフィック映像）を周期的に受信する。映像フレームを受信する方法には、例えば、ＨＤＭＩ（登録商標／以下、記載を省略）、ＤＶＩ、コンポジット、ＲＧＢなどがある。映像フレームを受信するための複数のフレームバッファ（メモリ）を持ち、これに受信した映像フレームを記録する。
【００１９】
映像合成部１５は、制御部１１からの指示を受けて、描画部１３で描画したグラフィック映像と映像入力部１４が受け取った映像フレーム（グラフィック映像）を合成する。
表示出力部１６は、映像合成部１５が合成した映像フレーム（グラフィック映像）を、ディスプレイ等へ出力し、表示する。
操作部１７は、ユーザからの操作を受け付ける。
【００２０】
第２描画装置２は、制御部２１、通信部２２、描画部２３、映像出力部２４を備えている。
制御部２１は、第２描画装置２の動作を制御するものであり、第２描画装置２によるグラフィック映像の描画、第２描画装置２から第１描画装置（映像合成装置）１への映像フレームの送信などを制御する。
【００２１】
通信部２２は、動作の指示やその応答などを第１描画装置（映像合成装置）１と送受信する。
描画部２３は、画面に表示するためのグラフィック映像を描画する。
映像出力部２４は、第２描画装置２からの映像フレームを周期的に送信する。映像を受信する方法には、例えば、ＨＤＭＩ、コンポジットなどがある。
【００２２】
次に、動作について、図４および図５を参照しながら説明する。
図４は、実施の形態１における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
また、図５は、実施の形態１における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
【００２３】
まず初めに、第１描画装置（映像合成装置）１の制御部１１は、操作部１７からユーザ操作のイベントを受け付ける（ステップＳＴ１）。次に、その受け付けたイベントから画面変更を判断し（ステップＳＴ２）、その画面変更を行うタイミング要求情報を生成する（ステップＳＴ３）。
【００２４】
このタイミング要求情報とは、第１描画装置（映像合成装置）１と第２描画装置２による描画時間、映像フレーム伝送時間を考慮し、後述の画面合成を行う時間を示すものである。
一般的に、第１描画装置（映像合成装置）１が画面を描画するに要する時間と、第２描画装置２が画面を描画し第１描画装置（映像合成装置）１へその画面イメージを伝送するに要する時間は異なるからである。
【００２５】
すなわち、タイミング要求情報とは、第１描画装置（映像合成装置）１がどのタイミングで描画させたいかという情報を生成して、その情報を第２描画装置２へ送信するためのものであり、例えば、時刻による指定、通信部１２による通信開始時刻からの経過時間による指定、映像フレーム番号による指定など、タイミングを明確に指定できるものであれば、いずれであってもよい。
【００２６】
次に、第１描画装置（映像合成装置）１の制御部１１から第２描画装置２の制御部２１へ、通信部１２および２２を介して、ステップＳＴ３で生成したタイミング要求情報を含む画面変更要求を送信する（ステップＳＴ４）。
【００２７】
次に、第１描画装置（映像合成装置）１の制御部１１は、描画部１３に画面を描画フレームバッファへ描画させる（ステップＳＴ５）。ここで、描画フレームバッファは複数あり、そのうちの１つへ描画するものとする。これは、一般的にダブルバッファリングやトリプルバッファリングなどと呼ばれる手法で、描画済みのフレームバッファと、描画中のフレームバッファを別に用意することで、表示のための映像出力と描画処理を並列して行うための手法である。
【００２８】
その後、第１描画装置（映像合成装置）１は、ステップＳＴ３で生成したタイミング要求情報のタイミング（この実施の形態１では、その時間）まで待って、タイミング調整（図５に示す「タイミング調整Ｘ」参照）を行う（ステップＳＴ６）。すなわち、タイミング要求情報が時刻で指定されていた場合には、そのタイミング要求情報の示す時刻まで、映像合成の指示を遅延させる。
【００２９】
第２描画装置２は、第１描画装置（映像合成装置）１から画面変更要求を受信すると（ステップＳＴ１１）、描画部２３により画面を描画フレームバッファへ描画する（ステップＳＴ１２）。
なお、ステップＳＴ１１において第１描画装置（映像合成装置）１から受信する画面変更要求には、第１描画装置（映像合成装置）１がステップＳＴ３で生成したタイミング要求情報も含まれている。
【００３０】
その後、第２描画装置２は、タイミング要求情報により指示された時刻から、映像フレーム伝送に要する時間を差し引いた時刻まで待って、タイミング調整（図５に示す「タイミング調整Ｙ」参照）を行い（ステップＳＴ１３）、その後、映像出力部２４により出力する描画フレームバッファを切り替える（ステップＳＴ１４）。
【００３１】
映像出力部２４は、周期的に描画フレームバッファから映像フレームを第１描画装置（映像合成装置）１の映像入力部１４へ伝送する（ステップＳＴ１５）。
ここで、第１描画装置（映像合成装置）１の映像入力部１４は、第２描画装置２の映像出力部２４から映像フレームを受信し（ステップＳＴ１６）、受信した映像フレームを、映像入力部１４の入力フレームバッファへ格納する。
【００３２】
そして、第１描画装置（映像合成装置）１の制御部１１は、タイミング要求情報のタイミング（時刻）になると、すなわち、通信部１２を介して第２描画装置２に送信されたタイミング要求情報と同じタイミングになったときに、映像合成部１５に対してグラフィック映像の合成を指示する（ステップＳＴ１７）。
【００３３】
映像合成部１５は、描画部１３で新たに描画した描画フレームバッファと、映像入力部１４で第２描画装置２から受信した入力フレームバッファを合成する（ステップＳＴ１８）。合成された映像は表示出力部１６により、ディスプレイなどへ出力され、表示される（ステップＳＴ１９）。
【００３４】
以上のように、この実施の形態１によれば、第１描画装置（映像合成装置）から第２描画装置へ、画面変更要求と共にタイミング要求情報を送信し、第１描画装置（映像合成装置）、第２描画装置ともにそれに合わせて、合成対象となるフレームバッファを切替えるタイミングを合わせることにより、複数の装置がそれぞれ描画したグラフィック映像をタイミングを合わせて合成し、表示することができる。
【００３５】
この結果、複数の装置が描画するグラフィック映像が連続的に送られてくるフレーム数に違いがあるような場合であっても、アニメーションの変化のタイミングまで合わせて合成して表示させることができる。
【００３６】
なお、この実施の形態１では、タイミング要求情報として、映像合成を開始する時刻を指定する場合を例として説明したが、映像入力部や映像出力部が周期的に伝送する映像フレーム番号などを指定して指示するようにしてもよい。
【００３７】
また、前述のとおり、タイミング要求情報は、時刻でなくても、第１描画装置（映像合成装置）と第２描画装置間の映像伝送のフレーム番号や、通信部による通信開始の時刻からの経過時間など、第１描画装置（映像合成装置）と第２描画装置間でタイミングを共有できるものであれば、他の方法であっても構わない。
【００３８】
なお、この実施の形態１では、ユーザ操作によってイベントを受け付けて画面変更する場合を例に説明したが、画面変更のトリガーとしては、他の機器から受信した状態変更イベントや、タイマーなど、他のイベントによるものとしてもよい。
【００３９】
実施の形態２．
図６は、この発明の実施の形態２における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。また、この実施の形態２においても、実施の形態１と同様に第１描画装置＝映像合成装置であるものとする。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。
【００４０】
以下に示す実施の形態２では、実施の形態１と比べると、第１描画装置（映像合成装置）１が、入力映像解析部１８をさらに備え、第２描画装置２側の描画完了のタイミングに合わせて合成を行う点が異なる。
入力映像解析部１８は、映像入力部１４が第２描画装置２から受信した映像フレーム（グラフィック映像）を解析し、その映像フレームが描画されたタイミングを示すタイミング情報を抽出する。
【００４１】
この実施の形態２における動作について、図７および図８を参照しながら説明する。
図７は、実施の形態２における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
また、図８は、実施の形態２における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
【００４２】
ステップＳＴ２１〜ＳＴ２２の処理については、実施の形態１の図４におけるステップＳＴ１〜ＳＴ２と同じであるので、説明を省略する。
また、その後、画面変更を行うタイミング要求情報を生成する（ステップＳＴ２３）処理についても、ステップＳＴ３と同じである。
【００４３】
ただし、この実施の形態２におけるタイミング要求情報は、実施の形態１のように画面合成を行う時刻を示すものではなく、映像フレーム番号であるものとして説明する。この場合、ステップＳＴ２２において画面変更を判断した結果、画面変更を要求する映像フレーム番号を識別することによりタイミング要求情報を生成することができる。
【００４４】
そして、第１描画装置（映像合成装置）１の制御部１１から第２描画装置２の制御部２１へ、通信部１２および２２を介して、ステップＳＴ２３で生成したタイミング要求情報とともに、第２描画装置２が映像フレーム上のタイミング情報を描画する位置を指定するタイミング情報描画位置（詳細については後述する。図９、図１０参照）を含む画面変更要求を送信する（ステップＳＴ２４）。
このタイミング情報を描画する位置は、第２描画装置２が描画した映像フレームにおいて、映像合成で用いられない領域から選択される。
【００４５】
次に、第１描画装置（映像合成装置）１の制御部１１は、描画部１３に画面を描画フレームバッファへ描画させる（ステップＳＴ２５）。
その後、第１描画装置（映像合成装置）１は、タイミング要求情報に対応するタイミング情報の映像フレームを第２描画装置２から受信するまで待つ（詳細は後述する）。
【００４６】
第２描画装置２は、第１描画装置（映像合成装置）１から画面変更要求を受信すると（ステップＳＴ３１）、描画部２３により画面を描画フレームバッファへ描画する（ステップＳＴ３２）。
さらに、描画フレームバッファ上のタイミング情報描画位置に、タイミング情報を描画する（ステップＳＴ３３）。
【００４７】
タイミング情報の描画方法としては、例えば次のようなものが考えられる。
（１）バーコードやＱＲコード（登録商標）など、画像解析が容易な２次元コード（図９、図１０参照）をタイミング情報として描画する。これは、コンポジット方式など、アナログ形式で映像を伝送する場合に適している。
【００４８】
（２）文字形式（文字列）でタイミング情報を描画する。これは、人間が解読できるため、デバックなどが容易である。
（３）描画ＩＤ（バイナリ値）をそのままビットマップ画像に変換してタイミング情報として描画する。これは、ＨＤＭＩなど、デジタルで映像フレームを伝送する場合に適しており、特別な変換は不要である。
【００４９】
（４）電子すかしなど、人間の目には見えないように映像フレームにタイミング情報を埋め込む。この場合には、図９や図１０に示すように第２描画装置２の映像フレームの一部が欠けてしまうことがなく、第２描画装置２の映像フレームをすべて表示することも可能である。また、この場合には、タイミング情報描画位置を転送する必要はなく、映像フレームの右上や左上など、固定の位置にタイミング情報を描画してもよい。
【００５０】
その後、第２描画装置２は、映像出力部２４により出力する描画フレームバッファを切り替える（ステップＳＴ３４）。
映像出力部２４は、周期的に描画フレームバッファから映像フレームを第１描画装置（映像合成装置）１の映像入力部１４へ伝送する（ステップＳＴ３５）。
【００５１】
ここで、第１描画装置（映像合成装置）１の映像入力部１４は、第２描画装置２の映像出力部２４から映像フレームを受信し（ステップＳＴ３６）、受信した映像フレームを、映像入力部１４の入力フレームバッファへ格納する。
【００５２】
次に、第１描画装置（映像合成装置）１の入力映像解析部１８は、映像入力部が第２描画装置２から受信した映像フレーム（グラフィック映像）を解析し、通信部１２を介して送信したタイミング情報描画位置に描画されているタイミング情報を取得する（ステップＳＴ３７）。
【００５３】
すなわち、解析対象とする映像フレーム内の位置は、第１描画装置（映像合成装置）１から第２描画装置２へ送信したタイミング情報描画位置である。そして、入力映像解析部１８は、解析によって得られたタイミング情報を制御部１１へ渡す。
【００５４】
制御部１１は、入力映像解析部１８からタイミング情報を取得し（ステップＳＴ３８）、その取得したタイミング情報が、ステップＳＴ２４において第２描画装置２へ送信したタイミング要求情報と一致するか否か比較する（ステップＳＴ３９）。
【００５５】
そして、取得したタイミング情報がタイミング要求情報と一致した場合、すなわち、取得したタイミング情報がタイミング要求情報と同じタイミングになったとき（ステップＳＴ３９のＹＥＳの場合）に、映像合成部１５に対してグラフィック映像の合成を指示する（ステップＳＴ４０）。一方、一致しない場合、すなわち、同じタイミングではないとき（ステップＳＴ３９のＮＯの場合）には、タイミング要求情報と同じタイミングのタイミング情報を持った映像フレームを受信するまで待つ。
【００５６】
その後、映像合成部１５は、描画部１３で新たに描画した描画フレームバッファと、映像入力部１４で第２描画装置２から受信した入力フレームバッファを合成する（ステップＳＴ４１）。合成された映像は表示出力部１６により、ディスプレイなどへ出力され、表示される（ステップＳＴ４２）。
【００５７】
具体的には、例えば、第１描画装置（映像合成装置）１における描画が１秒間に６０フレームで、第２描画装置２における描画が１秒間に３０フレームであるなど、描画速度に差がある場合などに有効である。例えば、タイミング要求情報によるフレーム番号が１０である場合に、第１描画装置（映像合成装置）１では既にフレーム番号１０の映像フレームが描画されていたとしても、第２描画装置２から取得した映像フレームのタイミング情報がフレーム番号８である場合には、合成指示は行わず、タイミング情報がフレーム番号１０である映像フレームを取得してから映像合成を行って表示する。
【００５８】
図９は、実施の形態２における第２描画装置が描画する映像フレームの一例を示す図である。
この図は、第１描画装置（映像合成装置）１が指定したタイミング情報描画位置Ｚに、タイミング情報３が描画されている状態を示している。
【００５９】
また、図１０は、実施の形態２における第２描画装置が描画する映像フレームの別の例を示す図である。
図９に示す例では、タイミング情報描画位置Ｚにタイミング情報３を描画したが、タイミング情報３を映像フレームの固定位置（例えば左上）に描画し、代わりにその固定位置に描画するはずだった映像４をタイミング情報描画位置Ｚに描画するようにしてもよい。
【００６０】
ここでは、映像フレームの左上にタイミング情報３を、本来映像フレームの左上にある映像４を、タイミング情報描画位置Ｚに描画している。
この場合、映像フレーム解析処理では、タイミング情報の解析を常に固定位置（図１０では左上）に対して行うようにすればよい。また、解析処理後、タイミング情報描画位置にある画像領域を、タイミング情報の位置にコピーすることで、以後の処理（映像合成）を同様に行うことができる。
【００６１】
以上のように、この実施の形態２によれば、第１描画装置（映像合成装置）から第２描画装置へ、画面変更要求と共にタイミング要求情報とタイミング情報描画位置を送信し、第２描画装置から第１描画装置（映像合成装置）へ送信する映像フレーム内にタイミング情報を描画し、それを第１描画装置（映像合成装置）で解析することにより、第１描画装置（映像合成装置）からの要求に対応する映像フレームを受信したことを判断するとそのタイミングで映像を合成する。この構成により、第１描画装置（映像合成装置）と第２描画装置がそれぞれ描画したグラフィック映像を、タイミングを合わせて合成し、表示することができる。
【００６２】
また、この方法では、第２描画装置側から第１描画装置（映像合成装置）側への映像フレーム上にタイミング情報を描画するため、映像フレーム伝送とタイミングを合わせてタイミング情報を送信するための特別な通信路を必要としないという特長がある。また、映像と合わせて通知するため、タイミングを正確に伝えることができる。
例えば、第２描画装置の制御部は、ＰＣやスマートフォン等の一般的なアプリケーションとして実装することも可能である。
【００６３】
実施の形態３．
図１１は、この発明の実施の形態３における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。また、この実施の形態３においても、実施の形態１，２と同様に第１描画装置＝映像合成装置であるものとする。なお、実施の形態１，２で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。また、処理についても、実施の形態２と同様の部分については図示および説明を省略し、実施の形態２と異なる部分についてのみ説明する。
【００６４】
実施の形態２では、タイミング情報描画位置を、第１描画装置（映像合成装置）１から第２描画装置２へ送信したが、この実施の形態３は、タイミング情報描画位置を第２描画装置２側で決定し、第２描画装置２から第１描画装置（映像合成装置）１へ送信するよう構成したものである。
【００６５】
図１１に示すブロック図（システム構成図）は、実施の形態２の図６に示すブロック図（システム構成図）とほぼ同じであるが、第１描画装置（映像合成装置）１の制御部１１、通信部１２、第２描画装置２の制御部２１、通信部２２の通信方向が双方向である点が異なる。
【００６６】
この実施の形態３における動作について、図１２および図１３を参照しながら説明する。
図１２は、実施の形態３における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
また、図１３は、実施の形態３における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
【００６７】
動作について、実施の形態２と比較した場合の相違点は、ステップＳＴ５４において第１描画装置（映像合成装置）１から第２描画装置２へ送信される画面変更要求にタイミング情報描画位置が含まれず、代わりにタイミング情報描画位置が第２描画装置２から第１描画装置（映像合成装置）１へ送信される点のみである。
【００６８】
すなわち、ステップＳＴ５１〜ＳＴ５４およびＳＴ６１は、実施の形態２の図７におけるステップＳＴ２１〜ＳＴ２４およびＳＴ３１と同じであるが、第２描画装置２は、画面変更要求を受信すると、タイミング情報描画位置を決めて第１描画装置（映像合成装置）１へ送信する（ステップＳＴ６２）。
これは、第２描画装置２側で、映像に使用しない位置がわかるため、そこにタイミング情報を描画して送信することを、第１描画装置（映像合成装置）に伝えるものである。
【００６９】
第１描画装置（映像合成装置）１は、このタイミング情報描画位置を第２描画装置２から受信して（ステップＳＴ５５）、タイミング情報の比較の際に、その位置に描画されている情報と、ステップＳＴ５３で生成したタイミング要求情報とを比較する（ステップＳＴ７０参照）。
【００７０】
なお、ステップＳＴ５６、ステップＳＴ６３〜ＳＴ７３については、上述のとおりステップＳＴ７０でタイミング情報を比較する際にタイミング情報が描画されている位置が実施の形態２とは異なるのみであり、その他の動作については、実施の形態２の図７におけるステップＳＴ２５およびステップＳＴ３２〜ＳＴ４２と同じであるので、説明を省略する。
この実施の形態３においても、実施の形態２と同様の効果を得ることができる。
【００７１】
実施の形態４．
図１４は、この発明の実施の形態４における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。なお、実施の形態１〜３で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。
【００７２】
実施の形態１〜３はいずれも、第１描画装置＝映像合成装置であるものとして説明したが、この実施の形態４では、２つの画面描画と、映像合成とを、それぞれ別々の装置で行うように構成する。すなわち、例えば２つの描画装置が接続されているサーバを映像合成装置として使用する場合などに、この実施の形態４を適用することができる。
【００７３】
なお、この実施の形態４では、実施の形態２の第１描画装置（映像合成装置）１を、別々の装置である第１描画装置２００と映像合成装置１００とに分けた場合を例に説明するが、実施の形態１または３に対応する構成について、第１描画装置（映像合成装置）１を、別々の装置である第１描画装置２００と映像合成装置１００とに分けてもよいことは言うまでもない。
【００７４】
第２描画装置２は、実施の形態１〜３における第２描画装置２と同様である。また、第１描画装置２００は、第２描画装置２と同様の構成である。
映像合成装置１００は、実施の形態２における第１描画装置（映像合成装置）１から描画部１３を取り除き、かつ、映像入力部と入力映像解析部が第１描画装置２００と第２描画装置２それぞれについて備えられている点が異なる。
【００７５】
すなわち、この実施の形態４における映像合成装置１００は、制御部１０１、通信部１０２、第１映像入力部１４１、第２映像入力部１４２、映像合成部１０５、表示出力部（表示部）１６、操作部１７、第１入力映像解析部１８１、第２入力映像解析部１８２を備えている。
【００７６】
制御部１０１は、映像合成装置１００の動作を制御するものであり、第１描画装置２００および第２描画装置２から受信した映像フレームの合成などを制御する。また、制御部１１は、タイミング要求情報生成部１０を備えている。
【００７７】
通信部１０２は、動作の指示やその応答などを第１描画装置２００および第２描画装置２と送受信する。
第１映像入力部１４１および第２映像入力部１４２はそれぞれ、第１描画装置２００および第２描画装置２からの映像フレームを周期的に受信する。
【００７８】
第１入力映像解析部１８１および第２入力映像解析部１８２はそれぞれ、第１映像入力部１４１および第２映像入力部１４２が受信した映像フレームを解析し、タイミング情報を検出する。
【００７９】
映像合成部１０５は、第１映像入力部１４１および第２映像入力部１４２の映像フレームを合成する。
表示出力部１６は、映像合成部１０５の映像フレームをディスプレイ等へ出力し、表示する。
操作部１７は、ユーザからの操作を受け付ける。
【００８０】
次に、この実施の形態４における動作について、図１５および図１６を参照しながら説明する。
図１５は、実施の形態４における映像合成装置、第１描画装置および第２描画装置の動作を示すフローチャートである。
また、図１６は、実施の形態４における映像合成装置、第１描画装置および第２描画装置の動作のタイミングを示すタイミングチャートである。
【００８１】
ステップＳＴ８１〜ＳＴ８３の処理については、実施の形態２の図７におけるステップＳＴ２１〜ＳＴ２３と同じであるので、説明を省略する。
そして、映像合成装置１００の制御部１０１から第１描画装置２００の制御部２０１および第２描画装置２の制御部２１へ、通信部１０２および通信部２０２，２２を介して、ステップＳＴ８３で生成したタイミング要求情報と、第１描画装置２００および第２描画装置２が映像フレーム上のタイミング情報を描画するタイミング情報描画位置を含む画面変更要求を送信する（ステップＳＴ８４）。
【００８２】
その後、映像合成装置１００は、タイミング要求情報に対応するタイミング情報の映像フレームを第１描画装置２００および第２描画装置２から受信するまで待つ（詳細は後述する）。
【００８３】
第１描画装置２００および第２描画装置２はそれぞれ、映像合成装置１００から画面変更要求を受信すると（ステップＳＴ９１Ａ，ＳＴ９１Ｂ）、描画部２０３および描画部２３により画面を描画フレームバッファへ描画する（ステップＳＴ９２Ａ，ＳＴ９２Ｂ）。
さらに、描画フレームバッファ上のタイミング情報描画位置に、タイミング情報を描画する（ステップＳＴ９３Ａ，ＳＴ９３Ｂ）。
【００８４】
その後、第１描画装置２００および第２描画装置２はそれぞれ、映像出力部２０４および映像出力部２４により出力する描画フレームバッファを切り替える（ステップＳＴ９４Ａ，ＳＴ９４Ｂ）。
映像出力部２０４および映像出力部２４はそれぞれ、周期的に描画フレームバッファから映像フレームを映像合成装置１００の第１映像入力部１４１および第２映像入力部１４２へ伝送する（ステップＳＴ９５Ａ，ＳＴ９５Ｂ）。
【００８５】
ここで、映像合成装置１００の映像入力部１４１および第２映像入力部１４２はそれぞれ、第１描画装置の映像出力部２０４および第２描画装置２の映像出力部２４から映像フレームを受信し（ステップＳＴ９６Ａ，ＳＴ９６Ｂ）、受信した映像フレームを、第１映像入力部１４１および第２映像入力部１４２の入力フレームバッファへ格納する。
【００８６】
次に、映像合成装置１００の第１入力映像解析部１８１および第２入力映像解析部１８２は、第１映像入力部１４１および第２映像入力部１４２が受信した映像フレーム（グラフィック映像）をそれぞれ解析し、通信部１２を介して送信したタイミング情報描画位置に描画されているタイミング情報を取得する（ステップＳＴ９７Ａ，ＳＴ９７Ｂ）。
【００８７】
すなわち、解析対象とする映像フレーム内の位置は、映像合成装置１００から第１描画装置２００および第２描画装置２へ送信したタイミング情報描画位置である。そして、第１入力映像解析部１８１および第２入力映像解析部１８２は、解析によって得られたタイミング情報を制御部１０１へ渡す。
【００８８】
制御部１０１は、第１入力映像解析部１８１および第２入力映像解析部１８２からタイミング情報を取得し（ステップＳＴ９８）、その取得したタイミング情報が、ステップＳＴ８４において第１描画装置２００および第２描画装置２へ送信したタイミング要求情報と一致するか否か比較する（ステップＳＴ９９）。
【００８９】
そして、第１描画装置２００から受信したタイミング情報と第２描画装置２から受信したタイミング情報の両方がタイミング要求情報と一致した場合、すなわち、取得したタイミング情報がタイミング要求情報と同じタイミングになったとき（ステップＳＴ９９のＹＥＳの場合）に、映像合成部１０５に対してグラフィック映像の合成を指示する（ステップＳＴ１００）。一方、一致しない場合、すなわち、同じタイミングではないとき（ステップＳＴ９９のＮＯの場合）には、タイミング要求情報と同じタイミングのタイミング情報を持った映像フレームを受信するまで待つ。
【００９０】
その後、映像合成部１０５は、第１映像入力部１４１で第１描画装置２００から受信した入力フレームバッファと、第２映像入力部１４２で第２描画装置２から受信した入力フレームバッファを合成する（ステップＳＴ１０１）。合成された映像は表示出力部１６により、ディスプレイなどへ出力され、表示される（ステップＳＴ１０２）。
【００９１】
以上のように、この実施の形態４によれば、映像合成装置から第１描画装置および第２描画装置へ、画面変更要求と共にタイミング要求情報とタイミング情報描画位置を送信し、第１描画装置および第２描画装置から映像合成装置へ送信する映像フレーム内にタイミング情報を描画し、それを映像合成装置で解析することにより、映像合成装置からの要求に対応する映像フレームを受信したことを判断するとそのタイミングで映像を合成する。この構成により、第１描画装置と第２描画装置がそれぞれ描画したグラフィック映像を、映像合成装置によりタイミングを合わせて合成し、表示することができる。
【００９２】
また、この方法では、第１描画装置および第２描画装置から映像合成装置側への映像フレーム上にタイミング情報を描画するため、映像フレーム伝送とタイミングを合わせてタイミング情報を送信するための特別な機構を必要としないという特長がある。
【００９３】
実施の形態５．
以上の実施の形態１〜４では、この発明における映像合成装置が、表示出力部（表示部）１６を備えるものとして説明したが、この映像合成装置を、映像合成システムのサーバに適用したり、スマートフォン、タブレットＰＣ、携帯電話等の携帯情報端末等にインストールされる映像合成システムのアプリケーション等にも適用して、表示装置に出力するようにしてもよい。
【００９４】
図１７は、この発明の実施の形態５における映像合成システムの概要を示す図である。この映像合成システムは、例えばディスプレイ・オーディオ等の表示機能のみを有する表示装置３００が、スマートフォンなどの携帯情報端末３０１およびサーバ３０２の少なくとも一方と連携して映像合成処理を行ったり、スマートフォンなどの携帯情報端末３０１およびサーバ３０２の少なくとも一方が映像合成処理を行い、表示装置３００に合成映像を表示させる等、様々な形態をとることができる。
【００９５】
この実施の形態５では、サーバ３０２が映像合成処理を行い、その合成映像を表示装置３００に表示させることによりユーザに提供する場合、および、携帯情報端末３０１がサーバ３０２と連携して映像合成処理を行い、その合成映像を表示装置３００に表示させることによりユーザに提供する場合について説明する。
【００９６】
まず、サーバ３０２が映像合成処理を行い、その認識結果を表示装置３００に表示させる場合について説明する。
この構成においては、表示装置３００がサーバ３０２と直接通信するか、または、表示装置３００が携帯情報端末３０１を経由してサーバ３０２と通信する場合が考えられる。サーバ３０２は、上記実施の形態１〜４で説明した映像合成装置として機能する。
【００９７】
この場合、表示装置３００は、サーバ３０２により合成された合成映像をユーザに提供するための表示出力部（表示部）１６の機能および通信機能のみを有し、サーバ３０２により合成された合成映像を受信してユーザに提供する。
このように構成しても、実施の形態１〜４と同様の効果を得ることができる。
【００９８】
また、携帯情報端末３０１がサーバ３０２と連携して映像合成処理を行い、その合成映像を表示装置３００がユーザに提供する場合について説明する。
この構成においては、表示装置３００が携帯情報端末３０１を経由してサーバ３０２と通信する場合が考えられ、携帯情報端末３０１のアプリケーションが、サーバ３０２と連携して映像合成処理を行う。
【００９９】
この場合にも、表示装置３００は、基本的に表示機能および通信機能のみを有し、携帯情報端末３０１とサーバ３０２との連携により合成された合成映像を受信してユーザに提供する。
すなわち、携帯情報端末３０１のアプリケーションにより、複数の描画装置で描画されたグラフィック映像を合成した合成映像を表示装置３００に表示させる。
このように構成しても、実施の形態１〜４と同様の効果を得ることができる。
【０１００】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１０１】
この発明の映像合成装置は、複数の装置が描画するグラフィック映像が連続的に送られてくるフレーム数に違いがあるような場合であっても適用することができ、アニメーションの変化のタイミングまで合わせて合成して表示させることができる。
【符号の説明】
【０１０２】
１  第１描画装置（映像合成装置）、２  第２描画装置、３  タイミング情報、４  タイミング情報が描画される位置に表示されるべき描画情報、１０  タイミング要求情報生成部、１１，２１，１０１，２０１  制御部、１２，２２，１０２，２０２  通信部、１３，２３，２０３  描画部、１４  映像入力部、１５，１０５  映像合成部、１６  表示出力部（表示部）、１７  操作部、１８  入力映像解析部、２４，２０４  映像出力部、１００  映像合成装置、１４１  第１映像入力部、１４２  第２映像入力部、１８１  第１入力映像解析部、１８２  第２入力映像解析部、３００  表示装置、３０１  携帯情報端末、３０２  サーバ。
【図１】
0005881897.tif 000002
【図２】
0005881897.tif 000003
【図３】
0005881897.tif 000004
【図４】
0005881897.tif 000005
【図５】
0005881897.tif 000006
【図６】
0005881897.tif 000007
【図７】
0005881897.tif 000008
【図８】
0005881897.tif 000009
【図９】
0005881897.tif 000010
【図１０】
0005881897.tif 000011
【図１１】
0005881897.tif 000012
【図１２】
0005881897.tif 000013
【図１３】
0005881897.tif 000014
【図１４】
0005881897.tif 000015
【図１５】
0005881897.tif 000016
【図１６】
0005881897.tif 000017
【図１７】
0005881897.tif 000018