(57)【要約】【課題】複数のフレームを合成する装置において、表示内容のずれを発生させず、かつ、フレームレートの低下を抑制する。【解決手段】第１フレーム生成部は、所定の同期信号の周期が経過するたびに第１フレームを生成する。第２フレーム生成部は、所定数の第２フレームを順に生成する。合成部は、所定の第２フレームである現在フレームが特定のタイミングまでに生成された場合には現在フレームと第１フレームとを合成し、特定のタイミングまでに現在フレームが生成されていない場合には現在フレームより前の第２フレームを過去フレームとして第１フレームと合成する。【選択図】図４
2018072414.tif 000002
【特許請求の範囲】
【請求項１】
所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成部と、
所定数の第２フレームを順に生成する第２フレーム生成部と、
所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成部と
を具備する表示制御装置。
【請求項２】
前記第１フレームは、固体撮像素子により撮像された撮像フレームである
請求項１記載の表示制御装置。
【請求項３】
前記第２フレームは、所定の情報を表示する表示フレームである
請求項１記載の表示制御装置。
【請求項４】
前記合成部は、前記特定のタイミングまでに前記現在フレームが生成された場合には前記特定のタイミングが経過したときに前記現在フレームと前記第１フレームとを合成する処理を開始する
請求項１記載の表示制御装置。
【請求項５】
前記合成部は、前記特定のタイミングまでに前記現在フレームが生成された場合には当該現在フレームおよび前記第１フレームが生成されたときに前記現在フレームと前記第１フレームとを合成する処理を開始する
請求項１記載の表示制御装置。
【請求項６】
前記合成部は、前記第１フレームおよび前記第２フレームとを合成した合成フレームに第３フレームをさらに合成する
請求項１記載の表示制御装置。
【請求項７】
前記第３フレームは、前記撮像フレームにおいて所定の物体を検出した結果から生成した検出フレームである
請求項６記載の表示制御装置。
【請求項８】
前記第１フレームを保持する第１のフレームバッファと、
前記第２フレームを保持する第２のフレームバッファと、
前記第３フレームを保持する第３のフレームバッファと、
前記第１、第２および第３のフレームバッファのそれぞれの更新頻度を測定する管理部をさらに具備し、
前記合成部は、前記測定された更新頻度に基づいて合成条件を変更する
請求項６記載の表示制御装置。
【請求項９】
前記合成部は、前記過去フレームを前記第２のフレームバッファから取得する
請求項８記載の表示制御装置。
【請求項１０】
所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成部と、
所定数の第２フレームを順に生成する第２フレーム生成部と、
所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成部と
前記合成フレームを表示する表示部と
を具備する電子機器。
【請求項１１】
所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成手順と、
所定数の第２フレームを順に生成する第２フレーム生成手順と、
所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成手順と
を具備する表示制御装置の制御方法。
【請求項１２】
所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成手順と、
所定数の第２フレームを順に生成する第２フレーム生成手順と、
所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、表示制御装置、表示システム、表示制御装置の制御方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、複数のフレームを合成する表示制御装置、表示システム、表示制御装置の制御方法、および、当該方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、撮像されたフレームに、ＣＧ（Computer Graphics）をリアルタイムで合成することにより現実環境を拡張するＡＲ（Augmented Reality）技術の研究や開発が進められている。このＡＲ技術に用いられるディスプレイコントローラが、合成対象の複数のフレームを合成するシステムが提案されている（例えば、特許文献１参照。）。このディスプレイコントローラの合成処理は、合成対象のフレームの全てが生成されたときに開始される。その後、合成フレームは、垂直同期信号に同期して表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２３８５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来技術では、合成対象のいずれかのフレームの生成が遅れると、合成するフレームの組合せにずれが生じ、合成フレームの表示内容にずれが生じる。この表示内容のずれを無くすには、フレームレートを低下させなくてはならなくなる。このように、上述の従来技術では、表示内容のずれを発生させず、かつ、フレームレートの低下を抑制することが困難であるという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、複数のフレームを合成する装置において、表示内容のずれを発生させず、かつ、フレームレートの低下を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成部と、所定数の第２フレームを順に生成する第２フレーム生成部と、所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成部とを具備する表示制御装置、および、その制御方法、並びに、当該制御方法をコンピュータに実行させるためのプログラムである。これにより、特定のタイミングまでに現在フレームが生成されていない場合には過去フレームと第１フレームとが合成されるという作用をもたらす。
【０００７】
また、この第１の側面において、前記第１フレームは、固体撮像素子により撮像された撮像フレームであってもよい。これにより、撮像フレームが合成されるという作用をもたらす。
【０００８】
また、この第１の側面において、前記第２フレームは、所定の情報を表示する表示フレームであってもよい。これにより、表示フレームが合成されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記合成部は、上記特定のタイミングまでに上記現在フレームが生成された場合には上記特定のタイミングが経過したときに上記現在フレームと上記第１フレームとを合成する処理を開始してもよい。これにより、特定のタイミングが経過したときに合成処理が開始されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記合成部は、上記特定のタイミングまでに上記現在フレームが生成された場合には当該現在フレームおよび上記第１フレームが生成されたときに上記現在フレームと上記第１フレームとを合成する処理を開始してもよい。これにより、現在フレームが生成されたときに合成処理が開始されるという作用をもたらす。
【００１１】
また、この第１の側面において、前記合成部は、前記第１フレームおよび前記第２フレームとを合成した合成フレームに第３フレームをさらに合成してもよい。これにより、第３フレームがさらに合成されるという作用をもたらす。
請求項１記載の表示制御装置。
【００１２】
また、この第１の側面において、前記第３フレームは、前記撮像フレームにおいて所定の物体を検出した結果から生成した検出フレームであってもよい。これにより、検出フレームが合成されるという作用をもたらす。
【００１３】
また、この第１の側面において、前記第１フレームを保持する第１のフレームバッファと、前記第２フレームを保持する第２のフレームバッファと、前記第３フレームを保持する第３のフレームバッファと、前記第１、第２および第３のフレームバッファのそれぞれの更新頻度を測定する管理部をさらに具備し、前記合成部は、前記測定された更新頻度に基づいて合成条件を変更してもよい。これにより、更新頻度が調整されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記合成部は、上記過去フレームを上記第２のフレームバッファから取得してもよい。これにより、フレームバッファから取得された過去フレームが合成されるという作用をもたらす。
【００１５】
また、本技術の第２の側面は、所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成部と、所定数の第２フレームを順に生成する第２フレーム生成部と、所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成部とを具備する電子機器である。これにより、特定のタイミングまでに現在フレームが生成されていない場合には過去フレームと検出情報フレームとが合成されるという作用をもたらす。
【発明の効果】
【００１６】
本技術によれば、複数のフレームを合成する装置において、表示内容のずれを発生させず、フレームレートの低下を抑制することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本技術の第１の実施の形態におけるＡＲ端末の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における前段画像合成部の一構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における後段画像合成部の一構成例を示すブロック図である。
【図４】本技術の第１の実施の形態におけるＡＲ端末の機能構成例を示すブロック図である。
【図５】本技術の第１の実施の形態における合成前後のフレームの一例を示す図である。
【図６】本技術の第１の実施の形態におけるＡＲ端末１００の最初の撮像フレームの撮像時のタイミングチャートである。
【図７】本技術の第１の実施の形態におけるＡＲ端末の第１出力フレームの合成処理の一例を示すタイミングチャートである。
【図８】本技術の第１の実施の形態におけるＡＲ端末の第２出力フレームおよび第３出力フレームの合成処理の一例を示すタイミングチャートである。
【図９】比較例の合成処理の一例を示すタイミングチャートである。
【図１０】本技術の第１の実施の形態のＡＲ端末の動作の一例を示すフローチャートである。
【図１１】本技術の第１の実施の形態の前段処理の一例を示すフローチャートである。
【図１２】本技術の第１の実施の形態の後段処理の一例を示すフローチャートである。
【図１３】本技術の第２の実施の形態におけるＡＲ端末の第１出力フレームの合成処理の一例を示すタイミングチャートである。
【図１４】本技術の第２の実施の形態におけるＡＲ端末の第２出力フレームおよび第３出力フレームの合成処理の一例を示すタイミングチャートである。
【図１５】本技術の第２の実施の形態の前段処理の一例を示すフローチャートである。
【図１６】本技術の第３の実施の形態におけるＡＲ端末の機能構成例を示すブロック図である。
【図１７】本技術の第３の実施の形態におけるフレームバッファ管理情報のデータ構造の一例を示す図である。
【図１８】本技術の第３の実施の形態におけるフレームバッファ管理部の動作の一例を示すフローチャートである。
【図１９】本技術の第３の実施の形態における割込み処理の一例を示すフローチャートである。
【図２０】本技術の第３の実施の形態における描画処理の一例を示すフローチャートである。
【図２１】本技術の第３の実施の形態における割込みタイミング前に表示フレームの描画が完了したときのＡＲ端末の動作を示すシーケンス図の一例である。
【図２２】本技術の第３の実施の形態における割込みタイミング後に表示フレームの描画が完了したときのＡＲ端末の動作を示すシーケンス図の一例である。
【図２３】本技術の第３の実施の形態におけるＡＲ端末の動作を示すシーケンス図の一例である。
【図２４】本技術の第３の実施の形態におけるフレームバッファが更新されないときのＡＲ端末の動作を示すシーケンス図の一例である。
【図２５】本技術の第３の実施の形態におけるフレームバッファが更新されないときのＡＲ端末の動作を示すシーケンス図の一例である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（特定のタイミングで合成を開始する例）
２．第２の実施の形態（特定のタイミングまでに合成を開始する例）
３．第３の実施の形態（フレームレートを調整し、特定のタイミングで合成を開始する例）
【００１９】
＜１．第１の実施の形態＞
［ＡＲ端末の構成例］
図１は、本技術の第１の実施の形態におけるＡＲ端末１００の一構成例を示すブロック図である。このＡＲ端末１００は、複数のフレームを１フレームに合成して表示するものであり、ＡＲ表示制御部１０１、表示部１０２および固体撮像素子１０３を備える。また、ＡＲ端末１００の形状は、例えば、ゴーグル型であり、ユーザは頭部にＡＲ端末１００を装着して表示部１０２に表示されたフレームを鑑賞することができる。ＡＲ表示制御部１０１は、メモリ１１０、メモリ制御部１２０、ＣＰＵ（Central Processing Unit）１３０、ＧＰＵ（Graphics Processing Unit）１３５、バス１５０、合成部２００および表示制御部１８０を備える。なお、ＡＲ表示制御部１０１は、特許請求の範囲に記載の表示制御装置の一例であり、ＡＲ端末１００は、特許請求の範囲に記載の電子機器の一例である。
【００２０】
メモリ１１０は、ＣＰＵ１３０により使用されるデータや、固体撮像素子１０３やＧＰＵ１３５により生成されたフレームを保持するものである。メモリ制御部１２０は、メモリバス１１９を介してメモリ１１０にアクセスして、データの書込みや読出しを行うものである。
【００２１】
ＣＰＵ１３０は、ＡＲ表示制御部１０１全体を制御するものである。ＧＰＵ１３５は、ＣＰＵ１３０が実行する描画ソフトウェアの制御に従って、フレームを描画（生成）するものである。このＧＰＵ１３５により、検出フレームと表示フレームとが生成される。
【００２２】
ここで、検出フレームは、固体撮像素子１０３が撮像した撮像フレーム内の所定の物体（人物など）を検出した結果から生成したフレームである。この検出フレームには、例えば、検出した物体の位置に、検出枠やゲーム内のアイテムなどを示すＣＧが配置される。また、表示フレームは、様々な情報を表示するフレームであり、撮像フレームを用いずに生成される。例えば、現在時刻および電池残量などのステータスや様々なメッセージなどを示すフレームが表示フレームとして生成される。これらの検出フレームおよび表示フレームは、垂直同期信号ＶＳＹＮＣに同期して生成され、例えば、メモリ１１０に保持される。なお、ＧＰＵ１３５は、撮像フレームを用いずに表示フレームを生成しているが、撮像フレームを加工することにより表示フレームを生成してもよい。
【００２３】
垂直同期信号ＶＳＹＮＣは、フレームの表示や撮像のタイミングを示す一定の周波数（６０ヘルツなど）の周期信号である。また、垂直同期信号ＶＳＹＮＣは、ＡＲ端末１００内の位相同期回路や分周器などにより生成される。垂直同期信号ＶＳＹＮＣを生成する回路は、図１において省略されている。
【００２４】
バス１５０は、メモリ制御部１２０、ＣＰＵ１３０、ＧＰＵ１３５、合成部２００および固体撮像素子１０３が互いにデータをやり取りするための共通の経路である。
【００２５】
合成部２００は、複数のフレームを合成するものである。この合成部２００は、前段画像合成部２１０および後段画像合成部２２０を備える。前段画像合成部２１０は、表示制御部１８０の制御に従って、固体撮像素子１０３により撮像された撮像フレームとＧＰＵ１３５により生成された表示フレームとを合成して合成フレームを生成するものである。この合成フレームは、例えば、メモリ１１０に保持される。また、合成部２００は、他の回路へのクロック信号と独立したクロック信号により動作させることができる。さらに、合成部２００は、前段画像合成部２１０と後段画像合成部２２０とのそれぞれを異なるクロック信号により動作させることもできる。
【００２６】
後段画像合成部２２０は、表示制御部１８０の制御に従って、前段画像合成部２１０により生成された合成フレームと、ＧＰＵ１３５により生成された検出フレームとを合成するものである。この後段画像合成部２２０は、合成したフレームを出力フレームとして表示制御部１８０に供給する。
【００２７】
固体撮像素子１０３は、垂直同期信号ＶＳＹＮＣに同期して撮像フレームを撮像するものである。この撮像フレームは、例えば、メモリ１１０に保持される。なお、固体撮像素子１０３は、特許請求の範囲に記載の第１フレーム生成部の一例である。
【００２８】
表示制御部１８０は、合成部２００を制御して合成処理を実行させるものである。この表示制御部１８０は、合成部２００からの出力フレームを受け取り、その出力フレームを表示部１０２に信号線１８９を介して出力する。
【００２９】
表示部１０２は、出力フレームを表示するものである。例えば、液晶ディスプレイや有機ＥＬ(ElectroLuminescence)ディスプレイなどの非透過型のディスプレイや、プロジェクションタイプなどの透過型のディスプレイが表示部１０２として用いられる。前述したように、出力フレームにはリアルタイムにＣＧが合成されているため、その出力フレームの表示により、ＣＧが現実に存在するようにユーザに感じさせることができる。これにより、現実環境を拡張することができる。
【００３０】
なお、ＡＲ表示制御部１０１、表示部１０２および固体撮像素子１０３をＡＲ端末１００に設けているが、複数のフレームを合成する装置や機器であれば、ＡＲ端末１００以外の装置や機器（例えば、スマートフォンやパーソナルコンピュータ）に設けてもよい。また、ＡＲ表示制御部１０１、表示部１０２および固体撮像素子１０３を１つの機器に設けているが、これらを複数の機器に分散して配置してもよい。例えば、ＡＲ表示制御部１０１をパーソナルコンピュータなどに設け、表示部１０２を液晶ディスプレイなどの表示装置に設け、固体撮像素子１０３をカメラモジュールに設けてもよい。同様に、ＡＲ表示制御部１０１内の各部も複数の機器に分散して配置してもよい。
【００３１】
［前段画像合成部の構成例］
図２は、本技術の第１の実施の形態における前段画像合成部２１０の一構成例を示すブロック図である。この前段画像合成部２１０は、画像読出し部２１１および２１２と、画像処理部２１３および２１４と、合成フレーム生成部２１５と、画像書込み部２１６と、合成制御部２１７とを備える。
【００３２】
画像読出し部２１１は、固体撮像素子１０３により撮像された撮像フレームを、メモリ制御部１２０およびバス１５０を介してメモリ１１０から読み出すものである。この画像読出し部２１１は、読み出したフレームを画像処理部２１３に供給する。
【００３３】
画像読出し部２１２は、ＧＰＵ１３５により描画された表示フレームを、メモリ制御部１２０およびバス１５０を介してメモリ１１０から読み出すものである。この画像読出し部２１２は、読み出したフレームを画像処理部２１４に供給する。
【００３４】
画像処理部２１３は、撮像フレームに対して所定の画像処理を実行するものである。画像処理として、例えば、解像度や色情報の調整、および、画像フォーマットの変更などが必要に応じて実行される。画像処理部２１３は、画像処理後の撮像フレームを合成フレーム生成部２１５に供給する。
【００３５】
画像処理部２１４は、表示フレームに対して所定の画像処理を実行するものである。この画像処理部２１４は、画像処理後の表示フレームを合成フレーム生成部２１５に供給する。
【００３６】
合成フレーム生成部２１５は、合成制御部２１７の制御に従って複数のフレームを合成するものである。
【００３７】
合成制御部２１７は、前段合成部２１０全体を制御するものである。この合成制御部２１７の機能は、例えば、ＣＰＵや各種の回路により実現される。合成制御部２１７には、前段の合成を開始させるための割込み信号ＩＮＩ１が表示制御部１８０により入力される。この割込み信号ＩＮＩ１は、垂直同期信号ＶＳＹＮＣの周期内の特定のタイミングを、合成を開始すべきタイミングとして示す。合成制御部２１７は、割込み信号ＩＮＩ１の示すタイミングまでに、表示フレームが生成されているか否かを判断する。表示フレームが生成されているのであれば、合成制御部２１７は、合成フレーム生成部２１５を制御して、最新の表示フレームと撮像フレームとの合成を開始させる。
【００３８】
一方、割込み信号ＩＮＩ１の示すタイミングまでに、表示フレームが生成されていなければ、合成制御部２１７は、画像読出し部２１２を制御して生成途中の現在の表示フレームの１つ前の過去の表示フレームをメモリ１１０から取得させる。そして、合成制御部２１７は、合成フレーム生成部２１５を制御して、過去の表示フレームと現在の撮像フレームとの合成を開始させる。合成フレーム生成部２１５は、生成した合成フレームを画像書込み部２１６に供給する。
【００３９】
画像書込み部２１６は、メモリ制御部１２０およびバス１５０を介して合成フレームをメモリ１１０に書き込むものである。
【００４０】
［後段画像合成部の構成例］
図３は、本技術の第１の実施の形態における後段画像合成部２２０の一構成例を示すブロック図である。この後段画像合成部２２０は、画像読み出し部２２１および２２２と、画像処理部２２３および２２４と、出力フレーム生成部２２５と、表示出力部２２６と、合成制御部２２７とを備える。
【００４１】
画像読出し部２２１は、前段画像合成部２１０により生成された合成フレームをメモリ制御部１２０およびバス１５０を介してメモリ１１０から読み出すものである。この画像読出し部２２１は、読み出した合成フレームを画像処理部２２３に供給する。
【００４２】
画像読出し部２２２は、ＧＰＵ１３５により描画された検出フレームをメモリ制御部１２０およびバス１５０を介してメモリ１１０から読み出すものである。この画像読出し部２２２は、読み出した検出フレームを画像処理部２２４に供給する。
【００４３】
画像処理部２２３は、合成フレームに対して所定の画像処理を実行するものである。画像処理部２２３は、画像処理後の合成フレームを出力フレーム生成部２２５に供給する。画像処理部２２４は、検出フレームに対して所定の画像処理を実行するものである。この画像処理部２２４は、画像処理後の検出フレームを出力フレーム生成部２２５に供給する。
【００４４】
出力フレーム生成部２２５は、合成制御部２２７の制御に従って検出フレームと合成フレームとを合成して出力フレームとして出力するものである。
【００４５】
合成制御部２２７は、後段合成部２２０全体を制御するものである。この合成制御部２２７の機能は、例えば、ＣＰＵや各種の回路により実現される。合成制御部２２７には、後段の合成を開始させるための割込み信号ＩＮＩ２が表示制御部１８０により入力される。この割込み信号ＩＮＩ２は、垂直同期信号ＶＳＹＮＣの周期内において、割込み信号ＩＮＩ１に対応するタイミングと異なる特定のタイミングを、合成を開始すべきタイミングとして示す。合成制御部２２７は、その割込み信号ＩＮＩ２のタイミングが経過したときに、出力フレーム生成部２２５を制御して検出フレームと合成フレームとの合成を開始させる。そして、出力フレーム生成部２２５は、生成した出力フレームを表示出力部２２６に供給する。表示出力部２２６は、出力フレームを表示制御部１８０に出力するものである。
【００４６】
図４は、本技術の第１の実施の形態におけるＡＲ端末１００の機能構成例を示すブロック図である。ＡＲ端末１００は、描画部１４０と、フレームバッファ１１１、１１４、１１５および１１６と、前段画像合成部２１０と、後段画像合成部２２０と、表示制御部１８０と、表示部１０２と、固体撮像素子１０３とを備える。
【００４７】
図４における描画部１４０は、例えば、図１におけるＣＰＵ１３０により実行される描画ソフトウェアとＧＰＵ１３５とにより実現される。また、図４におけるフレームバッファ１１１、１１４、１１５および１１６は、例えば、図１におけるメモリ１１０内に設けられる。
【００４８】
描画部１４０は、表示フレーム生成部１４１および検出フレーム生成部１４２を備える。表示フレーム生成部１４１は、垂直同期信号ＶＳＹＮＣに同期して、撮像フレームを用いずに複数の表示フレームを時系列順に生成するものである。この表示フレーム生成部１４１は、生成した表示フレームをフレームバッファ１１１に書き込む。なお、表示フレーム生成部１４１は、特許請求の範囲に記載の第２フレーム生成部の一例である。
【００４９】
フレームバッファ１１１は、２フレーム分の表示フレームを保持するものである。このフレームバッファ１１１には、Ａ面１１２およびＢ面１１３が設けられ、それぞれの面は１フレームを保持することができる。表示フレーム生成部１４１は、最初の第０表示フレームを例えば、Ａ面１１２に書き込み、次の第１表示フレームをＢ面１１３に書き込む。次の第２表示フレームは、Ａ面１１２に書き込まれる。以降も同様に、表示フレームの生成のたびに、その書込み先の面が切り替えられる。また、書込みが完了すると描画部１４０内のＣＰＵは、Ａ面１１２およびＢ面１１３のうち書き込みが完了した面を合成部２００に通知する。この通知により、合成部２００は、描画が完了したタイミングを取得することができる。以下、フレームバッファ１１１に保持された２フレームのうち、新しい方を「現在」のフレームと称し、他方を「過去」のフレームと称する。フレームバッファ１１４、１１５および１１６についても同様に、２フレーム分が保持される。
【００５０】
なお、フレームバッファ１１１、１１４、１１５および１１６は、２フレーム分を保持しているが、保持するフレーム数は２フレームに限定されない。これらのフレームバッファは、例えば、１フレーム分を保持してもよいし、３フレーム以上を保持してもよい。
【００５１】
検出フレーム生成部１４２は、撮像フレーム内の所定の物体を検出した結果から検出フレームを生成するものである。この検出フレーム生成部１４２は、フレームバッファ１１５から撮像フレームを読み出し、その撮像フレームにおいて所定の物体（人物など）を検出する。そして、検出フレーム生成部１４２は、垂直同期信号ＶＳＹＮＣに同期して、人物等を検出した位置に検出枠などのＣＧを示す検出フレームを生成し、フレームバッファ１１４に書き込む。なお、検出フレーム生成部１４２は、特許請求の範囲に記載の第３フレーム生成部の一例である。
【００５２】
固体撮像素子１０３は、垂直同期信号ＶＳＹＮＣに同期して、撮像フレームを撮像し、フレームバッファ１１５に書き込む。なお、固体撮像素子１０３は、特許請求の範囲に記載の第１フレーム生成部の一例である。
【００５３】
前段画像合成部２１０は、割込み信号ＩＮＩ１のタイミングまでに表示フレームの描画（生成）が完了している場合に現在の表示フレームおよび撮像フレームを読み出して合成する。
【００５４】
一方、そのタイミングまでに表示フレームが生成されていない場合に前段画像合成部２１０は、過去の表示フレームを読み出し、現在の撮像フレームと合成する。そして、前段画像合成部２１０は、合成フレームをフレームバッファ１１６に書き込む。
【００５５】
後段画像合成部２２０は、割込み信号ＩＮＩ２の示すタイミングで、フレームバッファ１１４および１１６から合成フレームおよび検出フレームを読み出し、それらの合成を開始する。表示制御部１８０は、垂直同期信号ＶＳＹＮＣに同期して割込み信号ＩＮＩ１およびＩＮＩ２を生成して、前段画像合成部２１０および後段画像合成部２２０に供給する。
【００５６】
図５は、本技術の第１の実施の形態における合成前後のフレームの一例を示す図である。固体撮像素子１０３は、垂直同期信号ＶＳＹＮＣに同期して、３人の人物が写された撮像フレーム５００を撮像する。検出フレーム生成部１４２は、その撮像フレーム５００内の人物を検出し、その検出した位置に検出枠を配置した検出フレーム５０２を垂直同期信号ＶＳＹＮＣに同期して生成する。
【００５７】
また、表示フレーム生成部１４１は、現在時刻、電池残量およびメッセージを示す表示フレーム５０１を垂直同期信号ＶＳＹＮＣに同期して生成する。このメッセージは、例えば、表示フレームの下端付近にスクロール表示される。なお、表示フレーム生成部１４１は、現在時刻、電池残量およびメッセージを表示しているが、表示する情報は、これらに限定されない。また、表示フレーム生成部１４１は、現在時刻、電池残量およびメッセージを全て表示する必要はなく、それらのうち１つまたは２つを表示してもよい。また、メッセージは、スクロールせずに固定表示してもよい。
【００５８】
そして、合成制御部２１７は、前段画像合成部２１０を制御して割込み信号ＩＮＩ１の示すタイミングで表示フレーム５０１および撮像フレーム５００の合成を開始させる。このタイミングまでに最新の表示フレーム５０１の生成が完了していない場合に、合成制御部２１７は、１つ前の過去の表示フレームをフレームバッファ１１１から読み出させ、撮像フレーム５００と合成させる。合成により、合成フレーム５０３が生成される。
【００５９】
次いで、合成制御部２２７は、後段画像合成部２２０を制御して割込み信号ＩＮＩ２の示すタイミングで合成フレーム５０３と検出フレーム５０２とを合成させて、出力フレーム５０４として出力させる。
【００６０】
図５に例示したように、メッセージをスクロール表示する場合や多数のメッセージを表示する場合などに、ＧＰＵ１３５の処理量が増大し、その影響で表示フレーム５０１の描画完了が遅れることがある。この場合に、表示フレーム５０１の描画が完了してから合成を開始すると、垂直同期信号ＶＳＹＮＣの周期内に合成が完了せず、出力フレーム５０４において検出フレーム５０２と撮像フレーム５００との間にずれが生じるおそれがある。
【００６１】
これに対して、前段画像合成部２１０は、割込み信号ＩＮＩ１の示すタイミングで合成を開始する。このため、合成が間に合うタイミングを割込み信号ＩＮＩ１に設定しておくことにより、前段画像合成部２１０は、垂直同期信号ＶＳＹＮＣの周期内に合成を完了させることができる。したがって、出力フレーム５０４において検出フレーム５０２と撮像フレーム５００との間にずれが生じる現象を抑制することができる。
【００６２】
ここで、割込み信号ＩＮＩ１のタイミングまでに現在の表示フレーム５０１の生成が完了していなければ、前段画像合成部２１０は、合成制御部２１７の制御に従って、その１つ前の過去の表示フレーム５０１を読み出して合成する。この際に、同じ表示フレーム５０１が２フレームに亘って連続して表示されて、表示フレーム５０１のフレームレートが低下する。しかしながら、表示フレーム５０１は撮像フレーム５００から生成されたものではなく、撮像フレーム５００との関連の度合いは低いため、表示フレーム５０１のフレームレート低下が、出力フレーム５０４からなる動画の画質に与える影響は少ない。
【００６３】
一方、検出フレーム５０２は、撮像フレーム５００から生成されたものであり、撮像フレーム５００との関連の度合いが高い。このため、この検出フレーム５０２の生成が遅れた際に、過去の検出フレーム５０２を読み出して現在の撮像フレーム５００と合成すると、人物の位置と検出枠との間にずれが生じて画質を低下させるおそれがある。したがって、仮に検出フレーム５０２の生成が遅れた際には、例えば、過去の合成フレーム５０３と、検出フレーム５０２とを後段合成部２２０が合成して出力フレームとし、その出力フレームが表示される。
【００６４】
具体例を挙げると、第Ｍ（Ｍは整数）番目の表示フレームの生成が割込み信号ＩＮＩ１のタイミングまでに完了しない場合には、第Ｍ−１番目の表示フレームと第Ｍ番目の検出フレームと第Ｍ番目の撮像フレームとが合成される。一方、仮に第Ｍ番目の検出フレームの生成が割込み信号ＩＮＩ２のタイミングまでに完了しない場合には、例えば、第Ｍ−１番目の撮像フレーム、検出フレームおよび表示フレームが合成されて出力される。
【００６５】
なお、ＡＲ端末１００は、表示フレームおよび撮像フレームを合成した合成フレームを検出フレームに合成しているが、これらの３フレームのうち２フレームのみを合成してもよい。例えば、ＡＲ端末１００は、前段の合成を行わず、後段画像合成部２２０により撮像フレームおよび表示情報フレームを合成してもよい。また、表示部１０２を透過型とする場合、システム的に検出フレームとのずれが予想されるため、動き予測を行う動き予測部を追加し、その予測結果を利用して、フレームのずれが発生しにくい検出フレーム画像を得ることが望ましい。
【００６６】
また、ＡＲ端末１００は、撮像フレームに２枚のフレーム（表示フレームおよび検出フレーム）を合成しているが、３枚以上のフレームを合成することもできる。例えば、ＡＲ端末１００は、２枚以上の検出フレームを合成してもよいし、２枚以上の表示フレームを合成してもよい。フレームの合成枚数は、実行されるアプリケーションの内容により決定される。合成枚数を変更する場合には、例えば、前段合成部２１０が時分割で、必要な回数に亘って合成を行えばよい。
【００６７】
図６は、本技術の第１の実施の形態におけるＡＲ端末１００の最初の撮像フレームの撮像時のタイミングチャートである。垂直同期信号ＶＳＹＮＣは、一定の周期でタイミングＴ１０やタイミングＴ２０において立ち上がる。また、割込み信号ＩＮＩ２のタイミングは、垂直同期信号ＶＳＹＮＣの立上りのタイミングの直前であるものとする。
【００６８】
垂直同期信号ＶＳＹＮＣの周期内の終了時（タイミングＴ２０など）よりも所定の設定時間ｄＴだけ前の特定のタイミングＴ１１において、表示制御部１８０は、割込み信号ＩＮＩ１を出力する。この設定時間ｄＴには、合成フレームの合成に要する時間に所定のマージンを加えた時間が設定される。この割込みのタイミングは、合成するフレームの枚数や、垂直同期信号ＶＳＹＮＣの周波数などに基づいて、ユーザが設定時間ｄＴを入力する操作などにより変更することができる。なお、設定時間ｄＴの代わりに、垂直同期信号ＶＳＹＮＣの周期とｄＴとの差分を入力する構成であってもよい。なお、割込み信号ＩＮＩ２のタイミングは、システムの構成により一意に決定して設定される。このタイミングは、通常は動的に変更されることはない。
【００６９】
固体撮像素子１０３は、垂直同期信号ＶＳＹＮＣに同期するタイミングで撮像を行う。例えば、タイミングＴ１０において最初の撮像フレームＩＭＧ１の撮像が開始される。
【００７０】
図７は、本技術の第１の実施の形態におけるＡＲ端末１００の第１出力フレームの合成処理の一例を示すタイミングチャートである。
【００７１】
ＧＰＵ１３５は、垂直同期信号ＶＳＹＮＣが立ち上がったタイミングＴ２０において表示フレームＤＩＳＰ１および検出フレームＤＥＴ１の描画を開始する。また、固体撮像素子１０３は、タイミングＴ２０において２枚目の撮像フレームＩＭＧ２の撮像を開始する。
【００７２】
ここで、割込み信号ＩＮＩ１のタイミングＴ２１までに、表示フレームＤＩＳＰ１の生成が完了したものとする。前段画像合成部２１０は、撮像フレームＩＭＧ１と、現在の表示フレームＤＩＳＰ１とをフレームバッファから読み出し、それらの合成を開始する。そして、割込み信号ＩＮＩ２のタイミングＴ２２の前までに、合成フレームＢＬＤ１の生成が完了する。
【００７３】
また、後段画像合成部２２０は、割込み信号ＩＮＩ２のタイミングＴ２２において、検出フレームＤＥＴ１および合成フレームＢＬＤ１を読み出し、出力フレームＯＵＴ１の合成を開始する。表示部１０２は、垂直同期信号ＶＳＹＮＣの立上りのタイミングＴ４０までに出力フレームＯＵＴ１の表示を完了する。
【００７４】
そして、ＧＰＵ１３５は、垂直同期信号ＶＳＹＮＣが立ち上がったタイミングＴ３０において表示フレームＤＩＳＰ２および検出フレームＤＥＴ２の描画を開始する。また、固体撮像素子１０３は、タイミングＴ３０において撮像フレームＩＭＧ３の撮像を開始する。
【００７５】
なお、ＡＲ端末１００は、撮像フレームを縮小せずに合成しているが、縮小して合成してもよい。その場合には、例えば、垂直同期信号ＶＳＹＮＣのタイミング（Ｔ２０など）において、その直前に撮像された撮像フレーム（ＩＭＧ１など）の縮小処理がＧＰＵ１３５によって実施され、タイミングＴ２１までに生成完了した縮小画像が画像読出し部２１１によって読み出される。
【００７６】
図８は、本技術の第１の実施の形態におけるＡＲ端末１００の第２出力フレームおよび第３出力フレームの合成処理の一例を示すタイミングチャートである。
【００７７】
ＧＰＵ１３５は、垂直同期信号ＶＳＹＮＣが立ち上がったタイミングＴ４０において表示フレームＤＩＳＰ３および検出フレームＤＥＴ３の描画を開始する。また、固体撮像素子１０３は、タイミングＴ４０において撮像フレームＩＭＧ４の撮像を開始する。
【００７８】
ここで、割込み信号ＩＮＩ１のタイミングＴ４１までに、表示フレームＤＩＳＰ３の生成が完了しなかったものとする。その場合に前段画像合成部２１０は、撮像フレームＩＭＧ３と、１つ前の過去の表示フレームＤＩＳＰ２とをフレームバッファから読み出し、それらの合成を開始する。そして、割込み信号ＩＮＩ２のタイミングＴ４２の前までに、合成フレームＢＬＤ３の生成が完了する。
【００７９】
また、後段画像合成部２２０は、割込み信号ＩＮＩ２のタイミングＴ４２において、検出フレームＤＥＴ３および合成フレームＢＬＤ３を読み出し、出力フレームＯＵＴ３の合成を開始する。表示部１０２は、垂直同期信号ＶＳＹＮＣの立上りのタイミングＴ６０までに出力フレームＯＵＴ３の表示を完了する。
【００８０】
図６、図７および図８に例示したように、表示制御部１８０は、後段画像合成部２２０に、垂直同期信号ＶＳＹＮＣの１周期分を要する比較的重い描画処理を割り当て、前段画像合成部２１０に比較的軽い描画処理を割り当てて、それらの処理を並列に実行させる。これにより、描画時間を最大限に見積もった場合であっても、合計２フレームで処理を完結させることができる。
【００８１】
図９は、本技術の第１の実施の形態と比較例とのそれぞれの合成処理の一例を示すタイミングチャートである。このタイミングチャートは、割込み信号ＩＮＩ１のタイミングで無く、表示フレームの生成が完了したときに合成を開始する比較例の合成処理の一例を示す。
【００８２】
比較例の端末は、ある垂直同期信号ＶＳＹＮＣの周期において検出フレームＤＥＴ３および表示フレームＤＩＳＰ３の描画を開始する。
【００８３】
ここで、メッセージのスクロール表示などにより表示フレームＤＩＳＰ３の生成が遅れて合成開始が遅延し、垂直同期信号ＶＳＹＮＣの周期の終了時のタイミングＴ５０までに合成が完了しないものとする。この場合に比較例の端末では、次の垂直同期信号ＶＳＹＮＣのタイミングＴ６０の直前のタイミングＴ５２において検出フレームＤＥＴ３および合成フレームＢＬＤ３が読み出されて合成される。この検出フレームＤＥＴ３は、その前の撮像フレームＩＭＧ４の周期内（タイミングＴ５０の直前）に出力を開始すべきフレームである。このように、表示フレームの生成が完了したときに合成を開始する比較例では、出力フレームにおいて検出フレームと撮像フレームとの間にずれが生じる。
【００８４】
これに対して、図８に例示したようにＡＲ端末１００は、表示フレームの生成が遅れても、割込み信号ＩＮＩ１のタイミングＴ４１等において合成を開始する。この割込みのタイミングＴ４１等は、垂直同期信号ＶＳＹＮＣの周期内に合成が完了するように設定されている。このため、そのタイミングで合成を開始することにより、垂直同期信号ＶＳＹＮＣの周期内に合成が完了し、出力フレームにおいて検出フレームと撮像フレームとの間にずれが生じるのを抑制することができる。
【００８５】
［ＡＲ端末の動作例］
図１０は、本技術の第１の実施の形態のＡＲ端末１００の動作の一例を示すフローチャートである。このＡＲ端末１００の動作は、例えば、出力フレームを表示させるための所定のアプリケーションが実行されたときに開始される。ＡＲ端末１００は、撮像フレームおよび表示フレームを合成するための前段処理を実行し（ステップＳ９１０）、検出フレームおよび合成フレームを合成するための後段処理を実行する（ステップＳ９３０）。そして、ＡＲ端末１００は、ユーザの操作などに基づいて表示を終了すべきか否かを判断する（ステップＳ９４０）。表示を終了すべきでない場合に（ステップＳ９４０：Ｎｏ）、ＡＲ端末１００は、ステップＳ９１０以降を繰り返し実行する。一方、表示を終了すべきである場合に（ステップＳ９４０：Ｙｅｓ）、ＡＲ端末１００は、表示のための動作を終了する。
【００８６】
図１１は、本技術の第１の実施の形態の前段処理の一例を示すフローチャートである。固体撮像素子１０３は撮像フレームの撮像を開始する（ステップＳ９１１）。また、ＧＰＵ１３５は、撮像フレームから人物を検出して検出フレームの描画を開始する（ステップＳ９１２）。また、ＧＰＵ１３５は、表示フレームの描画を開始する（ステップＳ９１３）。そして、前段画像合成部２１０は、割込み信号ＩＮＩ１の示す割込みのタイミングが経過したか否かを判断する（ステップＳ９１５）。割込みのタイミングが経過していない場合に（ステップＳ９１５：Ｎｏ）、前段画像合成部２１０は、ステップＳ９１５を繰り返す。
【００８７】
一方、割込みのタイミングが経過した場合に（ステップＳ９１５：Ｙｅｓ）、合成制御部２１７は、現在の表示フレームの描画（生成）が完了したか否かを判断する（ステップＳ９１６）。現在の表示フレームの描画が完了している場合に（ステップＳ９１６：Ｙｅｓ）、前段画像合成部２１０は、合成制御部２１７の制御に従って、その現在の表示フレームと撮像フレームとをフレームバッファから取得する（ステップＳ９１７）。
【００８８】
一方、現在の表示フレームの描画が完了していない場合に（ステップＳ９１６：Ｎｏ）、前段画像合成部２１０は、合成制御部２１７の制御に従って、過去の表示フレームと撮像フレームとをフレームバッファから取得する（ステップＳ９１８）。ステップＳ９１７またはＳ９１８の後に前段画像合成部２１０は、合成フレームを生成する（ステップＳ９１９）。前段画像合成部２１０は、その合成フレームをフレームバッファに保持させ（ステップＳ９２０）、前段処理を終了する。
【００８９】
図１２は、本技術の第１の実施の形態の後段処理の一例を示すフローチャートである。後段画像合成部２２０は、合成制御部２２７の制御に従って割込み信号ＩＮＩ２のタイミングで合成フレームおよび検出フレームをフレームバッファから読み出し（ステップＳ９３１）、出力フレームを生成する（ステップＳ９３２）。そして、表示部１０２は、出力フレームを表示する（ステップＳ９３３）。ステップＳ９３３の後にＡＲ端末１００は、後段処理を終了する。
【００９０】
このように、本技術の第１の実施の形態によれば、ＡＲ端末１００は、特定のタイミングまでに表示フレームが生成されていない際に過去の表示フレームを取得して合成するため、そのタイミング以降に合成の開始が遅れることを防止することができる。これにより、ＡＲ端末１００は、垂直同期信号の周期内に合成を完了させて、検出フレームと撮像フレームとの間のずれを抑制することができる。
【００９１】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、割込み信号ＩＮＩ１のタイミングの前に、合成対象の２枚のフレームの生成が両方とも完了していても、ＡＲ端末１００は、そのタイミングの経過時に合成対象のフレームを読み出して合成を開始していた。この構成では、合成対象のフレームを読み出すタイミングが固定され、その固定のタイミングにおいてメモリバス１１９の負荷が重くなる。そこで、割込み信号ＩＮＩ１のタイミング以外のタイミングであっても、可能であればＡＲ端末１００が合成を開始して、メモリバス１１９の負荷を分散することが好ましい。この第２の実施の形態のＡＲ端末１００は、メモリバス１１９の負荷を分散した点において第１の実施の形態と異なる。
【００９２】
図１３は、本技術の第２の実施の形態におけるＡＲ端末の第１出力フレームの合成処理の一例を示すタイミングチャートである。
【００９３】
割込み信号ＩＮＩ１のタイミングをＴ２２とし、そのタイミングの前のタイミングＴ２１で表示フレームＤＩＳＰ１の生成が完了したものとする。そのタイミングＴ２１において前段画像合成部２１０は、撮像フレームＩＭＧ１および表示フレームＤＩＳＰ１をフレームバッファから読み出し、それらの合成を開始する。
【００９４】
図１４は、本技術の第２の実施の形態におけるＡＲ端末の第２出力フレームおよび第３出力フレームの合成処理の一例を示すタイミングチャートである。
【００９５】
割込み信号ＩＮＩ１のタイミングＴ４１で表示フレームＤＩＳＰ３の生成が完了しなかったものとする。そのタイミングＴ４１において前段画像合成部２１０は、撮像フレームＩＭＧ３と、過去の表示フレームＤＩＳＰ２とをフレームバッファから読み出し、それらの合成を開始する。
【００９６】
図１３および図１４に例示したように、第２の実施の形態の前段画像合成部２１０は、割込みのタイミング前に、表示フレームの生成が完了したのであれば、その時点で合成を開始する点において第１の実施の形態と異なる。これにより、メモリ１１０からのフレームの読出しのタイミングが固定でなくなるため、メモリバス１１９の負荷を分散することができる。
【００９７】
図１５は、本技術の第２の実施の形態の前段処理の一例を示すフローチャートである。この第２の実施の形態の前段処理は、ステップＳ９１５およびＳ９１６の代わりにステップＳ９１４を実行する点において第１の実施の形態と異なる。
【００９８】
現在の表示フレームの描画開始（ステップＳ９１３）の後に合成制御部２１７は、割込みのタイミングまでに、表示フレームの描画が完了したか否かを判断する（ステップＳ９１４）。描画が完了している場合に（ステップＳ９１４：Ｙｅｓ）、前段画像合成部２１０は、ステップＳ９１７を実行し、表示フレームの描画が完了していない場合に（ステップＳ９１４：Ｎｏ）、ステップＳ９１８を実行する。
【００９９】
このように、本技術の第２の実施の形態によれば、割込みのタイミング前であっても合成対象のフレームが生成された時点でＡＲ端末１００が合成を開始するため、割込みのタイミング以外においてもメモリバス１１９を介してフレームを読み出すことができる。これにより、メモリバス１１９の負荷を分散することができる。
【０１００】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、ＡＲ端末１００は、描画が遅れた際に過去の表示フレームを読み出して、撮像フレームと検出フレームとのずれを抑制し、表示内容の整合性を取っていた。しかし、過去の表示フレームの読出しの発生頻度が高いほど、表示フレームのフレームバッファの更新頻度は低下してしまう。検出フレームについても、検出対象の人物が増加した場合などに、検出フレームのフレームバッファの更新頻度が低下することがある。これらの合成対象のフレームバッファのそれぞれの更新頻度が異なると、それらを合成した合成フレームで整合性が取れなくなり、画質が低下するおそれがある。この場合には、合成するフレームの解像度や、合成枚数などの合成条件をＡＲ端末１００が変更することにより、それぞれの更新頻度を一定に調整することが望ましい。この第３の実施の形態のＡＲ端末１００は、フレームバッファの更新頻度を調整する点において第１の実施の形態と異なる。
【０１０１】
図１６は、本技術の第３の実施の形態におけるＡＲ端末１００の機能構成例を示すブロック図である。この第３の実施の形態のＡＲ端末１００は、フレームバッファ管理部１９０をさらに備える点において第１の実施の形態と異なる。
【０１０２】
フレームバッファ管理部１９０は、フレームバッファ１１１、１１４および１１５のそれぞれの更新頻度をフレームレートとして測定するものである。このフレームバッファ管理部１９０は、フレームレートの算出に必要な情報を含むスナップショット情報を割込み信号ＩＮＩ１、ＩＮＴ２のタイミングで取得する。また、フレームバッファ管理部１９０は、そのスナップショット情報内の未更新カウンタ値を、問い合わせに応じて描画ソフトウェアに送信する。なお、フレームバッファ管理部１９０は、特許請求の範囲に記載の管理部の一例である。未更新カウンタ情報については後述する。
【０１０３】
描画部１４０は、フレームバッファ管理部１９０からの未更新カウンタ値に基づいて、合成対象のフレームの解像度、合成枚数や割込みのタイミングなどの合成条件を必要に応じて変更するように要求し、更新頻度（フレームレート）を調整する。
【０１０４】
図１７は、本技術の第３の実施の形態におけるフレームバッファ管理情報６００のデータ構造の一例を示す図である。このフレームバッファ管理情報６００は、フレームバッファ管理部１９０が用いる情報であり、フレームバッファ識別情報、次回合成面情報、現在合成面情報および未更新カウンタ値を含む。
【０１０５】
フレームバッファ識別情報は、フレームバッファ１１１、１１４および１１５のそれぞれを識別するための情報である。例えば、フレームバッファ１１１にフレームバッファ識別情報として「０１」が割り当てられ、フレームバッファ１１４および１１５に「０２」および「０３」が割り当てられる。
【０１０６】
次回合成面情報は、次の垂直同期信号ＶＳＹＮＣの周期において、Ａ面およびＢ面のどちらが合成対象となるかと、その面に書き込まれた領域の縦横サイズ（解像度）とを示す情報である。例えば、次回合成面情報は、フレームバッファ識別情報ごとに次回合成面ＮＦと、解像度ＮＡとを含む。
【０１０７】
現在合成面情報は、現在の垂直同期信号ＶＳＹＮＣの周期において、Ａ面およびＢ面のどちらが合成対象となったかと、書き込まれた領域の解像度とを示す情報である。例えば、現在合成面情報は、フレームバッファ識別情報ごとに現在合成面ＰＦと、解像度ＰＡとを含む。
【０１０８】
上述の次回合成面情報は、初期化時に現在合成面情報と同じ値に設定され、描画ソフトウェアからの次回合成面切替要求のタイミングで、その要求に合わせて変更される。また、現在合成面情報は、合成開始の割込み信号ＩＮＩ１およびＩＮＩ２のそれぞれのタイミングで、次回合成面情報と同じ値に更新される。すなわち、次回合成面情報と現在合成面情報は、割込み信号ＩＮＩ１またはＩＮＩ２のタイミングで、同じ値となる。
【０１０９】
未更新カウンタ値は、あるフレームが合成対象となってから現在までの間、そのフレームのフレームバッファの更新がされなかった回数を、そのフレームの合成タイミング（ＩＮＩ１またはＩＮＩ２）に同期して計数した値である。
【０１１０】
現在合成面情報および未更新カウンタ値が、前述のスナップショット情報として、割込み信号ＩＮＩ１またはＩＮＴ２のタイミングでフレームバッファ管理部１９０により取得される。スナップショット情報取得の際にフレームバッファ管理部１９０は、まず、計測対象のフレームに対応する次回合成面情報と現在合成面情報とを比較し、それらが同一であれば、対応する未更新カウンタ値をインクリメントする。次に、フレームバッファ管理部１９０は、現在合成面情報に、今回の割込み信号ＩＮＩ１またはＩＮＴ２のタイミングで合成対象となった次回合成面情報をコピーする。例えば、次回合成面情報にＢ面が設定されていた場合、現在合成面情報もＢ面に更新される。
【０１１１】
なお、フレームバッファに３フレーム以上を保持させる場合には、次回合成面情報および現在合成面情報のそれぞれに、３つ以上の面のいずれかが設定される。
【０１１２】
図１８は、本技術の第３の実施の形態におけるフレームバッファ管理部１９０の動作の一例を示すフローチャートである。フレームバッファ管理部１９０は、フレームバッファ管理情報を初期化する処理を行う（ステップＳ９５１）。例えば、次回合成面情報および現在合成面情報には、同一の初期値が設定される。また、未更新カウンタ値には、「０」が設定される。そして、フレームバッファ管理部１９０は、割込み信号ＩＮＩ１のタイミングを表示制御部１８０に設定する（ステップＳ９５２）。
【０１１３】
そして、フレームバッファ管理部１９０は、描画部１４０内の描画ソフトウェアから次回合成面切替要求を受信した（すなわち、フレームバッファの描画が完了した）か否かを判断する（ステップＳ９５３）。この次回合成面切替要求は、次回合成面の切り替えを要求する信号である。次回合成面切替要求を受信した場合に（ステップＳ９５３：Ｙｅｓ）、フレームバッファ管理部１９０は、描画ソフトウェアにより指定されたフレームバッファの次回合成面ＮＦを切り替え、また、その面の解像度ＮＡを設定する（ステップＳ９５４）。次回合成面ＮＦがＢ面であればＡ面に、Ａ面であればＢ面に切り替えられる。
【０１１４】
次回表示面切替要求を受信していない場合（ステップＳ９５３：Ｎｏ）、または、ステップＳ９５４の後にフレームバッファ管理部１９０は、描画部１４０内の描画ソフトウェアから、未更新カウンタ値の問い合せがあったか否かを判断する（ステップＳ９５５）。問い合わせがあった場合に（ステップＳ９５５：Ｙｅｓ）、フレームバッファ管理部１９０は、指定されたフレームバッファの未更新カウンタ値を描画ソフトウェアに通知する（ステップＳ９５６）。
【０１１５】
未更新カウンタ値の問い合せがない場合（ステップＳ９５５：Ｎｏ）、または、ステップＳ９５６の後に、フレームバッファ管理部１９０は、描画ソフトウェアから、ＦＢ合成条件変更要求を受信したか否かを判断する（ステップＳ９５７）。このＦＢ合成条件変更要求は、合成枚数や割込みのタイミングの変更を要求する信号である。ＦＢ合成条件変更要求を受信した場合に（ステップＳ９５７：Ｙｅｓ）、フレームバッファ管理部１９０は、割込み信号ＩＮＩ１のタイミングの設定を変更し、関連するフレームバッファの設定を反映する（ステップＳ９５８）。
【０１１６】
ＦＢ合成条件変更要求を受信していない場合（ステップＳ９５７：Ｎｏ）、または、ステップＳ９５８の後に、フレームバッファ管理部１９０は、ＦＢ利用停止要求を描画ソフトウェアや固体撮像素子１０３から受信したか否かを判断する（ステップＳ９５９）。このＦＢ利用停止要求は、表示フレームや検出フレームの生成を停止させる際に、描画ソフトウェアがＧＰＵ１３５に、そのフレームに対応するフレームバッファの利用停止を要求する信号である。また、ＦＢ利用停止要求は、描画ソフトウェアからＧＰＵ１３５およびフレームバッファ管理部１９０へ送信される。ＦＢ利用停止要求を受信した場合に（ステップＳ９５９：Ｙｅｓ）、フレームバッファ管理部１９０は、合成対象のフレームバッファの設定を更新する（ステップＳ９６０）。
【０１１７】
ＦＢ利用停止要求を受信していない場合（ステップＳ９５９：Ｎｏ）、または、ステップＳ９６０の後に、フレームバッファ管理部１９０は、割込み信号の入力に応じて割込み処理を実行する（ステップＳ９６５）。Ｓ９６５の後にフレームバッファ管理部１９０は、ステップＳ９５３以降を繰り返し実行する。
【０１１８】
図１９は、本技術の第３の実施の形態における割込み処理の一例を示すフローチャートである。フレームバッファ管理部１９０は、合成開始の割込み信号がＩＮＩ１であるか否かを判断する（ステップＳ９６６）。割込み信号がＩＮＩ１である場合に（ステップＳ９６６：Ｙｅｓ）、フレームバッファ管理部１９０は、合成対象の１枚目のフレーム（撮像フレームなど）に対応する次回合成面ＮＦ１と現在合成面ＰＦ１とが一致するか否かを判断する（ステップＳＳ９６７）。一致する場合に（ステップＳ９６７：Ｙｅｓ）フレームバッファ管理部１９０は、そのフレームの未更新カウンタＣ１をインクリメントする（ステップＳ９６８）。
【０１１９】
次回合成面ＮＦ１と現在合成面ＰＦ１とが一致しない場合（ステップＳ９６７：Ｎｏ）、または、ステップＳ９６８の後にフレームバッファ管理部１９０は、現在合成面ＰＦ１および解像度ＰＡ１を、次回表示面ＮＦ１および解像度ＮＡ１により更新する（ステップＳ９６９）。
【０１２０】
そして、フレームバッファ管理部１９０は、合成対象の２枚目のフレーム（表示フレームなど）に対応する次回合成面ＮＦ２と現在合成面ＰＦ２とが一致するか否かを判断する（ステップＳＳ９７０）。一致する場合に（ステップＳ９７０：Ｙｅｓ）フレームバッファ管理部１９０は、そのフレームの未更新カウンタＣ２をインクリメントする（ステップＳ９７１）。
【０１２１】
次回合成面ＮＦ２と現在合成面ＰＦ２とが一致しない場合（ステップＳ９７０：Ｎｏ）、または、ステップＳ９７１の後にフレームバッファ管理部１９０は、現在合成面ＰＦ２および解像度ＰＡ２を、次回表示面ＮＦ２および解像度ＮＡ２により更新する（ステップＳ９７２）。
【０１２２】
割込み信号がＩＮＩ１でない場合に（ステップＳ９６６：Ｎｏ）、フレームバッファ管理部１９０は、割込み信号がＩＮＩ２であるか否かを判断する（ステップＳ９７３）。割込み信号がＩＮＩ２である場合に（ステップＳ９７３：Ｙｅｓ）、フレームバッファ管理部１９０は、合成対象の３枚目のフレーム（検出フレームなど）に対応する次回合成面ＮＦ３と現在合成面ＰＦ３とが一致するか否かを判断する（ステップＳＳ９７４）。一致する場合に（ステップＳ９７４：Ｙｅｓ）フレームバッファ管理部１９０は、そのフレームの未更新カウンタＣ３をインクリメントする（ステップＳ９７５）。
【０１２３】
次回合成面ＮＦ３と現在合成面ＰＦ３とが一致しない場合（ステップＳ９７４：Ｎｏ）、または、ステップＳ９７５の後にフレームバッファ管理部１９０は、現在合成面ＰＦ３および解像度ＰＡ３を、次回表示面ＮＦ３および解像度ＮＡ３により更新する（ステップＳ９７６）。
【０１２４】
割込み信号がＩＮＩ１でない場合（ステップＳ９７３：Ｎｏ）、ステップＳ９７２、または、ステップＳ９７６の後にフレームバッファ管理部１９０は、その他の各種の処理を実行して割込み処理を終了する。
【０１２５】
図２０は、本技術の第３の実施の形態における描画処理の一例を示すフローチャートである。この描画処理は、例えば、所定のアプリケーションが実行されたときに描画部１４０内の描画ソフトウェアにより開始される。
【０１２６】
描画ソフトウェアは、様々な内部ステータスを初期化する処理を実行し（ステップＳ９８１）、垂直同期信号ＶＳＹＮＣが立ち上がったか否かを判断する（ステップＳ９８２）。垂直同期信号ＶＳＹＮＣが立ち上がった場合に（ステップＳ９８２：Ｙｅｓ）、描画ソフトウェアは、アプリケーション終了要求を受けたか否かを判断する（ステップＳ９８３）。アプリケーション終了要求を受けていない場合に（ステップＳ９８３：Ｎｏ）、描画ソフトウェアは、未更新カウンタ値の問合せをフレームバッファ管理部１９０に送信して、未更新カウンタ値を取得する。そして、描画ソフトウェアは、その未更新カウンタ値が想定より多い（すなわち、フレームレートが想定より低下している）か否かを判断し、その判断に基づいた設定を行い、フレームを生成させる。また、描画ソフトウェアは、生成したフレームのフレームバッファへの書込み（描画）処理を実行させる（ステップＳ９８４）。例えば、フレームレートが想定値より低下している場合には、描画ソフトウェアは、より低い解像度を設定したり、より少ない合成枚数を設定する。この設定に合わせた次回合成面切替要求により、合成処理の時間が短くなり、フレームレートを調整することができる。
【０１２７】
描画ソフトウェアは、ＧＰＵ１３５から描画完了の通知を受け取った（言い換えれば、描画が完了した）か否かを判断する（ステップＳ９８６）。描画が完了していない場合に（ステップＳ９８６：Ｎｏ）、描画ソフトウェアは、ステップＳ９８６を繰り返す。
【０１２８】
描画が完了した場合に（ステップＳ９８６：Ｙｅｓ）、描画ソフトウェアは、次回合成面切替要求をフレームバッファ管理部１９０に送信し（ステップＳ９８７）、内部ステータスを更新する（ステップＳ９８８）。垂直同期信号ＶＳＹＮＣが立ち上がっていない場合（ステップＳ９８２：Ｎｏ）、または、ステップＳ９８８の後に描画ソフトウェアは、ステップＳ９８２を繰り返す。
【０１２９】
また、アプリケーション終了要求を受けた場合に（ステップＳ９８３：Ｙｅｓ）、描画ソフトウェアは、そのアプリケーションに対応するＦＢ利用停止要求をＧＰＵ１３５およびフレームバッファ管理部１９０に送信する（ステップＳ９８９）。そして、描画ソフトウェアは、所定の内部終了処理を実行し（ステップＳ９９０）、描画処理を終了する。
【０１３０】
上述の処理により、ＡＲ端末１００は、合成対象のフレームのそれぞれの描画時間に変動があっても、フレームバッファの更新頻度（フレームレート）を一定に調整することができる。また、描画時間の変動に合わせてフレームレートが煩雑に変わるのを防止したい場合には、ＡＲ端末１００が合成条件を変更することにより、出力フレームのフレームレートを意図的に落とすこともできる。
【０１３１】
図２１は、本技術の第３の実施の形態における割込みタイミング前に表示フレームの描画が完了したときのＡＲ端末１００の動作を示すシーケンス図の一例である。
【０１３２】
描画ソフトウェアは、垂直同期信号ＶＳＹＮＣが立ち上がると、未更新カウンタ値の問合せをフレームバッファ管理部１９０に送信し、フレームバッファ管理部１９０から未更新カウンタ値を取得する。そして、描画ソフトウェアは、その未更新カウンタ値に基づいてＦＢ合成条件を設定し（ステップＳ９８４−１）、その設定に基づいてＦＢ合成条件変更要求をフレームバッファ管理部１９０に送信する。フレームバッファ管理部１９０は、そのＦＢ合成条件変更要求に応じて、ＦＢ合成条件を表示制御部１８０に設定する。そして、表示制御部１８０は、合成開始の割込み信号ＩＮＩ１を再設定する（ステップＳ９９１）。
【０１３３】
また、描画ソフトウェアは、撮像フレーム（撮像画像）のフレームバッファについて次回合成面切替要求をフレームバッファ管理部１９０に送信する。ここでは、撮像フレームがＡ面に書き込まれたものとする。フレームバッファ管理部１９０は、撮像フレームの次回合成面と、その解像度とを合成部２００に通知し、そのフレームの次回合成面情報（ＮＦ１およびＮＡ１）を更新する（ステップＳ９５４−１）。描画ソフトウェアは、表示フレーム（表示画像）と検出フレーム（検出画像）とをＧＰＵ１３５に描画させる。例えば、表示フレームおよび検出フレームは、いずれもＡ面に書き込まれるものとする。
【０１３４】
そして、描画ソフトウェアは、表示フレームの描画完了割込みをＧＰＵ１３５から受け取ると、そのフレームのフレームバッファについて次回合成面切替要求をフレームバッファ管理部１９０に送信する。フレームバッファ管理部１９０は、表示フレームの次回合成面と、その解像度とを合成部２００に通知し、そのフレームの次回合成面情報（ＮＦ２およびＮＡ２）を更新する（ステップＳ９５４−２）。
【０１３５】
ここで、表示フレームの描画完了後に合成開始の割込み信号ＩＮＩ１を表示制御部１８０が送信したものとする。割込み信号ＩＮＩ１を受け取ると、フレームバッファ管理部１９０は、スナップショット情報を取得する。すなわち、フレームバッファ管理部１９０は、必要に応じて未更新カウンタ値Ｃ１およびＣ２を更新し（ステップＳ９６８−１）、現在合成面情報ＰＦ１、ＰＦ２、ＰＡ１およびＰＡ２を更新する（ステップＳ９６９−１）。
【０１３６】
また、合成部２００は、割込み信号ＩＮＩ１を受け取ると、撮像フレームおよび表示フレームのそれぞれを、対応するフレームバッファのＡ面から読み出して合成する（ステップＳ９１９）。すなわち、現在の表示フレームが合成される。
【０１３７】
そして、描画ソフトウェアは、検出フレームの描画完了割込みをＧＰＵ１３５から受け取ると、そのフレームのフレームバッファについて次回合成面切替要求をフレームバッファ管理部１９０に送信する。フレームバッファ管理部１９０は、検出フレームの次回合成面と、その解像度とを合成部２００に通知し、そのフレームの次回合成面情報（ＮＦ３およびＮＡ３）を更新する（ステップＳ９５４−３）。
【０１３８】
表示制御部１８０から割込み信号ＩＮＩ２を受け取るとフレームバッファ管理部１９０は、スナップショット情報を取得し、合成部２００は、Ａ面から読み出した検出フレームと、合成フレームとを合成する（ステップＳ９３２）。次に垂直同期信号ＶＳＹＮＣが立ち上がると、描画ソフトウェアは、未更新カウンタ値の問合せをフレームバッファ管理部１９０に送信する。
【０１３９】
このように、割込み信号ＩＮＩ１のタイミングまでに表示フレームが生成されている場合には、現在の表示フレームと撮像フレームとが合成される。
【０１４０】
図２２は、本技術の第３の実施の形態における割込みタイミング後に表示フレームの描画が完了したときのＡＲ端末１００の動作を示すシーケンス図の一例である。図２２においてステップＳ９５４−１までのシーケンスは、図２１と同様である。ただし、ステップＳ９８５において表示フレーム（表示画像）および検出フレーム（検出画像）は、いずれもＢ面に書き込まれる。また、撮影フレーム(撮影画像)もＢ面に書き込まれる。
【０１４１】
ここで、表示フレームの描画完了前に合成開始の割込み信号ＩＮＩ１を表示制御部１８０が送信したものとする。割込み信号ＩＮＩ１を受け取るとフレームバッファ管理部１９０は、スナップショット情報を取得し、合成部２００は、撮像フレームをＢ面から、表示フレームをＡ面から読み出して合成する（ステップＳ９１９）。すなわち、過去の表示フレームが合成される。以下のシーケンスは、図２１と同様である。
【０１４２】
そして、図２３に例示するように、図２２の次のＶＳＹＮＣにおいては、表示フレームの描画完了後に合成開始の割込み信号ＩＮＩ１を表示制御部１８０が送信したものとする。この場合に合成部２００は、撮像フレームをＡ面から、表示フレームをＢ面から読み出して合成する（ステップＳ９１９）。すなわち、現在の表示フレームが合成される。
【０１４３】
このように、割込み信号ＩＮＩ１のタイミングまでに表示フレームが生成されていない場合には、過去の表示フレームと撮像フレームとが合成される。
【０１４４】
図２４および図２５は、本技術の第３の実施の形態におけるフレームバッファが更新されないときのＡＲ端末１００の動作を示すシーケンス図の一例である。
【０１４５】
描画ソフトウェアは、表示フレーム（表示画像）の描画を中断させるものとする。この際に、描画ソフトウェアは、ＦＢ合成条件変更要求をフレームバッファ管理部１９０に送信しない。また、描画ソフトウェアは、表示フレームの次回合成面切替要求を送信せず、表示フレームの次回合成面情報ＮＦ１およびＮＡ１は更新されない。例えば、表示フレームの合成面は、Ｂ面のままとなる。
【０１４６】
一方、撮像フレーム（撮像画像）は、例えば、図２４に例示するようにＡ面から読み出され、その次のフレームでは、図２５に例示するようにＢ面から読み出される。また、検出情報フレームは、例えば、図２４に例示するようにＡ面から読み出され、その次のフレームでは、図２５に例示するようにＢ面から読み出される。
【０１４７】
フレームバッファ管理部１９０は、垂直同期信号ＶＳＹＮＣに同期して未更新カウンタ値Ｃを計数する。描画ソフトウェアは、その未更新カウンタ値Ｃから、フレームバッファの更新頻度（フレームレート）を算出することができる。例えば、監視対象の期間の開始時点の未更新カウンタ値をＣ（ｎ）とし、その期間の終了時点の未更新カウンタ値をＣ（ｎ＋１）とする。この場合に、パーセント表記のフレームレートＦは、次の式により算出される。
Ｆ＝１００×｛Ｃ（ｎ＋１）−Ｃ（ｎ）}／ＶＮ
上式において、ＶＮは、監視対象の期間を垂直同期信号ＶＳＹＮＣの周期により割った値である。
【０１４８】
このように、本技術の第３の実施の形態によれば、ＡＲ端末１００は、合成対象のフレームのそれぞれのフレームバッファの更新頻度を調整するため、それらのフレームを合成したフレームの画質の低下を抑制することができる。
【０１４９】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１５０】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１５１】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１５２】
なお、本技術は以下のような構成もとることができる。
（１）所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成部と、
所定数の第２フレームを順に生成する第２フレーム生成部と、
所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成部と
を具備する表示制御装置。
（２）前記第１フレームは、固体撮像素子により撮像された撮像フレームである
前記（１）記載の表示制御装置。
（３）前記第２フレームは、所定の情報を表示する表示フレームである
前記（１）または（２）記載の表示制御装置。
（４）前記合成部は、前記特定のタイミングまでに前記現在フレームが生成された場合には前記特定のタイミングが経過したときに前記現在フレームと前記第１フレームとを合成する処理を開始する
前記（１）から（３）のいずれかに記載の表示制御装置。
（５）前記合成部は、前記特定のタイミングまでに前記現在フレームが生成された場合には当該現在フレームおよび前記第１フレームが生成されたときに前記現在フレームと前記第１フレームとを合成する処理を開始する
前記（１）から（３）のいずれかに記載の表示制御装置。
（６）前記合成部は、前記第１フレームおよび前記第２フレームとを合成した合成フレームに第３フレームをさらに合成する
前記（１）から（５）のいずれかに記載の表示制御装置。
（７）前記第３フレームは、前記撮像フレームにおいて所定の物体を検出した結果から生成した検出フレームである
前記（６）記載の表示制御装置。
（８）前記第１フレームを保持する第１のフレームバッファと、
前記第２フレームを保持する第２のフレームバッファと、
前記第３フレームを保持する第３のフレームバッファと、
前記第１、第２および第３のフレームバッファのそれぞれの更新頻度を測定する管理部をさらに具備し、
前記合成部は、前記測定された更新頻度に基づいて合成条件を変更する
前記（６）または（７）に記載の表示制御装置。
（９）前記合成部は、前記過去フレームを前記第２のフレームバッファから取得する
前記（８）記載の表示制御装置。
（１０）所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成部と、
所定数の第２フレームを順に生成する第２フレーム生成部と、
所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成部と
前記合成フレームを表示する表示部と
を具備する電子機器。
（１１）所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成手順と、
所定数の第２フレームを順に生成する第２フレーム生成手順と、
所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成手順と
を具備する表示制御装置の制御方法。
（１２）所定の同期信号の周期が経過するたびに第１フレームを生成する第１フレーム生成手順と、
所定数の第２フレームを順に生成する第２フレーム生成手順と、
所定の前記第２フレームである現在フレームが特定のタイミングまでに生成された場合には前記現在フレームと前記第１フレームとを合成し、前記特定のタイミングまでに前記現在フレームが生成されていない場合には前記現在フレームより前の前記第２フレームを過去フレームとして前記第１フレームと合成する合成手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１５３】
１００  ＡＲ端末
１０１  ＡＲ表示制御部
１０２  表示部
１０３  固体撮像素子
１１０  メモリ
１１１、１１４、１１５、１１６  フレームバッファ
１２０  メモリ制御部
１３０  ＣＰＵ
１３５  ＧＰＵ
１４０  描画部
１４１  表示情報フレーム生成部
１４２  検出情報フレーム生成部
１５０  バス
１８０  表示制御部
１９０  フレームバッファ管理部
２００  合成部
２１０  前段画像合成部
２１１、２１２、２２１、２２２  画像読出し部
２１３、２１４、２２３、２２４  画像処理部
２１５  合成フレーム生成部
２１６  画像書込み部
２１７、２２７  合成制御部
２２０  後段画像合成部
２２５  出力フレーム生成部
２２６  表示出力部
【図１】
2018072414.tif 000003
【図２】
2018072414.tif 000004
【図３】
2018072414.tif 000005
【図４】
2018072414.tif 000006
【図５】
2018072414.tif 000007
【図６】
2018072414.tif 000008
【図７】
2018072414.tif 000009
【図８】
2018072414.tif 000010
【図９】
2018072414.tif 000011
【図１０】
2018072414.tif 000012
【図１１】
2018072414.tif 000013
【図１２】
2018072414.tif 000014
【図１３】
2018072414.tif 000015
【図１４】
2018072414.tif 000016
【図１５】
2018072414.tif 000017
【図１６】
2018072414.tif 000018
【図１７】
2018072414.tif 000019
【図１８】
2018072414.tif 000020
【図１９】
2018072414.tif 000021
【図２０】
2018072414.tif 000022
【図２１】
2018072414.tif 000023
【図２２】
2018072414.tif 000024
【図２３】
2018072414.tif 000025
【図２４】
2018072414.tif 000026
【図２５】
2018072414.tif 000027