(57)【要約】【課題】画像処理を高速化し、画像を滑らかに表示する画像表示装置を提供する。【解決手段】画像信号源（２００）からの画像信号が入力される画像入力部（３１０）と、メモリ３２０と、画像入力部（３１０）に入力された画像信号をメモリ（３２０）に第１の周波数で書き込む動作をする書込部（３３０）と、第１の周波数よりも高い第２の周波数で、メモリ（３２０）に書き込まれた画像信号を読み出す読出部（３４０）と、読出部（３４０）で読み出された画像信号を表示部に出力する画像出力部（３５０）と、表示部に出力する画像を補間する画像補間部（３４０）とを備える。【選択図】図１
2019101192.tif 000002
【特許請求の範囲】
【請求項１】
画像信号源からの画像信号が入力される画像入力部と、
メモリと、
前記画像入力部に入力された画像信号を前記メモリに第１の周波数で書き込む動作をする書込部と、
前記第１の周波数よりも高い第２の周波数で、前記メモリに書き込まれた画像信号を読み出す読出部と、
前記読出部で読み出された画像信号を表示部に出力する画像出力部と、
表示部に出力する画像を補間する画像補間部と、
を備える画像表示装置。
【請求項２】
前記メモリは、シングルバッファであり、
前記読出部は、前記書込部による書き込み動作と同期して、前記メモリに書き込まれた画像信号を読み出す、
請求項１に記載の画像表示装置。
【請求項３】
前記メモリは、ダブルバッファであり、
前記読出部は、前記書込部による書き込み動作と非同期で、前記メモリに書き込まれた画像信号を読み出す、
請求項１に記載の画像表示装置。
【請求項４】
前記メモリに書き込まれた画像信号のうち、読み出す領域を切出領域として指示する切出領域指示部を備え、
前記切出領域指示部は、前記切出領域の位置を変更可能である、
請求項１ないし請求項３のいずれか１項に記載の画像表示装置。
【請求項５】
前記画像補間部は、パノラマ画像や全天球画像の歪み補正を含む画像加工を行う画像加工部を備える、
請求項１ないし請求項４のいずれか１項に記載の画像表示装置。
【請求項６】
コントローラを備え、
前記読出部は、前記コントローラの操作に応じた領域ごとに、前記メモリに書き込まれた画像信号を読み出す、
請求項１ないし請求項５のいずれか１項に記載の画像表示装置。
【請求項７】
前記画像入力部は、異なる画像信号が入力される第１の画像入力部および第２の画像入力部を備え、
前記メモリは、第１のメモリおよび第２のメモリを備え、
前記書込部は、前記第１の画像入力部に入力された画像信号を前記第１のメモリに第１の周波数で書き込む動作をする第１の書込部と、前記第２の画像入力部に入力された画像信号を前記第２のメモリに第１の周波数で書き込む動作をする第２の書込部とを備え、
前記読出部は、前記第１の周波数よりも高い第２の周波数で、前記第１のメモリに書き込まれた画像信号を読み出す第１の読出部と、前記第１の周波数で、前記第２のメモリに書き込まれた画像信号を読み出す第２の読出部とを備え、
前記画像補間部は、前記第１の読出部により読み出された画像信号と、前記第２の読出部により読み出された画像信号とを合成する画像加工部を備える、
請求項１ないし請求項４のいずれか１項に記載の画像表示装置。
【請求項８】
前記第１の画像入力部に入力される画像信号は、複数のサブフレームを備える、
請求項７に記載の画像表示装置。
【請求項９】
前記画像補間部は、前記サブフレームから特定の画像を切り出すための画像加工指示部および画像加工処理部を備える、
請求項８に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、プロジェクタ等の画像表示装置に関する。
【背景技術】
【０００２】
パノラマ映像を生成、更新しながら、コントローラの操作に従ってパノラマ映像から一部の領域を切り出し、画像表示装置に表示する手法がある。（例えば、特許文献１参照）。この手法では、シミュレータなどの用途で、自動車のウィンドシールドを通して見える風景、飛行機のコックピットの窓を通してから見える風景などが、パノラマ映像に対する切出画像として切り出される。この手法によれば、コントローラの操作により画像の切出領域が変化し、進行方向が変わったように体感させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−９４５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、画像処理を高速化し、画像を滑らかに表示する画像表示装置を提供する。
【課題を解決するための手段】
【０００５】
本開示の画像表装置は、画像信号源からの画像信号が入力される画像入力部と、メモリと、前記画像入力部に入力された画像信号を前記メモリに第１の周波数で書き込む動作をする書込部と、前記第１の周波数よりも高い第２の周波数で、前記メモリに書き込まれた画像信号を読み出す読出部と、前記読出部で読み出された画像信号を表示部に出力する画像出力部と、表示部に出力する画像を補間する画像補間部と、を備える。
【発明の効果】
【０００６】
本開示における画像表示装置によれば、画像処理を高速化し、画像を滑らかに表示する。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１に係る画像表示システムを示すブロック図
【図２】実施の形態１に係る画像の書き込み動作と読み取り動作を説明するための図
【図３】実施の形態２に係る画像表示システムを示すブロック図
【図４】実施の形態２に係る画像表示システムを示すブロック図
【図５】実施の形態２の変形例に係る画像表示システムを示すブロック図
【図６】実施の形態２の変形例に係る画像表示システムを示すブロック図
【図７】実施の形態２の変形例に係る画像の切出領域の変化を説明するための図
【図８】実施の形態３における出力画像の一例を示す図
【図９】実施の形態３に係る画像表示装置を示すブロック図
【図１０】実施の形態３におけるボールの動画のサブフレーム画像を示す図
【図１１】実施の形態３におけるメモリ上の背景動画のフレーム画像を説明するための図
【図１２】実施の形態３におけるメモリからの画像の読み出しと画像合成を説明するための図
【図１３】実施の形態３の変形例におけるメモリへの画像の書き込みとメモリからの画像の読み出しとを説明するための図
【図１４】実施の形態３の変形例に係る画像表示装置を示すブロック図
【図１５】実施の形態３の変形例に係る画像表示装置を示すブロック図
【図１６】実施の形態３の変形例に係る画像表示装置を示すブロック図
【図１７】実施の形態３の変形例に係る画像表示装置を示すブロック図
【図１８】実施の形態３の変形例におけるボールの動画のサブフレーム画像を示す図
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【０００９】
（実施の形態１）
１．構成
１．１  全体の構成
本開示の画像表示装置について図１および図２を用いて説明する。図１は、実施の形態１に係る画像表示システムを示すブロック図である。図２は、実施の形態１に係る画像の書き込み動作と読み取り動作を説明するための図である。
【００１０】
図１に示すように、本実施の形態における画像表示システム１は、コントローラ１００と、画像生成部２００と、画像表示装置３００とを備える。コントローラ１００は、図示を省略するスクリーン等の画像表示部に表示される画像の視点を移動させる等の指示を行うための操作部である。
【００１１】
画像生成部２００は、画像信号源としての一例であり、画像として、所定のフレームレートの動画を生成し、画像信号として出力する機能を有している。本実施の形態では、一例として、画像生成部２００は６０ｆｐｓの動画を生成する。画像生成部２００により生成される動画は、撮影動画を編集・加工したものであってもよいし、ＣＧ（Computer Graphics）であってもよい。本実施の形態では、一例として、パーソナルコンピュータにより画像生成部２００を構成している。画像生成部２００は、コントローラ１００の操作量に応じて視点を移動させた動画を生成する。
【００１２】
画像表示装置３００は、画像入力部３１０、メモリ３２０、メモリ書込部３３０、メモリ読出部３４０、および画像出力部３５０を備えている。画像表示装置３００は、ＦＧＰＡ（Field-Programmable Gate Array）で構成してもよいし、ＣＰＵとソフトウェアにより構成してもよい。
【００１３】
１．２  画像表示装置の構成
画像入力部３１０は、画像生成部２００によって生成される動画を画像信号として入力する機能を有する。画像生成部２００と画像入力部３１０との接続は、ＨＤＭＩ（登録商標）ケーブルまたはＵＳＢケーブル、あるいはこれらの両方を用いて行われる。
【００１４】
メモリ３２０は、本実施の形態では、フレームバッファが１つだけのシングルバッファで構成される。よって、メモリ３２０に対するデータの書き込みと同時にメモリ３２０からのデータの読み出しが可能である。メモリ書込部３３０は、画像入力部３１０に入力された動画を、１フレームごとに、第１の周波数である６０Ｈｚの周波数でメモリ３２０に書き込む機能を有する。
【００１５】
メモリ読出部３４０は、メモリ書込部３３０のメモリ３２０への書込み動作中に、つまり非同期に、メモリ３２０に書き込まれたフレーム画像を、第１の周波数よりも高い第２の周波数である１９２０Ｈｚで読み出す機能を有する。
【００１６】
画像出力部３５０は、メモリ読出部３４０によって読み出されたフレーム画像を出力する機能を有し、画像表示部に画像を出力する。これにより、画像表示部において動画が表示される。
【００１７】
２．  動作
通常、画像の読出しは、画像の書き込み動作が完了した後に行う。そのため、入力された動画に対して、出力される動画に１／６０秒の遅延が発生する。これに対し、本実施の形態では、メモリ読出部３４０は、メモリ３２０への１フレーム画像の書き込みの完了を待たずに、画像の書き込み動作とは非同期に画像を読み出すので、画像入力部３１０に入力される動画に対して、画像出力部３５０から出力される動画の遅延はほとんど発生しない。
【００１８】
しかしながら、書込み動作中にメモリ３２０に書き込まれた画像を読み出すと、１つ前のフレームの画像と書込み中のフレームの画像が混在した画像が読み出される。通常、動きのある映像でこのような画像を表示すると、出力される動画上において、異なるフレーム画像間の境界線が視認され、画質に悪影響を及ぼす。
【００１９】
そこで、本実施の形態においては、メモリ読出部３４０によるメモリ３２０からの読み
出し周波数を、メモリ書込部３３０による書き込み周波数に比べて十分に高くすることにより、前記境界線が視認されることを防いでいる。このように、本実施の形態においては、図１に一点鎖線の矩形枠で示すように、メモリ読出部３４０が、画像表示部に出力する画像を補間する画像補間部として機能している。
【００２０】
図２に、前記境界線が視認されることを防いでいるメカニズムを示す。図２は、１９２０Ｈｚで画像出力部３５０から出力されるフレーム画像Ｆの移り変わりを示す例である。画像入力部３１０に入力される動画は、解像度が１９２０×１０８０であり、コントローラ１００の操作に応じて、四角形の物体Ｓが右方向に移動する動画である。フレーム画像Ｆは上から下に、順に書き換えられる。具体的には、フレーム画像の左上の画素座標を原点（０，０）、右方向をＸ軸、下方向をＹ軸とし、原点からＸ軸のプラス方向に１行目の画像情報を書き換え、その後、Ｙ軸のプラス方向に各行の画像情報を順次書き換える。
【００２１】
画像入力部３１０に入力される動画の周波数は６０Ｈｚであり、メモリ読出部３４０における画像の読出し周波数は１９２０Ｈｚなので、メモリ読出部３４０は、画像入力部３１０に入力される動画の１フレームに対し、３２回読出しを行う。つまり、３２回の読出しで画像全体の書き換えが１回完了する。そのため、１回の読出しに対し、平均３３．７５行（１０８０／３２）ずつ、フレーム画像の書き換えが進行した画像を読み出すことになる。図２の各フレーム画像ＦにおいてＹ軸方向に複数配置された横線は、３３．７５行ごとの位置を示している。
【００２２】
図２における（Ａ）の画像は、一つ前のフレームにおいて四角形Ｓを含む１フレーム分の画像のメモリ３２０への書き込みが完了した後に、次のフレームにおいて、四角形Ｓの直前の行まで、メモリ３２０への画像の書き込みが完了し、画像出力部３５０から出力された画像を示している。
【００２３】
その下の図２における（Ｂ）の画像は、四角形Ｓのうち上部の３３．７５行分が次のフレームの画像に書き換わり、右に移動して画像出力部３５０から出力された画像を示している。図２の（Ａ）に示す画像から図２の（Ｂ）に示す画像までの経過時間は、約０．５ｍｓ（１／１９２０）である。同様に、図２における（Ｃ）から（Ｉ）に示すように、約０．５ｍｓ毎に、四角形Ｓが３３．７５行ずつ右に移動した画像が、画像出力部３５０から順次出力される。ここで、異なるフレーム画像間の境界線の上下の領域に着目すると、本実施の形態においては、左右にズレが生じた状態から０．５ｍｓ後には、ズレのない状態の表示になるということである。
【００２４】
読み出しの周波数が書き込み周波数よりも十分に高く、このズレが生じた状態からズレのない状態への遷移時間が短いと、異なるフレーム画像間の境界線は視認できなくなる。遷移時間の目安としては、例えば、タブレット等のタッチパネルの指の動きに対する線の描画の遅延が、１０ｍｓでは視認可能で、１ｍｓでは視認できないという報告がされている（https://www.microsoft.com/en-us/research/video/applied-sciences-group-high-performance-touch/）。０．５ｍｓはこの１ｍｓよりもさらに短い時間である。
【００２５】
動画の周波数で表すと、指の動きに対して、１００Ｈｚの描画だとズレが認知されるが、１０００Ｈｚで描画すればズレが認知されないということになる。指の動きと描画の動きを、異なるフレーム画像間の境界線の上の領域と下の領域に置き換えると、１００Ｈｚの周波数で画像を読み出す場合には、画像出力部３５０から出力される画像において遅れて移動するのが視認されるが、１０００Ｈｚの周波数で読み出す場合には、画像出力部３５０から出力される画像において遅れて移動するのが視認されない、ということになる。このことから、遅れが目立ちにくくなる周波数の目安としては、両者の中央付近の５００Ｈｚ程度と考えられる。
【００２６】
ところで、先述の通り、画像入力部３１０に入力される動画の周波数は６０Ｈｚであり、メモリ読出部３４０における画像の読出し周波数が１９２０Ｈｚであるので、入力される動画の１フレームに対して、３２回、読み出し動作が行われる。この３２回のうち、最初の１回は入力された画像のメモリ３２０への書込み動作の開始と同期してメモリ３２０から画像を読み出してもよい。この場合、残りの３１回は、１フレームの時間を３２等分した時間間隔で、メモリ読出部３４０によりメモリ３２０から画像を読み出すとよい。
また、本実施の形態のメモリ読出部３４０における画像の読出し周波数１９２０Ｈｚは、画像入力部３１０に入力される動画の周波数６０Ｈｚの整数倍であるが、整数倍でなくてもよく、例えば１９３０Ｈｚや１９５０Ｈｚでもよい。
【００２７】
３．  効果等
本開示の画像表示装置３００は、画像信号源として画像生成部２００からの画像信号が入力される画像入力部３１０と、メモリ３２０と、画像入力部３１０に入力された画像信号をメモリ３２０に第１の周波数の一例としての６０Ｈｚで書き込む動作をするメモリ書込部３３０と、第１の周波数よりも高い第２の周波数の一例としての１９２０Ｈｚで、メモリ３２０に書き込まれた画像信号を読み出すメモリ読出部３４０と、メモリ読出部３４０で読み出された画像信号を画像表示部に出力する画像出力部３５０と、画像表示部に出力する画像を補間する画像補間部としてのメモリ読出部３４０とを備える。その結果、例えばコントローラ１００により、動画の視点位置を変更する操作が行われると、この操作に対応する動画の更新が、画像生成部２００で行われ、画像入力部３１０に入力される。このような場合でも、本実施の形態によれば、コントローラ１００の操作から、この操作に対応する動画の表示までの遅延を最小限に抑えることができる。
【００２８】
（実施の形態２）
１．構成
１．１  全体の構成
本開示の画像表示装置における実施の形態２について図３および図４を参照しつつ説明する。図３は、実施の形態２に係る画像表示システムを示すブロック図である。図４は、全周パノラマ動画の１フレーム画像に対する切出開始座標および切出領域と、切出領域に対応する切出画像との関係を説明するための図である。
【００２９】
図２に示すように、本実施の形態における画像表示システム１Ａは、一例として、運転技術または操縦技術をトレーニングするためのドライブシミュレータまたはフライトシミュレータに用いられるシステムである。図３に示すように、画像表示システム１Ａは、コントローラ１００と、画像生成部２００と、画像表示装置３００Ａとを備える。
【００３０】
コントローラ１００は、シミュレータにおける運転または操縦等に関する操作部であり、例えば、ドライブシミュレータにおけるステアリングホイール、アクセル、ブレーキ等が該当する。フライトシミュレータにおいては、操縦桿、スロットルレバー、ラダーペダル、スラストリバーサーレバー、トリムレバー、ピッチレバー、スピードブレーキレバー等が該当する。また、コントローラ１００は、ジョイスティック、ジョグダイヤル、あるいはジャイロセンサーであってもよい。
【００３１】
画像生成部２００Ａは、所定のフレームレートの動画を生成し、画像信号として出力する機能を有している。本実施の形態においも、画像生成部２００は、一例として６０ｆｐｓの動画を生成する。画像生成部２００により生成される動画は、撮影動画を編集・加工したものであってもよいし、ＣＧ（Computer Graphics）であってもよい。本実施の形態では、一例として、パーソナルコンピュータにより画像生成部２００を構成している。本実施の形態における画像生成部２００は、自動車または飛行機等のウィンドシールドを通して視認可能な風景に相当する動画を生成する。この動画は、水平方向３６０度に亘る全周パノラマ動画である。
【００３２】
本実施の形態においては、画像生成部２００Ａは、後述する切出領域指示部３０５と接続されている。画像生成部２００Ａは、切出領域指示部３０５から出力される、アクセルやブレーキの操作に応じた、加速、減速、停止、あるいは巡航速度等の速度または加速度に関する指示を入力可能に構成されている。画像生成部２００Ａは、切出領域指示部３０５から速度または加速度に関する指示を入力した場合には、当該速度または加速度に応じた全周パノラマ動画を生成する。
【００３３】
１．２  画像表示装置の構成
画像表示装置３００Ａは、切出領域指示部３０５、画像入力部３１０、メモリ３２０、メモリ書込部３３０、メモリ読出部３４０Ａ、および画像出力部３５０を備えている。画像表示装置３００Ａのうち、画像入力部３１０、メモリ３２０、メモリ書込部３３０、メモリ読出部３４０、および画像出力部３５０については、ＦＧＰＡで構成してもよいし、ＣＰＵとソフトウェアにより構成してもよい。
【００３４】
画像入力部３１０は、画像生成部２００Ａによって生成される全周パノラマ動画を画像信号として入力する機能を有する。画像生成部２００Ａと画像入力部３１０との接続は、ＨＤＭＩケーブルまたはＵＳＢケーブル、あるいはこれらの両方を用いて行われる。
【００３５】
メモリ３２０は、本実施の形態では、フレームバッファが１つだけのシングルバッファで構成される。但し、メモリ３２０は、フレームバッファを２つ備えたダブルバッファで構成されていてもよい。メモリ３２０としてダブルバッファのメモリを用いた例については後述する。
【００３６】
メモリ書込部３３０は、画像入力部３１０に入力された全周パノラマ動画を、１フレームごとに第１の周波数である６０Ｈｚの周波数でメモリ３２０に書き込む機能を有する。
【００３７】
メモリ読出部３４０Ａは、メモリ書込部３３０のメモリ３２０への書込み動作中に、つまり非同期に、メモリ３２０に書き込まれたフレーム画像を、第１の周波数よりも高い第２の周波数である１９２０Ｈｚで読み出す機能を有する。本実施の形態においては、メモリ読出部３４０Ａは、切出領域指示部３０５と接続されている。メモリ読出部３４０Ａは、切出領域指示部３０５から出力される切出開始座標に基づき、切出領域に対応するフレーム画像を１９２０Ｈｚで読み出す。切出開始座標および切出領域についての詳細は後述する。
【００３８】
画像出力部３５０は、メモリ読出部３４０によって読み出された切出領域に対応するフレーム画像を出力する機能を有し、画像表示部に画像を出力する。これにより、画像表示部において切出領域に対応する動画が表示される。
【００３９】
切出領域指示部３０５は、コントローラ１００に接続されており、コントローラ１００として、ステアリングホイールやジョイスティック等が用いられている場合には、コントローラ１００の操作量および操作角度等を１秒間に１９２０回のサイクルで検出する。切出領域指示部３０５は、また、画像生成部２００Ａに接続されており、検出したコントローラ１００の操作量に応じた速度または加速度等に関する情報を画像生成部２００Ａに出力する。切出領域指示部３０５は、さらに、メモリ読出部３４０Ａに接続されており、検出したコントローラ１００の操作角度等に応じた切出開始座標をメモリ読出し部３４０Ａに出力する。
【００４０】
切出領域指示部３０５は、コントローラ１００として、ジャイロセンサーが用いられている場合には、コントローラ１００の回転量および回転方向を１秒間に１９２０回のサイクルで検出する。切出領域指示部３０５は、検出したコントローラ１００の回転量に応じた速度または加速度等に関する情報を画像生成部２００Ａに出力する。切出領域指示部３０５は、検出したコントローラ１００の回転方向に応じた切出開始座標をメモリ読出部３４０Ａに出力する。
【００４１】
２．  動作
図４は、全周パノラマ動画の１フレーム画像に対する切出開始座標および切出領域と、切出領域に対応する切出画像との関係を説明するための図である。図４に示すように、画像入力部３１０に入力される全周パノラマ動画Ｐの１フレーム分の画像Ｆは、メモリ書込部３３０によってメモリ３２０に書き込まれる。
【００４２】
切出領域Ｒは、切出開始座標（ｘ，ｙ）から、Ｘ軸方向に長さＬｘ、Ｙ軸方向に幅Ｌｙの大きさを有している。切出領域Ｒの大きさは、自動車または飛行機等のウィンドシールドから見える画角に対応している。
【００４３】
画像表示システム１Ａの起動時等の初期状態においては、切出開始座標（ｘ，ｙ）は所定の座標に設定されている。操作者がコントローラ１００を操作すると、その操作角度等が切出領域指示部３０５により１９２０Ｈｚの周波数で検出され、その操作角度等に応じた切出開始座標がメモリ読出部３４０Ａに出力される。
【００４４】
メモリ読出部３４０Ａは、切出領域指示部３０５から出力された切出開始座標を基準として、切出領域Ｒに対応する画像を１９２０Ｈｚの周波数で読み出す。メモリ読出部３４０Ａにより読み出された画像は、画像出力部３５０から出力され、画像表示部に切出画像ＳＧとして表示される。本実施の形態においては、メモリ読出部３４０Ａによるメモリ３２０からの読み出し周波数を、メモリ書込部３３０による書き込み周波数に比べて十分に高くすることにより、コントローラ１００の操作に対応して遅延なく切出画像ＳＧが表示されるように補間を行っている。このように本実施の形態においては、図３に一点鎖線の矩形枠で示すように、メモリ読出部３４０が、画像表示部に出力する画像を補間する画像補間部として機能している。
【００４５】
３．  効果等
本開示の画像表示装置３００Ａは、画像信号源として画像生成部２００Ａからの画像信号が入力される画像入力部３１０と、メモリ３２０と、画像入力部３１０に入力された画像信号をメモリ３２０に第１の周波数の一例としての６０Ｈｚで書き込む動作をするメモリ書込部３３０と、第１の周波数よりも高い第２の周波数の一例としての１９２０Ｈｚで、メモリ３２０に書き込まれた画像信号を読み出すメモリ読出部３４０Ａと、メモリ読出部３４０Ａで読み出された画像信号を画像表示部に出力する画像出力部３５０と、画像表示部に出力する画像を補間する画像補間部としてのメモリ読出部３４０Ａとを備える。また、画像表示装置３００Ａは、コントローラ１００を備え、メモリ読出部３４０Ａは、コントローラ１００の操作に応じた切出領域ＲＳごとに、メモリ３２０に書き込まれた画像信号を読み出す。その結果、コントローラ１００の操作角度等を１９２０Ｈｚの周波数で検出し、検出した操作角度等に応じた切出開始座標を基準として、フレームレートが６０ｆｐｓの入力画像のうち、切出領域Ｒに対応する画像を１９２０Ｈｚの周波数で読み出して出力する。したがって、コントローラ１００の操作により切出開始座標が変更された場合に、コントローラ１００の操作に対して遅延を生じさせずに円滑に切出開始座標の異なる動画を表示することができる。
【００４６】
例えば、コントローラ１００が自動車等のステアリングホイールの場合、ステアリングホイールを切った方向に対応して切出開始座標が更新され、ステアリングホイールを切った方向に対応する動画が、ステアリングホイールを切るという操作に対して遅延なく表示される。
【００４７】
また、メモリ読出部３４０Ａによる読み出し周波数が６０Ｈｚの場合には、画像表示部に表示される切出領域Ｒの変化が飛び飛びに感じられる。しかし、本実施の形態のように、メモリ読出部３４０Ａによる読み出し周波数が１９２０Ｈｚであれば、画像表示部において、切出領域Ｒが滑らかに変化して見えるという利点もある。以上のように、本実施の形態によれば、コントローラ１００の操作から、動画が表示されるまでの遅延を最小限に抑えることができる。なお、コントローラ１００の操作に対する切出領域Ｒの移動という観点から、遅延が目立ちにくくなるメモリ読出部３４０Ａによる読み出し周波数の目安としては、実施の形態１と同じく５００Ｈｚ程度と考えられる。
【００４８】
なお、本実施の形態における画像表示システム１Ａをドライブシミュレータに適用した場合には、コントローラ１００の操作は水平方向のみなので、切出開始座標はＸ座標のみでよい。また、パノラマ映像の高さを画像表示部の高さより大きくし、道路の凹凸や傾斜を考慮してＹ方向の座標も変化させてもよい。
【００４９】
４．  実施の形態２の変形例
４．１  全体の構成
実施の形態２の変形例について図５を用いて説明する。図５は、実施の形態２の変形例に係る画像表示システムを示すブロック図である。本変形例は、フライトシミュレータのような用途で、視点を３６０度に亘って自在に移動させる場合の構成である。本変形例の画像表示システム１Ａにおいては、画像生成部２００Ａは、半球状または球面状のパノラマ動画を生成する。このようなパノラマ動画の例としては、水平３６０度、地平線から頭上までの９０度の範囲を１枚の画像におさめるドームマスター形式の動画が挙げられる。また、他の例としては、水平３６０度、足元から頭上までの１８０度の範囲を１枚の画像におさめるエクイレクタングラー形式などで記録された動画が挙げられる。
【００５０】
コントローラ１００の操作による切出開始座標の更新は、Ｘ座標とＹ座標の両方について行われる。また、図５に示すように、画像表示装置３００Ａは、画像加工部３６０を備えており、切出領域指示部３０５Ａと画像加工部３６０とが接続されている。
【００５１】
図５に示す変形例では、メモリ３２０に書き込まれる画像は、上述のような半球状または球面状のパノラマ動画のフレーム画像を平面画像に変換した画像となる。したがって、この画像においては、本来、矩形で表示されるべき画像が湾曲しており、歪みが生じている。そこで、図５に示す変形例では、切出開始座標と切出領域Ｒのサイズとの調整処理を行っている。
【００５２】
メモリ書込部３３０は、画像生成部２００Ａによって入力された半球状または球面状のパノラマ動画の１フレーム分の画像を平面画像に変換し、６０Ｈｚの周波数でメモリ３２０に書き込む。
【００５３】
切出領域指示部３０５Ａは、コントローラ１００による操作角度等を検出すると、切出開始座標と切出領域Ｒのサイズを、前記歪みに対応させて設定し、設定した切出開始座標と切出領域Ｒのサイズをメモリ読出部３４０Ａに出力する。また、切出領域指示部３０５Ａは、上述のように設定した切出領域Ｒのサイズを画像加工部３６０に出力する。切出領域指示部３０５Ａにおいて設定される切出開始座標と切出領域Ｒのサイズは、ドームマスター形式の動画のフレーム画像またはエクイレクタングラー形式の動画のフレーム画像を平面画像に変換する変換処理の逆変換処理により得られる。
【００５４】
メモリ読出部３４０Ａは、切出領域指示部３０５から、上述のように設定された切出開始座標と切出領域Ｒのサイズとを入力すると、当該切出開始座標を基準として、当該サイズに対応する切出領域Ｒにおける画像の切り出しを行う。
【００５５】
画像加工部３６０は、切出領域指示部３０５から、上述のように設定された切出領域Ｒのサイズを入力すると、メモリ読出部３４０Ａにより切り出された切出領域Ｒにおける切出画像の歪みを取り除き、切出画像のサイズを、画像表示部において表示されるサイズに加工する。
【００５６】
４．２  動作
画像生成部２００Ａによって半球状または球面状のパノラマ動画が生成され、画像入力部３１０に入力されると、入力された半球状または球面状のパノラマ動画の１フレーム分の画像は、メモリ書込部３３０によって平面画像に変換され、６０Ｈｚの周波数でメモリ３２０に書き込まれる。
【００５７】
操作者がコントローラ１００を操作すると、その操作角度等が切出領域指示部３０５により１９２０Ｈｚの周波数で検出され、その操作角度等に応じて切出開始座標と切出領域Ｒのサイズが、切出領域指示部３０５により前記歪みに対応させて設定される。設定された切出開始座標と切出領域Ｒのサイズは、切出領域指示部３０５により、メモリ読出部３４０Ａに出力される。また、設定された切出領域Ｒのサイズは、切出領域指示部３０５により、画像加工部３６０に出力される。
【００５８】
メモリ書込部３３０によって書き込まれた平面画像のうち、前記設定された切出開始座標を基準とする前記サイズの切出領域Ｒの画像は、メモリ読出部３４０Ａによって１９２０Ｈｚの周波数で切り出される。
【００５９】
切り出された画像は、画像加工部３６０により、前記歪みが取り除かれ、切出画像のサイズは、画像加工部３６０により、画像表示部において表示されるサイズに加工される。前記歪みが取り除かれ、サイズが加工された画像は、画像出力部３５０から出力され、画像表示部に切出画像として表示される。
【００６０】
本実施の形態においては、メモリ読出部３４０Ａによるメモリ３２０からの読み出し周波数を、メモリ書込部３３０Ａによる書き込み周波数に比べて十分に高くすることにより、コントローラ１００の操作に対応して遅延なく画像の出力が行われるように補間を行っている。また、本実施の形態においては、画像加工部３６０により、前記歪みを取り除き、歪みのない画像の出力が行われるように補間を行っている。このように本実施の形態においては、図５に一点鎖線の矩形枠で示すように、メモリ読出部３４０Ａと画像加工部３６０とが、画像表示部に出力する画像を補間する画像補間部として機能している。
【００６１】
４．３  効果等
以上のように、本変形例においては、動画が半球状または球面状のパノラマ動画の場合であっても、メモリ書込部３３０Ａによって６０Ｈｚの周波数でメモリ３２０に書き込まれた画像を１９２０Ｈｚの周波数で読み出して出力する。したがって、動画が半球状または球面状のパノラマ動画の場合であっても、コントローラ１００の操作により切出開始座標が変更された場合に、コントローラ１００の操作に対して遅延を生じさせずに円滑に切出開始座標の異なる動画を表示することができる。また、半球状または球面状のパノラマ動画のフレーム画像を平面画像に変換してメモリ３２０に書き込み、上述のように画像加工部３６０により画像の歪みを取り除くので、半球状または球面状のパノラマ動画に適合した切出画像を表示することができる。
【００６２】
５．  実施の形態２の別の変形例
５．１  全体の構成
実施の形態２の別の変形例について図６を用いて説明する。図６は、実施の形態２の別の変形例に係る画像表示システムを示すブロック図である。本変形例の画像表示システム１Ｂにおいては、画像入力部３１０により入力する画像として、頭上も含む全天球動画のフレーム画像を用いる。また、画像出力部３５０により画像を出力する画像表示部については、ドームディスプレイや全周（全天球）ディスプレイを用い、全天球動画の全てを表示する。
【００６３】
本変形例においては、図６に示すように、コントローラ１００の操作角度等を、方向指示部３０６により検出する。方向指示部３０６は、検出したコントローラ１００の操作角度等に応じた視点座標を画像生成部２００Ｂに出力する。
【００６４】
画像生成部２００Ｂは、方向指示部３０６により出力される視点座標が、画像表示装置において予め定められた表示中心位置となるように、全天球動画を生成し、出力する。
【００６５】
メモリ読出し部３４０Ｂは、本変形例においては、コントローラ１００の操作に対して画像の切り出しは行わず、６０Ｈｚでメモリ３２０に書き込まれたフレーム画像を、メモリ３２０から１９２０Ｈｚで読み出す。
【００６６】
画像加工部３６０Ａは、方向指示部３０６により出力される視点座標が変更された場合には、ドームディスプレイや全周（全天球）ディスプレイにおける曲面の投影面において、画像が正しく表示されるように画像の歪みを取り除く補正を行う。また、ドームディスプレイや全周（全天球）ディスプレイが、複数の画像表示装置（プロジェクタ）で構成される場合には、画像加工部３６０Ａは、メモリ３２０から読み出した画像を分割し、分割画像を各画像表示装置の表示サイズに加工する処理、あるいは、画像を各画像表示装置に割り当てる処理を行う。
【００６７】
本実施の形態においては、メモリ読出部３４０によるメモリ３２０からの読み出し周波数を、メモリ書込部３３０による書き込み周波数に比べて十分に高くすることにより、コントローラ１００の操作に対応して遅延なく画像の出力が行われるように補間を行っている。また、本実施の形態においては、画像加工部３６０により、前記歪みを取り除き、歪みのない画像の出力が行われるように補間を行っている。このように本実施の形態においては、図６に一点鎖線の矩形枠で示すように、メモリ読出部３４０と画像加工部３６０Ａとが、画像表示部に出力する画像を補間する画像補間部として機能している。
【００６８】
５．２  動作
全天球動画が画像入力部３１０に入力されると、入力された全天球動画の１フレーム分の画像は、メモリ書込部３３０によって６０Ｈｚの周波数でメモリ３２０に書き込まれる。
【００６９】
操作者がコントローラ１００を操作すると、その操作角度等が方向指示部３０６により１９２０Ｈｚの周波数で検出され、その操作角度等に応じた視点座標が、画像生成部２００Ｂに出力される。また、この視点座標は、方向指示部３０６により、画像加工部３６０に出力される。
【００７０】
画像生成部２００Ｂは、方向指示部３０６により出力される視点座標が、画像表示装置において予め定められた表示中心位置となるように、全天球動画を生成し、全天球動画のフレーム画像を画像入力部３１０に出力する。画像入力部３１０により入力された全天球動画のフレーム画像は、メモリ書込部３３０により、６０Ｈｚの周波数でメモリ３２０に書き込まれる。
【００７１】
メモリ３２０に書き込まれた画像は、メモリ読出部３４０によって１９２０Ｈｚの周波数で読み出される。
【００７２】
読み出された画像は、画像加工部３６０Ａにより、ドームディスプレイや全周（全天球）ディスプレイにおける曲面の投影面で正しく表示されるように歪みが取り除く補正が行われる。また、ドームディスプレイや全周（全天球）ディスプレイが、複数の画像表示装置（プロジェクタ）で構成される場合には、メモリ３２０から読み出された画像は、画像加工部３６０Ａにより分割され、分割された画像は、各画像表示装置の表示サイズに加工される。あるいは、分割された画像は、画像加工部３６０Ａにより各画像表示装置に割り当てられる。前記歪みが取り除かれ、サイズが加工された画像は、画像出力部３５０から出力され、画像表示部において、前記視点座標を表示中心位置とするように表示される。
【００７３】
本実施の形態においては、メモリ読出部３４０によるメモリ３２０からの読み出し周波数を、メモリ書込部３３０による書き込み周波数に比べて十分に高くすることにより、コントローラ１００の操作に対応して遅延なく視点位置を移動させた画像の出力が行われるように補間を行っている。また、本実施の形態においては、画像加工部３６０Ａにより、前記歪みを取り除き、歪みのない画像の出力が行われるように補間を行っている。このように本実施の形態においては、図６に一点鎖線の矩形枠で示すように、メモリ読出部３４０と画像加工部３６０Ａとが、画像表示部に出力する画像を補間する画像補間部として機能している。
【００７４】
５．３  効果等
以上のように、本変形例においては、全天球動画の全てを表示する場合であっても、メモリ書込部３３０によって６０Ｈｚの周波数でメモリ３２０に書き込まれた画像を１９２０Ｈｚの周波数で読み出して出力する。したがって、全天球動画の全てを表示する場合であっても、コントローラ１００の操作により視点座標が変更された際に、コントローラ１００の操作に対して遅延を生じさせずに円滑に表示中心位置の異なる動画を表示することができる。
【００７５】
６．  実施の形態２の別の変形例
６．１  全体の構成
実施の形態２のさらに別の変形例について図７を用いて説明する。図７は、実施の形態２のさらに別の変形例に係る入力画像、画像の切出領域Ｒ、及び出力画像の関係を示す図である。本変形例の画像表示システムにおいては、画像入力部３１０により入力する画像として、全周パノラマ画像の全体ではなく、進行方向を含む一部の領域の画像を用いる。本変形例は、図３に示す実施の形態２の画像表示システム１Ａ、及び図５に示す変形例の画像表示システム１Ｂに適用可能である。
【００７６】
コントローラ１００の操作による１／６０秒での進行方向の変化幅には上限がある。そのため、それ以外の領域の画像を含むのは無駄である。そこで、本変形例では、切出領域Ｒのサイズに、１／６０秒間の切出領域Ｒの移動量の上限より大きいサイズを追加したサイズの画像を入力映像とする。
【００７７】
図７の（Ａ）は、コントローラ１００の状態と、入力映像のフレームＦ１とフレームＦ２の画像の、全周パノラマ画像Ｐに対する位置を示している。コントローラ１００が右（図７に示すＹ軸方向）に倒れているので、フレームＦ２はフレームＦ１より右側の方向の画像となる。
【００７８】
図７の（Ｂ）から（Ｅ）は、各フレーム画像Ｆ１，Ｆ２から、１９２０Ｈｚで切り出す切出画像Ｒの位置を示す。図７の（Ｆ）から（Ｉ）は、画像出力部３５０から出力される出力フレーム画像ＳＧ１−１から出力フレーム画像ＳＧ２−１までを示す。コントローラ１００が右に倒れているので、切出領域Ｒはフレームが進むに従って右に移動する。出力フレーム画像ＳＧ１−１に対応するフレーム画像Ｆ１の切出領域Ｒは、図７の（Ｂ）に示すように、フレームＦ１の中央付近である。しかし、出力フレーム画像ＳＧ１−３２に対応するフレーム画像Ｆ１の切出領域Ｒは、図７の（Ｄ）に示すように、フレームＦ１の端に近づく。
【００７９】
この切出領域Ｒの移動速度は、画像表示システムの用途により決まるので、出力フレーム画像ＳＧ１−３２がフレーム画像Ｆ１からはみ出さないよう、フレーム画像Ｆ１のサイズは予め決めることができる。そして、フレーム画像Ｆ２は、切出領域Ｒが、図７の（Ｅ）に示すようにフレーム画像Ｆ２の中央付近となるよう、画像生成部２００Ａにおいて生成され、供給される。
【００８０】
なお、本変形例では画像生成部２００Ａにおいて生成される画像の例として、全周パノラマ画像を挙げたが、ドームマスター形式やエクイレクタングラー形式などの全周パノラマ画像であってもよい。
【００８１】
６．２  動作
画像生成部２００Ａは、全周パノラマ画像Ｐの全体から、一部の領域の画像であるフレーム画像Ｆ１を切り出し、画像表示装置３００Ａに出力する。画像表示装置３００Ａの画像入力部３１０は、フレーム画像Ｆ１を入力し、メモリ書込部３３０は、入力されたフレーム画像Ｆ１を６０Ｈｚの周波数でメモリ３２０に書き込む。コントローラ１００が操作されると、画像生成部２００Ａは、コントローラ１００の操作に応じてフレーム画像の切り出し位置をシフトする。例えば、図７の（Ａ）に示すように、フレーム画像Ｆ１よりも右側（Ｙ軸方向）にシフトしたフレーム画像Ｆ２を切り出し、画像表示装置３００Ａに出力する。メモリ読出部３４０Ａは、メモリ３２０に書き込まれたフレーム画像Ｆ１およびフレーム画像Ｆ２から、１９２０Ｈｚの周波数で、切出領域Ｒの画像を切り出す。切出領域Ｒの画像は、画像出力部３５０から出力され、画像表示部において、出力フレーム画像ＳＧ１−１から出力フレーム画像ＳＧ２−１のように表示される。なお、本変形例を、図５に示す変形例の画像表示システム１Ｂに適用する場合には、切出領域Ｒの画像は、画像加工部３６０により、画像表示部において表示されるサイズに加工される。また、切出領域Ｒの画像は、画像加工部３６０により歪みが取り除かれる。
【００８２】
６．３  効果等
以上のように本変形例によれば、画像表示装置３００Ａに入力する画像のデータサイズを低減することができ、処理高速化を図ることができる。また、本変形例においても、コントローラ１００の操作により切出開始座標が変更された際に、コントローラ１００の操作に対して遅延を生じさせずに円滑に切出開始座標の異なる動画を表示することができる。
【００８３】
７．  メモリの構成
ところで、一般的に、メモリ３２０への画像の書き込みに対して、メモリ３２０からの画像の読み出しは高速である。したがって、メモリ３２０への画像の書き込みが完了した後に、メモリ３２０からの画像の読み出しを開始する。そして、メモリ３２０からの画像の読み出しの間、次のフレームの画像のメモリ３２０への書き込みを行うために、メモリ３２０においてフレームバッファを２フレーム分準備し、フレーム毎に、画像を書き込むフレームバッファと、画像を読み出すフレームバッファとを切り替えるダブルバッファと呼ばれる手法をとるのが一般的である。ダブルバッファでは、１フレームの期間、書き込みが行われていない方のフレームバッファ上で画像が保持される。
【００８４】
一方で、メモリ３２０において１フレーム分のフレームバッファだけを準備し、同じフレームバッファに対して読み出しと書き込みを同時に行う手法を、シングルバッファと呼ぶ。以上の実施の形態２、および各変形例においては、メモリ制御はシングルバッファの手法を用いても良いし、ダブルバッファの手法を用いても良い。ダブルバッファの手法の場合、メモリ３２０は２フレーム分の容量を備える。そして、メモリ読出部３４０Ａは、書き込みを行っていないフレームメモリから画像を読み出す。シングルバッファの手法に対し、ダブルバッファの手法では、動画のフレームの更新は遅延が発生するが、コントローラ１００の操作に対する遅延は発生しない。
【００８５】
（実施の形態３）
１．構成
１．１  全体の構成
本開示の画像表示装置における実施の形態３について図８から図１２を参照しつつ説明する。図８は、実施の形態３における画像表示部に表示される出力画像の一例を示す図である。図９は、実施の形態３に係る画像表示装置を示すブロック図である。図１０は、実施の形態３におけるメモリ上のボールのサブフレーム画像の配置を説明するための図である。図１１は、実施の形態３におけるメモリ上の背景動画のフレーム画像を説明するための図である。図１２は、実施の形態３におけるメモリからの画像の読み出しと画像合成を説明するための図である。
【００８６】
実施の形態３は、本開示の画像表示装置を、一例とて、野球のシミュレータに適用したものである。図８に示すように、画像表示部に表示される出力画像Ｄには、投手Ｐ１の動画およびバッターＢＴの画像を含む背景動画と、ボールＢＬの動画が含まれる。投手Ｐ１の動画は６０Ｈｚで表示され、ボールＢＬの動画は１９２０Ｈｚで表示される。なお、使用者がバッターとして映像を見る場合は、バッターＢＴは表示されなくてもよい。
【００８７】
図９に示すように、画像表示装置４００は、画像入力部４１０，４１１、メモリ４２０，４２１、メモリ書込部４３０，４３１、メモリ読出部４４０，４４１、画像加工部４６０、画像出力部４５０、切出領域指示部４７０、重畳位置指示部４８０、およびα値指示部４９０を備える。
【００８８】
画像表示装置４００は、全体をＦＧＰＡで構成してもよいし、ＣＰＵとソフトウェアにより構成してもよい。また、画像表示装置４００は、切出領域指示部４７０、重畳位置指示部４８０、およびα値指示部４９０をパソコンで構成し、その他の構成部をＦＧＰＡ、またはＣＰＵとソフトウェアにより構成してもよい。
【００８９】
画像入力部４１０は、図示を省略する画像生成部によって生成され、出力されるボールＢＬの動画のフレーム画像を入力する。ボールの動画の１フレーム画像は、３２サブフレーム分のボールＢＬの画像からなる。図９はボールの動画のサブフレーム画像ＳＦを示す図である。なお、図９においては、簡略化のために、ボールＢＬのフレーム画像ＦＢを９枚のサブフレーム画像ＳＦで例示している。図９に示すように、各サブフレーム画像ＳＦは、ボールＢＬの径、および回転状態が異なる画像となっている。３２枚のサブフレーム画像ＦＢでボールＢＬの動画の１フレーム画像ＦＢを構成することにより、ボールＢＬが投手Ｐ１の手元から離れ、回転しながら徐々にバッターＢＴに向かって近づいてくる様子を表現することができる。３２枚のサブフレーム画像ＳＦからなるボールＢＬの各フレーム画像ＦＢは、６０ｆｐｓのフレームレートで画像入力部４１０に入力される。
【００９０】
画像生成部と画像入力部４１０との接続は、ＵＳＢケーブルおよびＨＤＭＩケーブルを用いて行われる。ＵＳＢケーブルを介して制御信号が画像生成部から出力され、ＨＤＭＩケーブルを介して画像データが画像生成部から出力される。
【００９１】
画像入力部４１１は、図示を省略する画像生成部によって生成される背景動画のフレーム画像を入力する。図１１に示すように、背景動画のフレーム画像ＦＰは、投球動作を行う投手Ｐ１の動画のフレーム画像を含む。背景動画の各フレーム画像ＦＰは、６０ｆｐｓのフレームレートで画像入力部４１１に入力される。画像生成部と画像入力部４１１との接続は、ＵＳＢケーブルおよびＨＤＭＩケーブルを用いて行われる。ＵＳＢケーブルを介して制御信号が画像生成部から出力され、ＨＤＭＩケーブルを介して画像データが画像生成部から出力される。
【００９２】
メモリ４２０，４２１は、本実施の形態では、フレームバッファが２つのダブルバッファのメモリである。メモリ４２０には、ボールＢＬのフレーム画像が書き込まれる。メモリ４２１には、投手Ｐ１を含む背景動画のフレーム画像ＦＰが書き込まれる。
【００９３】
メモリ書込部４３０は、画像入力部４１０に入力されたボールＢＬの動画を、３２枚のサブフレーム画像ＳＦからなる１フレーム画像ＦＢごとに、第１の周波数である６０Ｈｚの周波数でメモリ４２０に書き込む。メモリ書込部４３１は、画像入力部４１１に入力された投手Ｐ１を含む背景動画を、１フレーム画像ＦＰごとに６０Ｈｚの周波数でメモリ４２１に書き込む。
【００９４】
メモリ読出部４４０は、メモリ書込部４３０のメモリ４２０への書込み動作中に、つまり非同期に、メモリ４２０に書き込まれたボールのフレーム画像を、第１の周波数よりも高い第２の周波数である１９２０Ｈｚで読み出す。本実施の形態においては、メモリ読出部４４０は、切出領域指示部４７０と接続されている。メモリ読出部４４０は、切出領域指示部４７０から出力される切出指示に基づき、１フレームのボールの画像から、サブフレームとして描かれたボールの画像を順次切り出して出力する。
【００９５】
メモリ読出部４４１は、メモリ書込部４３１のメモリ４２１への書込み動作中に、つまり非同期に、メモリ４２１に書き込まれた投手のフレーム画像を、１９２０Ｈｚで読み出す。投手のフレーム画像については、切り出さないか、もしくは切出領域は変わらないので、実質６０Ｈｚの動画となる。
【００９６】
画像加工部４６０は、メモリ読出部４４１で読み出された投手Ｐ１を含む背景画像のフレーム画像ＦＰに、メモリ読出部４４０で読み出されたボールＢＬのサブフレーム画像ＳＦを合成し、画像出力部４５０に出力する。
【００９７】
画像出力部４５０は、投手Ｐ１を含む背景画像とボールＢＬの画像とが合成された画像を、図示を省略する画像表示部に表示する。
【００９８】
切出領域指示部４７０は、ボールＢＬの１フレーム画像ＦＢのうち、どのサブフレーム画像ＳＦを切り出すかをメモリ読出部４４０に指示する。
【００９９】
重畳位置指示部４８０は、投手Ｐ１を含む背景動画のフレーム画像ＦＰ上に、ボールＢＬのサブフレーム画像ＳＦを重畳する位置を、画像加工部４６０に指示する。
【０１００】
α値指示部４９０は、ボールＢＬのサブフレーム画像ＳＦ上のボールＢＬの領域を、画素情報上の透過率を示すα値で指定する。これにより、サブフレーム画像ＳＦからボールＢＬの画像だけが切り出され、画像加工部４６０により背景動画と合成される。例えば、ボールＢＬの領域は透過率を０％とし、その他の領域の透過率を１００％とすれば、ボールＢＬの画像だけを切り出すことができる。
【０１０１】
１．２  メモリからの読み出し周波数の決定基準
スポーツにおいて、ボールなどのオブジェクトは時速１００ｋｍ以上で動く。通常、画像出力部４５０から出力する動画のフレームレートは、入力する動画のフレームレートと同程度であり、本実施の形態では６０ｆｐｓとなっている。見掛けのフレームレートを増やすために、高い周波数で動画を表示するケースはあるが、そのケースでは、同じ画像を繰り返し表示するだけで、画像自体は変化しない。そのため、６０ｆｐｓのフレームレートで動画を表示する場合、時速１００ｋｍで進むオブジェクトが１フレーム（１／６０秒）で進む距離は４６３ｍｍとなる。この距離は多くの場合、オブジェクトのサイズより大きい。したがって、動くオブジェクトを目で追っている場合、あるフレームが表示されてから次のフレームが表示されるまでの間、オブジェクトは同じ位置に表示されたままある。したがって、観察者は、画像表示部における画面上のオブジェクトが表示されていない領域において、オブジェクトの動きを予測して視線を遷移させる。つまり、視線の動きに対して、オブジェクトが大きく遅延して表示されている状態となる。
【０１０２】
なお、上記の進む距離は、オブジェクトの進行方向に対してである。オブジェクトが画面に平行に移動する場合の画面上の移動距離であり、画面に垂直な成分がある場合は、画面上の移動距離は４６３ｍｍより小さい。したがって、本実施の形態では、システムの設計上、画面上の移動距離が最大となる条件を考慮して読み出し周波数を決定している。また、表示装置を２台使用する３Ｄ表示の場合は、知覚される空間上の移動は４６３ｍｍとなるため、本実施の形態では、やはりこの条件を考慮してメモリ４２０からの読み出し周波数を決定している。
【０１０３】
本実施の形態では、１９２０Ｈｚでオブジェクトを表示するので、１フレーム（１／１９２０秒）で進む距離は１４ｍｍとなる。この距離は多くの場合、オブジェクトのサイズより小さい。これにより、視線の動きに対して、オブジェクトが遅延して表示されるということはなくなる。
【０１０４】
また、出力する動画の周波数が６０Ｈｚだと、オブジェクトの移動が飛び飛びに感じられる。さらに野球の場合、変化球は１秒間に約６０回転するが、６０ｆｐｓでは回転が表現できない。しかし、本実施の形態のように、オブジェクトの表示周波数を１９２０Ｈｚとすれば、オブジェクトの移動が滑らかになるだけでなく、３２枚のサブフレームで約１回転するので、回転も表現可能となる。
【０１０５】
なお、視線の動きに対するオブジェクトの移動という観点から、遅れが目立ちにくくなる周波数の目安としては、前述の実施の形態と同じく５００Ｈｚ程度と考えられる。
【０１０６】
１．３  メモリからの画像の読み出しと画像合成の態様
メモリ４２０からの画像の読み出しと画像合成について、図１２により説明する。図１２に示す例では分かりやすくするために、ボールＢＬの１フレーム画像ＦＢを構成するサブフレーム数を８とする。また、８個のサブフレーム数から成るボールＢＬの１フレーム画像ＦＢの書き込みにおけるフレームレートは６０ｆｐｓ、１サブフレーム画像ＦＢの画像の読み出しにおけるフレームレートは４８０ｆｐｓとする。
【０１０７】
図１２の（Ａ）に示すように、メモリ４２０上にボールＢＬの動画の１フレーム画像ＦＢに対するサブフレーム画像ＳＦ１〜ＳＦ８が書き込まれているものとする。サブフレーム画像ＳＦ１〜ＳＦ８の読み出しは、サブフレーム画像ＳＦ１〜ＳＦ８のサイズに対応した切出領域ＲＳごとに行われる。本実施の形態では、メモリ読出部４４０は、切出領域指示部４７０からの指示を受けて、図１２の（Ａ）〜（Ｅ）に示すように、サブフレーム画像ＳＦ１〜ＳＦ８の順に切出領域ＲＳを切り換えて各サブフレーム画像を４８０ｆｐｓのフレームレートで読み出す。
【０１０８】
そして、画像加工部４６０は、重畳位置指示部４８０からの指示を受けて、図１２の（Ｆ）〜（Ｊ）に示すように、背景動画の１フレーム画像ＦＰ上に、ボールＢＬの動画のサブフレーム画像ＳＦ１〜ＳＦ８を順次重畳する。
【０１０９】
上記の各サブフレーム画像の各々の切出領域ＲＳは固定されていてもよいが、サブフレーム画像毎に変わっても良い。その場合は、ＵＳＢなどの通信手段で画像生成部から指示を入力してもよいし、動画のヘッダ情報などに重畳してもよい。
【０１１０】
また、ボールＢＬの動画の各サブフレーム画像を重畳する位置は、固定されていてもよいが、サブフレーム画像毎に変わっても良い。その場合も、ＵＳＢなどの通信手段で画像生成部から指示を入力してもよいし、動画のヘッダ情報などに重畳してもよい。
【０１１１】
ところで、メモリ４２０へのフレーム画像ＦＢの書き込みが６０Ｈｚ、メモリ４２０からのサブフレーム画像ＳＦの読み出しが４８０Ｈｚの場合、動画の１フレーム画像ＦＢに対して、８回の読み出し動作が行われる。この８回のうち、最初の１回は１フレーム画像ＦＢのメモリ４２０への書込み動作と同期してメモリ４２０からサブフレーム画像ＳＦを読み出してもよい。この場合、残りの７回は、１フレーム画像ＦＢの時間を８等分した時間間隔で、メモリ４２０からサブフレーム画像ＳＦを読み出してもよい。
【０１１２】
２．  動作
図示を省略する画像生成部は、投手Ｐ１の動画を含む背景動画を生成し、背景動画のフレーム画像ＦＰを画像表示装置４００に出力する。また、画像生成部は、ボールＢＬの動画を生成し、３２枚で構成される１フレーム画像ＦＢを画像表示装置４００に出力する。画像表示装置４００の画像入力部４１０は、ボールＢＬの３２枚で構成される１フレーム画像ＦＢを入力し、メモリ書込部４３０は、入力された１フレーム画像ＦＢを６０Ｈｚの周波数でメモリ４２０に書き込む。また、画像表示装置４００の画像入力部４１１は、投手Ｐ１の動画を含む背景動画の１フレーム画像ＦＰを入力し、メモリ書込部４３１は、入力された１フレーム画像ＦＰを６０Ｈｚの周波数でメモリ４２１に書き込む。
【０１１３】
メモリ読出部４４０は、メモリ４２０に書き込まれた１フレーム画像ＦＢから、切出領域指示部４７０により指示された切出領域ＲＳのサブフレーム画像ＳＦを、１９２０Ｈｚの周波数で切り出す。また、メモリ読出部４４１は、メモリ４２１に書き込まれた１フレーム画像ＦＰを、１９２０Ｈｚの周波数で読み出す。投手のフレーム画像については、切り出さないか、もしくは切出領域は変わらないので、実質６０Ｈｚの動画となる。
【０１１４】
画像加工部４６０は、背景動画の１フレーム画像ＦＰ上において、重畳位置指示部４８０からの指示を受けた位置にボールＢＬのサブフレーム画像ＳＦを重畳させ、α値指示部４９０からの指示を受けてボールＢＬの画像だけを背景動画の１フレーム画像ＦＰに合成させる。合成された画像は、画像出力部４５０から出力され、画像表示部において表示される。本実施の形態においては、径および回転角度の異なるボールＢＬの各サブフレーム画像ＳＦが、メモリ４２０への書き込み周波数である６０Ｈｚよりも高い１９２０Ｈｚで読み込まれ、それぞれ位置を変えて背景動画と合成される。したがって、ボールＢＬの画像は、投手Ｐ１の手元からバッターＢＴの位置に至るまで、野球シミュレータを使用するプレーヤーの視線の動きに対して、遅延なく円滑に移動し、かつ、ボールＢＬの回転が表現されて表示される。このように本実施の形態においては、図９に一点鎖線の枠で示すように、メモリ読出部４４０および画像加工部４６０が、画像表示部に出力する画像を補間する画像補間部として機能している。
【０１１５】
３．  効果等
本開示の画像表示装置４００は、画像入力部は、異なる画像信号が入力される第１の画像入力部４１０および第２の画像入力部４１１を備え、メモリは、第１のメモリ４２０および第２のメモリ４２１を備え、メモリ書込部は、第１の画像入力部４１０に入力された画像信号を第１のメモリ４２０に第１の周波数の一例としての６０Ｈｚで書き込む動作をする第１のメモリ書込部４３０と、第２の画像入力部４１１に入力された画像信号を第２のメモリ４２１に第１の周波数の一例としての６０Ｈｚで書き込む動作をする第２のメモリ書込部４３１とを備え、メモリ読出部は、第１の周波数よりも高い第２の周波数の一例としての１９２０Ｈｚで、第１のメモリ４２０に書き込まれた画像信号を読み出す第１のメモリ読出部４４０と、第１の周波数の一例としての６０Ｈｚで、第２のメモリ４２１に書き込まれた画像信号を読み出す第２のメモリ読出部４４１とを備え、画像補間部は、第１の読出部４４０により読み出された画像信号と、第２の読出部４４１により読み出された画像信号とを合成する画像加工部４６０を備える。また、本開示の画像表示装置４００は、第１の読出部４４０と第２の読出部４４１で読み出された画像信号を画像表示部に出力する画像出力部４５０を備える。その結果、例えば、野球シミュレータにおいて、ボールＢＬの画像を、野球シミュレータを使用するプレーヤーの視線の動きに対して、遅延なく円滑に移動させ、かつ、ボールＢＬの回転を表現しながら表示することができる。
【０１１６】
４．  実施の形態３の変形例
４．１  全体の構成
実施の形態３の変形例について、図１３を用いて説明する。図１３は、本変形例におけるメモリへのボールのフレーム画像の書き込みとメモリからのボールのサブフレーム画像の読み出しとを説明するための図である。本変形例は、実施の形態３とは、メモリ４２０へのフレーム画像の書き込みに対する、メモリ４２０からのサブフレーム画像の読み出しのタイミングが異なる。
【０１１７】
実施の形態３では、メモリ制御として、ダブルバッファの手法を前提に説明した。即ちメモリ４２０は、２フレーム分の容量を備えていた。本変形例は、シングルバッファの手法を用いる場合の例である。ダブルバッファの手法の場合、メモリ４２０へのボールＢＬのフレーム画像ＦＢの書き込みが完了するまで、サブフレーム画像ＳＦの読み出しを開始しないので、フレーム画像ＦＢの書き込みから表示までに遅延が発生する。そこで、本変形例では、この遅延を最少化するために、必要なフレーム画像ＦＢがメモリ４２０に書き込まれた時点で、サブフレーム画像ＳＦの読み出しを開始する。
【０１１８】
前述の通り、メモリ４２０のフレーム画像ＦＢの情報は上から下に、順に書き換えられる。図１３の（Ａ）は、１枚目のフレーム画像ＦＢ１のサブフレーム画像ＳＦ１−１〜ＳＦ１−８の書き込みが完了した状態を示している。この状態から、図１３の（Ｂ）および（Ｃ）に示すように、１枚目のフレーム画像ＦＢ１のうち、サブフレーム画像ＳＦ１−１，ＳＦ１−２，ＳＦ１−３が書き込まれた領域から、２枚目のフレーム画像ＦＢ２のサブフレーム画像ＳＦ２−１，ＳＦ２−２，ＳＦ２−３の情報に書き換えられる。図１３の（Ｂ）〜（Ｈ）に点線で示す境界線は、１枚目のフレーム画像ＦＢ１におけるサブフレーム画像の情報が既に書き込まれた領域と、２枚目のフレーム画像ＦＢ２におけるサブフレーム画像の情報に新たに書き換えられた領域との境界を示している。
【０１１９】
サブフレーム画像ＳＦ２−１，ＳＦ２−２，ＳＦ２−３書き換えが完了すると、続いて、図１３の（Ｄ）および（Ｅ）に示すように、フレーム画像ＦＢ１のサブフレームＳＦ１−４，ＳＦ１−５，ＳＦ１−６の情報から、フレーム画像ＦＢ２のサブフレーム画像ＳＦ２−４，ＳＦ２−５，ＳＦ２−６の情報への書き換えが始まる。このとき、既にサブフレーム画像ＳＦ２−１の情報は書き換えが完了しているので、図１３の（Ｄ）に示すように、サブフレーム画像ＳＦ２−１の領域を切出領域ＲＳとして読み出しを開始する。その後、図１３の（Ｅ）および（Ｆ）に示すように、サブフレーム画像ＳＦ２−２，ＳＦ２−３の読み出しを行う。図１３の（Ｇ），（Ｈ）および（Ｉ）に示すタイミングでは、フレーム画像ＦＢ２のサブフレーム画像ＳＦ２−４，ＳＦ２−５，ＳＦ２−６の情報への書き換えが完了しているので、続いてサブフレーム画像ＳＦ２−４，ＳＦ２−５，ＳＦ２−６の領域を切出領域ＲＳとして、読み出しを開始する。図１３の（Ｉ）は、フレーム画像ＦＢ２の書き込みが完了した状態を示している。
【０１２０】
以上の手順により、メモリ４２０のフレーム画像の書き換えラインが、読み出し画像と重ならないようにタイミングを制御することができ、全てのフレーム画像の情報への書き換えが完了していなくても、必要なサブフレーム画像の読み出しを行うことができる。より具体的には、サブフレーム画像が３行（×３列）に渡って合成されているので、フレーム画像ＦＢ１からフレーム画像ＦＢ２への書き換えが始まってから、１フレーム期間（１／６０秒）の１／３の期間が経過した後に、サブフレーム画像ＦＢ２−１の読み出しを開始すればよい。より一般的には、サブフレーム画像をＭ行×Ｎ列に分割する場合、１フレーム期間の１／Ｍだけ経過してから読み出しを開始すればよい。
【０１２１】
４．２  効果等
以上のように本変形例によれば、シングルバッファのメモリを用いることにより、フレーム画像のメモリへの書き込みから、サブフレーム画像の読み取りまでの遅延を最少化することができる。
【０１２２】
５．  実施の形態３の別の変形例
５．１  全体の構成
実施の形態３の別の変形例について、図１４を用いて説明する。図１４は、実施の形態３の別の変形例に係る画像表示装置を示すブロック図である。実施の形態３では、切出領域指示部４７０とα値指示部４９０とを備え、切出領域として切り出したサブフレーム画像においてα値を指定してボールＢＬの画像を切り出した。本変形例では、図１４に示すように、画像表示装置４００Ａは、クロマキー色指示部４９１とクロマキー処理部４６１とを備え、クロマキー処理を利用してボールＢＬの画像を切り出す。
【０１２３】
クロマキー色指示部４９１は、画像入力部４１０に入力されたボールＢＬの１フレーム画像ＦＢを構成するサブフレーム画像ＳＦのうち、ボールＢＬの画像の周囲を、指定した色で一様に塗りつぶすように、画像入力部４１０に対して指示を行う。その結果、メモリ書込部４３０によりメモリ４２０に書き込まれる各サブフレーム画像ＳＦは、ボール画像の周囲が、クロマキー色指示部４９１により指定された色で一様に塗りつぶされている。なお、クロマキー色は、一般的にはボール画像に使用されていない色を選択する。
【０１２４】
クロマキー処理部４６１は、メモリ読出部４４０により読み出したサブフレーム画像ＳＦについて、クロマキー色指示部４９１から指定されたクロマキー色の部分を透過させ、ボールＢＬの画像を切り出す処理を行う。
【０１２５】
５．２  動作
図示を省略する画像生成部は、投手Ｐ１の動画を含む背景動画を生成し、背景動画のフレーム画像ＦＰを画像表示装置４００Ａに出力する。また、画像生成部は、ボールＢＬの動画を生成し、３２枚で構成される１フレーム画像ＦＢを画像表示装置４００Ａに出力する。画像表示装置４００Ａの画像入力部４１０は、ボールＢＬの３２枚で構成される１フレーム画像ＦＢを入力する。画像入力部４１０は、また、クロマキー色指示部４９１からの指示により、ボールＢＬの１フレーム画像ＦＢを構成するサブフレーム画像ＳＦのうち、ボールＢＬの画像の周囲を、指定された色で一様に塗りつぶす。
【０１２６】
メモリ書込部４３０は、ボールＢＬの画像の周囲が指定された色で一様に塗りつぶされた１フレーム画像ＦＢを６０Ｈｚの周波数でメモリ４２０に書き込む。また、画像表示装置４００Ａの画像入力部４１１は、投手Ｐ１の動画を含む背景動画の１フレーム画像ＦＰを入力し、メモリ書込部４３１は、入力された１フレーム画像ＦＰを６０Ｈｚの周波数でメモリ４２１に書き込む。
【０１２７】
メモリ読出部４４０は、メモリ４２０に書き込まれた１フレーム画像ＦＢから、サブフレーム画像ＳＦを、１９２０Ｈｚの周波数で読み出す。また、メモリ読出部４４１は、メモリ４２１に書き込まれた１フレーム画像ＦＰを、１９２０Ｈｚの周波数で読み出す。投手のフレーム画像については、切り出さないか、もしくは切出領域は変わらないので、実質６０Ｈｚの動画となる。
【０１２８】
クロマキー処理部４６１は、メモリ読出部４４０により読み出したサブフレーム画像ＳＦについて、クロマキー色指示部４９１から指定されたクロマキー色の部分を透過させ、ボールＢＬの画像を切り出す。
【０１２９】
画像加工部４６０は、背景動画の１フレーム画像ＦＰ上において、重畳位置指示部４８０からの指示を受けた位置に、クロマキー処理部４６１により切り出されたボールＢＬの画像を重畳させ、背景動画の１フレーム画像ＦＰに合成させる。合成された画像は、画像出力部４５０から出力され、画像表示部において表示される。本実施の形態においては、径および回転角度の異なるボールＢＬの各サブフレーム画像ＳＦが、メモリ４２０への書き込み周波数である６０Ｈｚよりも高い１９２０Ｈｚで読み込まれ、それぞれ位置を変えて背景動画と合成される。したがって、ボールＢＬの画像は、投手Ｐ１の手元からバッターＢＴの位置に至るまで、野球シミュレータを使用するプレーヤーの視線の動きに対して、遅延なく円滑に移動し、かつ、ボールＢＬの回転が表現されて表示される。このように本実施の形態においては、図１４に一点鎖線の枠で示すように、メモリ読出部４４０、クロマキー処理部４６１、および画像加工部４６０が、画像表示部に出力する画像を補間する画像補間部として機能している。
【０１３０】
５．３  効果等
以上のように本変形例によれば、野球シミュレータにおいて、ボールＢＬの画像を、野球シミュレータを使用するプレーヤーの視線の動きに対して、遅延なく円滑に移動させ、かつ、ボールＢＬの回転を表現しながら表示することができる。
【０１３１】
６．  実施の形態３の別の変形例
６．１  全体の構成
実施の形態３のさらに別の変形例について、図１５を用いて説明する。図１５は、実施の形態３の別の変形例に係る画像表示装置を示すブロック図である。実施の形態３では、切出領域指示部４７０とα値指示部４９０とを備え、切出領域として切り出したサブフレーム画像においてα値を指定してボールＢＬの画像を切り出した。本変形例では、図１５に示すように、画像表示装置４００Ｂは、マスク作成部４９２とマスク処理部４６２とを備え、マスク処理を利用してボールＢＬの画像を切り出す。
【０１３２】
マスク作成部４９２は、ボールＢＬの領域を１、他の領域を０とする２値化画像を作成する。マスク処理部４６２は、メモリ読出部４４０により読み出したサブフレーム画像ＳＦの各画素値と、マスク作成部４９２により作成された２値化画像との画素値の積を演算し、ボールＢＬの画像を切り出す処理を行う。
【０１３３】
６．２  動作
図示を省略する画像生成部は、投手Ｐ１の動画を含む背景動画を生成し、背景動画のフレーム画像ＦＰを画像表示装置４００Ｂに出力する。また、画像生成部は、ボールＢＬの動画を生成し、３２枚で構成される１フレーム画像ＦＢを画像表示装置４００Ｂに出力する。画像表示装置４００Ｂの画像入力部４１０は、ボールＢＬの３２枚で構成される１フレーム画像ＦＢを入力する。
【０１３４】
メモリ書込部４３０は、ボールＢＬの１フレーム画像ＦＢを６０Ｈｚの周波数でメモリ４２０に書き込む。また、画像表示装置４００Ｂの画像入力部４１１は、投手Ｐ１の動画を含む背景動画の１フレーム画像ＦＰを入力し、メモリ書込部４３１は、入力された１フレーム画像ＦＰを６０Ｈｚの周波数でメモリ４２１に書き込む。
【０１３５】
メモリ読出部４４０は、メモリ４２０に書き込まれた１フレーム画像ＦＢから、サブフレーム画像ＳＦを、１９２０Ｈｚの周波数で読み出す。また、メモリ読出部４４１は、メモリ４２１に書き込まれた１フレーム画像ＦＰを、１９２０Ｈｚの周波数で読み出す。投手のフレーム画像については、切り出さないか、もしくは切出領域は変わらないので、実質６０Ｈｚの動画となる。
【０１３６】
マスク作成部４９２は、ボールＢＬの領域を１、他の領域を０とする２値化画像を作成する。マスク処理部４６２は、メモリ読出部４４０により読み出したサブフレーム画像ＳＦの各画素値と、マスク作成部４９２により作成された２値化画像との画素値の積を演算し、ボールＢＬの画像を切り出す処理を行う。
【０１３７】
画像加工部４６０は、背景動画の１フレーム画像ＦＰ上において、重畳位置指示部４８０からの指示を受けた位置に、マスク処理部４６２により切り出されたボールＢＬの画像を重畳させ、背景動画の１フレーム画像ＦＰに合成させる。合成された画像は、画像出力部４５０から出力され、画像表示部において表示される。本実施の形態においては、径および回転角度の異なるボールＢＬの各サブフレーム画像ＳＦが、メモリ４２０への書き込み周波数である６０Ｈｚよりも高い１９２０Ｈｚで読み込まれ、それぞれ位置を変えて背景動画と合成される。したがって、ボールＢＬの画像は、投手Ｐ１の手元からバッターＢＴの位置に至るまで、野球シミュレータを使用するプレーヤーの視線の動きに対して、遅延なく円滑に移動し、かつ、ボールＢＬの回転が表現されて表示される。このように本実施の形態においては、図１５に一点鎖線の枠で示すように、メモリ読出部４４０、マスク処理部４６２、および画像加工部４６０が、画像表示部に出力する画像を補間する画像補間部として機能している。
【０１３８】
６．３  効果等
以上のように本変形例によれば、野球シミュレータにおいて、ボールＢＬの画像を、野球シミュレータを使用するプレーヤーの視線の動きに対して、遅延なく円滑に移動させ、かつ、ボールＢＬの回転を表現しながら表示することができる。
【０１３９】
なお、切り出し、クロマキー、マスク処理以外にも、形状の変形やWarp処理など、ボールＢＬの画像を切り出す加工処理にはさまざまな処理が考えられる。図１６は、このような種々の画像加工処理機能を備えた画像表示装置４００Ｃのブロック図である。一般的には、図１６に示すように、画像表示装置４００Ｃとして画像加工指示部４９３と画像加工処理部４６３とを備えて、切り出し、クロマキー、マスク処理以外の、形状の変形やWarp処理など、ボールＢＬの画像を切り出す加工処理を行えばよい。この場合には、メモリ読出部４４０、画像加工処理部４６３、および画像加工部４６０が画像補間部として機能する。
【０１４０】
７．  実施の形態３の別の変形例
７．１  全体の構成
実施の形態３のさらに別の変形例について、図１７および図１８を用いて説明する。図１７は、本変形における画像表示装置のブロック図である。図１８は、本変形例におけるボールの動画のサブフレーム画像を示す図である。本変形例は、実施の形態３の応用例であり、特定のサブフレームの物体を表示しないことで、予測能力を訓練するシステムに本開示の画像表示装置を適用したものである。
【０１４１】
図１７に示すように、本変形例の画像表示装置４００Ｄは、実施の形態３の画像表示装置４００と比べると、α値指示部４９０を備えていない。本変形例では、ボールＢＬのフレーム画像ＦＢとして、図１８に例示されるフレーム画像ＦＢを用いる。
【０１４２】
図１８に示す例では、あるフレーム画像ＦＢの９つのサブフレーム画像ＳＦのうち、サブフレーム画像ＳＦ６とサブフレーム画像ＳＦ７はボールＢＬが含まれていない。このようなフレーム画像ＦＢを用いることにより、画像表示部に表示される合成画像においては、サブフレーム画像ＳＦ６とサブフレーム画像ＳＦ７の表示タイミングでボールＢＬが表示されない。これにより、システムの利用者は一瞬ボールが見えなくなるため、その後の軌跡を予測する必要がある。
【０１４３】
７．２  効果等
以上のように本変形例によれば、野球シミュレータにおいて、ボールＢＬの画像を、野球シミュレータを使用するプレーヤーの視線の動きに対して、遅延なく円滑に移動させ、かつ、ボールＢＬの回転を表現しながら表示することができる。さらに、ボールＢＬを一瞬見えなくすることができるため、ボールＢＬの軌跡を予測するトレーニングに利用することができる。
【０１４４】
以上のように、本開示により、シミュレータなどのシステムにおいて、入力される動画のフレームレートよりも高いフレームレートで表示を行う必要がある場合でも、動画の入力から表示までの遅延を低減し、円滑な表示を行うことができる。また、コントローラの操作から、操作に対応した動画の表示までの遅延を低減することができる。さらに、目の動きに対する物体の表示遅延を低減し、円滑な表示を行うことができる。
【０１４５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１から実施の形態３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１、実施の形態２、実施の形態３、および各変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【０１４６】
上述した実施の形態１では、本開示の画像表示装置を１台だけ使用する態様について説明したが、例えば、画像表示装置を２台使用して、３Ｄ表示を行う態様であっても本開示の画像表示装置を適用可能である。
【０１４７】
上述した実施の形態２では、本開示の画像表示装置をドライブシミュレータまたはフライトシミュレータに適用した態様について説明したが、例えば、画像表示装置を、ヨット、カヌー、ボートまたは船舶のシミュレータ、もしくは、ボブスレー、リュージュ等のシミュレータ等、操縦または操作を伴う移動手段のシミュレータとして広く利用可能である。
【０１４８】
上述した実施の形態３では、本開示の画像表示装置を、野球シミュレータに適用した態様について説明したが、例えば、ゴルフ、サッカー、ホッケー等の各種の球技用のトレーニング装置にも適用可能である。また、球技以外にも、射撃等のトレーニング装置にも本開示の画像表示装置は適用可能である。
【０１４９】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１５０】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１５１】
本開示は、プロジェクタ等の画像表示装置に適用可能である。具体的には、本開示は、パノラマ画像を表示する装置、ドライブシミュレータまたはフライトシミュレータ、各種スポーツのトレーニング用のシミュレータ等に適用可能である。
【符号の説明】
【０１５２】
１        画像表示システム
１００    コントローラ
２００    画像生成部
３００    画像表示装置
３１０    画像入力部
３２０    メモリ
３３０    メモリ書込部
３４０    メモリ読出部
３５０    画像出力部
４００    画像表示装置
４１０    画像入力部
４１１    画像入力部
４２０    メモリ
４２１    メモリ
４３０    メモリ書込部
４３１    メモリ書込部
４４０    メモリ読出部
４４１    メモリ読出部
４５０    画像出力部
４６０    画像加工部
【図１】
2019101192.tif 000003
【図２】
2019101192.tif 000004
【図３】
2019101192.tif 000005
【図４】
2019101192.tif 000006
【図５】
2019101192.tif 000007
【図６】
2019101192.tif 000008
【図７】
2019101192.tif 000009
【図８】
2019101192.tif 000010
【図９】
2019101192.tif 000011
【図１０】
2019101192.tif 000012
【図１１】
2019101192.tif 000013
【図１２】
2019101192.tif 000014
【図１３】
2019101192.tif 000015
【図１４】
2019101192.tif 000016
【図１５】
2019101192.tif 000017
【図１６】
2019101192.tif 000018
【図１７】
2019101192.tif 000019
【図１８】
2019101192.tif 000020