(57)【要約】【課題】デコーダーの数の増大を抑制可能な技術を提供する。【解決手段】表示装置は、フレーム内圧縮された第１フレームを含む第１画像ストリームと、フレーム内圧縮された第２フレームを含む第２画像ストリームを用いて第３画像ストリームを生成する生成部と、第３画像ストリームをデコードして画像フレームを生成するデコーダーと、画像フレームに応じた画像の表示を制御する表示制御部を含む。第３画像ストリームでは、第１画像ストリームで第１フレームとその後の第３フレームの間に第２フレームが、第３フレームの前に第１フレームのコピーが挿入され、デコーダーは、第２フレームより前のフレームのデコードを第１フレームレートより高い第２フレームレートで行い、該フレームのデコードを第１フレームレートで行った場合との差分の時間内に第１フレームのコピーと第２フレームをデコードする。【選択図】図２
2018166283.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内圧縮にて符号化された第１フレームを有する第１画像ストリームと、フレーム内圧縮にて符号化された第２フレームを有する第２画像ストリームと、を用いて第３画像ストリームを生成する生成部と、
前記第３画像ストリームをデコードして前記第３画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、
前記画像フレームに応じた画像の表示を制御する表示制御部と、を含み、
前記第３画像ストリームは、前記第１画像ストリームにおいて、前記第１フレームと当該第１フレームの後の第３フレームとの間に前記第２フレームが挿入され、さらに、前記第３フレームの前に前記第１フレームのコピーが挿入された画像ストリームであり、
前記デコーダーは、
前記第３画像ストリームにおいて前記第２フレームよりも前の１以上のフレームのデコードを、前記第１画像ストリームにて特定される第１フレームレートよりも高い第２フレームレートで実行し、
前記１以上のフレームを前記第１フレームレートでデコードした場合のデコード時間と、前記１以上のフレームを前記第２フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第１フレームのコピーと前記第２フレームとをデコードすることを特徴とする表示装置。
【請求項２】
前記第１画像ストリームおよび前記第２画像ストリームを受信する通信部と、
前記生成部は、前記第２フレームに、前記第２フレームの送信元に応じた識別情報を付加し、
前記第２フレームを元に生成された画像フレームは、前記識別情報を有し、
前記表示制御部は、前記識別情報を有する画像フレームに応じた画像を、前記識別情報を有さない画像フレームに応じた画像とは異なる領域に表示させることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記第２フレームを元に生成された画像フレームは、表示タイミングを複数桁の数値の大きさで表すタイミング情報を有し、
前記表示タイミングは、前記数値が大きいほど遅くなり、
前記生成部は、前記複数桁のうちの特定の桁に、前記識別情報を設定することを特徴とする請求項２に記載の表示装置。
【請求項４】
フレーム内圧縮にて符号化された第１フレームを有する第１画像ストリームと、フレーム内圧縮にて符号化された第２フレームを有する第２画像ストリームと、を用いて第３画像ストリームを生成する生成ステップと、
前記第３画像ストリームをデコードして前記第３画像ストリームの有するフレーム単位で画像フレームを生成するデコードステップと、
前記画像フレームに応じた画像の表示を制御する制御ステップと、を含み、
前記第３画像ストリームは、前記第１画像ストリームにおいて、前記第１フレームと当該第１フレームの後の第３フレームとの間に前記第２フレームが挿入され、さらに、前記第３フレームの前に前記第１フレームのコピーが挿入された画像ストリームであり、
前記デコードステップでは、
前記第３画像ストリームにおいて前記第２フレームよりも前の１以上のフレームのデコードを、前記第１画像ストリームにて特定される第１フレームレートよりも高い第２フレームレートで実行し、
前記１以上のフレームを前記第１フレームレートでデコードした場合のデコード時間と、前記１以上のフレームを前記第２フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第１フレームのコピーと前記第２フレームとをデコードすることを特徴とする表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置および表示装置の制御方法に関する。
【背景技術】
【０００２】
無線通信で画像ストリームを伝送する技術として、Miracast（登録商標）が知られている。現在のMiracastでは、ソース（Source）とシンク（Sink）が１対１で無線通信する。ソースは、符号化された複数のフレームで構成される単一の画像ストリームをシンクに送信する。シンクは、ソースから受信した単一の画像ストリームを単一のデコーダーでデコードして複数の画像フレームを生成する。
また、特許文献１には、複数の入力データに基づいて複数の画像を表示する画像投影装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６７７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
Miracastの規格拡張に伴い、シンクは複数ソースとの同時接続が可能となる。このため、シンクは、複数の画像ストリームを並列的に受信可能になる。よって、シンクにおいても、特許文献１に記載の画像投射装置のように、複数の入力データ（複数の画像ストリーム）に基づいて複数の画像を表示することが期待される。
ところで、複数の画像ストリームに基づいて複数の画像を表示する構成においては、画像ストリームごとに、画像ストリームをデコードするデコーダーを設けることが考えられる。しかしながら、この場合、画像ストリームの数と同数のデコーダーが必要になり、デコーダーの数が増大してしまう。
【０００５】
本発明は上述した事情に鑑みてなされたものであり、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制可能な技術を提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る表示装置の一態様は、フレーム内圧縮にて符号化された第１フレームを有する第１画像ストリームと、フレーム内圧縮にて符号化された第２フレームを有する第２画像ストリームと、を用いて第３画像ストリームを生成する生成部と、前記第３画像ストリームをデコードして前記第３画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、前記画像フレームに応じた画像の表示を制御する表示制御部と、を含み、前記第３画像ストリームは、前記第１画像ストリームにおいて、前記第１フレームと当該第１フレームの後の第３フレームとの間に前記第２フレームが挿入され、さらに、前記第３フレームの前に前記第１フレームのコピーが挿入された画像ストリームであり、前記デコーダーは、前記第３画像ストリームにおいて前記第２フレームよりも前の１以上のフレームのデコードを、前記第１画像ストリームにて特定される第１フレームレートよりも高い第２フレームレートで実行し、前記１以上のフレームを前記第１フレームレートでデコードした場合のデコード時間と、前記１以上のフレームを前記第２フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第１フレームのコピーと前記第２フレームとをデコードすることを特徴とする。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。
【０００７】
上述した表示装置の一態様において、前記第１画像ストリームおよび前記第２画像ストリームを受信する通信部と、前記生成部は、前記第２フレームに、前記第２フレームの送信元に応じた識別情報を付加し、前記第２フレームを元に生成された画像フレームは、前記識別情報を有し、前記表示制御部は、前記識別情報を有する画像フレームに応じた画像を、前記識別情報を有さない画像フレームに応じた画像とは異なる領域に表示させることが望ましい。
この態様によれば、画像ストリームに応じた画像を、画像ストリームごとに異なる表示位置に表示可能になる。このため、使用者は、並列的に受信した第１および第２画像ストリームに応じた画像の少なくとも概要を同時に見ることが可能になる。
【０００８】
上述した表示装置の一態様において、前記第２フレームを元に生成された画像フレームは、表示タイミングを複数桁の数値の大きさで表すタイミング情報を有し、前記表示タイミングは、前記数値が大きいほど遅くなり、前記生成部は、前記複数桁のうちの特定の桁に、前記識別情報を設定することが望ましい。
この態様によれば、表示タイミングを表す複数桁の数値の一部が識別情報として兼用される。このため、専用の識別情報を新たに用いる構成に比べて、情報量を少なくできる。
【０００９】
本発明に係る表示装置の制御方法の一態様は、フレーム内圧縮にて符号化された第１フレームを有する第１画像ストリームと、フレーム内圧縮にて符号化された第２フレームを有する第２画像ストリームと、を用いて第３画像ストリームを生成する生成ステップと、前記第３画像ストリームをデコードして前記第３画像ストリームの有するフレーム単位で画像フレームを生成するデコードステップと、前記画像フレームに応じた画像の表示を制御する制御ステップと、を含み、前記第３画像ストリームは、前記第１画像ストリームにおいて、前記第１フレームと当該第１フレームの後の第３フレームとの間に前記第２フレームが挿入され、さらに、前記第３フレームの前に前記第１フレームのコピーが挿入された画像ストリームであり、前記デコードステップでは、前記第３画像ストリームにおいて前記第２フレームよりも前の１以上のフレームのデコードを、前記第１画像ストリームにて特定される第１フレームレートよりも高い第２フレームレートで実行し、前記１以上のフレームを前記第１フレームレートでデコードした場合のデコード時間と、前記１以上のフレームを前記第２フレームレートでデコードした場合のデコード時間との差分の時間内に、前記第１フレームのコピーと前記第２フレームとをデコードすることを特徴とする。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の表示装置に係るプロジェクター１を示した図である。
【図２】プロジェクター１を模式的に示した図である。
【図３】画像メモリー１１０の一例を示した図である。
【図４】投射部１０７の一例を示した図である。
【図５】プロジェクター１の動作を説明するためのフローチャートである。
【図６】プロジェクター１の動作を説明するための図である。
【図７】プロジェクター１の動作を説明するための図である。
【図８】プロジェクター１の動作を説明するための図である。
【図９】合成画像ストリーム１００の生成手法を説明するための図である。
【図１０】合成画像ストリーム１００の一例を示した図である。
【図１１】合成画像ストリーム１００のＤＴＳの調整を説明するための図である。
【図１２】プロジェクター１が４台の画像出力装置の各々から画像ストリームを並列的に受信する場合の投射画像３０の一例を示した図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００１２】
＜第１実施形態＞
図１は、本発明を適用した第１実施形態の表示装置に係るプロジェクター１を示した図である。プロジェクター１は、Miracastのシンク機能を有する。プロジェクター１は、Miracastのソース機能を有する複数の画像出力装置２１〜２２と無線通信で同時接続する。なお、プロジェクター１が同時接続する画像出力装置の数は２に限らず２以上であればよい。
【００１３】
画像出力装置２１〜２２は、例えば、スマートフォンまたはタブレット端末である。なお、画像出力装置２１〜２２は、スマートフォンまたはタブレット端末に限らず、Miracastのソース機能を有している機器であればよい。例えば、画像出力装置としては、Miracastのソースが用いられる。
【００１４】
画像出力装置２１〜２２は、それぞれ、符号化された複数のフレームで構成される画像ストリーム（動画）をＵＤＰ（User Datagram Protocol）データグラムでプロジェクター１に無線送信する。また、画像出力装置２１〜２２は、それぞれ、デコード（復号）タイミングおよび表示（再生）タイミングの基準になる時刻情報であるＰＣＲ（Program Clock Reference）をプロジェクター１に無線送信する。
【００１５】
以下、画像出力装置２１が送信する画像ストリームを「画像ストリーム２１ａ」とも称する。画像出力装置２２が送信する画像ストリームを「画像ストリーム２２ａ」とも称する。画像ストリーム２１ａは、第１画像ストリームの一例である。画像ストリーム２２ａは、第２画像ストリームの一例である。
【００１６】
画像ストリームは、Ｉフレーム（イントラ符号化フレーム：Intra coded Frame）とＰフレーム（予測符号化フレーム：Predicted Frame）とＢフレーム（双方向予測符号化フレーム：Bidirectional Predicted Frame）の３種類のフレームを含み得る。
【００１７】
Ｉフレームは、フレーム内圧縮によって符号化されたフレームである。さらに言えば、Ｉフレームは、他のフレームを参照することなく、単独で復号可能なフレームである。Ｉフレームは、画像ストリーム２１ａおよび２２ａのいずれにも含まれている。
【００１８】
ＰフレームおよびＢフレームは、フレーム間圧縮によって符号化されたフレームである。具体的には、Ｐフレームは、時間的に前のフレームを用いたフレーム間圧縮によって符号化されたフレームである。Ｂフレームは、時間的に前および後のフレームを用いたフレーム間圧縮によって符号化されたフレームである。
【００１９】
Ｉフレーム、ＰフレームおよびＢフレームは、それぞれ、ＰＴＳ（Presentation Time Stamp）を有する。ＰＴＳは、ＰＣＲを基準としたフレームの表示タイミングを、複数桁の数値の大きさで表す。表示タイミングは、ＰＴＳの表す数値が大きいほど遅くなる。ＰＴＳは、タイミング情報の一例である。
【００２０】
また、Ｉフレーム、ＰフレームおよびＢフレームは、それぞれ、ＤＴＳ（Decoding Time Stamp）を有する。ＤＴＳは、ＰＣＲを基準としたフレームのデコードタイミングを、複数桁の数値の大きさで表す。
【００２１】
プロジェクター１は、画像ストリーム２１ａおよび２２ａを並列的に受信する。プロジェクター１は、画像ストリーム２１ａおよび２２ａを用いて、合成画像ストリームを生成する。合成画像ストリームは、第３画像ストリームの一例である。
【００２２】
プロジェクター１は、ＰＣＲとＤＴＳに基づくタイミングで、合成画像ストリームの有するフレームを１つのデコーダー１０５（図２参照）でデコードして、合成画像ストリームの有するフレーム単位で画像フレームを生成する。
【００２３】
プロジェクター１は、例えば、画像ストリーム２２ａの一部（Ｉフレーム）と画像ストリーム２１ａとを用いて合成画像ストリームを生成した場合、合成画像ストリームにおいて、画像ストリーム２２ａの一部の前に位置するフレームのデコードを、画像ストリーム２１ａにて特定される第１フレームレートよりも高い第２フレームレートで実行する。
ここで、第１フレームレートは、画像ストリーム２１ａを構成するフレームのデコードの時間間隔に依存し、この時間間隔は、画像ストリーム２１ａの各フレームのＤＴＳによって特定される。よって、第１フレームレートは、画像ストリーム２１ａに基づいて、さらに言えば、画像ストリーム２１ａの各フレームのＤＴＳに基づいて特定される。
【００２４】
そして、プロジェクター１は、デコードのフレームレートを第１フレームレートから第２フレームレートに上げることで空いた時間を使って、１つのデコーダー１０５で画像ストリーム２２ａの一部等をデコードする。
【００２５】
プロジェクター１は、画像ストリーム２１ａから生成された画像フレームに応じた画像を、ＰＣＲと画像ストリーム２１ａのＰＴＳに基づくタイミングで生成し、画像ストリーム２２ａから生成された画像フレームに応じた画像を、ＰＣＲと画像ストリーム２２ａのＰＴＳに基づくタイミングで生成する。
プロジェクター１は、画像ストリーム２１ａから生成された画像フレームに応じた画像と、画像ストリーム２２ａから生成された画像フレームに応じた画像と、を含む投射画像３０を、投射面３に投射する。
【００２６】
例えば、プロジェクター１は、合成画像ストリームを、画像ストリーム２２ａの一部と画像ストリーム２１ａとを用いて生成した場合、画像ストリーム２１ａから生成された画像フレームに応じた画像３１の上に、画像ストリーム２２ａの一部から生成された画像フレームに応じた画像３２が位置する投射画像３０を、投射面３に投射する。投射面３は、例えば、スクリーンまたは壁である。
【００２７】
図２は、プロジェクター１を模式的に示した図である。プロジェクター１は、受取部１０１と、通信部１０２と、記憶部１０３と、処理部１０４と、デコーダー１０５と、表示制御部１０６と、投射部１０７とを含む。
【００２８】
受取部１０１は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。受取部１０１は、使用者の入力操作を受け取る。受取部１０１は、入力操作に応じた情報を無線または有線で送信するリモートコントローラー等であってもよい。その場合、プロジェクター１は、リモートコントローラーが送信した情報を受信する受信部を備える。リモートコントローラーは、入力操作を受け取る各種の操作ボタン、操作キーまたはタッチパネルを備える。
【００２９】
通信部１０２は、画像出力装置２１〜２２と無線通信する。例えば、通信部１０２は、画像ストリーム２１ａおよび２２ａ（図１参照）をＵＤＰデータグラムで受信する。
【００３０】
ＵＤＰデータグラムのヘッダーには、送信先ポート番号が記載されている。画像ストリーム２１ａおよび２２ａでは、送信先ポート番号が互いに異なる。このため、プロジェクター１は、画像ストリーム２１ａおよび２２ａの送信元（画像出力装置２１〜２２）を、送信先ポート番号によって識別可能である。以下では、画像ストリーム２１ａの送信先ポート番号を「ｎ１」とし、画像ストリーム２２ａの送信先ポート番号を「ｎ２」とする。
【００３１】
また、ＵＤＰデータグラムのヘッダーには、フレームの種別を表す情報（ＩフレームかＰフレームかＢフレームかを表す情報）が記載されている。
【００３２】
記憶部１０３は、コンピューターが読み取り可能な記録媒体である。記憶部１０３は、プロジェクター１の動作を規定するプログラムと、種々の情報とを記憶する。また、記憶部１０３は、図３に示すような画像メモリー１１０を備える。画像メモリー１１０は、バッファー１１０−１とバッファー１１０−２とを有する。
【００３３】
説明を図２に戻す。処理部１０４は、ＣＰＵ（Central Processing Unit）等のコンピューターである。処理部１０４は、記憶部１０３に記憶されているプログラムを読み取り実行することによって、制御部１０８と、生成部１０９とを実現する。
【００３４】
制御部１０８は、受取部１０１が受け取った入力操作に応じて、プロジェクター１を制御する。例えば、制御部１０８は、入力操作に応じて通信部１０２を制御して、画像出力装置２１〜２２との通信を制御する。
【００３５】
生成部１０９は、画像ストリーム２１ａと画像ストリーム２２ａとを用いて合成画像ストリームを生成する。本実施形態では、生成部１０９は、制御部１０８からの指示に従って、合成画像ストリームを、画像ストリーム２２ａの一部（Ｉフレーム）と画像ストリーム２１ａとを用いて生成するか、画像ストリーム２１ａの一部（Ｉフレーム）と画像ストリーム２２ａとを用いて生成するかを切り換える。
【００３６】
以下では、説明の簡略化のため、生成部１０９が、合成画像ストリームを、画像ストリーム２２ａのＩフレームと画像ストリーム２１ａとを用いて生成する場合を説明する。この場合、画像ストリーム２１ａが「挿入先画像ストリーム」となり、画像ストリーム２２ａが「挿入元画像ストリーム」となる。
【００３７】
また、生成部１０９は、合成画像ストリームの有するフレームのＤＴＳおよびＰＴＳを調整する。生成部１０９は、ＤＴＳを調整することによって、デコーダー１０５でのフレームレート（デコードにおけるフレームレート）を調整する。
【００３８】
また、生成部１０９は、合成画像ストリームに含まれる画像ストリーム２２ａのＩフレーム（第２フレーム）のＰＴＳに、第２フレームの送信先ポート番号に応じた識別情報を設定する。送信先ポート番号は、第２フレームを送信した画像出力装置にも対応する。
第２フレームのＰＴＳに対して送信先ポート番号に応じた識別情報を設定することは、第２フレームに対して、第２フレームの送信元に応じた識別情報を付加することの一例である。
【００３９】
デコーダー１０５は、合成画像ストリームをデコードして、合成画像ストリームの有するフレーム単位で画像フレーム（復号後のフレーム）を生成する。具体的には、デコーダー１０５は、合成画像ストリームに含まれるフレームごとに、フレームを、フレームのＤＴＳに示されたタイミングでデコードして画像フレームを生成する。なお、画像フレームは、画像フレームの元になったフレームに付加されていたＰＴＳを有する。
【００４０】
表示制御部１０６は、画像フレームに応じた画像の表示を制御する。表示制御部１０６は、デコーダー１０５が生成した画像フレームを、ＰＴＳが示す表示タイミングで、画像メモリー１１０に上書きする。
この際、表示制御部１０６は、ＰＴＳに識別情報が設定されていない画像フレームをバッファー１１０−１に上書きし、ＰＴＳに識別情報が設定されている画像フレームをバッファー１１０−２に上書きする。
また、表示制御部１０６は、バッファー１１０−１〜１１０−２に格納された２つの画像フレームを用いて、画像３１〜３２（図１参照）を含む投射画像３０に応じた画像信号を生成する。
【００４１】
投射部１０７は、画像信号に応じた投射画像３０を投射面３に投射する。
図４は、投射部１０７の一例を示した図である。投射部１０７は、光源１１、光変調装置の一例である３つの液晶ライトバルブ１２（１２Ｒ，１２Ｇ，１２Ｂ）、投射光学系の一例である投射レンズ１３、ライトバルブ駆動部１４等を含む。投射部１０７は、光源１１から射出された光を液晶ライトバルブ１２で変調して投射画像（画像光）を形成し、この投射画像を投射レンズ１３から拡大投射する。
【００４２】
光源１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、またはレーザー光源等からなる光源部１１ａと、光源部１１ａが放射した光の方向のばらつきを低減するリフレクター１１ｂとを含む。光源１１から射出された光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色光成分に分離される。Ｒ，Ｇ，Ｂの色光成分は、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。
【００４３】
液晶ライトバルブ１２は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ１２には、マトリクス状に配列された複数の画素１２ｐからなる矩形の画素領域１２ａが形成されており、液晶に対して画素１２ｐごとに駆動電圧を印加可能である。ライトバルブ駆動部１４が、表示制御部１０６から入力される画像信号に応じた駆動電圧を各画素１２ｐに印加すると、各画素１２ｐは、画像信号に応じた光透過率に設定される。このため、光源１１から射出された光は、画素領域１２ａを透過することで変調され、画像信号に応じた画像が色光ごとに形成される。
【００４４】
各色の画像は、図示しない色合成光学系によって画素１２ｐごとに合成され、カラー画像（カラー画像光）である投射画像が生成される。投射画像は、投射レンズ１３によって投射面３に拡大投射される。
【００４５】
次に、動作を説明する。
図５は、プロジェクター１の動作を説明するためのフローチャートである。
プロジェクター１と画像出力装置２１〜２２は、Miracastのデバイス発見手順であるＰ２Ｐ（Peer to Peer）デバイスディスカバリーによって互いに発見され接続される（ステップＳ１）。
【００４６】
続いて、プロジェクター１と画像出力装置２１〜２２は、ＲＴＳＰ（Real Time Streaming Protocol）により互いの情報を交換する。この際、プロジェクター１の通信部１０２は、制御部１０８の制御により、プロジェクター１の機器情報として、プロジェクター１の対応可能な最大の解像度（例えば、１０８０ｐ）を、画像出力装置２１〜２２にレポートする（図６参照）。通信部１０２が機器情報を画像出力装置２１〜２２へレポートすることは、プロジェクター１（通信部１０２）が画像出力装置２１〜２２に解像度を指定することを意味する（ステップＳ２）。
【００４７】
画像出力装置２１〜２２は、機器情報に示された解像度の画像フレームについてエンコードを行う準備をする。その後、画像出力装置２１〜２２は、画像について再生可能な状態で、プロジェクター１からの指示を待ち受ける。
【００４８】
プロジェクター１の制御部１０８は、通信部１０２を用いて、図７に示したように、画像出力装置２１〜２２に、順次、再生指示をＲＴＳＰにより出力する（ステップＳ３）。
【００４９】
画像出力装置２１〜２２の各々は、再生指示を受信すると、機器情報に示された解像度の画像フレームのエンコードを開始して画像ストリームを生成し始める。
続いて、画像出力装置２１〜２２の各々は、ＲＴＰ（Real time Transport Protocol）により画像ストリームをＵＤＰデータグラムでプロジェクター１に送信し始める（図８参照）。画像出力装置２１〜２２の各々は、ＰＣＲも、ＵＤＰデータグラムに記述して送信し始める。
【００５０】
プロジェクター１では、通信部１０２は、画像出力装置２１〜２２の各々から、ＵＤＰデータグラム（画像ストリーム２１ａ、画像ストリーム２２ａ、およびＰＣＲ）を受信し始める（ステップＳ４）。
なお、制御部１０８は、画像出力装置２１からのＵＤＰデータグラム（画像ストリーム２１ａ）を、画像出力装置２２からのＵＤＰデータグラム（画像ストリーム２２ａ）よりも優先的に受信してもよい。例えば、制御部１０８は、画像出力装置２１からのＵＤＰデータグラムを受信するために使用する時間を、画像出力装置２２からのＵＤＰデータグラムを受信するために使用する時間よりも長くしてもよい。通信部１０２は、ＵＤＰデータグラムを生成部１０９に出力する。
【００５１】
生成部１０９は、画像出力装置２１からのＵＤＰデータグラム（画像ストリーム２１ａ）と、画像出力装置２２からのＵＤＰデータグラム（画像ストリーム２２ａ）と、を用いて合成画像ストリームを生成する（ステップＳ５）。ステップＳ５は、生成ステップの一例である。
【００５２】
図９は、合成画像ストリーム１００の生成手法を説明するための図である。
生成部１０９は、まず、ＵＤＰデータグラムのヘッダーに記載の送信先ポート番号を参照して、画像ストリーム２１ａと、画像ストリーム２２ａとを識別する。
【００５３】
続いて、生成部１０９は、画像ストリーム２２ａを解析して（例えば、ＵＤＰデータグラムのヘッダーを解析して）、画像ストリーム２２ａからＩフレームｉ３を抽出する。Ｉフレームｉ３は、第２フレームの一例である。
【００５４】
生成部１０９は、画像ストリーム２２ａからＩフレームｉ３を抽出すると、画像ストリーム２１ａから２つのＩフレームｉ１およびｉ２を特定する。Ｉフレームｉ１は、Ｉフレームｉ２よりも時間的に前に位置する。Ｉフレームｉ２は、第１フレームの一例である。
【００５５】
続いて、生成部１０９は、Ｉフレームｉ１と、Ｉフレームｉ２と、Ｉフレームｉ１とＩフレームｉ２との間に存在するフレームと、の数を合計した合計値ｍを算出する。図９に示した例では、合計値ｍは「４」となる。
【００５６】
続いて、生成部１０９は、Ｉフレームｉ３を「ｍ−２」回コピーする。続いて、生成部１０９は、Ｉフレームｉ３の「ｍ−２」個のコピーとＩフレームｉ３とを用いて、「ｍ−１」個のＩフレームｉ３が連続するフレーム群Ｇを生成する。
【００５７】
続いて、生成部１０９は、フレーム群ＧをＩフレームｉ２の直後に挿入する。換言すると、生成部１０９は、画像ストリーム２１ａにおいて、Ｉフレームｉ２と、Ｉフレームｉ２の直後のフレームｆと、の間に、フレーム群Ｇを挿入する。フレームｆは、第３フレームの一例である。
【００５８】
続いて、生成部１０９は、Ｉフレームｉ２のコピーを生成する。続いて、生成部１０９は、Ｉフレームｉ２のコピーを、フレーム群Ｇとフレームｆとの間に挿入する。換言すると、生成部１０９は、フレームｆの直前にＩフレームｉ２のコピーを挿入する。
【００５９】
図１０は、合成画像ストリーム１００の一例を示した図である。
図１０および図９に示したように、合成画像ストリーム１００は、画像ストリーム２１ａに比べ、Ｉフレームｉ２のコピーと「ｍ−１」個のＩフレームｉ３との合計の分だけ、フレームが多くなる。このため、デコーダー１０５がＩフレームｉ２のコピーと「ｍ−１」個のＩフレームｉ３とをデコードするための時間（以下「追加デコード時間」とも称する）が、新たに必要となる。
そこで、生成部１０９は、追加デコード時間が捻出され、かつ、追加デコード時間内にＩフレームｉ２のコピーと「ｍ−１」個のＩフレームｉ３とがデコードされるように、デコーダー１０５のフレームレートを調整する。具体的には、生成部１０９は、合成画像ストリーム１００のＤＴＳと、デコーダー１０５の動作周波数とを調整する。
【００６０】
図１１は、合成画像ストリーム１００のＤＴＳの調整を説明するための図である。図１１では、比較例として、画像ストリーム２１ａも示されている。画像ストリーム２１ａにおいては、説明の簡略化を図るために、時間的に隣り合うフレームでのＤＴＳの差が「１００」に設定されているとする。そして、時間的に隣り合うフレームでのＤＴＳの差が「１００」である場合のデコードのフレームレートを「Ｙ」で示している。
【００６１】
ここで、合成画像ストリーム１００は、Ｂフレームを有するので、合成画像ストリーム１００内のフレームは、合成画像ストリーム１００内の並び順とは異なる順番でデコードされることもある。よって、実際には、合成画像ストリーム１００内のフレームをデコードの順番に並べた場合に、時間的に隣り合うフレームでのＤＴＳの差が「１００」になる。
なお、時間的に隣り合うフレームでのＤＴＳの差は「１００」に限らず適宜変更可能である。
【００６２】
生成部１０９は、合成画像ストリーム１００において、Ｉフレームｉ１からＩフレームｉ２のコピーまでのデコードのフレームレートが「２Ｙ」になるように、Ｉフレームｉ１の直後のフレームからＩフレームｉ２のコピーまでのフレーム（以下「ＤＴＳ調整対象フレーム」と称する）のＤＴＳを調整する。
【００６３】
具体的には、生成部１０９は、時間的に隣り合うＤＴＳ調整対象フレームでのＤＴＳの差が「１００」の半分の「５０」になるように、ＤＴＳ調整対象フレームのＤＴＳを調整する。つまり、生成部１０９は、合成画像フレーム１００では、画像フレーム２１ａに比べてフレームが４個増えたため、８個のフレームのデコードのフレームレートをＹの２倍にする。
ここで、合成画像ストリーム１００において、Ｉフレームｉ１からＩフレームｉ２までのフレームは、第２フレームよりも前の１以上のフレームの一例である。フレームレートＹは、第１フレームレートの一例である。フレームレート２Ｙは、第２フレームレートの一例である。
【００６４】
続いて、生成部１０９は、合成画像ストリーム１００に含まれるＩフレームｉ２のＰＴＳの特定の桁（例えば、最上位の桁）に、Ｉフレームｉ２の送信先ポート番号に応じた識別情報（例えば、特定の数値）を設定する。続いて、生成部１０９は、合成画像ストリーム１００をデコーダー１０５に出力する。
【００６５】
また、生成部１０９は、ＰＣＲも、デコーダー１０５に出力する。
画像出力装置２１〜２２では、ＰＣＲは互いに独立している。合成画像ストリーム１００に含まれるフレームのＤＴＳおよびＰＴＳは、そのフレームの送信元である画像出力装置が送信したＰＣＲを基準に設定されている。すなわち、送信元が異なるフレームのＤＴＳおよびＰＴＳは、互いに異なるＰＣＲを基準に設定されている。
そこで、生成部１０９は、基準となるＰＣＲ（以下「基準ＰＣＲ」と称する）として、合成画像ストリーム１００において挿入先となる画像ストリーム２１ａに対応するＰＣＲ（画像出力装置２１から送信されたＰＣＲ）を決定する。
生成部１０９は、基準ＰＣＲを、デコーダー１０５に出力する。
【００６６】
さらに、生成部１０９は、合成画像ストリーム１００からＩフレームｉ１のＤＴＳとフレームｆのＤＴＳとを読み取って不図示の内部メモリーに記憶する。そして、生成部１０９は、合成画像ストリーム１００のＩフレームｉ１のＤＴＳが示すタイミングになると、デコーダー１０５の動作周波数を、それ以前のデコーダー１０５の動作周波数の２倍に切り換える。また、生成部１０９は、合成画像ストリーム１００のフレームｆのＤＴＳが示すタイミングになると、デコーダー１０５の動作周波数を、それ以前のデコーダー１０５の動作周波数の１／２倍に切り換える。
【００６７】
デコーダー１０５は、合成画像ストリーム１００に含まれるフレームごとに、フレームを、フレームのＤＴＳに示された、基準ＰＣＲを基準とするタイミングでデコードして画像フレームを生成する（ステップＳ６）。ステップＳ６は、デコードステップの一例である。
このため、デコーダー１０５は、合成画像ストリーム１００のＩフレームｉ１からＩフレームｉ２をフレームレートＹでデコードした場合のデコード時間と、合成画像ストリーム１００のＩフレームｉ１からＩフレームｉ２をフレームレート２Ｙでデコードした場合のデコード時間との差分の時間内に、Ｉフレームｉ２のコピーとフレーム群Ｇとをデコードする（図１１参照）。
なお、画像フレームには、画像フレームの元になったフレームの有していたＰＴＳが付されている。
デコーダー１０５は、ＰＴＳが付されている画像フレームと、基準ＰＣＲとを、表示制御部１０６に出力する。
【００６８】
表示制御部１０６は、ＰＴＳに識別情報が設定されているか否かによって、画像フレームを分別する（ステップＳ７）。
具体的には、表示制御部１０６は、画像フレームのうち、ＰＴＳに識別情報が設定されていない画像フレーム（画像ストリーム２１ａに対応する画像フレーム）については、ＰＴＳが示す表示タイミング（基準ＰＣＲを基準とした表示タイミング）で、画像メモリー１１０のバッファー１１０−１に上書きする。なお、表示制御部１０６は、Ｉフレームｉ２のコピーを元に生成された画像フレームを削除してもよい。
一方、デコーダー１０５が生成した画像フレームのうち、ＰＴＳに識別情報が設定されている画像フレーム（画像ストリーム２２ａに対応する画像フレーム）については、表示制御部１０６は、その画像フレームを見つけた場合、その画像フレームを、ＰＴＳに関わりなく、画像メモリー１１０のバッファー１１０−２に上書きする。
【００６９】
続いて、表示制御部１０６は、バッファー１１０−１〜１１０−２に格納された２つの画像フレームを用いて、画像３１〜３２を含む投射画像３０（図１参照）に応じた画像信号を生成する。
本実施形態では、表示制御部１０６は、バッファー１１０−１に格納された画像フレームに応じた画像３１の上に、バッファー１１０−２に格納された画像フレームに応じた画像３２が位置する投射画像３０に応じた画像信号を生成する。続いて、投射部１０７は、画像信号に応じた画像を投射面３に投射する（ステップＳ８）。ステップＳ８は、制御ステップの一例である。
この投射によって、画像出力装置２１からの画像ストリーム２１ａに基づく画像３１が表示され、画像出力装置２２からのＩフレームに基づく画像３２がサムネイルとして表示される。
【００７０】
投射画像３０が表示されている状況で、使用者が受取部１０１を操作して、画像３２を選択すると、プロジェクター１は、「挿入先画像ストリーム」を画像ストリーム２１ａから画像ストリーム２２ａに切り換え、「挿入元画像ストリーム」を画像ストリーム２２ａから画像ストリーム２１ａに切り換えた上で、上述した動作を実行する。この際、プロジェクター１と画像出力装置２１〜２２との接続は継続される。
【００７１】
本実施形態のプロジェクター１およびプロジェクター１の制御方法によれば、プロジェクター１は、画像ストリーム２１ａの一部のフレームのデコードのフレームレートをフレームレートＹからフレームレート２Ｙに上げることで空いた時間を使って、デコーダー１０５で画像ストリーム２２ａの一部のフレームをデコードする。このため、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダー１０５の数の増大を抑制することが可能になる。また、単一のデコーダー１０５を用いた構成であっても、並列的に受信した複数の画像ストリーム２１および２２の各々の表す画像の少なくとも概要を表示することが可能になる。
【００７２】
また、合成画像ストリーム１００では、Ｉフレームｉ３と時間的に前後する画像ストリーム２１ａのフレームが、Ｉフレームとなっている。このため、合成画像ストリーム１００のデコードにおいて、画像ストリーム２１ａに属していたフレーム（例えば、ＰフレームまたはＢフレーム）のデコードを、画像ストリーム２１ａに属していたフレームのみを用いて行うことが可能になる。よって、画像ストリーム２１ａに属していたフレームのデコードの際に、画像ストリーム２２ａに属していたフレームを参照してしまうことを禁止できる。
【００７３】
また、画像出力装置を特定する情報である識別情報を、Ｉフレームｉ２のＰＴＳに重畳することにより、識別情報をハンドリングするためにデコーダー１０５の改造および修正が必要ないという利点を有する。
【００７４】
また、挿入先画像ストリーム（例えば、画像ストリーム２１ａ）をデコードして生成された画像フレームでは、ＰＴＳは維持される。このため、挿入先画像ストリームが音声ストリームを伴う場合、画像と音声の同期を維持することが可能になる。
なお、挿入元画像ストリーム（例えば、画像ストリーム２２ａ）が音声ストリームを伴う場合、音声と画像とで同期ずれが生じる可能性があるが、サムネイルを表示する場合に音声の出力を禁止することで、同期ずれの発生を回避することが可能になる。
【００７５】
＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。
【００７６】
＜変形例１＞
プロジェクター１と画像出力装置２１〜２２との通信は、Miracastに限らず適宜変更可能である。例えば、Miracastでは、ソース発見にＰ２Ｐデバイスディスカバリーが用いられるが、画像出力装置（ソース）発見に、ｍＤＮＳ（multicast Domain Name System）など、Ｐ２Ｐデバイスディスカバリーとは異なる方式が用いられてもよい。また、画像出力装置に対して解像度を指定した上で画像出力装置の再生を制御するプロトコルとして、Miracastの代わりに、例えばＤＬＮＡ（登録商標）（Digital Living Network Alliance）などが用いられてもよい。
【００７７】
＜変形例２＞
第２フレームレートは、第１フレームレートの２倍に限らず、第１フレームレートよりも高ければよい。この場合、第２フレームレートが高いほど、フレーム群Ｇに含まれるＩフレームｉ３の数を多くすることができる。なお、第２フレームレートが高くなっても、フレーム群Ｇに含まれるＩフレームｉ３の数が維持されてもよい。
フレーム群Ｇに含まれるＩフレームｉ３の数は、例えば「１」でもよい。図１１に示した例において、フレーム群Ｇに含まれるＩフレームｉ３の数を「１」にした場合、フレーム群Ｇに含まれるＩフレームｉ３と、Ｉフレームｉ２のコピーと、のデコードのフレームレートを第１フレームレートにしてもよい。
また、デコードタイミングにおいてフレーム群Ｇよりも時間的に前のフレームのうち、第２フレームレートでデコードされるフレームは、フレーム群Ｇの直前のフレームを含まなくてもよい。
【００７８】
＜変形例３＞
画像ストリーム２１ａの構成は、図９に示した構成に限らず適宜変更可能である。また、画像ストリーム２２ａの構成も、図９に示した構成に限らず適宜変更可能である。
【００７９】
＜変形例４＞
生成部１０９は、ＰＴＳの最上位の桁とは異なる特定の桁（例えば、ＰＴＳの最上位の桁を含まずにＰＴＳの最下位の桁を含む桁）に識別情報を設定してもよい。
【００８０】
＜変形例５＞
プロジェクター１が、３台以上の画像出力装置の各々から画像ストリームを並列的に受信する場合、生成部１０９は、複数の画像ストリームのいずれか１つを、挿入先画像ストリームとして扱い、残りの画像ストリームを挿入元画像ストリームとして扱ってもよい。
この場合、生成部１０９は、フレーム群Ｇを、挿入元画像ストリームの各々から抽出したＩフレームで生成する。そして、生成部１０９は、フレーム群Ｇを構成するＩフレームのＰＴＳに、挿入元画像ストリームに対応した識別情報を設定する。
加えて、表示制御部１０６は、デコード後の画像フレームに応じた画像を、投射画像３０のうち、その画像フレームのＰＴＳに設定された識別情報に応じた領域に書き込む。
図１２は、プロジェクター１が４台の画像出力装置の各々から画像ストリームを並列的に受信する場合の投射画像３０の一例を示した図である。
領域３３には、挿入先画像ストリームに応じた画像が表示され、領域３４〜３６には、それぞれ、挿入元画像ストリームに応じた画像が１つずつサムネイルとして表示される。
【００８１】
＜変形例６＞
本実施形態では、ＲＴＰでの伝送がＵＤＰを用いて行われたが、通信帯域に余裕があり、またシンクとなるプロジェクター１の処理部１０４の能力が十分な場合にはＵＤＰの代わりにＴＣＰ（Transmission Control Protocol）により伝送が行われてもよい。ただし、ＵＤＰが用いられた方が、再送制御を持たないので、リアルタイム性に優れている。
【００８２】
＜変形例７＞
処理部１０４がプログラムを実行することによって実現される要素の全部または一部は、例えばＦＰＧＡ（field programmable gate array）またはＡＳＩＣ（Application Specific IC）等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。
【００８３】
＜変形例８＞
投射部１０７では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置として、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。
【００８４】
＜変形例９＞
表示装置として、投射面３に画像を表示するプロジェクター１が用いられたが、表示装置はプロジェクター１に限らず適宜変更可能である。例えば、表示装置は、直視型のディスプレイ（液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ等）であってもよい。この場合、投射部１０７の代わりに、直視型の表示部が用いられる。なお、表示装置としてプロジェクター１が用いられる場合、投射面３は、表示装置に含まれない。
【００８５】
＜変形例１０＞
実施形態では、タイムスタンプ情報としてＭＰＥＧ２−ＳｙｓｔｅｍのＰＣＲ、ＰＴＳ、ＤＴＳを用いた例を説明しているが、他のタイムスタンプを用いても良い。
【符号の説明】
【００８６】
１…プロジェクター、１０１…受取部、１０２…通信部、１０３…記憶部、１０４…処理部、１０５…デコーダー、１０６…表示制御部、１０７…投射部、１０８…制御部、１０９…生成部。
【図１】
2018166283.tif 000003
【図２】
2018166283.tif 000004
【図３】
2018166283.tif 000005
【図４】
2018166283.tif 000006
【図５】
2018166283.tif 000007
【図６】
2018166283.tif 000008
【図７】
2018166283.tif 000009
【図８】
2018166283.tif 000010
【図９】
2018166283.tif 000011
【図１０】
2018166283.tif 000012
【図１１】
2018166283.tif 000013
【図１２】
2018166283.tif 000014