(57)【要約】【課題】複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能な技術を提供する。【解決手段】表示装置は、第１画像ストリームから、フレーム内圧縮によって符号化された第１基準フレームを抽出し、かつ、第２画像ストリームから、フレーム内圧縮によって符号化された第２基準フレームを抽出する抽出部と、第１基準フレームと第２基準フレームとを用いて合成画像ストリームを生成する生成部と、合成画像ストリームをデコードして合成画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、画像フレームに応じた画像を表示面に表示する表示部と、を含む。【選択図】図２
2018160875.tif 000002
【特許請求の範囲】
【請求項１】
第１画像ストリームから、フレーム内圧縮によって符号化された第１基準フレームを抽出し、かつ、第２画像ストリームから、フレーム内圧縮によって符号化された第２基準フレームを抽出する抽出部と、
前記第１基準フレームと前記第２基準フレームとを用いて合成画像ストリームを生成する生成部と、
前記合成画像ストリームをデコードして前記合成画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、
前記画像フレームに応じた画像を表示面に表示する表示部と、を含むことを特徴とする表示装置。
【請求項２】
前記第１画像ストリームと前記第２画像ストリームとを受信する通信部と、
前記第１基準フレームに、前記第１画像ストリームの送信元に応じた第１識別情報を付加し、かつ、前記第２基準フレームに、前記第２画像ストリームの送信元に応じた第２識別情報を付加する付加部と、をさらに含み、
前記画像フレームのうち、前記第１基準フレームを元に生成された第１画像フレームは、前記第１識別情報を有し、
前記画像フレームのうち、前記第２基準フレームを元に生成された第２画像フレームは、前記第２識別情報を有し、
前記表示部は、前記第１識別情報に応じた表示領域に、前記第１画像フレームに応じた画像を表示し、前記第２識別情報に応じた表示領域に、前記第２画像フレームに応じた画像を表示することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記第１基準フレームおよび前記第２基準フレームは、表示タイミングを複数桁の数値の大きさで表すタイミング情報を有し、
前記表示タイミングは、前記数値が大きいほど遅くなり、
前記付加部は、前記第１基準フレームが有するタイミング情報の前記複数桁のうち最上位の桁とは異なる特定の桁に、前記第１識別情報を設定し、かつ、前記第２基準フレームが有するタイミング情報の前記複数桁のうち前記特定の桁に、前記第２識別情報を設定することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記特定の桁は、前記複数桁のうち最上位の桁を含まずに最下位の桁を含むことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記通信部は、さらに、前記第１画像ストリームの送信元と、前記第２画像ストリームの送信元に、画像ストリームの解像度を指定することを特徴とする請求項２から４のいずれか１項に記載の表示装置。
【請求項６】
前記通信部は、前記表示部が前記第１画像フレームに応じた画像及び前記第２画像フレームに応じた画像を表示するときに、前記第１画像ストリームの送信元と前記第２画像ストリームの送信元とに第１の解像度を指定し、前記表示部が前記第２画像フレームに応じた画像を表示することなく前記第１画像フレームに応じた画像を表示するときに、前記第１の解像度とは異なる第２の解像度を前記第１画像ストリームの送信元に指定することを特徴とする請求項５に記載の表示装置。
【請求項７】
第１画像ストリームから、フレーム内圧縮によって符号化された第１基準フレームを抽出するステップと、
第２画像ストリームから、フレーム内圧縮によって符号化された第２基準フレームを抽出するステップと、
前記第１基準フレームと前記第２基準フレームとを用いて合成画像ストリームを生成するステップと、
前記合成画像ストリームをデコードして前記合成画像ストリームの有するフレーム単位で画像フレームを生成するステップと、
前記画像フレームに応じた画像を表示面に表示するステップと、を含むことを特徴とする表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置および表示装置の制御方法に関する。
【背景技術】
【０００２】
無線通信で画像ストリームを伝送する技術として、Miracast（登録商標）が知られている。現在のMiracastでは、ソース（Source）とシンク（Sink）が１対１で無線通信する。ソースは、符号化された複数のフレームで構成される単一の画像ストリームをシンクに送信する。シンクは、ソースから受信した単一の画像ストリームを単一のデコーダーでデコードして複数の画像フレームを生成する。
また、特許文献１には、複数の入力データに基づいて複数の画像を表示する画像投射装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６７７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
Miracastの規格拡張に伴い、シンクは複数ソースとの同時接続が可能となる。このため、シンクは、複数の画像ストリームを並列的に受信可能になる。よって、シンクにおいても、特許文献１に記載の画像投射装置のように、複数の入力データ（複数の画像ストリーム）に基づいて複数の画像を表示することが期待される。
ところで、複数の画像ストリームに基づいて複数の画像を表示する構成においては、画像ストリームごとに、画像ストリームをデコードするデコーダーを設けることが考えられる。しかしながら、この場合、画像ストリームの数と同数のデコーダーが必要になり、デコーダーの数が増大してしまう。
【０００５】
本発明は上述した事情に鑑みてなされたものであり、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制可能な技術を提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る表示装置の一態様は、第１画像ストリームから、フレーム内圧縮によって符号化された第１基準フレームを抽出し、かつ、第２画像ストリームから、フレーム内圧縮によって符号化された第２基準フレームを抽出する抽出部と、前記第１基準フレームと前記第２基準フレームとを用いて合成画像ストリームを生成する生成部と、前記合成画像ストリームをデコードして前記合成画像ストリームの有するフレーム単位で画像フレームを生成するデコーダーと、前記画像フレームに応じた画像を表示面に表示する表示部と、を含むことを特徴とする。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。
【０００７】
上述した表示装置の一態様において、前記第１画像ストリームと前記第２画像ストリームとを受信する通信部と、前記第１基準フレームに前記第１画像ストリームの送信元に応じた第１識別情報を付加し、かつ、前記第２基準フレームに前記第２画像ストリームの送信元に応じた第２識別情報を付加する付加部と、をさらに含み、前記画像フレームのうち、前記第１基準フレームを元に生成された第１画像フレームは、前記第１識別情報を有し、前記画像フレームのうち、前記第２基準フレームを元に生成された第２画像フレームは、前記第２識別情報を有し、前記表示部は、前記第１識別情報に応じた表示領域に、前記第１画像フレームに応じた画像を表示し、前記第２識別情報に応じた表示領域に、前記第２画像フレームに応じた画像を表示することが望ましい。
この態様によれば、画像ストリームに応じた画像を、画像ストリームごとに異なる表示位置に表示可能になる。このため、使用者は、並列的に受信した２つの画像ストリームに応じた画像の概要を同時に見ることが可能になる。
【０００８】
上述した表示装置の一態様において、前記第１基準フレームおよび前記第２基準フレームは、表示タイミングを複数桁の数値の大きさで表すタイミング情報を有し、前記表示タイミングは、前記数値が大きいほど遅くなり、前記付加部は、前記第１基準フレームが有するタイミング情報の前記複数桁のうち最上位の桁とは異なる特定の桁に、前記第１識別情報を設定し、かつ、前記第２基準フレームが有するタイミング情報の前記複数桁のうち前記特定の桁に、前記第２識別情報を設定することが望ましい。
この態様によれば、表示タイミングを表す複数桁の数値の一部が識別情報として兼用される。このため、専用の識別情報を新たに用いる構成に比べて、情報量を少なくできる。また、表示タイミングを表す数値の最上位の桁とは異なる桁に識別情報が設定されるため、該数値の最上位の桁に識別情報を設定する構成に比べて、表示タイミングのずれを小さくできる。
【０００９】
上述した表示装置の一態様において、前記特定の桁は、前記複数桁のうち最上位の桁を含まずに最下位の桁を含むことが望ましい。
表示タイミングを表す数値の最下位の桁は、該数値の桁の中で、表示タイミングのずれへの影響が最も小さい。このため、この態様によれば、表示タイミングを表す数値への識別情報の設定に伴う表示タイミングのずれを小さくすることが可能になる。
【００１０】
上述した表示装置の一態様において、前記通信部は、さらに、前記第１画像ストリームの送信元と、前記第２画像ストリームの送信元に、画像ストリームの解像度を指定することが望ましい。
画像ストリームの解像度が高いほど、画像ストリームのデータ量が多くなり、画像ストリームの伝送帯域に余裕がなくなる。この態様によれば、画像ストリームの伝送帯域の余裕度を調整することが可能になる。
【００１１】
上述した表示装置の一態様において、前記通信部は、前記表示部が前記第１画像フレームに応じた画像及び前記第２画像フレームに応じた画像を表示するときに、前記第１画像ストリームの送信元と前記第２画像ストリームの送信元とに第１の解像度を指定し、前記表示部が前記第２画像フレームに応じた画像を表示することなく前記第１画像フレームに応じた画像を表示するときに、前記第１の解像度とは異なる第２の解像度を前記第１画像ストリームの送信元に指定することが望ましい。
この態様によれば、第２画像フレームに応じた画像が、第１画像フレームに応じた画像と共に表示されるか否かに応じて、第１画像フレームに応じた画像の解像度を変更することが可能になる。
【００１２】
本発明に係る表示装置の制御方法の一態様は、第１画像ストリームから、フレーム内圧縮によって符号化された第１基準フレームを抽出するステップと、第２画像ストリームから、フレーム内圧縮によって符号化された第２基準フレームを抽出するステップと、前記第１基準フレームと前記第２基準フレームとを用いて合成画像ストリームを生成するステップと、前記合成画像ストリームをデコードして前記合成画像ストリームの有するフレーム単位で画像フレームを生成するステップと、前記画像フレームに応じた画像を表示するステップと、を含むことを特徴とする。
この態様によれば、複数の画像ストリームに基づいて複数の画像を表示する構成においてデコーダーの数の増大を抑制することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明を適用した第１実施形態に係るプロジェクター１を示した図である。
【図２】プロジェクター１を模式的に示した図である。
【図３】画像メモリー１１３の一例を示した図である。
【図４】投射部１０７の一例を示した図である。
【図５】プロジェクター１の動作を説明するためのフローチャートである。
【図６】プロジェクター１とソース２１〜２４の通信動作を説明するための図である。
【図７】プロジェクター１とソース２１〜２４の通信動作を説明するための図である。
【図８】プロジェクター１とソース２１〜２４の通信動作を説明するための図である。
【図９】ＰＴＳの最下位の桁に識別情報を設定する一例を示した図である。
【図１０】プロジェクター１とソース２１〜２４の通信動作を説明するための図である。
【図１１】単一表示領域内でサムネイルが切り替わる例を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明に係る実施の形態を説明する。なお、図面において各部の寸法および縮尺は実際のものと適宜異なる。また、以下に記載する実施の形態は、本発明の好適な具体例である。このため、本実施形態には、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【００１５】
＜第１実施形態＞
図１は、本発明を適用した第１実施形態の表示装置に係るプロジェクター１を示した図である。プロジェクター１は、Miracastのシンク機能を有する。プロジェクター１は、Miracastの複数のソース２１〜２４と無線通信で同時接続する。なお、プロジェクター１が同時接続するソースの数は４に限らず２以上であればよい。
【００１６】
ソース２１〜２４は、例えば、スマートフォンまたはタブレット端末である。なお、ソース２１〜２４は、スマートフォンまたはタブレット端末に限らず、Miracastのソース機能を有していればよい。
【００１７】
ソース２１〜２４は、それぞれ、符号化された複数のフレームで構成される画像ストリーム（動画）をＵＤＰ（User Datagram Protocol）データグラムでプロジェクター１に無線送信する。また、ソース２１〜２４は、それぞれ、表示（再生）タイミングの基準になる時刻情報であるＰＣＲ（Program Clock Reference）をプロジェクター１に無線送信する。
【００１８】
以下、ソース２１が送信する画像ストリームを「画像ストリーム２１ａ」とも称する。また、ソース２２、２３、２４が送信する画像ストリームを、それぞれ「画像ストリーム２２ａ」、「画像ストリーム２３ａ」、「画像ストリーム２４ａ」とも称する。画像ストリーム２１ａは、第１画像ストリームの一例である。画像ストリーム２２ａは、第２画像ストリームの一例である。画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａは、複数の画像ストリームの一例である。
【００１９】
画像ストリームは、Ｉフレーム（イントラ符号化フレーム：Intra coded Frame）とＰフレーム（予測符号化フレーム：Predicted Frame）とＢフレーム（双方向予測符号化フレーム：Bidirectional Predicted Frame）の３種類のフレームを含み得る。
【００２０】
Ｉフレームは、基準フレームの一例である。Ｉフレームは、フレーム内圧縮によって符号化されたフレームである。さらに言えば、Ｉフレームは、他のフレームを参照することなく、単独で復号可能なフレームである。Ｉフレームは、画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａのいずれにも含まれている。画像ストリーム２１ａに含まれるＩフレームは、第１基準フレームの一例である。画像ストリーム２２ａに含まれるＩフレームは、第２基準フレームの一例である。
【００２１】
ＰフレームおよびＢフレームは、フレーム間圧縮によって符号化されたフレームである。具体的には、Ｐフレームは、時間的に前のフレームを用いたフレーム間圧縮によって符号化されたフレームである。Ｂフレームは、時間的に前および後のフレームを用いたフレーム間圧縮によって符号化されたフレームである。
【００２２】
Ｉフレーム、ＰフレームおよびＢフレームは、それぞれ、ＰＴＳ（Presentation Time Stamp）を有する。ＰＴＳは、ＰＣＲを基準としたフレームの表示タイミングを、複数桁の数値の大きさで表す。表示タイミングは、ＰＴＳの表す数値が大きいほど遅くなる。ＰＴＳは、タイミング情報の一例である。
【００２３】
プロジェクター１は、画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａを並列的に受信する。プロジェクター１は、画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａの各々からＩフレームを抽出する。プロジェクター１は、抽出したＩフレームを用いて単一の合成画像ストリームを生成する。プロジェクター１は、単一の合成画像ストリームを１つのデコーダー１０５（図２参照）でデコードしてＩフレーム単位で画像フレームを生成する。
【００２４】
プロジェクター１は、画像フレームに応じた画像３１〜３４を含む投射画像３０を投射面３に投射する。画像３１は、ソース２１から受信したＩフレームを用いて生成された画像フレームに応じた画像である。画像３２は、ソース２２から受信したＩフレームを用いて生成された画像フレームに応じた画像である。画像３３は、ソース２３から受信したＩフレームを用いて生成された画像フレームに応じた画像である。画像３４は、ソース２４から受信したＩフレームを用いて生成された画像フレームに応じた画像である。投射面３は、例えば、スクリーンまたは壁である。
【００２５】
図２は、プロジェクター１を模式的に示した図である。プロジェクター１は、受取部１０１と、通信部１０２と、記憶部１０３と、処理部１０４と、デコーダー１０５と、表示制御部１０６と、投射部１０７とを含む。
【００２６】
受取部１０１は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。受取部１０１は、使用者の入力操作を受け取る。受取部１０１は、入力操作に応じた情報を無線または有線で送信するリモートコントローラー等であってもよい。その場合、プロジェクター１は、リモートコントローラーが送信した情報を受信する受信部を備える。リモートコントローラーは、入力操作を受け取る各種の操作ボタン、操作キーまたはタッチパネルを備える。
【００２７】
通信部１０２は、ソース２１〜２４と無線通信する。例えば、通信部１０２は、画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａ（図１参照）をＵＤＰデータグラムで受信する。
【００２８】
ＵＤＰデータグラムのヘッダーには、送信先ポート番号が記載されている。画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａでは、送信先ポート番号が互いに異なる。このため、画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａの送信元（ソース２１〜２４）は、送信先ポート番号によって識別可能である。以下では、画像ストリーム２１ａ、２２ａ、２３ａ、２４ａの送信先ポート番号を、それぞれ、「ｎ１」、「ｎ２」、「ｎ３」、「ｎ４」とする。
【００２９】
また、ＵＤＰデータグラムのヘッダーには、フレームの種別を表す情報（ＩフレームかＰフレームかＢフレームかを表す情報）が記載されている。
【００３０】
記憶部１０３は、コンピューターが読み取り可能な記録媒体である。記憶部１０３は、プロジェクター１の動作を規定するプログラムと、種々の情報とを記憶する。また、記憶部１０３は、図３に示すような画像メモリー１１３を備える。
【００３１】
画像メモリー１１３は、送信先ポート番号「ｎ１」に対応するバッファー１１３−１と、送信先ポート番号「ｎ２」に対応するバッファー１１３−２と、送信先ポート番号「ｎ３」に対応するバッファー１１３−３と、送信先ポート番号「ｎ４」に対応するバッファー１１３−４とを有する。つまり、バッファー１１３−１はソース２１と対応し、バッファー１１３−２はソース２２と対応し、バッファー１１３−３はソース２３と対応し、バッファー１１３−４はソース２４と対応している。
【００３２】
説明を図２に戻す。処理部１０４は、ＣＰＵ（Central Processing Unit）等のコンピューターである。処理部１０４は、記憶部１０３に記憶されているプログラムを読み取り実行することによって、出力先切換部１０８と、制御部１０９と、Ｉフレーム抽出部１１０と、ＰＴＳ変更部１１１と、生成部１１２とを実現する。
【００３３】
出力先切換部１０８は、通信部１０２が受信した画像ストリーム（ＵＤＰデータグラム）の出力先を、制御部１０９の指示に応じて、Ｉフレーム抽出部１１０とデコーダー１０５とのいずれかに切り換える。
ここで、出力先切換部１０８が画像ストリームの出力先をＩフレーム抽出部１１０とする状況としては、２つ以上のサムネイルを投射面３に投射する状況が挙げられる。２つ以上のサムネイルの一例としては、図１に示したように、画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａに１対１で対応する４つのサムネイルが挙げられる。なお、２以上のサムネイルは、４つのサムネイルに限らない。
一方、出力先切換部１０８が画像ストリームの出力先をデコーダー１０５とする状況としては、画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａのいずれか１つに応じた画像を投射面３に投射する状況が挙げられる。
【００３４】
制御部１０９は、受取部１０１が受け取った入力操作に応じて、プロジェクター１を制御する。例えば、制御部１０９は、入力操作に応じて通信部１０２を制御して、ソース２１〜２４との通信を制御する。また、制御部１０９は、入力操作に応じて出力先切換部１０８を制御して、出力先切換部１０８からの画像ストリームの出力先を切り換える。
【００３５】
Ｉフレーム抽出部１１０は、抽出部の一例である。Ｉフレーム抽出部１１０は、出力先切換部１０８から受け付けた画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａの各々からＩフレームを抽出する。具体的には、Ｉフレーム抽出部１１０は、画像ストリーム２１ａからＩフレームを抽出し、画像ストリーム２２ａからＩフレームを抽出し、画像ストリーム２３ａからＩフレームを抽出し、さらに、画像ストリーム２４ａからＩフレームを抽出する。なお、Ｉフレーム抽出部１１０は、画像ストリーム２１ａ、２２ａ、２３ａおよび２４ａの各々のＵＤＰデータグラムのヘッダーを参照してＩフレームを特定する。
【００３６】
ＰＴＳ変更部１１１は、付加部の一例である。ＰＴＳ変更部１１１は、Ｉフレーム抽出部１１０が抽出したＩフレームに付加されているＰＴＳを変更する。例えば、ＰＴＳ変更部１１１は、ＰＴＳの示す複数桁の数値の最下位の桁に、そのＰＴＳを有するＩフレームの送信先ポート番号に応じた識別情報を設定する。
さらに言えば、ＰＴＳ変更部１１１は、画像ストリーム２１ａから抽出されたＩフレームについては、そのＩフレームに付加されているＰＴＳの示す複数桁の数値の最下位の桁に、送信先ポート番号「ｎ１」に応じた識別情報を設定する。
また、ＰＴＳ変更部１１１は、画像ストリーム２２ａから抽出されたＩフレームについては、そのＩフレームに付加されているＰＴＳの示す複数桁の数値の最下位の桁に、送信先ポート番号「ｎ２」に応じた識別情報を設定する。
また、ＰＴＳ変更部１１１は、画像ストリーム２３ａから抽出されたＩフレームについては、そのＩフレームに付加されているＰＴＳの示す複数桁の数値の最下位の桁に、送信先ポート番号「ｎ３」に応じた識別情報を設定する。
また、ＰＴＳ変更部１１１は、画像ストリーム２４ａから抽出されたＩフレームについては、そのＩフレームに付加されているＰＴＳの示す複数桁の数値の最下位の桁に、送信先ポート番号「ｎ４」に応じた識別情報を設定する。
送信先ポート番号は、Ｉフレームの抽出元である画像ストリームに対応し、かつ、抽出元の画像ストリームを送信したソースにも対応する。このため、送信先ポート番号「ｎ１」に応じた識別情報は、画像ストリーム２１ａの送信元に応じた第１識別情報の一例となる。また、送信先ポート番号「ｎ２」に応じた識別情報は、画像ストリーム２２ａの送信元に応じた第２識別情報の一例となる。
なお、図３に示したバッファー１１３−１〜１１３−４は、それぞれ、送信先ポート番号「ｎ１」〜「ｎ４」と１対１で対応しているため、それぞれ、送信先ポート番号に応じた識別情報にも１対１で対応することになる。
【００３７】
生成部１１２は、ＰＴＳが変更されたＩフレームを用いて合成画像ストリームを生成する。具体的には、生成部１１２は、画像ストリーム２１ａから抽出されＰＴＳが変更されたＩフレームと、画像ストリーム２２ａから抽出されＰＴＳが変更されたＩフレームと、画像ストリーム２３ａから抽出されＰＴＳが変更されたＩフレームと、画像ストリーム２４ａから抽出されＰＴＳが変更されたＩフレームと、を用いて、合成画像ストリームを生成する。
【００３８】
デコーダー１０５は、合成画像ストリームをデコードしてＩフレーム単位（合成画像ストリームの有するフレーム単位）で画像フレーム（復号後のフレーム）を生成する。画像フレームは、画像フレームの元になったＩフレームに付加されていたＰＴＳを有する。このため、画像フレームのうち、画像ストリーム２１ａから抽出されたＩフレームを元に生成された画像フレーム（第１画像フレーム）は、送信先ポート番号「ｎ１」に応じた識別情報（第１識別情報）を有する。また、画像フレームのうち、画像ストリーム２２ａから抽出されたＩフレームを元に生成された画像フレーム（第２画像フレーム）は、送信先ポート番号「ｎ２」に応じた識別情報（第２識別情報）を有する。
【００３９】
表示制御部１０６は、画像フレームに応じた画像の表示を制御する。表示制御部１０６は、デコーダー１０５が生成した画像フレームを、ＰＴＳが示す表示タイミングで、画像メモリー１１３に上書きする。この際、表示制御部１０６は、バッファー１１３−１〜１１３−４のうち、ＰＴＳに設定された識別情報に応じたバッファーに、画像フレームを上書きする。また、表示制御部１０６は、バッファー１１３−１〜１１３−４に格納された４つの画像フレームに応じた画像３１〜３４（図１参照）を含む投射画像３０に応じた画像信号を生成する。
【００４０】
投射部１０７は、画像フレームに応じた画像を投射面３に投射して表示する。投射部１０７は、表示部の一例である。投射面３は、表示面の一例である。表示部の一例である投射部１０７は、投射面３を含まない。投射部１０７は、画像信号に応じた投射画像３０を投射面３に投射する。
図４は、投射部１０７の一例を示した図である。投射部１０７は、光源１１、光変調装置の一例である３つの液晶ライトバルブ１２（１２Ｒ，１２Ｇ，１２Ｂ）、投射光学系の一例である投射レンズ１３、ライトバルブ駆動部１４等を含む。投射部１０７は、光源１１から射出された光を液晶ライトバルブ１２で変調して投射画像（画像光）を形成し、この投射画像を投射レンズ１３から拡大投射する。
【００４１】
光源１１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、またはレーザー光源等からなる光源部１１ａと、光源部１１ａが放射した光の方向のばらつきを低減するリフレクター１１ｂとを含む。光源１１から射出された光は、不図示のインテグレーター光学系によって輝度分布のばらつきが低減され、その後、不図示の色分離光学系によって光の３原色である赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の色光成分に分離される。Ｒ，Ｇ，Ｂの色光成分は、それぞれ液晶ライトバルブ１２Ｒ，１２Ｇ，１２Ｂに入射する。
【００４２】
液晶ライトバルブ１２は、一対の透明基板間に液晶が封入された液晶パネル等によって構成される。液晶ライトバルブ１２には、マトリクス状に配列された複数の画素１２ｐからなる矩形の画素領域１２ａが形成されており、液晶に対して画素１２ｐごとに駆動電圧を印加可能である。ライトバルブ駆動部１４が、表示制御部１０６から入力される画像信号に応じた駆動電圧を各画素１２ｐに印加すると、各画素１２ｐは、画像信号に応じた光透過率に設定される。このため、光源１１から射出された光は、画素領域１２ａを透過することで変調され、画像信号に応じた画像が色光ごとに形成される。
【００４３】
各色の画像は、図示しない色合成光学系によって画素１２ｐごとに合成され、カラー画像（カラー画像光）である投射画像が生成される。投射画像は、投射レンズ１３によって投射面３に拡大投射される。
【００４４】
次に、動作を説明する。
図５は、プロジェクター１の動作を説明するためのフローチャートである。ここで、出力先切換部１０８は、画像ストリームの出力先をＩフレーム抽出部１１０にしているとする。
プロジェクター１とソース２１〜２４は、Miracastのデバイス発見手順であるＰ２Ｐ（Peer to Peer）デバイスディスカバリーによって互いに発見され接続される（ステップＳ１）。
【００４５】
続いて、プロジェクター１とソース２１〜２４は、ＲＴＳＰ（Real Time Streaming Protocol）により互いの情報を交換する。この際、プロジェクター１の通信部１０２は、制御部１０９の制御により、プロジェクター１の機器情報として、Miracastで規定されている必須解像度のうちで最小の解像度、すなわち、ＶＧＡ（Video Graphics Array）解像度のみをサポートする旨の情報を、ソース２１〜２４にレポートする（図６参照）。通信部１０２が機器情報をソース２１〜２４へレポートすることは、プロジェクター１（通信部１０２）がソース２１〜２４にＶＧＡ解像度を指定することを意味する（ステップＳ２）。ＶＧＡ解像度は、第１の解像度の一例である。
【００４６】
ソース２１〜２４は、機器情報に従って、ＶＧＡ解像度の画像フレームについてエンコードを行う準備をする。その後、ソース２１〜２４は、画像について再生可能な状態で、プロジェクター１からの指示を待ち受ける。
【００４７】
プロジェクター１の制御部１０９は、通信部１０２を用いて、図７に示したように、ソース２１〜２４に、順次、再生指示をＲＴＳＰにより出力する（ステップＳ３）。
【００４８】
ソース２１〜２４の各々は、再生指示を受信すると、ＶＧＡ解像度の画像フレームのエンコードを開始して画像ストリームを生成し始める。
続いて、ソース２１〜２４の各々は、ＲＴＰ（Real time Transport Protocol）により画像ストリームをＵＤＰデータグラムでプロジェクター１に送信し始める（図８参照）。ソース２１〜２４の各々は、ＰＣＲも、ＵＤＰデータグラムに記述して送信し始める。
【００４９】
プロジェクター１では、通信部１０２は、ソース２１〜２４の各々から、ＵＤＰデータグラム（画像ストリームおよびＰＣＲ）を受信し始める（ステップＳ４）。出力先切換部１０８は、通信部１０２が受信したＵＤＰデータグラムを、Ｉフレーム抽出部１１０に出力する。
【００５０】
Ｉフレーム抽出部１１０は、ＵＤＰデータグラムのヘッダーを参照して、画像ストリームごとに、Ｉフレーム（Ｉフレームのデータを有するＵＤＰデータグラム）を抽出する（ステップＳ５）。
【００５１】
Ｉフレーム抽出部１１０は、所定時間（例えば、３秒または５秒）ごとに、抽出対象となる画像ストリームを切り替えていく。なお、所定時間は、３秒または５秒に限らず適宜変更可能である。
本実施形態では、Ｉフレーム抽出部１１０は、抽出対象となる画像ストリームを、画像ストリーム２１ａ、２２ａ、２３ａ、２４ａ、２１ａ、２２ａ・・・の順番で循環的に切り替えていく。Ｉフレーム抽出部１１０は、所定時間の間、抽出対象となる画像ストリームから、複数のＩフレームを抽出してもよいし、１つのＩフレームのみを抽出してもよい。
【００５２】
Ｉフレーム抽出部１１０は、抽出したＩフレーム（Ｉフレームのデータを有するＵＤＰデータグラム）と、ソース２１〜２４の各々からのＰＣＲ（ＰＣＲを有するＵＤＰデータグラム）とを、ＰＴＳ変更部１１１に出力する。
【００５３】
ソース２１〜２４では、ＰＣＲは互いに独立している。ＩフレームのＰＴＳは、そのＩフレームの送信元であるソースが送信したＰＣＲを基準に設定されている。すなわち、送信元が異なるＩフレームのＰＴＳは、互いに異なるＰＣＲを基準に設定されている。
そこで、ＰＴＳ変更部１１１は、各Ｉフレームで用いるＰＣＲを共通化し、このＰＣＲの共通化に応じてＩフレームのＰＴＳを変更する。さらに、ＰＴＳ変更部１１１は、各ＩフレームのＰＴＳに、そのＩフレームの送信元に対応する識別情報を設定する（ステップＳ６）。
【００５４】
まず、ＰＣＲの共通化と、ＰＣＲの共通化に応じたＰＴＳの変更について説明する。
ＰＴＳ変更部１１１は、ソース２１〜２４から送信されたＰＣＲの中から、基準となるＰＣＲ（以下「基準ＰＣＲ」と称する）を決定する。例えば、ＰＴＳ変更部１１１は、複数のＰＣＲの中から、ＰＴＳ変更部１１１に最初に届いたＰＣＲを「基準ＰＣＲ」として決定する。基準ＰＣＲは、共通化されたＰＣＲとして使用される。
続いて、ＰＴＳ変更部１１１は、基準ＰＣＲとは異なるＰＣＲについて、基準ＰＣＲからの時間差を算出する。続いて、ＰＴＳ変更部１１１は、Ｉフレームに付加されているＰＴＳに対して、そのＰＴＳに対応するＰＣＲにおける基準ＰＣＲからの時間差を加算する。このＰＴＳの変更によって、各ＩフレームのＰＴＳは、基準ＰＣＲを基準に設定し直されたことになる。
【００５５】
次に、ＰＴＳへの識別情報の設定について説明する。
ＰＴＳ変更部１１１は、ＰＴＳの示す数値の最下位の桁に、そのＰＴＳを有するＩフレームの送信先ポート番号に応じた識別情報を設定する。
【００５６】
図９は、ＰＴＳの最下位の桁に識別情報を設定する一例を示した図である。
Ｉフレームの送信先ポート番号が「ｎ１」である場合、ＰＴＳ変更部１１１は、そのＩフレームのＰＴＳの最下位の桁の値を「１」に設定する。この「１」は、送信先ポート番号「ｎ１」に応じた識別情報の一例である。
Ｉフレームの送信先ポート番号が「ｎ２」である場合、ＰＴＳ変更部１１１は、そのＩフレームのＰＴＳの最下位の桁の値を「２」に設定する。この「２」は、送信先ポート番号「ｎ２」に応じた識別情報の一例である。
Ｉフレームの送信先ポート番号が「ｎ３」である場合、ＰＴＳ変更部１１１は、そのＩフレームのＰＴＳの最下位の桁の値を「３」に設定する。この「３」は、送信先ポート番号「ｎ３」に応じた識別情報の一例である。
Ｉフレームの送信先ポート番号が「ｎ４」である場合、ＰＴＳ変更部１１１は、そのＩフレームのＰＴＳの最下位の桁の値を「４」に設定する。この「４」は、送信先ポート番号「ｎ４」に応じた識別情報の一例である。
【００５７】
続いて、生成部１１２は、ＰＴＳが変更されたＩフレームを、ＰＴＳが示す表示タイミング順に並べることで合成画像ストリームを生成する（ステップＳ７）。生成部１１２は、合成画像ストリームと基準ＰＣＲとを、デコーダー１０５に出力する。
【００５８】
続いて、デコーダー１０５は、合成画像ストリームをデコードしてＩフレーム単位で画像フレームを生成する（ステップＳ８）。デコーダー１０５は、画像フレームと基準ＰＣＲとを表示制御部１０６に出力する。
【００５９】
続いて、表示制御部１０６は、デコーダー１０５が生成した画像フレームを、基準ＰＣＲを基準とするＰＴＳが示す表示タイミングで、画像メモリー１１３に上書きする。この際、表示制御部１０６は、バッファー１１３−１〜１１３−４のうち、画像フレームのＰＴＳに設定された識別情報に応じたバッファーに、その画像フレームを上書きする（ステップＳ９）。
【００６０】
続いて、表示制御部１０６は、バッファー１１３−１〜１１３−４に格納された４つの画像フレームに応じた画像３１〜３４を含む投射画像３０（図１参照）に応じた画像信号を生成する。続いて、投射部１０７は、画像信号に応じた画像を投射面３に投射する（ステップＳ１０）。
この投射によって、ソース２１からのＩフレームに基づく画像３１がサムネイルとして表示され、ソース２２、２３、２４からのＩフレームに基づく画像３２、３３、３４がそれぞれサムネイルとして表示される。
【００６１】
投射画像３０では、所定時間が経過するごとに、４つのサムネイルのうち１つが更新される。この更新は、Ｉフレーム抽出部１１０が、所定時間ごとに、抽出対象となる画像ストリームを切り替えていくことによって生じる。
【００６２】
投射画像３０が表示されている状況で、使用者が受取部１０１を操作して、４つのサムネイルのうちのいずれかを選択すると、制御部１０９は、その選択に応じて通信部１０２および出力先切換部１０８を制御し、選択されたサムネイルに対応する画像が投射面３に投射される。
以下では、説明の簡略化のため、画像３１（ソース２１からのＩフレームに応じた画像）が選択された場合を例に挙げて説明する。
【００６３】
まず、制御部１０９は、通信部１０２を制御して、ＲＴＳＰによりソース２１との接続を一度切断した後にソース２１と再接続する。その後、制御部１０９は、通信部１０２を制御して、ＲＴＳＰによりプロジェクター１の機器情報としてプロジェクター１の対応可能な解像度（例えば、１０８０ｐ）を示す情報をソース２１に送信し、その後、再生指示をソース２１に送信する。１０８０ｐの解像度は、第２の解像度の一例である。
ソース２１は、この機器情報を受信し、さらに再生指示を受信すると、例えば１０８０ｐの解像度の画像フレームをエンコードした画像ストリームを、ＵＤＰデータグラムでプロジェクター１に送信し始める。
なお、プロジェクター１がソース２１と接続している状態で、ソース２１が再生する画像の解像度を変更できる場合には、プロジェクター１とソース２１との接続を一旦切断する必要はない。
【００６４】
制御部１０９は、通信部１０２がソース２１に再生指示を送信する前に、通信部１０２を制御してＲＴＳＰによりソース２２〜２４にポーズ（一時停止）指示を送信する。このため、解像度の変更に伴って、ソース２１が送信する画像ストリームのデータ量が増加しても、この画像ストリームがプロジェクター１に到達し難くなることを抑制できる（図１０参照）。
【００６５】
また、制御部１０９は、出力先切換部１０８に指示を出して、出力先切換部１０８の出力先を、Ｉフレーム抽出部１１０からデコーダー１０５に切り換える。このため、デコーダー１０５は、ソース２１が送信する画像ストリームをデコードして、画像ストリームに含まれるフレームごとに画像フレームを生成する。表示制御部１０６は、デコーダー１０５が生成した画像フレームに応じた画像を全画面で示す画像信号を生成し、投射部１０７は、この画像信号に応じた画像を投射面３に投射する。このとき、ソース２２〜２４はポーズ（一時停止）となっているため、投射部１０７は、画像ストリーム２２ａに応じた画像と、画像ストリーム２３ａに応じた画像と、画像ストリーム２４ａに応じた画像と、のいずれも投射しない。
【００６６】
本実施形態のプロジェクター１およびプロジェクター１の制御方法によれば、複数のMiracastのソース２１〜２４から提供された画像を更新しながらサムネイルとして表示することができる。そして、これらのサムネイルから１つのサムネイルが選択されると、選択されたサムネイルに応じた画像が全画面表示される。このため、全画面表示される画像を提供するソースを、直感的に選択するための手段を提供することができる。
【００６７】
例えば、全画面表示される画像を提供するソースを選択するための手段として、ソースのＭＡＣ（Media Access Control）アドレスまたはデバイス名を用いた手段が使用された場合、ＭＡＣアドレスおよびデバイス名は直感的にソースと結びつかないため、使い勝手が悪くなる。また、この場合、ＭＡＣアドレスまたはデバイス名と、ソースとの関係を事前に確認する手間、および、ＭＡＣアドレスまたはデバイス名を打ち込む手間も生じてしまう。
本実施形態によれば、ＭＡＣアドレスまたはデバイス名を用いた場合に生じる使い勝手の悪さや手間を解消することが可能になる。
【００６８】
また、Ｉフレームのみで合成された単一の画像ストリーム（合成画像ストリーム）を生成することで、複数のデコーダーを必要とせずに単一のデコーダーで、並列的に受信された複数の画像ストリームをデコードすることができる。このため、シンプルで安価なシステム構成を実現することができる。
また、ある画像ストリームに属していたフレームのデコードの際に、他の画像ストリームに属していたフレームを参照してしまうことを禁止できるため、デコードに伴う画像の劣化を抑制することが可能になる。
【００６９】
また、ソースを特定する情報である識別情報をＰＴＳに重畳することにより、識別情報をハンドリングするためにデコーダー１０５の改造および修正が必要ないという利点を有する。
なお、音声を伴う画像の場合、画像のＰＴＳを変更すると、音声と画像とで同期ずれが生じる可能性があるが、サムネイル表示を行う場合に音声の出力を禁止することで、同期ずれの発生を回避することが可能になる。
【００７０】
また、合成画像ストリームでは、ＰＴＳが表示タイミング順に規則正しく並びながらＩフレームのみで画像が更新されるので、画像の乱れが少なく安定した更新を行うことができる。
【００７１】
＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば、次に述べるような各種の変形が可能である。また、次に述べる変形の態様の中から任意に選択された一または複数の変形を適宜組み合わせることもできる。
【００７２】
＜変形例１＞
ＰＴＳ変更部１１１は、ＰＴＳの最上位の桁とは異なる特定の桁（例えば、ＰＴＳの最上位の桁を含まずにＰＴＳの最下位の桁を含む複数桁）に識別情報を設定してもよい。
【００７３】
＜変形例２＞
合成画像ストリームを生成するために使用される画像ストリームは、プロジェクター１と接続している複数のソースから送信される画像ストリームのうち、少なくとも２つであればよい。この少なくとも２つの画像ストリームは、複数の画像ストリームの他の例となる。
【００７４】
＜変形例３＞
本実施形態では、ＲＴＰでの伝送がＵＤＰを用いて行われたが、通信帯域に余裕があり、またシンクとなるプロジェクター１の処理部１０４の能力が十分な場合にはＵＤＰの代わりにＴＣＰ（Transmission Control Protocol）により伝送が行われてもよい。ただし、ＵＤＰが用いられた方が、再送制御を持たないので、リアルタイム性に優れ、サムネイル用途には有用である。
【００７５】
＜変形例４＞
本実施形態では、サムネイルが一覧表示される構成が示されたが、合成画像ストリームに応じた画像が、サムネイルが一定時間ごとに差し替わる単一の動画であることを利用して、単一の表示領域内で、サムネイルが順次切り替わる表示が実行されてもよい。
図１１は、単一の表示領域内で、サムネイルが順次切り替わる表示の一例を説明するための図である。ホーム画面となる投射画像３０には、画像表示領域３５〜４０が設けられている。合成画像ストリームに応じた動画（サムネイルが所定時間ごとに切り換わる動画）が、画像表示領域３５〜４０のいずれか１つ（例えば、画像表示領域４０）に表示される。この場合、画像メモリー１１３は、合成画像ストリーム用のバッファーを１つ有していればよい。なお、画像表示領域３５〜３９には、他の動画または静止画が表示される。
【００７６】
＜変形例５＞
実施形態では、サムネイル表示の際には、解像度が、Miracastで規定されている必須解像度のうちで最小の解像度であるＶＧＡ解像度に固定された。
しかしながら、プロジェクター１とソース２１〜２４との通信帯域およびデコーダー１０５の処理能力に余裕があり、また、デコーダー１０５が、異なる解像度のＩフレームが連続しても再生できる場合には、画像の解像度を最小の解像度に固定しないで動作させてもよい。ただしこの場合、デコード後の画像フレーム同士で解像度が異なる状況が生じるため、変形例４への対応が困難となる。よって、ソース２１〜２４が再生する画像の解像度を揃えることが望ましい。
【００７７】
＜変形例６＞
通信帯域の負荷を軽減するために、画像ストリームごとに定期的に再生と一時停止（ポーズ）を繰り返すＲＴＳＰ制御が追加で行われてもよい。この場合、サムネイル画像を取りたいときには事前に再生を、取得後には一時停止を、ＲＴＳＰ制御によりプロジェクター１からソース２１〜２４に対して行い、間欠的にＲＴＰストリームを送出させればよい。
【００７８】
＜変形例７＞
プロジェクター１とソース２１〜２４との通信は、Miracastに限らず適宜変更可能である。例えば、Miracastでは、ソース発見にＰ２Ｐデバイスディスカバリーが用いられるが、ソース発見に、ｍＤＮＳ（multicast Domain Name System）など、Ｐ２Ｐデバイスディスカバリーとは異なる方式が用いられてもよい。また、ソースに対して解像度を指定した上でソースの再生を制御するプロトコルとして、Miracastの代わりに、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）などが用いられてもよい。
【００７９】
＜変形例８＞
ＰＴＳ変更部１１１は、ＰＴＳに、対応するＰＣＲでの基準ＰＣＲからの時間差を加算することで、ＰＴＳを基準ＰＣＲに対応させたが、ＰＴＳ変更部１１１は、すべてのＰＴＳを、基準ＰＣＲを基準にして更新してもよい。
【００８０】
＜変形例９＞
第１の解像度は、ＶＧＡ解像度に限らず適宜変更可能である。また、第２の解像度は、１０８０ｐの解像度に限らず、第１の解像度と異なる解像度であればよい。
【００８１】
＜変形例１０＞
処理部１０４がプログラムを実行することによって実現される要素の全部または一部は、例えばＦＰＧＡ（field programmable gate array）またはＡＳＩＣ（Application Specific IC）等の電子回路によりハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの協働により実現されてもよい。
【００８２】
＜変形例１１＞
投射部１０７では、光変調装置として液晶ライトバルブが用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置として、３枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、１枚の液晶パネルを用いた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として１枚のみの液晶パネルまたはＤＭＤが用いられる場合には、色分離光学系や色合成光学系に相当する部材は不要である。また、液晶パネルおよびＤＭＤ以外にも、光源が発した光を変調可能な構成は、光変調装置として採用できる。
【００８３】
＜変形例１２＞
表示装置として、投射面３に画像を表示するプロジェクター１が用いられたが、表示装置はプロジェクター１に限らず適宜変更可能である。例えば、表示装置は、直視型のディスプレイ（液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、プラズマディスプレイ、ＣＲＴ（陰極線管）ディスプレイ等）であってもよい。この場合、投射部１０７の代わりに、直視型の表示部が用いられる。なお、表示装置としてプロジェクター１が用いられる場合、投射面３は、表示装置に含まれない。
【符号の説明】
【００８４】
１…プロジェクター、１０１…受取部、１０２…通信部、１０３…記憶部、１０４…処理部、１０５…デコーダー、１０６…表示制御部、１０７…投射部、１０８…出力先切換部、１０９…制御部、１１０…Ｉフレーム抽出部、１１１…ＰＴＳ変更部、１１２…生成部。
【図１】
2018160875.tif 000003
【図２】
2018160875.tif 000004
【図３】
2018160875.tif 000005
【図４】
2018160875.tif 000006
【図５】
2018160875.tif 000007
【図６】
2018160875.tif 000008
【図７】
2018160875.tif 000009
【図８】
2018160875.tif 000010
【図９】
2018160875.tif 000011
【図１０】
2018160875.tif 000012
【図１１】
2018160875.tif 000013