(57)【要約】  ディスプレイ装置及びその制御方法が提供される。本ディスプレイ装置は、複数のソースから受信された複数の映像を１つのディスプレイの第１スクリーン、第２スクリーン及び第３スクリーンのそれぞれにディスプレイするディスプレイ部と、ユーザインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）を検知するユーザインターフェース部と、ユーザインターフェース部を介して回転インタラクションが検知された場合、検知された回転インタラクションに応じて第１スクリーンないし第３スクリーンの位置を移動するようにディスプレイ部を制御する制御部とを含む。
2016528574.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ装置において、
複数のソースから受信された複数の映像を１つのディスプレイの第１スクリーン、第２スクリーン及び第３スクリーンのそれぞれにディスプレイするディスプレイ部と、
ユーザインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）を検知するユーザインターフェース部と、
前記ユーザインターフェース部を介して回転インタラクションが検知された場合、前記検知された回転インタラクションに応じて前記第１スクリーンないし第３スクリーンの位置を移動するように前記ディスプレイ部を制御する制御部と
を含むディスプレイ装置。
【請求項２】
前記ディスプレイ部は、
前記第１スクリーンないし第３スクリーンのうちの１つを前記ディスプレイの中央領域に配置し、
前記第１スクリーンないし第３スクリーンのうち少なくとも２つのスクリーンは異なる視聴角度（ｖｉｅｗｉｎｇ  ａｎｇｌｅ）を有することを特徴とする請求項１に記載のディスプレイ装置。
【請求項３】
前記回転インタラクションがユーザの頭部回転インタラクションである場合、
前記制御部は、
前記ユーザの頭部回転を検知し、前記検知されたユーザの頭部回転の方向に応じて前記第１ないし第３スクリーンを移動するように前記ディスプレイ部を制御することを特徴とする請求項２に記載のディスプレイ装置。
【請求項４】
前記制御部は、
前記ユーザインターフェース部を介して前記ユーザの頭部が右方に回転したと検知された場合、前記第１ないし第３スクリーンを左側に移動して前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンが前記ディスプレイを占める割合を増加させ、
前記ユーザインターフェース部を介して前記ユーザの頭部が左方に回転したと検知された場合、前記第１ないし第３スクリーンを右側に移動して前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンが前記ディスプレイを占める割合を増加させるように前記ディスプレイ部を制御することを特徴とする請求項３に記載のディスプレイ装置。
【請求項５】
前記制御部は、
前記検知されたユーザの頭部回転の角度に応じて前記第１ないし第３スクリーンをリアルタイムで移動することを特徴とする請求項４に記載のディスプレイ装置。
【請求項６】
前記制御部は、
前記ユーザの頭部が右側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記左側に移動された前記第３スクリーンをメインスクリーンに設定し、
前記ユーザの頭部が左側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記右側に移動された前記第１スクリーンをメインスクリーンに設定することを特徴とする請求項５に記載のディスプレイ装置。
【請求項７】
前記第１ないし第３スクリーンのうち少なくとも１つのスクリーンに対するオーディオを出力するオーディオ出力部を更に含み、
前記制御部は、
前記検知された回転インタラクションに応じて、第１ないし第３スクリーンのうち少なくとも１つのスクリーンのオーディオ出力を変更するように前記オーディオ出力部を制御することを特徴とする請求項２に記載のディスプレイ装置。
【請求項８】
前記制御部は、
前記第１ないし第３スクリーンのうち、前記ディスプレイで最も高い割合を占めるメインスクリーンにディスプレイされるコンテンツのオーディオのみを出力するように前記オーディオ出力部を制御することを特徴とする請求項７に記載のディスプレイ装置。
【請求項９】
前記回転インタラクションがユーザの頭部回転インタラクションである場合、
前記オーディオ制御部は、
前記ユーザインターフェース部を介して前記ユーザの頭部回転が検知された場合、前記第１ないし第３スクリーンのうち、前記検知されたユーザの頭部回転の方向に応じて前記ディスプレイを占める割合が増加するスクリーンにディスプレイされるコンテンツのオーディオ出力を増加させるように前記オーディオ出力部を制御することを特徴とする請求項８に記載のディスプレイ装置。
【請求項１０】
前記制御部は、
前記ユーザインターフェース部を介して前記ユーザの頭部が右方に回転したと検知された場合、前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンにディスプレイされるコンテンツのオーディオ出力を増加させ、
前記ユーザインターフェース部を介して前記ユーザの頭部が左方に回転したと検知された場合、前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンにディスプレイされるコンテンツのオーディオ出力を増加させるように前記オーディイ出力部を制御することを特徴とする請求項９に記載のディスプレイ装置。
【請求項１１】
前記制御部は、
前記ディスプレイを占める割合に応じて、前記第１ないし第３スクリーンのうち、前記ディスプレイを占める割合が増加するスクリーンにディスプレイされるコンテンツのオーディオ出力を増加させるように前記オーディオ出力部を制御することを特徴とする請求項９に記載のディスプレイ装置。
【請求項１２】
前記制御部は、
前記ユーザの頭部が右側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンを新たなメインスクリーンに設定し、前記第３スクリーンにディスプレイされるコンテンツのオーディオのみを出力し、
前記ユーザの頭部が左側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンを新たなメインスクリーンに設定し、前記第１スクリーンにディスプレイされるコンテンツのオーディオのみを出力するように前記オーディオ出力部を制御することを特徴とする請求項９に記載のディスプレイ装置。
【請求項１３】
前記回転インタラクションが、リモコンに備えられたボタンを押した後リモコンを回転するユーザインタラクションである場合、
前記制御部は、
前記リモコンが回転される方向に対応するスクリーンを前記ディスプレイの中央領域方向に移動するように前記ディスプレイ部を制御することを特徴とする請求項２に記載のディスプレイ装置。
【請求項１４】
ディスプレイ装置の制御方法において、
複数のソースから入力された複数の映像をディスプレイの第１スクリーン、第２スクリーン及び第３スクリーンにそれぞれディスプレイするステップと、
ユーザの回転インタラクションを検知するステップと、
前記検知された回転インタラクションに応じて前記ディスプレイに前記第１スクリーンないし第３スクリーンの位置を移動するステップと
を含む制御方法。
【請求項１５】
前記ディスプレイするステップは、
前記第１スクリーンないし第３スクリーンのうちの１つを前記ディスプレイの中央領域に配置し、前記第１ないし第３スクリーンのうち少なくとも２つのスクリーンは異なる視聴角度（ｖｉｅｗｉｎｇ  ａｎｇｌｅ）を有するように前記第１ないし第３スクリーンをディスプレイすることを特徴とする請求項１４に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ装置及びその制御方法に関し、より詳細には、１つのディスプレイ画面に複数のスクリーンをディスプレイすることができるディスプレイ装置及びその制御方法に関する。
【背景技術】
【０００２】
コンテンツの増加及びユーザのニーズにより、ディスプレイ装置は多様なソースからコンテンツの提供を受けてユーザに多様なコンテンツを提供している。ディスプレイ装置が提供されるコンテンツの量が増加するにつれ、ディスプレイ装置は大量のコンテンツの中からユーザが視聴しようとするコンテンツを探すために複数のスクリーンを提供する必要がある。
【０００３】
従来のディスプレイ装置は、複数のスクリーンでメインスクリーン及びＰＩＰスクリーンのような付加的なスクリーンを提供している。しかし、従来のディスプレイ装置は、付加的なスクリーンのＰＩＰスクリーンがメインスクリーンと重なり、ユーザがスムーズにメインスクリーン及びＰＩＰスクリーンを視聴することができなかった。
【０００４】
更に、従来のディスプレイ装置は、ＰＩＰスクリーンを移動することができないだけでなく、移動できるとしてもユーザによって予め指定された位置でしかディスプレイすることができなかった。なお、従来のディスプレイ装置は、ＰＩＰスクリーン及びメインスクリーンを個別的に制御しなければならないという不都合があった。
すなわち、ディスプレイ装置にディスプレイされた複数のスクリーンをより直観的に制御するための方策への模索が必要となった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザのインタラクションに応じて、ディスプレイ画面にディスプレイされた複数のスクリーンを移動させて複数のスクリーンの中からユーザが視聴しようとするコンテンツをより直観的に選択することができるディスプレイ装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記目的を達成するための本発明の一実施形態に係るディスプレイ装置は、ディスプレイ画面に第１スクリーン、第２スクリーン及び第３スクリーンをディスプレイするディスプレイ部と、前記第１ないし第３スクリーンのうち少なくとも１つのスクリーンに対するオーディオを出力するオーディオ出力部と、ユーザインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）を検知するユーザインターフェース部と、前記ユーザインターフェース部を介して検知されたユーザインタラクションに応じて、前記ディスプレイ画面に前記第１スクリーンないし第３スクリーンの位置を移動するように前記ディスプレイ部を制御し、前記検知されたユーザインタラクションに応じて、第１ないし第３スクリーンのうち少なくとも１つのスクリーンのオーディオ出力を変更するように前記オーディオ出力部を制御する制御部とを含む。
【０００７】
そして、前記ディスプレイ部は、前記第１スクリーンないし第３スクリーンのうちの１つを前記ディスプレイ画面の中央領域に配置し、前記第１ないし第３スクリーンのうち少なくとも２つのスクリーンは異なる視聴角度（ｖｉｅｗｉｎｇ  ａｎｇｌｅ）を有してよい。
【０００８】
なお、前記ユーザインタラクションがユーザの頭部回転インタラクションである場合、前記制御部は、前記ユーザの頭部回転を検知し、前記検知されたユーザの頭部回転の方向に応じて前記第１ないし第３スクリーンを前記目的を達成するための本発明の一実施形態に係るディスプレイ装置は、複数のソースから受信された複数の映像を１つのディスプレイの第１スクリーン、第２スクリーン及び第３スクリーンのそれぞれにディスプレイするディスプレイ部と、ユーザインタラクションを検知するユーザインターフェース部と、前記ユーザインターフェース部を介して回転インタラクションが検知された場合、前記検知された回転インタラクションに応じて前記第１スクリーンないし第３スクリーンの位置を移動するように前記ディスプレイ部を制御する制御部とを含む。
【０００９】
そして、前記ディスプレイ部は、前記第１スクリーンないし第３スクリーンのうちの１つを前記ディスプレイの中央領域に配置し、前記第１ないし第３スクリーンのうち少なくとも２つのスクリーンは異なる視聴角度を有してよい。
【００１０】
なお、前記回転インタラクションがユーザの頭部回転インタラクションである場合、前記制御部は、前記ユーザの頭部回転を検知し、前記検知されたユーザの頭部回転の方向に応じて前記第１ないし第３スクリーンを移動するように前記ディスプレイ部を制御してよい。
【００１１】
そして、前記制御部は、前記ユーザインターフェース部を介して前記ユーザの頭部が右方に回転したと検知された場合、前記第１ないし第３スクリーンを左側に移動して前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンが前記ディスプレイを占める割合を増加させ、前記ユーザインターフェース部を介して前記ユーザの頭部が左方に回転したと検知された場合、前記第１ないし第３スクリーンを右側に移動して前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンが前記ディスプレイを占める割合を増加させるように前記ディスプレイ部を制御してよい。
なお、前記制御部は、前記検知されたユーザの頭部回転の角度に応じて前記第１ないし第３スクリーンをリアルタイムで移動してよい。
【００１２】
そして、前記制御部は、前記ユーザの頭部が右側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記左側に移動された前記第３スクリーンをメインスクリーンに設定し、前記ユーザの頭部が左側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記右側に移動された前記第１スクリーンをメインスクリーンに設定してよい。
【００１３】
なお、前記第１ないし第３スクリーンのうち少なくとも１つのスクリーンに対するオーディオを出力するオーディオ出力部を更に含み、前記制御部は、前記検知された回転インタラクションに応じて、第１ないし第３スクリーンのうち少なくとも１つのスクリーンのオーディオ出力を変更するように前記オーディオ出力部を制御してよい。
【００１４】
そして、前記制御部は、前記第１ないし第３スクリーンのうち、前記ディスプレイで最も高い割合を占めるメインスクリーンにディスプレイされるコンテンツのオーディオのみを出力するように前記オーディオ出力部を制御してよい。
【００１５】
なお、前記回転インタラクションがユーザの頭部回転インタラクションである場合、前記オーディオ制御部は、前記ユーザインターフェース部を介して前記ユーザの頭部回転が検知された場合、前記第１ないし第３スクリーンのうち、前記検知されたユーザの頭部回転の方向に応じて前記ディスプレイを占める割合が増加するスクリーンにディスプレイされるコンテンツのオーディオ出力を増加させるように前記オーディオ出力部を制御してよい。
【００１６】
そして、前記制御部は、前記ユーザインターフェース部を介して前記ユーザの頭部が右方に回転したと検知された場合、前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンにディスプレイされるコンテンツのオーディオ出力を増加させ、前記ユーザインターフェース部を介して前記ユーザの頭部が左方に回転したと検知された場合、前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンにディスプレイされるコンテンツのオーディオ出力を増加させるように前記オーディイ出力部を制御してよい。
【００１７】
なお、前記制御部は、前記ディスプレイを占める割合に応じて、前記第１ないし第３スクリーンのうち、前記ディスプレイを占める割合が増加するスクリーンにディスプレイされるコンテンツのオーディオ出力を増加させるように前記オーディオ出力部を制御してよい。
【００１８】
そして、前記制御部は、前記ユーザの頭部が右側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンを新たなメインスクリーンに設定し、前記第３スクリーンにディスプレイされるコンテンツのオーディオのみを出力し、前記ユーザの頭部が左側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンを新たなメインスクリーンに設定し、前記第１スクリーンにディスプレイされるコンテンツのオーディオのみを出力するように前記オーディオ出力部を制御してよい。
【００１９】
なお、前記回転インタラクションがリモコンに備えられたボタンを押した後リモコンを回転するユーザインタラクションである場合、前記制御部は、前記リモコンが回転される方向に対応するスクリーンを前記ディスプレイの中央領域方向に移動するように前記ディスプレイ部を制御してよい。
【００２０】
一方、前記目的を達成するための本発明の一実施形態に係るディスプレイ装置の制御方法は、複数のソースから入力された複数の映像をディスプレイの第１スクリーン、第２スクリーン及び第３スクリーンにそれぞれディスプレイするステップと、ユーザの回転インタラクションを検知するステップと、前記検知された回転インタラクションに応じて前記ディスプレイに前記第１スクリーンないし第３スクリーンの位置を移動するステップとを含む。
【００２１】
そして、前記ディスプレイするステップは、前記第１スクリーンないし第３スクリーンのうちの１つを前記ディスプレイの中央領域に配置し、前記第１ないし第３スクリーンのうち少なくとも２つのスクリーンは異なる視聴角度（ｖｉｅｗｉｎｇ  ａｎｇｌｅ）を有するように前記第１ないし第３スクリーンをディスプレイしてよい。
【００２２】
なお、前記検知するステップは、前記回転インタラクションでユーザの頭部回転インタラクションを検知し、前記移動するステップは、前記検知されたユーザの頭部回転インタラクションの方向に応じて前記第１ないし第３スクリーンを移動してよい。
【００２３】
そして、前記移動するステップは、前記ユーザの頭部が右方に回転したと検知された場合、前記第１ないし第３スクリーンを左側に移動して前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンが前記ディスプレイを占める割合を増加させ、前記ユーザの頭部が左方に回転したと検知された場合、前記第１ないし第３スクリーンを右側に移動して前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンが前記ディスプレイを占める割合を増加させてよい。
なお、前記移動するステップは、前記検知されたユーザの頭部回転の角度に応じて前記第１ないし第３スクリーンをリアルタイムで移動してよい。
【００２４】
そして、前記移動するステップは、前記ユーザの頭部が右側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記左側に移動された前記第３スクリーンをメインスクリーンに設定するステップと、前記ユーザの頭部が左側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記右側に移動された前記第１スクリーンをメインスクリーンに設定するステップとを含んでよい。
【００２５】
なお、前記第１ないし第３スクリーンのうち少なくとも１つのスクリーンに対するオーディオを出力するステップと、前記検知された回転インタラクションに応じて、第１ないし第３スクリーンのうち少なくとも１つのスクリーンのオーディオ出力を変更するステップとを含んでよい。
【００２６】
そして、前記変更するステップは、前記第１ないし第３スクリーンのうち、前記ディスプレイで最も高い割合を占めるメインスクリーンにディスプレイされるコンテンツのオーディオのみを出力してよい。
【００２７】
なお、前記検知するステップは、前記回転インタラクションでユーザの頭部回転インタラクションを検知し、前記変更するステップは、前記第１ないし第３スクリーンのうち、前記検知されたユーザの頭部回転インタラクションの方向に応じて前記ディスプレイを占める割合が増加するスクリーンにディスプレイされるコンテンツのオーディオ出力を増加させてよい。
【００２８】
そして、前記変更するステップは、前記ユーザの頭部が右方に回転したと検知された場合、前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンにディスプレイされるコンテンツのオーディオ出力を増加させ、前記ユーザの頭部が左方に回転したと検知された場合、前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンにディスプレイされるコンテンツのオーディオ出力を増加させてよい。
【００２９】
なお、前記変更するステップは、前記ディスプレイを占める割合に応じて、前記第１ないし第３スクリーンのうち、前記ディスプレイを占める割合が増加するスクリーンにディスプレイされるコンテンツのオーディオ出力を増加させてよい。
【００３０】
そして、前記変更するステップは、前記ユーザの頭部が右側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記第１ないし第３スクリーンのうち右側に位置する第３スクリーンを新たなメインスクリーンに設定し、前記第３スクリーンにディスプレイされるコンテンツのオーディオのみを出力し、前記ユーザの頭部が左側に移動する間、前記ユーザの頭部回転角度が予め設定された値以上で検知された場合、前記第１ないし第３スクリーンのうち左側に位置する第１スクリーンを新たなメインスクリーンに設定し、前記第１スクリーンにディスプレイされるコンテンツのオーディオのみを出力してよい。
【００３１】
なお、前記検知するステップは、前記回転インタラクションでリモコンに備えられたボタンを押した後リモコンを回転するユーザインタラクションを検知し、前記移動するステップは、前記リモコンが回転される方向に対応するスクリーンを前記ディスプレイの中央領域方向に移動してよい。
【発明の効果】
【００３２】
以上説明したように、本発明によれば、ユーザはディスプレイ画面にディスプレイされた複数のスクリーンのうち、自らが視聴を望むコンテンツをより直観的に視聴することができるようになる。なお、ユーザは、限られたサイズのディスプレイ上で複数個のスクリーンを重要度に応じて効率的に構成することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態に係るディスプレイシステムを示す図である。
【図２】本発明の一実施形態に係るディスプレイ装置の構成を概略に示すブロック図である。
【図３】本発明の一実施形態に係るディスプレイ装置の構成を詳細に示すブロック図である。
【図４】本発明の一実施形態に係る保存部の構成を詳細に示すブロック図である。
【図５Ａ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図５Ｂ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図５Ｃ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図５Ｄ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図５Ｅ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図６Ａ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図６Ｂ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図６Ｃ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図６Ｄ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図７】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図８Ａ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図８Ｂ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図９Ａ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図９Ｂ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図９Ｃ】本発明の多様な実施形態に係るユーザのインタラクションに応じて複数のスクリーンを移動する方法を説明するための図である。
【図１０Ａ】本発明の多様な実施形態に係る複数のスクリーンの多様な構成を説明するための図である。
【図１０Ｂ】本発明の多様な実施形態に係る複数のスクリーンの多様な構成を説明するための図である。
【図１１】本発明の多様な実施形態に係る複数のスクリーンの多様な構成を説明するための図である。
【図１２】本発明の多様な実施形態に係る複数のスクリーンを制御する方法を説明するためのフローチャートである。
【図１３】本発明の多様な実施形態に係る複数のスクリーンを制御する方法を説明するためのフローチャートである。
【図１４】本発明の多様な実施形態に係る複数のスクリーンを制御する方法を説明するためのフローチャートである。
【図１５】本発明の多様な実施形態に係る複数のスクリーンを制御する方法を説明するためのフローチャートである。
【図１６】本発明の一実施形態に係るユーザの頭部回転を検知する方法を説明するための図である。
【図１７】本発明の別の実施形態に係るディスプレイ装置の構成を概略に示すブロック図である。
【発明を実施するための形態】
【００３４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００３５】
図１は、本発明の一実施形態に係るディスプレイシステムを説明するための図である。図１によると、本発明の一実施形態に係るディスプレイシステム１０は、ディスプレイ装置１００及び遠隔制御装置５０を含む。
【００３６】
ディスプレイ装置１００は、図１に示すように、デジタルテレビで実現されてよいが、それに限定されるものではなく、パソコン、携帯電話、タブレットパソコン、ＰＭＰ、ＰＤＡ、ナビゲーション等のようにディスプレイ機能を備えた多様な装置で実現されてよい。一方、ディスプレイ装置１００が携帯用機器として実現される場合、タッチスクリーンを内蔵しており、指先やペン（例えば、スタイラスペン）を用いてプログラムを実行させることができるように実現されてよい。ただ、以下においては、説明の便宜上、ディスプレイ装置１００がデジタルテレビで実現される場合を想定して説明する。
【００３７】
ディスプレイ装置１００がデジタルテレビで実現される場合、ディスプレイ装置１００は遠隔制御装置５０によって制御されてよい。この場合、遠隔制御装置５０は、ディスプレイ装置１００を遠隔から制御するための装置として、ユーザ命令を受信して入力されたユーザ命令に対応する制御信号をディスプレイ装置１００に伝送することができる。例えば、遠隔制御装置５０は、遠隔制御装置５０の動きを検知し、動きに対応する信号を伝送したり、音声を認識して認識された音声に対応する信号を伝送したり、入力されたキーに対応する信号を伝送するなど、多様な形態で実現されてよい。
【００３８】
特に、ディスプレイ装置１００は、ユーザ命令に応じて１つのディスプレイ画面に複数のコンテンツを再生するための複数のスクリーンをディスプレイすることができる。そして、ディスプレイ装置１００は、多様なタイプのユーザインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）に応じて、複数のスクリーンを制御することができる。以下においては、ディスプレイ装置１００の具体的な構成を示すブロックを参考に本発明の多様な実施形態について説明する。
図２及び図３は、本発明の一実施形態に係るディスプレイ装置の項絵師を示すブロック図である。
図２によると、ディスプレイ装置１００は、ディスプレイ部１１０と、オーディオ出力部１２０と、ユーザインターフェース部１３０及び制御部１４０を含む。
【００３９】
ディスプレイ部１１０は、制御部１４０の制御により、外部から受信されるか、予め保存された映像データまたはＵＩを出力する。特に、ディスプレイ部１１０は、ユーザの予め設定された命令に応じて、１つのディスプレイ画面に複数のコンテンツを再生するための複数のスクリーンをディスプレイすることができる。このとき、複数のスクリーンは、１つのディスプレイ画面内に予め設定された模様（例えば、長方形、台形等）で重畳されたり分離された形で配置されてよい。特に、複数のスクリーンは、異なる視聴角度になるように配置されてよく、ユーザの視聴角度が変更された場合、変更された視聴角度に応じて複数のスクリーンの位置が移動されてよい。このとき、複数のスクリーンのそれぞれには、２Ｄ映像がディスプレイされてよいが、それは一実施形態に過ぎず、複数のスクリーンのそれぞれに３Ｄ映像がディスプレイされてよい。
【００４０】
本発明の一実施形態によると、ディスプレイ部１１０は、第１スクリーン、第２スクリーン、第３スクリーンをディスプレイすることができる。このとき、第２スクリーンをディスプレイ画面の真ん中の最も高い割合を占めており、第１スクリーンは、第２スクリーンの左側にディスプレイされ、第３スクリーンは、第２スクリーンの右側にディスプレイされてよい。このとき、第１スクリーン及び第３スクリーンは台形であって、第２スクリーンとは異なる視聴角度（ｖｉｅｗｉｎｇ  ａｎｇｌｅ）を有してよい。上述のように、第１スクリーン及び第３スクリーンが、第２スクリーンの左側及び右側に台形を有し、異なる視聴角度を有することで、ユーザは３次元空間上で第１スクリーンないし第３スクリーンを視聴できるような効果を得ることができるようになる。ただ、それは一実施形態に過ぎず、真ん中領域に配置された第２スクリーンの上下方向または対角線方向に複数のスクリーンがディスプレイされてよい。ただ、以下では説明の便宜上、ディスプレイ画面の中央に第２スクリーンがディスプレイされ、第２スクリーンの左側に第１スクリーンが配置され、第３スクリーンの右側に第３スクリーンが配置されているものとして説明する。
【００４１】
特に、第１ないし第３スクリーンのうちの１つは、メインスクリーンに設定されてよい。メインスクリーンは、ユーザが主に視聴するためのコンテンツをディスプレイするためのスクリーンとして、複数のスクリーンのうちディスプレイ画面で最も高い割合を占めているスクリーンである。特に、メインスクリーンのオーディオは、ディスプレイ装置１００で最も高いレベルで出力されてよい。
【００４２】
なお、第１ないし第３スクリーンのうち、メインスクリーンを除く残りのスクリーンはサブスクリーンに設定されてよい。サブスクリーンは、メインスクリーン以外に他のコンテンツをディスプレイするためのスクリーンとして、ディスプレイ画面でメインスクリーンより低い割合を占めている。特に、サブスクリーンは、再生されるコンテンツ画面の一部のみをディスプレイすることができる。なお、サブスクリーンのオーディオは出力されないか、ディスプレイ画面で占める割合に応じて予め設定された値以下のレベルで出力されてよい。
【００４３】
なお、メインスクリーン及びサブスクリーンは、予め設定されたユーザインタラクションに応じて移動されて、位置、大きさ及び形のうち少なくとも１つが変更されてよく、メインスクリーンとサブスクリーンとが相互入れ替わってもよい。それに対する詳細な説明は後述する。
【００４４】
一方、ディスプレイ部１１０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅｓ）等で実現されてよいが、それに限定されるものではない。なお、ディスプレイ部１１０は、場合によって、フレキシブルディスプレイ、透明ディスプレイ等で実現されることも可能である。
【００４５】
オーディオ出力部１２０は、複数のスクリーンのうち、少なくとも１つのオーディオを出力する。特に、オーディオ出力部１２０は、複数のスクリーンのうち、メインスクリーンのオーディオのみを出力することができる。そして、複数のスクリーンがユーザインタラクションに応じて移動する場合、オーディオ出力部１２０は、複数のスクリーンのうち少なくとも１つのスクリーンのオーディオ出力を変更することができる。それに対する詳細な説明は後述する。
【００４６】
ユーザインターフェース部１３０は、多様なユーザインタラクションを検知する。特に、ユーザインターフェース部１３０は、複数のスクリーンを制御するためのユーザインタラクションを検知することができる。具体的に、ユーザインターフェース部は、複数のスクリーンを移動するためのユーザインタラクション、メインスクリーンを変更するためのユーザインタラクション、複数のスクリーンのうちの１つのスクリーンに再生されるコンテンツを選択するためのユーザインタクラクション等、多様なユーザインタラクションを検知することができる。例えば、ユーザインターフェース部１３０は、カメラを介してユーザの頭部回転及び頭部移動のうち少なくとも一方を検知し、検知した信号を後述する制御部１４０に伝送して複数のスクリーンが移動されてディスプレイされるようにすることができる。
【００４７】
ここで、ユーザインターフェース部１３０は、ディスプレイ装置１００の実現例によって多様な形態で実現可能である。ディスプレイ装置１００がデジタルテレビで実現される場合、ユーザインターフェース部１３０は遠隔制御装置５０からリモコン信号を受信するリモコン受信部と、ユーザモーションを検知するカメラと、ユーザ音声を受信するマイク等で実現可能である。なお、ディスプレイ装置１００がタッチ基盤の携帯端末で実現される場合、ユーザインターフェース１３０はタッチパッドと相互レイヤ構造をなすタッチスクリーン形態で実現されてよい。この場合、ユーザインターフェース部１３０は、上述のディスプレイ部１１０で使用できるようになる。
【００４８】
制御部１４０は、ディスプレイ装置１００の動作全般を制御する機能を担う。特に、ユーザインターフェース部１３０を介して予め設定されたユーザインタラクションが検知されると、制御部１４０は予め設定されたユーザインタラクションに応じて第１スクリーンないし第３スクリーンを移動するようにディスプレイ部１１０を制御することができる。なお、制御部１４０は、複数のスクリーンの移動に対応するように第１スクリーンないし第３スクリーンのうち少なくとも１つのスクリーンのオーディオ出力を変更するようにオーディオ出力部１２０を制御することができる。
【００４９】
本発明の一実施形態において、予め設定されたユーザインタラクションがユーザの頭部回転インタラクションである場合、制御部１４０はユーザの頭部回転を検知し、検知したユーザの頭部回転の方向に応じて第１スクリーンないし第３スクリーンを移動するようにディスプレイ部１１０を制御することができる。具体的に、制御部１４０は、ユーザの頭部回転の方向を検知してユーザが視聴しようとするスクリーンを判断し、ユーザが視聴しようとするスクリーンがディスプレイ画面で占める割合を増加させることができる。例えば、ユーザインターフェース部１３０を介してユーザの頭部が右方に回転したと検知された場合、制御部１４０は第１スクリーンないし第３スクリーンを左側に移動して右側に位置する第３スクリーンがディスプレイ画面を占める割合を増加させるようにディスプレイ部１１０を制御することができる。なお、ユーザインターフェース部１３０を介してユーザの頭部が左方に回転したと検知された場合、制御部１４０は第１スクリーンないし第３スクリーンを右側に移動して右側に位置した第１スクリーンがディスプレイ画面を占める割合を増加させるようにディスプレイ部１１０を制御することができる。
【００５０】
なお、制御部１４０は、検知されたユーザの頭部回転の角度に応じて、第１スクリーンないし第３スクリーンの移動量を判断して第１スクリーンないし第３スクリーンをリアルタイムで移動することができる。すなわち、制御部１４０は、リアルタイムでユーザの頭部回転を検知し、頭部回転角度に応じて第１スクリーンないし第３スクリーンをリアルタイムで移動させることができる。それにより、ユーザは自らの眺める方向に応じてスクリーンを移動させることができ、より直観的にスクリーンを選択してコンテンツを視聴することができるようになる。
【００５１】
なお、制御部１４０は、ユーザの頭部回転角度が予め設定された値以上で検知された場合、既存のサブスクリーンを新たなメインスクリーンに設定することができる。具体的に、ユーザの頭部が右側に移動する間にユーザの頭部回転角度が予め設定された値以上で検知された場合、制御部１４０は従来サブスクリーンに設定された第３スクリーンを新たなメインスクリーンに設定することができる。すなわち、ユーザの頭部が右側に移動する間にユーザの頭部回転角度が予め設定された値以上で検知された場合、新たにメインスクリーンに設定された第３スクリーンはディスプレイ画面で最も高い割合を占め、それにより、第３スクリーンのオーディオがディスプレイ装置１００から出力されてよい。なお、ユーザの頭部が左側に移動する間にユーザの頭部回転角度が予め設定された値以上で検知された場合、制御部１４０は従来サブスクリーンに設定された第１スクリーンを新たなメインスクリーンに設定することができる。すなわち、ユーザの頭部が左側に移動する間にユーザの頭部回転角度が予め設定された値以上で検知された場合、新たにメインスクリーンに設定された第１スクリーンはディスプレイ画面で最も高い割合を占め、それにより、第１スクリーンのオーディオがディスプレイ装置１００から出力されてよい。
【００５２】
本発明の別の実施形態において、予め設定されたユーザインタラクションがタッチスクリーンに対するユーザタッチインタラクションの場合、制御部１４０は検知されたタッチインタラクションの方向に応じて、第１スクリーンないし第３スクリーンを移動するようにディスプレイ部１１０を制御することができる。具体的に、制御部１４０は、検知されたタッチインタラクションの方向に応じてユーザが視聴しようとするスクリーンがディスプレイ画面で占める割合を増加させることができる。例えば、タッチスクリーンを介して検知されたタッチインタラクションの方向が右方の場合、制御部１４０は第１スクリーンないし第３スクリーンを左側に移動して右側に位置する第３スクリーンがディスプレイ画面を占める割合を増加させるようにディスプレイ部１１０を制御することができる。なお、タッチスクリーンを介して検知されたタッチインタラクションの方向が左方の場合、制御部１４０は第１スクリーンないし第３スクリーンを右側に移動して右側に位置した第１スクリーンがディスプレイ画面を占める割合を増加させるようにディスプレイ部１１０を制御することができる。
【００５３】
すなわち、上述のように、方向性を有するユーザインタラクションであるユーザの頭部回転インタラクションまたはタッチインタラクションを検知し、複数のスクリーンを移動させることで、ユーザはより直観的に複数のスクリーンのうち、自らが視聴しようとするスクリーンを選択してコンテンツを視聴することができるようになる。
【００５４】
一方、上述のように、方向性を有するユーザインタラクションがユーザの頭部回転インタラクションであるものとして説明したが、それは一実施形態に過ぎず、異なる方向性を有するユーザインタラクションを用いて複数のスクリーンを移動させることができる。例えば、ユーザの瞳の動きを検知するユーザ瞳動作インタラクション、ユーザの身体の部位（例えば、手）の動きを検知するユーザモーションインタラクション、ポインティングデバイスの動きを検知するポインティングデバイスインタラクション等を用いてユーザのインタラクション方向に応じて第１ないし第３スクリーンを移動させることができる。
【００５５】
本発明の更に別の実施形態において、予め設定されたユーザインタラクションが遠隔制御装置５０の具備された第１ないし第３スクリーンにそれぞれ対応する第１ないし第３ボタンのうちの１つを選択するユーザインタラクションの場合、遠隔制御装置５０に具備された第１ないし第３ボタンのうちの１つが選択されると、制御部１４０は選択されたボタンに対応するスクリーンをディスプレイ画面の中央領域方向に移動して新たなメインスクリーンに設定することができる。具体的に、遠隔制御装置５０に具備された第１ボタンが選択された場合、制御部１４０は第１ボタンに対応する第１スクリーンを中央領域方向に移動して新たなメインスクリーンに設定することができる。なお、遠隔制御装置５０に具備された第３ボタンが選択された場合、制御部１４０は第３ボタンに対応する第３スクリーンを中央領域方向に移動して新たなメインスクリーンに設定することができる。
【００５６】
すなわち、上述のように、複数のスクリーンのうちの１つを直接選択するユーザインタラクションを検知して複数のスクリーンを移動させることで、ユーザは更に直観的に複数のスクリーンのうち、自らが視聴しようとするスクリーンを選択してコンテンツを視聴することができるようになる。
【００５７】
一方、上述のように、複数のスクリーンのうちの１つをユーザが直接選択するインタラクションが遠隔制御装置を用いたインタラクションであるものとして説明したが、それは一実施形態に過ぎず、異なるユーザインタラクションを用いて複数のスクリーンのうちの１つを即座に選択して複数のスクリーンを移動させることができる。例えば、ユーザ音声を用いて複数のスクリーンのうちの１つを直接選択するユーザ音声インタラクション、ポインタを用いて複数のスクリーンのうちの１つを直接選択するポインタインタラクション等を用いて複数のスクリーンを移動させることができる。
【００５８】
一方、ディスプレイ画面の中央領域にメインスクリーンとして第２スクリーンがディスプレイされ、第２スクリーンの左側及び右側に第１スクリーン及び第３スクリーンがディスプレイされた場合、制御部１４０は第２スクリーンにディスプレイされるコンテンツに対応するオーディオのみを出力するようにオーディオ出力部１２０を制御することができる。なお、予め設定されたユーザインタラクションに応じて複数のスクリーンが移動される場合、制御部１４０はディスプレイ画面でスクリーンの占める割合に応じてオーディオの出力レベルを制御することができる。
【００５９】
本発明の一実施形態において、ユーザインターフェース部１３０を介してユーザの頭部回転が検知された場合、制御部１４０は、メインスクリーンにディスプレイされるコンテンツのオーディオ出力を減少させ、検知されたユーザの頭部回転の方向に応じてディスプレイ画面で占める割合が増加するサブスクリーンにディスプレイされるコンテンツのオーディオ出力を増加させるようにオーディオ出力部１２０を制御することができる。例えば、ユーザの頭部が左方に回転したと検知された場合、制御部１４０は、第２スクリーンにディスプレイされるコンテンツのオーディオ出力を減少させ、ディスプレイ画面で占める割合が増加する第３スクリーンにディスプレイされるコンテンツのオーディオ出力を増加させることができる。なお、ユーザの頭部が左方に回転したと検知された場合、制御部１４０はメインスクリーンにディスプレイされるコンテンツのオーディオ出力を減少させ、ディスプレイ画面で占める割合が増加する第１スクリーンにディスプレイされるコンテンツのオーディオ出力を増加させるようにオーディオ出力部を制御することができる。
【００６０】
なお、制御部１４０は、ユーザインタラクションに応じて複数のサブスクリーンのうちの１つが新たなメインスクリーンに設定された場合、新たにメインスクリーンに設定されたサブスクリーンで再生されるコンテンツのオーディオのみを出力することができる。例えば、ユーザの頭部が右側に移動する間にユーザの頭部回転角度が予め設定された値以上で検知された場合、制御部１４０は第３スクリーンは新たなメインスクリーンに設定し、第３スクリーンにディスプレイされるコンテンツのオーディオのみを出力することができる。なお、ユーザの頭部が左側に移動する間にユーザの頭部回転角度が予め設定された値以上で検知された場合、制御部１４０は右側に移動された第１スクリーンを新たなメインスクリーンに設定し、第１スクリーンにディスプレイされるコンテンツのオーディオのみを出力することができる。
【００６１】
特に、複数のサブスクリーンのうちの１つが新たなメインスクリーンに設定された場合、制御部１４０は既存のメインスクリーンにディスプレイされるコンテンツのオーディオを消去し、新たにメインスクリーンに設定されたサブスクリーンで再生されるコンテンツのオーディオのみを出力することができる。
【００６２】
図３は、本発明の別の実施形態に係るディスプレイ装置の構成を詳細に示すブロック図である。図３に示すように、本発明の一実施形態に係るディスプレイ装置１００は、映像受信部２１０と、通信部２２０と、ディスプレイ部２３０と、オーディオ出力部２４０と、保存部２５０と、オーディオ処理部１６０と、ビデオ処理部２７０と、ユーザインターフェース部２８０及び制御部２９０を含む。
【００６３】
映像受信部２１０は、多様なソースを通じて映像データを受信する。例えば、映像受信部２１０は、外部の放送局から放送データを受信することができ、外部装置（例えば、ＤＶＤ、ＢＤプレーヤ等）から映像データを受信することができ、保存部２５０に保存された映像データを受信することができる。特に、映像受信部２１０は、１つのディスプレイ画面に複数のスクリーンをディスプレイするために、複数の映像受信モジュールを具備することができる。例えば、映像受信部２１０は、複数の放送チャネルを同時にディスプレイするために複数のチューナを具備することができる。
【００６４】
通信部２２０は、多様な通信方式によって多様な外部機器または外部サーバと通信を行う構成である。通信部２２０は、Ｗｉ−Ｆｉチップ、ブルートゥースチップ、ＮＦＣチップ、無線通信チップ等のような多様な通信チップを含むことができる。このとき、Ｗｉ−Ｆｉチップ、ブルートゥースチップ、ＮＦＣチップは、それぞれＷｉ−Ｆｉ方式、ブルートゥース方式、ＮＦＣ方式で通信を行う。この中でＮＦＣチップは１３５ｋＨｚ、１３．５６ＭＨｚ、４３３ＭＨｚ、８６０〜９６０ＭＨｚ、２．４５ＧＨｚ等のような多様なＲＦ−ＩＤ周波数帯域のうち、１３．５６ＭＨｚ帯域を使用するＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）方式で動作するチップを意味する。Ｗｉ−Ｆｉチップやブルートゥースチップを用いる場合には、ＳＳＩＤ及びセッションキー等のような各種接続情報を先に送受信し、それを用いて通信接続した後各種情報を送受信することができる。無線通信チップは、ＩＥＥＥ、Ｚｉｇｂｅｅ（登録商標）、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）等のような多様な通信規格によって通信を行うチップを意味する。
【００６５】
ディスプレイ部２３０は、映像受信部２１０が受信した映像データをビデオ処理部２７０で処理したビデオフレーム及びグラフィック処理部２９３から生成された多様な画面の中で少なくとも１つをディスプレイする。特に、ディスプレイ部２３０は、ユーザの予め設定された命令に従って１つのディスプレイ画面に複数のコンテンツを再生するための複数のスクリーンをディスプレイすることができる。例えば、ディスプレイ部２３０は、ディスプレイ画面の中央領域にメインスクリーンとして第１スクリーンをディスプレイし、第１スクリーンの左側及び右側に台形の第１スクリーン及び第３スクリーンをディスプレイすることができる。複数のスクリーンについては図を参照して詳細に後述する。
【００６６】
オーディオ出力部２４０は、オーディオ処理部２６０で処理された各種オーディオデータだけでなく各種報知音や音声メッセージを出力する構成である。特に、オーディオ出力部２４０はスピーカで実現されてよいが、それは一実施形態に過ぎず、オーディオ出力端子のような他のオーディオ出力部で実現されてよい。
保存部２５０は、ディスプレイ装置２００を駆動するための多様なモジュールを保存する。特に、保存部２５０の構成については、図４を参照して説明する。
図４は、保存部２５０に保存されたソフトウェア構成を説明するための図である。
【００６７】
図４によると、保存部２５０には、ベースモジュール２５１、センシングモジュール２５２、通信モジュール２５３、プレゼンテーションモジュール２５４、ウェブブラウザモジュール２５５、サービスモジュール２５６を含むソフトウェアが保存されてよい。
【００６８】
ベースモジュール２５１とは、ディスプレイ装置１００に含まれた各ハードウェアから伝達される信号を処理して上位レイヤモジュールに伝達する基礎モジュールを意味する。ベースモジュール２５１は、ストレージモジュール２５１−１、セキュリティモジュール２５１−２及びネットワークモジュール２５１−３等を含む。ストレージモジュール２５１−１とは、データベース（ＤＢ）やレジストリを管理するプログラムモジュールである。メインＣＰＵ２９４は、ストレージモジュール２５１−１を用いて保存部２５０内のデータベースにアクセスし、各種データを読み取ることができる。セキュリティモジュール２５１−２とは、ハードウェアに対する認証（Ｃｅｒｔｉｆｉｃａｔｉｏｎ）、要請許容（Ｐｅｒｍｉｓｓｉｏｎ）、セキュリティ保存（Ｓｅｃｕｒｅ  Ｓｔｏｒａｇｅ）等をサポートするプログラムモジュールであり、ネットワークモジュール２５１−３とは、ネットワーク接続をサポートするためのモジュールとしてＤＮＥＴモジュール、ＵＰｎＰモジュール等を含む。
【００６９】
センシングモジュール２５２は、各種センサから情報を収集し、収集された情報を分析及び管理するモジュールである。センシングモジュール２５２は、ヘッド方向認識モジュール、顔認識モジュール、音声認識モジュール、モーション認識モジュール、ＮＦＣ認識モジュール等を含んでよい。
【００７０】
通信モジュール２５３は、外部と通信を行うためのモジュールである。通信モジュール２５３は、メッセンジャプログラム、ＳＭＳ（Ｓｈｏｒｔ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ）＆ＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ）プログラム、Ｅ−Ｍａｉｌプログラム等のようなメッセージングモジュール２５３−１、電話情報収集器（Ｃａｌｌ  Ｉｎｆｏ  Ａｇｇｒｅｇａｔｏｒ）プルグラムモジュール、ＶｏＩＰモジュール等を含む電話モジュール２５３−２を含んでよい。
【００７１】
プレゼンテーションモジュール２５４は、ディスプレイ画面を構成するためのモジュールである。プレゼンテーションモジュール２５４は、マルチメディアコンテンツを再生して出力するためのマルチメディアモジュール２５４−１、ＵＩ及びグラフィック処理を行うためのＵＩレンダリングモジュール２５４−２を含む。マルチメディアモジュール２５４−１は、プレーヤモジュール、カムコーダモジュール、サウンド処理モジュール等を含んでよい。それにより、各種マルチメディアコンテンツを再生して画面及び音響を生成して再生する動作を行う。ＵＩレンダリングモジュール２５４−２は、イメージを組み合わせるイメージ合成器（Ｉｍａｇｅ  Ｃｏｍｐｏｓｉｔｏｒ  ｍｏｄｕｌｅ）、イメージをディスプレイする画面上の座標を組み合わせて生成する座標組み合わせモジュール、ハードウェアから各種イベントを受信するＸ１１モジュール、２Ｄまたは３ＤのＵＩを構成するためのツール（ｔｏｏｌ）を提供する２Ｄ／３ＤＵＩツールキット等を含んでよい。
【００７２】
ウェブブラウザモジュール２５５は、ウェブブラウジングを行ってウェブサーバにアクセスするモジュールを意味する。ウェブブラウザモジュール２５５は、ウェブページを構成するウェブビュー（ｗｅｂ  ｖｉｅｗ）モジュール、ダウンロードを行うダウンロードエージェントモジュール、ブックマークモジュール、ウェブキット（Ｗｅｂｋｉｔ）モジュール等のような多様なモジュールを含むことができる。
【００７３】
サービスモジュール２５６は、多様なサービスを提供するための各種アプリケーションを含むモジュールである。具体的には、サービスモジュール２５６は、ＳＮＳプログラム、コンテンツ再生プログラム、ゲームプログラム、電子書籍プログラム、カレンダプログラム、アラーム管理プログラム、その他のウィジェット等のような多様なプログラムモジュールを含んでよい。
【００７４】
図４においては、多様なプログラムモジュールを示しているが、図示の各種プログラムモジュールはディスプレイ装置２００の種類及び特性に応じて一部が省略されたり変更または追加されてよい。仮に、ＧＰＳチップのようなハードウェアと連動して位置基盤サービスをサポートする位置基盤モジュールを更に含む形態で実現されてよい。
【００７５】
再び図３に戻り説明すると、オーディオ処理部２６０はオーディオデータに対する処理を行う構成要素である。オーディオ処理部２６０では、オーディオデータに対するデコードや増幅、ノイズフィルタリング等のような多様な処理が行われてよい。一方、オーディオ処理部２６０は、複数のコンテンツに対応するオーディオを処理するために複数のオーディオ処理モジュールが具備することができる。
【００７６】
ビデオ処理部２７０は、映像受信部２１０で受信した映像データに対する処理を行う構成要素である。ビデオ処理部２７０では、映像データに対するデコード、スケーリング、ノイズフィルタリング、フレームレート変換、解像度変換等のような多様なイメージ処理を行うことができる。一方、ビデオ処理部２７０は、複数のコンテンツに対応するビデオを処理するために複数のビデオ処理モジュールが具備されてよい。
【００７７】
ユーザインターフェース部２８０は、ディスプレイ装置２００の動作全般を制御するためのユーザインタラクションを検知するための構成である。特に、ユーザインターフェース部２８０は、複数のスクリーンを制御するためのユーザインタラクションを検知することができる。具体的に、ユーザインターフェース部２８０は、複数のスクリーンを移動するためのユーザインタラクション、メインスクリーンを変更するためのユーザインタラクション、複数のスクリーンのうちの１つのスクリーンに再生されるコンテンツを選択するためのユーザインタラクション等多様なユーザインタラクションを検知することができる。
【００７８】
なお、ユーザインターフェース部２８０は、図３に示すように、カメラ２８１、マイク２８２、リモコン信号受信部２８３等のような多様なインタラクション検知装置を含むことができる。
【００７９】
カメラ２８１は、ユーザの制御に従って静止映像または動画を撮像するための構成である。特に、カメラ２８１は、ディスプレイ装置２００を制御するための各種ユーザモーションを撮像することができる。
【００８０】
マイク２８２は、ユーザ音声やその他の音を受信してオーディオデータに変換するための構成である。制御部２９０は、マイク２８２を介して入力されるユーザ音声を通話（ｃａｌｌ）過程で利用したり、オーディオデータに変換して保存部２５０に保存することができる。
【００８１】
カメラ２８１及びマイク２８２が設けられた場合、制御部２９０はマイク２８２を介して入力されるユーザ音声やカメラ２８１によって認識されるユーザモーションに応じて制御動作を行うこともできる。すなわち、ディスプレイ装置２００は、モーション制御モードや音声制御モードで動作することができる。モーション制御モードで動作する場合、制御部２９０はカメラ２８１を活性化させてユーザを撮像し、ユーザのモーション変化を追跡してそれに対応する制御動作を行う。音声制御モードで動作する場合、制御部２９０はマイクを介して入力されたユーザ音声を分析し、分析されたユーザ音声に応じて制御動作を行う音声認識モードで動作することもできる。
なお、リモコン信号受信部２８３は、外部の遠隔制御装置５０であるリモコンから制御命令が含まれたリモコン信号を受信することができる。
制御部２９０は、保存部２５０に保存された各種プログラムを用いてディスプレイ装置２００の動作全般を制御する。
【００８２】
制御部２９０は、図２に示すように、ＲＡＭ２９１、ＲＯＭ２９２、グラフィック処理部２９３、メインＣＰＵ２９４、第１ないし第ｎインターフェース２９５−１〜２９５−ｎ、バス２９６を含む。このとき、ＲＡＭ２９１、ＲＯＭ２９２、グラフィック処理部２９３、メインＣＰＵ２９４、第１ないし第ｎインターフェース２９５−１〜２９５−ｎ等はバス２９６を介して相互接続されてよい。
【００８３】
ＲＯＭ２９２は、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源が供給されると、メインＣＰＵ２９４は、ＲＯＭ２９２に保存された命令語に応じて保存部２５０に保存されたＯ／ＳをＲＡＭ２９１にコピーし、Ｏ／Ｓを実行させてシステムをブートさせる。ブートが完了すると、メインＣＰＵ２９４は保存部２５０に保存された各種アプリケーションプログラムをＲＡＭ２９１にコピーし、ＲＡＭ２９１にコピーされたアプリケーションプログラムを実行させて各種動作を行う。
【００８４】
グラフィック処理部２９３は、演算部（図示せず）及びレンダリング部（図示せず）を用いてアイコン、イメージ、テキスト等のような多様な客体を含む画面を生成する。演算部は、入力部２８０から受信された制御命令を用いて画面のレイアウトに応じて各客体が表示される座標値、形、大きさ、カラー等のような属性値を演算する。レンダリング部は、演算部で演算した属性値に基づいて客体を含む多様なレイアウトの画面を生成する。レンダリング部で生成された画面はディスプレイ部２３０のディスプレイ領域内に表示される。
【００８５】
メインＣＰＵ２９４は、保存部２５０にアクセスし、保存部２５０に保存されたＯ／Ｓを用いてブートを行う。そして、メインＣＰＵ２９４は、保存部２５０に保存された各種プログラム、コンテンツ、データ等を用いて多様な動作を行う。
【００８６】
第１ないし第ｎインターフェース２９５−１ないし２９５−ｎは、上述の各種構成要素と接続される。インターフェースのうちの１つは、ネットワークを通じて外部装置と接続されるネットワークインターフェースであってよい。
【００８７】
特に、制御部２９０は、ユーザの予め設定された命令が入力されると、ディスプレイ画面に複数のスクリーンをディスプレイするようにディスプレイ部２３０を制御することができる。具体的に、制御部２９０は、映像受信部２１０から受信された複数のコンテンツを複数のスクリーンにそれぞれディスプレイするようにディスプレイ部２３０を制御することができる。例えば、制御部２９０は、図５Ａに示すように、第１チューナを介して受信された第１映像コンテンツを第１スクリーン５１０にディスプレイすることができ、第２チューナを介して受信された第２映像コンテンツを第２スクリーン５２０にディスプレイすることができ、ＤＶＤ入力端子を介して受信された第３映像コンテンツを第３スクリーン５３０にディスプレイすることができる。しかし、映像コンテンツを複数のスクリーンにディスプレイすることは一実施形態に過ぎず、多様な映像ソースを介して入力された映像を複数のスクリーンにディスプレイすることができる。例えば、ディスプレイ装置２００を介してテレビ会議を行う場合、制御部２９０は第１スクリーン５１０に会議資料をディスプレイすることができ、第２スクリーン５２０及び第３スクリーン５３０に映像会議の出席者の映像をディスプレイすることができる。なお、制御部２９０は、第２スクリーン５２０にチューナを通じて受信された映像コンテンツをディスプレイし、第１スクリーン５１０には映像コンテンツの詳細情報をディスプレイし、第３スクリーン５３０には映像コンテンツに関連するショッピング情報をディスプレイするようにディスプレイ部２３０を制御することができる。
【００８８】
なお、制御部２９０は、図５Ａに示すように、ディスプレイ画面の中央領域にメインスクリーンとして第２スクリーン５２０をディスプレイし、第２スクリーン５２０の左側及び右側にそれぞれ第１スクリーン５１０及び第３スクリーン５３０をディスプレイするようにディスプレイ部２３０を制御することができる。具体的に、制御部２９０は、ディスプレイ部２３０で最も高い割合を占めているスクリーンである第２スクリーン５２０をメインスクリーンとして設定し、メインスクリーンのオーディオをオーディオ出力部２４０を介して出力することができる。そして、制御部２９０は、ディスプレイ部２３０で第２スクリーン５２０の左側及び右側にユーザが探索しようとするコンテンツを再生している第１スクリーン５１０及び第３スクリーン５３０をディスプレイするようにディスプレイ部２３０を制御することができる。このとき、第１スクリーン５１０及び第３スクリーン５３０のオーディオは出力されないか、予め設定された値以下の出力レベルを有してよい。
【００８９】
なお、制御部２９０は、図５Ａに示すように、第２スクリーン５２０の左側及び右側に台形で第１スクリーン５１０及び第３スクリーン５３０をディスプレイするようにディスプレイ部２３０を制御することができる。このとき、台形でディスプレイされた第１スクリーン５１０及び第２スクリーン５３０は、第２スクリーンと異なる視聴角度を有して３次元空間に立体的に配置されたようにディスプレイされてよい。それにより、ユーザは３次元空間上に複数のスクリーンを制御できるのと同様の効果を奏することができるようになる。
【００９０】
なお、制御部２９０は、図５Ａに示すように、第１スクリーン５１０及び第３スクリーン５３０全体をディスプレイせずに、一部の画面のみをディスプレイするようにディスプレイ部２３０を制御することができる。
【００９１】
なお、制御部２９０は、ユーザインターフェース部２９０を介して検知されたユーザインタラクションに応じて第１スクリーンないし第３スクリーン５１０、５２０、５３０を移動するようにディスプレイ部２３０を制御することができる。
【００９２】
このとき、ユーザインターフェース部２８０を介してユーザインタラクションは方向性を有するユーザインタラクション及び複数のスクリーンのうちの１つを直接選択するユーザインタラクションを含むことができる。
【００９３】
以下では、方向性を有するユーザインタラクションとして、ユーザ頭部回転インタラクションが検知された場合、複数のスクリーンを移動する実施形態について説明する。
【００９４】
制御部２９０は、ディスプレイ部２３０に図５Ａに示すように、メインスクリーンに設定された第２スクリーン５２０及び複数のサブスクリーンに設定された第１、第３スクリーン５１０、５３０がディスプレイされる間に撮影部２８１を介してユーザの頭部が回転したか否かを検知することができる。
【００９５】
ユーザ頭部回転を検知する方法は、図１６を参照して説明する。具体的に、撮影部２８１がユーザの含まれた領域を撮影する間、制御部２９０は撮影部２８１によって撮影された映像の中からユーザの顔を検出することができる。そして、制御部２９０は、ユーザの顔の中から、図１６の（ａ）に示すように、複数個の特徴点（ｆ１ないしｆ６）を検出する。そして、制御部２９０は、検出された特徴点（ｆ１ないしｆ６）を用いて図１６の（ｃ）に示すように、仮想の図形１６１０を生成する。そして、制御部２９０は、図１６の（ｃ）に示すように、仮想の図形１６１０の変化有無を判断してユーザの顔の回転有無を判断することができる。特に、制御部２９０は、図１６の（ｃ）に示すように、仮想の図形２４１０の模様及び大きさの変化有無に応じてユーザの頭部回転方向及び角度を判断することができる。一方、図１６を参照して説明したようなユーザ頭部回転検知方法は一実施形態に過ぎず、他の方法を用いてユーザ頭部回転を検知することができる。例えば、Ｔ認識方法を用いてユーザ頭部回転を検知することができる。
【００９６】
ユーザの頭部回転が検知された場合、制御部２９０は検知されたユーザの頭部回転の方向に応じて第１スクリーンないし第３スクリーン５１０、５２０、５３０を移動するようにディスプレイ部２３０を制御することができる。具体的に、図５Ａに示すように、ディスプレイ部２３０に複数のスクリーン５１０、５２０、５３０がディスプレイされる間にユーザインターフェース部２８０のカメラ２８１を介してユーザの頭部が右方に検知された場合、制御部２９０は第１スクリーンないし第３スクリーン５１０、５２０、５３０を左側に移動するようにディスプレイ部２３０を制御することができる。このとき、制御部２９０は、図５Ｂに示すように、最も右に位置する第３スクリーン５３０がディスプレイ画面を占める割合を増加させるようにディスプレイ部２３０を制御することができる。
【００９７】
ユーザインターフェース部を介してユーザの頭部が左方に回転したと検知された場合、制御部２９０は第１スクリーンないし第３スクリーン５１０、５２０、５３０を右側に移動して第１スクリーン５１０がディスプレイ画面を占める割合を増加させるようにディスプレイ部２３０を制御することができる。
【００９８】
なお、制御部は、検知されたユーザの頭部回転の角度に応じて第１スクリーンないし第３スクリーン５１０、５２０、５３０の移動量を判断して第１スクリーンないし第３スクリーン５１０、５２０、５３０をリアルタイムで移動することができる。
【００９９】
具体的に、図５Ａに示すように、第１スクリーンないし第３スクリーン５１０、５２０、５３０がディスプレイされる間、ユーザインターフェース部２８０を介してユーザの頭部が右方に第１角度分回転したと検知された場合、制御部２９０は第１スクリーン５１０がディスプレイ画面で占める割合を減少させ、第３スクリーン５３０がディスプレイ画面で占める割合を増加させるように第１スクリーンないし第３スクリーン５１０、５２０、５３０を左側に移動させることができる。なお、ユーザインターフェース部２８０を介してユーザ頭部が右方に第１角度より大きい第２角度分回転したと検知された場合、制御部２９０は図５Ｂに示すように、第１スクリーン５１０をディスプレイ画面から除去し、第３スクリーン５３０がディスプレイ画面で占める割合が更に増加するように第１スクリーンないし第３スクリーン５１０、５２０、５３０を左側に移動させることができる。なお、ユーザインターフェース部２８０を介してユーザ頭部が右方に第２角度より大きい第３角度分回転したと検知された場合、制御部２９０は図５Ｃに示すように、図５Ｂに示すものより第３スクリーン５３０がディスプレイ画面で占める割合が更に増加するように第２スクリーン及び第３スクリーン５２０、５３０を左側に移動させることができる。
【０１００】
なお、図５Ｃに示すように、ディスプレイ画面に第２スクリーン５２０及び第３スクリーンがディスプレイされた状態でユーザの頭部が再び左方に第４角度分回転したと検知された場合、制御部２９０は、図５Ｄに示すように、第３スクリーン５３０がディスプレイ画面で占める割合が減少されるようにメインスクリーン５２０及び第３スクリーン５３０を左側に移動させることができる。そして、図５Ｄのように、ディスプレイ画面に第２スクリーン５２０及び第３スクリーン５３０がディスプレイされた状態でユーザの頭部が再び左方に第５角度分回転されて正面を凝視するものと検知された場合、制御部２９０は図５Ｅに示すように、第１スクリーン５１０を再びディスプレイ画面にディスプレイさせ、第３スクリーン５３０がディスプレイ画面で占める割合が減少するように第１スクリーンないし第３スクリーン５１０、５２０、５３０を左側に移動させることができる。
【０１０１】
すなわち、図５Ａないし図５Ｅを参考に説明したように、制御部２９０はユーザ頭部の回転方向及び角度に応じてリアルタイムで第１スクリーンないし第３スクリーン５１０、５２０、５３０を移動させることができる。それにより、ユーザの頭部動作に応じて複数のスクリーンを移動させてユーザはより直観的に自分の望むコンテンツを視聴することができるようになる。
【０１０２】
なお、制御部２９０は、図５Ａに示すように、第１スクリーンないし第３スクリーン５１０、５２０、５３０がディスプレイされる場合、メインスクリーンに設定された第２スクリーン５２０のオーディオのみを出力するようにオーディオ出力部２４０を制御することができる。しかし、それは一実施形態に過ぎず、サブスクリーンに設定された第１スクリーン及び第３スクリーン５１０、５３０のオーディオを予め設定された値以下の出力レベルで出力することができる。なお、制御部２９０は、スピーカを通じてメインスクリーンに設定された第２スクリーン５２０のオーディオを出力し、複数のサブスクリーン５１０、５３０のオーディオは外部機器（例えば、イヤホンや携帯電話等）によって出力されるように外部機器に伝送することができる。なお、制御部２９０は、ユーザの設定によってオーディオ出力を選択することができる。例えば、ユーザがユーザインターフェース部２８０を介して第１スクリーン５１０のオーディオを出力すると入力した場合、制御部２９０はメインスクリーン設定有無によらず第１スクリーン５１０のオーディオを出力するようにオーディオ出力部２４０を制御することができる。
【０１０３】
本発明の一実施形態において、制御部２９０は複数のスクリーン５１０、５２０、５３０のうち、ディスプレイ画面で予め設定された第１割合以上を占めるスクリーンのオーディオを出力するようにオーディオ出力部２４０を制御することができる。例えば、制御部２９０はディスプレイ画面で２０％以上を占めるスクリーンのオーディオを出力するようにオーディオ出力部２４０を制御することができる。
【０１０４】
本発明の一実施形態において、制御部２９０は複数のスクリーン５１０、５２０、５３０のうち、ディスプレイ画面で予め設定された第２割合以上を占めるスクリーンのオーディオのみを出力するようにオーディオ出力部２４０を制御することができる。例えば、制御部２９０は、ディスプレイ画面で７０％以上を占めるスクリーンが存在する場合、７０％以上を占めるスクリーンのオーディオのみを出力するようにオーディオ出力部２４０を制御することができる。
【０１０５】
本発明の一実施形態において、制御部２９０は第１スクリーンないし第３スクリーン５１０、５２０、５３０がディスプレイ画面で占める割合に応じて、複数のスクリーン５１０、５２０、５３０のオーディオを合成して出力するようにオーディオ出力部２４０を制御することができる。例えば、第２スクリーン５２０がディスプレイ画面で占める割合が６０％であり、第１スクリーン５１０がディスプレイ画面で２０％の割合を占める場合、制御部２９０は第２スクリーン５２０のオーディオの出力レベルを第１スクリーン５１０のオーディオの出力レベルより３倍大きく設定してオーディオを合成して出力することができる。
【０１０６】
なお、制御部２９０は、ユーザのインタラクションによって複数のサブスクリーン６２０、６３０のうちの１つを新たなメインスクリーンに変更してディスプレイすることができる。具体的に、制御部２９０は、ユーザの頭部回転角度が予め設定された値以上で検知された場合、ユーザ頭部方向に応じてディスプレイ画面で占める割合が増加するサブスクリーンを新たなメインスクリーンに設定することができる。例えば、ユーザの頭部が右側に移動する間、ユーザの頭部回転角度が予め設定された値以上で検知された場合、制御部２９０は左側に位置する第３スクリーン６３０を新たなメインスクリーンに設定することができる。なお、ユーザの頭部が左側に移動する間、ユーザの頭部回転角度が予め設定された値以上で検知された場合、制御部２９０は右側に位置した第１スクリーン６１０を新たなメインスクリーンに設定することができる。
【０１０７】
より具体的に、図６Ａに示すように、第１スクリーンないし第３スクリーン６１０、６２０、６３０がディスプレイされた状態でユーザの頭部が左方に第６角度分回転したと検知された場合、制御部２９０は、図６Ｂに示すように、第３スクリーン６３０がディスプレイ画面で占める割合を減少させ、第１スクリーン６１０がディスプレイ画面で占める割合を増加させるように第１スクリーンないし第３スクリーン６１０、６２０、６３０を右側に移動させることができる。なお、ユーザインターフェース部２８０を介してユーザの頭部が右方に第６角度より大きい第７角度分回転したと検知された場合、制御部２９０は、図６Ｃに示すように、第３スクリーン６３０をディスプレイ画面から除去し、第１スクリーン６１０がディスプレイ画面で占める割合が更に増加するように第１スクリーンないし第３スクリーン６１０、６２０、６３０を右側に移動させることができる。ユーザの頭部が左方に回転している途中で予め設定された値以上の第８角度分回転したと検知された場合、制御部２９０は、図６Ｄに示すように、第１スクリーン６１０がディスプレイ画面で占める割合が第２スクリーン６２０がディスプレイ画面で占める割合より大きくなるように、第１スクリーン及び第２スクリーン６１０、６２０を右側に移動させることができる。このとき、制御部１２９０は、スクリーン６１０を新たなメインスクリーンに設定することができる。
【０１０８】
すなわち、第１スクリーン６１０が既存のメインスクリーンである第２スクリーン６２０よりディスプレイ画面で占める割合が増加する場合、制御部２９０は、第１スクリーン６１０を新たなメインスクリーンに設定することができる。第１スクリーン６１０が新たなメインスクリーンに設定された場合、制御部２９０は第１スクリーン６１０のオーディオのみを出力するようにオーディオ出力部２４０を制御することができる。
【０１０９】
メインスクリーンが変更される場合、制御部２９０は多様な方法で出力されるオーディオを変更することができる。例えば、制御部２９０は、サブスクリーンが新たなメインスクリーンに変更される間、Ｆａｄｅ  ｉｎ／ｏｕｔ効果を用いてオーディオを変更することができる。具体的に、制御部２９０は、新たなメインスクリーンに変更されるサブスクリーンのオーディオを次第に増加させ、既存のメインスクリーンのオーディオを次第に減少させ、出力されるオーディオを変更させることができる。
【０１１０】
一方、上述の実施形態においては、予め設定された値以上の角度でユーザ頭部が回転された場合、ユーザ頭部の回転方向によるサブスクリーンが新たなメインスクリーンに変更されるものとして説明したが、それは一実施形態に過ぎず、別の方法を用いてサブスクリーンを新たなメインスクリーンに変更することができる。例えば、ユーザが特定方向に頭部回転を行った後、予め設定されたユーザインタラクションが入力されると、ユーザが回転した頭部方向に応じたサブスクリーンを新たなメインスクリーンに変更することができる。具体的に、図６Ａに示すように、第１スクリーンないし第３スクリーン６１０、６２０、６３０がディスプレイされた状態でユーザの頭部が左方に回転したと検知された後、予め設定されたユーザインタラクション（例えば、リモコンの特定ボタン、瞬き、首の傾げ等）が入力されると、制御部２９０はディスプレイ画面を図６Ｂに示すように、第１スクリーン６１０が占める割合が最も大きくなるように第１スクリーンないし第３スクリーン６１０、６２０、６３０を右側に移動させることができる。そして、制御部２９０は、第１スクリーン６１０を新たなメインスクリーンに設定して第１スクリーン６１０のオーディオを出力するようにオーディオ出力部２４０を制御することができる。
【０１１１】
なお、ユーザインターフェース部２８０を介して予め設定されたユーザ命令が入力されると、制御部２９０はメインスクリーンを全画面に拡大してディスプレイすることができる。例えば、図６Ｄに示すように、第１スクリーン６１０が新たなメインスクリーンとしてディスプレイされる間、予め設定されたユーザ命令（例えば、リモコンの画面切り替えボタンが選択される命令等）が入力されると、制御部２９０は第１スクリーン６１０を、図７に示すように、全画面７００に拡大するようにディスプレイ部２３０を制御することができる。
【０１１２】
なお、第１スクリーン６１０のコンテンツが全画面でディスプレイされる間、ユーザインターフェース部２８０を介して予め設定されたユーザ命令が入力されると、制御部２９０は、複数のスクリーンがディスプレイされるディスプレイ画面に切り替えるようにディスプレイ部２３０を制御することができる。例えば、図７に示すように、第１スクリーン６１０のコンテンツが全画面７００でディスプレイされる間、予め設定されたユーザ命令（例えば、リモコンの画面切り替えボタンが選択される命令等）が入力されると、制御部２９０は、図６Ｄに示すように、複数のスクリーン６１０、６２０がディスプレイされるようにディスプレイ部２３０を制御することができる。
【０１１３】
一方、上述の実施形態においては、方向性を有するユーザインタラクションとしてユーザの頭部回転インタラクションを説明したが、それは一実施形態に過ぎず、方向性を有する他のユーザインタラクションを用いて複数のスクリーン５１０、５２０、５３０を移動することができる。例えば、ディスプレイ装置２００は、ユーザの瞳の動きを追跡してユーザの瞳が動く方向に応じて、複数のスクリーン５１０、５２０、５３０を移動させることができる。具体的に、図５Ａに示すように、ディスプレイ部２３０に複数のスクリーン５１０、５２０、５３０がディスプレイされる間、ユーザインターフェース部２８０のカメラ２８１を介してユーザの瞳が右方と検知された場合、制御部２９０は第１スクリーンないし第３スクリーン５１０、５２０、５３０を右側に移動するようにディスプレイ部２３０を制御することができる。このとき、制御部２９０は、図５Ｂに示すように、最も右側に位置する第３スクリーン５３０がディスプレイ画面を占める割合を増加するようにディスプレイ部２３０を制御することができる。
【０１１４】
更に別の実施形態として、ディスプレイ装置２００はユーザのハンドモーションを追跡してユーザの手が動く方向に応じて、複数のスクリーン５１０、５２０、５３０を移動することができる。具体的に、図５Ａに示すように、ディスプレイ部２３０に複数のスクリーン５１０、５２０、５３０がディスプレイされる間、ユーザインターフェース部２８０のカメラ２８１を介してユーザの手が右側に移動したと検知された場合、制御部２９０は、第１スクリーンないし第３スクリーン５１０、５２０、５３０を左側に移動するようにディスプレイ部２３０を制御することができる。このとき、制御部２９０は、図５Ｂに示すように、最も右側に位置する第３スクリーン５３０がディスプレイ画面を占める割合を増加させるようにディスプレイ部２３０を制御することができる。
【０１１５】
更に別の実施形態として、ディスプレイ装置２００はポインティングデバイスが動く方向を検知してポインティングデバイスが動く方向に応じて複数のスクリーン５１０、５２０、５３０を移動させることができる。具体的に、図５Ａに示すように、ディスプレイ部２３０に複数のスクリーン５１０、５２０、５３０がディスプレイされる間、ポインティングデバイスの予め設定されたボタンが選択された後、右方に移動されると検知された場合、制御部２９０は第１スクリーンないし第３スクリーン５１０、５２０、５３０を左側に移動するようにディスプレイ部２３０を制御することができる。このとき、制御部２９０は、図５Ｂに示すように、最も右側に位置する第３スクリーン５３０がディスプレイ画面を占める割合を増加させるようにディスプレイ部２３０を制御することができる。
【０１１６】
上述のように、方向性を有するユーザインタラクションを用いて水平に配置される複数のスクリーンを移動させることで、ユーザはより直観的に複数のスクリーンの中から自分所望のコンテンツを視聴することができるようになる。
【０１１７】
制御部２９０は、方向性を有するユーザインタラクションに応じて複数のスクリーンをリアルタイムで移動せずに、サブスクリーンを即座に新たなメインスクリーンを設定することができる。例えば、図８Ａに示すように、ディスプレイ部２３０に複数のスクリーン８１０、８２０、８３０がディスプレイされる間、ユーザの頭部が左方に予め設定された値以上回転した場合、制御部２９０は複数のスクリーン８１０、８２０、８３０を右側に移動して第１スクリーン８１０を新たなメインスクリーンに設定することができる。このとき、制御部２９０は、図８Ｂに示すように、第１スクリーン８１０がディスプレイ画面を占める割合を第２スクリーン８２０がディスプレイ画面を占める割合より大きくすることができる。そして、制御部２９０は、第１スクリーン８１０のオーディオを出力するようにオーディオ出力部２４０を制御することができる。すなわち、制御部２９０は、ユーザの頭部回転インタラクションに応じてリアルタイムで複数のスクリーン８１０、８２０、８３０を移動はしないが、頭部が予め設定された角度以上回転された場合、頭部回転の方向に応じて既存のサブスクリーンを新たなメインスクリーンに即座に設定することができる。
以下では、ユーザが複数のスクリーンのうちの１つを直接選択するインタラクションを用いて複数のスクリーンを制御する方法について説明する。
【０１１８】
本発明の一実施形態において、複数のスクリーンを制御するための予め設定されたユーザインタラクションがリモコンに備えられた第１スクリーンないし第３スクリーンとそれぞれ対応する第１ないし第３ボタンのうちの１つを選択するユーザインタラクションの場合、リモコンに備えられた第１ボタンないし第３ボタンのうちの１つが選択された場合、制御部２９０は選択されたボタンに対応するスクリーンをディスプレイ画面の中央領域方向に移動して新たなメインスクリーンに設定することができる。
【０１１９】
具体的に、図８Ａに示すように、第１スクリーンないし第３スクリーン８１０、８２０、８３０がディスプレイされた状態でリモコンに備えられた第１スクリーン８１０に対応する第１ボタンが選択された場合、制御部２９０は図６Ｂ及び図６Ｃに示すようなディスプレイ画面を経て図８Ｂに示すように、第１スクリーン８１０がディスプレイ画面で占める割合が既存のメインスクリーンである第２スクリーン８２０がディスプレイ画面で占める割合より大きくなるように第１スクリーンないし第３スクリーン８１０、８２０、８３０を右側に移動させることができる。そして、制御部２９０は、第１スクリーン８１０を新たなメインスクリーンに設定し、第１スクリーン８１０のオーディオを出力するようにオーディオ出力部２４０を制御することができる。なお、図８Ａに示すように、第１スクリーンないし第３スクリーン８１０、８２０、８３０がディスプレイされた状態でリモコンに備えられた第３スクリーン８３０に対応する第３ボタンが選択された場合、制御部２９０は第１スクリーン８１０をディスプレイ画面から除去し、第３スクリーン８３０がディスプレイ画面で占める割合が既存のメインスクリーンである第２スクリーン８２０がディスプレイ画面で占める割合より大きくなるように第１スクリーンないし第３スクリーン８１０、８２０、８３０を左側に移動させることができる。そして、制御部２９０は、第３スクリーン８３０を新たなメインスクリーンに設定し、第３スクリーン８３０のオーディオを出力するようにオーディオ出力部２４０を制御することができる。
【０１２０】
このとき、サブスクリーンが新たなメインスクリーンに設定される間、制御部２９０はメインスクリーンである第２スクリーン８２０のオーディオを次第に減少させ、ディスプレイ画面を占める割合が次第に増加する第１スクリーン８１０または第３スクリーン８３０のオーディオを次第に増加させるＦａｄｅ  ｉｎ／ｏｕｔ効果を用いて出力されるオーディオを変更することができる。
【０１２１】
なお、図８Ｂに示すように、第１スクリーン８１０がディスプレイ画面を占める割合が第２スクリーン８２０がディスプレイ画面を占める割合より大きい場合、リモコンに備えられた複数のボタンのうち、第２スクリーン８２０に対応する第２ボタンが選択されると、制御部２９０は、図８Ａに示すように、第２スクリーン８２０がディスプレイ画面で占める割合が最も高くなるように第１スクリーンないし第３スクリーン８１０、８２０、８３０を左側に移動することができる。
【０１２２】
一方、上述の実施形態においては、リモコンに備えられたボタンを用いてユーザが複数のスクリーンのうちの１つを直接選択する実施形態を説明したが、それは一実施形態に過ぎず、別の方法を用いてユーザが複数のスクリーンのうちの１つを直接選択することができる。例えば、ユーザの音声を通じて複数のスクリーンのうちの１つを直接選択することができ、ディスプレイ部２３０にディスプレイされたポインタを用いて複数のスクリーンのうちの１つを直接選択することができる。
【０１２３】
具体的に、図８Ａに示すような第１スクリーンないし第３スクリーン８１０、８２０、８３０がディスプレイされた状態でマイク２８２を介して“１番”というユーザ音声が入力されると、制御部２９０は入力されたユーザ音声を分析して入力されたユーザ音声に対応する第１スクリーン８１０を新たなメインスクリーンに設定することができる。このとき、第１スクリーン８１０の周辺には“１番”、第２スクリーン８２０には“２番”、第３スクリーン８３０には“３番”というインディケータがディスプレイされてよい。一方、上述の実施形態では、複数のスクリーンに対応するインディケータをユーザが発話するものとして説明したが、それは一実施形態に過ぎず、複数のスクリーンで再生されるチャネルまたは映像コンテンツに対応するインディケータをユーザが発話する実施形態も本発明の技術的思想に含まれてよい。
【０１２４】
なお、図８Ａに示すような第１スクリーンないし第３スクリーン８１０、８２０、８３０がディスプレイされた状態で外部の入力機器（例えば、マウス等）を介してディスプレイ部２３０にディスプレイされたポインタが第３スクリーン８３０に位置された後、エンター命令が入力されると、制御部２９０は第３スクリーン８３０を新たなメインスクリーンに設定することができる。
【０１２５】
上述のように、ユーザがメインスクリーンでディスプレイされるスクリーンを直接選択することで、ユーザはより直観的に複数のスクリーンの中から自分所望のスクリーンを選択することができるようになる。
【０１２６】
一方、上述の実施形態においては、サブスクリーンである第１スクリーン及び第３スクリーンがスクリーンの一部領域のみがディスプレイされるものとして説明したが、それは一実施形態に過ぎず、第１スクリーン及び第３スクリーンの全領域が全てディスプレイされてよい。具体的に、図９Ａに示すように、ディスプレイ装置２００はディスプレイ画面の中央領域にメインスクリーンに設定された第２スクリーン９２０をディスプレイし、メインスクリーン９２０の左側及び右側にそれぞれ第１スクリーン９１０及び第３スクリーン９３０をディスプレイすることができる。このとき、メインスクリーン９２０の大きさは、図９Ａに示すように、サブスクリーン９１０、９３０の大きさより大きくてよいが、それは一実施形態に過ぎず、第１ないし第３スクリーン９１０、９２０、９３０は同一の大きさであってよい。
【０１２７】
図９Ａに示すように、第１ないし第３スクリーン９１０、９２０、９３０がディスプレイされた状態でユーザの頭部が右方に回転したと検知された場合、制御部２９０は、図９Ｂに示すように、第１ないし第３スクリーン９１０、９２０、９３０を左側に移動させ、新たな第４スクリーン９４０をディスプレイするようにディスプレイ部２３０を制御することができる。そして、ユーザの頭部が右方に予め設定された値以上の角度になるように回転したと検知された場合、制御部２９０は、図９Ｃに示すように、第１スクリーン９１０をディスプレイ画面から除去し、第３スクリーン９３０を新たなメインスクリーンに設定し、新たなメインスクリーンの左側には第２スクリーン９２０を新たなサブスクリーンとしてディスプレイし、新たなメインスクリーンの右側には新たな第４スクリーン９４０をディスプレイするようにディスプレイ部２３０を制御することができる。このとき、制御部２９０は、新たにメインスクリーンに設定された第３スクリーン９３０のオーディオを出力するようにオーディオ出力部２４０を制御することができる。
【０１２８】
一方、上述の実施形態においては、複数のサブスクリーンがメインスクリーンの左右方向に配置されたものとして説明したが、それは一実施形態に過ぎず、別の方向に配置されてよい。例えば、複数のサブスクリーンはメインスクリーンの上下方向、対角線方向に配置されてよい。
【０１２９】
具体的に、制御部２９０は、図１０Ａに示すように、メインスクリーンに設定された第２スクリーン１０２０をディスプレイ画面の中央領域にディスプレイし、第２スクリーン１０２０の上側に第１スクリーン１０１０をディスプレイし、第２スクリーン１０２０の下側に第３スクリーン１０３０をディスプレイするようにディスプレイ部２３０を制御することができる。このとき、メインスクリーンに設定された第２スクリーン１０２０にはユーザの選択した映像コンテンツがディスプレイされてよく、第１スクリーン１０１０には映像コンテンツの関連情報を含む映像がディスプレイされてよく、第３スクリーン１０３０にはウェブサーフィンが可能なウェブブラウザをディスプレイすることができる。
【０１３０】
図１０Ａに示すように、複数のサブスクリーン１０１０、１０３０がメインスクリーン１０２０の上下方向にディスプレイされる間、上下方向のユーザ頭部回転インタラクションが検知されたり、リモコンのボタン選択インタラクションが検知された場合、制御部２９０はユーザインタラクションに応じて、第１スクリーン１０１０及び第３スクリーン１０３０のいずれか一方を新たなメインスクリーンに設定することができる。
【０１３１】
上述のように、映像コンテンツがディスプレイされるメインスクリーンの上下方向に多様な映像画面を提供することができるサブスクリーンがディスプレイされることで、ユーザはディスプレイ装置２００を介してマルチタスキングを行うことができるようになる。
【０１３２】
なお、制御部２９０は、図１１Ｂに示すように、メインスクリーンに設定された第２スクリーン１０５０の上下左右方向にそれぞれ、第１スクリーン１０４０、第３スクリーン１０６０、第４スクリーン１０７０及び第５スクリーン１０８０をディスプレイするようにディスプレイ部２３０を制御することができる。このとき、制御部２９０は、第２スクリーン１０５０を基準に左右方向に配置された複数のサブスクリーン１０７０、１０８０にメインスクリーン１０５０と異なる映像ソースから受信された映像コンテンツをディスプレイし、上下方向に配置された複数のサブスクリーン１０４０、１０６０にウェブブラウザまたはメインスクリーンにディスプレイされるコンテンツの詳細情報のような付加サービスを提供することができる。
【０１３３】
なお、制御部２９０は、ディスプレイ画面にはディスプレイされないが、メインスクリーンの対角線方向にもサブスクリーンをディスプレイすることができる。このとき、対角線方向に存在するサブスクリーンはディスプレイ装置２００の設定を変更するスクリーン、天気情報または株情報等のようなＲＳＳ情報をディスプレイするスクリーン等であってよい。なお、左方のユーザインタラクションが検知された後、上方のユーザインタラクションが検知されると、制御部２９０は左上端方向に存在するスクリーンに移動することができる。
【０１３４】
なお、制御部２９０は、複数のスクリーンがディスプレイされた場合、複数のスクリーンディスプレイの周囲にスクリーンで再生されるコンテンツの詳細情報をディスプレイすることができる。具体的に、図１１に示すように、制御部２９０は第１スクリーンないし第３スクリーン１１１０、１１２０、１１３０の下段に現在スクリーンに再生される映像コンテンツの情報をディスプレイするようにディスプレイ部２３０を制御することができる。このとき、映像コンテンツの情報としては、映像コンテンツタイトル、映像コンテンツのソース（放送局名）、映像コンテンツの再生時間等のような多様な情報をディスプレイすることができる。
以下では、図１２ないし図１５を参照して本発明についてより詳細に説明する。
【０１３５】
図１２は、本発明の一実施形態に係るディスプレイ装置１００がユーザインタラクションに応じて複数のスクリーンを制御する方法を概略に説明するためのフローチャートである。
【０１３６】
まず、ディスプレイ装置１００は、複数のスクリーンをディスプレイする（Ｓ１２１０）。具体的に、ディスプレイ装置１００は、ディスプレイ画面の中央領域にメインスクリーンに設定された第２スクリーンをディスプレイし、メインスクリーンの左側及び右側にそれぞれ台形の第１スクリーン及び第３スクリーンをディスプレイすることができる。このとき、ディスプレイ装置１００は、第２スクリーンの左側及び右側にそれぞれ台形の第１スクリーン及び第３スクリーンを異なる視聴角度を有するようにディスプレイすることで、ユーザは３次元空間上で複数のスクリーンを視聴するのと同様の効果を得ることができるようになる。なお、ディスプレイ装置１００はメインスクリーンに設定された第２スクリーンのオーディオのみを出力することができる。
【０１３７】
そして、ディスプレイ装置１００はユーザインタラクションが検知されたか否かを判断する（Ｓ１２２０）。このとき、ユーザインタラクションはユーザ頭部回転、瞳の動き、ハンドジェスチャ、ポインティングデバイス等のように、方向性を有するユーザインタラクションであってよく、リモコンのボタン選択、音声命令等のようにスクリーンを直接選択するユーザインタラクションであってよい。
【０１３８】
ユーザインタラクションが検知されたと判断された場合（Ｓ１２２０−Ｙ）、ディスプレイ装置１００はユーザインタラクションに応じて複数のスクリーンを移動し、複数のスクリーンのうち少なくとも１つのスクリーンのオーディオ出力を変更する（Ｓ１２３０）。具体的に、ユーザインタラクションが方向性を有するユーザインタラクションの場合、ディスプレイ装置１００はユーザインタラクションの方向に応じて第１スクリーンないし第３スクリーンを移動することができる。なお、ユーザインタラクションがスクリーンを直接選択するユーザインタラクションである場合、ディスプレイ装置１００はユーザインタラクションに対応するスクリーンが中央領域に位置するように第１スクリーンないし第３スクリーンを移動させることができる。
【０１３９】
なお、ディスプレイ装置１００は、ユーザインタラクションに応じて既存のサブスクリーンを新たなメインスクリーンに設定することができる。具体的に、予め設定されたユーザインタラクションが方向性を有するユーザインタラクションである場合、予め設定された閾値以上のユーザインタラクションが入力されると、制御部２９０はユーザインタラクションの方向に応じてディスプレイ画面を占める割合が増加するサブスクリーンを新たなメインスクリーンとしてディスプレイすることができる。なお、予め設定されたユーザインタラクションがスクリーンを直接選択するユーザインタラクションである場合、制御部２９０はユーザインタラクションに対応する既存のサブスクリーンを新たなメインスクリーンとして設定することができる。
【０１４０】
サブスクリーンが新たなメインスクリーンに変更された場合、ディスプレイ装置１００は既存のメインスクリーンのオーディオを除去し、新たなメインスクリーンに設定されたサブスクリーンのオーディオを出力することができる。
【０１４１】
上述のように、ユーザインタラクションに応じて複数のスクリーンを移動したり新たなメインスクリーンを設定することで、ユーザはディスプレイ画面にディスプレイされた複数のコンテンツの中から自分所望のコンテンツをより直観的に選択することができる。
図１３は、本発明の一実施形態に係るユーザ頭部回転インタラクションに応じて複数のスクリーンを制御する方法を説明するためのフローチャートである。
【０１４２】
まず、ディスプレイ装置２００は複数のスクリーンをディスプレイする（Ｓ１３１０）。具体的に、ディスプレイ装置２００は、ディスプレイ画面の中央領域にメインスクリーンに設定された第２スクリーンをディスプレイし、第２スクリーンの左側及び右側にそれぞれ台形の第１スクリーン及び第３スクリーンを異なる視聴角度を有するようにディスプレイすることができる。なお、ディスプレイ装置２００は、メインスクリーンである第２スクリーンのオーディオのみを出力することができる。
【０１４３】
そして、ディスプレイ装置２００は、ユーザ頭部回転が検知されたか否かを判断する（Ｓ１３２０）。このとき、ユーザの頭部回転を検知する方法は、図１６を参照して説明しているため、詳細な説明は省略する。
【０１４４】
ユーザ頭部回転が検知された場合（Ｓ１３２０−Ｙ）、ディスプレイ装置２００はユーザの頭部回転方向に応じて複数のスクリーンを移動する（Ｓ１３３０）。具体的に、右方のユーザ頭部回転が検知された場合、ディスプレイ装置２００は複数のスクリーンを左側に移動して第３スクリーンがディスプレイ画面を占める割合を増加させることができる。なお、ユーザの頭部が左方に回転したと検知された場合、ディスプレイ装置２００は複数のスクリーンを右側に移動して第１スクリーンがディスプレイ画面を占める割合を増加させることができる。このとき、ディスプレイ装置２００は、検知されたユーザの頭部回転の角度に応じて複数のスクリーンの移動量を判断して複数のスクリーンをリアルタイムで移動することができる。
そして、ディスプレイ装置２００は、ユーザの頭部回転角度が予め設定された値以上か否かを判断する（Ｓ１３４０）。
【０１４５】
ユーザの頭部回転角度が予め設定された値未満である場合（Ｓ１３４０−Ｎ）、ディスプレイ装置２００は引き続きユーザの頭部回転方向に応じて複数のスクリーンを移動することができる（Ｓ１３３０）。
【０１４６】
しかし、ユーザの頭部回転角度が予め設定された値以上である場合（Ｓ１３４０−Ｙ）、ディスプレイ装置２００はユーザ頭部回転方向に応じてディスプレイ画面を占める割合が増加するスクリーンを新たなメインスクリーンに設定する（Ｓ１３５０）。具体的に、ユーザの頭部が右側に移動する間、ユーザの頭部回転角度が予め設定された値以上で検知された場合、ディスプレイ装置２００は左側に移動された第３スクリーンを新たなメインスクリーンに設定することができる。なお、ユーザの頭部が左側に移動する間、ユーザの頭部回転角度が予め設定された値以上で検知された場合、ディスプレイ装置２００は右側に移動された第１スクリーンを新たなメインスクリーンに設定することができる。既存のサブスクリーンが新たなメインスクリーンに変更された場合、ディスプレイ装置２００は既存のメインスクリーンから出力されるオーディオを除去し、新たにメインスクリーンに変更されたサブスクリーンのオーディオを出力することができる。
【０１４７】
上述のように、ユーザの頭部動作に応じて複数のスクリーンを移動することで、ユーザの別途の入力装置なしに直観的に複数のスクリーンを制御することができるようになる。
図１４は、本発明の一実施形態に係るディスプレイ装置がリモコンを用いて複数のスクリーンを制御する方法を説明するためのフローチャートである。
【０１４８】
まず、ディスプレイ装置２００は複数のスクリーンをディスプレイする（Ｓ１４１０）。具体的に、ディスプレイ装置２００はディスプレイ画面の中央領域にメインスクリーンに設定された第２スクリーンをディスプレイし、第２スクリーンの左側及び右側にそれぞれ台形の第１スクリーン及び第３スクリーンを異なる視聴角度を有するようにディスプレイすることができる。なお、ディスプレイ装置２００は、メインスクリーンに設定された第２スクリーンのオーディオのみを出力することができる。
【０１４９】
そして、ディスプレイ装置２００はリモコンの予め設定されたボタンが選択されたか否かを判断する（Ｓ１４２０）。このとき、リモコンには複数のスクリーンに対応するボタンを備える。例えば、ディスプレイ画面に第１スクリーンないし第３スクリーンがディスプレイされる場合、リモコンは第１スクリーンに対応する第１ボタン、第２スクリーンに対応する第２ボタン、第３スクリーンに対応する第３ボタンを含むことができる。このとき、第１ボタンないし第３ボタンは、第１スクリーンないし第３スクリーンの形状と同一であってよい。一方、本発明では、遠隔制御装置５０としてリモコンを説明したが、それは一実施形態に過ぎず、遠隔制御装置５０はスマートフォン、タブレットパソコン等のような多様な携帯用装置で実現されてよい。
【０１５０】
リモコンの予め設定されたボタンが選択された場合（Ｓ１４２０−Ｙ）、ディスプレイ装置２００は選択されたボタンに対応するスクリーンを画面の中央領域方向に移動してメインスクリーンに設定する（Ｓ１４３０）。具体的に、リモコンに備えられた第１ボタンが選択された場合、ディスプレイ装置２００は第１ボタンに対応する第１スクリーンをディスプレイ画面の中央領域に移動させ、第１スクリーンを新たなメインスクリーンに設定することができる。なお、リモコンに備えられた第３ボタンが選択された場合、ディスプレイ装置２００は第３ボタンに対応する第３スクリーンをディスプレイ画面の中央領域に移動させ、第３スクリーンを新たなメインスクリーンに設定することができる。既存のサブスクリーンが新たなメインスクリーンに変更された場合、ディスプレイ装置２００は既存のメインスクリーンから出力されるオーディオを除去し、新たにメインスクリーンに変更されたサブスクリーンのオーディオを出力することができる。
【０１５１】
上述のように、リモコンに備えられたボタンを用いてユーザが直接自らが視聴しようとするスクリーンを選択することで、ユーザは複数のスクリーンでディスプレイされるコンテンツの中から自分所望のコンテンツをより直観的に選択することができるようになる。
【０１５２】
図１５は、本発明の別の実施形態に係るディスプレイ装置１００がユーザインタラクションに応じて複数のスクリーンを制御する方法を説明するためのフローチャートである。
【０１５３】
まず、ディスプレイ装置１００は、複数のスクリーンをディスプレイする（Ｓ１５１０）。このとき、複数のスクリーンはメインスクリーン及び複数のサブスクリーンを含んでよい。メインスクリーンは、ディスプレイ画面で最も高い割合を占めるスクリーンとして、ディスプレイ装置２００はメインスクリーンで再生されるコンテンツのオーディオを出力する。
【０１５４】
そして、ディスプレイ装置１００は予め設定されたユーザインタラクションが検知されたか否かを判断する（Ｓ１５２０）。このとき、予め設定されたユーザインタラクションはユーザ頭部回転、瞳の動き、ハンドジェスチャ、ポインティングデバイス等のように方向性を有するユーザインタラクションであってよく、リモコンのボタン選択、音声命令等のようにスクリーンを直接選択するユーザインタラクションであってよい。
【０１５５】
予め設定されたユーザインタラクションが検知された場合（Ｓ１５２０−Ｙ）、ディスプレイ装置１００は予め設定されたユーザインタラクションに応じて複数のスクリーンの位置及び大きさのうちいずれか一方を変更することができる（Ｓ１５３０）。具体的に、予め設定されたユーザインタラクションが方向性を有するユーザインタラクションである場合、ディスプレイ装置１００はユーザインタラクションの方向に応じて、スクリーンのうちの１つを中央領域に移動させ、中央領域に移動されたスクリーンの大きさを増加させることができる。なお、予め設定されたユーザインタラクションがスクリーンを直接選択するユーザインタラクションである場合、ディスプレイ装置１００はユーザインタラクションに対応するスクリーンを中央領域に移動させ、中央領域に移動されたスクリーンの大きさを増加させることができる。
【０１５６】
上述のように、ユーザインタラクションに応じてスクリーンの位置及び大きさを変更させることで、ユーザは１つのディスプレイ画面を通じてより直観的かつエンターテイメント的に複数のスクリーンを制御することができる。
【０１５７】
一方、上述の実施形態においては、制御部が１つで実現されることを説明したが、それは一実施形態に過ぎず、制御部は複数の制御部で実現されてよい。図１７に示すように、制御部１７４０はディスプレイ制御部１７４１及びオーディオ制御部１７４３を含んでよい。ディスプレイ制御部１７４１は、ディスプレイ部１７１０の動作全般を制御することができる。特に、ディスプレイ制御部１７４１は、ユーザインターフェース部１７３０を介して検知されたユーザインタラクションに応じてディスプレイ画面に第１スクリーンないし第３スクリーンの位置を移動するようにディスプレイ部１７１０を制御することができる。オーディオ制御部１７４３は、オーディオ出力部１７２０の動作全般を制御することができる。特に、オーディオ制御部１７４３は、ユーザインターフェース部１７３０を介して検知されたユーザインタラクションに応じて、第１ないし第３スクリーンのうち少なくとも１つのスクリーンのオーディオ出力を変更するようにオーディオ出力部１７２０を制御することができる。
【０１５８】
一方、上述の多様な実施形態に係る制御方法を行うためのプログラムコードは、非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）に保存されててよい。非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
【０１５９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１６０】
１００  ディスプレイ装置
１１０  ディスプレイ部
１２０  オーディオ出力部
１３０  ユーザインターフェース部
１４０  制御部
２００  ディスプレイ装置
２１０  映像受信部
２２０  通信部
２３０  ディスプレイ部
２４０  オーディオ出力部
２５０  保存部
２６０  オーディオ処理部
２７０  ビデオ処理部
２８０  ユーザインターフェース部
２８１  カメラ
２８２  マイク
２８３  リモコン信号受信部
２９１  ＲＡＭ
２９２  ＲＯＭ
２９３  グラフィック処理部
２９４  メインＣＰＵ
１７４０  制御部
１７４１  ディスプレイ制御部
１７４３  オーディオ制御部
【図１】
2016528574.tif 000003
【図２】
2016528574.tif 000004
【図３】
2016528574.tif 000005
【図４】
2016528574.tif 000006
【図５ａ】
2016528574.tif 000007
【図５ｂ】
2016528574.tif 000008
【図５ｃ】
2016528574.tif 000009
【図５ｄ】
2016528574.tif 000010
【図５ｅ】
2016528574.tif 000011
【図６ａ】
2016528574.tif 000012
【図６ｂ】
2016528574.tif 000013
【図６ｃ】
2016528574.tif 000014
【図６ｄ】
2016528574.tif 000015
【図７】
2016528574.tif 000016
【図８ａ】
2016528574.tif 000017
【図８ｂ】
2016528574.tif 000018
【図９ａ】
2016528574.tif 000019
【図９ｂ】
2016528574.tif 000020
【図９ｃ】
2016528574.tif 000021
【図１０ａ】
2016528574.tif 000022
【図１０ｂ】
2016528574.tif 000023
【図１１】
2016528574.tif 000024
【図１２】
2016528574.tif 000025
【図１３】
2016528574.tif 000026
【図１４】
2016528574.tif 000027
【図１５】
2016528574.tif 000028
【図１６（ａ）】
2016528574.tif 000029
【図１６（ｂ）】
2016528574.tif 000030
【図１６（ｃ）】
2016528574.tif 000031
【図１７】
2016528574.tif 000032
【国際調査報告】
2016528574.tif 000033
2016528574.tif 000034