(57)【要約】【課題】マルチディスプレイ装置の各ディスプレイ部を介して構造化されていない入力を行い、各入力を組み合わせて対応する出力を行うことができるマルチディスプレイ装置及びマルチディスプレイ方法を提供する。【解決手段】本発明のマルチディスプレイ装置は、第１ディスプレイ部が配置された第１ボディと、第２ディスプレイ部が配置された第２ボディと、第１ボディ及び第２ボディを連結して回転自在に支持するヒンジ部と、第１ディスプレイ部に表示された非構造化の第１画面の非決定的な位置で行われる第１ユーザ操作及び第２ディスプレイ部に表示された非構造化の第２画面の非決定的な位置で行われる第２ユーザ操作を各々検知するセンサ部と、検知された第１ユーザ操作及び第２ユーザ操作を組み合わせて該組み合わせ結果に対応する動作を行う制御部と、を備える。【選択図】図５
2014078234.tif 000002
【特許請求の範囲】
【請求項１】
第１ディスプレイ部が配置された第１ボディと、
第２ディスプレイ部が配置された第２ボディと、
前記第１ボディ及び前記第２ボディを連結して回転自在に支持するヒンジ部と、
前記第１ディスプレイ部に表示された非構造化の第１画面の非決定的な位置で行われる第１ユーザ操作及び前記第２ディスプレイ部に表示された非構造化の第２画面の非決定的な位置で行われる第２ユーザ操作を各々検知するセンサ部と、
前記検知された第１ユーザ操作及び第２ユーザ操作を組み合わせて該組み合わせ結果に対応する動作を行う制御部と、を備えることを特徴とするマルチディスプレイ装置。
【請求項２】
前記制御部は、
前記第１ユーザ操作に応じて前記第２ユーザ操作にマッチングする機能を変更し、
前記第２ユーザ操作が検知された場合、前記変更された機能に応じて前記第２ユーザ操作に対応する動作を行うように制御することを特徴とする請求項１に記載のマルチディスプレイ装置。
【請求項３】
前記第２ユーザ操作はドラッグによる線の入力であり、
前記制御部は、
前記第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、前記入力された線の太さ又は透明度を増加させ、
前記第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、前記入力された線の太さ又は透明度を減少させ、
前記第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、前記入力された線の質感を変更させることを特徴とする請求項２に記載のマルチディスプレイ装置。
【請求項４】
前記制御部は、
前記第１ユーザ操作がタッチ＆ホールド入力であり、前記第２ユーザ操作がタッチ入力であり、前記第１ユーザ操作及び前記第２ユーザ操作が同時に検知された場合、前記第２ユーザ操作に対応するメニューを表示することを特徴とする請求項１に記載のマルチディスプレイ装置。
【請求項５】
前記制御部は、
前記第１ユーザ操作が検知された場合、前記第１ユーザ操作に応じて前記第２ディスプレイ部に表示された前記第２画面を変更し、
前記第２ユーザ操作が検知された場合、前記第１ユーザ操作によって変更されて表示された前記第２画面を前記第２ユーザ操作に応じて変更することを特徴とする請求項１に記載のマルチディスプレイ装置。
【請求項６】
前記制御部は、
前記第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を拡大し、
前記第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を縮小し、
前記第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を回転させることを特徴とする請求項５に記載のマルチディスプレイ装置。
【請求項７】
第１ディスプレイ部が配置された第１ボディと、
第２ディスプレイ部が配置された第２ボディと、
前記第１ボディ及び前記第２ボディを連結して回転自在に支持するヒンジ部と、
前記第１ディスプレイ部及び前記第２ディスプレイ部が非構造化の第１画面及び第２画面を各々表示した場合、前記第１画面の非決定的な位置で行われる第１ユーザ操作及び前記第２画面の非決定的な位置で行われる第２ユーザ操作を検知するセンサ部と、
前記検知された第１ユーザ操作及び第２ユーザ操作を連結して１つのユーザジェスチャーとして認識し、前記１つのユーザジェスチャーに対応する実行画面を前記第１ディスプレイ部及び前記第２ディスプレイ部のうちの少なくとも一方に表示する制御部と、を備えることを特徴とするマルチディスプレイ装置。
【請求項８】
前記第１ユーザ操作は、ユーザの身体を用いて前記第１ディスプレイ部に近接又はタッチする入力であり、
前記第２ユーザ操作は、入力ペンを用いて前記第２ディスプレイ部に近接又はタッチする入力であることを特徴とする請求項７に記載のマルチディスプレイ装置。
【請求項９】
第１ディスプレイ部が配置された第１ボディと、第２ディスプレイ部が配置された第２ボディと、前記第１ボディ及び前記第２ボディを連結して回転自在に支持するヒンジ部とを備えるマルチディスプレイ装置のマルチディスプレイ方法であって、
前記第１ディスプレイ部及び前記第２ディスプレイ部が各々非構造化の第１画面及び第２画面を表示するステップと、
前記第１画面内の非決定的な位置で行われる第１ユーザ操作及び前記第２画面内の非決定的な位置で行われる第２ユーザ操作を各々検知するステップと、
前記検知された第１ユーザ操作及び第２ユーザ操作を組み合わせて該組み合わせ結果に対応する動作を行うステップと、を有することを特徴とするマルチディスプレイ方法。
【請求項１０】
前記組み合わせ結果に対応する動作を行うステップは、
前記第１ユーザ操作に応じて前記第２ユーザ操作にマッチングする機能を変更するステップと、
前記第２ユーザ操作が検知された場合、前記変更された機能に応じて前記第２ユーザ操作に対応する動作を行うステップと、を含むことを特徴とする請求項９に記載のマルチディスプレイ方法。
【請求項１１】
前記第２ユーザ操作はドラッグによる線の入力であり、
前記第２ユーザ操作にマッチングする機能を変更するステップは、
前記第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、前記入力された線の太さを増加させ、
前記第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、前記入力された線の太さを減少させ、
前記第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、前記入力された線の質感を変更させることを特徴とする請求項１０に記載のマルチディスプレイ方法。
【請求項１２】
前記組み合わせ結果に対応する動作を行うステップは、
前記第１ユーザ操作がタッチ＆ホールド入力であり、前記第２ユーザ操作がタッチ入力であり、前記第１ユーザ操作及び前記第２ユーザ操作が同時に検知された場合、前記第２ユーザ操作に対応するメニューを表示することを特徴とする請求項９に記載のマルチディスプレイ方法。
【請求項１３】
前記組み合わせ結果に対応する動作を行うステップは、
前記第１ユーザ操作が検知された場合、前記第１ユーザ操作に応じて前記第２ディスプレイ部に表示された前記第２画面を変更するステップと、
前記第２ユーザ操作が検知された場合、前記第１ユーザ操作によって変更されて表示された前記第２画面を前記第２ユーザ操作に応じて変更するステップと、を含むことを特徴とする請求項９に記載のマルチディスプレイ方法。
【請求項１４】
前記第２画面を変更するステップは、
前記第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を拡大し、
前記第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を縮小し、
前記第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を回転させることを特徴とする請求項１３に記載のマルチディスプレイ方法。
【請求項１５】
第１ディスプレイ部が配置された第１ボディと、第２ディスプレイ部が配置された第２ボディと、前記第１ボディ及び前記第２ボディを連結して回転自在に支持するヒンジ部とを備えるマルチディスプレイ装置のマルチディスプレイ方法であって、
前記第１ディスプレイ部及び前記第２ディスプレイ部が非構造化の第１画面及び第２画面を各々表示した場合、前記第１画面の非決定的な位置で行われる第１ユーザ操作及び前記第２画面の非決定的な位置で行われる第２ユーザ操作を検知するステップと、
前記検知された第１ユーザ操作及び第２ユーザ操作を連結して１つのユーザジェスチャーとして認識し、前記１つのユーザジェスチャーに対応する実行画面を前記第１ディスプレイ部及び前記第２ディスプレイ部のうちの少なくとも一方に表示するステップと、を有することを特徴とするマルチディスプレイ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチディスプレイ装置に関し、より詳細には、マルチディスプレイ装置の各ディスプレイ部を介して入力を行い、それによる出力を行うマルチディスプレイ装置及びマルチディスプレイ方法に関する。
【背景技術】
【０００２】
近年使用されているスマートフォン等の携帯用電子機器は、１つのディスプレイを備えることが一般的である。
【０００３】
しかし、携帯用電子機器に搭載されるＣＰＵの性能が向上するにつれ、多様なアプリケーションを同時に実行することができるマルチタスキング環境が整うことで、１つのディスプレイのみを備えたシングルディスプレイ装置は、その性能を効果的に活用しにくいという問題に直面するようになった。
【０００４】
なお、バッテリ技術と発熱処理システムとの発達により、携帯用電子機器が必ずしも１つのディスプレイのみを備えなければならないという設計パラダイムはもう真理として認められることは難しくなっている。
【０００５】
更に、タッチスクリーンの普及とユーザの経験中心のインターフェース環境で、より多様化されたユーザの経験を携帯用電子機器に導入する必要があるという声が上がっている。
【０００６】
このような背景のもと、最近は２以上のディスプレイを備える携帯用電子機器、即ちマルチディスプレイ装置が登場している。
【０００７】
マルチディスプレイ装置は、強力なハードウェア性能を基にマルチディスプレイ上に様々なアプリケーションの実行結果を表示することができるため、マルチタスキング環境に適するだけでなく、ユーザに複数のディスプレイを通じて、多様かつ豊富な情報を提供するようになり、新たなユーザ経験を提供することができるため、次世代ディスプレイ装置の１つとして注目を浴びている。
【０００８】
マルチディスプレイ装置では、複数のディスプレイを通じて、出力だけでなく入力を行うこともできる。従って、マルチディスプレイ装置で各ディスプレイ部を介する入力により、更に多様化された入出力を行うことができる技術に対する必要性が高まっている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】韓国特許公開第２００８−００３２９０１号明細書
【特許文献２】米国特許第８４４１４５８号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、マルチディスプレイ装置の各ディスプレイ部を介して構造化されていない入力を行い、各入力を組み合わせて対応する出力を行うことができるマルチディスプレイ装置及びマルチディスプレイ方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するためになされた本発明の一態様によるマルチディスプレイ装置は、第１ディスプレイ部が配置された第１ボディと、第２ディスプレイ部が配置された第２ボディと、前記第１ボディ及び前記第２ボディを連結して回転自在に支持するヒンジ部と、前記第１ディスプレイ部に表示された非構造化の第１画面の非決定的な位置で行われる第１ユーザ操作及び前記第２ディスプレイ部に表示された非構造化の第２画面の非決定的な位置で行われる第２ユーザ操作を各々検知するセンサ部と、前記検知された第１ユーザ操作及び第２ユーザ操作を組み合わせて該組み合わせ結果に対応する動作を行う制御部と、を備える。
【００１２】
前記制御部は、前記第１ユーザ操作に応じて前記第２ユーザ操作にマッチングする機能を変更し、前記第２ユーザ操作が検知された場合、前記変更された機能に応じて前記第２ユーザ操作に対応する動作を行うように制御し得る。
前記第２ユーザ操作はドラッグによる線の入力であり、前記制御部は、前記第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、前記入力された線の太さ又は透明度を増加させ、前記第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、前記入力された線の太さ又は透明度を減少させ、前記第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、前記入力された線の質感を変更させ得る。
前記制御部は、前記第１ユーザ操作がタッチ＆ホールド入力であり、前記第２ユーザ操作がタッチ入力であり、前記第１ユーザ操作及び前記第２ユーザ操作が同時に検知された場合、前記第２ユーザ操作に対応するメニューを表示し得る。
前記制御部は、前記第１ユーザ操作が検知された場合、前記第１ユーザ操作に応じて前記第２ディスプレイ部に表示された前記第２画面を変更し、前記第２ユーザ操作が検知された場合、前記第１ユーザ操作によって変更されて表示された前記第２画面を前記第２ユーザ操作に応じて変更し得る。
前記制御部は、前記第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を拡大し、前記第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を縮小し、前記第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を回転させ得る。
前記制御部は、前記第１ユーザ操作が検知された場合、前記第１ディスプレイ部に表示されたコンテンツを抽出し、前記第２ユーザ操作が検知された場合、前記第２ディスプレイ部上に前記抽出されたコンテンツに対応する第２画面を表示し得る。
前記制御部は、前記第１ユーザ操作に応じて、前記第１ディスプレイ部に表示された画面をキャプチャし、前記第２ディスプレイ部で前記第２ユーザ操作が行われた位置に前記キャプチャされた画面を表示し得る。
また、前記制御部は、前記第１ディスプレイ部及び前記第２ディスプレイ部に表示されたコンテンツを抽出し、前記第２ユーザ操作が検知された場合、前記第２ディスプレイ部上に前記抽出されたコンテンツに対応する画面を表示してもよい。
【００１３】
上記目的を達成するためになされた本発明の他の態様によるマルチディスプレイ装置は、第１ディスプレイ部が配置された第１ボディと、第２ディスプレイ部が配置された第２ボディと、前記第１ボディ及び前記第２ボディを連結して回転自在に支持するヒンジ部と、前記第１ディスプレイ部及び前記第２ディスプレイ部が非構造化の第１画面及び第２画面を各々表示した場合、前記第１画面の非決定的な位置で行われる第１ユーザ操作及び前記第２画面の非決定的な位置で行われる第２ユーザ操作を検知するセンサ部と、前記検知された第１ユーザ操作及び第２ユーザ操作を連結して１つのユーザジェスチャーとして認識し、前記１つのユーザジェスチャーに対応する実行画面を前記第１ディスプレイ部及び前記第２ディスプレイ部のうちの少なくとも一方に表示する制御部と、を備える。
【００１４】
前記第１ユーザ操作は、ユーザの身体を用いて前記第１ディスプレイ部に近接又はタッチする入力であり、前記第２ユーザ操作は、入力ペンを用いて前記第２ディスプレイ部に近接又はタッチする入力であり得る。
【００１５】
上記目的を達成するためになされた本発明の一態様によるマルチディスプレイ方法は、第１ディスプレイ部が配置された第１ボディと、第２ディスプレイ部が配置された第２ボディと、前記第１ボディ及び前記第２ボディを連結して回転自在に支持するヒンジ部とを備えるマルチディスプレイ装置のマルチディスプレイ方法であって、前記第１ディスプレイ部及び前記第２ディスプレイ部が各々非構造化の第１画面及び第２画面を表示するステップと、前記第１画面内の非決定的な位置で行われる第１ユーザ操作及び前記第２画面内の非決定的な位置で行われる第２ユーザ操作を各々検知するステップと、前記検知された第１ユーザ操作及び第２ユーザ操作を組み合わせて該組み合わせ結果に対応する動作を行うステップと、を有する。
【００１６】
前記組み合わせ結果に対応する動作を行うステップは、前記第１ユーザ操作に応じて前記第２ユーザ操作にマッチングする機能を変更するステップと、前記第２ユーザ操作が検知された場合、前記変更された機能に応じて前記第２ユーザ操作に対応する動作を行うステップと、を含み得る。
前記第２ユーザ操作はドラッグによる線の入力であり、前記第２ユーザ操作にマッチングする機能を変更するステップは、前記第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、前記入力された線の太さを増加させ、前記第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、前記入力された線の太さを減少させ、前記第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、前記入力された線の質感を変更させ得る。
前記組み合わせ結果に対応する動作を行うステップは、前記第１ユーザ操作がタッチ＆ホールド入力であり、第２ユーザ操作がタッチ入力であり、前記第１ユーザ操作及び前記第２ユーザ操作が同時に検知された場合、前記第２ユーザ操作に対応するメニューを表示し得る。
前記組み合わせ結果に対応する動作を行うステップは、前記第１ユーザ操作が検知された場合、前記第１ユーザ操作に応じて前記第２ディスプレイ部に表示された前記第２画面を変更するステップと、前記第２ユーザ操作が検知された場合、前記第１ユーザ操作によって変更されて表示された前記第２画面を第２ユーザ操作に応じて変更するステップと、を含み得る。
前記第２画面を変更するステップは、前記第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を拡大し、前記第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を縮小し、前記第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、前記第２ディスプレイ部に表示された前記第２画面を回転させ得る。
前記組み合わせ結果に対応する動作を行うステップは、前記第１ユーザ操作が検知された場合、前記第１ディスプレイ部に表示されたコンテンツを抽出するステップと、前記第２ユーザ操作が検知された場合、前記第２ディスプレイ部上に前記抽出されたコンテンツに対応する第２画面を表示するステップと、を含み得る。
前記第１ディスプレイ部に表示されたコンテンツを抽出するステップは、前記第１ユーザ操作に応じて前記第１ディスプレイ部に表示された第１画面をキャプチャし、前記第２ディスプレイ部上に抽出されたコンテンツに対応する第２画面を表示するステップは、前記第２ディスプレイ部で前記第２ユーザ操作が行われた位置に前記キャプチャされた第２画面を表示し得る。
【００１７】
上記目的を達成するためになされた本発明の他の態様によるマルチディスプレイ方法は、第１ディスプレイ部が配置された第１ボディと、第２ディスプレイ部が配置された第２ボディと、前記第１ボディ及び前記第２ボディを連結して回転自在に支持するヒンジ部とを備えるマルチディスプレイ装置のマルチディスプレイ方法であって、前記第１ディスプレイ部及び前記第２ディスプレイ部が非構造化の第１画面及び第２画面を各々表示した場合、前記第１画面の非決定的な位置で行われる第１ユーザ操作及び前記第２画面の非決定的な位置で行われる第２ユーザ操作を検知するステップと、前記検知された第１ユーザ操作及び第２ユーザ操作を連結して１つのユーザジェスチャーとして認識し、前記１つのユーザジェスチャーに対応する実行画面を前記第１ディスプレイ部及び前記第２ディスプレイ部のうちの少なくとも一方に表示するステップと、を有する。
【００１８】
前記第１ユーザ操作は、ユーザの身体を用いて前記第１ディスプレイ部に近接又はタッチする入力であり、前記第２ユーザ操作は、入力ペンを用いて前記第２ディスプレイ部に近接又はタッチする入力であり得る。
【発明の効果】
【００１９】
本発明によれば、マルチディスプレイ装置の各ディスプレイ部を介して構造化されていない独立した入力を行い、各入力を組み合わせて対応する出力を行うことができるようになる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態によるマルチディスプレイ装置の構成を示すブロック図である。
【図２】本発明の一実施形態によるマルチディスプレイ装置の動作を示すフローチャートである。
【図３】構造化された画面の多様な例を示す図である。
【図４】第１ユーザ操作があった場合に、第２ユーザ操作にマッチングする機能を変更するマルチディスプレイ装置の動作を説明するフローチャートである。
【図５】図４の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図６】図４の他の実施形態を示すフローチャートである。
【図７】図６の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図８】図４の更に他の実施形態を示すフローチャートである。
【図９】図８の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図１０】図２の具体的な他の実施形態を示すフローチャートである。
【図１１】図１０の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図１２】本発明の多様な実施形態によるマルチディスプレイ装置の動作を説明するフローチャートである。
【図１３】図１２の具体的な一実施形態を示すフローチャートである。
【図１４】図１３の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図１５】図１２の具体的な他の実施形態を示すフローチャートである。
【図１６】図１５の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図１７】図１２の具体的な更に他の実施形態を示すフローチャートである。
【図１８】図１７の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図１９】本発明の多様な実施形態によるマルチディスプレイ装置の動作を説明するフローチャートである。
【図２０】図１９の具体的な一実施形態を示すフローチャートである。
【図２１】図２０の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図２２】図２０の実施形態によるマルチディスプレイ装置のディスプレイ画面の他の例を示す図である。
【図２３】図２０の実施形態によるマルチディスプレイ装置のディスプレイ画面の更に他の例を示す図である。
【図２４】図１９の具体的な他の実施形態を示すフローチャートである。
【図２５】図２４の実施形態によるマルチディスプレイ装置のディスプレイ画面の一例を示す図である。
【図２６】本発明の多様な実施形態によるマルチディスプレイ装置の構成を説明するブロック図である。
【図２７】制御部のハードウェア構成を示すブロック図である。
【図２８】本発明の一実施形態によるマルチディスプレイ装置のシステム階層構造を説明する図である。
【図２９】第１ディスプレイ部又は第２ディスプレイ部の映像出力部の回路構成を示す図である。
【図３０】図２９の表示パネル内のＲ、Ｇ、Ｂ画素を構成する回路構造を説明する図である。
【図３１】タッチスクリーン部を含む第１ディスプレイ部又は第２ディスプレイ部の断面図である。
【図３２】本発明の一実施形態によるマルチディスプレイ装置のディスプレイ駆動部を示すブロック図である。
【図３３】本発明の他の実施形態によるディスプレイ駆動部の構成を示すブロック図である。
【図３４】本発明の一実施形態による近接タッチを説明するための図である。
【図３５】本発明の一実施形態によるマルチディスプレイ装置の細部斜視図である。
【図３６】本発明の一実施形態によるマルチディスプレイ装置のヒンジ部を基準に多様に変形された状態を示す斜視図である。
【図３７】本発明の一実施形態によるマルチディスプレイ装置のヒンジ部を基準に多様に変形された状態を示す斜視図である。
【図３８】本発明の一実施形態によるマルチディスプレイ装置のヒンジ部を基準に多様に変形された状態を示す斜視図である。
【図３９】本発明の一実施形態によるマルチディスプレイ装置が多様な方向に立てられたスタンディング状態を示す斜視図である。
【図４０】本発明の一実施形態によるマルチディスプレイ装置が多様な方向に立てられたスタンディング状態を示す斜視図である。
【図４１】本発明の一実施形態によるマルチディスプレイ装置の２つのカメラ配置を説明する図である。
【図４２】本発明の一実施形態によるマルチディスプレイ装置の２つのカメラ配置を説明する図である。
【図４３】本発明の多様な実施形態によるマルチディスプレイ方法を示すフローチャートである。
【図４４】本発明の多様な実施形態によるマルチディスプレイ方法を示すフローチャートである。
【図４５】本発明の多様な実施形態によるマルチディスプレイ方法を示すフローチャートである。
【図４６】本発明の多様な実施形態によるマルチディスプレイ方法を示すフローチャートである。
【図４７】本発明の多様な実施形態によるマルチディスプレイ方法を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。本発明を説明する上で、関連する公知機能或いは構成に対する具体的な説明が本発明の要旨を不必要に曖昧にすると判断される場合、その詳細な説明を省略する。そして、後述する用語は、本発明における機能を考慮して定義した用語として、それはユーザや運用者の意図又は慣例等によって異なってもよい。そのため、その定義は、本明細書の内容の全般に基づいて判断すべきである。
【００２２】
本明細書で、マルチディスプレイ装置は、１つ或いはそれ以上のタッチスクリーンで構成されたディスプレイを備え、アプリケーションを実行したり、コンテンツを表示したりするように構成され、例えば、タブレットパーソナルコンピュータ（ＰＣ）、携帯用マルチメディア再生装置（ＰＭＰ）、個人用の携帯情報端末（ＰＤＡ）、スマートフォン、携帯電話、デジタルフォトフレーム等を含む。以下、セルラーフォン或いはスマートフォンで構成されるマルチディスプレイ装置に対して本発明の実施形態を説明するが、本発明がこのような構成に限定されないことに留意すべきである。
【００２３】
図１は、本発明の一実施形態によるマルチディスプレイ装置１００の構成を示すブロック図であり、図２は、本発明の一実施形態によるマルチディスプレイ装置１００の動作を示すフローチャートである。
【００２４】
図１を参照すると、本発明の一実施形態によるマルチディスプレイ装置１００は、第１ボディ２、第２ボディ４、ヒンジ部１８５、センサ部１５０、及び制御部１３０を含む。
【００２５】
第１ボディ２は、マルチディスプレイ装置１００の第１ディスプレイ部１９０ａを含む。なお、図１に示すように、第１ボディ２は、後述するセンサ部１５０及び制御部１３０を含む。他の例として、センサ部１５０及び制御部１３０は、第２ボディ４に含まれても構わない。その他にも、第１ボディ２は、第１ディスプレイ部１９０ａを駆動するための回路部品（図示せず）とこれらを収容するためのベゼル（図示せず）を更に含むが、説明の便宜上、それ以上の具体的な構成及び説明は省略する。
【００２６】
第２ボディ４は、マルチディスプレイ装置１００の第２ディスプレイ部１９０ｂを含む。その他にも、第２ボディ４は、第２ディスプレイ部１９０ｂを駆動するための回路部品（図示せず）とこれらを収容するためのベゼル（図示せず）を含む。回路部品は、第１ボディ２又は第２ボディ４の何れか一方に含まれるか又は双方にそれぞれ含まれる。第１ボディ２及び第２ボディ４は、後述するヒンジ部によって相互に連結される。
【００２７】
ヒンジ部１８５は、第１ボディ２と第２ボディ４とを連結して回転するように支持する。具体的に、ヒンジ部１８５は、第１ボディ２と第２ボディ４とが相互に連結されるように第１ボディ２と第２ボディ４とを物理的に結合し、結合された状態で、第１ボディ２及び第２ボディ４が各々回転するシャフトの役割を担う。第１及び第２ボディ２、４と、ヒンジ部１８５の外観構成については、図面を参照しながら具体的に後述する。他の例として、ヒンジ部１８５は、後述の構造以外にフレキシブルな連結部、或いはフレキシブルなタッチスクリーンの一部として具現可能である。
【００２８】
センサ部１５０は、ユーザ操作を検知する。例えば、ディスプレイ部１９０ａ、１９０ｂを介してユーザオブジェクトのタッチ入力があった場合、タッチ入力の位置（座標）と入力の種類を検知する役割を行う。特に、センサ部１５０は、図２に示すように、第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂが非構造化の第１画面及び第２画面を各々表示して第１画面の非決定的な位置で行われる第１ユーザ操作及び第２画面の非決定的な位置で行われる第２ユーザ操作を検知する。
【００２９】
構造化とは、ユーザが選択可能な各種メニューやその他のオブジェクトが予め設定されたレイアウトに応じて配置された状態を意味する。即ち、構造化された画面は、このようなレイアウトによって構造化されたインターフェースを提供する画面である。構造化された画面の例として、図３に示すように、多様な種類の図形模様のテンプレート３１０や、数字やテキストデータの入力が可能なキーパッド３２０、ツールバー３３０、メニューボタン３４０、スクロールバー３５０等が表示された画面がある。ユーザは、画面上の予め設定された位置にあるメニューのボタンを軽くタッチしたり、タッチした状態で動かしたりする動作（ドラッグ）等で入力を行うことができる。一方、非構造化の画面とは、構造化されたインターフェースを提供していない画面を意味する。構造化されていない画面が表示された状態では、ユーザは、単に画面の非決定的な位置をドラッグしたり、予め設定された時間の間タッチしたりして（タッチ＆ホールド入力）入力を行うことができる。後述する表１〜３において、多様なユーザ入力類型について説明する。
【００３０】
ここで、非決定的な位置とは、画面上の任意の位置を意味する。言い換えると、非決定的な位置は、ディスプレイ部の画面上のどの位置で入力を行っても、同様の結果を得ることができる場合の位置を意味する。
【００３１】
本発明の多様な実施形態において、センサ部１５０は、ユーザオブジェクトがマルチディスプレイ装置１００にタッチ又は近接しているか否かと、タッチ又は近接が行われた位置とを検知する。なお、ユーザオブジェクトがユーザの身体である場合と入力ペン２００の場合とを区別することもできる。上述の内容を裏付ける技術的手段については、本明細書の後半で詳細に説明する。
【００３２】
制御部１３０は、第１ユーザ操作及び第２ユーザ操作を組み合わせて、その組み合わせ結果に対応する制御動作を行う。例えば、第１ディスプレイ部１９０ａにタッチ入力があって、第２ディスプレイ部１９０ｂに近接入力があった場合、制御部１３０は、タッチ入力と近接入力の各々に対応する動作を行うこともできるが、タッチ入力と近接入力とを組み合わせ、その組み合わせ結果に対応する演算を行う。そして、第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂのうちの少なくとも一方の演算結果に該当する情報を表示する。制御部１３０の詳細な動作については、以下で実施形態別に説明を進め、制御部１３０を構成する技術的手段については、詳細に後述する。
【００３３】
＜入力類型＞
【００３４】
先ず、後述の実施形態で使用する多様な入力類型について説明する。ここで、ユーザオブジェクトを利用した入力としては、タッチ及びモーション等がある。ユーザオブジェクトは、指先や手のひらのようなユーザの身体の一部か、入力ペン２００のようなその他の物体である。入力ペン２００は、金属のような伝導性物体からなってもよいが、その他の物体でも行われる。例えば、入力ペン２００が磁場コイルを含み、マルチディスプレイ装置１００が磁場センサを備える形態で具現される。
【００３５】
磁場コイルを含む入力ペン２００もユーザオブジェクトである。このように、ユーザオブジェクトは、マルチディスプレイ装置１００が接触又は予め設定範囲内の存在を認識することができる全種類の物体又は身体を含む。これらは、独自で使用されてもよく、併用されてもよい。
【００３６】
タッチは、マルチディスプレイ装置１００に上述のユーザオブジェクトが接触した場合、その接触があったことを認識する入力類型を意味する。例えば、左手と右手との指先（特に、人差し指）、親指、又はタッチスクリーンによって検知可能なユーザオブジェクト（例えば、スタイラスペン）を用いて、タッチスクリーン上の１つの位置或いは連続した複数の位置に接触するユーザの動作である。タッチを認識するための技術的手段については後述する。
【００３７】
近接とは、マルチディスプレイ装置１００を直接タッチするか、又はボタンを押圧せずにマルチディスプレイ装置１００の予め設定された範囲内にユーザオブジェクトを位置させる場合、予め設定された入力があったと認識する入力類型を意味する。本発明の多様な実施形態は、上述の近接とタッチとを区別することを前提とする。近接を認識するための技術的手段については、詳細に後述する。
【００３８】
モーションとは、マルチディスプレイ装置１００に接近した状態で予め設定された識別可能な動きがある場合、予め設定された入力があったと認識する入力類型を意味する。モーションは、広い範囲で近接に含まれるため、ここでは詳細な説明を省略する。
【００３９】
以下の表を参照し、本発明で使用する多様な入力類型について説明する。以下、タッチを中心に説明を進めるが、近接の場合も同様の基準で入力類型を分けることができる。なお、上述のように、ユーザオブジェクトはユーザの身体の一部又は入力ペン２００である。
【００４０】
【表１】
2014078234.tif 000003
【００４１】
表１は、１本の指を用いたジェスチャータイプの説明である。
【００４２】
表１を参照すると、１本の指を用いたジェスチャータイプには、タップ（Ｔａｐ）、タッチ＆ホールド（Ｔｏｕｃｈ＆Ｈｏｌｄ）、ダブルタップ（Ｄｏｕｂｌｅ  Ｔａｐ）、ドラッグ（Ｄｒａｇ）、ドラッグ＆ドロップ（Ｄｒａｇ＆Ｄｒｏｐ）、及びフリック（Ｆｌｉｃｋ）等がある。タップ（Ｔａｐ）とは、ユーザがユーザオブジェクトをタッチスクリーンに予め設定された時間内に接触してから離す動作を意味し、タッチ＆ホールド（Ｔｏｕｃｈ＆Ｈｏｌｄ）とは、ユーザオブジェクトがタッチスクリーンに予め設定された時間以上タッチされる動作であり、ダブルタップ（Ｄｏｕｂｌｅ  Ｔａｐ）とは、ユーザが予め設定された時間内にスピーディーに連続して２回タップを行う動作を意味する。そして、ドラッグ（Ｄｒａｇ）とは、タッチが行われた状態で予め設定された方向に動かす動作であり、ドラッグ＆ドロップ（Ｄｒａｇ＆Ｄｒｏｐ）とは、タッチスクリーン上の任意のオブジェクトをタッチした後、ドラッグを行って予め設定された位置まで動かした後にタッチスクリーンから離す動作である。フリック（Ｆｌｉｃｋ）とは、素早くドラッグする動作である。
【００４３】
【表２】
2014078234.tif 000004
【００４４】
表２は、２本の指を用いたジェスチャータイプの説明である。なお、以下では、ユーザオブジェクトの一例として指を説明しているが、他のユーザオブジェクトが使用される場合も同様の動作で定義される。
【００４５】
表２を参照すると、２本の指を用いたジェスチャータイプには、ツーフィンガータップ（Ｔｗｏ  ｆｉｎｇｅｒ  Ｔａｐ）、タッチ＆スプレッド（Ｔｏｕｃｈ＆Ｓｐｒｅａｄ）、ピンチアウト（Ｐｉｎｃｈ  Ｏｕｔ）、ピンチイン（Ｐｉｎｃｈ  Ｉｎ）、ツーフィンガードラッグ（Ｔｗｏ  ｆｉｎｇｅｒ  Ｄｒａｇ）、クロスツーフィンガー（Ｃｒｏｓｓ  Ｔｗｏ  Ｆｉｎｇｅｒ）、及びタッチ＆ローテート（Ｔｏｕｃｈ＆Ｒｏｔａｔｅ）等がある。ツーフィンガータップとは、２本の指で同時にタップする動作であり、タッチ＆スプレッドとは、２本の指で同時にタッチスクリーンを押圧し、片方の指は動かさずに、もう片方のみを直線で動かす動作である。ピンチアウトとは、同時に２本の指でタッチスクリーンをタッチした後、相互に離れる方向にドラッグする動作であり、ピンチインとは、同時に２本の指でタッチスクリーンをタッチした後、相互に近づく方向にドラッグする動作である。ツーフィンガードラッグとは、２本の指で同一の方向にドラッグする動作であり、クロスツーフィンガーとは、相互に近づく方向に同時にドラッグし、クロスして再び相互に離れる方向にドラッグする動作である。最後に、タッチ＆ローテートとは、片方の指がタッチスクリーンにタッチされた状態で（タッチ＆ホールド）動かさずに、他方のみが固定された１本の指を中心にタッチスクリーンにタッチされた状態で回転する動作を意味する。
【００４６】
【表３】
2014078234.tif 000005
【００４７】
表３は、２本以上の指を用いたジェスチャー及び手のひらを用いたジェスチャータイプの説明である。
【００４８】
表３を参照すると、２本以上の指を用いたジェスチャータイプには、スリーフィンガータッチ、フォーフィンガータッチ、ファイブフィンガータッチ等がある。なお、２本以上の指を用いて上述の表１、表２のように、タップ、ドラッグ、ローテートのようなジェスチャー動作を行うことができる。
【００４９】
センサ部１５０は、上述の表１〜３の各々の入力類型を識別し、識別情報を制御部１３０に伝達する。上述の各入力類型は、独立して検知されて制御部１３０に伝達される。制御部１３０は、センサ部１５０が検知した各入力類型又は複数の入力類型を組み合わせた結果に対応する演算を処理し、第１ディスプレイ部１９０ａ又は第２ディスプレイ部１９０ｂに演算結果に該当する情報を表示する。
【００５０】
上述のマルチディスプレイ装置１００の動作は、図２のフローチャートによって行われる。
【００５１】
即ち、先ず、第１ディスプレイ部及びディスプレイ部が構造化されていない第１画面及び第２画面を各々表示する（ステップＳ２１０）。このような状態で、マルチディスプレイ装置１００は、第１画面内で非決定的な位置で行われる第１ユーザ操作及び第２画面内で非決定的な位置で行われる第２ユーザ操作を各々検知する（ステップＳ２２０、ステップＳ２３０）。図２では、第１ユーザ操作検知が先に行われ、第２ユーザ操作検知が次に行われるものとして示したが、第１及び第２ユーザ操作検知は個別に行われて検知される。第１及び第２ユーザ操作が各々検知されると、マルチディスプレイ装置１００は、検知された第１ユーザ操作及び第２ユーザ操作を組み合わせ（ステップＳ２４０）、その組み合わせ結果に対応する１つ又は２つ以上の動作を行う（ステップＳ２５０）。ユーザ操作の組み合わせによって行われる動作は、実施形態に応じて多様に具現される。
【００５２】
以下、非決定的な位置で第１及び第２ユーザ操作によって行われる動作の多様な例について説明する。
【００５３】
＜ユーザ操作のためのセッティングプロセスを短縮する実施形態＞
【００５４】
先ず、マルチディスプレイ装置１００の第１ディスプレイ部１９０ａを介して第１ユーザ操作があった場合、第２ユーザ操作にマッチングする機能を変更する実施形態を説明する。
【００５５】
従来、或る作業を行うためにディスプレイ部にユーザ操作を行う場合、ユーザ操作にマッチングする機能を設定する必要があった。例えば、ディスプレイ部の画面上でユーザ操作に応じて線を引く作業を行う場合、状況に応じて、線の太さを調節する必要が生じる。このとき、構造化されたインターフェースを介して線の太さを調節するためのメニュー画面に切り替え、線の太さを調節することができる。しかし、このような作業は手間がかかり、ユーザ操作にマッチングする機能の変更が頻繁な場合、不都合が生じることがある。よって、ユーザ操作のためのセッティングプロセスを短縮する方策が求められる。
【００５６】
図４は、第１ユーザ操作があった場合に、第２ユーザ操作にマッチングする機能を変更するマルチディスプレイ装置１００の動作を説明するフローチャートであり、図５は、図４の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の一例を示す図である。
【００５７】
図４を参照すると、先ず、センサ部１５０は、第１ディスプレイ部１９０ａ又は第２ディスプレイ部１９０ｂでタッチされる地点をセンシングし、制御部１３０に通知する。制御部１３０は、タッチ地点の数及び位置に応じてピンチイン又はピンチアウトが行われたかを判断する（ステップＳ４１０）。ピンチアウトとは、ユーザが２本の指で画面をタッチした後、タッチ地点を広げる動作を意味し、ピンチインとは、２本の指で画面をタッチした後、タッチ地点を縮める動作を意味する。制御部１３０は、２つ以上の地点からタッチが検知され、検知された座標間の直線距離が増加するとピンチアウトと判断し、減少するとピンチインと判断する。ピンチイン、ピンチアウトが上述の第１ユーザ操作である。
【００５８】
制御部１３０は、判断されたピンチ入力に対応する動作を行う。即ち、図４に示すように、ピンチ入力に応じて線の太さを調節したり、透明度やその他の属性を変更したりする。
【００５９】
このような状態で、他のディスプレイ部の非決定的な位置でドラッグが行われると、制御部１３０はセンサ部１５０を介してドラッグ経路を検知する（ステップＳ４２０、ステップＳ４３０）。ここでのドラッグは、上述の第２ユーザ操作である。
【００６０】
制御部１３０は、ドラッグ経路に沿って線を表示する動作を行う（ステップＳ４４０）。この場合、線の太さや透明度等のような表示属性は、第１ユーザ操作によって決定された属性が使用される。
【００６１】
図５（１）は、線の太さを調節する状態を説明する図である。
【００６２】
図５（１）によると、左側に位置する第１ディスプレイ部１９０ａは構造化されていない第１画面を表示し、センサ部１５０は第１画面の非決定的な位置で第１ユーザ操作を検知する。後述するように、このような動作は、タッチセンサによって行われる。そして、右側に位置する第２ディスプレイ部１９０ｂも構造化されていない第２画面を表示する。
【００６３】
図５に示すように、ユーザは、第１ディスプレイ部１９０ａで、指を用いてピンチイン又はピンチアウトのようなタッチ入力を行う。それと同時に、ユーザは、第２ディスプレイ部１９０ｂで、入力ペン２００や自分の指、その他のオブジェクト等を用いてタッチ入力を行う。説明の便宜上、図５では、入力ペン２００を使用する場合に限定して示しており、以下で説明する多様な実施形態においても、一側のディスプレイ部に対して入力ペン２００を用いて操作し、他側のディスプレイ部に対しては、ユーザの身体を用いて操作する場合に限定して説明する。しかし、上述のように、両ディスプレイ部の全てに対して入力ペン２００を用いて操作するか又はユーザの身体のみを用いて操作することもできる。以下、具体的な状況と説明の便宜性を考慮して説明するが、説明する実施形態は上述の全種類の操作方法で行われ得る。
【００６４】
図５（１）の実施形態において、制御部１３０は、左側のディスプレイ部に指を用いてピンチインによるタッチ入力がある場合、右側のディスプレイ部に対する入力ペン２００（又は、ユーザの身体）の入力経路によって変換された長さに応じて線を表示する。従って、右側のディスプレイ部上の入力ペン２００のドラッグ経路に沿って次第に細くなる線が表示される。一方、左側のディスプレイ部に指を用いてピンチアウトによるタッチ入力がある場合、制御部１３０は、右側のディスプレイ部に対する入力ペン２００の入力経路によって変換された長さに応じて線を表示する。それにより、右側のディスプレイ部上の入力ペン２００のドラッグ経路に沿って次第に太くなる線が表示される。
【００６５】
図５（２）は、（１）と類似する実施形態として、第１ユーザ操作がピンチイン又はピンチアウトによるタッチ入力である場合、第２ユーザ操作によって出力される線の透明度を変更するマルチディスプレイ装置１００の動作を示している。例えば、第１ユーザ操作がピンチインによるタッチ入力である場合、第２ユーザ操作によって入力ペン２００によって第２ディスプレイ部１９０ｂに線を引く作業を行うと、入力ペン２００によって引かれる線の透明度が低くなる。一方、第１ユーザ操作がピンチアウトによるタッチ入力である場合、入力ペン２００によって引かれる線の透明度が高くなる。勿論、ピンチインとピンチアウトとに対応する出力は、互いに逆になるように設定されても構わない。
【００６６】
このような実施形態において、ユーザはマルチディスプレイ装置１００の第１ディスプレイ部１９０ａに簡単にピンチイン又はピンチアウトによるタッチ入力のみで第２ディスプレイ部１９０ｂに対する入力表現の厚さや透明度を変更することができる。即ち、第２ユーザ操作にマッチングする機能を変更するために、別途の構造化されたインターフェースを用いていくつかの段階の操作を行う必要がない。ユーザは、構造化されていない画面上の或る地点に入力を行うことで、ユーザ操作に対応する機能を簡単に変更することができる。
【００６７】
図６は、図４の他の実施形態を示すフローチャートであり、図７は、図６の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の一例を示す図である。
【００６８】
図６を参照すると、センサ部１５０は、タッチ＆ホールドによるタッチ入力、即ち第１ディスプレイ部１９０ａに最初にタッチが行われ、接触が離れていない状態で予め設定された時間以上維持された第１ユーザ操作を検知する（ステップＳ６１０）。即ち、第１ディスプレイ部１９０ａは、構造化されていない第１画面を表示し、センサ部１５０は、第１画面の非決定的な位置でタッチ＆ホールドによるタッチ入力があったことを検知する。今後説明するように、このような動作はタッチセンサによって行われる。
【００６９】
この場合、制御部１３０は、第１ユーザ操作が第２ユーザ操作に対応するツールを変更するためのものとして認識し、第２ユーザ操作はドラッグ経路に沿って入力を行うための動作として認識する（ステップＳ６２０、ステップＳ６３０）。そして、ドラッグ経路に沿って、変更された道具による入力を行う（ステップＳ６４０）。図７の実施形態において、制御部１３０は、左側のディスプレイ部に指を用いてタッチ＆ホールドによるタッチ入力があった場合、右側のディスプレイ部に対する入力ペン２００の入力に対応するツールを消しゴムに変更する。そして、右側のディスプレイ部上の入力ペン２００のドラッグ経路に沿って消しゴム入力があったことを認識し、経路上にある表示を削除する。
【００７０】
これと異なり、ユーザが第１ディスプレイ部１９０ａに対するタッチ＆ホールド入力を中止した場合、即ち、手をディスプレイ部１９０ａから離した場合、センサ部１５０は、それ以上、第１ユーザ操作を検知することなく、第２ユーザ操作のみを検知するため、制御部１３０は第２ユーザ操作に対応する動作のみを行う。図６の実施形態において、入力ペン２００の入力に対応するツールが消しゴムから元のツールに戻り、元のツールによって入力が行われる。
【００７１】
このような実施形態において、ユーザはマルチディスプレイ装置１００の第１ディスプレイ部１９０ａに簡単にタッチ＆ホールドによるタッチ入力のみで第２ディスプレイ部１９０ｂに対する入力のツールを変えることができる。即ち、第２ユーザ操作にマッチングする機能を変更するために、別途の構造化されたインターフェースを用いていくつかの段階の操作を行う必要がない。ユーザは、構造化されていない画面上の或る地点に入力を行うことで、ユーザ操作に対応する機能を簡単に変更することができる。
【００７２】
図８は、図４の更に他の実施形態を示すフローチャートであり、図９は、図８の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の一例を示す図である。
【００７３】
図８を参照すると、先ず、センサ部１５０は、ローテーションによるタッチ入力、即ち第１ディスプレイ部１９０ａに最初にタッチが行われ、一方向に回転によるドラッグが行われる第１ユーザ操作を検知する（ステップＳ８１０）。即ち、第１ディスプレイ部１９０ａは、構造化されていない第１画面を表示し、センサ部１５０は、第１画面の非決定的な位置でローテーションによるタッチ入力があったことを検知する。
【００７４】
第１ユーザ操作が検知された後、第２ディスプレイ部１９０ｂに対するドラッグによるタッチ入力が行われる第２ユーザ操作を検知する（ステップＳ８２０）。ここで、ドラッグによるタッチ入力は入力ペン２００によって行われる。図９の実施形態において、入力ペン２００を用いて右側のディスプレイ部にドラッグ入力を行う。
【００７５】
この場合、制御部１３０は、第１ユーザ操作が第２ユーザ操作によって表示される線の質感を変更するためのものとして認識し、第２ユーザ操作はドラッグ経路に沿って入力を行うための動作として認識する。そして、両者を組み合わせてドラッグ経路に沿って質感を変化させた線の入力として認識する（ステップＳ８３０）。
【００７６】
ここで、質感とは、材質の特性が表示されることを意味する。例えば、エンボシング（ｅｍｂｏｓｓｉｎｇ）の場合、突出部分と陥入部分とが交互に存在して、各々陽刻と陰刻との形態で写るように表示することを意味する。他の例として、細い筆のタッチを表現するか又は太い筆のタッチを表現するものであってもよい。
【００７７】
図９のように、第１ユーザ操作が一方向のローテーション（例えば、時計回り）によるタッチ入力である場合、入力ペン２００によって第２ディスプレイ部１９０ｂに表示される線又は点の質感が変更される（ステップＳ８４０）。一方、第１ユーザ操作が他方向のローテーション（例えば、反時計回り）によるタッチ入力である場合、入力ペン２００によって表示される線又は点の質感は元の状態に戻るか又は他の形態に変形される。例えば、一方向のローテーションの第１ユーザ操作がある場合、入力ペン２００によって第２ディスプレイ部１９０ｂに表示される線又は点が水彩画的な筆遣いで表現され、他方向のローテーションの第１ユーザ操作がある場合、元の状態に戻るか又はより繊細な筆遣いの効果が施されるように表現される。但し、このような動作は、一実施形態に過ぎず、多様な質感の表現が可能である。
【００７８】
＜ツールメニューディスプレイを具現した実施形態＞
【００７９】
図１０は、図２の具体的な他の実施形態を示すフローチャートであり、図１１は、図１０の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の一例を示す図である。
【００８０】
マルチディスプレイ装置１００にタッチ入力を通じて絵を描く作業を行うか又は特定のツールを選択して作業を行う場合、ツールに対する設定を変更する必要が生じる。図１０及び１１は、このような場合に、手軽にツールに対するメニューを表示することができる方法を示すものである。
【００８１】
図１０を参照すると、先ず、センサ部１５０は、タッチ＆ホールドによるタッチ入力、即ち第１ディスプレイ部１９０ａに最初にタッチが行われ、予め設定された時間以上タッチが持続された第１ユーザ操作を検知する（ステップＳ１０１０）。即ち、第１ディスプレイ部１９０ａは、構造化されていない第１画面を表示し、制御部１３０は、センサ部１５０を用いて第１画面の非決定的な位置でタッチ＆ホールドによるタッチ入力があったことを検知する。タッチ＆ホールド状態が解除されていない状態で、第２ディスプレイ部１９０ｂに対するタップによるタッチ入力が行われる第２ユーザ操作を検知する（ステップＳ１０２０）。即ち、第２ディスプレイ部１９０ｂも構造化されていない第２画面を表示し、センサ部１５０は、第２画面の非決定的な位置でタッチ入力があることを検知する。ここで、タップによるタッチ入力は、図１１のように入力ペン２００によって行われる。
【００８２】
この場合、制御部１３０は、ツールに対する設定を変更するメニュー１１１０を表示する（ステップＳ１０３０）。逆に、ツールを設定するメニュー１１１０が表示された状態で、タッチ＆ホールドによる第１ユーザ操作を行い、その状態で、第２ディスプレイ部１９０ｂにタッチを行う第２ユーザ操作がある場合、既に表示されているツールに対する設定を変更するメニュー１１１０が画面から消える。
【００８３】
図１１を参照し、より詳細に説明すると、ユーザが入力ペン２００で絵を描いている途中で、左側のディスプレイ部に手でタッチ＆ホールド入力を行い、その状態で、右側のディスプレイ部に入力ペン２００でタッチをすると（１）、入力ペン２００に対応するツールを設定するメニュー１１１０が右側のディスプレイ部に表示される（２）。ユーザは、メニュー１１１０を介して入力ペン２００に対応するツールに対して設定する。例えば、入力ペン２００に対応するツールが色鉛筆である場合、色鉛筆の色、太さを調節する。そして、再び左側のディスプレイ部に手でタッチ＆ホールド入力を行い、その状態で、右側のディスプレイ部に入力ペン２００でタッチすると（３）、入力ペン２００に対応するツールを設定するメニュー１１１０が右側のディスプレイ部から消える（４）。
【００８４】
このように、複雑なオプション設定動作を経ることなく、入力ペン２００に対して機能を与えて使用することができる。
【００８５】
＜第１ユーザ操作によって第２ディスプレイ部の表示を変更する実施形態＞
【００８６】
以下、マルチディスプレイ装置１００の第１ディスプレイ部１９０ａを介して入力が検知される場合の第２ディスプレイ部１９０ｂの表示を変更するマルチディスプレイ装置１００の多様な動作について説明する。
【００８７】
図１２は、本発明の多様な実施形態によるマルチディスプレイ装置１００の動作を説明するフローチャートである。
【００８８】
図１２を参照すると、マルチディスプレイ装置１００のセンサ部１５０は、第１ディスプレイ部１９０ａ上の任意の地点で第１ユーザ操作を検知する（ステップＳ１２１０）。即ち、第１ディスプレイ部１９０ａが構造化されていない第１画面を表示した状態で、ユーザが第１画面の非決定的な位置をタッチして第１ユーザ操作を入力する。センサ部１５０によってタッチ地点が検知されると、制御部１３０は、検知された第１ユーザ操作に応じて第２ディスプレイ部１９０ｂに表示された画面を変更して表示する（ステップＳ１２２０）。画面変更動作は、第１ユーザ操作の類型に応じて多様に実現される。例えば、第１ユーザ操作が如何なる形態で行われるかによって、前の画面に復帰する動作、次の画面に切り替わる動作、メイン画面に復帰する動作等が選択的に行われる。
【００８９】
このような状態で、ユーザが第２ディスプレイ部１９０ｂをタッチする第２ユーザ操作を行うと、センサ部１５０は第２ユーザ操作を検知し（ステップＳ１２３０）、制御部１３０は、第１ユーザ操作によって変更されて表示された画面を第２ユーザ操作によって変更して第２ディスプレイ部１９０ｂに表示する（ステップＳ１２４０）。
【００９０】
以下、図１２の実施形態をより具体的に説明する。図１３は、図１２の具体的な一実施形態を示すフローチャートであり、図１４は、図１３の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の一例を示す図である。
【００９１】
図１３を参照すると、マルチディスプレイ装置１００のセンサ部１５０が第１ディスプレイ部１９０ａ上でドラッグのような第１ユーザ操作を検知すると（ステップＳ１３１０）、制御部１３０は、検知された第１ユーザ操作に応じて第２ディスプレイ部１９０ｂに表示された画面を、前に作業していた画面に変更して表示する（ステップＳ１３２０）。このような状態で、センサ部１５０によって第２ディスプレイ部１９０ｂでタップのような第２ユーザ操作が検知されると（ステップＳ１３３０）、制御部１３０は、第２ディスプレイ部１９０ｂに表示された前に作業していた画面を第２ユーザ操作結果に応じて変更して表示する（ステップＳ１３４０）。
【００９２】
図１４の例で、左側のディスプレイ部で下方にドラッグによるタッチ入力を行うと（１）、（２）、右側のディスプレイ部に保存された絵のうちから前の絵を表示する（３）。そして、表示された絵に対して右側のディスプレイ部上で入力ペン２００により新たな入力を行って絵を修正する等の作業を行う。
【００９３】
それと異なり、左側のディスプレイ部で上方にドラッグによるタッチ入力を行うと（４）、右側のディスプレイ部に現在の絵の後に保存された絵を表示する（５）。左側のディスプレイ部で行われるドラッグによるタッチ入力方向は多様である。一実施形態として、左側のディスプレイ部に左方にドラッグによるタッチ入力があった場合、右側のディスプレイ部に保存された絵のうちから前の絵を表示し、右方にドラッグによるタッチ入力があった場合、保存された絵のうちから現在の右側のディスプレイ部に表示された絵の後の絵を右側のディスプレイ部に表示するように具現される。
【００９４】
図１５は、図１２の具体的な他の実施形態を示すフローチャートであり、図１６は。図１５の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の一例を示す図である。
【００９５】
図１５を参照すると、マルチディスプレイ装置１００のセンサ部１５０が先に第１ディスプレイ部１９０ａ上の任意の地点でピンチイン又はピンチアウトによるタッチ入力を行う第１ユーザ操作を検知すると（ステップＳ１５１０）、制御部１３０は、検知された第１ユーザ操作によって第２ディスプレイ部１９０ｂに表示された画面を縮小又は拡大して表示する（ステップＳ１５２０）。具体的に、第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合、制御部１３０は、ピンチアウト入力によってドラッグが行われる方向及び長さに応じて、第２ディスプレイ部１９０ｂに表示された画面を拡大して表示し、第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合、制御部１３０は、上記ピンチピン入力によってドラッグが行われる方向及び長さに応じて、第２ディスプレイ部１９０ｂに表示された画面を縮小して表示する。そして、制御部１３０は、第２ディスプレイ部１９０ｂにタップによるタッチ入力を行う等の第２ユーザ操作を検知し（ステップＳ１５３０）、この場合、第２ディスプレイ部１９０ｂに表示された縮小又は拡大した画面を第２ユーザ操作結果に応じて変更して表示する（ステップＳ１５４０）。
【００９６】
図１６の例で、左側のディスプレイ部で水平方向にピンチアウトによるタッチ入力を行うと（１）、右側のディスプレイ部に表示された絵をピンチアウト入力によってドラッグが行われる方向及び長さに対応するように拡大して表示する（２）。そして、ユーザは、拡大されて表示された絵に対して、右側のディスプレイ部上で入力ペン２００により新たな入力を行って絵を修正する等の作業を行う。それと異なり、左側のディスプレイ部にピンチインによるタッチ入力を行うと（３）、右側のディスプレイ部に表示された絵を縮小して表示する（４）。
【００９７】
図１７は、図１２の具体的な更に他の実施形態を示すフローチャートであり、図１８は、図１７の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の一例を示す図である。
【００９８】
図１７を参照すると、マルチディスプレイ装置１００のセンサ部１５０が先に第１ディスプレイ部１９０ａ上の任意の地点でタッチ＆ローテートによるタッチ入力を行う第１ユーザ操作を検知すると（ステップＳ１７１０）、制御部１３０は、検知された第１ユーザ操作に応じて第２ディスプレイ部１９０ｂに表示された画面を回転して表示する（ステップＳ１７２０）。具体的に、第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合、制御部１３０は、タッチがある地点を基準に、ローテート方向及び長さに応じて、第２ディスプレイ部１９０ｂに表示された画面を回転させて表示するように制御する。そして、制御部１３０は、第２ディスプレイ部１９０ｂにタップによるタッチ入力を行う等の第２ユーザ操作を検知し（ステップＳ１７３０）、この場合、第２ディスプレイ部１９０ｂに回転された画面を第２ユーザ操作結果に応じて変更して表示する（ステップＳ１７４０）。
【００９９】
図１８の例で、左側のディスプレイ部で真ん中の地点をタッチした状態で、タッチ地点を中心にローテート入力を行うと（又は、タッチ地点で予め設定された位置を中心にローテート入力があると）（１）、（３）、右側のディスプレイ部に表示された絵がタッチ地点に対応する地点を中心にローテート方向及び長さに対応して回転して第２ディスプレイ部１９０ｂに表示される（２）、（４）。ユーザは、回転して表示された絵に対して右側のディスプレイ部上で入力ペン２００により新たな入力を行い、絵を修正する等の作業を行う。この場合、左側のディスプレイ部には、依然として回転していない絵が表示されているため、ユーザは全ての絵の形態及び色を確認しながら、右側のディスプレイ部に回転して表示された絵上に所望の作業を行うことができる。勿論、それと異なり、左側のディスプレイ部に表示された絵を回転することもできる。
【０１００】
＜第１ユーザ操作でコンテンツを抽出して表示する実施形態＞
【０１０１】
以下、第１ユーザ操作によって第１ディスプレイ部１９０ａからコンテンツを抽出し、第２ユーザ操作によって抽出されたコンテンツを第２ディスプレイ部１９０ｂに表示する実施形態について説明する。
【０１０２】
図１９は、本発明の多様な実施形態によるマルチディスプレイ装置１００の動作を説明するフローチャートである。
【０１０３】
図１９を参照すると、マルチディスプレイ装置１００のセンサ部１５０が先に第１ディスプレイ部１９０ａ上の任意の地点で第１ユーザ操作を検知する（ステップＳ１９１０）。即ち、第１ディスプレイ部１９０ａは構造化されていない第１画面を表示し、センサ部１５０は第１画面の非決定的な位置で第１ユーザ操作があったことを検知する。
【０１０４】
制御部１３０は、検知された第１ユーザ操作によって、第１ディスプレイ部１９０ａに表示されたコンテンツを抽出する（ステップＳ１９２０）。そして、センサ部１５０は、第２ディスプレイ部１９０ｂ上の任意の地点に対する第２ユーザ操作を検知する（ステップＳ１９３０）。即ち、第２ディスプレイ部１９０ｂは構造化されていない第２画面を表示し、センサ部１５０は第２画面の非決定的な位置で第２ユーザ操作があったことを検知する。制御部１３０は、第２ユーザ操作によって、第２ディスプレイ部１９０ｂ上に、抽出されたコンテンツに対応する画面を表示する（ステップＳ１９４０）。
【０１０５】
以下、図１９の実施形態を更に具体化した実施形態について説明する。
【０１０６】
図２０は、図１９の具体的な一実施形態を示すフローチャートであり、図２１〜図２３は、図２０の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の多様な例を示す図である。
【０１０７】
図２０を参照すると、先ず、センサ部１５０はタッチ＆ホールドによるタッチ入力、即ち第１ディスプレイ部１９０ａに最初にタッチが行われ、予め設定された時間の間タッチが維持された第１ユーザ操作を検知する（ステップＳ２０１０）。
【０１０８】
制御部１３０は、第１ユーザ操作が検知されると、第１ディスプレイ部１９０ａに表示された画面をキャプチャする（ステップＳ２０２０）。
【０１０９】
第１ユーザ操作が検知された後、センサ部１５０は、第２ディスプレイ部１９０ｂに対するダブルタップ又はドラッグによるタッチ入力が行われる第２ユーザ操作を検知する（ステップＳ２０３０）。ここで、ダブルタップ又はドラッグによるタッチ入力は入力ペン２００によって行われる。
【０１１０】
この場合、制御部１３０は、第２ユーザ操作によってタッチが行われる第２ディスプレイ部１９０ｂ上の予め設定された地点に、キャプチャされた画面又はそれに関連する画面を表示する（ステップＳ２０４０）。
【０１１１】
図２１の例で、左側のディスプレイ部で或る地点をタッチし、予め設定された時間が経過した場合、左側のディスプレイ部の画面がキャプチャされる（１）、（２）。右側のディスプレイ部に入力ペン２００でダブルタップによるタッチ入力を行うと（３）、タッチ地点に、キャプチャされた画面に対するイメージを含むメモ帳２１１０が活性化される（４）。ユーザは、入力ペン２００でキャプチャ画面と共に必要な内容を記載する等の入力を行い、保存するか又はメモ帳２１１０に載せる等の作業を行う。
【０１１２】
図２２の例では、左側のディスプレイ部で或る地点をタッチし、予め設定された時間が経過した場合（１）、（２）、左側のディスプレイ部の画面がキャプチャされる。右側のディスプレイ部に入力ペン２００でドラッグによるタッチ入力をすると（３）、タッチ地点に、キャプチャされた画面に対するイメージがメッセージ入力ウィンドウ２２１０にアップロードされる（４）。
【０１１３】
図２３の例では、左側のディスプレイ部で或る地点をタッチし、予め設定された時間が経過した場合（１）、（２）、左側のディスプレイ部の画面がキャプチャされる。右側のディスプレイ部に入力ペン２００でドラッグによるタッチ入力をすると（３）、キャプチャされたイメージと類似するイメージを検索して右側のディスプレイ部に検索結果画面を表示する（４）。
【０１１４】
図２４は、図１９の具体的な他の実施形態を示すフローチャートであり、図２５は、図２４の実施形態によるマルチディスプレイ装置１００のディスプレイ画面の一例を示す図である
【０１１５】
図２４を参照すると、先ず、センサ部１５０はタッチ＆ホールドによるタッチ入力、即ち第１ディスプレイ部１９０ａに最初にタッチが行われ、予め設定された時間の間タッチが維持された第１ユーザ操作を検知する（ステップＳ２４１０）。
【０１１６】
制御部１３０は、第１ユーザ操作が検知されると、第１ディスプレイ部１９０ａに表示された画面をキャプチャする（ステップＳ２４２０）。また、第２ディスプレイ部１９０ｂにタッチ＆ホールドによるタッチ入力が行われる第２ユーザ操作が検知された場合（ステップＳ２４１０）、制御部１３０は、第１ユーザ操作と独立してキャプチャ作業を行う（ステップＳ２４２０）。この場合、第２ディスプレイ部１９０ｂは、構造化されていない第２画面を表示し、第２画面の非決定的な位置で第２ユーザ操作が行われる。このとき、第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂに表示された画面の両方がキャプチャされる。
【０１１７】
第１ユーザ操作が検知された後、センサ部１５０は第２ディスプレイ部１９０ｂに対するダブルタップによるタッチ入力が行われる第２ユーザ操作を検知する（ステップＳ２４３０）。ここで、ダブルタップ又はドラッグによるタッチ入力は、入力ペン２００によって行われる。
【０１１８】
上述の実施形態と異なり、第３ユーザ操作が存在する場合、制御部１３０は第２ユーザ操作によってタッチが行われた第２ディスプレイ部１９０ｂ上の地点に各々キャプチャされた２つの画面を表示する（ステップＳ２４４０）。
【０１１９】
図２５の例で、左側のディスプレイ部で或る地点をタッチし、予め設定された時間が経過した場合、左側のディスプレイ部の画面がキャプチャされる。これと独立して右側のディスプレイ部で或る地点をタッチし、予め設定された時間が経過した場合、右側のディスプレイ部の画面がキャプチャされる（１）、（２）。右側のディスプレイ部に入力ペン２００でダブルタップによるタッチ入力を行うと、タッチ地点に、キャプチャされた各画面に対するイメージを含むメモ帳２５１０が活性化される（３）、（４）。ユーザは、入力ペン２００でキャプチャ画面と共に必要な内容を記載する等の入力を行い、保存するか又はＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）に投稿する等の作業を行う。
【０１２０】
上述の実施形態のように、第１ユーザ操作があってから第３ユーザ操作がある場合、第３ユーザ操作は第２ユーザ操作との区別が必要になる。即ち、第３ユーザ操作のためのタッチが第２ユーザ操作と判断される可能性があるため、第２ディスプレイ部１９０ｂに対するタッチ入力が予め設定された時間以上に持続された場合、第３ユーザ操作のためのタッチと判断し、予め設定された時間が経過する前に終了した場合、第２ユーザ操作のための入力と判断する。
【０１２１】
上述の実施形態と異なり、第１ユーザ操作と第３ユーザ操作とが同時に入力される場合、１つのユーザ操作として認識することもできる。即ち、第１ディスプレイ部１９０ａにタッチが持続された状態で、第２ディスプレイ部１９０ｂにタッチ＆ホールドによるタッチ入力がある場合、ユーザ操作によるタッチ＆ホールドがあるディスプレイ画面を全てキャプチャして上述の動作を行う。
【０１２２】
一方、上述の図２〜図２５の実施形態で、制御部１３０は、検知された第１ユーザ操作と第２ユーザ操作とを連結して１つのユーザジェスチャーとして認識し、ユーザジェスチャーに対応する実行画面を第１ディスプレイ部及び第２ディスプレイのうちの少なくとも一方に表示することもできる。
【０１２３】
即ち、この場合、センサ部１５０は、第１ユーザ操作と第２ユーザ操作とを各々検知するが、制御部１３０は、各々に対して対応する動作を行うものではなく、これらが組み合わされた１つの操作として認識する。そして、制御部１３０は、上述の各動作を行う。
【０１２４】
例えば、第１ユーザ操作が第２ユーザ操作にマッチングする機能を変更する実施形態で、制御部１３０は第１ユーザ操作に対応して第２ユーザ操作にマッチングする機能を直ちに変更しない。制御部１３０は、第１ユーザ操作があってから第２ユーザ操作がある場合に初めて第２ユーザ操作にマッチングする機能を変更し、変更された機能に応じて動作を行うように制御する。
【０１２５】
このように、制御部１３０は、第１ユーザ操作、第２ユーザ操作、第３ユーザ操作を組み合わせた結果により１つのユーザ操作を認識し、組み合わされた結果によるユーザ操作に対応する動作を行うように制御することができる。
【０１２６】
＜マルチディスプレイ装置の細部構成＞
【０１２７】
以下、多様な実施形態に応じて多様に具現されるマルチディスプレイ装置１００の細部構成について説明する。
【０１２８】
図２６は、本発明の多様な実施形態によるマルチディスプレイ装置の構成を説明するブロック図である。
【０１２９】
図２６を参照すると、本実施形態によるマルチディスプレイ装置１００は、通信部１１０、マルチメディア部１２０、制御部１３０、撮像部１４０、センサ部１５０、入／出力部１６０、保存部１７０、電源部１８０、及び第１、２ディスプレイ部１９０ａ、１９０ｂを含む。
【０１３０】
通信部１１０は、各種有線／無線通信方式を用いて外部装置と情報を送受信する。ここで、外部装置とは、他の装置、携帯電話、スマートフォン、タブレットパソコン、コンピュータサーバ、及びデジタルテレビのうちの少なくとも１つを含み、これらの装置は通信ネットワークを通じてマルチディスプレイ装置１００と接続される。
【０１３１】
通信部１１０は、セルラー通信モジュール１１１、無線ＬＡＮモジュール１１２、近距離通信モジュール１１３、ＧＰＳ通信モジュール１１５、及び放送通信モジュール１１６等の無線通信モジュール、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、ＵＳＢ、及びＩＥＥＥ１３９４等の有線通信モジュールのうちの少なくとも１つを含み、外部通信モジュールに接続されるコネクタ１１４を含む。
【０１３２】
セルラー通信モジュール１１１は、制御部１３０の制御に応じて、セルラー通信プロトコルによる無線アクセス技術を使用し、マルチディスプレイ装置１００が少なくとも１つ又は複数のアンテナ（図示せず）を通じて外部装置（特に、セルラーシステムの基地局）に接続されるようにする。
【０１３３】
なお、セルラー通信モジュール１１１は、マルチディスプレイ装置１００に入力される電話番号を有する携帯電話、スマートフォン、タブレットパソコン、又は他の装置のような通信可能な他の機器と、音声通話、テレビ電話、ショートメッセージサービス（ＳＭＳ）、又はマルチメディアメッセージサービス（ＭＭＳ）を組み込んだ無線信号を送受信する。
【０１３４】
無線ＬＡＮモジュール１１２は、制御部１３０の制御によって、予め設定された範囲内に存在する無線ＡＰ（アクセスポイント）（図示せず）に接続して、インターネットに接続される。無線ＬＡＮモジュール１１２は、米国電気電子協会（ＩＥＥＥ）の無線ＬＡＮ規格（ＩＥＥＥ８０２．１１ｘ）をサポートする。
【０１３５】
近距離通信モジュール１１３は、制御部１３０の制御によってマルチディスプレイ装置１００と外部機器との間で無線による近距離通信を行う。近距離通信モジュールは、ブルートゥース（登録商標）モジュール、赤外線通信（ＩｒＤＡ）モジュール、ＮＦＣ（近接無線通信）モジュール、Ｗｉ−Ｆｉモジュール、Ｚｉｇｂｅｅ（登録商標）モジュールのうちの少なくとも１つを含む。
【０１３６】
通信部１１０は、上述の多様な有線／無線通信方式によって具現され、必要に応じて、本明細書で言及していない他の通信技術を採用することができる。
【０１３７】
コネクタ１１４は、ＵＳＢ２．０、ＵＳＢ３．０、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９４等、多様な装置とのインターフェースを提供する。
【０１３８】
コネクタ１１４は、マルチディスプレイ装置１００と外部装置又は電源ソースを接続するためのインターフェースとして利用される。制御部１３０の制御によって、コネクタ１１４に接続された有線ケーブルを通じてマルチディスプレイ装置１００の保存部１７０に保存されたデータを外部装置に送信するか又は外部装置からデータを受信する。コネクタ１１４に接続された有線ケーブルを通じて、電源ソースから電源が入力され、またバッテリ（図示せず）を充電する。
【０１３９】
ＧＰＳ通信モジュール１１５は、地球軌道上にある複数のＧＰＳ衛星（図示せず）から電波を受信し、ＧＰＳ衛星（図示せず）からマルチディスプレイ装置１００まで電波到達時間及びＧＰＳパラメータを用いて、マルチディスプレイ装置１００の位置を算出する。
【０１４０】
放送通信モジュール１１６は、制御部１３０の制御によって、放送通信アンテナ（図示せず）を通じて放送局から送出される放送信号（例えば、テレビ放送信号、ラジオ放送信号、又はデータ放送信号）及び放送付加情報（例えば、ＥＰＳ（Ｅｌｅｃｔｒｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）又はＥＳＧ（Ｅｌｅｃｔｒｉｃ  Ｓｅｒｖｉｃｅ  Ｇｕｉｄｅ））を受信する。
【０１４１】
マルチメディア部１２０は、動画コンテンツ、オーディオコンテンツ、その他の多様なマルチメディアコンテンツを再生する。マルチメディア部１２０は、パーサーやコーデック等を用いてマルチメディアコンテンツを処理し、コンテンツ再生を行う。マルチメディア部１２０は、オーディオ再生モジュール１２１及びビデオ再生モジュール１２２を含む。
【０１４２】
オーディオ再生モジュール１２１は、制御部１３０の制御によって、保存されるか又は受信したデジタルオーディオファイル（例えば、ファイル拡張子がｍｐ３、ｗｍａ、ｏｇｇ、又はｗａｖのファイル）を再生する。ビデオ再生モジュール１２２は、制御部１３０の制御によって、保存されるか又は受信したデジタル動画ファイル（例えば、ファイル拡張子がｍｐｅｇ、ｍｐｇ、ｍｐ４、ａｖｉ、ｍｏｖ、又はｍｋｖのファイル）を再生する。
【０１４３】
ビデオ再生モジュール１２２は、デジタルビデオファイルを再生することができるように、多様な形式のコーデックをサポートする。即ち、再生しようとするビデオファイルのコーデック形式に合うように予め保存されたコーデックによって、ビデオファイルを再生する。なお、マルチメディア部１２０のオーディオ再生モジュール１２２又はビデオ再生モジュール１２２は、制御部１３０に含まれてもよい。
【０１４４】
制御部１３０は、通信部１１０、マルチメディア部１２０、撮像部１４０、センサ部１５０、入／出力部１６０、保存部１７０、電源部１８０、及び第１、２ディスプレイ部１９０ａ、１９０ｂを制御する。制御部１３０は、これらのハードウェアにクロックを提供し、制御信号を送出するＣＰＵ、プロセスを一時的に又は半永久的に保存するためのメモリ、グラフィック処理のためのＧＰＵ、メモリとＣＰＵ及びＧＰＵの間にデータ伝達のためのシステムバスを含む。なお、ハードウェア構成を駆動するためのオペレーティングシステム（ＯＳ）、ＯＳ上でユーザインターフェースを提供してフレームワークで伝達するアプリケーションを含む。制御部１３０の各構成については、詳細に後述する。
【０１４５】
撮像部１４０は、図２６に示すように、第１カメラ１４１及び第２カメラ１４２のうちの少なくとも一方を含む。但し、図２６では、第１カメラ１４１及び第２カメラ１４２のみを示しているが、実施形態に応じて、更なるカメラを含んでもよい。
【０１４６】
各カメラは、シャッタ（図示せず）、レンズ部（図示せず）、絞り（図示せず）及びＣＣＤイメージセンサ（図示せず）、及びＡＤＣ（Ａ／Ｄコンバータ）を含む。シャッタは、絞りと共に露光する光の量を調節する機構である。レンズ部は、外部光源から光を受けて映像を処理する。このとき、絞りは、開閉具合に応じて入射する光の量（光量）を調節する。ＣＣＤイメージセンサは、レンズ部を通じて入力される光量を蓄積し、その蓄積された光量に応じて、レンズ部で撮像された映像を垂直同期信号に合わせて出力する。映像獲得は、被写体から反射されて出る光を電気的な信号に変換するＣＣＤイメージセンサによって行われる。ＣＣＤイメージセンサを用いてカラー映像を得るためには、カラーフィルタを必要とし、ＣＦＡ（Ｃｏｌｏｒ  Ｆｉｌｔｅｒ  Ａｒｒａｙ）というフィルタを採用することができる。ＣＦＡは、１ピクセルごとに１種類のカラーを表す光のみを通過させ、規則的に配列された構造を有し、配列構造に応じて様々な形態を有する。ＡＤＣは、ＣＣＤイメージセンサから出力されたアナログ映像信号をデジタル信号に変換する。このような構成は一例に過ぎず、各カメラの構成は多様に変形される。例えば、各カメラは、ＣＣＤイメージセンサではなくＣＭＯＳイメージセンサを用いて映像を出力する。
【０１４７】
第１カメラ１４１及び第２カメラ１４２は、マルチディスプレイ装置１００のハウジングに備えられるか又は別途の接続手段を使用してマルチディスプレイ装置１００に接続される。第１カメラ１４１及び第２カメラ１４２のうちの少なくとも一方は、撮影に必要な光量を提供する補助光源（例えば、フラッシュ（図示せず））を含む。
【０１４８】
一実施形態として、第１カメラ１４１は、マルチディスプレイ装置１００の前面に配置され、第２カメラ１４２は、マルチディスプレイ装置１００の背面に配置される。他の実施形態として、第１カメラ１４１及び第２カメラ１４２は、隣接して（例えば、第１カメラ１４１と第２カメラ１４２との間隔が１ｃｍより広く、８ｃｍより狭く）配置され、３次元静止画像又は３次元動画像を撮影する。更に他の実施形態として、第１カメラ１４１は第１パネル部に配置され、第２カメラ１４２は第２パネル部に配置され得る。
【０１４９】
撮像部１４０は、第１カメラ１４１及び第２カメラ１４２のうちの少なくとも一方を通じてユーザの動き或いは形状を検知し、それをアプリケーションの実行或いは制御のための入力として制御部１３０に伝達する。一例として、ユーザの動きとは、第１或いは第２カメラを通じて検知されるユーザの手の動きを意味する。ユーザの形状とは、第１或いは第２カメラを通じて検知されるユーザの顔の形状を意味してもよい。
【０１５０】
更に他の実施形態として、マルチディスプレイ装置１００は、赤外線検知器のような他の手段を用いてユーザの動きを検知し、この動きに応答してアプリケーションを実行或いは制御することができる。
【０１５１】
センサ部１５０は、マルチディスプレイ装置１００に対するユーザのタッチ、ユーザの動き、マルチディスプレイ装置１００そのものの動き等のような多様な状態変化をセンシングする。上述の実施形態において、センサ部１５０の一例として、タッチセンサ又は近接センサを説明した。上述の実施形態の他に、センサ部１５０は、タッチセンサ１５１、地磁気センサ１５２、加速度センサ１５３、ヒンジセンサ１５４、及び近接センサ１５５のうちの少なくとも１つを含む。
【０１５２】
タッチセンサ１５１は、マルチディスプレイ装置１００のディスプレイ部に対するユーザオブジェクトの接触を検知する。即ち、タッチセンサ１５１は、指のような身体又は検知可能な入力手段として、第１又は第２ディスプレイ部１９０ａ、１９０ｂに接触し、ディスプレイ画面上に表示されたオブジェクトを選択する入力を検知する。タッチセンサ１５１は、ユーザのタッチを検知する方式によって、静電方式と圧電方式とに分けられる。本実施形態によるタッチセンサ１５１は、２種の方式のうちの何れかの方式で具現される。タッチセンサ１５１は、ディスプレイパネルと共にディスプレイ部に含まれ得る。
【０１５３】
地磁気センサ１５２は、磁場の流れを検出して方位角を探知する。地磁気センサ１５２は、マルチディスプレイ装置１００の方位座標を検出し、方位座標に基づいてマルチディスプレイ装置１００が置かれた方向を検出する。置かれた方向は、それに相応する制御入力として認識され、制御部１３０が対応する出力を行う。
【０１５４】
加速度センサ１５３は、マルチディスプレイ装置１００の加速度を検出するセンサとして、マルチディスプレイ装置１００上の仮想のｘ、ｙ、ｚ軸を設定し、各軸の勾配程度（微分値）に応じて変化する重力加速度値を検出する。加速度センサ１５３は、移動する物体の加速度（動的な加速度）を検出することにも使用されるが、主に重力加速度を検出することに活用される。
【０１５５】
ヒンジセンサ１５４は、ヒンジの角度又は動き等を検出する。近接センサ１５５は、ユーザのマルチディスプレイ装置１００に対する物体の接近の有無を検出する。近接センサについては、より詳細に後述する。
【０１５６】
図２６には示していないが、マルチディスプレイ装置１００のセンサ部１５０は、重力がどの方向に作用するかを検出する重力センサ、既存の加速度センサに各々回転を施して総６軸を認識するジャイロセンサ、イメージのようなコンテンツの横及び縦フレームを自動的に検知してコンテンツを自動回転及び整列させるオリエンテーションセンサ、マルチディスプレイ装置１００の周辺の光の量を検出する照度センサ、大気の圧力を測定する高度測定センサ、物体の色を検出するＲＧＢセンサ、超音波や赤外線を用いて距離を測定する距離測定センサ、磁場の強度に応じた電圧の変化を用いるホールセンサのうちの少なくとも１つを更に含んでもよい。
【０１５７】
センサ部１５０の各センサは、それぞれの状態を検出し、検出に対応する信号を生成して制御部１３０に伝送する。センサ部１５０のセンサは、マルチディスプレイ装置１００の性能や機能に応じて追加されるか又は削除される。
【０１５８】
入／出力部１６０は、画面やその他の外部接続ポートを用いて入出力を行う。具体的に、入／出力部１６０は、マルチディスプレイ装置１００に接続されたマウスやキーボード、ジョイスティックのような入力手段やリモコン等のような無線入力手段から伝送された入力信号を受信して制御部１３０に伝送する。或いは、制御部１３０によって生成された各種信号やデータを外部装置に出力することもできる。入／出力部１６０は、ボタン部１６１、マイク１６２、スピーカ１６３、及び振動モータ１６４を含む。
【０１５９】
少なくとも１つのボタン部１６１は、マルチディスプレイ装置１００のハウジングの前面、側面、又は背面にプッシュ型或いはタッチ型で形成され、電源／ロックボタン、音量調節ボタン、メニューボタン、ホームボタン、「戻る」ボタン、及び検索ボタンのうちの少なくとも１つを含む。ボタン部１６１が押された場合、対応する制御命令が生成されて制御部１３０に伝達され、制御部１３０は対応する制御命令に応じてマルチディスプレイ装置１００の動作を制御する。
【０１６０】
マイク１６２は、制御部１３０の制御によって、音声又はサウンドを受信して電気的な信号を生成する。
【０１６１】
スピーカ１６３は、制御部１３０の制御によって、セルラー通信モジュール１１１、無線ＬＡＮモジュール１１２、近距離通信モジュール１１３、マルチメディア部１２０、又は撮像部１４０の多様な信号（例えば、無線信号、放送信号、デジタルオーディオファイル、デジタル動画ファイル、又は写真撮影等）に対応する音声又はサウンドをマルチディスプレイ装置１００の外部に出力する。
【０１６２】
スピーカ１６３は、マルチディスプレイ装置１００が行う機能に対応する音声又はサウンド（例えば、電話通話に対応するボタン操作音又は通話接続音）を出力する。スピーカ１６３は、マルチディスプレイ装置１００のハウジングの適切な位置に１つ又は複数で形成される。一例として、スピーカ１６３は、通話中にユーザの耳に接近するのに適した位置に配置される内部スピーカモジュールと、オーディオ／ビデオファイルの再生や放送の視聴時に使用されるのに適したより高い出力を有してマルチディスプレイ装置１００のハウジングの適した位置に配置される外部スピーカモジュールを含む。
【０１６３】
振動モータ１６４は、制御部１３０の制御に応じて電気的信号を機械的な振動に変換する。例えば、振動モードにあるマルチディスプレイ装置１００は他の装置（図示せず）から音声通話を受信した場合に、振動モータ１６４が作動する。振動モータ１６４は、マルチディスプレイ装置１００のハウジング内に１つ又は複数で形成される。振動モータ１６４は、第１、第２ディスプレイ部１９０ａ、１９０ｂ上で検知されたユーザのタッチジェスチャー及び第１、第２ディスプレイ部１９０ａ、１９０ｂ上で検知されたタッチの連続した動きに応答して作動する。
【０１６４】
保存部１７０は、データを保存する。
【０１６５】
第１に、保存部１７０は、マルチディスプレイ装置１００の動作を制御するためのＯＳプログラムを保存する。保存されたＯＳは、マルチディスプレイ装置１００がターンオンされた場合に、保存部で読み取られ、コンパイルされて装置の各構成を作動させる。
【０１６６】
第２に、保存部１７０は、ＯＳによって管理され、ＯＳのリソースを用いてマルチディスプレイ装置１００の動作を行い、ユーザインターフェースを提供するアプリケーションプログラムを保存する。アプリケーションプログラムは、ユーザの実行命令によってＯＳによって保存部から読み取られ、実行可能な状態に遷移して多様な動作を行う。
【０１６７】
第３に、保存部１７０は、制御部１３０によって処理された各種のマルチメディアデータ、コンテンツデータ、外部ソースから受信されたデータ等を保存する。即ち、保存部１７０は、制御部１３０の制御に応じて、セルラー通信モジュール１１１、無線ＬＡＮモジュール１１２、近距離通信モジュール１１３、コネクタ１１４、ＧＰＳ通信モジュール１１５、マルチメディア部１２０、撮像部１４０、センサ部１５０、入／出力部１６０、及び第１、２ディスプレイ部１９０ａ、１９０ｂの動作に対応するように入出力される信号、情報、又はデータを保存する。
【０１６８】
保存部１７０は、ＲＯＭ、ＲＡＭ、又はマルチディスプレイ装置１００に着脱自在なメモリカード（例えば、ＳＤカード、メモリスティック）、非揮発性メモリ、揮発性メモリ、ハードディスクドライブ（ＨＤＤ）、又はソリッドステートドライブ（ＳＳＤ）のうちの少なくとも１つで具現される。
【０１６９】
電源部１８０は、マルチディスプレイ装置１００で使用される電源を供給する。電源部１８０は、充電可能なバッテリで具現され、外部供給電源を変換して充電可能なバッテリに供給する電圧変換器を更に含むことができる。
【０１７０】
電源部１８０は、制御部１３０の電源管理制御によって、マルチディスプレイ装置１００に最大性能モード、通常モード、節電モード、待ち受けモード等、多様な動作モードで電源を供給する。
【０１７１】
第１、２ディスプレイ部１９０ａ、１９０ｂは、上述のように、センサ部１５０を備え、フレームバッファに保存された映像を出力する。第１、２ディスプレイ部１９０ａ、１９０ｂは、制御部１３０の制御によってマルチメディアコンテンツ、イメージ、動画、テキスト等を表示する。
【０１７２】
第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂは、物理的に互いに分離される。第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂに表示されるディスプレイ画面は、互いに独立して制御される。例えば、第１ディスプレイ部１９０ａの解像度及び第２ディスプレイ部１９０ｂの解像度は、各々個別に設定される。なお、第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂに表示される画面の拡大、回転、画面移動、画面分割等を各々個別に実行することができる。
【０１７３】
なお、第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂは、仮想統合フレームバッファを用いて単一ディスプレイ画面で表示することもできる。
【０１７４】
第１、２ディスプレイ部１９０ａ、１９０ｂは、制御部１３０によって実行される多様なアプリケーション（例えば、通話、データ伝送、放送、カメラ等）を表示し、それに適応して構成されたユーザインターフェースを提供する。第１、２ディスプレイ部１９０ａ、１９０ｂは、上述のタッチセンサ１５１を含むことができ、この場合、ユーザの身体（例えば、親指を含む指）又は検知可能な入力手段（例えば、スタイラスペン）を通じて少なくとも１つのタッチジェスチャーを入力する。
【０１７５】
このようなユーザインターフェースは、所定のタッチ領域、ソフトキー及びソフトメニューを含む。第１、２ディスプレイ部１９０ａ、１９０ｂは、ユーザインターフェースを通じて入力される少なくとも１つのタッチジェスチャーに対応する電子信号を、ＬＣＤコントローラ（図示せず）を通じて第１、２ディスプレイ部１９０ａ、１９０ｂに伝送する。なお、第１、２ディスプレイ部１９０ａ、１９０ｂは、タッチの連続した動きを検知し、タッチの連続的或いは非連続的な動きに対応する電子信号をＬＣＤコントローラに伝送する。上述のように、タッチセンサ１５１は、抵抗膜方式、静電容量方式、赤外線方式、又は超音波方式で具現される。
【０１７６】
第１、２ディスプレイ部１９０ａ、１９０ｂは、タッチセンサを通じて検知されたユーザの動作に関する検知信号をデジタル信号（例えば、ＸとＹ座標）に変換して制御部１３０に伝送する。制御部１３０は、受信したデジタル信号を用いて、第１、２ディスプレイ部１９０ａ、１９０ｂを介して入力されたユーザの動作に対応する制御動作を行う。例えば、制御部１３０は、ユーザ動作に応答し、第１、２ディスプレイ部１９０ａ、１９０ｂに表示されたソフトキーを選択できるようにするか又はソフトキーに対応するアプリケーションを実行する。
【０１７７】
上述のユーザのジェスチャーは、第１、２ディスプレイ部１９０ａ、１９０ｂとユーザの身体又はタッチ可能な入力手段との直接の接触に限定されず、非接触による方式も含む。第１、２ディスプレイ部１９０ａ、１９０ｂから検出可能なユーザ動作の感度は、マルチディスプレイ装置１００の性能又は構造に応じて変更される。
【０１７８】
マルチディスプレイ装置１００は、保存部１７０に保存されて制御部１３０によって実行可能なアプリケーション、ウィジェット（ｗｉｄｇｅｔ）、及び機能（ｆｕｎｃｔｉｏｎ）を、タッチスクリーンを通じて実行する。通常、タッチスクリーンは、ホーム画面或いはアプリケーションメニュー等を通じてアプリケーション、ウィジェット、機能、及びそのグループに対応するグラフィックオブジェクト（即ち、ソフトキー或いは短縮アイコン）を提供し、マルチディスプレイ装置１００は、各グラフィックオブジェクト上におけるユーザのタッチジェスチャー検出に応答して対応するアプリケーション、ウィジェット、或いは機能を実行する。
【０１７９】
ここで、ウィジェットとは、ユーザによってダウンロードされて使用されるか又はユーザによって生成されるミニアプリケーションを意味するものであり、一例として、天気ウィジェット、株ウィジェット、電卓ウィジェット、アラームウィジェット、辞書ウィジェット等を含む。ウィジェットの実行のための短縮アイコンは、該当するウィジェットアプリケーションを通じて簡単な辞書情報を提供する。一例として、天気ウィジェットのアイコンは、現在の気温と天気シンボルとを簡単に提供し、アイコンのタッチを通じて実行されるウィジェットアプリケーションは、期間別／地域別の天気のようなより多くの情報を提供する。本明細書におけるアプリケーションとは、ウィジェット基盤のアプリケーションと非ウィジェット基盤のアプリケーションとを含む。
【０１８０】
第１ディスプレイ部１９０ａ及びセンサ部１５０を含む第１ボディ２と第２ディスプレイ部１９０ｂを含む第２ボディ４とは、接続部によって相互接続され、上述の実施形態のように、第１ボディ２及び第２ボディ４はヒンジ部１８５を中心に一定角度だけ内側に折り畳まれる（ｆｏｌｄ−ｉｎ）か又は外側に折り畳まれる（ｆｏｌｄ−ｏｕｔ）。
【０１８１】
他の例として、接続部は、ヒンジ部１８５の他にも、フレキシブルな接続部、或いはフレキシブルなタッチスクリーンの一部として具現可能である。
【０１８２】
以下、図２７を参照して、上述の制御部１３０のハードウェア構成についてより詳細に説明する。
【０１８３】
＜制御部のハードウェアの構成＞
【０１８４】
図２７は、制御部１３０のハードウェア構成を示すブロック図である。
【０１８５】
図２７を参照すると、マルチディスプレイ装置１００の制御部１３０は、ハードウェアの観点から、ＣＰＵ１３１、ＧＰＵ１３３、ＲＡＭ１３５、ＲＯＭ１３７、及びシステムバス１３９を含み、ソフトウェアの観点から、ハードウェア構成を駆動するためのオペレーティングシステム（ＯＳ）、ＯＳ上でユーザインターフェースを提供してフレームワークで伝達するアプリケーションを含む。ＯＳ、フレームワーク、アプリケーションについては、より詳細に後述する。
【０１８６】
ＣＰＵ１３１は、システムバス１３９を介して各ブロック部とデータ通信を行うと同時に、各種ブロック部の機能を制御してその制御結果を収集し、それに基づいて制御部１３０に接続された各種の周辺装置に制御信号を伝送して周辺装置を制御する機能を行う。なお、ＲＡＭに各プロセス別の命令（ｉｎｓｔｒｕｃｔｉｏｎ）と、データ（ａｒｇｕｍｅｎｔ）を読み取り、演算を行うように演算部を制御する。
【０１８７】
先ず、ＣＰＵ１３１は、ＲＯＭ１３７に予め保存されたブート情報を用いてブートを行う。即ち、システムの電源がオンになると、各ハードウェア構成を作動させるための命令をＲＯＭ１３７から読み取り、命令に応じて、各ハードウェアに制御信号を送出する。なお、ＣＰＵ１３１は、保存部（図示せず）に保存されたデータをＲＡＭ１３５から読み取って、ＲＡＭ１３５に保存されているデータのうちのグラフィック処理が必要なデータをＧＰＵ１３３に伝達する。ＣＰＵ１３１は、ＧＰＵ１３３によってグラフィック処理されたデータを受信し、システムバス１３９に接続されたＬＣＤコントローラ（図示せず）に伝達してディスプレイ部にイメージを表示する。
【０１８８】
このとき、ＣＰＵ１３１は、ＧＰＵ１３３によって処理されたイメージデータをＲＡＭ１３５の予め定められた領域上に割り当てられた仮想フレームバッファ（Ｖｉｒｔｕａｌ  Ｆｒａｍｅ  Ｂｕｆｆｅｒ）領域に一時的に保存する。ＣＰＵ１３１は、ディスプレイ部の最大解像度（例えば、１０２４×６００）をサポートするように、仮想フレームバッファの領域を割り当てる。２つのディスプレイ部の場合には、１０２４×１２００の大きさで仮想フレームバッファの領域を割り当てる。
【０１８９】
ＣＰＵ１３１は、仮想フレームバッファに一時的に保存されたデータをＧＰＵ１３３に入力してデジタル信号処理を行う。
【０１９０】
ＧＰＵ１３３は、ＣＰＵ１３１の制御下で、入力されたデータに対するグラフィック処理を行う。具体的に、ＧＰＵ１３３は、演算部（図示せず）及びレンダリング部（図示せず）を用いてアイコン、イメージ、テキスト等のような多様なオブジェクトを含む画面を生成する。演算部は、画面のレイアウトに沿って各オブジェクトが表示される座標値、形、大きさ、カラー等のような属性値を演算する。レンダリング部は、演算部で演算された属性値に基づいてオブジェクトを含む多様なレイアウトの画面を生成する。レンダリング部から生成された画面は、システムバス１３９を介して第１及び第２ディスプレイ部１９０ａ、１９０ｂに伝達されてディスプレイ領域内に表示されるか又は保存部１７０に保存される。
【０１９１】
ＣＰＵ１３１は、ＧＰＵ１３３によってグラフィック処理されたデータを第１及び第２ディスプレイ部１９０ａ、１９０ｂのうちの少なくとも一方を通じて表示するか又は保存部１７０に保存するように制御し、また処理されたデータをディスプレイコントローラ（図示せず）に入力する。
【０１９２】
ＧＰＵ１３３は、デコーダ、レンダラー、スケーラ等を含む。それにより、保存されたコンテンツをデコードし、デコードされたコンテンツデータをレンダリングしてフレームを構成し、構成されたフレームのサイズをディスプレイコントローラ（図示せず）の制御によってディスプレイの大きさに合わせてスケーリングする。第１及び第２ディスプレイ部１９０ａ、１９０ｂの何れか一方で表示される画面の場合、その大きさに合わせてスケーリングし、ディスプレイ部の両方に表示される画面の場合、両ディスプレイサイズに合わせてスケーリングする。ＧＰＵ１３３は、処理されたフレームをディスプレイ部に提供して表示する。
【０１９３】
制御部１３０は、その他にもオーディオ処理部及びインターフェース部等を更に含む。インターフェース部は、周辺の構成要素とインターフェーシングを行う。
【０１９４】
オーディオ処理部（図示せず）は、オーディオインターフェース（図示せず）を介してマルチメディア部１２０とインターフェースし、オーディオデータを処理してスピーカのような音響出力手段に提供する。オーディオ処理部は、保存部１７０に保存されたオーディオデータや通信部１１０を介して受信したオーディオデータをデコードし、ノイズフィルタリングした後、適正音量に増幅する等のオーディオ信号処理を行う。上述の例で、再生されるコンテンツが動画コンテンツである場合、オーディオ処理部は、動画コンテンツからデマルチプレキシングされたオーディオデータを処理してＧＰＵ１３３と同期させて出力するようにスピーカに提供する。
【０１９５】
ＲＯＭ１３７は、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源が供給されると、ＣＰＵ１３１は、ＲＯＭ１３７に保存された命令語に応じて保存部１７０に保存されたＯＳをＲＡＭ１３３にコピーし、ＯＳを実行してシステムをブートさせる。ブートが完了すると、ＣＰＵ１３１は保存部１７０に保存された各種アプリケーションプログラムをＲＡＭ１３３にコピーし、ＲＡＭ１３３にコピーされたアプリケーションプログラムを実行して各種動作を行う。このように、ＣＰＵ１３１は、保存部１７０に保存されたアプリケーションプログラムの実行に応じて多様な動作を行う。
【０１９６】
上述のように、マルチディスプレイ装置１００でタッチ及びその他のユーザ操作が検知されると、制御部１３０はユーザ操作が意図されたものか否かを判断する。判断結果、意図されたユーザ操作であると判断されると、そのユーザ操作に対応する動作に対する情報を保存部１７０から読み取った後、その情報に対応する動作を行う。このような制御部１３０の動作は、保存部１７０に保存された各種プログラムの実行によって具現される。撮像部１４０は、ユーザ操作に応じて撮像作業を行う。撮像部１４０は、マルチディスプレイ装置１００内において、複数個設けられる。例えば、第１ディスプレイ部１９０ａが設けられた第１ボディ２に第１撮像部が設けられ、第２ディスプレイ部１９０ｂが設けられた第２ボディ４に第２撮像部が設けられる。制御部１３０は、撮像部１４０によって撮像されたイメージを保存するか又はメール、メッセンジャ、メッセージ等に添付して外部に伝送する。或いは、撮像部１４０によって撮像されたイメージを分析してユーザのモーションジェスチャーを認識し、そのモーションジェスチャーに対応する制御動作を行うこともできる。
【０１９７】
ＣＰＵは、シングルコアプロセッサ、デュアルコアプロセッサ、トリプルコアプロセッサ、及びクアッドコアプロセッサのうちの少なくとも１つで具現される。デュアルコアプロセッサの場合、デュアルコアプロセッサを構成する各プロセッサは、各々第１ディスプレイ部１９０ａ、第２ディスプレイ部１９０ｂを独立して制御することができる。
【０１９８】
＜制御部のソフトウェア構成＞
【０１９９】
以下、制御部１３０を構成するソフトウェア階層図を説明する。
【０２００】
図２８は、本発明の一実施形態によるマルチディスプレイ装置１００のシステム階層構造を説明する図である。
【０２０１】
図２８を参照すると、マルチディスプレイ装置１００は、ハードウェア４１０とハードウェアを駆動するオペレーティングシステム（ＯＳ）４２０と、ＯＳによってプロセスで管理され、リソースを用いてユーザサービスを提供するアプリケーション階層４４１〜４４５と、ＯＳとプリケーションとを中継するフレームワーク階層４３０とを含む。
【０２０２】
オペレーティングシステム（ＯＳ）４２０は、ハードウェア４１０の動作全般を制御し、ハードウェア４１０及びアプリケーションに対応するプロセスを管理する機能を実行する。即ち、ＯＳ４２０は、ハードウェア管理とメモリ、セキュリティ等の基本的な機能を担当する階層である。ＯＳ４２０は、マルチディスプレイ部を駆動させるためのディスプレイドライバ、データ送受信のための通信ドライバ、カメラを駆動させるためのカメラドライバ、オーディオ部を駆動させるためのオーディオドライバ、電源管理者等のモジュールを含む。なお、開発者がアプローチできるようなＡＰＩライブラリとランタイム（ｒｕｎｔｉｍｅ）が含まれてもよい。ＯＳ４２０は、アプリケーションの呼び出しを処理し、処理結果に応じてハードウェアを作動させる。
【０２０３】
ＯＳ４２０より上位階層にフレームワーク（Ｆｒａｍｅ  ｗｏｒｋ）階層４３０が存在する。フレームワーク４３０は、アプリケーション階層４４０とＯＳ階層４２０とを接続する役割を担う。即ち。フレームワーク階層４３０は、ロケーションマネージャ（ｌｏｃａｔｉｏｎ  ｍａｎａｇｅｒ）、報知マネージャ（ｎｏｔｉｆｉｃａｔｉｏｎ  ｍａｎａｇｅｒ）、及びタッチスクリーン部に映像を表示するためのフレームバッファ（Ｆｒａｍｅ  ｂｕｆｆｅｒ）を含む。
【０２０４】
フレームワーク階層４３０の上部階層には、マルチディスプレイ装置１００の多様な機能を具現するアプリケーション階層４４０が存在する。例えば、通話アプリケーション４４１、マルチメディアアプリケーション４４２、カメラアプリケーション４４３、ブラウザアプリケーション４４４、及びジェスチャーアプリケーション４４５等、多様な応用プログラムが含まれる。
【０２０５】
アプリケーション（４４１〜４４５）は、ユーザインターフェースを提供してユーザからの命令を受信し、フレームワークを通じてＯＳ４２０に伝達するか又はＯＳ４２０のリソースを要求する。ＯＳ４２０は、システムコールを処理して複数のアプリケーションの作業を管理する。そして、システムコール処理結果に応じて、第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂ等のような多様なハードウェアを作動させる。
【０２０６】
＜ディスプレイ部のハードウェア構成＞
【０２０７】
以下、ディスプレイ部のハードウェア構成について、説明する。
【０２０８】
図２９は、第１ディスプレイ部１９０ａ又は第２ディスプレイ部１９０ｂの映像出力部の回路構成を示す図である。以下、第１ディスプレイ部１９０ａを基に説明するが、第２ディスプレイ部１９０ｂの場合も同様の構成を含み、同様に作動する。
【０２０９】
図２９を参照すると、第１ディスプレイ部１９０ａの映像出力回路は、タイミングコントローラ２３１、ゲートドライバ２３２、データドライバ２３３、電圧駆動部２３４、及び表示パネル２３５を含む。
【０２１０】
タイミングコントローラ２３１は、外部からタッチスクリーン部の解像度に適したクロック信号（ＤＣＬＫ）、水平同期信号（Ｈｓｙｎｃ）、及び垂直同期信号（Ｖｓｙｎｃ）等を受信してゲート制御信号（走査制御信号）及びデータ制御信号（データ信号）を生成し、入力されたＲ、Ｇ、Ｂデータを再整列してデータドライバ２３３に供給する。
【０２１１】
タイミングコントローラ２３１は、ゲート制御信号に関連して、ゲートシフトクロック（ＧＳＣ）、ゲート出力イネーブル（ＧＯＥ）、及びゲート開始パルス（ＧＳＰ）等を生成する。ここで、ＧＳＣは、Ｒ、Ｇ、Ｂ有機発光素子（ＯＬＥＤ）のような発光素子に接続された薄膜トランジスタ（ＴＦＴ）がオン／オフされる時間を決定する時間であり、ＧＯＥはゲートドライバ２３２の出力を制御する信号であり、ＧＳＰは１つの垂直同期信号のうちの画面の一番目の駆動ラインを報知する信号である。
【０２１２】
更に、タイミングコントローラ２３１は、データ制御信号に関連して、ソースサンプリングクロック（ＳＳＣ）、ソース出力イネーブル（ＳＯＥ）、及びソース開始パルス（ＳＳＰ）等を生成する。ここで、ＳＳＣは、データドライバ２３３でデータをラッチさせるためのサンプリングクロックとして使用され、データドライブＩＣの駆動周波数を決定する。ＳＯＥは、ＳＳＣによってラッチされたデータを表示パネル２３５に伝達する。ＳＳＰは、１つの水平同期期間中にデータのラッチ又はサンプリング開始を報知する信号である。
【０２１３】
ゲートドライバ２３２は、走査信号を生成する構成として、走査線（Ｓ１、Ｓ２、Ｓ３、…、Ｓｎ）を通じて表示パネル２３５に接続される。ゲートドライバ２３２は、タイミングコントローラ２３１によって生成されたゲート制御信号に応じて電圧駆動部２３４から提供されるゲートオン／オフ電圧（Ｖｇｈ／Ｖｇｌ）を表示パネル２３５に印加する。ゲートオン電圧（Ｖｇｈ）は、表示パネル２３５に単位フレーム映像の具現のために、ゲートライン１（ＧＬ１）からゲートラインＮ（ＧＬｎ）まで順次に提供される。
【０２１４】
データドライバ２３３は、データ信号を生成する構成として、データ線（Ｄ１、Ｄ２、Ｄ３、…、Ｄｍ）を通じて表示パネル２３５に接続される。データドライバ２３３は、タイミングコントローラ２３１によって生成されたデータ制御信号に応じてスケーリングが完了し、映像イメージフレームのＲＧＢデータを表示パネル２３５に入力する。データドライバ２３３は、直列（ｓｅｒｉａｌ）に提供されるＲＧＢの映像データをタイミングコントローラ２３１で並列（ｐａｒａｌｌｅｌ）に変換し、デジタルデータをアナログ電圧に変換して１つの水平ライン分に該当する映像データを表示パネル２３５に提供する。この過程は、各水平ライン別に順次に行われる。
【０２１５】
電圧駆動部２３４は、ゲートドライバ２３２、データドライバ２３３、及び表示パネル２３５等に各々の駆動電圧を生成して供給する。即ち、外部から常用電源、即ち１１０Ｖ又は２２０Ｖの交流電圧が提供され、表示パネル２３５に必要な電源電圧（ＶＤＤ）を生成して提供し、接地電圧（ＶＳＳ）を提供する。また、ゲートオン電圧（Ｖｇｈ）を生成してゲートドライバ２３２に提供する。そのため、電圧駆動部２３４は個別に作動する複数の電圧駆動モジュール（図示せず）を含む。ここで、複数の電圧駆動モジュール（図示せず）は、制御部１３０の制御に応じて、それぞれ異なる電圧を提供するように作動し、制御部１３０は予め設定された情報に応じて複数の電圧駆動モジュールがそれぞれ異なる駆動電圧を提供するように電圧駆動部２３４を制御する。例えば、複数の電圧駆動モジュールの各々は、制御部１３０の制御に応じて予め設定された情報に応じてそれぞれ異なる第１電圧及びデフォルトで設定された第２電圧を提供する。
【０２１６】
一実施形態によると、電圧駆動部２３４は、複数個の領域に区分された表示パネル２３５の各領域に対応する複数個の電圧駆動モジュールを含む。この場合、制御部１３０は、複数個の領域の各々の画面情報（又は、入力映像情報）に応じて、それぞれ異なる第１電圧、即ちＥＬＶＤＤ電圧を提供するように複数個の電圧駆動モジュールを制御する。即ち、データドライバ２３３に入力される映像信号を用いて、ＥＬＶＤＤ電圧の大きさを制御する。ここで、画面情報は、入力映像の輝度及び階調情報の少なくとも何れか一方である。
【０２１７】
表示パネル２３５は、互いに交差して画素領域を定義する複数のゲートライン（ＧＬ１〜ＧＬｎ）とデータライン（ＤＬ１〜ＤＬｎ）とが形成され、その交差する画素領域２３６には、ＯＬＥＤのようなＲ、Ｇ、Ｂの発光素子が形成される。そして、画素領域２３６の一領域、より正確に、角にはスイッチング素子、即ちＴＦＴが形成される。このようなＴＦＴのターンオン動作時にデータドライバ２３３から階調電圧が各々のＲ、Ｇ、Ｂの発光素子に提供される。このとき、Ｒ、Ｇ、Ｂの発光素子は階調電圧に基づいて提供された電流量に相応して光を提供する。即ち、Ｒ、Ｇ、Ｂの発光素子は多くの電流量が提供されると、その分多くの光を提供する。
【０２１８】
図３０は、図２９の表示パネル内のＲ、Ｇ、Ｂ画素を構成する回路構造を説明する図である。
【０２１９】
図３０を参照すると、表示パネル２３５は、３つのＲ、Ｇ、Ｂ画素領域２３６を含む。Ｒ、Ｇ、Ｂの画素領域２３６は、スキャン信号（Ｓ１）及びゲートオン電圧（Ｖｇｈ）によって作動するスイッチング素子（Ｍ１１、Ｍ２１、Ｍ３１）、データライン（ＤＬ１〜ＤＬｎ）に提供される変更された高階調値を含む画素値に基づいて電流を出力するスイッチング素子（Ｍ１２、Ｍ２２、Ｍ３２）、そしてタイミングコントローラ２３１から提供される制御信号に応じて、スイッチング素子（Ｍ１２、Ｍ２２、Ｍ３２）からＲ、Ｇ、Ｂの発光素子に提供される電流量を調節するスイッチング素子（Ｍ１３、Ｍ２３、Ｍ３３）を含む。そして、このようなスイッチング素子（Ｍ１３、Ｍ２３、Ｍ３３）は、有機発光素子（ＯＬＥＤ）に接続され、ＯＬＥＤに電力を供給する。ここで、ＯＬＥＤは、蛍光又は燐光有機物薄膜に電流を流すと、磁場発光の原理を用いて自ら光を発するディスプレイをいう。ＯＬＥＤのアノード（ａｎｏｄｅ）電極は画素回路に接続され、カソード（ｃａｔｈｏｄｅ）電極はＥＬＶＳＳに接続される。このようなＯＬＥＤは、画素回路から供給される電流に対応して所定の輝度の光を発生する。ここで、スイッチング素子（Ｍ１１、Ｍ２１、Ｍ３１）のゲート電極は走査線（Ｓ１）に接続され、ソース電極及びドレイン電極のうちの何れか一方はデータ線（Ｄ１、Ｄ２、Ｄ３）に接続される。このような表示パネル２３５は、ＡＭ−ＯＬＥＤ（Ａｃｔｉｖｅ  Ｍａｔｒｉｘ  Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）パネルで具現される。但し、上述の実施形態は、本発明の一実施形態に過ぎず、本発明の１つのラインが同時に発光して駆動する方式であるＰＭ  ＯＬＥＤ（Ｐａｓｓｉｖｅ  Ｍａｔｒｉｘ  Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を排除しないことは勿論である。
【０２２０】
このように、マルチディスプレイ装置１００のディスプレイ部１９０をＯＬＥＤで具現する場合、別途の発光手段（バックライト）を具備する必要がなくなり、ディスプレイ装置を薄くすることができ、重さを軽減できるという長所がある。また、構成を単純化させることができるというメリットもある。
【０２２１】
上記実施形態では、ＯＬＥＤについて説明したが。ディスプレイ部は、液晶ディスプレイ（ＬＣＤ）パネル、プラズマディスプレイパネル（ＰＤＰ）、ＶＦＤ（Ｖａｃｕｕｍ  Ｆｌｕｏｒｅｓｃｅｎｔ  Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ  Ｅｍｉｓｓｉｏｎ  Ｄｉｓｐｌａｙ）、ＥＬＤ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の多様なディスプレイ技術で具現され得る。
【０２２２】
図３１は、タッチスクリーン部を含む第１ディスプレイ部１９０ａ又は第２ディスプレイ部１９０ｂの断面図である。
【０２２３】
図３１を参照すると、第１ディスプレイ部１９０ａは、映像出力部及びタッチスクリーン部を含む。
【０２２４】
映像出力部は、上部基板１３６２と下部基板１３６１とが密着した表示パネル部１３６０、表示パネル部１３６０の上部基板１３６２に設けられた上部偏光板１３００、及び上部偏光板１３００の周縁領域に設けられた下部電極１３１０を含む。また、映像出力部は、下部基板１３６１に設けられた下部偏光板１３０１を含む。
【０２２５】
上部基板１３６２と下部基板１３６１との間の領域には、液晶層１３６３が設けられる。上部基板１３６２及び下部基板１３６１は、画像を表示する表示領域と表示領域の周縁に設けられた周辺領域とを含む。下部基板１３６１の表示領域には、図示していないが、複数のゲートライン及び複数のデータライン、複数のゲートラインとデータラインとの交差領域に設けられた薄膜トランジスタ、及び薄膜トランジスタに接続された画素電極が設けられ、画素電極とその一部とが重畳する維持電極が設けられる。そして、下部基板１３６１の周辺領域には、ゲートライン及びデータラインに接続された複数のパッド部が設けられる。
【０２２６】
上部基板１３６２と下部基板１３６１とは、シーラントのような密封部材１３６４を用いて密封される。密封部材１３６４は、上部基板１３６２と下部基板１３６１との周辺領域に設けられる。
【０２２７】
タッチスクリーン部は、下部電極１３１０に接続されて上部偏光板１３００上に設けられた下部透明電極１３３０、及び上部透明電極１３４２が設けられ、上部基板１３６２に付着されたタッチパッド１３４０、及び上部透明電極１３４２と下部透明電極１３３０との間に設けられた突起部１３５０を含む。
【０２２８】
タッチパッド部１３４０は、ベースフィルム１３４１、ベースフィルム１３４１上に設けられた上部透明電極１３４２、及び上部透明電極１３４２上に設けられた上部電極１３４３を含む。
【０２２９】
外部からタッチパッド部１３４０を所定の力で押すと、力が印加された領域の突起部１３５０が下部透明電極１３３０に密着し、それにより、下部透明電極１３３０と上部透明電極１３４２との間が電気的に接続される。電気的接続を通じて上部透明電極１３４２及び／又は下部透明電極１３３０を流れる電流が変化し、このような変化を別途の検知手段（図示せず）を通じて検知する。検知手段は、検知された信号を別途に具備された制御部１３０に伝達される。制御部１３０は、検知された信号を用いて電流の流れが変化した領域の座標を生成し、それを所定のドライバ（図示せず）に伝達する。ドライバは、入力された座標に対応して表示パネル部１３６０に表示された画像をマウスのような入力道具を用いて操作した場合と同様の動作を行う。
【０２３０】
＜マルチディスプレイのフレームバッファリング方式＞
【０２３１】
一方、マルチディスプレイ装置１００の特性上、映像フレームバッファを多様な方式で備える。以下では、多様な方式の映像フレームバッファについて説明する。
【０２３２】
図３２は、本発明の一実施形態によるマルチディスプレイ装置１００のディスプレイ駆動部１３４を示すブロック図であり、図３３は、本発明の他の実施形態によるディスプレイ駆動部１３４’の構成を示すブロック図である。
【０２３３】
図３２を参照すると、ディスプレイ駆動部１３４は、第１フレームバッファ１３４ａ−１、第１ディスプレイドライバ１３４ａ−２、第２フレームバッファ１３４ｂ−１、及び第２ディスプレイドライバ１３４ｂ−２を含む。即ち、ディスプレイ部（１９０ａ、１９０ｂ）毎に別途のフレームバッファ（１３４ａ−１、１３４ｂ−１）と、ディスプレイドライバ（１３４ａ−２、１３４ｂ−２）を備える。
【０２３４】
第１フレームバッファ１３４ａ−１は、第１ディスプレイ部１９０ａに表示されるイメージフレームをバッファリングし、第２フレームバッファ１３４ｂ−１は、第２ディスプレイ部１９０ｂに表示されるイメージフレームをバッファリングする。
【０２３５】
例えば、ＧＰＵ１３３によってデジタル信号処理されたイメージフレームは、第１、２フレームバッファ１３４ａ−１、１３４ｂ−１にビットマップ形態で保存される。この場合、各フレームバッファ（１３４ａ−１、１３４ｂ−１）のバッファリング領域は、各ディスプレイ部（１９０ａ、１９０ｂ）からサポート可能な最大ピクセルサイズに合わせて割り当てられる。第１ディスプレイドライバ１３４ａ−２は、第１フレームバッファ１３４ａ−１に保存されたイメージフレームを分析し、第１イメージソース信号に変換する。第１ディスプレイドライバ１３４ａ−２は、第１イメージソース信号を第１ディスプレイ部１９０ａに提供し、第１ディスプレイ部１９０ａはイメージフレームを表示するように駆動する。
【０２３６】
同様に、第２ディスプレイドライバ１３４ｂ−２は、第２フレームバッファ１３４ｂ−１に保存されたイメージフレームを分析し、第２イメージソース信号に変換し、それを第２ディスプレイ部１９０ｂに提供して表示させる。
【０２３７】
このような２つのフレームバッファは、各ディスプレイ部（１９０ａ、１９０ｂ）に対する映像フレームを並列的に処理する場合に適合される。並列プロセッサが各ディスプレイ部（１９０ａ、１９０ｂ）に対する映像信号を出力する場合、映像出力効率を高めることができる。
【０２３８】
しかし、それと異なり、図３３に示すように、各ディスプレイ部（１９０ａ、１９０ｂ）に対応する第１フレームバッファ１３４ａ−１と第２フレームバッファ１３４ｂ−１とが別途に設けられず、１つの統合フレームバッファ１３４−１を使用することもできる。
【０２３９】
図３３は、統合フレームバッファ１３４−１を用いて各ディスプレイ部（１９０ａ、１９０ｂ）の動作を制御するマルチディスプレイ装置１００の構成を示すブロック図である。フレームバッファが統合フレームバッファ１３４−１形態で具現される場合、第１、２ディスプレイ部の最大解像度より大きなサイズで統合フレームバッファ１３４−１の大きさを割り当てて具現する。
【０２４０】
例えば、第１、２ディスプレイ部が各々最大１０２４×８００の解像度を表示する場合、統合フレームバッファ１３４−１は１０２４×１６００の解像度を表示するフレームバッファサイズで保存領域を割り当てる。統合フレームバッファ１３４−１の第１領域には第１ディスプレイ部１９０ａに表示される第１イメージフレームが保存され、第２領域には第２ディスプレイ部１９０ｂに表示される第２イメージフレームが保存される。
【０２４１】
ディスプレイドライバ１３４−２は、統合フレームバッファ１３４−１に保存された第１イメージフレーム及び第２イメージフレームのアドレスを用いて、第１ディスプレイ部１９０ａ又は第２ディスプレイ部１９０ｂに第１、２イメージフレームを提供し、各々のディスプレイ部を駆動する。
【０２４２】
＜近接センシング手段＞
【０２４３】
上述のように、マルチディスプレイ装置１００のセンサ部１５０は、近接センサ１５５を含む。以下、近接センサ１５５の構成及び動作を説明する。
【０２４４】
図３４は、本発明の一実施形態による近接タッチを説明するための図である。
【０２４５】
ユーザは、タッチスクリーンを直接タッチせずに、指やその他のオブジェクトを接近させる動作のみでマルチディスプレイ装置１００に制御命令を入力させることができる。マルチディスプレイ装置は、近接センサ１５５を用いて近接タッチをセンシングする。近接タッチは、タッチスクリーンを直接タッチせずに、空間上の一定の有効認識範囲から動きが認識される場合、１つのタッチジェスチャーとして認識することを意味する。
【０２４６】
図３４を参照すると、ディスプレイ部２９０の下部には、近接タッチ認識のための赤外線ソース部２９１が位置し、ディスプレイ部２９０の上部には赤外線センシング部２９２を含む。
【０２４７】
赤外線ソース部２９１は、ディスプレイ部２９０の表面方向に赤外線を照射する。具体的に、赤外線ソース部２９１は、映像又はイメージを表示するディスプレイ部２９０の下部に配置され、赤外線をディスプレイ部２９０の表面方向に照射する。ディスプレイ部２９０の表面上にユーザオブジェクト５０の接近を認識することができる一定の領域が存在する。この領域が、近接タッチを認識することができる有効認識領域５である。
【０２４８】
ユーザオブジェクトの意味は、マルチディスプレイ装置１００に命令を入力するための手段を意味するものとして、例えば、手のような身体の一部であってもよい。
【０２４９】
ユーザオブジェクト５０が有効認識領域５内に接近すると、赤外線センシング部２９２はユーザオブジェクト５０の接近によって反射された赤外線を検知し、赤外線スキャンイメージを生成する。具体的に、赤外線センシング部２９２はアレイ形態で配置される複数の赤外線センシング素子を用いて、ユーザオブジェクト５０の接近によって反射された赤外線に対応する赤外線スキャンイメージを生成する。マルチディスプレイ装置１００は、生成された赤外線スキャンイメージを用いて近接タッチ入力を検知する。
【０２５０】
＜マルチディスプレイ装置の外観構成＞
【０２５１】
以下、本発明の一実施形態によるマルチディスプレイ装置１００の外観について、斜視図を参照して説明する。
【０２５２】
図３５は、本発明の一実施形態によるマルチディスプレイ装置１００の細部斜視図である。ここでは、マルチディスプレイ装置１００がヒンジ部１８５で結合された２つのディスプレイ部（１９０ａ、１９０ｂ）を備える場合の構成を示す。
【０２５３】
図３５を参照すると、マルチディスプレイ装置１００は、第１及び第２ボディ（ｂｏｄｙ）２、４で構成され、第１及び第２ボディ２、４は、ヒンジ部１８５によって接続されて相対的に移動できるように構成される。第１ボディ２の一面には第１ディスプレイ部１９０ａが備えられ、第１ディスプレイ部１９０ａの一側面には少なくとも１つの物理的なボタン部１６１（図２６参照）が配置される。第２ボディ４の一面には、第２ディスプレイ部１９０ｂが備えられ、第２ディスプレイ部１９０ｂの一側面には少なくとも１つの物理的なボタン部１６１’が配置される。物理的なボタン部１６１、１６１’は、プッシュボタン及びタッチボタンの少なくとも一方を含む。一実施形態として、スピーカ１６３及びマイク１６２（図２６参照）を備えた第１ボディ２に配置された第１ディスプレイ部１９０ａはメインスクリーンとして作動し、そうではない第２ボディ４に配置された第２ディスプレイ部１９０ｂはサブスクリーンとして作動する。一実施形態として、第１ボディ２は第１カメラ１４１を備え、第２ボディ４は第２カメラ１４２を備える。
【０２５４】
図３５に示すように、マルチディスプレイ装置１００が置かれた状態で、各々のディスプレイ部（１９０ａ、１９０ｂ）はランドスケープモード（「横向きに見る」モード）で画面を表示する。
【０２５５】
マルチディスプレイ装置１００は、第１ボディ２及び第２ボディ４がヒンジ部１８５によって接続され、相対移動できるように構成されるものであれば、携帯電話やノートパソコン、タブレットパソコン、ＰＭＰ等のような機器であってもよい。第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂが、第１ボディ２及び第２ボディ４に各々備えられるものとして説明しているが、後述の説明は、２つのディスプレイ部のうちの何れかの表示パネルのみにタッチスクリーンディスプレイが提供される機器にも適用可能である。なお、各ディスプレイ部（１９０ａ、１９０ｂ）の側面のボタン部１６１のうちの少なくとも一方は省略されてもよい。更に、第１ボディ２と第２ボディ４との接続はヒンジ部１８５によるものを例に挙げて示しているが、第１ボディ２及び第２ボディ４とが相対的な移動を通じて折り畳まれることができるように構成されていれば、他の構成要素による接続でも代替可能である。
【０２５６】
一方、ヒンジ部１８５は、図３５に示すように、第１ボディ２及び第２ボディ４の接続部の両側に配置された２つのヒンジで構成される。なお、ヒンジ部１８５は、第１ボディ２及び第２ボディ４の接続部の全体に配置された１つのヒンジで構成されてもよい。
【０２５７】
マルチディスプレイ装置１００は、物理的或いはグラフィック的に分離される第１ディスプレイ部１９０ａと第２ディスプレイ部１９０ｂとで構成されたディスプレイ装置を備え、２つのディスプレイ部（１９０ａ、１９０ｂ）を活用して多様なスクリーンモードをサポートする。
【０２５８】
図３６〜図４０は、本発明の一実施形態によるマルチディスプレイ装置１００の第１ボディ２と第２ボディ４との間の相対角度による多様なスクリーンモードを示す図である。
【０２５９】
相対角度（θ）は、第１ボディ２に対して所定方向（一例として、反時計回り）に回転した第２ボディ４との間の回転角度である。
【０２６０】
具体的に、相対角度（θ）は、ヒンジ部１８５そのものに内蔵されたヒンジセンサを用いて検出することができる。ヒンジセンサは、ホールセンサ、圧力センサ、誘導検出センサ、電気コンタクトセンサ、及び光学センサのうちのいずれか１つで構成され、ヒンジの動き及び相対的な位置を検出して相対角度（θ）を認識する。
【０２６１】
なお、相対角度（θ）は、ヒンジセンサ以外にも、地磁気センサ、加速度センサで第１及び第２ボディ２、４の各々の位置を検出して相対角度（θ）を認識することもできる。
【０２６２】
図３６は、本発明の一実施形態によるマルチディスプレイ装置１００を示す斜視図である。図３６に示すように、第１ボディ２及び第２ボディ４上の第１及び第２ディスプレイ部１９０ａ、１９０ｂが各々対向している状態であり、第１ボディ２と第２ボディ４とが互いに接している。即ち、第１ディスプレイ部１９０ａの反対側に第２ディスプレイ部１９０ｂが位置する。ユーザが第１ディスプレイ部１９０ａを見る場合、第２ディスプレイ部１９０ｂは反対側に位置するため、ユーザは第２ディスプレイ部１９０ｂを直接見ることができない。このように、ユーザは１つのディスプレイ部のみを見ることができる。
【０２６３】
このとき、相対角度（θ）は０度と定義する。一例として、第１及び第２ボディ２、４の間の相対角度が０度〜６０度の間である場合、マルチディスプレイ装置１００はシングルモードとして認知する。シングルモードは、マルチディスプレイ装置１００が使用されていないロック状態である場合及び通話アプリケーションで有効に使用される。シングルモードでは、前面の第１ディスプレイ部１９０ａが少なくとも１つのアプリケーションによる作業画面を表示し、背面の第２ディスプレイ部１９０ｂは、ターンオフされる。一部のアプリケーションは、オプションメニューを使用して背面の第２ディスプレイ部１９０ｂをターンオンする。シングルモードの場合には、ユーザが１つのディスプレイ画面のみを見るため、制御部１３０は、１つのディスプレイ部のみを制御する。即ち、制御部１３０は、ユーザが現在眺めているディスプレイ部に対してのみ制御信号を伝送する。制御部１３０によって制御されていないディスプレイ部に対しては、別途の制御信号及びデータ信号を伝送しないことで、電力消費を軽減する。
【０２６４】
このとき、制御信号及びデータ信号が供給されていないディスプレイ部はスリープモードで作動し、制御部１３０によって制御信号が印加されるとスリープモードから脱する。例えば、ユーザがマルチディスプレイ装置１００の方向を回転してスリープモード中のディスプレイ部を眺める場合には、スリープモードから脱する。
【０２６５】
図３７は、第１ボディ２及び第２ボディ４が並んで平行した状態であり、相対角度（θ）が１８０度或いは所定範囲内で１８０度に接近した状態、即ち広げた（ｕｎｆｏｌｄｅｄ）状態を示す。以下、それをエクスペンディングモードと称する。一例として、第１及び第２ボディ２、４の間の相対角度が１７５度〜１８５度の範囲にある場合、マルチディスプレイ装置１００は第１及び第２ボディ２、４が広げられていると見なす。エクスペンディングモードは、２つのアプリケーションに対する２つの作業画面を各々ディスプレイ部１９０ａ、１９０ｂに表示したり、１つのアプリケーションに対する１つの画面を２つのディスプレイ部１９０ａ、１９０ｂに表示したり、或いは１つのアプリケーションに対する２つの作業画面を２つのディスプレイ部１９０ａ、１９０ｂに表示したりする。何れか一方のディスプレイ部に何のアプリケーションも表示されなくてよいが、デフォルトされたホーム画面を表示することができる。エクスペンディングモードは、Ｅ−ｂｏｏｋ、動画プレーヤアプリケーション、ウェブブラウジング画面で有効に使用される。
【０２６６】
例えば、制御部１３０は、第１ディスプレイ部１９０ａに第１ウェブブラウジング画面を表示し、第２ディスプレイ部１９０ｂに第２ウェブブラウジング画面を表示する。このとき、第１ウェブブラウジング画面及び第２ウェブブラウジング画面は、相互に関連性があり、第２ウェブブラウジング画面に関連する第３ウェブブラウジング画面を第１ディスプレイ部１９０ａに表示し、第３ウェブブラウジング画面に関連する第４ウェブブラウジング画面を第２ディスプレイ部１９０ｂに表示することができる。
【０２６７】
制御部１３０は、第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂに表示されるウェブブラウジング画面を交互に表示することができ、各々のディスプレイ部（１９０ａ、１９０ｂ）に表示された複数のウェブブラウジング間の画面切り替えを行うことができ、第１ディスプレイ部１９０ａに表示されるウェブブラウジングと第２ディスプレイ部１９０ｂに表示されるウェブブラウジングとを異なるなるレイアウトで表示することができる。
【０２６８】
図３８は、第１ボディ２に対する第２ボディ４の相対角度（θ）が１８０度を超過する状態、即ち両ディスプレイ部（１９０ａ、１９０ｂ）が内側に若干折り畳まれた状態を示し、ツールキットモード（Ｔｏｏｌ  Ｋｉｔ  Ｍｏｄｅ）と称する。一例として、第１及び第２ボディ２、４の間の相対角度が１８５度〜２６５度の間の場合に、ツールキットモードと認知する。ツールキットモードは、両ディスプレイ部（１９０ａ、１９０ｂ）が内側を向くように若干折り畳まれた状態でマルチディスプレイ装置１００がノートパソコンに類似する形態で使用される場合に有効である。一例として、何れか１つのディスプレイ部１９０ａに作業画面を表示し、他の１つのディスプレイ部１９０ｂにキーボード等のツール（Ｔｏｏｌ）を表示する等、多様な作業環境を提供することができる。
【０２６９】
図３９は、第１ボディ２に対する第２ボディ４の相対角度（θ）が１８０度未満である状態、即ち両ディスプレイ部（１９０ａ、１９０ｂ）が相互に略反対方向に向くように外側に略折り畳まれた状態を示し、スタンディングモード（Ｓｔａｎｄｉｎｇ  Ｍｏｄｅ）と称する。一例として、第１及び第２ボディ２、４の間の相対角度が３０度〜９０度の間の場合に、マルチディスプレイ装置１００はスタンディングモードと認識する。スタンディングモードは、両ディスプレイ部１９０ａ、１９０ｂが外側を向くように折り畳まれた形態として、マルチディスプレイ装置１００を床に三角形状で立てることができるため、充電時、マルチディスプレイ装置１００をデジタル時計或いは写真立てとして使用する場合、個人放送、映画、動画等を長時間使用する場合に有効に使用することができる。他の実施形態として、スタンディングモードは、２名以上のユーザによる協力或いは相互作用を必要とするアプリケーション、一例としてテレビ会議、協業ゲーム（Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｇａｍｅ）等に適用される。一部のアプリケーションは、スタンディングモードで前面の第１ディスプレイ部１９０ａにのみ作業画面を表示し、背面の第２ディスプレイ部１９０ｂをターンオフする。一部のアプリケーションは、オプションメニューを使用して背面の第２ディスプレイ部１９０ｂをターンオンする。
【０２７０】
図４０は、図３９において説明したスタンディングモードの他の実施形態として、ヒンジの一部分が床に触れるようにマルチディスプレイ装置１００を立てた状態を示すものとして、ポートレートモード（「縦向きに見る」モード）と称する。「縦向きに見る」モードは、第１及び第２ボディ２、４の間の相対角度が３０度〜９０度の間であり、加速度センサによってマルチディスプレイ装置１００が縦に立てられていると判断された場合、「縦向きに見る」モードと認知する。
【０２７１】
具体的に、加速度センサは、マルチディスプレイ装置１００の回転を検知する。加速度センサは、マルチディスプレイ装置１００の第１及び第２ディスプレイ部１９０ａ、１９０ｂが左右側に配置される「縦向きに見る」モードと、第１及び第２ディスプレイ部１９０ａ、１９０ｂが上下側に配置される「横向きに見る」モードとの間の切り替えを検知する。
【０２７２】
「縦向きに見る」モードは、２名以上のユーザの各々異なる映像を提供する必要があるアプリケーション、一例として、テレビ会議、マルチ動画アプリケーション等に適用される。
【０２７３】
図４１及び図４２は、本発明の一実施形態によるマルチディスプレイ装置１００の２つのカメラ配置を説明する図である。図４１及び図４２は、マルチディスプレイ装置１００を正面から眺めた様子である。カメラの配置を説明するための図であるため、カメラ以外の他の部分は省略する。
【０２７４】
先ず、図４１を参照すると、マルチディスプレイ装置１００は、第１ボディ２及び第２ボディ４で構成され、第１ボディ２は第１ディスプレイ部１９０ａを含み、第２ボディ４は第２ディスプレイ部１９０ｂを含む。第１ボディ２及び第２ボディ４は、ヒンジ部１８５によって連結され、相対的に移動するように構成される。第１カメラ１４１は、第１ボディ２の周縁領域中、ヒンジ部１８５の反対側の周縁領域の中央部に配置される。第２カメラ１４２は、第２ボディ４の周縁領域中、ヒンジの反対側の周縁領域の中央部に配置される。
【０２７５】
次に、図４２を参照して、カメラの配置について説明する。説明の便宜上、ユーザがマルチディスプレイ装置１００を眺める方向を基準として説明する。第１カメラ１４１’は、第１ボディ２の左側の周縁領域の中央面に配置され、第２カメラ１４２’は、第２ボディ４の左側の周縁領域の中央面に配置される。他の実施形態として、第１及び第２カメラは、各々第１及び第２ボディ２、４の右側の周縁領域の中央面に配置される。更に他の実施形態として、第１及び第２カメラは、各々第１及び第２ボディ２、４の角領域に配置される。マルチディスプレイ装置１００は、上述のように、横方向に使用可能であるだけでなく、縦方向でも使用可能である。
【０２７６】
＜マルチディスプレイ方法＞
【０２７７】
以下、本発明の多様な実施形態によるマルチディスプレイ方法について説明する。
図４３〜図４７は、本発明の多様な実施形態によるマルチディスプレイ方法を示すフローチャートである。
【０２７８】
以下で説明するマルチディスプレイ方法は、上述のマルチディスプレイ装置１００の動作に対する説明のうち、重複する範囲の記載を省略する。
【０２７９】
図４３のマルチディスプレイ方法は、第１ディスプレイ部が配置された第１ボディ及び第２ディスプレイ部が配置された第２ボディと、第１ボディ及び第２ボディを連結して回転できるように支持するヒンジ部とを含むマルチディスプレイ装置で実行される。
【０２８０】
具体的に、マルチディスプレイ装置１００が第１ディスプレイ部及び第２ディスプレイ部を介して構造化されていない第１画面及び第２画面を各々表示した状態で、ユーザが各画面に対してユーザ操作を行う。それにより、第１画面の非決定的な位置で行われる第１ユーザ操作が検知され（ステップＳ４３１０）、第２画面の非決定的な位置で行われる第２ユーザ操作が検知され（ステップＳ４３２０）、検知された第１ユーザ操作及び第２ユーザ操作を組み合わせて、その組み合わせ結果に対応する動作を行う（ステップＳ４３３０）。
【０２８１】
図４４を参照すると、本実施形態によるマルチディスプレイ方法は、上記組み合わせ結果に対応する動作を行うステップ（Ｓ４３３０）が、第１ユーザ操作に応じて第２ユーザ操作にマッチングする機能を変更するステップ（Ｓ４４２０）と、第２ユーザ操作が検知された場合に、変更された機能によって動作を行うステップ（Ｓ４４４０）とを含む。
【０２８２】
即ち、第１ユーザ操作を検知し（ステップＳ４４１０）、第１ユーザ操作に応じて第２ユーザ操作にマッチングする機能を変更し（ステップＳ４４２０）、第２ユーザ操作を検知し（ステップＳ４４３０）、変更された機能に応じて動作を行うステップ（Ｓ４４３０）で行われる。
【０２８３】
このとき、第２ユーザ操作はドラッグによる線の入力であり、第２ユーザ操作にマッチングする機能を変更するステップ（Ｓ４４２０）は、第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合に、入力された線の太さを増加させ、第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合に、入力された線の太さを減少させ、第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合に、入力された線の質感を変更させる。
【０２８４】
なお、図４３の実施形態において、組み合わせ結果に対応する動作を行うステップ（Ｓ４３３０）は、第１ユーザ操作がタッチ＆ホールド入力であり、タッチ入力による第２ユーザ操作が第１ユーザ操作と共に検知された場合、第２ユーザ操作に対応するメニューを表示する。
【０２８５】
また、図４５を参照すると、本実施形態によるマルチディスプレイ方法は、第１ユーザ操作を検知するステップ（Ｓ４５１０）、第１ユーザ操作が検知された場合に第１ユーザ操作に応じて第２ディスプレイ部に表示された第２画面を変更するステップ（Ｓ４５２０）、第２ユーザ操作を検知するステップ（Ｓ４５３０）、第２ユーザ操作が検知された場合に第１ユーザ操作によって変更されて表示された第２画面を第２ユーザ操作に応じて変更するステップ（Ｓ４５４０）を含む。
【０２８６】
このとき、第２画面を変更するステップ（Ｓ４５２０）は、第１ユーザ操作がピンチアウト（ｐｉｎｃｈ  ｏｕｔ）入力である場合に、前記第２ディスプレイ部に表示された画面を拡大し、第１ユーザ操作がピンチイン（ｐｉｎｃｈ  ｉｎ）入力である場合に、前記第２ディスプレイ部に表示された画面を縮小し、第１ユーザ操作がタッチ＆ローテート（ｔｏｕｃｈ＆ｒｏｔａｔｅ）入力である場合に、第２ディスプレイ部に表示された画面を回転させる。
【０２８７】
また、図４６を参照すると、本実施形態によるマルチディスプレイ方法は、第１ユーザ操作を検知するステップ（Ｓ４６１０）、第１ユーザ操作が検知された場合に第１ディスプレイ部に表示されたコンテンツを抽出するステップ（Ｓ４６２０）、第２ユーザ操作を検知するステップ（Ｓ４６３０）、第２ユーザ操作が検知された場合に第２ディスプレイ部上に抽出されたコンテンツに対応する第２画面を表示するステップ（Ｓ４６４０）を含む。
【０２８８】
このとき、第１ディスプレイ部に表示されたコンテンツを抽出するステップ（Ｓ４６２０）は、第１ユーザ操作に応じて第１ディスプレイ部に表示された第１画面をキャプチャし、第２ディスプレイ部上に抽出されたコンテンツに対応する第２画面を表示するステップ（Ｓ４６４０）は、第２ディスプレイ部で第２ユーザ操作が行われた位置にキャプチャされた第２画面を表示する。
【０２８９】
また、図４７を参照すると、本実施形態によるマルチディスプレイ方法は、第１ディスプレイ部が配置された第１ボディ及び第２ディスプレイ部が配置された第２ボディと、第１ボディ及び第２ボディを連結して回転できるように支持するヒンジ部とを含むマルチディスプレイ装置のマルチディスプレイ方法であり、第１ディスプレイ部及び第２ディスプレイ部が構造化されていない第１画面及び第２画面を各々表示して、第１画面の非決定的な位置で行われる第１ユーザ操作を検知するステップ（Ｓ４７１０）、第２画面の非決定的な位置で行われる第２ユーザ操作を検知するステップ（Ｓ４７２０）、そして検知された第１ユーザ操作及び第２ユーザ操作を連結して１つのユーザジェスチャーとして認識し、１つのユーザジェスチャーに対応する実行画面を第１ディスプレイ部及び第２ディスプレイ部のうちの少なくとも一方に表示するステップ（Ｓ４７３０）を含む。
【０２９０】
上述した本発明の多様な実施形態によるマルチディスプレイ方法で、第１ユーザ操作はユーザの身体を用いて第１ディスプレイ部に近接又はタッチする入力であり、第２ユーザ操作は入力ペンを用いて第２ディスプレイ部に接近又はタッチする入力である。
【０２９１】
一方、以上のような多様なマルチディスプレイ方法は、複数のディスプレイ部の各々に対して行われる非構造化されたユーザ操作を各々認識し、それによって行われる動作について説明した。しかし、本発明の思想は、それに限定されず、複数のディスプレイ部の各々に対して行われる非構造化されたユーザ操作を１つのユーザ操作として認識し、それに対応する動作を行う実施形態でも具現され得る。
【０２９２】
例えば、ユーザが第１ディスプレイ部１９０ａの画面の任意の地点をタッチした状態で、第２ディスプレイ部１９０ｂまで連続してドラッグを行うと、第１ディスプレイ部１９０ａ及び第２ディスプレイ部１９０ｂで各々ユーザ操作が検知される。制御部１３０は、第１及び第２ディスプレイ部１９０ａ、１９０ｂでユーザ操作が検知された時点が予め設定された時間範囲内であり、第１ディスプレイ部１９０ａにおけるドラッグ軌跡と、第２ディスプレイ部１９０ｂにおけるドラッグ軌跡が連続性を保持する場合、１つのドラッグ操作として認識する。それにより、そのドラッグ操作にマッチングする動作を行う。例えば、制御部１３０は、最初のドラッグが開始された第１ディスプレイ部１９０ａに表示された第１画面を第２ディスプレイ部１９０ｂまで拡張する動作、１つの画面を分割して第１及び第２ディスプレイ部１９０ａ、１９０ｂに表示する動作、１つの共通画面を第１及び第２ディスプレイ部１９０ａ、１９０ｂに各々表示する動作、第１及び第２ディスプレイ部１９０ａ、１９０ｂを同時に活性化又は非活性化させる動作、マルチディスプレイ装置の電源をターンオン又はターンオフさせる動作等のように、多様な動作を行うことができる。
【０２９３】
上述のマルチディスプレイ方法は、コンピュータで実行可能なアルゴリズムを含むプログラムで具現され得、プログラムは非一時的な読み取り可能な記録媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）に保存されて提供され得る。
【０２９４】
非一時的な読み取り可能な記録媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する記録媒体ではなく、半永久的にデータを保存し、機器によって読み取り可能な記録媒体を意味する。具体的に、上述の多様なアプリケーション又はプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な記録媒体に保存されて提供され得る。
【０２９５】
以上、図面を参照しながら本発明の実施形態について詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【０２９６】
２    第１ボディ
４    第２ボディ
５    有効認識領域
５０    ユーザオブジェクト
１００    マルチディスプレイ装置
１１０    通信部
１１１    セルラー通信モジュール
１１２    無線ＬＡＮモジュール
１１３    近距離通信モジュール
１１４    コネクタ
１１５    ＧＰＳ通信モジュール
１１６    放送通信モジュール
１２０    マルチメディア部
１２１    オーディオ再生モジュール
１２２    ビデオ再生モジュール
１３０    制御部
１３１    ＣＰＵ
１３３    ＧＰＵ
１３４、１３４’    ディスプレイ駆動部
１３４−１    統合フレームバッファ
１３４−２    ディスプレイドライバ
１３４ａ−１    第１フレームバッファ
１３４ａ−２    第１ディスプレイドライバ
１３４ｂ−１    第２フレームバッファ
１３４ｂ−２    第２ディスプレイドライバ
１３５    ＲＡＭ
１３７    ＲＯＭ
１３９    システムバス
１４０    撮像部
１４１、１４１’    第１カメラ
１４２、１４２’    第２カメラ
１５０    センサ部
１５１    タッチセンサ
１５２    地磁気センサ
１５３    加速度センサ
１５４    ヒンジセンサ
１５５    近接センサ
１６０    入／出力部
１６１    ボタン部
１６２    マイク
１６３    スピーカ
１６４    振動モータ
１７０    保存部
１８０    電源部
１８５    ヒンジ部
１９０、２９０    ディスプレイ部
１９０ａ    第１ディスプレイ部
１９０ｂ    第２ディスプレイ部
２００    入力ペン
２３１    タイミングコントローラ
２３２    ゲートドライバ
２３３    データドライバ
２３４    電圧駆動部
２３５    表示パネル
２３６    画素領域
２９１    赤外線ソース部
２９２    赤外線センシング部
３１０    テンプレート
３２０    キーパッド
３３０    ツールバー
３４０    メニューボタン
３５０    スクロールバー
４１０    ハードウェア
４２０    オペレーティングシステム（ＯＳ）
４３０    フレームワーク階層
４４０    アプリケーション階層
４４１    通話アプリケーション
４４２    マルチメディアアプリケーション
４４３    カメラアプリケーション
４４４    ブラウザアプリケーション
４４５    ジェスチャーアプリケーション
１１１０    メニュー
１３００    上部偏光板
１３０１    下部偏光板
１３１０    下部電極
１３３０    下部透明電極
１３４０    タッチパッド部
１３４１    ベースフィルム
１３４２    上部透明電極
１３４３    上部電極
１３５０    突起部
１３６０    表示パネル部
１３６１    下部基板
１３６２    上部基板
１３６３    液晶層
１３６４    密封部材
２１１０、２５１０    メモ帳
２２１０    メッセージ入力ウィンドウ
【図１】
2014078234.tif 000006
【図２】
2014078234.tif 000007
【図３】
2014078234.tif 000008
【図４】
2014078234.tif 000009
【図５】
2014078234.tif 000010
【図６】
2014078234.tif 000011
【図７】
2014078234.tif 000012
【図８】
2014078234.tif 000013
【図９】
2014078234.tif 000014
【図１０】
2014078234.tif 000015
【図１１】
2014078234.tif 000016
【図１２】
2014078234.tif 000017
【図１３】
2014078234.tif 000018
【図１４】
2014078234.tif 000019
【図１５】
2014078234.tif 000020
【図１６】
2014078234.tif 000021
【図１７】
2014078234.tif 000022
【図１８】
2014078234.tif 000023
【図１９】
2014078234.tif 000024
【図２０】
2014078234.tif 000025
【図２１】
2014078234.tif 000026
【図２２】
2014078234.tif 000027
【図２３】
2014078234.tif 000028
【図２４】
2014078234.tif 000029
【図２５】
2014078234.tif 000030
【図２６】
2014078234.tif 000031
【図２７】
2014078234.tif 000032
【図２８】
2014078234.tif 000033
【図２９】
2014078234.tif 000034
【図３０】
2014078234.tif 000035
【図３１】
2014078234.tif 000036
【図３２】
2014078234.tif 000037
【図３３】
2014078234.tif 000038
【図３４】
2014078234.tif 000039
【図３５】
2014078234.tif 000040
【図３６】
2014078234.tif 000041
【図３７】
2014078234.tif 000042
【図３８】
2014078234.tif 000043
【図３９】
2014078234.tif 000044
【図４０】
2014078234.tif 000045
【図４１】
2014078234.tif 000046
【図４２】
2014078234.tif 000047
【図４３】
2014078234.tif 000048
【図４４】
2014078234.tif 000049
【図４５】
2014078234.tif 000050
【図４６】
2014078234.tif 000051
【図４７】
2014078234.tif 000052