(57)【要約】【課題】光透過型の表示画面と同じエリアに設置されたデバイスの動作に対する表示画像の影響を無くす。【解決手段】光透過型の表示画面に画像を表示する表示部(５)と、上記表示画面と重なった位置に搭載されたデバイス(３)と、上記デバイス(３)の利用開始または利用終了の通知を行うデバイス利用通知手段と、上記通知に応じて、上記表示画面上の上記デバイス(３)が重なっている領域の位置情報を取得し、上記デバイス(３)の利用開始の場合には表示不可領域情報として、利用終了の場合には表示可領域情報として、上記表示部(５)に送出する表示領域管理部(４)とを備え、上記表示部(５)は、上記表示不可領域情報を受けた場合は、上記表示画面上の上記領域を非表示状態にする一方、上記表示可領域情報を受けた場合には、上記表示画面上の上記領域を表示状態にする。【選択図】図１
2015099473.tif 000002
【特許請求の範囲】
【請求項１】
光透過型の表示画面を有すると共に、上記表示画面に画像を表示する表示部と、
上記表示画面の背面側であって、上記表示画面に対して垂直方向から見て上記表示画面と重なった位置に搭載されたデバイスと、
上記デバイスの利用開始または利用終了の通知を行うデバイス利用通知手段と、
上記デバイス利用通知手段からの上記デバイスの利用開始または利用終了の通知に応じて、上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域の位置情報を取得し、上記デバイスの利用開始の場合には上記取得した位置情報を表示不可領域情報として、または、上記デバイスの利用終了の場合には上記取得した位置情報を表示可領域情報として、上記表示部に送出する表示領域管理部と
を備え、
上記表示部は、
上記表示領域管理部から上記表示不可領域情報を受けた場合には、上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域を、非表示状態にする一方、
上記表示領域管理部から上記表示可領域情報を受けた場合には、上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域を、表示状態にする
ことを特徴とするデバイス付き表示装置。
【請求項２】
請求項１に記載のデバイス付き表示装置において、
上記デバイス利用通知手段からの上記デバイスの利用開始または利用終了の通知を受けて、上記デバイスに関する表示制御の通知を行うデバイス利用制御部と、
上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域の位置情報が格納されたデバイス搭載位置データベースと
を備え、
上記表示領域管理部は、上記デバイス利用制御部からの上記デバイスに関する表示制御の通知を受けて、上記デバイス搭載位置データベースから上記デバイスに関する位置情報を取得するようになっている
ことを特徴とするデバイス付き表示装置。
【請求項３】
請求項１または請求項２に記載のデバイス付き表示装置において、
上記デバイス利用通知手段は、アプリケーションを実行すると共に、実行しているアプリケーションが上記デバイスを利用する場合に、上記デバイスの利用開始または利用終了の通知を行うアプリケーション実行部である
ことを特徴とするデバイス付き表示装置。
【請求項４】
請求項３に記載のデバイス付き表示装置において、
上記表示領域管理部は、上記デバイスの利用開始の場合には上記表示不可領域情報を、または、上記デバイスの利用終了の場合には上記表示可領域情報を、上記アプリケーション実行部に送出するようになっており、
上記アプリケーション実行部は、実行しているアプリケーションの画像を上記表示画面に表示させるに際して、上記表示領域管理部から上記表示不可領域情報または上記表示可領域情報を受けた場合には、上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域に対する表示内容を変更した画像を生成して上記表示部に送出し、上記表示画面に表示させる
ことを特徴とするデバイス付き表示装置。
【請求項５】
請求項４に記載のデバイス付き表示装置において、
上記アプリケーション実行部は、上記デバイスを利用しないアプリケーションを実行する場合には、上記デバイスの利用開始または利用終了の通知は行わず、且つ上記表示領域管理部からの上記表示不可領域情報または上記表示可領域情報基づいて、上記表示画面上の上記領域に対する表示内容を変更した画像を生成して上記表示部に送出するようになっている
ことを特徴とするデバイス付き表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デバイス付き表示装置に関する。
【背景技術】
【０００２】
デバイス付き表示装置として、特開２０１２‐７０３５６号公報(特許文献１)に開示されたセンサ付き表示装置がある。
【０００３】
このセンサ付き表示装置においては、開口を有する筺体の底面内側に、カメラ素子が上記筺体の開口側を向いて設置されている。そして、上記開口には、表示部が形成されている。この表示部は、内側から順に、上記カメラ素子の光入射面と対向する部分を除く箇所を覆って上記開口側から上記カメラ素子を目立たなくする印刷層、透明ディスプレイデバイス、貼り合わせシート、透明板が、順次積層されて構成されている。
【０００４】
こうして、上記カメラ素子を、光軸方向に見て透明ディスプレイデバイスの光透過型の表示画面と同じエリアに設置することによって、上記表示画面が上記カメラ素子のエリアによって狭められることを防止している。さらに、上記表示画面を見ているユーザを上記カメラ素子により撮影する場合に、ユーザの視線が上記カメラ素子の方向を向かないと言う不自然さを解消している。
【０００５】
ここで、上述したように、上記カメラ素子は上記透明ディスプレイデバイスの裏面側に設けられている。そのため、上記透明ディスプレイデバイスにカラー画像が表示されている場合には、上記カメラ素子からのカラー撮像画像には上記カラー表示画像の色が重畳されて色づいた撮像画像となってしまう。そこで、上記カメラ素子からのカラー撮像画像に対して、上記透明ディスプレイデバイスの表示画像に基づいて色補正を行って、上記撮像画像の色付きを軽減あるいは除去するようにしている。
【０００６】
しかしながら、上記従来の特許文献１に開示されたセンサ付き表示装置では、上記透明ディスプレイデバイスの表示画像に基づく色補正によって、上記撮像画像の色付きの問題を完全に解決できるとは限らない。さらに、上記カメラ素子以外の照度センサ等のデバイスを上記筺体の底面内側に設置している場合には、上記カメラ素子以外のデバイスの動作に対する上記カラー表示画像の影響については考慮されてはいない等の問題がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２‐７０３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
そこで、この発明の課題は、光透過型の表示画面に対して垂直方向に見て、上記表示画面と同じエリアに重なって設置されているデバイスを利用する場合に、上記デバイスの動作に対する表示画像の影響を無くすことができるデバイス付き表示装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、この発明のデバイス付き表示装置は、
光透過型の表示画面を有すると共に、上記表示画面に画像を表示する表示部と、
上記表示画面の背面側であって、上記表示画面に対して垂直方向から見て上記表示画面と重なった位置に搭載されたデバイスと、
上記デバイスの利用開始または利用終了の通知を行うデバイス利用通知手段と、
上記デバイス利用通知手段からの上記デバイスの利用開始または利用終了の通知に応じて、上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域の位置情報を取得し、上記デバイスの利用開始の場合には上記取得した位置情報を表示不可領域情報として、または、上記デバイスの利用終了の場合には上記取得した位置情報を表示可領域情報として、上記表示部に送出する表示領域管理部と
を備え、
上記表示部は、
上記表示領域管理部から上記表示不可領域情報を受けた場合には、上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域を、非表示状態にする一方、
上記表示領域管理部から上記表示可領域情報を受けた場合には、上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域を、表示状態にする
ことを特徴としている。
【００１０】
また、一実施の形態のデバイス付き表示装置では、
上記デバイス利用通知手段からの上記デバイスの利用開始または利用終了の通知を受けて、上記デバイスに関する表示制御の通知を行うデバイス利用制御部と、
上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域の位置情報が格納されたデバイス搭載位置データベースと
を備え、
上記表示領域管理部は、上記デバイス利用制御部からの上記デバイスに関する表示制御の通知を受けて、上記デバイス搭載位置データベースから上記デバイスに関する位置情報を取得するようになっている。
【００１１】
また、一実施の形態のデバイス付き表示装置では、
上記デバイス利用通知手段は、アプリケーションを実行すると共に、実行しているアプリケーションが上記デバイスを利用する場合に、上記デバイスの利用開始または利用終了の通知を行うアプリケーション実行部である。
【００１２】
また、一実施の形態のデバイス付き表示装置では、
上記表示領域管理部は、上記デバイスの利用開始の場合には上記表示不可領域情報を、または、上記デバイスの利用終了の場合には上記表示可領域情報を、上記アプリケーション実行部に送出するようになっており、
上記アプリケーション実行部は、実行しているアプリケーションの画像を上記表示画面に表示させるに際して、上記表示領域管理部から上記表示不可領域情報または上記表示可領域情報を受けた場合には、上記表示画面上における上記垂直方向から見て上記デバイスの位置が重なっている領域に対する表示内容を変更した画像を生成して上記表示部に送出し、上記表示画面に表示させる。
【００１３】
また、一実施の形態のデバイス付き表示装置では、
上記アプリケーション実行部は、上記デバイスを利用しないアプリケーションを実行する場合には、上記デバイスの利用開始または利用終了の通知は行わず、且つ上記表示領域管理部からの上記表示不可領域情報または上記表示可領域情報基づいて、上記表示画面上の上記領域に対する表示内容を変更した画像を生成して上記表示部に送出するようになっている。
【発明の効果】
【００１４】
以上より明らかなように、この発明のデバイス付き表示装置は、画像を表示する表示部における光透過型の表示画面の背面側であって、上記表示画面に対して垂直方向から見て上記表示画面と重なった位置には、デバイスが搭載されている。そして、表示領域管理部から上記表示部に対して、上記デバイスの利用開始の場合には表示不可領域情報を、また上記デバイスの利用終了の場合には表示可領域情報を送出し、上記表示部は、上記表示不可領域情報を受けた場合には、上記表示画面上における上記デバイスの位置が重なっている領域を非表示状態する一方、上記表示可領域情報を受けた場合には、上記表示画面上における上記領域を表示状態するようにしている。
【００１５】
したがって、上記デバイスの利用時には、上記デバイスには、上記光透過型の表示画面における非表示領域を透過する光が入射されることになる。そのため、上記デバイスの動作が、上記表示画面における非表示領域を除く領域に表示されている画像によって阻害されるのを防止することができる。
【００１６】
例えば、上記デバイスがインカメラである場合には、カメラのカラー撮像画像に上記表示画面の画像の色が重畳されることが無く、上記カラー撮像画像の色付きの問題を完全に解決することができる。また、上記デバイスが光学式の近接センサおよび調光センサである場合には、受光量が上記表示画面の画像の影響を受けることが無く、距離や明るさを正確に検出することができる。
【図面の簡単な説明】
【００１７】
【図１】この発明のデバイス付き表示装置における機能ブロック図である。
【図２】デバイス搭載位置データベースの格納内容の一例を示す図である。
【図３】デバイス利用開始・終了時表示制御動作のフローチャートである。
【図４】図３に続くフローチャートである。
【図５】ユーザがインカメラで自分の顔を撮影する場合の表示状態を示す図である。
【図６】ユーザがアウトカメラとインカメラとを切り替える場合の表示状態を示す図である。
【発明を実施するための形態】
【００１８】
以下、この発明を図示の実施の形態により詳細に説明する。
【００１９】
図１は、本実施の形態のデバイス付き表示装置における概略構成を示す機能ブロック図である。図１において、アプリケーション実行部１は、アプリケーション記憶部(図示せず)に記憶されているアプリケーション、あるいは、外部からインストールされたアプリケーションを実行する。その際に、実行するアプリケーションが、搭載されているデバイスを利用するアプリケーションの場合には、デバイス利用制御部２に対してデバイス利用開始およびデバイス利用終了を通知する。
【００２０】
上記デバイス利用制御部２は、上記アプリケーション実行部１からのデバイス利用開始通知およびデバイス利用終了通知を受けて、デバイス３に対して利用開始および利用終了の要求を行ったり、デバイス３の利用に伴う表示制御のために表示領域管理部４に通知を行ったりする。デバイス３は、例えばインカメラ,近接センサまたは調光センサ等のデバイスであって、表示部５の表示画面に対して垂直方向に見て上記表示画面と重なって(以下、単に「表示画面と重なって」と言う)設置されており、アプリケーション実行部１が実行する上記アプリケーションによって利用される。
【００２１】
上記表示領域管理部４は、表示部５およびアプリケーション実行部１に対して、デバイス３の利用開始および利用終了に伴う表示画面における特定領域の表示および非表示の要求を、デバイス３が設置されている領域の情報の通知と合わせて行う。表示部５は、透明ディスプレイ等の光透過型の表示画面を有している。そして、メインプログラムによるメイン処理動作時の画像や上記アプリケーション実行時の画像を表示する。さらに、表示領域管理部４からの上記要求や上記通知を受けて、デバイス３の利用開始および利用終了に伴って、表示画面におけるデバイス３の位置が重なっている領域の表示および非表示を行う。
【００２２】
こうして、上記デバイス３の利用時に、上記表示画面におけるデバイス３の位置が重なっている領域を非表示にして、デバイス３の動作に対する上記表示画面における画像の影響を排除するようにしている。
【００２３】
デバイス搭載位置データベース６には、上記デバイス３を利用する際に発生する上記表示画面上におけるデバイス３の位置が重なっている領域の位置情報を、「表示不可領域の情報」あるいは「表示可領域の情報」として、利用されるデバイスの「デバイス名」と対応付けて格納されている。図２に、デバイス搭載位置データベース６における格納内容の一例を示す。尚、図２中における数値は表示部５における横７２０ｐｘ(ピクセル)×縦１０８０ｐｘの表示画面上の位置(左上角を原点)を示し、(左端,上端,右端,下端)を表している。但し、表示「null」は、上記表示画面と位置が重ならないデバイスである。
【００２４】
メイン制御部７は、ＲＯＭ(Read Only Memory)等の記憶部(図示せず)に記憶された上記メインプログラムに従って、アプリケーション実行部１および表示部５等を制御して本デバイス付き表示装置のメイン処理を行う。その際に、アプリケーションを実行する場合には、アプリケーション実行部１に対してアプリケーションの実行を指示する。そして、アプリケーションの実行が終了すると、アプリケーション実行部１からの終了の通知を受ける。
【００２５】
ここで、具体的には、上記アプリケーション実行部１,デバイス利用制御部２,表示領域管理部４およびメイン制御部７は、ＣＰＵ(中央演算処理装置)によって構成されている。
【００２６】
図３および図４は、上記メイン制御部７による指示により、アプリケーション実行部１,デバイス利用制御部２および表示領域管理部４によって実行されるデバイス利用開始・終了時表示制御動作のフローチャートを示す。
【００２７】
以下、図３および図４に従って、デバイス利用開始・終了時表示制御動作について詳細に説明する。メイン制御部７からアプリケーション実行部１に対してアプリケーションの実行が指示されると、デバイス利用開始・終了時表示制御動作がスタートする。
【００２８】
ステップＳ1で、上記アプリケーション実行部１によって、デバイス利用制御部２に対し、デバイス利用開始が通知される。ステップＳ2で、デバイス利用制御部２によって、上記ステップＳ1における通知に従って、利用の対象となるデバイス３に対して、利用状態にするように要求がなされる。さらに、ステップＳ3において、デバイス利用制御部２によって、表示領域管理部４に対して、上記利用の対象となるデバイス３が利用状態に変更されたことが通知される。
【００２９】
ステップＳ4で、上記表示領域管理部４によって、上記デバイス搭載位置データベース６から、上記ステップＳ3において通知されたデバイス３の利用開始に伴って生ずる上記「表示不可領域の情報(図２参照)」および「デバイス名」が取得される。そして、ステップＳ5で、表示領域管理部４によって、表示部５に対して、取得された上記「表示不可領域の情報」に基づいて、上記表示画面上におけるデバイス３の位置が重なっている領域の画像を非表示に変更するように要求がなされる。ステップＳ6で、表示部５によって、表示領域管理部４から通知された上記表示画面上におけるデバイス３の位置が重なっている領域が非表示状態にされる。
【００３０】
ステップＳ7で、上記表示領域管理部４によって、上記ステップＳ4において取得された上記「表示不可領域の情報」および「デバイス名」がアプリケーション実行部１に対して通知される。ステップＳ8で、アプリケーション実行部１によって、上記通知された「表示不可領域の情報」および「デバイス名」に応じて、上記表示画面上におけるデバイス３の位置が重なっている領域に対する表示内容が変更される。ここで、上記表示内容の変更としては、例えば、操作可能なアイコンの配置を行わないことや、実行しているアプリケーションに関する情報を表示しないこと等がある。
【００３１】
ステップＳ9で、アプリケーション実行部１によって、デバイス３の利用が終了したと判別されるとステップＳ10に進む。こうして、デバイス利用終了時表示制御動作に移行する。
【００３２】
ステップＳ10で、上記アプリケーション実行部１によって、デバイス利用制御部２に対してデバイス利用終了が通知される。ステップＳ11で、デバイス利用制御部２によって、上記ステップＳ10における通知に従って、利用終了の対象となるデバイス３に対して、未利用状態にするように要求がなされる。さらに、ステップＳ12において、デバイス利用制御部２によって、表示領域管理部４に対して、上記利用終了の対象となるデバイス３が未利用状態に変更されたことが通知される。
【００３３】
ステップＳ13で、上記表示領域管理部４によって、デバイス搭載位置データベース６から、上記ステップＳ12において通知されたデバイス３の利用終了に伴って生ずる上記「表示可領域の情報」および「デバイス名」が取得される。この場合、上記「表示可領域」とは、ステップＳ4において取得された上記「表示不可領域」と同じ領域である。したがって、本ステップＳ13においては、図２に示すようにデバイス搭載位置データベース６に格納されている上記「表示不可領域の情報」をそのまま上記「表示可領域の情報」として取得すれば良い。さらに、ステップＳ14で、表示領域管理部４により、表示部５に対して、取得された上記「表示可領域の情報」に基づいて、上記表示画面上におけるデバイス３の位置が重なっている領域の画像を表示に変更するように要求がなされる。そして、ステップＳ15で、表示部５によって、表示領域管理部４から要求された上記表示画面上におけるデバイス３の位置が重なっている領域が表示状態にされる。
【００３４】
ステップＳ16で、上記表示領域管理部４によって、上記ステップＳ13において取得された上記「表示可領域の情報」および「デバイス名」が、利用終了に伴って表示可となる領域として、アプリケーション実行部１に対して通知される。ステップＳ17で、アプリケーション実行部１によって、上記通知された「表示可領域の情報」および「デバイス名」に応じて、上記表示画面上におけるデバイス３の位置が重なっている領域に対する表示内容が変更される。上記表示内容の変更としては、例えば、操作可能なアイコンの配置を行うことや、実行しているアプリケーションに関する情報を表示すること等がある。
【００３５】
そうした後、上記アプリケーション実行部１からメイン制御部７に対してアプリケーションの終了が通知されて、デバイス利用開始・終了時表示制御動作が終了される。
【００３６】
ここで、上記ステップＳ4において上記「表示不可領域の情報」および「デバイス名」が取得できなかった場合には、上記利用の対象となるデバイスは本デバイス付き表示装置に搭載されていないと判断して、上記ステップＳ5以降の処理は実行しないようになっている。
【００３７】
以上のように、本実施の形態によれば、上記アプリケーション実行部１が実行しているアプリケーションが、本デバイス付き表示装置に搭載されているデバイス３を利用する場合には、上記ステップＳ6において、表示部５によって、上記表示画面上におけるデバイス３の位置が重なっている領域が非表示状態にされる。したがって、デバイス３には、光透過型の表示画面における非表示領域を透過する光が入射される。そのため、デバイス３は、上記表示画面おける非表示領域を除く領域に表示されている画像によって、動作が阻害されることがないのである。
【００３８】
例えば、上記デバイス３がインカメラの場合には、カメラのカラー撮像画像に上記表示画面の画像の色が重畳されことが無く、上記カラー撮像画像の色付きの問題を完全に解決できる。また、デバイス３が光学式の近接センサおよび調光センサの場合には、受光量が上記表示画面の画像の影響を受けることが無く、距離や明るさを正確に検出することができる。
【００３９】
また、上述のように、上記デバイス３を利用する際には、上記表示画面上におけるデバイス３の位置が重なっている領域には画像が表示されなくなってしまう。しかしながら、上記ステップＳ7において、その領域をアプリケーション実行部１に通知することによって、上記ステップＳ8において、アプリケーション実行部１は、画像が表示されない領域が発生することを踏まえた画面レイアウトを構築できることができ、デメリットを軽減することができる。
【００４０】
例えば、上記表示画面上におけるデバイス３の位置が重なっている領域に、アイコンや操作方法等のユーザにとって表示されていないと困る情報が表示される場合には、その情報の表示位置をデバイス３の利用時に他の位置に移動することにより、アイコンや操作方法が表示されなくなるというデメリットを軽減できるのである。
【００４１】
あるいは、上記表示画面上におけるデバイス３の位置が重なっている領域には画像が表示されず、ユーザからは光透過型の表示画面を通してデバイス３が見える。そこで、アプリケーション実行部１は、見えているデバイス３を非表示領域を除く領域に表示されている画像の一部と見なして、画面レイアウトを構築できることも可能になる。
【００４２】
例えば、上記表示画面上におけるデバイス３が見えている領域の近傍に、「インカメラはココ」等の吹き出しが表示される画面レイアウトを構築することにより、ユーザの視線をインカメラの方向に正しく向かわせることができる。
【００４３】
以下、図５および図６に従って、上記デバイス利用開始・終了時表示制御動作による上記表示部５の表示状態の変遷について、具体的に説明する。
【００４４】
図５は、上記デバイス３がインカメラであり、ユーザが自分の顔を撮影する場合において、表示部５における表示画面８の表示状態を示す。図５(a)は、上記デバイス利用開始・終了時表示制御動作におけるステップＳ1〜ステップＳ5の表示内容である。表示画面８には、操作内容「フェイスアンロックのセットアップ」と、ユーザへの指示情報「おすすめの方法：・屋内で明るすぎず暗すぎない場所を選びます。・携帯端末を目の高さで持ちます。」との文字表示が行われている。したがって、上記文字画像に遮られて、表示画面８と重なって設置されているデバイス(インカメラ)３は見えない。ここで、表示画面８に表示されている上記文字画像上におけるデバイス３の位置が重なっている領域には、アイコン９が表示されている。
【００４５】
図５(b)は、上記デバイス利用開始・終了時表示制御動作におけるステップＳ6〜ステップＳ8の表示内容である。表示画面８には、操作内容「フェイスアンロックのセットアップ」と、ユーザへの指示情報「顔をここに合わせてください。」との文字表示に加えて、顔の表示目標位置(楕円形に配列された白点)が付け加えられたデバイス(インカメラ)３による撮影画像１１が表示されている。その際に、表示画面８に表示されている上記文字画像におけるデバイス３の位置が重なっている領域１０には、何も表示されていない。そして、上記ステップＳ8によって、アイコン９aは図５(a)の位置とは異なる位置に表示されている。
【００４６】
図５(c)は、上記デバイス利用開始・終了時表示制御動作におけるステップＳ15〜ステップＳ17の表示内容である。表示画面８には、操作内容「フェイスアンロックのセットアップ」と、ユーザへの情報「顔写真を取り込みました。」との文字表示に加えて、デバイス(インカメラ)３によって取り込まれた顔の静止画像１２が表示されている。その際に、上記ステップＳ17によって、表示画面８に表示されている上記文字画像におけるデバイス３の位置が重なっている領域には、再びアイコン９が表示されている。
【００４７】
図６は、上記デバイス３がアウトカメラとインカメラであり、ユーザがアウトカメラとインカメラとを交互に切り替えた場合において、表示部５における表示画面８の表示状態を示す。図６(a)は、上記デバイス３としてアウトカメラを用い、キーボードを撮影した場合における表示画面８の表示内容を示す。表示画面８には、上記キーボードの撮影画像１４が表示されている。したがって、撮影画像１４に遮られて、表示画面８における上記インカメラの位置が重なっている領域１３には、インカメラは見えない。
【００４８】
図６(b)は、上記デバイス３がインカメラに切り換えられた場合であって、上記インカメラが利用状態になる前における表示画面８の表示内容を示す。表示画面８には、直前に上記アウトカメラで撮影された上記キーボードの撮影画像１４が表示されている。その際に、表示画面８に表示されている撮影画像１４上におけるインカメラの位置が重なっている領域１５には、何も表示されてはおらず、インカメラが見えている。そして、領域１５の近傍には「カメラはココ」の吹き出し１６が表示されている。
【００４９】
図６(c)は、上記デバイス３が再度アウトカメラに切り換えられて、キーボードを撮影した場合における表示画面８の表示内容を示す。表示画面８には、上記キーボードの撮影画像１４が表示されている。また、上記吹き出しは表示されていない。したがって、表示画面８における上記インカメラの位置が重なっている領域１３には、撮影画像１４に遮られてインカメラは見えない。
【００５０】
尚、上記実施の形態においては、上記デバイス利用開始・終了時表示制御動作における上記ステップＳ4において、上記「表示不可領域の情報」および「デバイス名」が取得できなかった場合には上記ステップＳ5以降の処理を実行しないようにしている。しかしながら、この発明は、これに限定されるものではなく、デバイス利用制御部２は、本デバイス付き表示装置に搭載されているデバイスの一覧が格納された内部メモリを有しており、上記内部メモリを参照してデバイス利用開始が通知されたデバイス３は本デバイス付き表示装置に搭載されていないと判別した場合には、上記ステップＳ3以降の処理を実行しないようにしても構わない。
【００５１】
また、上記実施の形態においては、上記アプリケーション実行部１がデバイス３を利用するアプリケーションを実行する場合に、表示部５によって上記表示画面上におけるデバイス３の位置が重なっている領域が非表示状態にされると、上記表示画面上におけるデバイス３の位置が重なっている領域に対する表示内容を変更するようにしている。しかしながら、上述した「表示画面上におけるデバイス３の位置が重なっている領域に対する表示内容を変更する」動作は、デバイス３を利用するアプリケーションを実行する場合に限らず、アプリケーション実行部１が実行する総てのアプリケーションを対象として行っても良い。
【００５２】
また、上記実施の形態においては、上記アプリケーション実行部１によって、デバイス３を利用するアプリケーションが実行される場合のみについて説明している。しかしながら、この発明は、これに限定されるものではなく、例えばメイン制御部７等のアプリケーション実行部１以外からのデバイス利用をも対象とすることも可能である。その場合、例えば、アプリケーション実行部１はデバイス３を利用しないアプリケーションを実行し、上記デバイス利用開始・終了時表示制御動作のフローチャートにおけるステップＳ1,Ｓ10では、メイン制御部７からデバイス利用制御部２に対して、デバイス利用開始およびデバイス利用終了を通知するようにすればよい。但し、この場合には、アプリケーション実行部１はデバイス３を利用するアプリケーションを実行していないので、上述の「表示画面上におけるデバイス３の位置が重なっている領域に対する表示内容を変更する」動作は、アプリケーション実行部１が実行する総てのアプリケーションを対象として行うことになる。
【００５３】
以上のごとく、この発明のデバイス付き表示装置は、
光透過型の表示画面８を有すると共に、上記表示画面８に画像を表示する表示部５と、
上記表示画面８の背面側であって、上記表示画面８に対して垂直方向から見て上記表示画面８と重なった位置に搭載されたデバイス３と、
上記デバイス３の利用開始または利用終了の通知を行うデバイス利用通知手段と、
上記デバイス利用通知手段からの上記デバイス３の利用開始または利用終了の通知に応じて、上記表示画面８上における上記垂直方向から見て上記デバイス３の位置が重なっている領域の位置情報を取得し、上記デバイス３の利用開始の場合には上記取得した位置情報を表示不可領域情報として、または、上記デバイス３の利用終了の場合には上記取得した位置情報を表示可領域情報として、上記表示部５に送出する表示領域管理部４と
を備え、
上記表示部５は、
上記表示領域管理部４から上記表示不可領域情報を受けた場合には、上記表示画面８上における上記垂直方向から見て上記デバイス３の位置が重なっている領域を、非表示状態にする一方、
上記表示領域管理部４から上記表示可領域情報を受けた場合には、上記表示画面８上における上記垂直方向から見て上記デバイス３の位置が重なっている領域を、表示状態にする
ことを特徴としている。
【００５４】
上記構成によれば、上記デバイス３の利用時には、上記デバイス３には、光透過型の上記表示画面８における非表示領域を透過する光が入射されることになる。そのため、上記デバイス３の動作が、上記表示画面８における非表示領域を除く領域に表示されている画像によって阻害されるのを防止することができる。
【００５５】
例えば、上記デバイス３がインカメラである場合には、カメラのカラー撮像画像に上記表示画面８の画像の色が重畳されることが無く、上記カラー撮像画像の色付きの問題を完全に解決することができる。また、上記デバイス３が光学式の近接センサおよび調光センサである場合には、受光量が上記表示画面８の画像の影響を受けることが無く、距離や明るさを正確に検出することができる。
【００５６】
また、一実施の形態のデバイス付き表示装置では、
上記デバイス利用通知手段からの上記デバイス３の利用開始または利用終了の通知を受けて、上記デバイス３に関する表示制御の通知を行うデバイス利用制御部２と、
上記表示画面８上における上記垂直方向から見て上記デバイス３の位置が重なっている領域の位置情報が格納されたデバイス搭載位置データベース６と
を備え、
上記表示領域管理部４は、上記デバイス利用制御部２からの上記デバイス３に関する表示制御の通知を受けて、上記デバイス搭載位置データベース６から上記デバイス３に関する位置情報を取得するようになっている。
【００５７】
この実施の形態によれば、上記表示領域管理部４は、上記デバイス利用制御部２からの上記デバイス３に関する表示制御の通知を受けてから、上記デバイス搭載位置データベース６から上記デバイス３に関する位置情報を取得する。したがって、上記表示領域管理部４は、最適なタイミングで、正しく上記デバイス３に関する位置情報を取得することができる。
【００５８】
また、一実施の形態のデバイス付き表示装置では、
上記デバイス利用通知手段は、アプリケーションを実行すると共に、実行しているアプリケーションが上記デバイス３を利用する場合に、上記デバイス３の利用開始または利用終了の通知を行うアプリケーション実行部１である。
【００５９】
この実施の形態によれば、アプリケーションが上記デバイス３を利用する場合に、上記デバイス３には、光透過型の上記表示画面８における非表示領域を透過する光が入射されることになる。したがって、上記デバイス３の動作が、上記表示画面８おける非表示領域を除く領域に表示されている上記アプリケーションの画像によって阻害されるのを防止することができる。
【００６０】
また、一実施の形態のデバイス付き表示装置では、
上記表示領域管理部４は、上記デバイス３の利用開始の場合には上記表示不可領域情報を、または、上記デバイス３の利用終了の場合には上記表示可領域情報を、上記アプリケーション実行部１に送出するようになっており、
上記アプリケーション実行部１は、実行しているアプリケーションの画像を上記表示画面８に表示させるに際して、上記表示領域管理部４から上記表示不可領域情報または上記表示可領域情報を受けた場合には、上記表示画面８上における上記垂直方向から見て上記デバイス３の位置が重なっている領域に対する表示内容を変更した画像を生成して上記表示部５に送出し、上記表示画面８に表示させる。
【００６１】
この実施の形態によれば、上記表示部５は、上記デバイス３の利用時には、上記表示画面８上における上記垂直方向から見て上記デバイス３の位置が重なっている領域に対する表示内容を変更した上記アプリケーションの画像を表示する。
【００６２】
したがって、上記表示画面８上における上記垂直方向から見て上記デバイス３の位置が重なっている領域に画像が表示されないことを踏まえた画面レイアウトを構築できることができ、画像が表示されない領域が発生するというデメリットを軽減することができる。
【００６３】
例えば、上記表示画面８上における上記領域に、アイコン９や操作方法等のユーザにとって表示されていないと困る情報が表示される場合には、その情報の表示位置を上記デバイス３の利用時に他の位置に移動することにより、アイコン９や操作方法が表示されなくなるというデメリットを軽減できる。
【００６４】
また、一実施の形態のデバイス付き表示装置では、
上記アプリケーション実行部１は、上記デバイス３を利用しないアプリケーションを実行する場合には、上記デバイス３の利用開始または利用終了の通知は行わず、且つ上記表示領域管理部４からの上記表示不可領域情報または上記表示可領域情報基づいて、上記表示画面８上の上記領域に対する表示内容を変更した画像を生成して上記表示部５に送出するようになっている。
【００６５】
この実施の形態によれば、例えば、本デバイス付き表示装置のメイン処理を行うメイン制御部７が上記デバイス３を利用する場合であっても、上記表示画面８上における上記垂直方向から見て上記デバイス３の位置が重なっている領域に対する表示内容を変更した上記アプリケーションの画像を表示することができる。したがって、画像が表示されない領域が発生するというデメリットを軽減することができる。
【符号の説明】
【００６６】
１…アプリケーション実行部、
２…デバイス利用制御部、
３…デバイス、
４…表示領域管理部、
５…表示部、
６…デバイス搭載位置データベース、
７…メイン制御部、
８…表示部の表示画面、
９,９a…アイコン、
１０,１３,１５…画像上にデバイスの位置が重なっている領域、
１１…インカメラによる撮影画像、
１２…顔の静止画像、
１４…アウトカメラの撮影画像、
１６…吹き出し。
【図１】
2015099473.tif 000003
【図２】
2015099473.tif 000004
【図３】
2015099473.tif 000005
【図４】
2015099473.tif 000006
【図５】
2015099473.tif 000007
【図６】
2015099473.tif 000008