(57)【要約】【課題】表示手段の前面に設けられた偏光ビームスプリッタを通して画像を観察する表示装置において、スプリット面の光学特性の影響を軽減した画像の視認を可能とする。【解決手段】携帯通信端末１Ｂは、制御を司るシステム制御回路２０、液晶ディスプレイ３、液晶ディスプレイ３の前面に配置されたスプリット面２ａ、スプリット面２ａで反射する光を撮影するカメラ５を備える。システム制御回路２０は、液晶ディスプレイ３を外部から視認したときにスプリット面２ａの光学特性の影響が軽減されるように、液晶ディスプレイ３においてスプリット面２ａと重なる領域での明るさまたは色をスプリット面２ａの光学特性に基づいて補正する。【選択図】図２
2018137577.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と、
前記表示手段に画像を表示する際の明るさまたは色を画素単位で制御する制御手段と、
前記表示手段の前面に配置され、前記表示手段から入射する光の一部を透過させ、外部から入射する光の一部を反射させるスプリット面を有する光学部材と、
前記スプリット面で反射した光の像を撮影する撮像手段と、
前記スプリット面の光学特性を記憶する記憶手段と、を備え、
前記制御手段は、前記表示手段の画面を外部から観察したときに前記表示手段のうち前記スプリット面と重なる領域の明るさまたは色を前記スプリット面の影響が軽減されるように前記光学特性に基づいて補正することを特徴とする表示装置。
【請求項２】
前記撮像手段により撮影される画像の画像処理により前記スプリット面に対する被写体からの光の入射角を演算する演算手段を備え、
前記制御手段は、前記入射角に応じた前記スプリット面の透過率に基づいて前記表示手段において前記スプリット面と重なる領域の明るさまたは色を補正することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示手段の振動を検出する振動検出手段と、
前記振動検出手段が検出した振動の周期に応じて前記入射角を更新する更新時間を設定する設定手段と、を備え、
前記演算手段は、前記設定手段により設定された更新時間ごとに前記入射角を演算することを特徴とする請求項２に記載の表示装置。
【請求項４】
外部機器から前記表示手段に表示する画像の画像データと前記外部機器において前記画像の撮影に用いられたシステム情報とを取得する取得手段を備え、
前記取得手段が取得した画像が前記表示手段に表示されることを特徴とする請求項１乃至３のいずれか１項に記載の表示装置。
【請求項５】
前記取得手段が取得する画像は、前記外部機器において被写体からの光の一部を反射させるスプリット面で反射した光の像を撮影したものであり、
前記システム情報は、前記外部機器におけるスプリット面の光学特性であり、
前記取得手段が取得した画像が前記表示手段に表示される際に、前記制御手段は、前記画像の所定の領域に対応する前記表示手段の画素の明るさまたは色を前記システム情報に基づいて前記外部機器におけるスプリット面の影響が軽減されるように更に補正することを特徴とする請求項４に記載の表示装置。
【請求項６】
前記取得手段が取得した画像内での被写体の目の位置を検出する検出手段を備え、
前記制御手段は、前記撮像手段の光軸の位置と前記検出手段が検出した目の位置とを合わせるように前記取得手段が取得した画像を前記表示手段に表示することを特徴とする請求項４又は５に記載の表示装置。
【請求項７】
表示手段と、
前記表示手段に画像を表示する際の明るさまたは色を画素単位で制御する制御手段と、
前記表示手段の前面に配置され、前記表示手段から入射する光の一部を透過させ、外部から入射する光の一部を反射させるスプリット面を有する光学部材と、
前記スプリット面で反射した光の像を撮影する撮像手段と、
前記スプリット面の光学特性を記憶する記憶手段と、を備え、
前記撮像手段により撮影された画像を前記表示手段に表示する際に、前記制御手段は前記光学特性に基づいて、前記光学特性が前記撮像手段により撮影される画像に与える影響が軽減されるように前記表示手段において前記画像の所定の領域に対応する領域の明るさまたは色を補正すると共に、前記表示手段の画面を外部から観察したときに前記表示手段のうち前記スプリット面と重なる領域の明るさまたは色を前記スプリット面の影響が軽減されるように補正することを特徴とする表示装置。
【請求項８】
前記撮像手段により撮影される画像の画像処理により前記スプリット面に対する被写体からの光の入射角を演算する演算手段を備え、
前記制御手段は、前記入射角に応じた前記スプリット面の透過率に基づいて、前記表示手段における所定の領域の明るさまたは色を補正することを特徴とする請求項７に記載の表示装置。
【請求項９】
前記表示手段は、液晶ディスプレイであることを特徴とする請求項１乃至８のいずれか１項に記載の表示装置。
【請求項１０】
被写体から入射する光の一部を反射させると共に表示手段から入射する光の一部を透過させるスプリット面を有する光学部材が前記表示手段の前面に設けられた表示装置の制御方法であって、
前記表示手段に画像を表示する際に、前記表示手段の画面を外部から観察したときに前記表示手段のうち前記スプリット面と重なる領域の明るさまたは色を、前記スプリット面の光学特性に基づいて前記スプリット面の影響が軽減されるように補正する補正ステップを有することを特徴とする表示装置の制御方法。
【請求項１１】
被写体から入射する光の一部を反射させると共に表示手段から入射する光の一部を透過させるスプリット面を有する光学部材が前記表示手段の前面に設けられた表示装置の制御方法であって、
前記スプリット面で反射した光の像を撮影する撮影ステップと、
前記撮影ステップで撮影された画像を前記表示手段に表示する際に、前記スプリット面の光学特性が前記画像に与えた影響が軽減されるように前記表示手段において前記画像の所定の領域に対応する領域の明るさまたは色を補正すると共に、前記表示手段の画面を外部から観察したときに前記表示手段のうち前記スプリット面と重なる領域の明るさまたは色を前記スプリット面の影響が軽減されるように前記光学特性に基づいて補正するステップと、を有することを特徴とする表示装置の制御方法。
【請求項１２】
請求項１０又は１１に記載の表示装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段を備える表示装置とその制御方法及びプログラムに関する。
【背景技術】
【０００２】
撮像手段と表示手段を備えた携帯電話やスマートフォン等の携帯通信端末の普及により、利用者の音声のみでなく映像をリアルタイムに送受信することで、相手の顔や周囲の状況等を確認しながら会話を行うテレビ電話を容易に行うことが可能になっている。このようなテレビ電話機能を携帯通信端末で実現する際に利用者の視線を合致させることで、違和感のない通話を実現するための技術が、例えば、特許文献１に提案されている。
【０００３】
特許文献１に記載された通信装置は、複数の表示画素が配列された表示素子を有する表示手段と、表示素子における表示画素間に形成された複数の開口領域を通して複数の物体像を形成し、形成された複数の物体像を光電変換する撮像手段を備える。通信装置の利用者が表示手段に映される相手の映像を見ると、正面から利用者自身が撮影されて、撮影された画像が相手の通信装置へ送られる。よって、撮影者は、表示手段に表示された相手の目を見ることによって、相手と視線を合致させて通話を行うことができる。その結果、相手もまた、利用者が自分（相手）と視線を合わせて話しているように認識することが可能になることで、円滑な会話を行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１７６１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載された通信装置は、撮像手段を表示手段の背面に配置して利用者を撮影する構成となっており、バックライトの不要な有機ＥＬに代表される透過方式の表示手段が前提の構成となっているため、比較的、高価なものとなる。そこで、より安価な構成として、例えば、偏光ビームスプリッタを表示画面の前面に配置し、撮像手段を表示画面の枠外に設け、スプリット面に外部から入射した光をスプリット面で反射させて撮像手段に導く構成が考えられる。このように構成された通信装置間でテレビ電話を行った場合、各利用者は、偏光ビームスプリッタを通して表示手段に表示された相手の映像を観察することになる。
【０００６】
ここで、偏光ビームスプリッタのスプリット面に施されている多層膜コートには入射角依存性があるため、光線の入射角に応じて分光透過率（分光反射率）が変化する。よって、撮影の際に撮影画角の周辺の光量が低下した場合や利用者が表示手段を見る際の角度が変わった際に、観察している画面全体が暗くなり或いは色が変化してしまうという問題が生じる。
【０００７】
本発明は、表示手段の前面に設けられた偏光ビームスプリッタを通して被写体像を撮影する撮像装置を備える表示装置において、スプリット面の入射角依存性の影響を軽減した画像の観察を可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る表示装置は、表示手段と、前記表示手段に画像を表示する際の明るさまたは色を画素単位で制御する制御手段と、前記表示手段の前面に配置され、前記表示手段から入射する光の一部を透過させ、外部から入射する光の一部を反射させるスプリット面を有する光学部材と、前記スプリット面で反射した光の像を撮影する撮像手段と、前記スプリット面の光学特性を記憶する記憶手段と、を備え、前記制御手段は、前記表示手段の画面を外部から観察したときに前記表示手段のうち前記スプリット面と重なる領域の明るさまたは色を前記スプリット面の影響が軽減されるように前記光学特性に基づいて補正することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、表示手段の前面に設けられた偏光ビームスプリッタを通して被写体像を撮影する撮像装置を備える表示装置の利用者は、スプリット面の入射角依存性の影響が軽減され画像を観察することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る携帯通信端末の使用態様を説明する図である。
【図２】携帯通信端末の概略構成を示す正面図及び断面図である。
【図３】携帯通信端末の概略構成を示すブロック図である。
【図４】テレビ電話中に携帯通信端末に表示する映像の表示を補正しない場合に視認される明暗差を模式的に示す図である。
【図５】偏光ビームスプリッタのスプリット面のＳ偏光の透過率特性を示す図である。
【図６】偏光ビームスプリッタのスプリット面のＰ偏光の透過率特性を示す図である。
【図７】携帯通信端末でテレビ電話機能が実行されている際の動作を説明するフローチャートである。
【図８】ステップＳ１０４，Ｓ１０５の処理を説明するフローチャートである。
【図９】ステップＳ１０７，Ｓ１０８の処理を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。本実施形態では、本発明に係る表示装置を携帯通信端末として具現化した形態について説明する。但し、本発明に係る表示装置は、携帯型の情報処理装置に限定されるものではなく、机上等に設置されて用いられる据え置き型の情報処理装置であってもよい。
【００１２】
図１は、本発明の実施形態に係る携帯通信端末１Ａ，１Ｂの使用態様を説明する図である。説明の便宜上、携帯通信端末１Ａ，１Ｂは、機能的に同じ携帯通信端末（同機種）であるとする。携帯通信端末１Ａの利用者αと携帯通信端末１Ｂの利用者βはそれぞれ、別の空間Ａと空間Ｂに居て、携帯通信端末１Ａと携帯通信端末１Ｂとの双方向通信（所謂、テレビ電話機能）を利用して対話（通話）を行っている。
【００１３】
利用者αは、携帯通信端末１Ａのディスプレイに表示された利用者βの顔映像を見ながら利用者βと対話しており、携帯通信端末１Ａは利用者αの顔近傍を撮影してその映像を携帯通信端末１Ｂへ送信している。これにより、携帯通信端末１Ｂのディスプレイには携帯通信端末１Ａから受信した利用者αの顔映像が表示される。同様に、利用者βは、携帯通信端末１Ｂのディスプレイに表示された利用者αの顔映像を見ながら利用者αと対話しており、携帯通信端末１Ｂは利用者βの顔近傍を撮影してその映像を携帯通信端末１Ａへ送信している。これにより、携帯通信端末１Ａのディスプレイには、携帯通信端末１Ｂから受信した利用者βの顔映像が再生表示される。こうして、利用者α，βは、相手の顔を見ながら対話を行う。
【００１４】
次に、携帯通信端末１Ａ，１Ｂにおいて上述のテレビ電話機能を実現するための構成について説明する。図２（ａ）は、携帯通信端末１Ｂの概略構成を示す正面図である。なお、携帯通信端末１Ａの構成は携帯通信端末１Ｂの構成に準ずるため、説明を省略する。また、図２（ａ）に示すように、説明の便宜上、互いに直交するｘ軸方向、ｙ軸方向及びｚ軸方向を定める。ｘ軸方向は携帯通信端末１Ｂの短手方向（短辺と平行な方向）であり、ｙ軸方向は携帯通信端末１Ｂの長手方向（長辺と平行な方向）であり、ｚ軸方向は携帯通信端末１Ｂの厚み方向であり、ｘ軸方向及びｙ軸方向と直交する方向である。
【００１５】
携帯通信端末１Ｂは、偏光ビームスプリッタ２、液晶ディスプレイ３、スピーカ４、カメラ５、マイク６、フレーム７及び操作スイッチ８を備える。液晶ディスプレイ３は、携帯通信端末１Ｂの各種の設定情報、基本ＯＳ及び各種アプリケーションの操作画面（ＵＩ）を表示する。また、液晶ディスプレイ３には、携帯通信端末１Ａとテレビ電話を行っている際には、携帯通信端末１Ａから受信した利用者αの顔映像等が表示される。スピーカ４は、基本ＯＳ及び各種アプリケーションの動作時に音声データを再生する音声再生手段であり、携帯通信端末１Ａとの通話時には携帯通信端末１Ａから受信した音声信号を再生する。マイク６は、携帯通信端末１Ｂの利用者βの音声を拾う音声検出手段である。
【００１６】
操作スイッチ８は、テレビ電話機能の起動や終了を携帯通信端末１Ｂのシステム制御回路２０（図３参照）に指示するための操作手段である。偏光ビームスプリッタ２は、液晶ディスプレイ３の前面に配置されている。カメラ５は、偏光ビームスプリッタ２を通して偏光ビームスプリッタ２と対向する被写体（利用者β）の光学像を取得し、その映像データ（画像データ）を生成する。なお、映像は、複数の画像（フレーム）が所定の時間間隔で並べられて構成される。偏光ビームスプリッタ２及びカメラ５についての詳細については後述する。
【００１７】
図２（ｂ）は、携帯通信端末１Ｂの概略構成を示す断面図である。液晶ディスプレイ３は、スペーサ３ａを介して基台９の前面に配置されている。偏光ビームスプリッタ２は、液晶ディスプレイ３と略同一サイズの光学部材であり、スペーサ２ｃを介して液晶ディスプレイ３の前面に配置されている。フレーム７は、液晶ディスプレイ３と偏光ビームスプリッタ２を保持した状態で基台９に取り付けられている。
【００１８】
偏光ビームスプリッタ２は、アクリル等の透過率の高い透明な樹脂の成型品を組み合わせて構成されている。偏光ビームスプリッタ２の略中央には、表面に対して約３０度の角度で傾斜しているスプリット面２ａが設けられている。また、偏光ビームスプリッタ２のｙ軸方向の正側（携帯通信端末１Ｂの上端側）には射出面２ｂが設けられている。スプリット面２ａには、誘電体の多層膜コートが形成されており、被写体（利用者β）からの光線Ｓは、スプリット面２ａで反射した後、偏光ビームスプリッタ２の内部で複数回の全反射を行う。こうして全反射した光は射出面２ｂからカメラ５へ射出し、カメラ５の内部の光学系を透過して撮像素子５ａに結像する。撮像素子５ａは、ＣＭＯＳセンサ又はＣＣＤセンサ等であり、所定のフレームレートで画像を撮影することにより映像信号を生成する。なお、カメラ５の光学系には、ゴースト光をカットする等の目的のために不図示の偏光フィルタが内蔵されており、これにより、スプリット面２ａからの反射光のうちＳ偏光成分のみが撮影される。
【００１９】
一方、光線Ｐに示すように、利用者βは、液晶ディスプレイ３に表示される映像や画像を、その前面に配置された偏光ビームスプリッタ２及びそのスプリット面２ａを通して観察することができる。つまり、スプリット面２ａは、液晶ディスプレイ３側から入射した光の一部を透過させると共にその反対側の外部（利用者β側）から入射した光の一部を反射する性質を有する。図２（ａ）には、スプリット面２ａが配置される範囲が破線で示されている。利用者βが液晶ディスプレイ３を観察したときには、概ね、ｚ軸方向から見てスプリット面２ａが液晶ディスプレイ３と重複する領域において、液晶ディスプレイ３に表示される映像や画像の明るさがスプリット面２ａの光学特性の影響を受ける。
【００２０】
図３は、携帯通信端末１Ｂの概略構成を示すブロック図である。携帯通信端末１Ｂは、携帯通信端末１Ｂの全体的な動作を制御するシステム制御回路２０と、撮像素子５ａ（カメラ５）を駆動する撮像素子駆動回路２１と、液晶ディスプレイ３の表示制御を行う表示処理回路２２を備える。また、携帯通信端末１Ｂは、マイク６で集音した音声を電気信号に変換する音声処理回路２３と、スピーカ４を駆動するスピーカ駆動回路２４を備える。システム制御回路２０は、操作スイッチ８からの信号を判断して、テレビ電話機能の起動／終了を判断する。
【００２１】
携帯通信端末１Ｂは、加速度センサ１０、センサ駆動回路２５、送受信回路２６、演算回路２７、記憶回路２８及びタイマ回路２９を備える。システム制御回路２０は、撮像素子駆動回路２１、表示処理回路２２、音声処理回路２３、スピーカ駆動回路２４、センサ駆動回路２５、送受信回路２６、演算回路２７、記憶回路２８及びタイマ回路２９の動作を制御する。また、システム制御回路２０は、これらの各回路等から取得した信号に基づき、各種の検出処理や判定処理を行う。加速度センサ１０は、携帯通信端末１Ｂの振動や揺れを検知する振動検出手段である。センサ駆動回路２５は加速度センサ１０の駆動を制御し、システム制御回路２０は、加速度センサ１０からの出力信号に基づいて携帯通信端末１Ｂが利用者βの掌等に保持された状態にあるか又は机等の静止物の上に置かれているかを判断する。
【００２２】
演算回路２７は、主として画像処理や画像認識、各種の計算を行い、テレビ電話機能の実行時には視線合致処理を行う。タイマ回路２９は、システム制御回路２０からの指示により時間経過を計測する。送受信回路２６は、携帯通信端末１Ａ等の他の携帯通信端末との双方向通信を行う。記憶回路２８は、携帯通信端末１Ｂの基本ＯＳや各種アプリケーションのプログラム等を格納すると共にシステム制御回路２０が演算した結果を記憶し、また、偏光ビームスプリッタ２のスプリット面２ａの光学特性データを記憶する。なお、スプリット面２ａの光学特性データとは、スプリット面２ａの多層膜コートの光学特性、つまり、Ｓ偏光とＰ偏光のそれぞれのスプリット面２ａへの入射角に応じて変化する分光透過率である。また、記憶回路２８は、スプリット面２ａの背後となる液晶ディスプレイ３での画素の位置情報、偏光ビームスプリッタ２と液晶ディスプレイ３の距離等のデータを格納する。
【００２３】
携帯通信端末１Ｂでは、液晶ディスプレイ３に映像や画像を表示する際に、偏光ビームスプリッタ２への光の入射角θとスプリット面２ａの光学特性に基づいて、液晶ディスプレイ３の明るさ又は色を画素単位で調整することにより映像や画像の表示を補正する。ここで、映像や画像の表示を補正しない場合の問題点について図４を参照して説明する。
【００２４】
図４は、携帯通信端末１Ａ，１Ｂ間でのテレビ電話中に携帯通信端末１Ｂの液晶ディスプレイ３に表示される映像の表示を補正しない場合に視認される映像の明暗差を模式的に示す図である。ここでは、利用者αは、携帯通信端末１Ａを縦姿勢にして掌に保持した状態で自身を撮影しているものとする。また、利用者αは、ｘ軸方向では携帯通信端末１Ａの略中央で液晶ディスプレイ３に対面しているものとする。
【００２５】
このとき、例えば、利用者αが、携帯通信端末１Ａの液晶ディスプレイ３と正対せずに携帯通信端末１Ａのｙ軸方向の負側にいて、液晶ディスプレイ３を見上げるようにして観察しているとする。その場合、スプリット面２ａのＳ偏光の入射角依存性による分光透過率の低下に起因して撮影画角の周辺が暗く撮影され、こうして撮影された映像が携帯通信端末１Ｂの液晶ディスプレイ３に表示される。図４には、利用者αを撮影した撮影画角の周辺が暗くなっている状態が、太さの異なる複数の横線で示された領域Ｅｓで模式的に表されている。
【００２６】
また、利用者βが携帯通信端末１Ｂの液晶ディスプレイ３に表示された映像を観察しているときには、スプリット面２ａのＰ偏光の入射角依存性に起因して、観察角度に応じて分光透過率が変化する。この場合、スプリット面２ａの背面側が暗く観察されることになり、図４にはその状態が領域Ｅｐで模式的に表されている。したがって、利用者βは、携帯通信端末１Ａでの撮影時のスプリット面２ａのＳ偏光の入射角依存性による影響（領域Ｅｓ）を受けた明暗差を有する映像を観察することになる。これと同時に利用者βは、携帯通信端末１Ｂのスプリット面２ａのＰ偏光の入射角依存性の影響（領域Ｅｐ）を受けた明暗差を有する映像を観察することになる。その結果、円滑な対話が妨げられるおそれがある。
【００２７】
この問題を解決するために、携帯通信端末１Ｂでは、偏光ビームスプリッタ２への光の入射角θとスプリット面２ａの光学特性に基づいて、液晶ディスプレイ３での映像の表示を補正する。以下、携帯通信端末１Ｂにおいて液晶ディスプレイ３での映像表示を補正する処理について説明する。なお、携帯通信端末１Ａ，１Ｂのそれぞれのカメラ５は所定のフレームレートで画像（フレーム）を撮影して映像を生成している。そこで、映像表示を補正するということは映像を構成する画像の表示を補正するものであるため、以下の説明では、画像の表示を補正するという表現を用いる。
【００２８】
図５は、カメラ５によって撮影される画像に影響する偏光ビームスプリッタ２のスプリット面２ａの光学特性であって、スプリット面２ａのＳ偏光の透過率特性をシミュレーションした結果を示すグラフである。なお、カメラ５は、携帯通信端末１Ａのものか携帯通信端末１Ｂのものかを問わない。
【００２９】
図５（ａ）は、入射角θが３０度のときにスプリット面２ａのＳ偏光の分光透過率（単位：％）が光の波長（単位：ｎｍ）に応じてどのように変化するかを表している。なお、入射角θは、利用者が液晶ディスプレイ３を観察する視線がスプリット面２ａの垂線となす角度（図２（ｂ）参照）である。また、透過率と反射率との間には“１−透過率＝反射率”の関係がある。図５（ａ）から、５００ｎｍ付近から長波長側では分光透過率が１０％程度以下（９０％程度が反射）であるが、５００ｎｍから短波長側では分光透過率が８０％程度となっており、反射光が少なくなることがわかる。反射光が少なくなるということは、カメラ５に入射する光が少なくなることを意味するため、カメラ５は、図５（ａ）の特性にしたがって被写体の短波長側の色が変化した画像を撮影する。携帯通信端末１Ａ，１Ｂには、このような特性のデータが入射角ごとに用意されており、記憶回路２８に格納されている。
【００３０】
図５（ｂ）は、入射角θ（単位：度）に応じてスプリット面２ａのＳ偏光の分光透過率（単位：％）がどのように変化するかを表している。図５（ｂ）から、入射角θが約３０度のときに分光透過率は非常に小さくなり、Ｓ偏光の反射率が１００％に近い値となっていることがわかる。そして、分光透過率は、入射角θが３０度より小さくなるにしたがって又は大きくなるにしたがってそれぞれ増加し、１５度及び４５度で約２０％に達していること（換言すれば、反射率が約８０％まで減少すること）がわかる。したがって、カメラ５は、図５（ｂ）の特性にしたがって撮影画角の周辺光量が低下した画像を撮影する。
【００３１】
図６は、液晶ディスプレイ３に表示される画像を観察する際に影響する偏光ビームスプリッタ２のスプリット面２ａの光学特性であって、スプリット面２ａのＰ偏光の透過率特性をシミュレーションした結果を示すグラフである。図６（ａ）は、入射角θが３０度のときにスプリット面２ａのＰ偏光の分光透過率（単位：％）が光の波長（単位：ｎｍ）に応じてどのように変化するかを表している。図６（ａ）から、５００ｎｍ付近から短波長側での分光透過率は９０％を超えているが、５００ｎｍ付近から長波長側での分光透過率は８０％程度に低下していることがわかる。したがって、液晶ディスプレイ３を観察する利用者には、画像の表示が補正されない場合には、スプリット面２ａを通して観察する領域では画像の色に応じて明るさが低下して見えることになる。携帯通信端末１Ａ，１Ｂには、このような特性のデータが入射角ごとに用意されており、記憶回路２８に格納されている。
【００３２】
図６（ｂ）は、入射角θ（単位：度）に応じてスプリット面２ａのＰ偏光の分光透過率（単位：％）がどのように変化するかを表している。図６（ｂ）から、入射角θが約３０度の場合に分光透過率は約１００％となっており、約３０度から短波長側及び長波長側へずれるにしたがって分光透過率は低下することがわかる。具体的には、液晶ディスプレイ３を少し上方から見下ろす場合には入射角θは小さくなり、１５度から２０度の範囲の分光透過率は約８０％へ低下している。また、液晶ディスプレイ３を少し下方から見上げる場合には、入射角θは大きくなり、入射角θが大きくなるにしたがって分光透過率が減少する。したがって、液晶ディスプレイ３を観察する利用者には、画像の表示が補正されない場合には、液晶ディスプレイ３を見る角度に応じてスプリット面２ａを通して観察する領域では画像が暗くなって見えることになる。
【００３３】
本実施形態では、図５及び図６に示したスプリット面２ａのＳ偏光とＰ偏光の特性データに基づき、撮影時及び観察時のそれぞれでのスプリット面２ａの光学特性の影響が相殺されるように液晶ディスプレイ３での画像の表示を補正する。これにより、テレビ電話を行う際の対話相手を明暗差の軽減された鮮明な画像で視認することができるようにする。
【００３４】
次に、携帯通信端末１Ａ，１Ｂ間でテレビ電話機能を用いて利用者α，βが対話を行う際に携帯通信端末１Ａ，１Ｂで実行される制御の内容について説明する。携帯通信端末１Ａ，１Ｂでは同様の制御が行われるため、ここでも利用者βの携帯通信端末１Ｂについて説明を行うこととし、利用者αの携帯通信端末１Ａの動作についての説明を省略する。
【００３５】
図７は、携帯通信端末１Ｂにおいて外部機器の一例である携帯通信端末１Ａとの間でテレビ電話機能が実行されている際の動作を説明するフローチャートである。図７のフローチャートに示す各処理は、携帯通信端末１Ｂのシステム制御回路２０が記憶回路２８に格納された所定のプログラムを実行して携帯通信端末１Ｂの各回路（各部）の動作を制御することにより実現される。
【００３６】
利用者βが携帯通信端末１Ｂの操作スイッチ８を操作してテレビ電話機能が起動させることで処理が開始される。ステップＳ１０１においてシステム制御回路２０は、周知の方法を用いて、送受信回路２６を通して通信相手となる携帯通信端末１Ａとの双方向通信を確立させる。ステップＳ１０２においてシステム制御回路２０は、自己の携帯通信端末１Ｂと相手側の携帯通信端末１Ａのそれぞれのシステム情報を確認し、設定する。なお、システム情報とは、各端末のカメラ５の焦点距離や送信される信号の形態、スプリット面２ａの特性データ等であり、必要に応じて記憶回路２８から呼び出される。送信される信号の形態とは、例えば、カメラ５により撮影されて送信される映像信号のフレームレートである。スプリット面２ａの特性データには、分光透過率の波長依存性や入射角依存性（図５及び図６）等の光学特性が含まれる。更にスプリット面２ａの特性データには、スプリット面２ａと液晶ディスプレイ３が重畳している範囲（ｚ軸方向での重複領域）の画素の位置情報、偏光ビームスプリッタ２と液晶ディスプレイ３の間の距離等が含まれる。
【００３７】
ステップＳ１０３においてシステム制御回路２０は、携帯通信端末１Ｂの利用者βの利用者情報の初期設定を行う。利用者情報とは、利用者βの液晶ディスプレイ３に対する目の位置を示す情報等であり、記憶回路２８に記憶される。ステップＳ１０４においてシステム制御回路２０は、利用者α，βそれぞれの視線の入射角θの更新時間を設定する。利用者αの視線の入射角θとは、携帯通信端末１Ａの液晶ディスプレイ３を観察している利用者αの視線のスプリット面２ａへの入射角（図２（ｂ）参照）である。同様に、利用者βの視線の入射角θとは、携帯通信端末１Ｂの液晶ディスプレイ３を観察している利用者βの視線のスプリット面２ａへの入射角である。
【００３８】
利用者α，βそれぞれの視線の入射角θは、各端末を利用している間に変化することが一般的である。よって、入射角θを更新時間Ｔで定期的に検出して更新することで、画像の表示を補正する際の精度が低下することを防止することができる。携帯通信端末１Ｂが机上等に置かれている場合と手持ちの場合とでは、入射角θに変化が生じる頻度が異なる。例えば、携帯通信端末１Ｂが机上等に置かれている場合には、利用者βは着席している可能性があるため、携帯通信端末１Ｂが手持ちされている場合と比べて、入射角θの変化の頻度は少ないと考えられる。したがって、携帯通信端末１Ｂが机上等に置かれていると判断される場合には、入射角θを更新する周期は長くてもよいと考えられる。そこで本実施形態では、携帯通信端末１Ｂが机上に置かれているか又は手持ちであるかを加速度センサ１０からの出力信号に基づいて判断し、判断結果に適した入射角θの更新時間Ｔを設定する。
【００３９】
図８（ａ）は、ステップＳ１０４の処理を説明するフローチャートである。ステップＳ２０１においてシステム制御回路２０は、加速度センサ１０からの出力信号に基づき、携帯通信端末１Ｂの振動量（振動の周期）を検出する。ステップＳ２０２においてシステム制御回路２０は、携帯通信端末１Ｂが手持ちか（掌に保持されているか）否かを判定する。ここで、一般に人体は０．５〜２Ｈｚ程度で周期的に前後に揺れていると言われている。そこで、本実施形態では、システム制御回路２０は、加速度センサ１０からの出力信号が０．５〜２Ｈｚ程度で周期的に変化する状態であれば、携帯通信端末１Ｂは手持ちであると判定する。そして、携帯通信端末１Ｂは手持ち状態ではないと判定した場合には、机上等に置かれているものと判定することとする。
【００４０】
システム制御回路２０は、携帯通信端末１Ｂが手持ちであると判定した場合（Ｓ２０２でＹＥＳ）、処理をステップＳ２０３へ進め、携帯通信端末１Ｂが机上等に置かれていると判定した場合（Ｓ２０２でＮＯ）、処理をステップＳ２０４へ進める。ステップＳ２０３においてシステム制御回路２０は、入射角θの更新時間Ｔを時間Ｔ１に設定する。ステップＳ２０４においてシステム制御回路２０は、入射角θの更新時間Ｔを時間Ｔ１よりも長い時間Ｔ２に設定する。ステップＳ２０３，Ｓ２０４の後のステップＳ２０５においてシステム制御回路２０は、タイマ回路２９の動作（カウント）を開始する。その後、システム制御回路２０は、処理をステップＳ１０５へ進める。
【００４１】
図７のフローチャートの説明に戻る。ステップＳ１０４の後のステップＳ１０５においてシステム制御回路２０は、携帯通信端末１Ａ，１Ｂ間でのデータの送受信を行う。図８（ｂ）は、ステップＳ１０５の処理を説明するフローチャートである。ステップＳ３０１においてシステム制御回路２０は、撮像素子駆動回路２１を介して撮像素子５ａに撮影指示を行うことにより利用者βを撮影し、生成した画像信号（画像データ）を記憶回路２８に一時的に保存する。なお、利用者βを撮影する際には、前述したように、カメラ５に設けられた偏光フィルタによりＳ偏光成分のみが撮影される。また、ステップＳ３０１では、マイク６が集音した音声が音声処理回路２３により携帯通信端末１Ａに送信可能な音声信号に変換され、記憶回路２８に一時的に保存される。
【００４２】
ステップＳ３０２においてシステム制御回路２０は、ステップＳ３０１で生成した画像信号及び音声信号と携帯通信端末１Ｂのシステム情報及び利用者情報を、送受信回路２６を通じて携帯通信端末１Ａへ送信する。ステップＳ３０３においてシステム制御回路２０は、送受信回路２６を通じて携帯通信端末１Ａから受信した利用者αが撮影された画像の画像信号、音声信号、携帯通信端末１Ａのシステム情報及び利用者情報を受信し、記憶回路２８に保存する。その後、システム制御回路２０は処理をステップＳ１０６へ進める。
【００４３】
携帯通信端末１Ｂが携帯通信端末１Ａから受信した画像（以下「画像Ａ１」という）と携帯通信端末１Ｂで撮影されて携帯通信端末１Ａへ送信された画像は共に、各端末のカメラ５が偏光ビームスプリッタ２を介して撮影した画像である。そのため、先述したようにスプリット面２ａの多層膜コートによる入射角依存性の影響を受けて、撮影画角の周辺が暗い画像や色の再現性が変化した画像となっている。また、各端末の液晶ディスプレイ３に正対した位置で利用者α，βの顔が撮影されるとは限らない。例えば、利用者αは、携帯通信端末１Ａの下方から見上げて液晶ディスプレイ３を観察しており、入射角θは約２０度になっているものとする。一方、利用者βは、液晶ディスプレイ３に正対して液晶ディスプレイ３に表示された画像を観察しており、入射角θは約３０度になっているものとする。なお、利用者α，βの顔はそれぞれ、ｘ軸方向では液晶ディスプレイ３の略中央で対面しているものとする。
【００４４】
図７のフローチャートの説明に戻る。ステップＳ１０５の後のステップＳ１０６においてシステム制御回路２０は、利用者α，βそれぞれの視線の入射角θをリセットする。続くステップＳ１０７においてシステム制御回路２０は、演算回路２７を制御して、利用者αの視線の入射角θを画像Ａ１から演算し、また、自機で撮影した画像から利用者βの視線の入射角θを演算する。なお、ステップＳ１０７において算出された利用者αの視線の入射角θはステップＳ１０８の処理に用いられる。一方、ステップＳ１０７において算出された利用者βの視線の入射角θはステップＳ１１０の処理に用いられる。
【００４５】
図９（ａ）は、ステップＳ１０７の処理を説明するフローチャートである。利用者αの視線の入射角θの演算方法と利用者βの視線の入射角θの演算方法は同じであるので、ここでは、利用者αの視線の入射角θの演算方法について説明する。ステップＳ４０１において演算回路２７は、画像Ａ１の画像認識処理を行い、利用者αの両目の瞳孔の情報を抽出して瞳孔位置を認識する。ステップＳ４０２において演算回路２７は、利用者αの両目の瞳孔位置から瞳孔間距離ＰＤを算出すると共に液晶ディスプレイ３の画面中央からの位置ずれ量Δｙを、カメラ５の光軸からの位置ずれ量として算出する。ここで、成人の平均瞳孔間距離は約６３ｍｍであることが知られている。そこで、ステップＳ４０３において演算回路２７は、平均瞳孔間距離、算出した瞳孔間距離ＰＤ及びカメラ５の焦点距離情報に基づいて画像Ａの撮影倍率を計算し、被写体距離Ｌとして利用者αと携帯通信端末１Ａとの間の距離を算出する。続くステップＳ４０４において演算回路２７は、被写体距離Ｌと位置ずれ量Δｙに基づき、利用者αの視線の入射角θを演算する。利用者βの視線の入射角θもこれと同様に演算され、システム制御回路２０は、演算回路２７が演算した利用者α，βそれぞれの入射角θを記憶回路２８に保存する。その後、システム制御回路２０は、処理をステップＳ１０８へ進める。
【００４６】
図７のフローチャートの説明に戻る。ステップＳ１０８においてシステム制御回路２０は、演算回路２７により、利用者αの視線の入射角θと記憶回路２８に保存された携帯通信端末１Ａのスプリット面２ａの特性データに基づき、画像Ａ１（受信画像）の表示を補正するための補正データを生成する。ここでは、画像Ａ１における携帯通信端末１Ａのスプリット面２ａのＳ偏光の透過率（反射率）の入射角依存性を補正することができるように、液晶ディスプレイ３での表示を制御するための補正データを生成する。補正データは、具体的には、液晶ディスプレイ３の画素ごとにＲＧＢカラーフィルタを透過するバックライトからの光量が増大するように、システム制御回路２０が表示処理回路２２を介して液晶層の透過率を画素単位で制御するためのデータである。よって、画像Ａ１の画像データ自体は補正されない。
【００４７】
図９（ｂ）は、ステップＳ１０８の処理を説明するフローチャートである。まず、ステップＳ５０１において演算回路２７は、記憶回路２８に記憶された携帯通信端末１Ａのスプリット面２ａのＳ偏光の透過率データを読み出す。また、演算回路２７は、画像Ａ１を液晶ディスプレイ３に表示したときに光量の調整が必要な画像Ａ１の画素に対応する液晶ディスプレイ３の画素を抽出する。ステップＳ５０２において演算回路２７は、利用者αの視線の入射角θを求めた方法と同様の方法で、画像Ａ１において光量調整が必要な画素ごとの入射角θを計算する。そして、演算回路２７は、画素ごとの入射角θと入射角依存の分光透過率データから画素ごとの光量低下量を求め、低下した分だけ画素を明るくするために必要な透光率を液晶ディスプレイ３の画素単位で制御するための補正データを作成する。
【００４８】
こうして作成した補正データを用いて画像Ａ１を液晶ディスプレイ３に表示した場合には、携帯通信端末１Ｂの利用者βは、画像Ａ１の撮影での偏光ビームスプリッタ２のスプリット面２ａの光学特性の影響（領域Ｅｓ）が軽減された画像の観察が可能となる。但し、この時点では、利用者βが液晶ディスプレイ３を観察したときに液晶ディスプレイ３においてスプリット面２ａと重なる領域でのスプリット面２ａの光学特性の影響（領域Ｅｐ）は軽減されていない。領域Ｅｐの影響を軽減させる処理は、ステップＳ１１０で行われる。
【００４９】
システム制御回路２０は、ステップＳ１０８の後、処理をステップＳ１０９へ進める。ステップＳ１０９においてシステム制御回路２０は、演算回路２７を制御し、液晶ディスプレイ３に画像Ａ１を表示した際の画像Ａ１内の利用者αに対する視線合致処理を利用者情報を用いて行う。この処理には、例えば、特開２００５−１７６１５１号公報等に記載されている公知の技術を利用することができる。視線合致処理では、画像Ａ１内の利用者αの目の位置が携帯通信端末１Ｂのカメラ５の光軸と略一致するように各画素の位置情報を変更する。こうして画像Ａ１の画素の位置情報が変更された画像を、以下の説明では“画像Ａ２”と表すこととする。
【００５０】
利用者βが液晶ディスプレイ３に表示された画像Ａ２内の利用者αの目の付近に視線を合わせると、撮影される利用者βの画像内での目は、利用者αの携帯通信端末１Ａにおいて携帯通信端末１Ａのカメラ５の光軸と略一致する位置に表示される。したがって、互いに視線を合致させることができる。なお、ステップＳ１０８での処理で領域Ｅｓの影響が軽減された状態を維持するために、ステップＳ１０９で画素の位置情報が変更されたことに伴い、これに対応するように、ステップＳ１０８で生成した補正データでの画素の位置情報も変更される。また、ステップＳ１０８の処理とステップＳ１０９の処理の順序は、逆であっても構わない。
【００５１】
利用者βは、携帯通信端末１Ｂの液晶ディスプレイ３に表示された画像Ａ２を、携帯通信端末１Ｂのスプリット面２ａを透過して観察する。そのため、利用者βが観察する画像Ａ２の画質は、携帯通信端末１Ｂのスプリット面２ａの光学特性に影響される。そこで、ステップＳ１１０においてシステム制御回路２０は、演算回路２７を制御して、液晶ディスプレイ３に表示された画像Ａ２（観察画像）の表示を補正するための補正データを生成する。ここでは、画像Ａ２における携帯通信端末１Ｂのスプリット面２ａのＰ偏光の透過率の入射角依存性を補正することができるように、液晶ディスプレイ３での表示を制御するための補正データを生成する。ここでも、補正データは、具体的には、液晶ディスプレイ３の画素ごとにＲＧＢカラーフィルタを透過するバックライトからの光量が増大するように、システム制御回路２０が表示処理回路２２を介して液晶層の透過率を画素単位で制御するためのデータである。よって、画像Ａ２の画像データ自体は補正されない。
【００５２】
ステップＳ１１０での処理手順は、ステップＳ１０８での処理手順（図９（ｂ）のフローチャート）に準ずる。すなわち、ステップＳ５０１において演算回路２７は、記憶回路２８に記憶された携帯通信端末１Ｂのスプリット面２ａのＰ偏光の透過率データを読み出す。また、演算回路２７は、ステップＳ１０７で算出される利用者βの視線の入射角θに応じて、スプリット面２ａの背後となって補正が必要な画像Ａ２の画素に対応する液晶ディスプレイ３の画素を抽出する。ステップＳ５０２において演算回路２７は、先に算出した利用者βの視線の入射角θと同様に、画像Ａ２において光量調整が必要な画素ごとの入射角θを計算する。そして、演算回路２７は、画素ごとの入射角θと入射角依存の分光透過率データから画素ごとの光量低下量を求め、低下した分だけ画素を明るくするために必要な透光率を液晶ディスプレイ３の画素単位で制御するための補正データを作成する。
【００５３】
ステップＳ１１１においてシステム制御回路２０は、ステップＳ１０８，Ｓ１１０で生成した、液晶ディスプレイ３での透光率を画素単位で制御する補正データを用いて画像Ａ２を液晶ディスプレイ３に表示する。これにより、利用者βが液晶ディスプレイ３を観察したときに、自然な明るさと色合いで利用者αを視認することができる。
【００５４】
ステップＳ１１２においてシステム制御回路２０は、利用者βによって操作スイッチ８がオフされたか否か（テレビ電話を終了するか否か）を判定する。システム制御回路２０は、操作スイッチ８がオフされたと判定した場合（Ｓ１１２でＹＥＳ）、処理をステップＳ１１３へ進め、操作スイッチ８がオンのままであると判定した場合（Ｓ１１２でＮＯ）、処理をステップＳ１１４へ進める。
【００５５】
ステップＳ１１３においてシステム制御回路２０は通信切断処理を行い、これにより本処理は終了する。なお、通信切断処理は、携帯通信端末１Ａとの通信を切断する処理と、カメラ５による利用者βの撮影を終了する処理、液晶ディスプレイ３での受信画像の表示を終了する処理を含む。
【００５６】
ステップＳ１１４においてシステム制御回路２０、入射角θの更新時間Ｔに達したか否かを判定する。なお、更新時間Ｔは、ステップＳ１０４又は前回のステップＳ１１５において設定された時間Ｔ１又は時間Ｔ２である。システム制御回路２０は、更新時間Ｔに達したと判定した場合（Ｓ１１４でＹＥＳ）、処理をステップＳ１１５へ進め、更新時間Ｔに達していない判定した場合（Ｓ１１４でＮＯ）、処理をステップＳ１１６へ進める。
【００５７】
ステップＳ１１５においてシステム制御回路２０は、利用者α，βそれぞれの入射角θの更新時間を再設定する。なお、ステップＳ１１５の処理は、ステップＳ１０４の処理と同じであるため、ここでの詳細な説明は省略する。システム制御回路２０は、ステップＳ１１５の処理後は、ステップＳ１０６へ処理を戻す。一方、ステップＳ１１６においてシステム制御回路２０は、携帯通信端末１Ａ，１Ｂ間でのデータの送受信を行う。なお、ステップＳ１１６の処理は、ステップＳ１０５の処理と同じであるため、ここでの詳細な説明は省略する。システム制御回路２０は、ステップＳ１１６の処理後は、ステップＳ１０８へ処理を戻す。こうして、携帯通信端末１Ａ，１Ｂ間のテレビ電話は、操作スイッチ８がオフされるまで継続される。
【００５８】
以上の説明の通り、本実施形態によれば、偏光ビームスプリッタ２が液晶ディスプレイ３の前面に設けられた携帯通信端末１Ａ，１Ｂの利用者は、スプリット面２ａの光学特性の影響が軽減された画像を視認することができる。また、安価な液晶ディスプレイ３を用いることができるため、携帯通信端末１Ａ，１Ｂを安価に提供することが可能になる。更に本実施形態では、利用者の視線の入射角θに応じて液晶ディスプレイ３での画像の表示を補正するため、利用者が液晶ディスプレイ３を観察する際の視野角が広い携帯通信端末１Ａ，１Ｂを提供することができる。加えて、本実施形態では、利用者の視線の入射角θが定期的に更新され、更新時間を携帯通信端末１Ａ，１Ｂの保持状態に応じて変更するため、入射角の変化が少ない状況では携帯通信端末１Ａ，１Ｂでの演算負荷が軽減されて省電力化を図ることができる。
【００５９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、携帯通信端末１Ａは、自機のカメラ５で撮影した画像を自機の液晶ディスプレイ３に表示することも可能である。携帯通信端末１Ａは、自機での撮影画像に対してステップＳ１０８，Ｓ１１０の処理を行って補正データを作成し、作成した補正データを用いて撮影画像を液晶ディスプレイ３に表示する。これにより、利用者は、撮影時及び観察時のスプリット面２ａの光学特性の影響が軽減された撮影画像を観察することができる。
【００６０】
また、上記実施形態では、撮影画像の画像データ自体を補正せずに、ＲＧＢカラーフィルタを透過する光量を画素単位で制御するための補正データを作成し、作成した補正データを用いて液晶ディスプレイ３の表示制御を行った。つまり、撮影画像の画像データに基づいてＲＧＢカラーフィルタを透過する光量が画素ごとに決定された上で、所定の画素については更に透過光量を調整する構成とした。これに対して、撮影画像データ自体を補正した補正画像の画像データ（補正画像データ）を生成し、補正画像データを用いて補正画像を液晶ディスプレイ３に表示するようにしてもよい。
【００６１】
この場合、携帯通信端末１Ａ，１Ｂ間のテレビ電話の際には、携帯通信端末１Ａでの撮影画像データを携帯通信端末１Ａで補正して補正画像データを生成し、補正画像データを携帯通信端末１Ｂへ送信するようにしてもよい。この場合には、ステップＳ１０８の処理は携帯通信端末１Ａで既に行われているので、携帯通信端末１ＢではステップＳ１１０の処理のみを行えばよく、その際には補正画像データを更に補正した補正画像データに変換してもよい。なお、撮像画像を補正した画像データを出力する構成は、携帯通信端末１Ａ，１Ｂのような表示補正機能を有さない携帯通信端末の利用者とテレビ電話を行う際に、相手の携帯通信端末に表示される画像を鮮明なものとすることができる利点がある。これに対して、図８のフローチャートにしたがい、例えば、携帯通信端末１Ａでの撮影画像データをそのまま携帯通信端末１Ｂへ送信し、携帯通信端末１Ｂで撮影画像データを補正して補正画像データを生成した上で液晶ディスプレイ３に表示するようにしてもよい。
【００６２】
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６３】
１Ａ，１Ｂ    携帯通信端末
３    液晶ディスプレイ
５    カメラ
８    操作スイッチ
１０    加速度センサ
２０    システム制御回路
２２    表示処理回路
２６    送受信回路
２７    演算回路
【図１】
2018137577.tif 000003
【図２】
2018137577.tif 000004
【図３】
2018137577.tif 000005
【図４】
2018137577.tif 000006
【図５】
2018137577.tif 000007
【図６】
2018137577.tif 000008
【図７】
2018137577.tif 000009
【図８】
2018137577.tif 000010
【図９】
2018137577.tif 000011