(57)【特許請求の範囲】
【請求項１】
画像を表示する表示面を有する情報処理端末装置であって、
前記画像を表示し、カラーフィルタを有し、かつ光を透過する透過型の表示パネルと、
前記表示パネルの後側であってかつ前記光を前記表示パネルへ向けて反射させる反射部材の反射面上もしくは前記反射部材に設けられた孔の位置に配置された、２つの２次元モノクロイメージセンサと、
前記２つの２次元モノクロイメージセンサが前記表示面の範囲を撮像できる、１６０度以上で１８０度以下の画角を有し、前記表示面に密着した対象物の表面を撮像できる焦点距離を有すると共に前記焦点距離が可変であり、前記２つの２次元イメージセンサの各々の撮像面の前面側に配置されたレンズユニットと、
を有する情報処理端末装置。
【請求項２】
画像を表示する表示面を有する情報処理端末装置であって、
前記画像を表示し、かつ光を透過する透過型の表示パネルと、
前記表示パネルの後側であってかつ前記光を前記表示パネルへ向けて反射させる反射部材の反射面上もしくは前記反射部材に設けられた孔の位置に配置された、少なくとも１つの２次元イメージセンサと、
前記少なくとも１つの２次元イメージセンサが前記表示面の範囲を撮像できる画角と、前記表示面に密着した対象物の表面を撮像できる焦点距離を有し、前記少なくとも１つの２次元イメージセンサの撮像面の前面側に配置されたレンズユニットと、
を有する情報処理端末装置。
【請求項３】
前記レンズユニットの画角は、１６０度以上で１８０度以下である請求項２に記載の情報処理端末装置。
【請求項４】
前記イメージセンサは、モノクロイメージセンサであり、前記表示パネルは、カラーフィルタを有する表示パネルである請求項２又は３に記載の情報処理端末装置。
【請求項５】
前記少なくとも１つの２次元イメージセンサの数は、２つである請求項２から４のいずれか１つに記載の情報処理端末装置。
【請求項６】
前記レンズユニットの焦点距離は可変である請求項２から５のいずれか１つに記載の情報処理端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理端末装置に関する。
【背景技術】
【０００２】
従来より、携帯電話等の情報処理端末装置が広く利用されている。情報処理端末装置には、携帯電話、スマートフォン、タブレットPC（パーソナルコンピュータ）、携帯情報端末（PDA：Personal Digital Assistant）等があり、それぞれ多くの機能を有している。例えば、近年の携帯電話は、通常の通話機能、メール機能に加えて、インターネットアクセス、カメラ機能などを有するものもある。情報処理端末装置は、液晶表示装置（LCD：Liquid Crystal Display）等の表示部を有し、画像などが表示可能となっている。  
例えば高機能携帯電話であるスマートフォンがスキャナ機能を有すると便利であるが、従来の携帯型のスキャナ装置のように、スキャンする対象物の面に対してラインセンサ部を平行移動させるようにする方法では、精度の良い平行移動が操作必要となるので、ユーザにとっては、使い勝手が良くない。
【０００３】
また、画像表示器である液晶表示装置自体がスキャナ機能を有し、画素領域毎に光センサを有する液晶表示装置が提案されている。そこで、そのような特別な液晶表示装置を利用することも考えられるが、そのような機能を有さない通常の液晶表示装置に比べ高価である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３０８８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、実施形態は、簡易に撮影可能であり、また、ユーザの撮影スキルが不要で誰でも安定性のある画像撮影可能な情報処理端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、画像を表示する表示面を有する情報処理端末装置は、表示パネルと、少なくとも１つの２次元イメージセンサと、レンズユニットとを有する。表示パネルは、前記画像を表示し、かつ光を透過する透過型の表示パネルである。少なくとも１つの２次元イメージセンサは、前記表示パネルの後側であってかつ前記光を前記表示パネルへ向けて反射させる反射部材の反射面上もしくは前記反射部材に設けられた孔の位置に配置される。レンズユニットは、前記少なくとも１つの２次元イメージセンサが前記表示面の範囲を撮像できる画角と、前記表示面に密着した対象物の表面を撮像できる焦点距離を有し、前記少なくとも１つの２次元イメージセンサの撮像面の前面側に配置される。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係わるスマートフォンの正面図である。
【図２】実施形態に係わるスマートフォンの内部の液晶パネルの配置を説明するための模式的な斜視図である。
【図３】実施形態に係わるスマートフォン内における回路基板、反射板、液晶パネル及びガラス基板の配置を説明するための、図１のIII-III線に沿った模式的断面図である。
【図４】実施形態に係わる撮像装置１５の構成を示す構成図である。
【図５】実施形態に係わる、撮像装置１５の画角と、カラーフィルタとの関係を説明するための、図１のVI-VI線に沿った模式的な断面図である。
【図６】実施形態に係わるカラーフィルタ基板１２ｂのカラーフィルタの構成を説明するための図である。
【図７】実施形態に係わる、スマートフォン１を用いてスキャナ機能を利用する場合を説明するための図である。
【図８】実施形態に係わる、スキャナ機能の処理の流れの例を示すフローチャートである。
【図９】実施形態に係わる合成処理（S8）の処理の内容を説明するための図である。
【図１０】実施形態に係わる、対物光学系の焦点距離を可変にする撮像装置１５Aの構成を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して実施形態を説明する。  
なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせてあるものであり、本実施形態は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。
【０００９】
図１は、本実施形態に係わる情報処理端末装置の正面図である。本実施形態では一例としてスマートフォンを例に説明する。図２は、スマートフォンの内部の液晶パネルの配置を説明するための模式的な斜視図である。図３は、スマートフォン内における回路基板、反射板、液晶パネル及びガラス基板の配置を説明するための、図１のIII-III線に沿った模式的断面図である。
【００１０】
図１に示すように、情報処理端末装置としてのスマートフォン１は、液晶表示装置（LCD）である液晶パネル２を内部に有するスマートフォンである。液晶パネル２は、液晶パネル２の表示面がスマートフォン１の表示面１ａの後側に位置するように、スマートフォン１内に設けられている。すなわち、情報処理端末装置としてのスマートフォン１は、画像を表示する表示面１ａを有する。
【００１１】
なお、ここでは、情報処理端末装置の例として、スマートフォンを挙げて説明するが、情報処理端末装置は、所謂携帯電話、タブレット型ＰＣ（パーソナルコンピュータ）、携帯情報端末（ＰＤＡ）等の端末装置でもよい。
【００１２】
表示面１ａは、タッチパネル面である。ユーザは、表示面１ａに表示される画像、映像を見ながら、表示面１ａを触れることによって、スマートフォン１内の制御部（図示せず）に各種操作指示を与えることができる。なお、スマートフォン１の正面には、表示面１ａの下部に、ユーザが通話するためのマイク３が、上部に、スピーカ４が設けられている。
【００１３】
図２及び図３に示すように、スマートフォン１の本体の外装ケース１ｂ内には、液晶パネル２が配置され、点線の矢印ａで示す液晶パネル２の前面側に、ガラス基板１１が配置される。液晶パネル２の後面側には、反射板１２と、回路基板１３とが配置されている。
【００１４】
ガラス基板１１の表面側には、タッチパネル用の透明な導電膜１１ａが設けられている。導電膜１１ａの表面がスマートフォン１の表示面１ａとなる。  
液晶パネル２は、アレイ基板２ａとカラーフィルタ基板２ｂを含み、画像を表示し、光を透過する透過型の表示パネルである。アレイ基板２ａとカラーフィルタ基板２ｂ間には、液晶層が形成されている。カラーフィルタ基板２ｂには、RGBの各色のカラーフィルタがマトリックス状に配置されている。すなわち、液晶パネル２は、複数色のカラーフィルタを有する表示パネルである。
【００１５】
反射板１２は、液晶パネル２の裏面側には、配置されている。反射板１２の表面は、光を反射する反射面となっている。液晶パネル２と反射板１２の間に、後述する図５に示すバックライト用の光源からのバックライト光Lが導入される。反射板１２は、表示面１ａの周辺に設けられた光源からのバックライト光Lを表示パネル２へ向けて反射させる反射部材を構成する。よって、光源からのバックライト光Lは、反射板１２の反射面で反射されて、液晶パネル２を透過して、表示面１ａから出射される。その結果、ユーザは、液晶パネル２の液晶により形成された画像を見ることができる。  
なお、本実施形態では、スマートフォン１に用いられる表示パネルとして、液晶パネル２を用いているが、光を透過する有機エレクトロルミネッセンス（EL）表示パネル等の他の表示パネルでもよい。
【００１６】
回路基板１３は、反射板１２の後面側に配置されている。回路基板１３は、スマートフォン１の各種機能を実現するための各種回路、例えば、中央処理装置（以下、CPUという）１３ａ、画像処理部１３ｂ、書き替え可能な不揮発性メモリであるフラッシュメモリ１３ｃ等を有する。なお、図３には、図示されていないが、回路基板１３は、ROM,RAM等のメモリ、液晶パネル２、光源などを駆動し制御する各種駆動及び制御回路も含む。
【００１７】
反射板１２の前面側の表面すなわち反射面上には、２つの撮像装置１５が搭載されている。各撮像装置１５は、反射板１２に設けられた孔の位置に配置されている。  
なお、図３に示すように、撮像装置１５の対物光学系１５ｃ（後述する図４に示す）の光軸Ｏ（一点鎖線で示す）は、表示面１ａに直交しているが、撮像装置１５の対物光学系１５ｃの光軸Ｏは、表示面１ａに直交しない方向に傾けてもよい。例えば、図３において点線で示すように、２つの撮像装置１５の２つの光軸Ｏの方向が、表示面１ａ方向に向かって拡がる方向になるように、２つの撮像装置１５を、反射板１２上に搭載するようにしてもよい。
【００１８】
図４は、撮像装置１５の構成を示す構成図である。各撮像装置１５は、基板１５ａ上に設けられた撮像素子であるCMOSセンサ１５ｂと、CMOSセンサ１５ｂの撮像面へ被写体からの光を向ける対物光学系１５ｃを有する。CMOSセンサ１５ｂは、２次元イメージセンサであり、かつモノクロイメージセンサである。CMOSセンサ１５ｂは、ここでは略１ｍｍ角のサイズである。対物光学系１５ｃは、広角な魚眼レンズのレンズユニットである。  
２つの撮像装置１５による２つ撮像範囲Ｒは、図１に示すように、互いに一部が重なるように設定されており、かつ２つの撮像範囲Ｒには、表示面１ａの範囲が含まれる。
【００１９】
以上のように、対物光学系１５ｃは、２つのCMOSセンサ１５ｂが、スマートフォン１の表示面１ａの範囲を撮像できるように、各CMOSイメージセンサ１５ｂの撮像面の前面側に配置されたレンズユニットである。
【００２０】
なお、２つの撮像装置１５は、反射板１２の表面に設けるのではなく、後述する図５に示すように、反射板１２の後側にある回路基板１３に搭載して、反射板１２に設けられた孔を通して、反射面から突出するように設けてもよい。その場合、撮像装置１５は、反射板１２に設けられた孔の位置に配置されている。
【００２１】
撮像装置１５は、回路基板１３に設けられた駆動回路と画像処理回路を含む画像処理部１３ｂからの駆動信号により駆動され、撮像素子において得られた撮像信号は、画像処理部１３ｂへ出力される。画像処理部１３ｂにおいて生成された画像は、フラッシュメモリ１３ｃに記録される。すなわち、撮像装置１５は、液晶パネル２の後側であってかつ光を液晶パネル２へ向けて反射させる反射部材である反射板１２の反射面上もしくは反射板１２に設けられた孔の位置に配置された、少なくとも１つの２次元イメージセンサを有する。
【００２２】
また、対物光学系１５ｃは魚眼レンズであり、反射板１２の反射面から前面側に突出しているので、表示面１ａを見たときに、対物光学系１５ｃの位置に輝点ができないようにするために、レンズ表面を表面加工して、光が乱反射するようになっている。例えば、対物光学系１５ｃの表面は、曇りガラスのような凹凸を有している。
【００２３】
図５は、撮像装置１５の画角と、カラーフィルタ基板２ｂとの関係を説明するための、図１のVI-VI線に沿った模式的な断面図である。バックライト光L用の光源１６が、表示面１ａの周囲に配設されている。
【００２４】
撮像装置１５は、回路基板１３上に搭載され、対物光学系１５ｃの先端部分は、反射板１２の反射面の平面よりも、前面側（矢印ａの方向）に突出している。  
例えば、スマートフォン１の表示面１ａの幅L1が７ｃｍで、対物光学系１５ｃの中心位置から液晶パネル２間の距離L2が３ｍｍのとき、撮像装置１５の画角は１７０度となる。２つの撮像装置１５は、液晶パネル２を透過して、スマートフォン１の表示面１ａを含む領域を撮影することができる。
【００２５】
撮像装置１５の画角は１８０度以下であるが、情報処理端末装置の表示面１ａの幅L1、及び対物光学系１５ｃの中心位置から液晶パネル２間の距離L2に応じて、撮像装置１５の画角は１６０度程度になる場合もある。また、情報処理端末装置が液晶パネル２の後側に１つの撮像装置を有する場合と、２つ以上の撮像装置を有する場合とでは、各撮像装置の画角は異なってくる。
【００２６】
撮像装置１５を複数配置し、幅L1を短くすることによって撮像装置１５の画角は高範囲の角度をカバーしなくても撮影は可能である。しかし、撮像装置１５の配置数が多すぎると表示パネルに多くの孔をあける必要があるので表示パネルの画質に影響を及ぼすことになる。従って、少なくとも１つの撮像装置の画角は、１８０度以下で、携帯電話、スマートフォンやタブレットＰＣの場合は、その画角は１６０度以上の角度であると好適である。言い換えると、少なくとも１つの撮像装置１５は、表示面１ａの範囲を少なくとも１つのCMOSイメージセンサ１５によって撮像できる角度を有する。
【００２７】
なお、CMOSイメージセンサ１５ｂの撮像の解像度は、液晶パネル２の表示の解像度よりも高い方が好ましい。  
その場合、撮像装置１５のCMOSイメージセンサ１５ｂをモノクロイメージセンサとし、液晶パネル２のカラーフィルタを利用して、撮像するので、撮像した画像を液晶パネル２に表示させるときには、同じ解像度で表示できる、というメリットもある。
【００２８】
図６は、カラーフィルタ基板２ｂのカラーフィルタの構成を説明するための図である。図６に示すように、m×nの画素数を有する画像を表示するために、RGBの複数のカラーフィルタがマトリックス状に配置されている。例えば、mが６４０で、nが４８０である。
【００２９】
図７と図８を用いて、スマートフォン１のスキャナ機能を説明する。なお、本実施形態のスキャナ機能は、対象物の表面を撮影する機能であるが、対象物の表面の情報を読み取る意味でスキャナ機能と呼ぶ。
【００３０】
図７は、スマートフォン１を用いてスキャナ機能を利用する場合を説明するための図である。ユーザは、スマートフォン１に対してスキャナ機能の実行を指示する操作をした後、例えば、図７に示すように、机の上に置かれた画像を取得する対象、すなわち撮影対象物２１、にスマートフォン１の表示面１ａが密着するように、スマートフォン１を撮影対象物２１上に置く。図７では、撮影対象物２１は、「ＡＢＣＤ」の文字が記されている名刺の大きさの紙である。
【００３１】
図８は、スキャナ機能の処理の流れの例を示すフローチャートである。スマートフォン１のCPU１３ａは、スキャナ機能の実行が指示されると、光源１６をスキャナ機能用の出力で駆動して、スキャナ用のバックライト光を出力し、すなわちバックライト照明がスキャナ用の照度のバックライト光を出力するように光源１６を制御する（S1）。
【００３２】
次に、CPU１３ａは、液晶パネル２のカラーフィルタ基板２ｂのR（赤）のカラーフィルタだけを光が透過するように、すなわちR（赤）のみを開にするように液晶パネル２を制御する（S2）。
【００３３】
その結果、被写体からのR（赤）の色の画像の光が、CMOSセンサ１５ｂに入射するので、CPU１３ａは、CMOSセンサ１５ｂを駆動して、撮影処理を実行する（S3）。撮影処理により得られた画像は、CMOSセンサ１５ｂから画像処理部１３ｂに出力される。
【００３４】
続いて、CPU１３ａは、液晶パネル２のカラーフィルタ基板２ｂのG（緑）のカラーフィルタだけを光が透過するように、すなわちG（緑）のみを開にするように液晶パネル２を制御する（S4）。
【００３５】
その結果、被写体からのG（緑）の色の画像の光が、CMOSセンサ１５ｂに入射するので、CPU１３ａは、CMOSセンサ１５ｂを駆動して、撮影処理を実行する（S5）。
【００３６】
さらに続いて、CPU１３ａは、液晶パネル２のカラーフィルタ基板２ｂのB（青）のカラーフィルタだけを光が透過するように、すなわちB（青）のみを開にするように液晶パネル２を制御する（S6）。
【００３７】
その結果、被写体からのB（青）の色の画像の光が、CMOSセンサ１５ｂに入射するので、CPU１３ａは、CMOSセンサ１５ｂを駆動して、撮影処理を実行する（S7）。
【００３８】
画像処理部１３ｂは、３回の撮影で得られた３つの画像に対して合成処理を実行する（S8）。撮像装置１５が広角の対物光学系１５ｃを有し、かつ２つの撮像装置１５により得られた２つの画像は重複範囲を有するので、S8では、画像処理部１３ｂは、画像の歪み補正に加えて、重複範囲の画像部分から１つの画像を生成する合成処理を実行する。
【００３９】
図９は、合成処理（S8）の処理の内容を説明するための図である。図９に示すように、歪みを有する２つの画像I1,I2から、歪みの無い合成画像I3が、合成処理（S8）により生成される。
【００４０】
CPU１３ａは、画像処理部１３ｂで生成された合成画像I3をフラッシュメモリ１３ｃに記録する記録処理を実行し（S9）、フラッシュメモリ１３ｃに記録されたスキャン対象の画像を表示面１ａに表示させる表示処理を実行する（S10）。その結果、ユーザは、スキャナ機能により撮影されて記録された画像を表示面１ａに表示させて見ることができる。以上のように、CPU１３ａは、カラーフィルタの色毎に、表示面１ａの範囲を撮像し、各色の撮像画像を合成する制御部を構成する。
【００４１】
なお、以上の例では、モノクロイメージセンサを用いて、カラーフィルタのRGBの３つの撮影処理を行う構成であるが、カラーイメージセンサを用いてもよい。例えば、カラーフィルタの全てのカラーフィルタを開にして、カラーイメージセンサにより１回の撮影をするようにしてもよい。
【００４２】
以上のように、ユーザは、スマートフォン１に対して所定の指示操作をし、スマートフォン１の表示面１ａに対象物の表面が対向するようにスマートフォン１を置くだけで、その表面を撮影してその画像をスマートフォン１に取り込むことができる。また、表示パネル２も通常の表示パネルでよいので、コストの面で安価にスマートフォン１を製造することができる。このように、簡易に撮影可能であり、また、ユーザの撮影スキルが不要で誰でも安定性のある画像撮影可能な情報処理端末装置を提供することができる。
【００４３】
なお、上記の例では、撮像装置１５の対物光学系１５ｃは、焦点距離が固定であったが、可変であってもよい。  
図１０は、対物光学系の焦点距離を可変にする撮像装置１５Aの構成を示す図である。対物光学系１５ｃには、２つの軸部材３１を介して２つの支持部材３２が設けられている。各支持部材３２は、金属部材である。２つの支持部材３２は、対物光学系１５ｃを撮像装置１５A内で支持する部材である。
【００４４】
各支持部材３２は、コイルバネ３３により、基板１５ａに対して離れる方向に付勢されており、図示しない部材に突き当ることによって、ある所定の位置に固定されるように、なっている。
【００４５】
各支持部材３２の近傍には、電磁石３４が設けられており、電磁石３４には、図示しない制御信号に応じて電流が流れるようになっている。
【００４６】
よって、電磁石３４に所定の電流を流れるように制御することによって、支持部材３２が電磁石３４に引っ張られて移動し、電磁石３４に突き当たる。２つの支持部材３２の移動に伴って対物光学系１５ｃも移動し、撮像装置１５における焦点距離が変化する。
【００４７】
スマートフォン１がこのような構成を有すれば、スキャナ機能により撮影する対象物の位置を変えることができるので、表示面１ａを対象物から離れた位置から撮影できる。
【００４８】
また、上記の例では、２つの撮像装置１５が設けられているので、対物光学系１５ｃの被写界深度の範囲であれば、いわゆる３Ｄ画像あるいは３Ｄ映像のための撮像が可能となる。
【００４９】
さらにまた、以上の例では、撮像装置１５は、２つであるが、３つ以上であってもよい。
【００５０】
以上のように、上述した実施形態によれば、従来のようなスキャンのために対象物の面に対する平行移動操作を必要とせず、かつ画像表示器自体に光センサを設けることなく、スキャナ機能を有するようにすることができる構造を有する情報処理端末装置を提供することができる。
【００５１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５２】
１  スマートフォン１ａ  表示面、１ｂ  外装ケース、２  液晶パネル、２ａ  アレイ基板、２ｂ  カラーフィルタ基板、３  マイク、４  スピーカ、１１  ガラス基板、１１ａ  導電膜、１２  反射板、１３  回路基板、１３ａ  CPU、１３ｂ  画像処理部、１３ｃ  フラッシュメモリ、１５、１５A  撮像装置、１５ａ  基板、１５ｂ  CMOSセンサ、１５ｃ  対物光学系、１６  光源、２１  撮影対象物、３１  軸部材、３２  支持部材、３３  コイルバネ、３４  電磁石。
【図１】
0005674701.tif 000002
【図２】
0005674701.tif 000003
【図３】
0005674701.tif 000004
【図４】
0005674701.tif 000005
【図５】
0005674701.tif 000006
【図６】
0005674701.tif 000007
【図７】
0005674701.tif 000008
【図８】
0005674701.tif 000009
【図９】
0005674701.tif 000010
【図１０】
0005674701.tif 000011