(57)【要約】【課題】新規なデータ処理システムを提供すること。【解決手段】携帯端末、ネットワーク、サーバー、およびデータベースを有する。携帯端末からネットワークを介してサーバーに位置情報を送信する。サーバーから前記ネットワークを介してデータベースより取得した位置情報に対応する複数の物体データを携帯端末に送信する。携帯端末で取得した撮像データと複数の物体データとを比較し、一致しない物体データがある場合にデータベースに記憶された当該物体データの更新を行う。【選択図】図３
2018025555.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末、ネットワーク、サーバー、およびデータベースを有するデータ処理システムであって、
前記携帯端末から前記ネットワークを介して前記サーバーに位置情報を送信し、
前記サーバーから前記ネットワークを介して前記データベースより取得した前記位置情報に対応する複数の物体データを前記携帯端末に送信し、
前記携帯端末で取得した撮像データと複数の前記物体データとを比較し、一致しない前記物体データがある場合に前記データベースに記憶された当該物体データの更新を行う、
ことを特徴とするデータ処理システム。
【請求項２】
携帯端末、ネットワーク、サーバー、およびデータベースを有するデータ処理システムであって、
前記携帯端末から前記ネットワークを介して前記サーバーに位置情報を送信し、
前記サーバーから前記ネットワークを介して前記データベースより取得した前記位置情報に対応する複数の物体データを前記携帯端末に送信し、
前記携帯端末で取得した撮像データと複数の前記物体データとを比較して、一致する前記物体データをもとに前記位置情報を補正し、一致しない前記物体データがある場合に前記データベースに記憶された当該物体データの更新を行う、
ことを特徴とするデータ処理システム。
【請求項３】
請求項２において、
前記補正された位置情報を前記携帯端末から前記ネットワークを介して前記サーバーに送信し、
前記サーバーから前記ネットワークを介して前記携帯端末に前記データベースより取得した前記補正された位置情報を送信する、
ことを特徴とするデータ処理システム。
【請求項４】
請求項１乃至請求項３のいずれか一項において、
前記位置情報は、前記携帯端末の撮像する方向の情報を有することを特徴とするデータ処理システム。
【請求項５】
請求項１乃至請求項４のいずれか一項において、
前記データベースは、ワイヤーフレームモデルで表される３次元のデータを有し、
前記サーバーは、前記３次元のデータを前記位置情報に応じた２次元に投影して得られる２次元のデータを、複数の前記物体データのそれぞれについて生成し、前記ネットワークを介して前記携帯端末に送信することを特徴とするデータ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、データ処理システムに関する。
【背景技術】
【０００２】
撮像して得られる撮像データから物体を認識し、仮想空間におけるオブジェクトと組み合わせて表示を行う画像表示システムが提案されている（特許文献１を参照）。特許文献１の構成では、撮像データから予め配置されたマーカーを検出し、仮想空間におけるオブジェクトと組み合わせて表示を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−９４１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のようにマーカーを検出して物体を認識する方法では、認識される物体が限られるため、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ；以下ＡＲ）表示を実現するためには機能が限定的となる。
【０００５】
撮像データを携帯端末で画像認識をさせる方法では、演算量が増加するため、消費電力が大きくなるといった問題がある。加えて、画像の表示に遅延が生じるといった問題がある。
【０００６】
撮像データをサーバーに送信してサーバー上で画像認識をさせる方法では、情報通信量の増加といった問題がある。加えて、他人が映りこんだ撮像データをそのままサーバーに送信することになる場合もあるため、プライバシー等の問題も生じる。
【０００７】
本発明の一態様は、利便性に優れたＡＲ表示を実現できる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、消費電力を抑制できる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、画像の表示に遅延を生じにくくできる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、プライバシーの問題を生じにくくできる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、情報通信量を低減できる、新規なデータ処理システムを提供することを課題の一とする。本発明の一態様は、新規なデータ処理システムを提供することを課題の一とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、携帯端末、ネットワーク、サーバー、およびデータベースを有するデータ処理システムであって、携帯端末からネットワークを介してサーバーに位置情報を送信し、サーバーからネットワークを介してデータベースより取得した位置情報に対応する複数の物体データを携帯端末に送信し、携帯端末で取得した撮像データと複数の物体データとを比較し、一致しない物体データがある場合にデータベースに記憶された当該物体データの更新を行うデータ処理システムである。
【０００９】
本発明の一態様は、携帯端末、ネットワーク、サーバー、およびデータベースを有するデータ処理システムであって、携帯端末からネットワークを介してサーバーに位置情報を送信し、サーバーからネットワークを介してデータベースより取得した位置情報に対応する複数の物体データを携帯端末に送信し、携帯端末で取得した撮像データと複数の物体データとを比較して、一致する物体データをもとに位置情報を補正し、一致しない物体データがある場合にデータベースに記憶された当該物体データの更新を行うデータ処理システムである。
【００１０】
本発明の一態様において、補正された位置情報を携帯端末からネットワークを介してサーバーに送信し、サーバーからネットワークを介して携帯端末にデータベースより取得した補正された位置情報を送信する、データ処理システムが好ましい。
【００１１】
本発明の一態様において、位置情報は、携帯端末の撮像する方向の情報を有するデータ処理システムが好ましい。
【００１２】
本発明の一態様において、データベースは、ワイヤーフレームモデルで表される３次元のデータを有し、サーバーは、３次元のデータを位置情報に応じた２次元に投影して得られる２次元のデータを、複数の物体データのそれぞれについて生成し、ネットワークを介して携帯端末に送信するデータ処理システムが好ましい。
【００１３】
なおその他の本発明の一態様については、以下で述べる実施の形態における説明、および図面に記載されている。
【発明の効果】
【００１４】
本発明の一態様は、利便性に優れたＡＲ表示を実現できる、新規なデータ処理システムを提供できる。本発明の一態様は、消費電力を抑制できる、新規なデータ処理システムを提供できる。本発明の一態様は、画像の表示に遅延を生じにくくできる、新規なデータ処理システムを提供できる。本発明の一態様は、プライバシーの問題を生じにくくできる、新規なデータ処理システムを提供できる。本発明の一態様は、情報通信量を低減できる、新規なデータ処理システムを提供できる。本発明の一態様は、新規なデータ処理システムを提供できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一態様を説明する図。
【図２】本発明の一態様を説明する図。
【図３】本発明の一態様を説明する図。
【図４】本発明の一態様を説明する図。
【図５】本発明の一態様を説明する図。
【図６】本発明の一態様を説明する図。
【図７】本発明の一態様を説明する図。
【図８】本発明の一態様を説明する図。
【図９】本発明の一態様を説明する図。
【図１０】携帯端末の構成例を示す図。
【図１１】ディスプレイの構成例を示す図。
【図１２】ディスプレイの画素の構成例を示す図。
【図１３】ディスプレイの画素の構成例を示す図。
【図１４】ディスプレイの画素の構成例を示す図。
【図１５】ディスプレイの画素の構成例を示す図。
【図１６】ディスプレイの画素の構成例を示す図。
【図１７】ディスプレイの断面構造の一例を示す図。
【図１８】ディスプレイの断面構造の一例を示す図。
【図１９】ディスプレイの断面構造の一例を示す図。
【図２０】ディスプレイの外観の一例を示す図。
【図２１】電子機器の一例を示す図。
【図２２】電子機器の一例を示す図。
【発明を実施するための形態】
【００１６】
以下では、本発明の実施の形態について図面を用いて詳細に説明する。ただし、本発明は以下の説明に限定されず、本発明の趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは、当業者であれば容易に理解される。したがって、本発明は、以下に示す実施の形態の記載内容に限定して解釈されるものではない。
【００１７】
また、本明細書等において、半導体装置とは、半導体特性を利用した装置であり、半導体素子（トランジスタ、ダイオード等）を含む回路、同回路を有する装置等をいう。また、半導体特性を利用することで機能しうる装置全般をいう。例えば、集積回路、集積回路を備えたチップは、半導体装置の一例である。また、記憶装置、表示装置、発光装置、照明装置及び電子機器等は、それ自体が半導体装置である場合があり、又は半導体装置を有している場合がある。
【００１８】
また、本明細書等において、ＸとＹとが接続されている、と明示的に記載されている場合は、ＸとＹとが電気的に接続されている場合と、ＸとＹとが機能的に接続されている場合と、ＸとＹとが直接接続されている場合とが、本明細書等に開示されているものとする。したがって、所定の接続関係、例えば、図または文章に示された接続関係に限定されず、図または文章に示された接続関係以外のものも、図または文章に記載されているものとする。Ｘ、Ｙは、対象物（例えば、装置、素子、回路、配線、電極、端子、導電膜、層、など）であるとする。
【００１９】
トランジスタは、ゲート、ソース、およびドレインと呼ばれる３つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御ノードとして機能するノードである。ソースまたはドレインとして機能する２つの入出力ノードは、トランジスタの型及び各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。また、本明細書等では、ゲート以外の２つの端子を第１端子、第２端子と呼ぶ場合がある。
【００２０】
ノードは、回路構成やデバイス構造等に応じて、端子、配線、電極、導電層、導電体、不純物領域等と言い換えることが可能である。また、端子、配線等をノードと言い換えることが可能である。
【００２１】
電圧は、ある電位と、基準の電位（例えば接地電位（ＧＮＤ）またはソース電位）との電位差のことを示す場合が多い。よって、電圧を電位と言い換えることが可能である。なお、電位とは、相対的なものである。よって、接地電位と記載されていても、必ずしも、０Ｖを意味しない場合もある。
【００２２】
本明細書等において、「膜」という言葉と「層」という言葉とは、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を「導電膜」という用語に変更することが可能な場合がある。例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。
【００２３】
本明細書等において、“第１”、“第２”、“第３”という序数詞は構成要素の混同を避けるために付す場合があり、その場合は数的に限定するものではなく、また順序を限定するものでもない。
【００２４】
図面において、大きさ、層の厚さ、又は領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。なお図面は、理想的な例を模式的に示したものであり、図面に示す形状又は値などに限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、又は、タイミングのずれによる信号、電圧、若しくは電流のばらつきなどを含むことが可能である。
【００２５】
本明細書等において、「上に」、「下に」などの配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている場合がある。また、構成同士の位置関係は、各構成を描写する方向に応じて適宜変化するものである。従って、明細書で説明した語句に限定されず、状況に応じて適切に言い換えることができる。
【００２６】
図面に記載したブロック図の各回路ブロックの配置は、説明のため位置関係を特定するものであり、異なる回路ブロックで別々の機能を実現するよう示していても、実際の回路ブロックにおいては同じ回路ブロック内で別々の機能を実現しうるように設けられている場合もある。また各回路ブロックの機能は、説明のため機能を特定するものであり、一つの回路ブロックとして示していても、実際の回路ブロックにおいては一つの回路ブロックで行う処理を、複数の回路ブロックで行うよう設けられている場合もある。
【００２７】
本明細書等において、金属酸化物（ｍｅｔａｌ  ｏｘｉｄｅ）とは、広い表現での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体（透明酸化物導電体を含む）、酸化物半導体（Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒまたは単にＯＳともいう）などに分類される。例えば、トランジスタの半導体層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、及びスイッチング作用の少なくとも１つを有する場合、当該金属酸化物を、金属酸化物半導体（ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、略してＯＳと呼ぶことができる。また、ＯＳ  ＦＥＴと記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。
【００２８】
また、本明細書等において、窒素を有する金属酸化物も金属酸化物（ｍｅｔａｌ  ｏｘｉｄｅ）と総称する場合がある。また、窒素を有する金属酸化物を、金属酸窒化物（ｍｅｔａｌ  ｏｘｙｎｉｔｒｉｄｅ）と呼称してもよい。
【００２９】
また、本明細書等において、ＣＡＡＣ（ｃ−ａｘｉｓ  ａｌｉｇｎｅｄ  ｃｒｙｓｔａｌ）、及びＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ  Ｃｏｍｐｏｓｉｔｅ）と記載する場合がある。なお、ＣＡＡＣは結晶構造の一例を表し、ＣＡＣは機能、または材料の構成の一例を表す。
【００３０】
また、本明細書等において、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅとは、材料の一部では導電性の機能と、材料の一部では絶縁性の機能とを有し、材料の全体では半導体としての機能を有する。なお、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅを、トランジスタの半導体層に用いる場合、導電性の機能は、キャリアとなる電子（またはホール）を流す機能であり、絶縁性の機能は、キャリアとなる電子を流さない機能である。導電性の機能と、絶縁性の機能とを、それぞれ相補的に作用させることで、スイッチングさせる機能（Ｏｎ／Ｏｆｆさせる機能）をＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅに付与することができる。ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅにおいて、それぞれの機能を分離させることで、双方の機能を最大限に高めることができる。
【００３１】
また、本明細書等において、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅは、導電性領域、及び絶縁性領域を有する。導電性領域は、上述の導電性の機能を有し、絶縁性領域は、上述の絶縁性の機能を有する。また、材料中において、導電性領域と、絶縁性領域とは、ナノ粒子レベルで分離している場合がある。また、導電性領域と、絶縁性領域とは、それぞれ材料中に偏在する場合がある。また、導電性領域は、周辺がぼけてクラウド状に連結して観察される場合がある。
【００３２】
また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅにおいて、導電性領域と、絶縁性領域とは、それぞれ０．５ｎｍ以上１０ｎｍ以下、好ましくは０．５ｎｍ以上３ｎｍ以下のサイズで材料中に分散している場合がある。
【００３３】
また、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅは、異なるバンドギャップを有する成分により構成される。例えば、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅは、絶縁性領域に起因するワイドギャップを有する成分と、導電性領域に起因するナローギャップを有する成分と、により構成される。当該構成の場合、キャリアを流す際に、ナローギャップを有する成分において、主にキャリアが流れる。また、ナローギャップを有する成分が、ワイドギャップを有する成分に相補的に作用し、ナローギャップを有する成分に連動してワイドギャップを有する成分にもキャリアが流れる。このため、上記ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅをトランジスタのチャネル領域に用いる場合、トランジスタのオン状態において高い電流駆動力、つまり大きなオン電流、及び高い電界効果移動度を得ることができる。
【００３４】
すなわち、ＣＡＣ−ＯＳまたはＣＡＣ−ｍｅｔａｌ  ｏｘｉｄｅは、マトリックス複合材（ｍａｔｒｉｘ  ｃｏｍｐｏｓｉｔｅ）、または金属マトリックス複合材（ｍｅｔａｌ  ｍａｔｒｉｘ  ｃｏｍｐｏｓｉｔｅ）と呼称することもできる。
【００３５】
（実施の形態１）
本発明の一態様であるデータ処理システムについて説明する。なお、本明細書等において、データ処理システムとは、拡張現実または仮想現実等を実現するための演算処理に適用可能なデータを、サーバーに接続されたデータベースに記憶するためのシステムをいう。
【００３６】
図１は、本発明の一態様であるデータ処理システム１０を説明するための図である。図１に示すデータ処理システム１０では、携帯端末１１、ネットワーク１２、サーバー１３およびデータベース１４を有している。
【００３７】
携帯端末１１は、ディスプレイ１５、位置センサ１６、演算装置１７、および撮像装置１８を有する電子装置である。なお携帯端末１１は、他にも通信装置やバッテリー等の複数の装置を包含する電子装置である。
【００３８】
ディスプレイ１５は、サーバー１３から受信した画像、撮像装置１８で取得した撮像データ等、ユーザーの操作に応じた画像を表示することができる。ディスプレイ１５は、液晶素子および／または発光素子等の表示素子を有する装置であり、表示装置ともいう。
【００３９】
位置センサ１６は、位置情報を取得するためのＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）の他、携帯端末１１の向きや傾きの情報を取得するための方位センサ（地磁気センサまたはジャイロセンサ）のことをいう。
【００４０】
演算装置１７は、ＣＰＵまたはＦＰＧＡ等のデータの演算処理を行う装置である。例えば、撮像した撮像データとデータベース１４に記憶されたデータとを比較し、一致または不一致の判定を行うことができる装置である。
【００４１】
撮像装置１８は、電荷結合素子（ＣＣＤ）や相補型金属−酸化物−半導体（ＣＭＯＳ）を利用したイメージセンサなどを用いることができる。なお撮像装置１８としてイメージセンサを用いる場合には、アナログデジタル変換回路等の画像処理回路を有していてもよい。
【００４２】
ネットワーク１２は、Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ（ＷＷＷ）の基盤であるインターネット、イントラネット、エクストラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｌｏｂａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のコンピュータネットワークに相当する。
【００４３】
サーバー１３は、データベース１４に記憶されたデータにアクセスするコンピュータに相当する。サーバー１３は、複数のサーバーがネットワーク１２で互いに接続されていてもよい。具体的にサーバー１３は、拡張現実または仮想現実を構築するためのデータの入出力および演算等を行う。
【００４４】
なおサーバー１３のデータは、データベース１４との間で必要に応じて入出力されている。そのため、サーバー１３からデータベース１４へのデータのアクセスを省略し、データベース１４内のデータであってもサーバー１３のデータであるとして説明する場合がある。
【００４５】
データベース１４は、サーバー１３から出力されたデータを記憶する。またデータベース１４は、サーバー１３のアクセスによって必要なデータを出力する。データベース１４は、大容量のデータを記憶することが求められる。データベース１４は、ハードディスクドライブ（ＨＤＤ）、あるいはフラッシュメモリを用いることができる。特にフラッシュメモリは、静音性、耐衝撃性に優れ、ＨＤＤよりもアクセススピードに優れている点で、好ましい。具体的にデータベース１４は、拡張現実または仮想現実を構築するためのデータを記憶する。
【００４６】
次いでサーバー１３およびデータベース１４内にあるデータについて説明する。
【００４７】
サーバー１３は、位置情報に対応して、物体のデータ（情報、物体データともいう）を有する。物体データの集合をＸ＝｛ｘ０，ｘ１，…，ｘＮ−１｝とする。例えばｘ０は「球体」、ｘ１は「立方体」などを表す。物体データの集合Ｘは、例えば図２に示すような八分木で表される。集合Ｘは、物体データ２１乃至物体データ２４などの複数の領域に分けられる。物体データ２１および物体データ２２はそれ以上分けられない領域を表す。対して、物体データ２３は、さらに複数の物体データに分けられる領域を表している。例えば物体データ２１は、上述したｘ０に相当する。
【００４８】
各物体データは、物体の形状に関する情報を、ワイヤーフレームモデルで表されるデータで表すことができる。ワイヤーフレームモデルデータは、ワイヤーフレームモデルデータ２５で表す。また、各物体データは、物体の形状に関する情報の他、各物体に関連づけることができる情報を有し、図２では関連情報データ２６で表す。関連情報データ２６は、物体の名称、物体に関連する情報等を一例として挙げることができる。
【００４９】
なおワイヤーフレームモデルデータについて、図４（Ａ）、（Ｂ）を用いて具体例を挙げて説明する。例えば図４（Ａ）には現実の任意の領域６０にある物体６１および物体６２を３次元状に図示している。物体６１は説明のため、球体の形状を有する。物体６２は説明のため、大小の立方体を組み合わせた形状を有する。
【００５０】
なお図４（Ａ）、（Ｂ）では、ｘ方向、ｙ方向およびｚ方向を図示している。ｘ方向は水平方向を表し、ｙ方向は垂直方向を表し、ｚ方向は奥行き方向を表している。
【００５１】
図４（Ｂ）は、図４（Ａ）に対応するワイヤーフレームモデルデータを可視化した図である。例えば図４（Ｂ）には、現実の領域６０に対応する仮想空間の領域６０ｖを図示している。領域６０ｖにある物体データ６１ｖおよび物体データ６２ｖは、現実の物体６１および物体６２に対応する物体データである。物体データ６１ｖは、物体６１に対応して、球体の形状を有する。物体データ６２ｖは、物体６２に対応して、大小の立方体を組み合わせた形状を有する。
【００５２】
サーバー１３は、携帯端末１１からネットワーク１２を介して、方位情報を含む位置情報が与えられた時、データベース１４にアクセスして、集合Ｘから２次元のデータを生成する。
【００５３】
なお集合Ｘから生成される２次元のデータについて、図５（Ａ）乃至（Ｃ）を用いて具体例を挙げて説明する。例えば図５（Ａ）には現実の任意の領域６０の座標６７にいるユーザー６５を表しており、ユーザー６５が前述の携帯端末１１を方位６６にかざしているものとする。
【００５４】
なお座標６７は、一例としては、複数のナブスター衛星６３（ＮＡＶＳＴＡＲ：Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  ｗｉｔｈ  Ｔｉｍｅ  Ａｎｄ  Ｒａｎｇｉｎｇ）が発信した信号６４の到達する時間をもとに距離を算出して得られる座標である。方位６６は、携帯端末１１に設けられた方位センサ（地磁気センサやジャイロ）をもとに算出して得られる方位である。
【００５５】
図５（Ｂ）は、図４（Ｂ）に図示したワイヤーフレームモデルデータを可視化した図において、図５（Ａ）の座標６７および方位６６に対応する位置情報のデータが入力された状態を表している。つまり、仮想空間における領域６０ｖ内での座標６７ｖおよび方位６６ｖを図示している。
【００５６】
上述した集合Ｘから生成される２次元のデータは、図５（Ｂ）の座標６７ｖから方位６６ｖを見た物体データ６１ｖおよび物体データ６２ｖを２次元の平面に投影して得られるデータに相当する。つまり集合Ｘから生成される２次元のデータは、図５（Ｃ）に図示するようにｘ方向、ｙ方向で規定される２次元の領域７０ｖにある物体データ７１ｖおよび物体データ７２ｖに相当する。
【００５７】
サーバー１３は、集合Ｘから生成される２次元のデータをもとに、物体データ７１ｖおよび物体データ７２ｖの位置または大きさ等のデータを、ネットワーク１２を介して携帯端末１１に送信する。
【００５８】
携帯端末１１は、集合Ｘから生成される２次元のデータ、すなわち領域７０ｖにある物体データ７１ｖおよび物体データ７２ｖと、携帯端末１１が座標６７から方位６６の方向にある物体６１および物体６２を撮像して得られる撮像データと、を比較する。
【００５９】
なお携帯端末１１が撮像して得られる撮像データについて、図６（Ａ）乃至（Ｃ）を用いて具体例を挙げて説明する。例えば図６（Ａ）には現実の任意の領域６０の座標６７にいるユーザー６５を表しており、ユーザー６５が前述の携帯端末１１を方位６６にかざして、物体６１および物体６２を撮像しているものとする。
【００６０】
図６（Ｂ）は、図６（Ａ）の位置情報で撮像した撮像データを可視化した図である。図６（Ｂ）の２次元のデータである領域７０には、撮像されて得られた物体データ７１および物体データ７２を図示している。
【００６１】
携帯端末１１は、図５（Ｃ）に図示するような２次元のデータの領域７０ｖにある物体データ７１ｖおよび物体データ７２ｖと、図６（Ｂ）に図示するような２次元のデータの領域７０にある物体データ７１および物体データ７２と、比較する。
【００６２】
データの比較は、例えば図７（Ａ）に図示するようにサーバー１３から届いた物体データ７１ｖのある領域７０ｖ＿Ａ、および物体データ７２ｖのある領域７０ｖ＿Ｂを切り出して行うことができる。または図７（Ｂ）に図示するように物体データ７１ｖ、７２ｖを、例えば３２×３２画素の画素に収まるように縮小した物体データ７１ｖ＿Ｓ、物体データ７２ｖ＿Ｓに変換し、２次元のデータの領域７０ｖ＿Ｃとしてもよい。または図７（Ｃ）に図示するように物体データ７１ｖ、７２ｖを、例えば３２×３２画素の画素に収まるように拡大した物体データ７１ｖ＿Ｌ、物体データ７２ｖ＿Ｌに変換し、２次元のデータの領域７０ｖ＿Ｄとしてもよい。
【００６３】
領域７０ｖと領域７０とにある２次元のデータの比較は、各画素の階調データの残差平方和を求め、当該値がしきい値より小さければ一致と判定すればよい。あるいは各画素の階調データの積の和を求め、当該値がしきい値より大きければ一致と判定すればよい。
【００６４】
領域７０ｖと領域７０とにある２次元のデータが一致の判定であれば、物体データ６１ｖおよび６２ｖにある関連情報データ、ここでは文字情報のデータを表示すればよい。つまり図６（Ｃ）に図示するように、物体６１を撮像して得られる物体データ７１に文字情報７３を付与し、物体６２を撮像して得られる物体データ７２に文字情報７４を付与した領域７０の２次元のデータを携帯端末１１に表示させＡＲ表示をすることができる。このＡＲ表示は、携帯端末側１１での演算負荷が小さくできるため、利便性に優れたものとできる。
【００６５】
なお領域７０ｖと領域７０とにある２次元のデータが不一致の判定である場合について、図８（Ａ）乃至（Ｃ）を用いて具体例を挙げて説明する。例えば図８（Ａ）には現実の任意の領域６０の座標６７にいるユーザー６５を表しており、ユーザー６５が前述の携帯端末１１を方位６６にかざして、物体６８を撮像しているものとする。
【００６６】
図８（Ｂ）は、図８（Ａ）の位置情報で撮像した撮像データを可視化した図である。図８（Ｂ）の２次元のデータである領域７０には、撮像されて得られた物体データ７６を図示している。物体データ７６は、図８（Ａ）の物体６８に対応する。
【００６７】
物体データ７６による物体６８の形状は、物体データ７２とは異なる。また物体データ７１に対応する、物体データは領域７０内に存在しない。そのため図８（Ｃ）に可視化して図示するように、サーバー１３にある物体データ６１ｖを削除し、物体データ６２ｖを更新して物体データ６８ｖにする。この場合、物体データの更新は不一致であった部分の携帯端末１１が認識した物体データをネットワーク１２を介してサーバー１３側に送信すればよい。当該構成とすることで、全ての画像データを送信する訳ではないので、通信情報量を削減することができ、加えて通信に要する消費電力を低減することができる。
【００６８】
図８（Ａ）乃至（Ｃ）で説明するサーバー１３に構築された仮想空間の情報の更新は、複数の利用者で共有することができる。頻繁に変化する現実の物体の配置の変化に対応して、更新された仮想空間のデータを更新できるため、ＡＲ表示の利便性を高めることができる。
【００６９】
なお携帯端末１１で一致する物体が見つからなかった場合、または携帯端末１１のバッテリー残量が少ない場合、携帯端末１１は物体データ７６の画像と方角をサーバー１３に送信し、サーバー１３上でデータの一致と不一致の認識を行う構成としてもよい。
【００７０】
位置情報を取得するために用いるＧＰＳやジャイロセンサは、精度に問題がある。そのため、データの比較において比較する領域は、設定した２次元データの位置から上下左右に少し（例えば８画素）ずらして比較してもよい。ずれた場所で一致した場合は、位置や方向といった位置情報を補正する。
【００７１】
もしサーバー１３から２次元のデータが得られなければ、集合Ｘのすべてについて、位置と大きさを変えたテンプレートマッチングを行わなければならず、演算負荷が大きいが、本発明の一態様によれば少ない比較で済むため、消費電力を抑制し、表示の遅延を生じにくくできる。画像の比較をサーバー１３側で行わない構成のため、プライバシーの問題を生じにくくすることができる。
【００７２】
なお携帯端末１１の位置情報がずれていた場合の位置情報の補正について、図９（Ａ）乃至（Ｃ）を用いて具体例を挙げて説明する。例えば図９（Ａ）には現実の任意の領域６０の座標６７ｄにいるユーザー６５を表しており、ユーザー６５が前述の携帯端末１１を方位６６ｄにかざしているものとする。
【００７３】
なお座標６７ｄは、図６（Ａ）で説明した座標６７とは少しずれた位置にある。図９（Ｂ）は、図９（Ａ）に図示した座標６７ｄから方位６６ｄにある物体６１および物体６２を撮像して得られた物体データ７１および物体データ７７を図示している。領域７０にある物体データ７１については一致するものの、物体データ７７は図６（Ｂ）の物体データ７２とはわずかに異なるデータであり不一致となる。つまり一部は一致して一部は不一致である、部分一致となる。
【００７４】
携帯端末１１は物体データ７７の画像と方角をサーバー１３に送信し、サーバー１３上で物体データ６１ｖおよび６２ｖ、並びに物体データ７７をもとに、領域６０のどの座標からユーザー６５が物体６２を撮像しているかを求めることで、より正確なユーザー６５の座標６７ｄを特定することができる。この座標６７ｄをもとに２次元データをサーバー１３で作成し、再度２次元のデータの比較を行うことでより正確な位置に対応したＡＲ表示を行わせることができる。
【００７５】
図３は、以上説明した動作についてのフローチャートである。携帯端末１１は撮像データを取得するステップ３１と、同時に位置情報を取得するステップ３２と、方位情報を取得するステップ３３を行う。
【００７６】
ステップ３４は、位置情報および方向情報を携帯端末１１側からサーバー１３に送信するステップである。
【００７７】
ステップ５１は、サーバー１３側でデータベース１４にある仮想空間からデータを読出すステップである。
【００７８】
ステップ５２は、サーバー１３側で３次元データをもとに、２次元データを生成するステップである。
【００７９】
ステップ３５では、携帯端末１１側で、サーバー１３側から携帯端末１１側に送信された２次元データと、撮像データと、物体データとを比較を行うステップである。撮像データと、物体データとの比較は、対象となる物体の他、周辺にある物体データを含めて行う。
【００８０】
ステップ３６では、ステップ３５での一致、不一致または部分一致の判定を行う。
【００８１】
ステップ３６で一致であれば、ステップ４１で文字情報の表示を行う。
【００８２】
ステップ３６で部分一致、つまり対象となる物体データで一致しないものの周辺にある物体データで一致があれば、ステップ３８で位置情報および方向情報を修正する。そしてステップ３４に戻り、修正した位置情報および方向情報を携帯端末１１側からサーバー１３に送信する。
【００８３】
ステップ３６で不一致の場合、ステップ５３で携帯端末１１側からサーバー１３側に撮像した領域の画像データを送信し、携帯端末１１内のデータとサーバー１３側の物体データを比較する。
【００８４】
ステップ５４は、サーバー１３側でステップ５３の画像データに基づいてデータベース内のデータを更新して仮想空間を構築する。
【００８５】
本発明の一態様は、特に時速数ｋｍといった速度で移動しながら、アプリケーションソフトウェアを利用する際など、数ｍの誤差によって正常にアプリケーションソフトウェアを利用できない場合に特に有効である。例えば特定の位置にある、撮像した物体についてサーバーにアクセスして詳細な情報を取得する場合、位置情報が不正確だと物体の情報が取得できない虞がある。本発明の一態様では、サーバーと携帯端末の間で位置情報の補正を図るとともにサーバー側のデータベースの構築を図ることができるため、位置情報と仮想空間のデータを結びつけたアプリケーションソフトウェアに対して特に有効である。
【００８６】
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【００８７】
（実施の形態２）
図１０に、本発明の一態様に係る携帯端末の構成を表すブロック図を示す。携帯端末１１は、一例として、ＣＰＵ４０２（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリ４０３、ＧＰＵ４０４（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ディスプレイコントローラ４０５、ディスプレイ４０６、タッチパネルコントローラ４０７、タッチパネル４０８、イメージセンサコントローラ４０９、イメージセンサ４１０、通信モジュール４１１、電源４４２、入力ボタン４１３、位置センサモジュール４１４、方位センサ４１５、光センサ４１６、外部記憶装置コントローラ４１７、音声コーデック４１８、スピーカ４１９、マイク４２０、外部映像入力コーデック４２１、汎用入出力コントローラ４２２を有する。また携帯端末１１は、ＣＰＵ４０２またはＧＰＵ４０４のコプロセッサとして機能するプログラマブルロジックデバイスまたはアナログ演算モジュール等を有していてもよい。
【００８８】
位置センサモジュール４１４は、位置情報を取得するためのＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）を一例として挙げることができる。方位センサ４１５は、地磁気センサまたはジャイロセンサを一例として挙げることができる。
【００８９】
図１で説明したディスプレイ１５は、図１０のディスプレイ４０６に相当する。図１で説明した位置センサ１６は、図１０の位置センサモジュール４１４および方位センサ４１５に相当する。図１で説明した演算装置１７は、図１０のＣＰＵ４０２に相当する。図１で説明した撮像装置１８は、図１０のイメージセンサ４１０に相当する。
【００９０】
図１１に、図１０で示すディスプレイ４０６の構成を表すブロック図を示す。図１１に示すディスプレイ４０６は、液晶素子などの反射型表示素子１０１を有する表示部１０２と、ＥＬ素子などの発光型表示素子１０３を有する表示部１０４とを有する。表示部１０２は表示部１０４と重なる領域を有している。そして、上記重なる領域において、表示部１０４の発光型表示素子１０３から発せられた光が、表示部１０２を通過する構成を有している。或いは、上記重なる領域において、表示部１０４を通過した外光が表示部１０２に入射する構成を有している。
【００９１】
また、図１１に示すディスプレイ４０６は、表示部１０２への画像信号の入力を制御する機能を有する駆動回路（ＳＤ１０５ａ）と、表示部１０４への画像信号の入力を制御する機能を有する駆動回路（ＳＤ１０５ｂ）とを有する。ＳＤ１０５ａにより表示部１０２に入力された画像信号に従って、反射型表示素子１０１は階調が制御される。また、ＳＤ１０５ｂにより表示部１０４に入力された画像信号に従って、発光型表示素子１０３は階調が制御される。
【００９２】
そして、反射型表示素子１０１が階調を制御されることにより、表示部１０２は画像を表示することができる。また、発光型表示素子１０３が階調を制御されることにより、表示部１０４は画像を表示することができる。
【００９３】
図１１に示すディスプレイ４０６では、表示部１０２と表示部１０４のうち、表示部１０２においてのみ画像を表示することができる。表示部１０２では反射型表示素子１０１を用いているため、画像を表示する際に光源として外光を利用することができる。外光を利用する場合、表示部１０２においてのみ画像の表示を行うことで、ディスプレイ４０６の消費電力を抑えることができる。また、表示部１０４では発光型表示素子１０３を用いているため、別途光源を用意する、或いは外光を利用することなく、画像の表示を行うことができる。よって、表示部１０２と表示部１０４のうち、表示部１０４においてのみ画像を表示することで、外光の強度が低い場合でも画像の表示品質を高くすることができる。すなわち、ディスプレイ４０６の使用環境に左右されずに高い表示品質を確保することができる。
【００９４】
また、本発明の一態様に係るディスプレイ４０６では、表示部１０２と表示部１０４の両方を用いて画像を表示することも可能である。上記構成により、ディスプレイ４０６において表示できる画像の階調数を高めることができる。或いは、ディスプレイ４０６において表示できる画像の色域の範囲を広げることができる。
【００９５】
図１１に示すディスプレイ４０６の構成は、特に実施の形態１で説明したように屋外で拡張現実によって加工された画像を視認する携帯端末に用いる場合、表示品質を高める効果を大きくできるため好適である。
【００９６】
また図１１では、ＳＤ１０５ａに供給する画像信号と、ＳＤ１０５ｂに供給する画像信号とを、画像データＶｄａｔａから生成する機能を有するディスプレイコントローラ４０５（ＣＴＬ４０５）を図示している。具体的に、ＣＴＬ４０５は、信号処理により、入力された画像データＶｄａｔａに各種の補正を施す機能も有する。画像データＶｄａｔａに各種の補正を施す機能とは、言い換えると、画像信号Ｖｓｉｇａと画像信号Ｖｓｉｇｂとに各種の補正を施す機能とも言える。ＣＴＬ４０５により生成された画像信号Ｖｓｉｇａは、ＳＤ１０５ａに供給される。また、ＣＴＬ４０５により生成された画像信号Ｖｓｉｇｂは、ＳＤ１０５ｂに供給される。
【００９７】
なお、上記補正として、反射型表示素子１０１の特性に合わせたガンマ補正、発光型表示素子１０３の劣化特性に合わせた輝度補正などを行うことができる。本発明の一態様に係るディスプレイ４０６では、上記補正の他に、ディスプレイ４０６の使用環境における外光の強度、ディスプレイ４０６に入射する外光の入射角、利用者の嗜好などの使用条件に合わせて、色の調整、階調数の調整を行うこともできる。
【００９８】
本発明の一態様に係るディスプレイ４０６は、ＣＴＬ４０５が信号処理回路（ＳＰＣ１０８）と、演算回路（ＡＩＣ１０７）とを有している。ＡＩＣ１０７は、上述したディスプレイ４０６の使用環境における外光の強度、ディスプレイ４０６に入射する外光の入射角、利用者の嗜好などの使用条件を情報として含む信号Ｓｉｇ−ｌｄを用いて、画像信号Ｖｓｉｇａと画像信号Ｖｓｉｇｂに色の調整、階調数の調整を施すためのパラメータを算出する機能を有する。ＳＰＣ１０８は、ＡＩＣ１０７において算出されたパラメータを用いて、画像信号Ｖｓｉｇａと画像信号Ｖｓｉｇｂに色の調整、階調数の調整を施す機能を有する。
【００９９】
なお、上記使用条件などの情報は、アナログデータである場合が多い。本実施の形態では、ＡＩＣ１０７が、ニューロンを基本的な素子とする脳において実行されるアナログデータの情報処理と同様に、アナログデータを用いてアナログ演算処理を行う機能を有する。上記構成により、アナログデータをデジタルデータに変換することなく、或いはアナログデータをデジタルデータに変換する頻度を極力抑えつつ、演算処理を行うことができる。よって、膨大な量の演算処理を実行する必要がなくなり、演算回路の規模を小さく抑えることができ、演算処理に要する時間を抑えることができる。したがって、ＣＴＬ４０５の回路規模を小さく抑え、消費電力を抑えつつ、使用条件に合わせた画像信号の色の調整、階調数の調整を実行することができる。
【０１００】
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【０１０１】
（実施の形態３）
本実施の形態では、上記実施の形態２で説明した反射型表示素子と発光型表示素子とを用いたディスプレイの構成例について説明する。なお、本実施の形態では、反射型表示素子として液晶素子を用い、発光型表示素子としてＥＬ材料を用いた発光素子を用いる場合を例に挙げて、ディスプレイの構成例について説明する。
【０１０２】
図１２（Ａ）に、本発明の一態様に係るディスプレイ４０６の断面の構造を一例として示す。図１２（Ａ）に示すディスプレイ４０６は、発光素子２０３と、液晶素子２０４と、発光素子２０３への電流の供給を制御する機能を有するトランジスタ２０５と、液晶素子２０４への電圧の供給を制御する機能を有するトランジスタ２０６とを有する。そして、発光素子２０３と、液晶素子２０４と、トランジスタ２０５と、トランジスタ２０６とは、基板２０１と基板２０２の間に位置する。
【０１０３】
また、ディスプレイ４０６において液晶素子２０４は、画素電極２０７と、共通電極２０８と、液晶層２０９とを有する。画素電極２０７は、トランジスタ２０６に電気的に接続されている。そして、画素電極２０７と共通電極２０８の間に印加される電圧にしたがって液晶層２０９の配向が制御される。なお、図１２（Ａ）では、画素電極２０７が可視光を反射する機能を有し、共通電極２０８が可視光を透過する機能を有する場合を例示しており、基板２０２側から入射した光が白抜きの矢印で示すように画素電極２０７において反射し、再び基板２０２側から放射される。
【０１０４】
また、発光素子２０３は、トランジスタ２０５に電気的に接続されている。発光素子２０３から発せられる光は、基板２０２側に放射される。なお、図１２（Ａ）では、画素電極２０７が可視光を反射する機能を有し、共通電極２０８が可視光を透過する機能を有する場合を例示しているため、発光素子２０３から発せられる光は、白抜きの矢印で示すように画素電極２０７と重ならない領域を通過し、共通電極２０８が位置する領域を通過して、基板２０２側から放射される。
【０１０５】
そして、図１２（Ａ）に示すディスプレイ４０６では、トランジスタ２０５とトランジスタ２０６とが同一の層２１０に位置しており、トランジスタ２０５とトランジスタ２０６とが含まれる層２１０は、液晶素子２０４と発光素子２０３の間の領域を有する。なお、少なくとも、トランジスタ２０５が有する半導体層と、トランジスタ２０６が有する半導体層とが同一の絶縁表面上に位置している場合、トランジスタ２０５とトランジスタ２０６とが同一の層２１０に含まれていると言える。
【０１０６】
上記構成により、トランジスタ２０５とトランジスタ２０６とを共通の作製工程で作製することができる。
【０１０７】
次いで、図１２（Ｂ）に、本発明の一態様に係るディスプレイ４０６の別の構成について、断面の構造を一例として示す。図１２（Ｂ）に示すディスプレイ４０６は、トランジスタ２０５とトランジスタ２０６とが異なる層に含まれている点において、図１２（Ａ）に示すディスプレイ４０６と構成が異なる。
【０１０８】
具体的に、図１２（Ｂ）に示すディスプレイ４０６では、トランジスタ２０５が含まれる層２１０ａと、トランジスタ２０６が含まれる層２１０ｂとを有し、層２１０ａと層２１０ｂとは、液晶素子２０４と発光素子２０３の間の領域を有する。そして、図１２（Ｂ）に示すディスプレイ４０６では、層２１０ａが層２１０ｂよりも発光素子２０３側に近い。なお、少なくとも、トランジスタ２０５が有する半導体層と、トランジスタ２０６が有する半導体層とが異なる絶縁表面上に位置している場合、トランジスタ２０５とトランジスタ２０６とが異なる層に含まれていると言える。
【０１０９】
上記構成により、トランジスタ２０５と、トランジスタ２０５に電気的に接続される各種配線とを、トランジスタ２０６と、トランジスタ２０６に電気的に接続される各種配線とを、部分的に重ねることができるため、画素のサイズを小さく抑え、ディスプレイ４０６の高精細化を実現することができる。
【０１１０】
次いで、図１２（Ｃ）に、本発明の一態様に係るディスプレイ４０６の別の構成について、断面の構造を一例として示す。図１２（Ｃ）に示すディスプレイ４０６は、トランジスタ２０５とトランジスタ２０６とが異なる層に含まれている点において、図１２（Ａ）に示すディスプレイ４０６と構成が異なる。そして、図１２（Ｃ）に示すディスプレイ４０６は、トランジスタ２０５が含まれる層２１０ａが、発光素子２０３よりも基板２０１側に近い点において、図１２（Ｂ）に示すディスプレイ４０６と構成が異なる。
【０１１１】
具体的に、図１２（Ｃ）に示すディスプレイ４０６では、トランジスタ２０５が含まれる層２１０ａと、トランジスタ２０６が含まれる層２１０ｂとを有する。そして、層２１０ａは、発光素子２０３と基板２０１との間の領域を有する。また、層２１０ｂは、液晶素子２０４と発光素子２０３の間の領域を有する。
【０１１２】
上記構成により、トランジスタ２０５と、トランジスタ２０５に電気的に接続される各種配線とを、トランジスタ２０６と、トランジスタ２０６に電気的に接続される各種配線とを、図１２（Ｂ）の場合よりもより多く重ねることができるため、画素のサイズを小さく抑え、ディスプレイ４０６の高精細化を実現することができる。
【０１１３】
なお、図１２では、２つの液晶素子２０４に対して１つの発光素子２０３が対応している断面構造を例示しているが、本発明の一態様に係るディスプレイは、１つの液晶素子２０４に対して１つの発光素子２０３が対応している断面構造を有していても良いし、１つの液晶素子２０４に対して複数の発光素子２０３が対応している断面構造を有していても良い。
【０１１４】
また、図１２では、液晶素子２０４が有する画素電極２０７が、可視光を反射する機能を有する場合を例示しているが、画素電極２０７は可視光を透過する機能を有していても良い。この場合、バックライトやフロントライトなどの光源をディスプレイ４０６に設けても良いし、液晶素子２０４を用いて画像を表示する際に発光素子２０３を光源として用いても良い。
【０１１５】
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【０１１６】
（実施の形態４）
本実施の形態では、反射型表示素子と発光型表示素子とを用いたディスプレイが有する、画素の構成例について説明する。なお、本実施の形態では、反射型表示素子として液晶素子を用い、発光型表示素子としてＥＬ材料を用いた発光素子を用いる場合を例に挙げて、本発明の一態様に係る画素３００の構成例について説明する。
【０１１７】
図１３（Ａ）に示す画素３００は、画素３５０と画素３５１とを有する。そして、画素３５０は液晶素子３０１を有し、画素３５１は発光素子３０２を有する。
【０１１８】
具体的に、画素３５０は、液晶素子３０１と、液晶素子３０１に印加する電圧を制御する機能を有するトランジスタ３０３と、容量素子３０４とを有する。そして、トランジスタ３０３は、ゲートが配線ＧＬに電気的に接続され、ソース又はドレインの一方が配線ＳＬに電気的に接続され、ソース又はドレインの他方が液晶素子３０１の画素電極に電気的に接続されている。また、液晶素子３０１の共通電極は、所定の電位が供給される配線または電極に電気的に接続されている。また、容量素子３０４は、一方の電極が、液晶素子３０１の画素電極に電気的に接続され、他方の電極が、所定の電位が供給される配線または電極に電気的に接続されている。
【０１１９】
また、具体的に、画素３５１は、発光素子３０２と、発光素子３０２に供給する電流を制御する機能を有するトランジスタ３０５と、トランジスタ３０５のゲートへの電位の供給を制御する機能を有するトランジスタ３０６と、容量素子３０７とを有する。そして、トランジスタ３０６は、ゲートが配線ＧＥに電気的に接続され、ソース又はドレインの一方が配線ＤＬに電気的に接続され、ソース又はドレインの他方がトランジスタ３０５のゲートに電気的に接続されている。トランジスタ３０５は、ソース又はドレインの一方が配線ＡＬに電気的に接続され、ソース又はドレインの他方が発光素子３０２に電気的に接続されている。容量素子３０７は、一方の電極が配線ＡＬに電気的に接続され、他方の電極がトランジスタ３０５のゲートに電気的に接続されている。
【０１２０】
図１３（Ａ）に示す画素３００では、液晶素子３０１に対応した画像信号を配線ＳＬに供給し、発光素子３０２に対応した画像信号を配線ＤＬに供給することで、液晶素子３０１によって表示される階調と、発光素子３０２によって表示される階調とを個別に制御することができる。
【０１２１】
なお、図１３（Ａ）では、液晶素子３０１を有する画素３５０と、発光素子３０２を有する画素３５１とを一つずつ有する画素３００の構成例を示したが、画素３００が複数の画素３５０を有していても良いし、或いは画素３００が複数の画素３５１を有していても良い。
【０１２２】
図１３（Ｂ）に、画素３００が一の画素３５０と、４つの画素３５１を有している場合の、画素３００の構成例を示す。
【０１２３】
具体的に図１３（Ｂ）に示す画素３００は、液晶素子３０１を有する画素３５０と、発光素子３０２をそれぞれ有する画素３５１ａ乃至画素３５１ｄとを有する。
【０１２４】
図１３（Ｂ）に示す画素３５０の構成については、図１３（Ａ）に示す画素３５０の構成を参照することができる。
【０１２５】
また、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄは、図１３（Ａ）に示す画素３５１と同様に、発光素子３０２と、発光素子３０２に供給する電流を制御する機能を有するトランジスタ３０５と、トランジスタ３０５のゲートへの電位の供給を制御する機能を有するトランジスタ３０６と、容量素子３０７とをそれぞれ有する。そして、画素３５１ａ乃至画素３５１ｄがそれぞれ有する発光素子３０２から発せられる光が、異なる領域の波長を有することで、ディスプレイにおいてカラーの画像を表示することが可能になる。
【０１２６】
また、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のゲートと、画素３５１ｃの有するトランジスタ３０６のゲートとが、配線ＧＥｂに電気的に接続されている。また、画素３５１ｂの有するトランジスタ３０６のゲートと、画素３５１ｄの有するトランジスタ３０６のゲートとが、配線ＧＥａに電気的に接続されている。
【０１２７】
また、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のソース又はドレインの一方と、画素３５１ｂの有するトランジスタ３０６のソース又はドレインの一方とが、配線ＤＬａに電気的に接続されている。また、画素３５１ｃの有するトランジスタ３０６のソース又はドレインの一方と、画素３５１ｄの有するトランジスタ３０６のソース又はドレインの一方とが、配線ＤＬｂに電気的に接続されている。
【０１２８】
また、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄでは、全てのトランジスタ３０５のソース又はドレインの一方が、配線ＡＬに電気的に接続されている。
【０１２９】
上述したように、図１３（Ｂ）に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａと画素３５１ｃが配線ＧＥｂを共有し、画素３５１ｂと画素３５１ｄが配線ＧＥａを共有しているが、画素３５１ａ乃至画素３５１ｄの全てが一の配線ＧＥを共有していても良い。この場合、画素３５１ａ乃至画素３５１ｄは、互いに異なる４つの配線ＤＬに電気的に接続されるようにすることが望ましい。
【０１３０】
次いで、図１４（Ａ）に、図１３（Ａ）とは異なる画素３００の構成例を示す。図１４（Ａ）に示す画素３００は、画素３５１が有するトランジスタ３０５がバックゲートを有する点において、図１３（Ａ）に示す画素３００と構成が異なる。
【０１３１】
具体的に、図１４（Ａ）に示す画素３００では、トランジスタ３０５のバックゲートがゲート（フロントゲート）に電気的に接続されている。図１４（Ａ）に示す画素３００は、上記構成を有することにより、トランジスタ３０５の閾値電圧がシフトするのを抑えることができ、トランジスタ３０５の信頼性を高めることができる。また、図１４（Ａ）に示す画素３００は、上記構成を有することにより、トランジスタ３０５のサイズを小さく抑えつつ、トランジスタ３０５のオン電流を高めることができる。
【０１３２】
なお、本発明の一態様に係るディスプレイでは、画素３００が、図１４（Ａ）に示す画素３５０を複数有していても良いし、或いは図１４（Ａ）に示す画素３５１を複数有していても良い。具体的には、図１３（Ｂ）に示した画素３００と同様に、図１４（Ａ）に示す１つの画素３５０と、４つの画素３５１とを有していても良い。その場合、各種配線と４つの画素３５１との接続関係は、図１３（Ｂ）に示した画素３００を参照することができる。
【０１３３】
次いで、図１４（Ｂ）に、図１３（Ａ）とは異なる画素３００の構成例を示す。図１４（Ｂ）に示す画素３００は、画素３５１が有するトランジスタ３０５がバックゲートを有する点において、図１３（Ａ）に示す画素３００と構成が異なる。そして、図１４（Ｂ）に示す画素３００では、トランジスタ３０５のバックゲートがゲートではなく発光素子３０２に電気的に接続されている点において、図１４（Ａ）に示す画素３００と構成が異なる。
【０１３４】
図１４（Ｂ）に示す画素３００は、上記構成を有することにより、トランジスタ３０５の閾値電圧がシフトするのを抑えることができ、トランジスタ３０５の信頼性を高めることができる。
【０１３５】
なお、本発明の一態様に係るディスプレイでは、画素３００が、図１４（Ｂ）に示す画素３５０を複数有していても良いし、或いは図１４（Ｂ）に示す画素３５１を複数有していても良い。具体的には、図１３（Ｂ）に示した画素３００と同様に、図１４（Ｂ）に示す１つの画素３５０と、４つの画素３５１とを有していても良い。その場合、各種配線と４つの画素３５１との接続関係は、図１３（Ｂ）に示した画素３００を参照することができる。
【０１３６】
次いで、図１５に、図１３（Ａ）とは異なる画素３００の構成例を示す。図１５に示す画素３００は、画素３５０と画素３５１とを有し、画素３５１の構成が図１３（Ａ）とは異なる。
【０１３７】
具体的に、図１５に示す画素３５１は、発光素子３０２と、発光素子３０２に供給する電流を制御する機能を有するトランジスタ３０５と、トランジスタ３０５のゲートへの電位の供給を制御する機能を有するトランジスタ３０６と、発光素子３０２の画素電極に所定の電位を供給する機能を有するトランジスタ３０８と、容量素子３０７とを有する。また、トランジスタ３０５と、トランジスタ３０６と、トランジスタ３０８とは、それぞれバックゲートを有する。
【０１３８】
そして、トランジスタ３０６は、ゲート（フロントゲート）が配線ＭＬに電気的に接続され、バックゲートが配線ＧＥに電気的に接続され、ソース又はドレインの一方が配線ＤＬに電気的に接続され、ソース又はドレインの他方がトランジスタ３０５のバックゲート及びフロントゲートに電気的に接続されている。トランジスタ３０５は、ソース又はドレインの一方が配線ＡＬに電気的に接続され、ソース又はドレインの他方が発光素子３０２に電気的に接続されている。
【０１３９】
トランジスタ３０８は、ゲート（フロントゲート）が配線ＭＬに電気的に接続され、バックゲートが配線ＧＥに電気的に接続され、ソース又はドレインの一方が配線ＭＬに電気的に接続され、ソース又はドレインの他方が発光素子３０２に電気的に接続されている。容量素子３０７は、一方の電極が配線ＡＬに電気的に接続され、他方の電極がトランジスタ３０５のゲートに電気的に接続されている。
【０１４０】
なお、図１５では、液晶素子３０１を有する画素３５０と、発光素子３０２を有する画素３５１とを一つずつ有する画素３００の構成例を示したが、画素３００が複数の画素３５０を有していても良いし、或いは画素３００が複数の画素３５１を有していても良い。
【０１４１】
図１６に、画素３００が一の画素３５０と、４つの画素３５１を有している場合の、画素３００の構成例を示す。
【０１４２】
具体的に図１６に示す画素３００は、液晶素子３０１を有する画素３５０と、発光素子３０２をそれぞれ有する画素３５１ａ乃至画素３５１ｄとを有する。
【０１４３】
図１６に示す画素３５０の構成については、図１５に示す画素３５０の構成を参照することができる。
【０１４４】
また、図１６に示す画素３５１ａ乃至画素３５１ｄは、図１５に示す画素３５１と同様に、発光素子３０２と、発光素子３０２に供給する電流を制御する機能を有するトランジスタ３０５と、トランジスタ３０５のゲートへの電位の供給を制御する機能を有するトランジスタ３０６と、発光素子３０２の画素電極に所定の電位を供給する機能を有するトランジスタ３０８と、容量素子３０７とをそれぞれ有する。そして、画素３５１ａ乃至画素３５１ｄがそれぞれ有する発光素子３０２から発せられる光が、異なる領域の波長を有することで、ディスプレイにおいてカラーの画像を表示することが可能になる。
【０１４５】
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のゲートと、画素３５１ｂの有するトランジスタ３０６のゲートとが、配線ＭＬａに電気的に接続されている。また、画素３５１ｃの有するトランジスタ３０６のゲートと、画素３５１ｄの有するトランジスタ３０６のゲートとが、配線ＭＬｂに電気的に接続されている。
【０１４６】
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のバックゲートと、画素３５１ｃの有するトランジスタ３０６のバックゲートとが、配線ＧＥｂに電気的に接続されている。また、画素３５１ｂの有するトランジスタ３０６のバックゲートと、画素３５１ｄの有するトランジスタ３０６のバックゲートとが、配線ＧＥａに電気的に接続されている。
【０１４７】
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０６のソース又はドレインの一方と、画素３５１ｂの有するトランジスタ３０６のソース又はドレインの一方とが、配線ＤＬａに電気的に接続されている。また、画素３５１ｃの有するトランジスタ３０６のソース又はドレインの一方と、画素３５１ｄの有するトランジスタ３０６のソース又はドレインの一方とが、配線ＤＬｂに電気的に接続されている。
【０１４８】
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０８のバックゲートと、画素３５１ｃの有するトランジスタ３０８のバックゲートとが、配線ＧＥｂに電気的に接続されている。また、画素３５１ｂの有するトランジスタ３０８のバックゲートと、画素３５１ｄの有するトランジスタ３０８のバックゲートとが、配線ＧＥａに電気的に接続されている。
【０１４９】
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａの有するトランジスタ３０８のゲートとソース又はドレインの一方とが配線ＭＬａに電気的に接続され、画素３５１ｂの有するトランジスタ３０８のゲートとソース又はドレインの一方とが、配線ＭＬａに電気的に接続されている。また、画素３５１ｃの有するトランジスタ３０８のゲートとソース又はドレインの一方とが配線ＭＬｂに電気的に接続され、画素３５１ｂの有するトランジスタ３０８のゲートとソース又はドレインの一方とが、配線ＭＬｂに電気的に接続されている。
【０１５０】
また、図１６に示す画素３５１ａ乃至画素３５１ｄでは、全てのトランジスタ３０５のソース又はドレインの一方が、配線ＡＬに電気的に接続されている。
【０１５１】
上述したように、図１６に示す画素３５１ａ乃至画素３５１ｄでは、画素３５１ａと画素３５１ｃが配線ＧＥｂを共有し、画素３５１ｂと画素３５１ｄが配線ＧＥａを共有しているが、画素３５１ａ乃至画素３５１ｄの全てが一の配線ＧＥを共有していても良い。この場合、画素３５１ａ乃至画素３５１ｄは、互いに異なる４つの配線ＤＬに電気的に接続されるようにすることが望ましい。
【０１５２】
なお、画素３５０に、オフ電流が低いトランジスタを用いることで、表示画面を書き換える必要がない場合（すなわち静止画を表示する場合）、一時的に駆動回路を停止することができる（以下、「アイドリングストップ」、もしくは「ＩＤＳ駆動」と呼ぶ。）。ＩＤＳ駆動によって、ディスプレイ４０６の消費電力を低減することができる。
【０１５３】
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【０１５４】
（実施の形態５）
本実施の形態では、図１２（Ｃ）に示したディスプレイ４０６を例に挙げて、反射型表示素子と発光型表示素子とを用いたディスプレイ４０６の具体的な構成例について、図１７を用いて説明する。なお図１２（Ａ）、図１２（Ｂ）に示したディスプレイ４０６についても、反射型表示素子と発光型表示素子とを用いたディスプレイ４０６の具体的な構成例の断面構造を図１８、図１９に図示しているが、詳細な説明については省略する。なお図１８、図１９においては、図１７と同じ構成について同じ符号を付している。
【０１５５】
図１７に、ディスプレイ４０６の断面構造の一例を示す。
【０１５６】
図１７に示すディスプレイ４０６は、基板２５０と基板２５１の間に、表示部１０２と、表示部１０４とが積層された構成を有する。具体的に図１７では、表示部１０２と表示部１０４とが接着層２５２により接着されている。
【０１５７】
そして、図１７では、表示部１０２の画素が有する発光素子３０２、トランジスタ３０５、及び容量素子３０７と、表示部１０２の駆動回路が有するトランジスタ３０９とを図示している。また、図１７では、表示部１０４の画素が有する液晶素子３０１と、トランジスタ３０３と、容量素子３０４と、表示部１０４の駆動回路が有するトランジスタ３１０とを図示している。
【０１５８】
トランジスタ３０５は、バックゲートとしての機能を有する導電層３１１と、導電層３１１上の絶縁層３１２と、絶縁層３１２上において導電層３１１と重なる半導体層３１３と、半導体層３１３上の絶縁層３１６と、絶縁層３１６上に位置し、ゲートとしての機能を有する導電層３１７と、導電層３１７上に位置する絶縁層３１８のさらに上に位置し、半導体層３１３と電気的に接続されている導電層３１４及び導電層３１５と、を有する。
【０１５９】
また、導電層３１５は、導電層３１９と電気的に接続され、導電層３１９は導電層３２０に電気的に接続されている。導電層３１９は導電層３１７と同一の層に形成されており、導電層３２０は導電層３１１と同一の層に形成されている。
【０１６０】
また、導電層３１１及び導電層３２０と同一の層に、トランジスタ３０６（図示せず）のバックゲートとしての機能を有する導電層３２１が位置している。導電層３２１上には絶縁層３１２が位置し、絶縁層３１２上には導電層３２１と重なる領域を有する半導体層３２２が位置する。半導体層３２２にはトランジスタ３０６（図示せず）のチャネル形成領域が含まれる。半導体層３２２上には絶縁層３１８が位置し、絶縁層３１８上には導電層３２３が位置する。導電層３２３は半導体層３２２に電気的に接続されており、導電層３２３はトランジスタ３０６（図示せず）のソースまたはドレインとしての機能を有する。
【０１６１】
トランジスタ３０９は、トランジスタ３０５と同様の構成を有するので、詳細な説明は割愛する。
【０１６２】
トランジスタ３０５、導電層３２３、トランジスタ３０９上には、絶縁層３２４が位置し、絶縁層３２４上には絶縁層３２５が位置する。絶縁層３２５上には導電層３２６及び導電層３２７が位置する。導電層３２６は導電層３１４と電気的に接続されており、導電層３２７は導電層３２３と電気的に接続されている。導電層３２６及び導電層３２７上には絶縁層３２８が位置し、絶縁層３２８上には導電層３２９が位置する。導電層３２９は導電層３２６に電気的に接続されており、発光素子３０２の画素電極としての機能を有する。
【０１６３】
導電層３２７と絶縁層３２８と導電層３２９とが重なる領域が、容量素子３０７として機能する。
【０１６４】
導電層３２９上には絶縁層３３０が位置し、絶縁層３３０上にはＥＬ層３３１が位置し、ＥＬ層３３１上には対向電極としての機能を有する導電層３３２が位置する。導電層３２９とＥＬ層３３１と導電層３３２とは、絶縁層３３０の開口部において電気的に接続されており、導電層３２９とＥＬ層３３１と導電層３３２とが電気的に接続された領域が発光素子３０２として機能する。発光素子３０２は、導電層３３２側から破線の矢印で示す方向に光を放射する、トップエミッション構造を有する。
【０１６５】
導電層３２９と導電層３３２とは、一方が陽極として機能し、他方が陰極として機能する。導電層３２９と導電層３３２の間に、発光素子３０２の閾値電圧より高い電圧を印加すると、ＥＬ層３３１に陽極側から正孔が注入され、陰極側から電子が注入される。注入された電子と正孔はＥＬ層３３１において再結合し、ＥＬ層３３１に含まれる発光物質が発光する。
【０１６６】
なお、半導体層３１３、３２２に酸化物半導体を用いる場合、ディスプレイの信頼性を高めるには、絶縁層３１８は酸素を含む絶縁材料を用いることが望ましく、絶縁層３２４には水又は水素などの不純物が拡散しにくい材料を用いることが望ましい。
【０１６７】
絶縁層３２５または絶縁層３３０として有機材料を用いる場合、絶縁層３２５または絶縁層３３０がディスプレイの端部に露出していると、絶縁層３２５または絶縁層３３０を介して発光素子３０２等にディスプレイの外部から水分等の不純物が侵入する恐れがある。不純物の侵入により、発光素子３０２が劣化すると、ディスプレイの劣化につながる。そのため、図１７に示すように、絶縁層３２５及び絶縁層３３０が、ディスプレイの端部に位置しないことが好ましい。
【０１６８】
発光素子３０２は、接着層３３３を介して着色層３３４と重なる。スペーサ３３５は、接着層３３３を介して遮光層３３６と重なる。図１７では、導電層３３２と遮光層３３６との間に隙間がある場合を示しているが、これらが接していてもよい。
【０１６９】
着色層３３４は特定の波長帯域の光を透過する有色層である。例えば、赤色、緑色、青色、又は黄色の波長帯域の光を透過するカラーフィルタなどを用いることができる。
【０１７０】
なお、本発明の一態様は、カラーフィルタ方式に限られず、塗り分け方式、色変換方式、又は量子ドット方式等を適用してもよい。
【０１７１】
表示部１０４において、トランジスタ３０３は、バックゲートとしての機能を有する導電層３４０と、導電層３４０上の絶縁層３４１と、絶縁層３４１上において導電層３４０と重なる半導体層３４２と、半導体層３４２上の絶縁層３４３と、絶縁層３４３上に位置し、ゲートとしての機能を有する導電層３４４と、導電層３４４上に位置する絶縁層３４５のさらに上に位置し、半導体層３４２と電気的に接続されている導電層３４６及び導電層３４７と、を有する。
【０１７２】
また、導電層３４０と同一の層に導電層３４８が位置する。導電層３４８上には絶縁層３４１が位置し、絶縁層３４１上には導電層３４８と重なる領域に導電層３４７が位置する。導電層３４７と絶縁層３４１と導電層３４８とが重なる領域が、容量素子３０４として機能する。
【０１７３】
トランジスタ３１０は、トランジスタ３０３と同様の構成を有するので、詳細な説明は割愛する。
【０１７４】
トランジスタ３０３、容量素子３０４、トランジスタ３１０上には、絶縁層３６０が位置し、絶縁層３６０上には導電層３４９が位置する。導電層３４９は導電層３４７と電気的に接続されており、液晶素子３０１の画素電極としての機能を有する。導電層３４９上には配向膜３６４が位置する。
【０１７５】
基板２５１には、共通電極としての機能を有する導電層３６１が位置する。具体的に、図１７では、基板２５１上に接着層３６２を介して絶縁層３６３が接着されており、絶縁層３６３上に導電層３６１が位置する。そして、導電層３６１上には配向膜３６５が位置し、配向膜３６４と配向膜３６５の間には液晶層３６６が位置する。
【０１７６】
図１７では、導電層３４９が可視光を反射する機能を有し、導電層３６１が可視光を透過する機能を有することで、破線の矢印で示すように基板２５１側から入射した光を、導電層３４９において反射させ、基板２５１側から放射させることができる。
【０１７７】
可視光を透過する導電性材料としては、例えば、インジウム（Ｉｎ）、亜鉛（Ｚｎ）、錫（Ｓｎ）の中から選ばれた一種を含む材料を用いるとよい。具体的には、酸化インジウム、インジウム錫酸化物（ＩＴＯ：Ｉｎｄｉｕｍ  Ｔｉｎ  Ｏｘｉｄｅ）、インジウム亜鉛酸化物、酸化タングステンを含むインジウム酸化物、酸化タングステンを含むインジウム亜鉛酸化物、酸化チタンを含むインジウム酸化物、酸化チタンを含むインジウム錫酸化物、酸化シリコンを含むインジウム錫酸化物（ＩＴＳＯ）、酸化亜鉛、ガリウムを含む酸化亜鉛などが挙げられる。なお、グラフェンを含む膜を用いることもできる。グラフェンを含む膜は、例えば膜状に形成された酸化グラフェンを含む膜を還元して形成することができる。
【０１７８】
可視光を反射する導電性材料としては、例えば、アルミニウム、銀、またはこれらの金属材料を含む合金等が挙げられる。そのほか、金、白金、ニッケル、タングステン、クロム、モリブデン、鉄、コバルト、銅、もしくはパラジウム等の金属材料、またはこれら金属材料を含む合金を用いることができる。また、上記金属材料または合金に、ランタン、ネオジム、またはゲルマニウム等が添加されていてもよい。アルミニウムとチタンの合金、アルミニウムとニッケルの合金、アルミニウムとネオジムの合金、アルミニウム、ニッケル、及びランタンの合金（Ａｌ−Ｎｉ−Ｌａ）等のアルミニウムを含む合金（アルミニウム合金）、銀と銅の合金、銀とパラジウムと銅の合金（Ａｇ−Ｐｄ−Ｃｕ、ＡＰＣとも記す）、銀とマグネシウムの合金等の銀を含む合金を用いてもよい。
【０１７９】
なお、図１７では、バックゲートを有するトップゲート型のトランジスタを用いたディスプレイの構成について説明したが、本発明の一態様に係るディスプレイはバックゲートを有さないトランジスタを用いていても良いし、ボトムゲート型のトランジスタを用いていても良い。
【０１８０】
トランジスタに用いる半導体材料の結晶性についても特に限定されず、非晶質半導体、結晶性を有する半導体（微結晶半導体、多結晶半導体、単結晶半導体、又は一部に結晶領域を有する半導体）のいずれを用いてもよい。結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
【０１８１】
また、トランジスタに用いる半導体材料としては、酸化物半導体を用いることができる。代表的には、インジウムを含む酸化物半導体などを適用できる。
【０１８２】
特にシリコンよりもバンドギャップが広く、且つキャリア密度の小さい半導体材料を用いると、トランジスタのオフ状態における電流を低減できるため好ましい。
【０１８３】
半導体層は、例えば少なくともインジウム、亜鉛及びＭ（アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属）を含むＩｎ−Ｍ−Ｚｎ系酸化物で表記される膜を含むことが好ましい。また、該酸化物半導体を用いたトランジスタの電気特性のばらつきを減らすため、それらと共に、スタビライザーを含むことが好ましい。
【０１８４】
スタビライザーとしては、上記Ｍで記載の金属（例えば、ガリウム、スズ、ハフニウム、アルミニウム、またはジルコニウム等）がある。また、他のスタビライザーとしては、ランタノイドである、ランタン、セリウム、プラセオジム、ネオジム、サマリウム、ユウロピウム、ガドリニウム、テルビウム、ジスプロシウム、ホルミウム、エルビウム、ツリウム、イッテルビウム、ルテチウム等がある。
【０１８５】
半導体層を構成する酸化物半導体として、例えば、Ｉｎ−Ｇａ−Ｚｎ系酸化物、Ｉｎ−Ａｌ−Ｚｎ系酸化物、Ｉｎ−Ｓｎ−Ｚｎ系酸化物、Ｉｎ−Ｈｆ−Ｚｎ系酸化物、Ｉｎ−Ｌａ−Ｚｎ系酸化物、Ｉｎ−Ｃｅ−Ｚｎ系酸化物、Ｉｎ−Ｐｒ−Ｚｎ系酸化物、Ｉｎ−Ｎｄ−Ｚｎ系酸化物、Ｉｎ−Ｓｍ−Ｚｎ系酸化物、Ｉｎ−Ｅｕ−Ｚｎ系酸化物、Ｉｎ−Ｇｄ−Ｚｎ系酸化物、Ｉｎ−Ｔｂ−Ｚｎ系酸化物、Ｉｎ−Ｄｙ−Ｚｎ系酸化物、Ｉｎ−Ｈｏ−Ｚｎ系酸化物、Ｉｎ−Ｅｒ−Ｚｎ系酸化物、Ｉｎ−Ｔｍ−Ｚｎ系酸化物、Ｉｎ−Ｙｂ−Ｚｎ系酸化物、Ｉｎ−Ｌｕ−Ｚｎ系酸化物、Ｉｎ−Ｓｎ−Ｇａ−Ｚｎ系酸化物、Ｉｎ−Ｈｆ−Ｇａ−Ｚｎ系酸化物、Ｉｎ−Ａｌ−Ｇａ−Ｚｎ系酸化物、Ｉｎ−Ｓｎ−Ａｌ−Ｚｎ系酸化物、Ｉｎ−Ｓｎ−Ｈｆ−Ｚｎ系酸化物、Ｉｎ−Ｈｆ−Ａｌ−Ｚｎ系酸化物を用いることができる。
【０１８６】
なお、ここで、Ｉｎ−Ｇａ−Ｚｎ系酸化物とは、ＩｎとＧａとＺｎを主成分として有する酸化物という意味であり、ＩｎとＧａとＺｎの比率は問わない。また、ＩｎとＧａとＺｎ以外の金属元素が入っていてもよい。
【０１８７】
なお、本実施の形態では、反射型表示素子として液晶素子を用いたディスプレイの構成を例示したが、反射型表示素子として、液晶素子のほかに、シャッター方式のＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）素子、光干渉方式のＭＥＭＳ素子、マイクロカプセル方式、電気泳動方式、エレクトロウェッティング方式、電子粉流体（登録商標）方式等を適用した表示素子などを用いることができる。
【０１８８】
また、発光型表示素子として、例えばＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、ＱＬＥＤ（Ｑｕａｎｔｕｍ−ｄｏｔ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）などの自発光性の発光素子を用いることができる。
【０１８９】
液晶素子としては、例えば垂直配向（ＶＡ：Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モードが適用された液晶素子を用いることができる。垂直配向モードとしては、ＭＶＡ（Ｍｕｌｔｉ−Ｄｏｍａｉｎ  Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ  Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モード、ＡＳＶ（Ａｄｖａｎｃｅｄ  Ｓｕｐｅｒ  Ｖｉｅｗ）モードなどを用いることができる。
【０１９０】
また、液晶素子には、様々なモードが適用された液晶素子を用いることができる。例えばＶＡモードのほかに、ＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）モード、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ−Ｓｗｉｔｃｈｉｎｇ）モード、ＦＦＳ（Ｆｒｉｎｇｅ  Ｆｉｅｌｄ  Ｓｗｉｔｃｈｉｎｇ）モード、ＡＳＭ（Ａｘｉａｌｌｙ  Ｓｙｍｍｅｔｒｉｃ  ａｌｉｇｎｅｄ  Ｍｉｃｒｏ−ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌｌｙ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）モード等が適用された液晶素子を用いることができる。
【０１９１】
なお、液晶素子に用いる液晶としては、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶（ＰＤＬＣ：Ｐｏｌｙｍｅｒ  Ｄｉｓｐｅｒｓｅｄ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。
【０１９２】
また、液晶材料としては、ポジ型の液晶、またはネガ型の液晶のいずれを用いてもよく、適用するモードや設計に応じて最適な液晶材料を用いればよい。
【０１９３】
また、液晶の配向を制御するため、配向膜を設けることができる。なお、横電界方式を採用する場合、配向膜を用いないブルー相を示す液晶を用いてもよい。ブルー相は液晶相の一つであり、コレステリック液晶を昇温していくと、コレステリック相から等方相へ転移する直前に発現する相である。ブルー相は狭い温度範囲でしか発現しないため、温度範囲を改善するために数重量％以上のカイラル剤を混合させた液晶組成物を液晶層に用いる。ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、応答速度が短く、光学的等方性である。また、ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、配向処理が不要であり、視野角依存性が小さい。また配向膜を設けなくてもよいのでラビング処理も不要となるため、ラビング処理によって引き起こされる静電破壊を防止することができ、作製工程中の液晶ディスプレイの不良や破損を軽減することができる。
【０１９４】
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【０１９５】
（実施の形態６）
次いで、図２０（Ａ）に、本発明の一態様に係るディスプレイ４０６の、外観の一例を示す。図２０（Ａ）に示すディスプレイ４０６は、基板５００上に画素部５０１と、反射型表示素子を有する画素用の走査線駆動回路５０２と、発光型表示素子を有する画素用の走査線駆動回路５０３と、を有する。また、ＩＣ５０４は反射型表示素子を有する画素用の信号線駆動回路を有し、配線５０６を介して画素部５０１に電気的に接続されている。また、ＩＣ５０５は発光型表示素子を有する画素用の信号線駆動回路を有し、配線５０７を介して画素部５０１に電気的に接続されている。
【０１９６】
また、ＦＰＣ５０８はＩＣ５０４に電気的に接続されており、ＦＰＣ５０９はＩＣ５０５に電気的に接続されている。ＦＰＣ５１０は配線５１１を介して走査線駆動回路５０２に電気的に接続されている。また、ＦＰＣ５１０は配線５１２を介して走査線駆動回路５０３に電気的に接続されている。
【０１９７】
次いで、反射型表示素子として液晶素子を用い、発光型表示素子として発光素子を用いる場合を例に挙げて、画素部５０１が有する画素５１３における、液晶素子の表示領域のレイアウトと、発光素子の表示領域のレイアウトとを、図２０（Ｂ）に示す。
【０１９８】
具体的に図２０（Ｂ）では、画素５１３が、液晶素子の表示領域５１４と、黄色に対応する発光素子の表示領域５１５と、緑色に対応する発光素子の表示領域５１６と、赤色に対応する発光素子の表示領域５１７と、青色に対応する発光素子の表示領域５１８とを有する。
【０１９９】
なお、緑色、青色、赤色、黄色にそれぞれ対応する発光素子を用いて色再現性の良い黒を表示する際、発光素子の面積あたりに流れる電流量は、黄色に対応する発光素子が最も小さいことが求められる。図２０（Ｂ）では、緑色に対応する発光素子の表示領域５１６と、赤色に対応する発光素子の表示領域５１７と、青色に対応する発光素子の表示領域５１８とが、ほぼ同等の面積を有し、それらに対して黄色に対応する発光素子の表示領域５１５の面積はやや小さいため、色再現性の良い黒を表示することが可能である。
【０２００】
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【０２０１】
（実施の形態７）
本実施の形態では、本発明の一態様に係るディスプレイを用いた電子機器の一例を示す。
【０２０２】
図２１（Ａ）は、タブレット型の携帯端末６２００であり、筐体６２２１、ディスプレイ６２２２、操作ボタン６２２３、スピーカ６２２４を有する。また、本発明の一態様に係るディスプレイ６２２２に、位置入力装置としての機能を付加しても良い。また、位置入力装置としての機能は、ディスプレイにタッチパネルを設けることで付加することができる。あるいは、位置入力装置としての機能は、フォトセンサとも呼ばれる光電変換素子をディスプレイの画素部に設けることでも、付加することができる。また、操作ボタン６２２３に携帯端末６２００を起動する電源スイッチ、携帯端末６２００のアプリケーションを操作するボタン、音量調整ボタン、又はディスプレイ６２２２を点灯、あるいは消灯するスイッチなどのいずれかを備えることができる。また、図２１（Ａ）に示した携帯端末６２００では、操作ボタン６２２３の数を４個示しているが、携帯端末６２００の有する操作ボタンの数及び配置は、これに限定されない。
【０２０３】
また、携帯端末６２００は、外光の照度を測定する光センサ６２２５Ｘ及び光センサ６２２５Ｙを有する。光センサ６２２５Ｘ及び光センサ６２２５Ｙは、筐体６２２１のベゼルに配置されている。特に、光センサ６２２５Ｘは、筐体６２２１のベゼルにおいて２つある短辺の一方に配置され、光センサ６２２５Ｙは、筐体６２２１のベゼルにおいて２つある長辺の一方に配置されている。本発明の一態様では、光センサ６２２５Ｘ及び光センサ６２２５Ｙによって外光の照度を測定して、それらのデータを基づいて、ディスプレイ６２２２に表示する表示素子の切り替え等の調整を行うことができる。
【０２０４】
また、光センサ６２２５Ｘ及び光センサ６２２５Ｙの配置箇所は、図２１（Ａ）に示した携帯端末６２００に限定されない。例えば、図２１（Ｂ）に示す携帯端末６２０１のように、光センサ６２２５Ｘは、筐体６２２１のベゼルにおいて２つある短辺の両方に配置され、光センサ６２２５Ｙは、筐体６２２１のベゼルにおいて２つある長辺の両方に配置されてもよい。
【０２０５】
また、図示していないが、図２１（Ａ）に示した携帯端末６２００は、筐体６２２１の内部にセンサ（力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、におい又は赤外線などを測定する機能を含むもの）を有する構成であってもよい。特に、ジャイロセンサ、加速度センサなどの傾きを測定するセンサを有する測定装置を設けることで、図２１（Ａ）に示す携帯端末６２００の向き（鉛直方向に対して携帯端末がどの向きに向いているか）を判断して、ディスプレイ６２２２の画面表示を、携帯端末６２００の向きに応じて自動的に切り替えるようにすることができる。
【０２０６】
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【０２０７】
（実施の形態８）
図２２に、本発明の一態様に係るディスプレイを有する携帯端末に適用可能な電子機器の具体例を示す。
【０２０８】
図２２（Ａ）は携帯型ゲーム機であり、筐体５００１、筐体５００２、本発明の一態様に係るディスプレイ５００３、発明の一態様に係るディスプレイ５００４、マイクロホン５００５、スピーカ５００６、操作キー５００７、スタイラス５００８等を有する。なお、図２２（Ａ）に示した携帯型ゲーム機は、ディスプレイ５００３とディスプレイ５００４とで示す二つのディスプレイを有しているが、携帯型ゲーム機が有するディスプレイの数は、これに限定されない。携帯型ゲーム機に本発明の一態様に係るディスプレイ５００３及びディスプレイ５００４を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５００３及びディスプレイ５００４に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
【０２０９】
図２２（Ｂ）は腕時計型の携帯端末であり、筐体５２０１、本発明の一態様に係るディスプレイ５２０２、ベルト５２０３、光センサ５２０４、スイッチ５２０５等を有する。腕時計型の携帯端末に本発明の一態様に係るディスプレイ５２０２を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５２０２に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
【０２１０】
図２２（Ｃ）はタブレット型のパーソナルコンピュータであり、筐体５３０１、筐体５３０２、本発明の一態様に係るディスプレイ５３０３、光センサ５３０４、光センサ５３０５、スイッチ５３０６等を有する。ディスプレイ５３０３は、筐体５３０１及び筐体５３０２によって支持されている。そして、ディスプレイ５３０３は可撓性を有する基板を用いて形成されているため形状をフレキシブルに曲げることができる機能を有する。筐体５３０１と筐体５３０２の間の角度をヒンジ５３０７及び５３０８において変更することで、筐体５３０１と筐体５３０２が重なるように、ディスプレイ５３０３を折りたたむことができる。図示してはいないが、開閉センサを内蔵させ、上記角度の変化をディスプレイ５３０３において使用条件の情報として用いても良い。タブレット型のパーソナルコンピュータに本発明の一態様に係るディスプレイ５３０３を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５３０３に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
【０２１１】
図２２（Ｄ）はビデオカメラであり、筐体５８０１、筐体５８０２、本発明の一態様に係るディスプレイ５８０３、操作キー５８０４、レンズ５８０５、接続部５８０６等を有する。操作キー５８０４及びレンズ５８０５は筐体５８０１に設けられており、ディスプレイ５８０３は筐体５８０２に設けられている。そして、筐体５８０１と筐体５８０２とは、接続部５８０６により接続されており、筐体５８０１と筐体５８０２の間の角度は、接続部５８０６により変更が可能である。ディスプレイ５８０３における映像を、接続部５８０６における筐体５８０１と筐体５８０２との間の角度に従って切り替える構成としても良い。ビデオカメラに本発明の一態様に係るディスプレイ５８０３を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５８０３に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
【０２１２】
図２２（Ｅ）は腕時計型の携帯端末であり、曲面を有する筐体５７０１、本発明の一態様に係るディスプレイ５７０２等を有する。本発明の一態様に係るディスプレイ５７０２に可撓性を有する基板を用いることで、曲面を有する筐体５７０１にディスプレイ５７０２を支持させることができ、フレキシブルかつ軽くて使い勝手の良い腕時計型の携帯端末を提供することができる。そして、腕時計型の携帯端末に本発明の一態様に係るディスプレイ５７０２を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５７０２に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
【０２１３】
図２２（Ｆ）は携帯電話であり、曲面を有する筐体５９０１に、本発明の一態様に係るディスプレイ５９０２、マイク５９０７、スピーカ５９０４、カメラ５９０３、外部接続部５９０６、操作用のボタン５９０５が設けられている。携帯電話に本発明の一態様に係るディスプレイ５９０２を用いることで、使用環境における外光の強度に左右されずに、ディスプレイ５９０２に表示品質の高い画像を表示することができ、消費電力も抑えることができる。
【０２１４】
本実施の形態は、他の実施の形態と適宜組み合わせて実施することが可能である。
【符号の説明】
【０２１５】
１０    データ処理システム
１１    携帯端末
１２    ネットワーク
１３    サーバー
１４    データベース
１５    ディスプレイ
１６    位置センサ
１７    演算装置
１８    撮像装置
２１    物体データ
２４    物体データ
２５    ワイヤーフレームモデルデータ
２６    関連情報データ
６０    領域
６０ｖ    領域
６１    物体
６１ｖ    物体データ
６２    物体
６２ｖ    物体データ
６３    ナブスター衛星
６４    信号
６５    ユーザー
６６    方位
６６ｄ    方位
６６ｖ    方位
６７    座標
６７ｄ    座標
６７ｖ    座標
６８    物体
６８ｖ    物体データ
７０    領域
７０ｖ    領域
７０ｖ＿Ａ    領域
７０ｖ＿Ｃ    領域
７０ｖ＿Ｄ    領域
７０ｖＢ    領域
７１    物体データ
７１ｖ    物体データ
７１ｖ＿Ｌ    物体データ
７１ｖ＿Ｓ    物体データ
７２    物体データ
７２ｖ    物体データ
７２ｖ＿Ｌ    物体データ
７２ｖ＿Ｓ    物体データ
７３    文字情報
７４    文字情報
７６    物体データ
７７    物体データ
１０１    反射型表示素子
１０２    表示部
１０３    発光型表示素子
１０４    表示部
１０５ａ    ＳＤ
１０５ｂ    ＳＤ
１０７    ＡＩＣ
１０８    ＳＰＣ
２０１    基板
２０２    基板
２０３    発光素子
２０４    液晶素子
２０５    トランジスタ
２０６    トランジスタ
２０７    画素電極
２０８    共通電極
２０９    液晶層
２１０    層
２１０ａ    層
２１０ｂ    層
２５０    基板
２５１    基板
２５２    接着層
３００    画素
３０１    液晶素子
３０２    発光素子
３０３    トランジスタ
３０４    容量素子
３０５    トランジスタ
３０６    トランジスタ
３０７    容量素子
３０８    トランジスタ
３０９    トランジスタ
３１０    トランジスタ
３１１    導電層
３１２    絶縁層
３１３    半導体層
３１４    導電層
３１５    導電層
３１６    絶縁層
３１７    導電層
３１８    絶縁層
３１９    導電層
３２０    導電層
３２１    導電層
３２２    半導体層
３２３    導電層
３２４    絶縁層
３２５    絶縁層
３２６    導電層
３２７    導電層
３２８    絶縁層
３２９    導電層
３３０    絶縁層
３３１    ＥＬ層
３３２    導電層
３３３    接着層
３３４    着色層
３３５    スペーサ
３３６    遮光層
３４０    導電層
３４１    絶縁層
３４２    半導体層
３４３    絶縁層
３４４    導電層
３４５    絶縁層
３４６    導電層
３４７    導電層
３４８    導電層
３４９    導電層
３５０    画素
３５１    画素
３５１ａ    画素
３５１ｂ    画素
３５１ｃ    画素
３５１ｄ    画素
３６０    絶縁層
３６１    導電層
３６２    接着層
３６３    絶縁層
３６４    配向膜
３６５    配向膜
３６６    液晶層
４０２    ＣＰＵ
４０３    メモリ
４０４    ＧＰＵ
４０５    ディスプレイコントローラ
４０６    ディスプレイ
４０７    タッチパネルコントローラ
４０８    タッチパネル
４０９    イメージセンサコントローラ
４１０    イメージセンサ
４１１    通信モジュール
４１３    入力ボタン
４１４    位置センサモジュール
４１５    方位センサ
４１６    光センサ
４１７    外部記憶装置コントローラ
４１８    音声コーデック
４１９    スピーカ
４２０    マイク
４２１    外部映像入力コーデック
４２２    汎用入出力コントローラ
４４２    電源
５００    基板
５０１    画素部
５０２    走査線駆動回路
５０３    走査線駆動回路
５０４    ＩＣ
５０６    配線
５０７    配線
５０８    ＦＰＣ
５０９    ＦＰＣ
５１０    ＦＰＣ
５１１    配線
５１２    配線
５１３    画素
５１４    表示領域
５１５    表示領域
５１６    表示領域
５１７    表示領域
５１８    表示領域
５００１    筐体
５００２    筐体
５００３    ディスプレイ
５００４    ディスプレイ
５００５    マイクロホン
５００６    スピーカ
５００７    操作キー
５００８    スタイラス
５２０１    筐体
５２０２    ディスプレイ
５２０３    ベルト
５２０４    光センサ
５２０５    スイッチ
５３０１    筐体
５３０２    筐体
５３０３    ディスプレイ
５３０４    光センサ
５３０５    光センサ
５３０６    スイッチ
５３０７    ヒンジ
５７０１    筐体
５７０２    ディスプレイ
５８０１    筐体
５８０２    筐体
５８０３    ディスプレイ
５８０４    操作キー
５８０５    レンズ
５８０６    接続部
５９０１    筐体
５９０２    ディスプレイ
５９０３    カメラ
５９０４    スピーカ
５９０５    ボタン
５９０６    外部接続部
５９０７    マイク
６２００    携帯端末
６２０１    携帯端末
６２２１    筐体
６２２２    ディスプレイ
６２２３    操作ボタン
６２２４    スピーカ
６２２５Ｘ    光センサ
６２２５Ｙ    光センサ
【図１】
2018025555.tif 000003
【図２】
2018025555.tif 000004
【図３】
2018025555.tif 000005
【図４】
2018025555.tif 000006
【図５】
2018025555.tif 000007
【図６】
2018025555.tif 000008
【図７】
2018025555.tif 000009
【図８】
2018025555.tif 000010
【図９】
2018025555.tif 000011
【図１０】
2018025555.tif 000012
【図１１】
2018025555.tif 000013
【図１２】
2018025555.tif 000014
【図１３】
2018025555.tif 000015
【図１４】
2018025555.tif 000016
【図１５】
2018025555.tif 000017
【図１６】
2018025555.tif 000018
【図１７】
2018025555.tif 000019
【図１８】
2018025555.tif 000020
【図１９】
2018025555.tif 000021
【図２０】
2018025555.tif 000022
【図２１】
2018025555.tif 000023
【図２２】
2018025555.tif 000024