(57)【要約】感情の変化に基づく集中力の低下を抑制すること。人の感情の変化を好適に和らげること。ユーザーの顔の一部（特に目、または目及びその周辺）または全部を検出し、検出した顔の一部または全部の情報から、ユーザーの顔の特徴を抽出し、抽出した顔の特徴から、ユーザーの感情を推定する。そして、推定された感情が、例えば集中力等を低下させる恐れのある感情である場合に、ユーザーに集中力を回復させるよう、ユーザーの視覚、聴覚、触覚、嗅覚などに対して刺激を与える。
2019243955.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの顔の一部を検出し、
検出した前記顔の一部から、前記ユーザーの顔の特徴を抽出し、
前記特徴から、前記ユーザーの感情を推定し、
推定された前記感情に応じて、前記ユーザーに提示する情報を決定する、
情報処理方法。
【請求項２】
請求項１において、
前記ユーザーの前記顔の一部は、目、または目及びその周囲である、
情報処理方法。
【請求項３】
ユーザーの顔の一部を検出し、
検出した前記顔の一部から、前記ユーザーの顔の特徴を抽出し、
前記特徴から、前記ユーザーの感情を推定し、
推定された前記感情に応じて、前記ユーザーに提示する画像を決定する、
画像表示方法。
【請求項４】
請求項３において、
推定された前記感情に、苛立ち、焦り、怒り、憤り、悲しみ、興奮、不安、恐怖、不満、苦しみ、及び空虚の少なくとも一が含まれる場合に、前記ユーザーに当該感情を緩和する画像を提示する、
画像表示方法。
【請求項５】
請求項３において、
推定された前記感情に、苛立ち、焦り、怒り、憤り、悲しみ、興奮、不安、恐怖、不満、苦しみ、及び空虚の少なくとも一が含まれる場合に、当該感情を前記ユーザーに認知させる画像を提示する、
画像表示方法。
【請求項６】
請求項３乃至請求項５のいずれか一において、
前記特徴の抽出は、ニューラルネットワークを用いた推論により行われる、
画像表示方法。
【請求項７】
請求項３乃至請求項６のいずれか一において、
前記感情の推定は、ニューラルネットワークを用いた推論により行われる、
画像表示方法。
【請求項８】
ユーザーに情報を提示する情報提示部と、
前記ユーザーの顔の一部を検出する、被写体検出部と、
検出した前記ユーザーの顔の一部から、前記ユーザーの顔の特徴を抽出する、特徴抽出部と、
抽出された前記特徴から、前記ユーザーの感情を推定する、感情推定部と、
推定された前記感情に応じて、前記ユーザーに提示する情報を生成する、情報生成部と、を有する、
情報処理装置。
【請求項９】
ユーザーに画像を提供する画像表示部と、
前記ユーザーの顔の一部を検出する、被写体検出部と、
検出した前記ユーザーの顔の一部から、前記ユーザーの顔の特徴を抽出する、特徴抽出部と、
抽出された前記特徴から、前記ユーザーの感情を推定する、感情推定部と、
推定された前記感情に応じて、前記画像表示部に表示させる画像を生成する、画像生成部と、を有する、
画像表示装置。
【請求項１０】
請求項９において、
前記特徴抽出部は、ニューラルネットワークを用いた推論により、前記特徴を抽出する、
画像表示装置。
【請求項１１】
請求項９または請求項１０において、
前記画像表示部は、発光素子と、当該発光素子と電気的に接続する第１のトランジスタと、を有し、
前記被写体検出部は、センサ素子と、前記センサ素子と電気的に接続する第２のトランジスタと、を有し、
前記第１のトランジスタと前記第２のトランジスタとは、同一基板上に設けられる、
画像表示装置。
【請求項１２】
請求項１１において、
前記発光素子と、前記センサ素子とは、同一面上に並べて配置される、
画像表示装置。
【請求項１３】
請求項１１または請求項１２において、
前記第１のトランジスタまたは前記第２のトランジスタは、チャネルが形成される半導体に酸化物半導体を有する、
画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明の一態様は、画像の表示方法に関する。本発明の一態様は、画像表示装置に関する。本発明の一態様は、表情認識技術に関する。【０００２】  なお、本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、発光装置、蓄電装置、記憶装置、電子機器、照明装置、入力装置、入出力装置、それらの駆動方法、又はそれらの製造方法、を一例として挙げることができる。半導体装置は、半導体特性を利用することで機能しうる装置全般を指す。
【背景技術】
【０００３】  顔の撮像画像から、表情認識を行う技術が知られている。例えばデジタルカメラなどにおいて、被写体が笑った瞬間や、被写体がカメラに視線を向けた瞬間に自動的に撮像する技術に、表情認識が応用されている。【０００４】  表情認識の技術としては、例えば特許文献１に、顔の特徴点を検出し、その特徴点に基づいて高い精度で表情認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−０８７３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】  人の行動は、その時どきの感情によって左右される。多くの場合、人は無意識に感情をコントロールすることができるため、感情の変化を誘引する刺激が与えられた場合に、それが比較的小さなものである時には、平常心を保つことができる。しかしながら、感情の変化を誘引する刺激が大きい場合には、うまく感情をコントロールできずに、無意識に感情に基づいた行動をしてしまう恐れがある。【０００７】  このような感情の変化の結果、集中力が低下してしまう場合がある。例えば集中力が低下すると、同じ作業を行う場合であっても、作業の能率や精度の低下が生じてしまう。また時として、感情に基づく集中力の低下が、事故や災害を引き起こす場合がある。特に自動車等を運転している場合には、集中力の低下は極めて危険な事故につながる可能性がある。【０００８】  本発明の一態様は、感情の変化に基づく集中力の低下を抑制する装置または方法を提供することを課題の一とする。または、本発明の一態様は、人の感情の変化を好適に和らげることのできる装置または方法を課題の一とする。【０００９】  または、本発明の一態様は、新規な画像表示方法を提供することを課題の一とする。または、新規な画像表示装置を提供することを課題の一とする。【００１０】  なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から抽出することが可能である。
【課題を解決するための手段】
【００１１】  本発明の一態様は、ユーザーの顔の一部を検出し、検出した顔の一部から、ユーザーの顔の特徴を抽出し、特徴から、ユーザーの感情を推定し、推定された感情に応じて、ユーザーに提示する情報を決定する、情報処理方法である。【００１２】  また、上記において、ユーザーの顔の一部は、目、または目及びその周囲であることが好ましい。【００１３】  また、本発明の他の一態様は、ユーザーの顔の一部を検出し、検出した顔の一部から、ユーザーの顔の特徴を抽出し、特徴から、ユーザーの感情を推定し、推定された感情に応じて、ユーザーに提示する画像を決定する、画像表示方法である。【００１４】  また、上記において、推定された感情に、苛立ち、焦り、怒り、憤り、悲しみ、興奮、不安、恐怖、不満、苦しみ、及び空虚の少なくとも一が含まれる場合に、ユーザーに当該感情を緩和する画像を提示することが好ましい。【００１５】  または、推定された感情に、苛立ち、焦り、怒り、憤り、悲しみ、興奮、不安、恐怖、不満、苦しみ、及び空虚の少なくとも一が含まれる場合に、当該感情をユーザーに認知させる画像を提示することが好ましい。【００１６】  また、上記において、特徴の抽出は、ニューラルネットワークを用いた推論により行われることが好ましい。【００１７】  また、上記において、感情の推定は、ニューラルネットワークを用いた推論により行われることが好ましい。【００１８】  また、本発明の他の一態様は、ユーザーに情報を提示する情報提示部と、ユーザーの顔の一部を検出する被写体検出部と、検出したユーザーの顔の一部から、ユーザーの顔の特徴を抽出する特徴抽出部と、抽出された特徴からユーザーの感情を推定する感情推定部と、推定された感情に応じて、ユーザーに提示する情報を生成する情報生成部と、を有する、情報処理装置である。【００１９】  また、本発明の他の一態様は、ユーザーに画像を提供する画像表示部と、ユーザーの顔の一部を検出する被写体検出部と、検出したユーザーの顔の一部からユーザーの顔の特徴を抽出する特徴抽出部と、抽出された特徴からユーザーの感情を推定する感情推定部と、推定された感情に応じて、画像表示部に表示させる画像を生成する画像生成部と、を有する、画像表示装置である。【００２０】  また、上記において、特徴抽出部は、ニューラルネットワークを用いた推論により、特徴を抽出することが好ましい。【００２１】  また、上記において、画像表示部は、発光素子と、当該発光素子と電気的に接続する第１のトランジスタと、を有し、被写体検出部は、センサ素子と、センサ素子と電気的に接続する第２のトランジスタと、を有することが好ましい。さらに、第１のトランジスタと第２のトランジスタとは、同一基板上に設けられることが好ましい。【００２２】  また、上記において、発光素子と、センサ素子とは、同一面上に並べて配置されることが好ましい。【００２３】  また、上記において、第１のトランジスタまたは第２のトランジスタは、チャネルが形成される半導体に酸化物半導体を有することが好ましい。
【発明の効果】
【００２４】  本発明の一態様によれば、感情の変化に基づく集中力の低下を抑制する装置または方法を提供できる。または、本発明の一態様によれば、人の感情の変化を好適に和らげることのできる装置または方法を提供できる。【００２５】  なお、これらの効果の記載は、他の効果の存在を妨げるものではない。なお、本発明の一態様は、必ずしも、これらの効果の全てを有する必要はない。なお、これら以外の効果は、明細書、図面、請求項などの記載から抽出することが可能である。
【図面の簡単な説明】
【００２６】
【図１】図１は、情報処理装置の構成例を示す図である。
【図２】図２（Ａ）、図２（Ｂ）、及び図２（Ｃ）は、情報処理装置の構成例を示す図である。
【図３】図３は、画像表示装置の構成例を示す図である。
【図４】図４は、画像表示装置の構成例を示す図である。
【図５】図５（Ａ）、図５（Ｂ）、及び図５（Ｃ）は、ユーザーの視界の例を示す図である。
【図６】図６は、情報処理装置の構成例を示す図である。
【図７】図７（Ａ）、図７（Ｂ）、及び図７（Ｃ）は、画素回路の構成例を示す図である。
【図８】図８は、表示装置の構成例を示す図である。
【図９】図９は、表示装置の構成例を示す図である。
【図１０】図１０は、表示装置の構成例を示す図である。
【図１１】図１１（Ａ）及び図１１（Ｂ）は、表示モジュールの構成例を示す図である。
【図１２】図１２（Ａ）、図１２（Ｂ）、及び図１２（Ｃ）は、表示装置の構成例を示す図である。
【図１３】図１３は、表示装置の構成例を示す図である。
【図１４】図１４は、表示装置の構成例を示す図である。
【図１５】図１５は、表示装置の構成例を示す図である。
【図１６】図１６は、表示装置の構成例を示す図である。
【図１７】図１７（Ａ）及び図１７（Ｂ）は、電子機器の構成例を示す図である。
【図１８】図１８（Ａ）及び図１８（Ｂ）は、電子機器の構成例を示す図である。
【図１９】図１９（Ａ）及び図１９（Ｂ）は、電子機器の構成例を示す図である。
【発明を実施するための形態】
【００２７】  以下、実施の形態について図面を参照しながら説明する。ただし、実施の形態は多くの異なる態様で実施することが可能であり、趣旨及びその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、以下の実施の形態の記載内容に限定して解釈されるものではない。
【００２８】  なお、以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。
【００２９】  なお、本明細書で説明する各図において、各構成要素の大きさ、層の厚さ、または領域は、明瞭化のために誇張されている場合がある。よって、必ずしもそのスケールに限定されない。
【００３０】  なお、本明細書等における「第１」、「第２」等の序数詞は、構成要素の混同を避けるために付すものであり、数的に限定するものではない。
【００３１】  トランジスタは半導体素子の一種であり、電流や電圧の増幅や、導通または非導通を制御するスイッチング動作などを実現することができる。本明細書におけるトランジスタは、ＩＧＦＥＴ（Ｉｎｓｕｌａｔｅｄ  Ｇａｔｅ  Ｆｉｅｌｄ  Ｅｆｆｅｃｔ  Ｔｒａｎｓｉｓｔｏｒ）や薄膜トランジスタ（ＴＦＴ：Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ）を含む。
【００３２】  また、本明細書等において、「電気的に接続」には、「何らかの電気的作用を有するもの」を介して接続されている場合が含まれる。ここで、「何らかの電気的作用を有するもの」は、接続対象間での電気信号の授受を可能とするものであれば、特に制限を受けない。例えば、「何らかの電気的作用を有するもの」には、電極や配線をはじめ、トランジスタなどのスイッチング素子、抵抗素子、コイル、容量素子、その他の各種機能を有する素子などが含まれる。
【００３３】  本明細書等において、表示装置の一態様である表示パネルは表示面に画像等を表示（出力）する機能を有するものである。したがって表示パネルは出力装置の一態様である。
【００３４】  また、本明細書等では、表示パネルの基板に、例えばＦＰＣ（Ｆｌｅｘｉｂｌｅ  Ｐｒｉｎｔｅｄ  Ｃｉｒｃｕｉｔ）もしくはＴＣＰ（Ｔａｐｅ  Ｃａｒｒｉｅｒ  Ｐａｃｋａｇｅ）などのコネクタが取り付けられたもの、または基板にＣＯＧ（Ｃｈｉｐ  Ｏｎ  Ｇｌａｓｓ）方式等によりＩＣが実装されたものを、表示パネルモジュール、表示モジュール、または単に表示パネルなどと呼ぶ場合がある。
【００３５】（実施の形態１）
本発明の一態様は、ユーザーの顔の一部（特に目、または目及びその周辺）または全部を検出し、検出した顔の一部または全部の情報から、ユーザーの顔の特徴を抽出し、抽出した顔の特徴から、ユーザーの感情を推定する。そして、推定された感情が、例えば集中力等を低下させる恐れのある感情である場合に、ユーザーに集中力を回復させるよう、ユーザーの視覚、聴覚、触覚、嗅覚などに対して刺激を与える。これにより、ユーザーが意識していない集中力の低下を、効果的に抑制することができる。
【００３６】  集中力等を低下させる恐れのある感情としては、苛立ち、焦り、怒り、憤り、悲しみ、興奮、不安、恐怖、不満、苦しみ、及び空虚などがある。以下ではこれらをまとめて負の感情と呼ぶことがある。なお一般に興奮は、必ずしも負の感情とは限られないが、ここでは集中力等を低下させる恐れのある感情であるとして、これに含まれるものとする。
【００３７】  ユーザーに対して与える刺激としては、視覚を通じたものであることが好ましい。例えば、ユーザーの負の感情を払拭し、気持ちを落ち着かせる画像を表示することなどが挙げられる。このような画像としては、例えば動物、植物、風景などの、自然界に関連する画像などが挙げられる。なお、ユーザーの気持ちが落ち着く画像は、各個人でさまざまであるため、あらかじめユーザーが設定した画像を表示する方法としてもよい。
【００３８】  また、ユーザーに視覚を通じて与える刺激として、表示する画像の色調を変化させてもよい。例えば、表示している画像の色調のうち、赤の階調を低く、緑または青の階調を高くすることにより、ユーザーの負の感情が抑制され、気持ちを落ち着かせることができる。その場合、瞬間的に色調を極端に変化させると、ユーザーの苛立ちが高まるなど逆効果となってしまう場合があるため、色調はその変化がユーザーに気づきにくい程度に、時間的に緩やかに変化させることが好ましい。例えば各色２５６階調以上で画像を表示可能な場合には、一秒間に変化させる階調値が１階調値以下となるように、緩やかに変化させればよい。
【００３９】  また、ユーザーに視覚を通じて与える刺激としては、ユーザーのいる空間の明るさを段階的に暗くすることや、照明の色調を緑または青に近づけることなどが挙げられる。
【００４０】  また、ユーザーの負の感情を払拭し、気持ちを落ち着かせるために、聴覚を通じて与える刺激としては、自然界に関連する環境音（鳥の鳴き声、水の流れる音）などが挙げられる。
【００４１】  また、ユーザーに対して、気持ちを落ち着かせる刺激を与えることに代えて、推定された現在の感情がどのようなものであるかについて、ユーザーに気づかせることでも、ユーザーの集中力等の低下を好適に抑制することができる。ユーザーは、自己が気づいていない負の感情を認知することで、意識的に気持ちを落ち着かせる行動をとることができる。例えば深呼吸をする、作業や運転を停止して休息を取るなどの行動を、意識的に実行することができる。
【００４２】  ユーザーに対して現在の感情を認知させる方法としては、例えばユーザーの今の感情に近い表情をしたキャラクターを画面に表示することや、感情のレベル（例えば苛立ちのレベル）を数値化した画像、またはグラフィックで表現した画像を画面に表示することなどが挙げられる。または、著しく感情が高揚していると推定された場合などに、音声や照明、においなどを用いてユーザーに警告を発するなどしてもよい。特に、画像の表示による視覚を通じた警告と合わせて、聴覚、嗅覚、触覚などに作用する警告を同時に行うことで、より効果的にユーザーに現在の感情を認知させることができる。
【００４３】  ユーザーの感情を推定する方法について説明する。まず、ユーザー（被写体）の目、または目及びその周囲を含む顔の一部を撮像する。そして、撮像したユーザーの顔の一部から、顔の特徴を抽出する。そして抽出した顔の特徴から、ユーザーの現在の感情を推定する。特徴の抽出及び感情の推定としては、好適にはニューラルネットワークを用いた推論により行うことができる。
【００４４】  以下では、より具体的な例について図面を参照して説明する。
【００４５】［構成例］
図１は、本発明の一態様の情報処理装置１０のブロック図である。情報処理装置１０は、情報提示部１１、被写体検出部１２、特徴抽出部１３、感情推定部１４、及び情報生成部１５を有する。
【００４６】  なお、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることや、一つの機能を複数の構成要素で実現することもあり得る。
【００４７】〔情報提示部１１〕
情報提示部１１は、ユーザーに対して、視覚、嗅覚、聴覚または触覚に対して刺激を与える機能を有する。情報提示部１１は、後述する情報生成部１５で生成された情報を、ユーザーに対して提示（出力）することができる。
【００４８】  情報提示部１１としては、様々なハードウェアを用いることができる。例えばユーザーの視覚に対して刺激を与える（または情報を提示する）場合には、画像を表示することのできるディスプレイ装置や、照度や色度を変えることのできる照明装置等を用いることができる。また例えば嗅覚に対して刺激を与えるデバイスとしては、振動や熱などにより香りを散布するアロマディフューザ等を用いることができる。また、聴覚に対して刺激を与えるデバイスとしては、スピーカ、ヘッドフォン、イヤフォン等の音声出力装置を用いることができる。また、触覚に対して刺激を与えるデバイスとしては、バイブレーション装置などを用いることができる。
【００４９】〔被写体検出部１２〕
被写体検出部１２は、ユーザーの顔の一部の情報を取得し、その情報を特徴抽出部１３に出力する機能を有する。
【００５０】  被写体検出部１２としては、代表的にはイメージセンサを搭載する撮像装置を用いることができる。その場合、赤外線をユーザーの顔に照射して撮像する赤外線撮像装置を用いてもよい。なお、被写体検出部１２は、被写体の顔の一部の状態を検出できる装置であれば、撮像装置に限られない。赤外線等によりデバイスと顔の一部との距離を測定する光学測距装置を用いることもできる。また、ユーザーの顔に電極を接触させ、ユーザーの顔の筋肉の動きを電気的に検出する検出装置を用いてもよい。
【００５１】〔特徴抽出部１３〕
特徴抽出部１３は、被写体検出部１２にから出力された顔の情報から、特徴点を抽出し、その特徴点の位置から顔の一部または全部の特徴を抽出し、抽出した特徴の情報を感情推定部１４に出力する機能を有する。
【００５２】  被写体検出部１２が取得する顔の情報が、目及びその周囲の情報である場合、特徴抽出部１３が抽出する特徴としては、例えば瞳孔、虹彩、角膜、結膜（白目）、目頭、目尻、上眼瞼、下眼瞼、まつ毛、眉毛、眉間、眉頭、眉尻などが挙げられる。また、目及びその周囲以外の特徴としては、鼻根、鼻尖、鼻柱、鼻孔、口唇（上唇、下唇）、口角、口裂、歯、頬、顎、えら、額などがある。特徴抽出部１３は、これら顔の部位の形状や位置などを認識し、それぞれの部位における特徴点の位置座標を抽出する。そして、抽出した位置座標のデータ等を顔の特徴の情報として感情推定部１４に出力することができる。
【００５３】  特徴抽出部１３による特徴抽出の手法としては、被写体検出部１２で取得した画像等から、特徴点を抽出する様々なアルゴリズムを適用することができる。例えば、ＳＩＦＴ（Ｓｃａｌｅｄ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）などのアルゴリズムを用いることができる。
【００５４】  特に、特徴抽出部１３による特徴抽出は、ニューラルネットワークによる推論により行われることが好ましい。特に畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ）を用いて行われることが好ましい。以下では、ニューラルネットワークを用いる場合について説明する。
【００５５】  図２（Ａ）に、特徴抽出部１３に用いることのできるニューラルネットワークＮＮ１を模式的に示す。ニューラルネットワークＮＮ１は、入力層５１、３つの中間層５２、及び出力層５３を有する。なお、中間層５２の数は３つに限られず、１以上であればよい。
【００５６】  ニューラルネットワークＮＮ１には、被写体検出部１２から入力されたデータ６１が入力される。データ６１は、座標と、その座標に対応する値を含むデータである。代表的には、座標と、その座標に対応する階調値を含む画像データとすることができる。ニューラルネットワークＮＮ１からは、データ６２が出力される。データ６２は、上述した特徴点の位置座標を含むデータである。
【００５７】  ニューラルネットワークＮＮ１は、画像データ等のデータ６１から、上述した特徴点を抽出し、その座標を出力するように、あらかじめ学習されている。ニューラルネットワークＮＮ１では、中間層５２で様々なフィルタを用いたエッジ処理などを行うことで、上述した特徴点の存在する座標に対応する出力層５３のニューロン値が高くなるよう、学習されている。
【００５８】〔感情推定部１４〕
感情推定部１４は、特徴抽出部１３から入力される顔の特徴の情報から、ユーザーの感情を推定し、推定した感情の情報を情報生成部１５に出力する機能を有する。
【００５９】  感情推定部１４は、ユーザーの顔の特徴の情報を用いて、ユーザーが負の感情（苛立ち、焦り、怒り、憤り、悲しみ、興奮、不安、恐怖、不満、苦しみ、または空虚等）を抱いているか否かを推定することができる。また、負の感情を抱いている場合にその度合い（レベル）を推定することが好ましい。
【００６０】  感情推定部１４における感情の推定は、ニューラルネットワークを用いた推論により行われることが好ましい。特に、ＣＮＮを用いて行われることが好ましい。
【００６１】  図２（Ｂ）に、感情推定部１４に用いることのできるニューラルネットワークＮＮ２を模式的に示す。ここでは、ニューラルネットワークＮＮ２が、概ねニューラルネットワークＮＮ１と同様の構成を有する例を示している。なお、ニューラルネットワークＮＮ２の入力層５１のニューロンの数は、ニューラルネットワークＮＮ１よりも少なくすることができる。
【００６２】  ニューラルネットワークＮＮ２には、特徴抽出部１３から入力されたデータ６２が入力される。データ６２は、抽出した特徴点の座標に係る情報を含む。
【００６３】  また、ニューラルネットワークＮＮ２に入力されるデータとして、データ６２を加工したデータを用いてもよい。例えば、任意の２つの特徴点間を結ぶベクトルを算出し、これを全ての特徴点、または一部の特徴点について求めたものを、ニューラルネットワークＮＮ２に入力するデータとしてもよい。また、算出したベクトルを正規化したデータとしてもよい。なお以下では、ニューラルネットワークＮＮ１が出力するデータ６２に基づいて、これを加工したデータも、データ６２と表記する。
【００６４】  データ６２が入力されたニューラルネットワークＮＮ２からは、データ６３が出力される。データ６３は、出力層５３の各ニューロンから出力されるニューロン値に相当する。出力層５３の各ニューロンは、それぞれ１つの感情に紐付されている。図２（Ｂ）に示すように、データ６３は、所定の負の感情（苛立ち、焦り、怒り、憤り、興奮等）に対応するニューロンのニューロン値が含まれたデータである。
【００６５】  ニューラルネットワークＮＮ２は、データ６２から、負の感情の度合いを推定し、ニューロン値として出力するように、あらかじめ学習されている。ユーザーの表情は、ユーザーの顔における複数の特徴点の相対的な位置関係により決定することができる。そして、ニューラルネットワークＮＮ２により、その表情からユーザーの抱いている感情を推定することができる。
【００６６】  図２（Ｃ）は、データ６３について模式的に示した図である。各感情に対応するニューロン値の高さは、推定された感情の度合いの高さを示している。またデータ６３には、しきい値Ｔ１及びしきい値Ｔ２を破線で示している。例えば、しきい値Ｔ１を下回る場合では、その感情をユーザーが抱いていない、またはその感情の度合いが十分に低いと判定することができる。また、しきい値Ｔ２を上回る場合では、その感情の度合いが著しく高いと判定することができる。
【００６７】  例えば、図２（Ｃ）からは、ユーザーの感情が「苛立ち」と、「焦り」と、「興奮」とが混在した感情であること、また特にユーザーが「苛立ち」を強く感じていること、を推定することができる。
【００６８】  このように、感情推定部１４が負の感情についてのみを推定し、その結果を情報生成部１５に出力する構成とすることで、感情推定部１４における演算規模を縮小することができ、演算に係る電力消費を低減することができる。また、情報生成部１５で利用するデータ量を削減できるため、感情推定部１４から情報生成部１５までのデータの伝送、及び情報生成部１５での演算に係る電力消費も低減することができる。なお、感情推定部１４は、負の感情だけでなく、それと相反する感情、例えば喜び、感謝、幸福、親しみ、満足、愛しさ等の感情を推定し、その結果を情報生成部１５に出力することもできる。
【００６９】  なお、感情の推定は、ニューラルネットワークを用いずに行うこともできる。例えば、被写体検出部１２で取得したユーザーの顔の一部の画像と、テンプレート画像とを比較して、その類似度を用いるテンプレートマッチング法やパターンマッチング法等により行ってもよい。その場合、特徴抽出部１３を有さない構成とすることもできる。
【００７０】〔情報生成部１５〕
情報生成部１５は、感情推定部１４で推定した感情に基づいて、ユーザーに提示する情報を決定または生成し、情報提示部１１に出力する機能を有する。
【００７１】  例えば、情報提示部１１が画像を表示する機能を有する場合、情報生成部１５は表示させる画像を生成または選択し、その情報を情報提示部１１に出力することができる。また、情報提示部１１が照明装置としての機能を有する場合には、情報生成部１５は照明の明るさ（照度）や、色度を決定し、その情報を情報提示部１１に出力することができる。また、情報提示部１１が香りを散布する機能を有する場合、情報生成部１５はその散布する香りの種類を決定、または香りの強さを決定し、情報提示部１１の動作を制御する信号等を出力することができる。また、情報提示部１１が音声を出力する機能を有する場合には、情報生成部１５は再生する音声を生成または選択し、その情報を、情報提示部１１に再生する音量の情報とともに出力することができる。また情報提示部１１が振動を誘起させる機能を有する場合には、情報生成部１５はその振動パターンや強度を決定し、情報提示部１１の動作を制御する信号等を出力することができる。
【００７２】  以上が、情報処理装置１０の構成例についての説明である。
【００７３】［変形例］
本発明の一態様の情報処理装置において、ユーザーに視覚を通じて情報を提示することが特に好ましい。情報処理装置が有する情報提示部が、画像を表示する機能を有する場合、画像表示装置と呼称することができる。以下では、画像表示装置の一例について説明する。
【００７４】  図３には、上記構成例１で例示した情報処理装置１０において、情報提示部１１に画像表示部２１を適用した画像表示装置２０の構成例を示している。画像表示装置２０は、画像表示部２１と、画像生成部２５とを有する。
【００７５】  画像生成部２５は、感情推定部１４から入力される感情の情報に基づいて、画像表示部２１に表示させる画像を選択、または生成し、出力することができる。
【００７６】  図４は、情報提示部１１が、画像表示部２１を有する場合の例である。情報提示部１１は、画像表示部２１以外に、他の情報提示手段を有する。これにより、ユーザーに画像を提示することに加えて、それ以外の手段で、視覚、聴覚、嗅覚または触覚に対して刺激を与えることができるため、相乗的にユーザーに気づきを与えることができる。
【００７７】  またこのとき、情報生成部１５は、画像生成部２５以外に、情報提示部１１の他の情報提示手段の動作を制御する機能等を有する。
【００７８】  以上が変形例についての説明である。
【００７９】［提示する情報の例］
以下では、本発明の一態様を用いて推定されたユーザーの感情に応じて、ユーザーに提示する画像情報の一例について説明する。
【００８０】  図５（Ａ）乃至図５（Ｃ）は、それぞれ、ユーザーがＡＲデバイス（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を装着した状態で自動車等を運転している際の、ユーザーの視界を示したものである。図５（Ａ）乃至図５（Ｃ）はそれぞれ、ユーザーの進路上を自転車に乗った通行人が横切ろうとしている、同じ状況を示している。またユーザーの視界には、通行中の道路などの風景に重ねて、視界の左下にキャラクターを模した画像情報７１、画像情報７２、または画像情報７３が提示されている。
【００８１】  図５（Ａ）は、ユーザーが負の感情をほとんど抱いていないと推定された場合の例を示している。例えば図２（Ｃ）において、データ６３における、負の感情に対応する全てのニューロン値が、しきい値Ｔ１を超えない場合に相当する。
【００８２】  この場合、ユーザーの感情に基づく集中力の低下はみられないと判断することができる。画像情報７１に含まれるキャラクターは、推定されたユーザーの感情に基づき、笑顔を示している。ユーザーは画像情報７１を見ることで、自身の感情が比較的落ち着いていることを認識することができ、継続して運転に集中することができる。
【００８３】  図５（Ｂ）は、ユーザーが負の感情を少し抱いていると推定された場合の例を示している。例えば、図２（Ｃ）において、データ６３における負の感情に対応する全てのニューロン値のうち少なくとも一以上が、しきい値Ｔ１としきい値Ｔ２の間の値をとり、且つ、しきい値Ｔ２を超えるものが１つもない場合に相当する。
【００８４】  このとき、推定されたユーザーの感情とその度合いに基づいて、若干の集中力の低下がみられると判断することができる。そのため、画像情報７２に含まれるキャラクターは、ユーザーの感情を反映し、笑顔ではなく無表情に近い表情をしている。ユーザーは、画像情報７２を見ることで、自身が負の感情を少し抱いていることを認識することができ、意識的に気持ちを落ち着かせる行動をとることができる。
【００８５】  さらに、ユーザーが進路を横切ろうとしている通行人に気づいていない可能性があるため、通行人の存在を知らせる通知が、キャラクターのセリフ（Ｂｉｋｅ’ｓ  ｃｏｍｉｎｇ．）を模した形態で表示されている。このとき、表示と共に音声による通知を行うと、より効果的にユーザーに気づきを与えることができる。
【００８６】  図５（Ｃ）は、ユーザーが負の感情を強く抱いていると推定された場合の例を示している。例えば、図２（Ｃ）において、データ６３における負の感情に対応する全てのニューロン値のうち少なくとも一以上が、しきい値Ｔ２を超える場合に相当する。
【００８７】  このとき、推定されたユーザーの感情とその度合いに基づいて、集中力を大きく欠いている状態であると判断することができる。そのため、画像情報７３に含まれるキャラクターは、ユーザーの感情を反映した表情（ここでは強く苛立った表情）をしている。ユーザーは、画像情報７２を見ることで、自身が負の感情を強く感じていることを認識することができ、運転を中断して休息を取るなどの行動をとることができる。
【００８８】  さらに、ユーザーが通行人に気づいていない可能性が高いため、通行人の存在を知らせる通知ではなく、車を止めるように促す警告が、キャラクターのセリフ（Ｓｔｏｐ！）を模した形態で表示されている。このとき、表示とともに音声による警告を行うことが好ましい。さらに、照明を点滅させる、または照明の色度を変化させるなどして、注意を促してもよい。
【００８９】  以上のように、推定されたユーザーの感情に応じて、その感情を反映した表情を有するキャラクターをユーザーに提示することで、ユーザー自身が気づいていない感情を気づかせることができる。なお、ここではキャラクターの表情を用いて感情の情報をユーザーに提示する方法を説明したが、これに限られず、感情の種類や度合を可視化した画像であれば、様々な画像を用いることができる。
【００９０】  本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【００９１】（実施の形態２）
本実施の形態では、本発明の一態様の情報処理装置のハードウェア構成の一例について説明する。
【００９２】  図６に、以下で例示する情報処理装置１００のブロック図を示す。情報処理装置１００は、演算部１０１、演算部１０２、メモリモジュール１０３、ディスプレイモジュール１０４、センサモジュール１０５、サウンドモジュール１０６、振動モジュール１０７、照明モジュール１０８、芳香モジュール１０９、通信モジュール１１１、バッテリーモジュール１１２、カメラモジュール１１３、及び外部インターフェース１１４等を有する。
【００９３】  なお、情報処理装置１００は、ディスプレイモジュール１０４によって画像を表示することができることから、画像表示装置とも呼ぶことができる。
【００９４】  演算部１０２、メモリモジュール１０３、ディスプレイモジュール１０４、センサモジュール１０５、サウンドモジュール１０６、振動モジュール１０７、照明モジュール１０８、芳香モジュール１０９、通信モジュール１１１、バッテリーモジュール１１２、カメラモジュール１１３、及び外部インターフェース１１４等は、それぞれバスライン１１０を介して演算部１０１と接続されている。
【００９５】  ディスプレイモジュール１０４、サウンドモジュール１０６、振動モジュール１０７、照明モジュール１０８、及び芳香モジュール１０９は、それぞれ実施の形態１で例示した上記情報提示部１１または上記画像表示部２１に相当する。また、センサモジュール１０５またはカメラモジュール１１３は、上記被写体検出部１２に相当する。また、上記特徴抽出部１３、感情推定部１４、及び情報生成部１５は、演算部１０１または演算部１０２と、メモリモジュール１０３等により実現することができる。
【００９６】  演算部１０１は、例えば中央演算装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）として機能することができる。演算部１０１は、例えば演算部１０２、メモリモジュール１０３、ディスプレイモジュール１０４、センサモジュール１０５、サウンドモジュール１０６、振動モジュール１０７、照明モジュール１０８、芳香モジュール１０９、通信モジュール１１１、バッテリーモジュール１１２、カメラモジュール１１３、及び外部インターフェース１１４等の各コンポーネントを制御する機能を有する。
【００９７】  演算部１０１と各コンポーネントとは、バスライン１１０を介して信号の伝達が行われる。演算部１０１は、バスライン１１０を介して接続された各コンポーネントから入力される信号を処理する機能、及び各コンポーネントへ出力する信号を生成する機能等を有し、バスライン１１０に接続された各コンポーネントを統括的に制御することができる。
【００９８】  なお、演算部１０１、演算部１０２、または他のコンポーネントが有するＩＣ等に、チャネル形成領域に酸化物半導体を用い、極めて低いオフ電流が実現されたトランジスタを利用することもできる。当該トランジスタは、オフ電流が極めて低いため、当該トランジスタを、記憶素子として機能する容量素子に流入した電荷（データ）を保持するためのスイッチとして用いることで、データの保持期間を長期にわたり確保することができる。この特性を演算部１０１や演算部１０２のレジスタやキャッシュメモリに用いることで、必要なときだけ演算部１０１または演算部１０２を動作させ、他の場合には直前の処理の情報を当該記憶素子に待避させることにより、ノーマリーオフコンピューティングが可能となり、情報処理装置１００の低消費電力化を図ることができる。
【００９９】  演算部１０１は、プロセッサにより種々のプログラムからの命令を解釈し実行することで、各種のデータ処理やプログラム制御を行う。プロセッサにより実行しうるプログラムは、プロセッサが有するメモリ領域に格納されていてもよいし、メモリモジュール１０３に格納されていてもよい。
【０１００】  演算部１０１としては、ＣＰＵのほか、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の他のマイクロプロセッサを単独で、または組み合わせて用いることができる。またこれらマイクロプロセッサをＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＦＰＡＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ａｎａｌｏｇ  Ａｒｒａｙ）といったＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）によって実現した構成としてもよい。
【０１０１】  演算部１０１はメインメモリを有していてもよい。メインメモリは、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、などの揮発性メモリや、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの不揮発性メモリを備える構成とすることができる。
【０１０２】  メインメモリに設けられるＲＡＭとしては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）が用いられ、演算部１０１の作業空間として仮想的にメモリ空間が割り当てられ利用される。メモリモジュール１０３に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ等は、実行のためにＲＡＭにロードされる。ＲＡＭにロードされたこれらのデータやプログラム、プログラムモジュールは、演算部１０１に直接アクセスされ、操作される。
【０１０３】  一方、ＲＯＭには書き換えを必要としないＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やファームウェア等を格納することができる。ＲＯＭとしては、マスクＲＯＭや、ＯＴＰＲＯＭ（Ｏｎｅ  Ｔｉｍｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を用いることができる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ−ＥＰＲＯＭ（Ｕｌｔｒａ−Ｖｉｏｌｅｔ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリなどが挙げられる。
【０１０４】  演算部１０２としては、ＣＰＵよりも並列演算に特化したプロセッサを用いることが好ましい。例えば、ＧＰＵ、ＴＰＵ（Ｔｅｎｓｏｒ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＮＰＵ（Ｎｅｕｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの、並列処理可能なプロセッサコアを多数（数１０〜数１００個）有するプロセッサを用いることが好ましい。これにより、演算部１０２は特にニューラルネットワークに係る演算を高速で行うことができる。
【０１０５】  メモリモジュール１０３としては、例えば、フラッシュメモリ、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＰＲＡＭ（Ｐｈａｓｅ  ｃｈａｎｇｅ  ＲＡＭ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ  ＲＡＭ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｏｔｒｉｃ  ＲＡＭ）などの不揮発性の記憶素子が適用された記憶装置、またはＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）やＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）などの揮発性の記憶素子が適用された記憶装置等を用いてもよい。また例えばハードディスクドライブ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ＨＤＤ）やソリッドステートドライブ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ：ＳＳＤ）などの記録メディアドライブを用いてもよい。
【０１０６】  また、外部インターフェース１１４を介してコネクタにより脱着可能なＨＤＤまたはＳＳＤなどの記憶装置や、フラッシュメモリ、ブルーレイディスク、ＤＶＤなどの記録媒体のメディアドライブをメモリモジュール１０３として用いることもできる。なお、メモリモジュール１０３を情報処理装置１００に内蔵せず、外部に置かれる記憶装置をメモリモジュール１０３として用いてもよい。その場合、外部インターフェース１１４を介して接続される、または通信モジュール１１１によって無線通信でデータのやりとりをする構成であってもよい。
【０１０７】  ディスプレイモジュール１０４は、表示パネル、ディスプレイコントローラ、ソースドライバ、ゲートドライバ等を有する。表示パネルの表示面に画像を表示することができる。また、ディスプレイモジュール１０４がさらに投影部（スクリーン）を有し、表示パネルの表示面に表示した画像を、当該スクリーンに投影する方式としてもよい。このとき、スクリーンとして可視光を透過する材料を用いた場合、背景像に重ねて画像を表示するＡＲデバイスを実現できる。
【０１０８】  表示パネルに用いることのできる表示素子としては、液晶素子、有機ＥＬ素子、無機ＥＬ素子、ＬＥＤ素子、マイクロカプセル、電気泳動素子、エレクトロウェッティング素子、エレクトロフルイディック素子、エレクトロクロミック素子、ＭＥＭＳ素子等が挙げられる。
【０１０９】  また、表示パネルとして、タッチセンサ機能を有するタッチパネルを用いることもできる。その場合、ディスプレイモジュール１０４が、タッチセンサコントローラ、センサドライバ等を有する構成とすればよい。タッチパネルとしては、表示パネルとタッチセンサが一体となったオンセル型のタッチパネル、またはインセル型のタッチパネルとすることが好ましい。オンセル型またはインセル型のタッチパネルは、厚さが薄く軽量にすることができる。さらにオンセル型またはインセル型のタッチパネルは、部品点数を削減できるため、コストを削減することができる。
【０１１０】  センサモジュール１０５は、センサユニットと、センサコントローラとを有する。センサコントローラはセンサユニットからの入力を受け、制御信号に変換してバスライン１１０を介して演算部１０１に出力する。センサコントローラにおいて、センサユニットのエラー管理を行ってもよいし、センサユニットの校正処理を行ってもよい。なお、センサコントローラは、センサユニットを制御するコントローラを複数備える構成としてもよい。
【０１１１】  センサモジュール１０５が有するセンサユニットは、可視光、赤外線、または紫外線等を検出し、その検出強度を出力する光電変換素子を備えることが好ましい。このとき、センサユニットを、イメージセンサユニットと呼ぶことができる。
【０１１２】  また、センサモジュール１０５は、センサユニットに加えて、可視光、赤外線、または紫外線を発する光源を有することが好ましい。特にセンサモジュール１０５を、ユーザーの顔の一部を検出するために用いる場合には、赤外線を発する光源を有することで、ユーザーに眩しさを感じさせずに、高感度に撮像することができる。
【０１１３】  また、センサモジュール１０５は、例えば力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、においまたは赤外線を測定する機能を有する各種センサを備える構成としてもよい。
【０１１４】  サウンドモジュール１０６は、音声入力部、音声出力部、及びサウンドコントローラ等を有する。音声入力部は例えばマイクロフォンや音声入力コネクタ等を有する。また音声出力部は例えばスピーカや音声出力コネクタ等を有する。音声入力部及び音声出力部はそれぞれサウンドコントローラに接続され、バスライン１１０を介して演算部１０１と接続する。音声入力部に入力された音声データは、サウンドコントローラにおいてデジタル信号に変換され、サウンドコントローラや演算部１０１において処理される。一方、サウンドコントローラは、演算部１０１からの命令に応じて、ユーザーが可聴なアナログ音声信号を生成し、音声出力部に出力する。音声出力部が有する音声出力コネクタには、イヤフォン、ヘッドフォン、ヘッドセット等の音声出力装置を接続可能で、当該装置にサウンドコントローラで生成した音声が出力される。
【０１１５】  振動モジュール１０７は、振動素子と、振動素子を制御する振動コントローラと、を有する構成とすることができる。振動素子としては、振動モータ（偏心モータ）、共振アクチュエータ、磁歪素子、圧電素子など、電気信号や磁気信号を振動に変換することのできる素子を用いることができる。
【０１１６】  振動モジュール１０７は、演算部１０１からの命令に応じて、振動素子の振動の振動数、振幅、振動させる期間等を制御することで、様々な振動パターンで振動素子を振動させることができる。
【０１１７】  照明モジュール１０８は、照明具と、照明コントローラとを有する構成とすることができる。照明具としては、有機ＥＬ素子やＬＥＤ素子を面上または帯状に配置した照明パネルのほか、電球、蛍光灯など様々な照明装置を用いることができる。特に、色度と照度を変化させることのできる照明装置を用いることが好ましい。
【０１１８】  照明モジュール１０８は、演算部１０１からの命令に応じて、照明コントローラにより、照明の照度や色調を制御することができる。
【０１１９】  芳香モジュール１０９は、芳香剤と、芳香剤に熱を与える加熱装置、または振動を与える振動装置と、これら装置を制御するコントローラと、を有する構成とすることができる。芳香剤は、ユーザーが好みに応じて自由に選択できるよう、交換可能であることが好ましい。芳香剤としては、液状、ゲル状、または固体のものを用いることができる。
【０１２０】  芳香モジュール１０９は、演算部１０１からの命令に応じて、芳香剤からの香りの量を制御することができる。また、芳香剤を２種類以上装着できる構成とすることで、異なる香りを選択することや、２つ以上の香りを組み合わせた香りを散布することが可能となる。
【０１２１】  通信モジュール１１１は、アンテナを介して通信を行うことができる。例えば演算部１０１からの命令に応じて情報処理装置１００をコンピュータネットワークに接続するための制御信号を制御し、当該信号をコンピュータネットワークに発信する。これによって、インターネット、イントラネット、エクストラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｌｏｂａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のコンピュータネットワークに情報処理装置１００を接続させ、通信を行うことができる。またその通信方法として複数の方法を用いる場合には、アンテナは当該通信方法に応じて複数有していてもよい。
【０１２２】  通信モジュール１１１には、例えば高周波回路（ＲＦ回路）を設け、ＲＦ信号の送受信を行えばよい。高周波回路は、各国法制により定められた周波数帯域の電磁信号と電気信号とを相互に変換し、当該電磁信号を用いて無線で他の通信機器との間で通信を行うための回路である。実用的な周波数帯域として数１０ｋＨｚ〜数１０ＧＨｚが一般に用いられている。アンテナと接続される高周波回路には、複数の周波数帯域に対応した高周波回路部を有し、高周波回路部は、増幅器（アンプ）、ミキサ、フィルタ、ＤＳＰ、ＲＦトランシーバ等を有する構成とすることができる。無線通信を行う場合、通信プロトコル又は通信技術として、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）などの通信規格、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等のＩＥＥＥにより通信規格化された仕様を用いることができる。
【０１２３】  また、通信モジュール１１１は、情報処理装置１００を電話回線と接続する機能を有していてもよい。また、通信モジュール１１１は、アンテナにより受信した放送電波から、ディスプレイモジュール１０４に出力する映像信号を生成するチューナーを有していてもよい。
【０１２４】  バッテリーモジュール１１２は、二次電池、及びバッテリーコントローラを有する構成とすることができる。二次電池としては、代表的にはリチウムイオン二次電池や、リチウムイオンポリマー二次電池などが挙げられる。バッテリーコントローラは、バッテリーに蓄電される電力を各コンポーネントに供給する機能、外部から供給された電力を受電し、バッテリー充電する機能、バッテリー充電状態に応じて、充電動作を制御する機能、などを有することができる。例えばバッテリーコントローラは、ＢＭＵ（Ｂａｔｔｅｒｙ  Ｍａｎａｇｅｍｅｎｔ  Ｕｎｉｔ）等を有する構成とすることができる。ＢＭＵは電池のセル電圧やセル温度データの収集、過充電及び過放電の監視、セルバランサの制御、電池劣化状態の管理、電池残量（Ｓｔａｔｅ  Ｏｆ  Ｃｈａｒｇｅ：ＳＯＣ）の算出、故障検出の制御などを行う。
【０１２５】  カメラモジュール１１３は、撮像素子と、コントローラとを有する構成とすることができる。例えばシャッターボタンが押されることや、ディスプレイモジュール１０４のタッチパネルを操作すること等により、静止画または動画を撮影することができる。撮影された画像または映像データは、メモリモジュール１０３に格納することができる。また、画像または映像データは、演算部１０１または演算部１０２で処理することができる。またカメラモジュール１１３は、撮影用の光源を有していてもよい。例えばキセノンランプなどのランプ、ＬＥＤや有機ＥＬなどの発光素子等を用いることができる。または、撮影用の光源として、ディスプレイモジュール１０４が有する表示パネルを用い、当該表示パネルが発する光を利用してもよい。その場合には、白色だけでなく様々な色の光を撮影用途に用いてもよい。
【０１２６】  外部インターフェース１１４としては、例えば情報処理装置１００の筐体に設けられた物理ボタンや、その他の入力コンポーネントが接続可能な外部ポートなどが挙げられる。
【０１２７】  また外部インターフェース１１４が有する外部ポートとしては、例えばキーボードやマウスなどの入力手段、プリンタなどの出力手段、またＨＤＤなどの記憶手段等のデバイスに、ケーブルを介して接続できる構成とすることができる。代表的には、ＵＳＢ端子などがある。また、外部ポートとして、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）接続用端子、デジタル放送の受信用端子、ＡＣアダプタを接続する端子等を有していてもよい。また、有線だけでなく、赤外線、可視光、紫外線などを用いた光通信用の送受信機を設ける構成としてもよい。
【０１２８】  以上が、情報処理装置１００のハードウェア構成についての説明である。
【０１２９】  本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【０１３０】（実施の形態３）
本実施の形態では、光を検出する機能と、画像を表示する機能とを兼ね備えるデバイスについて説明する。以下で例示するデバイスは、本発明の一態様の情報処理装置における情報提示部、及び被写体検出部に用いることができる。
【０１３１】  本実施の形態で例示するデバイスは、フォトダイオード等の光電変換素子を備える第１の画素回路と、有機ＥＬ素子や液晶素子等の表示素子を備える第２の画素回路と、を有する。第１の画素回路と第２の画素回路は、それぞれマトリクス状に配置される。
【０１３２】  マトリクス状に配置された表示素子により表示部が形成され、当該表示部に画像を表示することができる。また、マトリクス状に配置された光電変換素子により撮像部が形成され、当該撮像部により画像を見ているユーザーの顔の情報を取得することができる。表示部と撮像部とを一体とすることで、例えば表示部からの光がユーザーの顔に反射した光を、直接的に撮像することができるため、暗い場所でも光量不足が生じることなく撮像することができる。
【０１３３】  また、表示部と撮像部とを一体にできるため、ユーザーが画面を見ている際にユーザーの視線が常に撮像部に向いた状態で撮像することができ、よりユーザーの目、及びその周囲の情報を高精度に検出することができる。一方、例えば表示部とは異なる場所にカメラ等を配置する場合などでは、ユーザーが画面を見ている際に視線とカメラのレンズとが交わることがないため、ユーザーの顔の正面の正確な情報を得ることが難しく、感情の推定を行なう際の精度の低下に繋がる場合がある。特に目や、目の周囲を検出する場合など、検出する領域が狭い場合には、高い精度で顔の情報を取得することが重要である。
【０１３４】  図７（Ａ）は、光電変換素子（受光素子）を備える画素回路の一例を示している。図７（Ａ）に示す画素回路ＰＩＸ１は、受光素子ＰＤ、トランジスタＭ１、トランジスタＭ２、トランジスタＭ３、トランジスタＭ４、及び容量素子Ｃ１を備える。ここでは受光素子ＰＤとして、フォトダイオードを用いた場合の例を示している。
【０１３５】  受光素子ＰＤは、アノードが配線Ｖ１と電気的に接続し、カソードがトランジスタＭ１のソースまたはドレインの一方と電気的に接続する。トランジスタＭ１は、ゲートが配線ＴＸと電気的に接続し、ソースまたはドレインの他方が容量素子Ｃ１の一方の電極、トランジスタＭ２のソースまたはドレインの一方、及びトランジスタＭ３のゲートと電気的に接続する。トランジスタＭ２は、ゲートが配線ＲＥＳと電気的に接続し、ソースまたはドレインの他方が配線Ｖ２と電気的に接続する。トランジスタＭ３は、ソースまたはドレインの一方が配線Ｖ３と電気的に接続し、ソースまたはドレインの他方がトランジスタＭ４のソースまたはドレインの一方と電気的に接続する。トランジスタＭ４は、ゲートが配線ＳＥと電気的に接続し、ソースまたはドレインの他方が配線ＯＵＴ１と電気的に接続する。
【０１３６】  配線Ｖ１、配線Ｖ２、及び配線Ｖ３は、それぞれ定電位を与えることができる。受光素子ＰＤを逆バイアスで駆動させる場合には、配線Ｖ２には、配線Ｖ１電位よりも高い電位を与えることができる。トランジスタＭ２は、配線ＲＥＳに与えられる信号により制御され、トランジスタＭ３のゲートに接続するノードの電位を、配線Ｖ２に与えられる電位にリセットする機能を有する。トランジスタＭ１は、配線ＴＸに与えられる信号により制御され、受光素子ＰＤに流れる電流に応じて上記ノードの電位が変化するタイミングを制御する機能を有する。トランジスタＭ３は、上記ノードの電位に応じた出力を行う増幅トランジスタとして機能する。トランジスタＭ４は、配線ＳＥに与えられる信号により制御され、上記ノードの電位に応じた出力を配線ＯＵＴ１に接続する外部回路で読み出すための選択トランジスタとして機能する。
【０１３７】  図７（Ｂ）は、表示素子として発光素子が適用された画素回路の一例を示している。図７（Ｂ）に示す画素回路ＰＩＸ２は、発光素子ＥＬ、トランジスタＭ５、トランジスタＭ６、トランジスタＭ７、及び容量素子Ｃ２を備える。ここでは発光素子ＥＬとして、発光ダイオードを用いた例を示している。特に発光素子ＥＬとして、有機ＥＬ素子を用いることが好ましい。
【０１３８】  トランジスタＭ５は、ゲートが配線ＶＧと電気的に接続し、ソースまたはドレインの一方が配線ＶＳと電気的に接続し、ソースまたはドレインの他方が、容量素子Ｃ２の一方の電極、及びトランジスタＭ６のゲートと電気的に接続する。トランジスタＭ６は、ソースまたはドレインの一方が配線Ｖ４と電気的に接続し、ソースまたはドレインの他方が、発光素子ＥＬのアノード、及びトランジスタＭ７のソースまたはドレインの一方と電気的に接続する。トランジスタＭ７は、ゲートが配線ＭＳと電気的に接続し、ソースまたはドレインの他方が配線ＯＵＴ２と電気的に接続する。発光素子ＥＬは、カソードが配線Ｖ５と電気的に接続する。
【０１３９】  配線Ｖ４及び配線Ｖ５にはそれぞれ定電位を与えることができる。発光素子ＥＬのアノード側を高電位に、カソード側をこれよりも低電位とすることができる。トランジスタＭ５は、配線ＶＧに与えられる信号により制御され、画素回路ＰＩＸ２の選択状態を制御するための選択トランジスタとして機能する。また、トランジスタＭ６は、ゲートに与えられる電位に応じて発光素子ＥＬに流れる電流を制御する駆動トランジスタとして機能する。トランジスタＭ５が導通状態のとき、配線ＶＳに与えられる電位がトランジスタＭ６のゲートに与えられ、その電位に応じて発光素子ＥＬの発光輝度を制御することができる。トランジスタＭ７は配線ＭＳに与えられる信号により制御され、トランジスタＭ６と発光素子ＥＬの間の電位を、配線ＯＵＴ２を介して外部に出力する機能を有する。
【０１４０】  ここで、画素回路ＰＩＸ１が有するトランジスタＭ１、トランジスタＭ２、トランジスタＭ３、及びトランジスタＭ４、ならびに画素回路ＰＩＸ２が有するトランジスタＭ５、トランジスタＭ６、及びトランジスタＭ７には、それぞれチャネルが形成される半導体層に金属酸化物（酸化物半導体）を用いたトランジスタを適用することが好ましい。
【０１４１】  シリコンよりもバンドギャップが広く、且つキャリア密度の小さい金属酸化物を用いたトランジスタは、極めて低いオフ電流を実現することができる。そのため、その低いオフ電流により、トランジスタと直列に接続された容量素子に蓄積した電荷を長期間に亘って保持することが可能である。そのため、特に容量素子Ｃ１または容量素子Ｃ２に直列に接続されるトランジスタＭ１、トランジスタＭ２、及びトランジスタＭ５には、酸化物半導体が適用されたトランジスタを用いることが好ましい。また、これ以外のトランジスタも同様に酸化物半導体を適用したトランジスタを用いることで、作製コストを低減することができる。
【０１４２】  また、トランジスタＭ１乃至トランジスタＭ７に、チャネルが形成される半導体にシリコンを適用したトランジスタを用いることもできる。特に単結晶シリコンや多結晶シリコンなどの結晶性の高いシリコンを用いることで、高い電界効果移動度を実現することができ、より高速動作が可能となるため好ましい。
【０１４３】  また、トランジスタＭ１乃至トランジスタＭ７のうち、一以上に酸化物半導体を適用したトランジスタを用い、それ以外にシリコンを適用したトランジスタを用いる構成としてもよい。
【０１４４】  なお図７（Ａ）及び図７（Ｂ）において、トランジスタをｎチャネル型のトランジスタとして表記しているが、ｐチャネル型のトランジスタを適宜用いることもできる。
【０１４５】  画素回路ＰＩＸ１と画素回路ＰＩＸ２は、それぞれ同一基板上に並べて形成することが好ましい。特に、画素回路ＰＩＸ１と画素回路ＰＩＸ２とを１つの領域内に混在させて周期的に配列する構成とすることが好ましい。
【０１４６】  また、画素回路ＰＩＸ１及び画素回路ＰＩＸ２において、それぞれ受光素子ＰＤまたは発光素子ＥＬが設けられる層の下側に、トランジスタや容量素子を有する層を１つまたは複数積層することが好ましい。これにより、各画素回路の実効的な占有面積を小さくでき、高精細な受光部または表示部を実現できる。
【０１４７】  図７（Ｃ）は、画素回路ＰＩＸ１と画素回路ＰＩＸ２とを、３層の積層構造により実現した場合の例を示している。図７（Ｃ）に示す構成は、３つの層（第１の層Ｌ１、第２の層Ｌ２、第３の層Ｌ３）が積層された構成を有する。
【０１４８】  第１の層Ｌ１には、トランジスタＭ３、トランジスタＭ４、トランジスタＭ５、及び容量素子Ｃ２が設けられている。第２の層Ｌ２には、トランジスタＭ１、トランジスタＭ２、トランジスタＭ６、トランジスタＭ７、及び容量素子Ｃ１が設けられている。第３の層Ｌ３には受光素子ＰＤ及び発光素子ＥＬが設けられている。
【０１４９】  このように、受光素子ＰＤと発光素子ＥＬとを同じ層に並べて配置することで、発光素子ＥＬが発する光により、受光素子ＰＤが誤動作してしまうことを防ぐことができる。
【０１５０】  また、図７（Ｃ）に示すように、容量素子Ｃ１と容量素子Ｃ２を異なる層に形成すると、それぞれの占有面積を大きくできるため好ましい。
【０１５１】  なお、ここでは３層の積層構造の例を示したが、これに限られず２層または４層以上であってもよい。また、ここで示した各層に設けるトランジスタや容量素子の数や配置方法はこれに限られず、要求される仕様に応じて、画素のレイアウトパターンを適宜設計すればよい。
【０１５２】  本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【０１５３】（実施の形態４）
本実施の形態では、本発明の一態様の情報処理装置等に用いることのできる表示装置の構成例について説明する。特にここでは、受光素子と表示素子とを備え、表示部と撮像部とが一体に形成された表示装置について説明する。
【０１５４】［構成例１］
図８は、以下で例示する表示装置２００Ａの断面概略図である。表示装置２００Ａは主に、基板２０１と、基板２０２と、これらに挟持された発光ユニット２２０Ｒ、発光ユニット２２０Ｇ、受光素子２３０、容量素子２４０、トランジスタ２６０等を有する。
【０１５５】  トランジスタ２６０は、基板２０１にチャネルが形成されるトランジスタである。基板２０１としては、例えば単結晶シリコン基板などの半導体基板を用いることができる。トランジスタ２６０は、基板２０１の一部、導電層２６１、一対の低抵抗領域２６２、絶縁層２６３、絶縁層２６４等を有する。導電層２６１は、ゲート電極として機能する。絶縁層２６３は、チャネル形成領域として機能する基板２０１の一部と、導電層２６１との間に位置し、ゲート絶縁層として機能する。低抵抗領域２６２は、基板２０１に不純物がドープされた領域であり、トランジスタ２６０のソースまたはドレインとして機能する。絶縁層２６４は、導電層２６１の側面を覆って設けられ、サイドウォール絶縁層として機能する。
【０１５６】  また、基板２０１に埋め込まれるように、隣接する２つのトランジスタ２６０の間に、素子分離層２６５が設けられている。
【０１５７】  トランジスタ２６０を覆って絶縁層２５３が設けられ、絶縁層２５３上に容量素子２４０が設けられている。
【０１５８】  容量素子２４０は、導電層２４１と、導電層２４２と、これらの間に位置する絶縁層２４３を有する。導電層２４１は、容量素子２４０の一方の電極として機能し、導電層２４２は、他方の電極として機能し、絶縁層２４３は誘電体として機能する。
【０１５９】  導電層２４１は、絶縁層２５３に設けられたプラグ２９６を介してトランジスタ２６０の一方の低抵抗領域２６２と電気的に接続されている。また絶縁層２４３は導電層２４１を覆って設けられ、導電層２４２は絶縁層２４３を介して導電層２４１と重なる領域に設けられている。
【０１６０】  容量素子２４０を覆って絶縁層２５２が設けられ、絶縁層２５２上に発光ユニット２２０Ｒ、発光ユニット２２０Ｇ、及び受光素子２３０が設けられている。
【０１６１】  発光ユニット２２０Ｒは、反射層２１４と、発光素子２１０と、着色層２１５Ｒと、を有する。発光ユニット２２０Ｇは、反射層２１４と、発光素子２１０と、着色層２１５Ｇと、を有する。ここでは、発光ユニット２２０Ｒと発光ユニット２２０Ｇとで同じ構成の発光素子２１０を用いる例を示している。このとき、発光素子２１０は、白色光を呈する発光素子であることが好ましい。
【０１６２】  発光素子２１０は、導電層２１１と、ＥＬ層２１２と、導電層２１３とがこの順で積層された構成を有する。発光素子２１０は、被形成面側とは反対側に光を射出する、いわゆるトップエミッション型の発光素子である。導電層２１１と、導電層２１３とは、それぞれ透光性を有することが好ましい。このとき、発光素子２１０から基板２０１側に射出された光は、反射層２１４で反射され、基板２０２側に射出される。
【０１６３】  なお、発光素子２１０に用いることのできる発光素子としては、自発光が可能な素子を用いることができ、電流または電圧によって輝度が制御される素子をその範疇に含んでいる。例えば、ＬＥＤ、有機ＥＬ素子、無機ＥＬ素子等を用いることができる。特に、有機ＥＬ素子を用いることが好ましい。
【０１６４】  ＥＬ層２１２は少なくとも発光層を有する。ＥＬ層２１２は、発光層以外の層として、正孔注入性の高い物質、正孔輸送性の高い物質、正孔ブロック材料、電子輸送性の高い物質、電子注入性の高い物質、またはバイポーラ性の物質（電子輸送性および正孔輸送性が高い物質）等を含む層をさらに有していてもよい。
【０１６５】  ＥＬ層２１２には低分子系化合物および高分子系化合物のいずれを用いることもでき、無機化合物を含んでいてもよい。ＥＬ層２１２を構成する層は、それぞれ、蒸着法（真空蒸着法を含む）、転写法、印刷法、インクジェット法、塗布法等の方法で形成することができる。
【０１６６】  陰極と陽極の間に、発光素子２１０の閾値電圧より高い電圧を印加すると、ＥＬ層２１２に陽極側から正孔が注入され、陰極側から電子が注入される。注入された電子と正孔はＥＬ層２１２において再結合し、ＥＬ層２１２に含まれる発光物質が発光する。
【０１６７】  発光素子２１０として、白色発光の発光素子を適用する場合には、ＥＬ層２１２に２種類以上の発光物質を含む構成とすることが好ましい。例えば２以上の発光物質の各々の発光が補色の関係となるように、発光物質を選択することにより白色発光を得ることができる。例えば、それぞれＲ（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）、Ｏ（橙）等の発光を示す発光物質、またはＲ、Ｇ、Ｂのうち２以上の色のスペクトル成分を含む発光を示す発光物質のうち、２以上を含むことが好ましい。また、発光素子からの発光のスペクトルが、可視光領域の波長（例えば３５０ｎｍ乃至７５０ｎｍ）の範囲内に２以上のピークを有する発光素子を適用することが好ましい。また、黄色の波長領域にピークを有する材料の発光スペクトルは、緑色および赤色の波長領域にもスペクトル成分を有する材料であることが好ましい。
【０１６８】  ＥＬ層２１２は、一の色を発光する発光材料を含む発光層と、他の色を発光する発光材料を含む発光層とが積層された構成とすることが好ましい。例えば、ＥＬ層２１２における複数の発光層は、互いに接して積層されていてもよいし、いずれの発光材料も含まない領域を介して積層されていてもよい。例えば、蛍光発光層と燐光発光層との間に、当該蛍光発光層または燐光発光層と同一の材料（例えばホスト材料、アシスト材料）を含み、且ついずれの発光材料も含まない領域を設ける構成としてもよい。これにより、発光素子の作製が容易になり、また、駆動電圧が低減される。
【０１６９】  また、発光素子２１０は、ＥＬ層を１つ有するシングル素子であってもよいし、複数のＥＬ層が電荷発生層を介して積層されたタンデム素子であってもよい。
【０１７０】  なお、上述した、発光層、ならびに正孔注入性の高い物質、正孔輸送性の高い物質、電子輸送性の高い物質、および電子注入性の高い物質、バイポーラ性の物質等を含む層は、それぞれ量子ドットなどの無機化合物や、高分子化合物（オリゴマー、デンドリマー、ポリマー等）を有していてもよい。例えば、量子ドットを発光層に用いることで、発光材料として機能させることもできる。
【０１７１】  なお、量子ドット材料としては、コロイド状量子ドット材料、合金型量子ドット材料、コア・シェル型量子ドット材料、コア型量子ドット材料などを用いることができる。また、１２族と１６族、１３族と１５族、または１４族と１６族の元素グループを含む材料を用いてもよい。または、カドミウム、セレン、亜鉛、硫黄、リン、インジウム、テルル、鉛、ガリウム、ヒ素、アルミニウム等の元素を含む量子ドット材料を用いてもよい。
【０１７２】  また、各発光ユニットは、導電層２１３に透過性及び反射性を有する導電膜を用いることで、いわゆるマイクロキャビティ構造（微小共振器構造）が実現されていてもよい。このとき、その可視光を反射する反射層２１４の表面と、可視光に対する透過性及び反射性を有する導電層２１３との間の光学距離は、その強度を強めたい光の波長λに対して、ｍλ／２（ｍは自然数）、またはその近傍となるように調整されていることが好ましい。光学距離を各発光ユニット間で調整するため、反射層２１４の厚さ、導電層２１１の厚さなどを、各発光ユニット間で異ならせることができる。
【０１７３】  発光ユニット２２０Ｒにおいて、発光素子２１０から発せられた光は、着色層２１５Ｒにより所定の波長以外の光が吸収され、例えば赤色の光Ｒとして外部に射出される。同様に、発光ユニット２２０Ｇからは、例えば緑色の光Ｇが外部に射出される。またここでは図示しないが、表示装置２００Ａは青色の光を射出する発光ユニット２２０Ｂを有することが好ましい。
【０１７４】  なお、着色層２１５Ｒ及び着色層２１５Ｇとして、上述した量子ドット材料を用いる構成としてもよい。上記構成の場合、発光素子２１０から射出される光を青色とすることで、量子ドット材料により色変換（波長変換）を行うことができる。当該構成の場合、発光素子２１０を作り分ける必要がないため、製造コストを低減することができるため好適である。
【０１７５】  受光素子２３０はフォトダイオードとして機能し、外部から入射される外光Ｌｅｘを受光し、電気信号に変換する素子である。受光素子２３０は、導電層２１１と、導電層２１３と、これらの間に活性層２３１が設けられた構成を有する。
【０１７６】  活性層２３１としては、ｐ型半導体とｎ型半導体とを積層し、ｐｎ接合を実現した積層構造、または、ｐ型半導体、ｉ型半導体、及びｎ型半導体を積層し、ｐｉｎ接合を実現した積層構造などとすることができる。
【０１７７】  活性層２３１に用いる半導体として、シリコンなどの無機半導体、または有機化合物を含む有機半導体を用いることができる。特に、有機半導体材料を用いることで、発光素子２１０のＥＬ層２１２と、活性層２３１とを、それぞれ真空蒸着法で形成することが容易となり、製造装置を共通化できるため好ましい。
【０１７８】  活性層２３１として、有機半導体材料を用いる場合、ｎ型半導体の材料としては、フラーレン（例えばＣ６０、Ｃ７０等）またはその誘導体等の電子受容性の有機半導体材料を用いることができる。また、ｐ型半導体の材料としては、銅（ＩＩ）フタロシアニン（Ｃｏｐｐｅｒ（ＩＩ）  ｐｈｔｈａｌｏｃｙａｎｉｎｅ；ＣｕＰｃ）やテトラフェニルジベンゾペリフランテン（Ｔｅｔｒａｐｈｅｎｙｌｄｉｂｅｎｚｏｐｅｒｉｆｌａｎｔｈｅｎｅ；ＤＢＰ）等の電子供与性の有機半導体材料を用いることができる。活性層２３１は、電子受容性の半導体材料と電子供与性の半導体材料の積層構造（ｐ−ｎ積層構造）としてもよいし、これらの間に電子受容性の半導体材料と電子供与性の半導体材料を共蒸着したバルクヘテロ構造層を設けた積層構造（ｐ−ｉ−ｎ積層構造）としてもよい。また光を照射していない時の、暗電流を抑制する目的で、上記のｐ−ｎ積層構造またはｐ−ｉ−ｎ積層構造の周辺（上側または下側）に、ホールブロック層として機能する層や、電子ブロック層として機能する層を設けてもよい。
【０１７９】  また、受光素子２３０の基板２０１側に、反射層２１４を設けることが好ましい。反射層２１４により、受光素子２３０を透過した外光Ｌｅｘを受光素子２３０側に反射させることで、受光素子２３０の感度を高めることができる。
【０１８０】  反射層２１４は、絶縁層２５２上に設けられている。また、反射層２１４を覆って絶縁層２５１が設けられ、絶縁層２５１上に、導電層２１１が設けられている。導電層２１１は、絶縁層２５１及び絶縁層２５２に設けられたプラグ２９５を介して容量素子２４０の導電層２４１と電気的に接続されている。また、導電層２１１上には、導電層２１１と重なる開口を有する絶縁層２１６が設けられている。
【０１８１】  発光ユニット２２０Ｒ及び発光ユニット２２０Ｇにおいて、導電層２１１上にＥＬ層２１２が設けられている。また、受光素子２３０において、導電層２１１上に活性層２３１が設けられている。さらに、ＥＬ層２１２と活性層２３１を覆って、導電層２１３が設けられている。これにより、導電層２１３は、発光素子２１０の電極と、受光素子２３０の電極の両方を兼ねる構成とすることができる。
【０１８２】  なお、各発光ユニットを、上述したマイクロキャビティ構造とするために、導電層２１３として透過性及び反射性を有する導電膜を用いると、受光素子２３０の感度が低下してしまう恐れがある。その場合には、導電層２１３に透光性を有する導電膜を用い、ＥＬ層２１２と導電層２１３との間、または導電層２１３上に、ＥＬ層２１２と同じパターンで、透過性及び反射性を有する導電膜を別途形成することで、当該導電膜が受光素子２３０に設けられない構成としてもよい。
【０１８３】  また、図８に示すように、絶縁層２１６上でＥＬ層２１２の端部と、活性層２３１の端部とが重なる領域を有していてもよい。
【０１８４】  表示装置２００Ａは、発光素子２１０及び受光素子２３０を覆って、絶縁層２７１、絶縁層２７２、及び絶縁層２７３が積層して設けられている。これら３つの絶縁層は、発光素子２１０及び受光素子２３０に水などの不純物が拡散することを防ぐ保護層として機能する。絶縁層２７１及び絶縁層２７３には、酸化シリコン膜、窒化シリコン膜、酸化アルミニウム膜などの、透湿性の低い無機絶縁膜を用いることが好ましい。また、絶縁層２７２には、透光性の高い有機絶縁膜を用いることができる。絶縁層２７２に有機絶縁膜を用いることで、絶縁層２７２よりも下側の凹凸形状の影響を緩和し、絶縁層２７３の被形成面を滑らかな面とすることができる。これにより、絶縁層２７３にピンホールなどの欠陥が生じにくいため、保護層の透湿性をより高めることができる。なお、発光素子２１０及び受光素子２３０を覆う保護層の構成はこれに限られず、単層、または２層構造としてもよいし、４層以上の積層構造としてもよい。
【０１８５】  絶縁層２７３上には、着色層２１５Ｒ及び着色層２１５Ｇが設けられている。なお、受光素子２３０に入射する光の一部をカットするためのフィルタを設ける場合には、着色層２１５Ｒ等と同様に絶縁層２７３上に設けることができる。このように、絶縁層２７３上に着色層（及びフィルタ）を形成することで、例えば基板２０２側にこれらを形成した後に基板２０２と基板２０１とを貼り合せた場合に比べて、各着色層と発光素子２１０との位置合わせ（またはフィルタと受光素子２３０との位置合わせ）が容易であり、極めて高精細な表示装置を実現できる。
【０１８６】  また表示装置２００Ａは、視認側に基板２０２を有する。基板２０２と基板２０１とは、接着層２７４により貼り合されている。基板２０２としては、ガラス基板、石英基板、サファイア基板、プラスチック基板などの、透光性を有する基板を用いることができる。
【０１８７】  このような構成とすることで、表示部が撮像部を兼ねた、精細度の高い表示装置を実現することができる。
【０１８８】［構成例２］
図９は、表示装置２００Ｂの断面概略図である。表示装置２００Ｃは、主にトランジスタの構成が異なる点で、上記表示装置２００Ａと相違している。
【０１８９】  トランジスタ２８０は、チャネルが形成される半導体に、金属酸化物（酸化物半導体ともいう）が適用されたトランジスタである。
【０１９０】  トランジスタ２８０は、半導体層２８１、絶縁層２８２、導電層２８３、導電層２８４、導電層２８５、絶縁層２８６、絶縁層２８７等を有する。
【０１９１】  トランジスタ２８０が設けられる基板２０１ａとしては、ガラス基板、石英基板、サファイア基板、セラミック基板等の絶縁性基板、または、シリコンや炭化シリコンなどを材料とした単結晶半導体基板、多結晶半導体基板、シリコンゲルマニウム等の化合物半導体基板、ＳＯＩ基板などの半導体基板を用いることができる。
【０１９２】  基板２０１ａ上に、絶縁層２８８が設けられている。絶縁層２８８は、基板２０１ａから水や水素などの不純物が、トランジスタ２８０に拡散すること、及び半導体層２８１から絶縁層２８８側に酸素が拡散することを防ぐバリア層として機能する。絶縁層２８８としては、例えば酸化アルミニウム膜、酸化ハフニウム膜、窒化シリコン膜などの、酸化シリコン膜よりも水素や酸素が拡散しにくい膜を用いることができる。
【０１９３】  絶縁層２８８上に導電層２８５が設けられ、導電層２８５を覆って絶縁層２８７及び絶縁層２８６が設けられている。半導体層２８１は、絶縁層２８６上に設けられている。導電層２８５は、トランジスタ２８０の第１のゲート電極として機能し、絶縁層２８７の一部、及び絶縁層２８６の一部は、それぞれ第１のゲート絶縁層として機能する。半導体層２８１と接する絶縁層２８６には、酸化シリコン膜などの酸化物絶縁膜を用いることが好ましい。また、絶縁層２８６と導電層２８５との間の絶縁層２８７には、絶縁層２８８と同様に、バリア層として機能する絶縁膜を用いることが好ましい。
【０１９４】  半導体層２８１は、半導体特性を有する金属酸化物（酸化物半導体）膜を有することが好ましい。
【０１９５】  一対の導電層２８４は、半導体層２８１上で離間して設けられている。導電層２８４は、ソース電極及びドレイン電極として機能する。また、半導体層２８１及び導電層２８４を覆って絶縁層２８９が設けられ、絶縁層２８９上に絶縁層２５４が設けられている。絶縁層２５４には、半導体層２８１に達する開口が設けられており、当該開口の内部に、絶縁層２８２と導電層２８３とが埋め込まれている。また、絶縁層２５４、導電層２８３、及び絶縁層２８２の上面を覆って、絶縁層２５５が設けられている。
【０１９６】  導電層２８３は、第２のゲート電極として機能する。また、絶縁層２８２は、第２のゲート絶縁層として機能する。
【０１９７】  絶縁層２８９及び絶縁層２５５としては、絶縁層２８８等と同様に、バリア層として機能する絶縁膜を用いることが好ましい。絶縁層２８９で導電層２８４を覆うことで、絶縁層２５４に含まれる酸素によって導電層２８４が酸化されることを防ぐことができる。
【０１９８】  導電層２８４に電気的に接続するプラグ２９７は、絶縁層２５３、絶縁層２５５、及び絶縁層２５４に設けられた開口の内部に設けられている。プラグ２９７は、当該開口の側面及び導電層２８４の上面に接する導電層２９７ａと、当該導電層２９７ａよりも内側に埋め込まれる導電層２９７ｂとを有することが好ましい。このとき、導電層２９７ａとして、水素及び酸素が拡散しにくい導電性材料を用いることが好ましい。
【０１９９】［構成例３］
図１０に、表示装置２００Ｃの断面概略図を示す。表示装置２００Ｃは、基板２０１にチャネルが形成されるトランジスタ２６０と、チャネルが形成される半導体層に金属酸化物を含むトランジスタ２８０とが積層された構成を有する。
【０２００】  トランジスタ２６０を覆って絶縁層２５６が設けられ、絶縁層２５６上に配線として機能する導電層２９１が設けられている。また、導電層２９１を覆って絶縁層２５５が設けられ、絶縁層２５５上に、配線として機能する導電層２９２が設けられている。また、導電層２９２を覆って絶縁層２５４、及び絶縁層２８８が設けられ、絶縁層２８８上にトランジスタ２８０が設けられている。また、トランジスタ２８０を覆って絶縁層２５３が設けられ、絶縁層２５３上に容量素子２４０が設けられている。容量素子２４０とトランジスタ２８０とは、プラグ２９７により電気的に接続されている。
【０２０１】  トランジスタ２８０は、画素回路を構成するトランジスタとして用いることができる。また、トランジスタ２６０は、画素回路を構成するトランジスタや、当該画素回路を駆動するための駆動回路（ゲート線駆動回路、ソース線駆動回路等）を構成するトランジスタとして用いることができる。また、トランジスタ２６０及びトランジスタ２８０は、演算回路や記憶回路などの各種回路を構成するトランジスタとして用いることができる。
【０２０２】  このような構成とすることで、発光ユニットや受光素子の直下に画素回路だけでなく、駆動回路等を配置することができるため、表示領域の周辺に駆動回路を設ける場合に比べて、表示装置を小型化することが可能となる。
【０２０３】  なお、ここでは発光素子２１０または受光素子２３０と、トランジスタ２６０との間に、トランジスタ２８０を１つ設けた構成を示したが、これに限られず、トランジスタ２８０を２つ以上積層して設けてもよい。これにより、より画素の占有面積を縮小することができ、高精細化が可能となる。
【０２０４】［構成要素について］
以下では、表示装置に適用可能なトランジスタ等の構成要素について説明する。
【０２０５】〔トランジスタ〕
トランジスタは、ゲート電極として機能する導電層と、半導体層と、ソース電極として機能する導電層と、ドレイン電極として機能する導電層と、ゲート絶縁層として機能する絶縁層と、を有する。
【０２０６】  なお、本発明の一態様の表示装置が有するトランジスタの構造は特に限定されない。例えば、プレーナ型のトランジスタとしてもよいし、スタガ型のトランジスタとしてもよいし、逆スタガ型のトランジスタとしてもよい。また、トップゲート型またはボトムゲート型のいずれのトランジスタ構造としてもよい。または、チャネルの上下にゲート電極が設けられていてもよい。
【０２０７】  トランジスタに用いる半導体材料の結晶性についても特に限定されず、非晶質半導体、単結晶半導体、または単結晶半導体以外の結晶性を有する半導体（微結晶半導体、多結晶半導体、または一部に結晶領域を有する半導体）のいずれを用いてもよい。単結晶半導体または結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
【０２０８】  以下では、特に金属酸化物膜をチャネルが形成される半導体層に用いるトランジスタについて説明する。
【０２０９】  トランジスタに用いる半導体材料としては、エネルギーギャップが２ｅＶ以上、好ましくは２．５ｅＶ以上、より好ましくは３ｅＶ以上である金属酸化物を用いることができる。代表的には、インジウムを含む金属酸化物などであり、例えば、後述するＣＡＣ−ＯＳなどを用いることができる。
【０２１０】  シリコンよりもバンドギャップが広く、且つキャリア密度の小さい金属酸化物を用いたトランジスタは、その低いオフ電流により、トランジスタと直列に接続された容量素子に蓄積した電荷を長期間に亘って保持することが可能である。
【０２１１】  半導体層は、例えばインジウム、亜鉛およびＭ（アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属）を含むＩｎ−Ｍ−Ｚｎ系酸化物で表記される膜とすることができる。
【０２１２】  半導体層を構成する金属酸化物がＩｎ−Ｍ−Ｚｎ系酸化物の場合、Ｉｎ−Ｍ−Ｚｎ酸化物を成膜するために用いるスパッタリングターゲットの金属元素の原子数比は、Ｉｎ≧Ｍ、Ｚｎ≧Ｍを満たすことが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、Ｉｎ：Ｍ：Ｚｎ＝１：１：１、Ｉｎ：Ｍ：Ｚｎ＝１：１：１．２、Ｉｎ：Ｍ：Ｚｎ＝３：１：２、Ｉｎ：Ｍ：Ｚｎ＝４：２：３、Ｉｎ：Ｍ：Ｚｎ＝４：２：４．１、Ｉｎ：Ｍ：Ｚｎ＝５：１：６、Ｉｎ：Ｍ：Ｚｎ＝５：１：７、Ｉｎ：Ｍ：Ｚｎ＝５：１：８等が好ましい。なお、成膜される半導体層の原子数比はそれぞれ、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス４０％の変動を含む。
【０２１３】  半導体層としては、キャリア密度の低い金属酸化物膜を用いる。例えば、半導体層は、キャリア密度が１×１０１７／ｃｍ３以下、好ましくは１×１０１５／ｃｍ３以下、さらに好ましくは１×１０１３／ｃｍ３以下、より好ましくは１×１０１１／ｃｍ３以下、さらに好ましくは１×１０１０／ｃｍ３未満であり、１×１０−９／ｃｍ３以上のキャリア密度の金属酸化物を用いることができる。そのような金属酸化物を、高純度真性または実質的に高純度真性な金属酸化物と呼ぶ。当該金属酸化物は不純物濃度が低く、欠陥準位密度が低いため、安定な特性を有する金属酸化物であるといえる。
【０２１４】  なお、これらに限られず、必要とするトランジスタの半導体特性および電気特性（電界効果移動度、しきい値電圧等）に応じて適切な組成の酸化物半導体を用いればよい。また、必要とするトランジスタの半導体特性を得るために、半導体層のキャリア密度や不純物濃度、欠陥密度、金属元素と酸素の原子数比、原子間距離、密度等を適切なものとすることが好ましい。
【０２１５】  半導体層を構成する金属酸化物において、第１４族元素の一つであるシリコンや炭素が含まれると、半導体層において酸素欠損が増加し、ｎ型化してしまう。このため、半導体層におけるシリコンや炭素の濃度（二次イオン質量分析法により得られる濃度）を、２×１０１８ａｔｏｍｓ／ｃｍ３以下、好ましくは２×１０１７ａｔｏｍｓ／ｃｍ３以下とする。
【０２１６】  また、アルカリ金属およびアルカリ土類金属は、金属酸化物と結合するとキャリアを生成する場合があり、トランジスタのオフ電流が増大してしまうことがある。このため半導体層における二次イオン質量分析法により得られるアルカリ金属またはアルカリ土類金属の濃度を、１×１０１８ａｔｏｍｓ／ｃｍ３以下、好ましくは２×１０１６ａｔｏｍｓ／ｃｍ３以下にする。
【０２１７】  また、半導体層を構成する金属酸化物に窒素が含まれていると、キャリアである電子が生じ、キャリア密度が増加し、ｎ型化しやすい。この結果、窒素が含まれている金属酸化物を用いたトランジスタはノーマリーオン特性となりやすい。このため半導体層における二次イオン質量分析法により得られる窒素濃度は、５×１０１８ａｔｏｍｓ／ｃｍ３以下にすることが好ましい。
【０２１８】  酸化物半導体は、単結晶酸化物半導体と、非単結晶酸化物半導体と、に分けられる。非単結晶酸化物半導体としては、ＣＡＡＣ−ＯＳ（ｃ−ａｘｉｓ−ａｌｉｇｎｅｄ  ｃｒｙｓｔａｌｌｉｎｅ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、多結晶酸化物半導体、ｎｃ−ＯＳ（ｎａｎｏｃｒｙｓｔａｌｌｉｎｅ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、擬似非晶質酸化物半導体（ａ−ｌｉｋｅ  ＯＳ：ａｍｏｒｐｈｏｕｓ−ｌｉｋｅ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、及び非晶質酸化物半導体などがある。
【０２１９】  また、本発明の一態様で開示されるトランジスタの半導体層には、ＣＡＣ−ＯＳ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ  Ｃｏｍｐｏｓｉｔｅ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いてもよい。
【０２２０】  なお、本発明の一態様で開示されるトランジスタの半導体層は、上述した非単結晶酸化物半導体またはＣＡＣ−ＯＳを好適に用いることができる。また、非単結晶酸化物半導体としては、ｎｃ−ＯＳまたはＣＡＡＣ−ＯＳを好適に用いることができる。
【０２２１】  なお、本発明の一態様では、トランジスタの半導体層として、ＣＡＣ−ＯＳを用いると好ましい。ＣＡＣ−ＯＳを用いることで、トランジスタに高い電気特性または高い信頼性を付与することができる。
【０２２２】  なお、半導体層がＣＡＡＣ−ＯＳの領域、多結晶酸化物半導体の領域、ｎｃ−ＯＳの領域、擬似非晶質酸化物半導体の領域、及び非晶質酸化物半導体の領域のうち、二種以上を有する混合膜であってもよい。混合膜は、例えば上述した領域のうち、いずれか二種以上の領域を含む単層構造、または積層構造を有する場合がある。
【０２２３】＜ＣＡＣ−ＯＳの構成＞
以下では、本発明の一態様で開示されるトランジスタに用いることができるＣＡＣ（Ｃｌｏｕｄ−Ａｌｉｇｎｅｄ  Ｃｏｍｐｏｓｉｔｅ）−ＯＳの構成について説明する。
【０２２４】  ＣＡＣ−ＯＳとは、例えば、金属酸化物を構成する元素が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、金属酸化物において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、０．５ｎｍ以上１０ｎｍ以下、好ましくは、１ｎｍ以上２ｎｍ以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
【０２２５】  なお、金属酸化物は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれていてもよい。
【０２２６】  例えば、Ｉｎ−Ｇａ−Ｚｎ酸化物におけるＣＡＣ−ＯＳ（ＣＡＣ−ＯＳの中でもＩｎ−Ｇａ−Ｚｎ酸化物を、特にＣＡＣ−ＩＧＺＯと呼称してもよい。）とは、インジウム酸化物（以下、ＩｎＯＸ１（Ｘ１は０よりも大きい実数）とする。）、またはインジウム亜鉛酸化物（以下、ＩｎＸ２ＺｎＹ２ＯＺ２（Ｘ２、Ｙ２、およびＺ２は０よりも大きい実数）とする。）と、ガリウム酸化物（以下、ＧａＯＸ３（Ｘ３は０よりも大きい実数）とする。）、またはガリウム亜鉛酸化物（以下、ＧａＸ４ＺｎＹ４ＯＺ４（Ｘ４、Ｙ４、およびＺ４は０よりも大きい実数）とする。）などと、に材料が分離することでモザイク状となり、モザイク状のＩｎＯＸ１、またはＩｎＸ２ＺｎＹ２ＯＺ２が、膜中に均一に分布した構成（以下、クラウド状ともいう。）である。
【０２２７】  つまり、ＣＡＣ−ＯＳは、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、混合している構成を有する複合金属酸化物である。なお、本明細書において、例えば、第１の領域の元素Ｍに対するＩｎの原子数比が、第２の領域の元素Ｍに対するＩｎの原子数比よりも大きいことを、第１の領域は、第２の領域と比較して、Ｉｎの濃度が高いとする。
【０２２８】  なお、ＩＧＺＯは通称であり、Ｉｎ、Ｇａ、Ｚｎ、およびＯによる１つの化合物をいう場合がある。代表例として、ＩｎＧａＯ３（ＺｎＯ）ｍ１（ｍ１は自然数）、またはＩｎ（１＋ｘ０）Ｇａ（１−ｘ０）Ｏ３（ＺｎＯ）ｍ０（−１≦ｘ０≦１、ｍ０は任意数）で表される結晶性の化合物が挙げられる。
【０２２９】  上記結晶性の化合物は、単結晶構造、多結晶構造、またはＣＡＡＣ構造を有する。なお、ＣＡＡＣ構造とは、複数のＩＧＺＯのナノ結晶がｃ軸配向を有し、かつａ−ｂ面においては配向せずに連結した結晶構造である。
【０２３０】  一方、ＣＡＣ−ＯＳは、金属酸化物の材料構成に関する。ＣＡＣ−ＯＳとは、Ｉｎ、Ｇａ、Ｚｎ、およびＯを含む材料構成において、一部にＧａを主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。従って、ＣＡＣ−ＯＳにおいて、結晶構造は副次的な要素である。
【０２３１】  なお、ＣＡＣ−ＯＳは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Ｉｎを主成分とする膜と、Ｇａを主成分とする膜との２層からなる構造は、含まない。
【０２３２】  なお、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とは、明確な境界が観察できない場合がある。
【０２３３】  なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれている場合、ＣＡＣ−ＯＳは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にＩｎを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
【０２３４】  ＣＡＣ−ＯＳは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、ＣＡＣ−ＯＳをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス（代表的にはアルゴン）、酸素ガス、及び窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を０％以上３０％未満、好ましくは０％以上１０％以下とすることが好ましい。
【０２３５】  ＣＡＣ−ＯＳは、Ｘ線回折（ＸＲＤ：Ｘ−ｒａｙ  ｄｉｆｆｒａｃｔｉｏｎ）測定法のひとつであるＯｕｔ−ｏｆ−ｐｌａｎｅ法によるθ／２θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、Ｘ線回折測定から、測定領域のａ−ｂ面方向、およびｃ軸方向の配向は見られないことが分かる。
【０２３６】  またＣＡＣ−ＯＳは、プローブ径が１ｎｍの電子線（ナノビーム電子線ともいう。）を照射することで得られる電子線回折パターンにおいて、輝度の高いリング状の領域と、該リング状の領域内に複数の輝点が観測される。従って、電子線回折パターンから、ＣＡＣ−ＯＳの結晶構造が、平面方向、および断面方向において、配向性を有さないｎｃ（ｎａｎｏ−ｃｒｙｓｔａｌ）構造を有することがわかる。
【０２３７】  また例えば、Ｉｎ−Ｇａ−Ｚｎ酸化物におけるＣＡＣ−ＯＳでは、エネルギー分散型Ｘ線分光法（ＥＤＸ：Ｅｎｅｒｇｙ  Ｄｉｓｐｅｒｓｉｖｅ  Ｘ−ｒａｙ  ｓｐｅｃｔｒｏｓｃｏｐｙ）を用いて取得したＥＤＸマッピングにより、ＧａＯＸ３が主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
【０２３８】  ＣＡＣ−ＯＳは、金属元素が均一に分布したＩＧＺＯ化合物とは異なる構造であり、ＩＧＺＯ化合物と異なる性質を有する。つまり、ＣＡＣ−ＯＳは、ＧａＯＸ３などが主成分である領域と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
【０２３９】  ここで、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域は、ＧａＯＸ３などが主成分である領域と比較して、導電性が高い領域である。つまり、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域を、キャリアが流れることにより、金属酸化物としての導電性が発現する。従って、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域が、金属酸化物中にクラウド状に分布することで、高い電界効果移動度（μ）が実現できる。
【０２４０】  一方、ＧａＯＸ３などが主成分である領域は、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１が主成分である領域と比較して、絶縁性が高い領域である。つまり、ＧａＯＸ３などが主成分である領域が、金属酸化物中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
【０２４１】  従って、ＣＡＣ−ＯＳを半導体素子に用いた場合、ＧａＯＸ３などに起因する絶縁性と、ＩｎＸ２ＺｎＹ２ＯＺ２、またはＩｎＯＸ１に起因する導電性とが、相補的に作用することにより、高いオン電流（Ｉｏｎ）、および高い電界効果移動度（μ）を実現することができる。
【０２４２】  また、ＣＡＣ−ＯＳを用いた半導体素子は、信頼性が高い。従って、ＣＡＣ−ＯＳは、ディスプレイをはじめとするさまざまな半導体装置に最適である。
【０２４３】  また、半導体層にＣＡＣ−ＯＳを有するトランジスタは電界効果移動度が高く、且つ駆動能力が高いので、該トランジスタを、駆動回路、代表的にはゲート信号を生成する走査線駆動回路に用いることで、額縁幅の狭い（狭額縁ともいう）表示装置を提供することができる。また、該トランジスタを、表示装置が有する信号線駆動回路（とくに、信号線駆動回路が有するシフトレジスタの出力端子に接続されるデマルチプレクサ）に用いることで、表示装置に接続される配線数が少ない表示装置を提供することができる。
【０２４４】  また、半導体層にＣＡＣ−ＯＳを有するトランジスタは低温ポリシリコンを用いたトランジスタのように、レーザ結晶化工程が不要である。これのため、大面積基板を用いた表示装置であっても、製造コストを低減することが可能である。さらに、ウルトラハイビジョン（「４Ｋ解像度」、「４Ｋ２Ｋ」、「４Ｋ」）、スーパーハイビジョン（「８Ｋ解像度」、「８Ｋ４Ｋ」、「８Ｋ」）のよう高解像度であり、且つ大型の表示装置において、半導体層にＣＡＣ−ＯＳを有するトランジスタを駆動回路及び表示部に用いることで、短時間での書き込みが可能であり、表示不良を低減することが可能であり好ましい。
【０２４５】  または、トランジスタのチャネルが形成される半導体にシリコンを用いてもよい。シリコンとしてアモルファスシリコンを用いてもよいが、特に結晶性を有するシリコンを用いることが好ましい。例えば、微結晶シリコン、多結晶シリコン、単結晶シリコンなどを用いることが好ましい。特に、多結晶シリコンは、単結晶シリコンに比べて低温で形成でき、且つアモルファスシリコンに比べて高い電界効果移動度と高い信頼性を備える。
【０２４６】〔導電層〕
トランジスタのゲート、ソースおよびドレインのほか、表示装置を構成する各種配線および電極などの導電層に用いることのできる材料としては、アルミニウム、チタン、クロム、ニッケル、銅、イットリウム、ジルコニウム、モリブデン、銀、タンタル、またはタングステンなどの金属、またはこれを主成分とする合金などが挙げられる。またこれらの材料を含む膜を単層で、または積層構造として用いることができる。例えば、シリコンを含むアルミニウム膜の単層構造、チタン膜上にアルミニウム膜を積層する二層構造、タングステン膜上にアルミニウム膜を積層する二層構造、銅−マグネシウム−アルミニウム合金膜上に銅膜を積層する二層構造、チタン膜上に銅膜を積層する二層構造、タングステン膜上に銅膜を積層する二層構造、チタン膜または窒化チタン膜と、その上に重ねてアルミニウム膜または銅膜を積層し、さらにその上にチタン膜または窒化チタン膜を形成する三層構造、モリブデン膜または窒化モリブデン膜と、その上に重ねてアルミニウム膜または銅膜を積層し、さらにその上にモリブデン膜または窒化モリブデン膜を形成する三層構造等がある。なお、酸化インジウム、酸化錫または酸化亜鉛等の酸化物を用いてもよい。また、マンガンを含む銅を用いると、エッチングによる形状の制御性が高まるため好ましい。
【０２４７】〔絶縁層〕
各絶縁層に用いることのできる絶縁材料としては、例えば、アクリル、エポキシなどの樹脂、シロキサン結合を有する樹脂の他、酸化シリコン、酸化窒化シリコン、窒化酸化シリコン、窒化シリコン、酸化アルミニウムなどの無機絶縁材料を用いることもできる。
【０２４８】  また、発光素子は、一対の透水性の低い絶縁膜の間に設けられていることが好ましい。これにより、発光素子に水等の不純物が侵入することを抑制でき、装置の信頼性の低下を抑制できる。
【０２４９】  透水性の低い絶縁膜としては、窒化シリコン膜、窒化酸化シリコン膜等の窒素と珪素を含む膜や、窒化アルミニウム膜等の窒素とアルミニウムを含む膜等が挙げられる。また、酸化シリコン膜、酸化窒化シリコン膜、酸化アルミニウム膜等を用いてもよい。
【０２５０】  例えば、透水性の低い絶縁膜の水蒸気透過量は、１×１０−５［ｇ／（ｍ２・ｄａｙ）］以下、好ましくは１×１０−６［ｇ／（ｍ２・ｄａｙ）］以下、より好ましくは１×１０−７［ｇ／（ｍ２・ｄａｙ）］以下、さらに好ましくは１×１０−８［ｇ／（ｍ２・ｄａｙ）］以下とする。
【０２５１】  以上が、構成要素についての説明である。
【０２５２】［表示モジュールの構成例］
以下では、本発明の一態様の表示装置を有する表示モジュールの構成例について説明する。
【０２５３】  図１１（Ａ）は、表示モジュール３００の斜視概略図である。表示モジュール３００は、表示装置２００と、ＦＰＣ３１０とを有する。表示装置２００としては、上記で例示した表示装置２００Ａ乃至表示装置２００Ｃ等を適用することができる。
【０２５４】  表示モジュール３００は、基板２０１、基板２０２を有する。また、基板２０２側に表示部３０１を有する。表示部３０１は、表示モジュール３００における画像を表示する領域であり、後述する画素部３０４に設けられる各画素からの光を視認できる領域である。
【０２５５】  また、表示部３０１は、受光部を兼ねることができる。すなわち、表示モジュール３００は、表示部３０１に入射される光を検出し、電気信号としてＦＰＣ３１０を介して外部に出力することができる。
【０２５６】  図１１（Ｂ）に、基板２０１側の構成を模式的に示した斜視図を示している。基板２０１は、回路部３０２と、回路部３０２上に画素回路部３０３と、画素回路部３０３上に画素部３０４と、が積層された構成を有する。なお、画素回路部３０３は、２層以上の構成としてもよい。また、基板２０１の画素部３０４と重ならない部分に、ＦＰＣ３１０と接続するための端子部３０５を有する。また端子部３０５と回路部３０２とは、複数の配線により構成される配線部３０６により電気的に接続されている。
【０２５７】  画素部３０４は、マトリクス状に配列した複数の画素３０４ａを有する。図１１（Ｂ）の右側に、一つの画素３０４ａの拡大図を示している。画素３０４ａは、発光ユニット２２０Ｒ、発光ユニット２２０Ｇ、発光ユニット２２０Ｂ、及び受光素子２３０を有する。
【０２５８】  画素回路部３０３は、マトリクス状に配列した複数の画素回路３０３ａを有する。１つの画素回路３０３ａは、一つの画素３０４ａが有する３つの発光ユニットの発光を制御する回路と、受光素子２３０の動作を制御する回路と、を含む。１つの画素３０４ａは、１つの発光ユニットの発光を制御する回路を３つと、受光素子２３０の動作を制御する回路と、が設けられる構成としてもよい。
【０２５９】  画素回路の構成については、例えば上記実施の形態３で例示した回路を援用することができる。
【０２６０】  回路部３０２は、画素回路部３０３の各画素回路３０３ａを駆動する回路を有する。例えば、ゲート線駆動回路、ソース線駆動回路等を有する構成とすることが好ましい。
【０２６１】  また、回路部３０２は、受光素子２３０で検出した光量に応じた出力信号を読み出し、当該出力信号を増幅または変換して出力するための読み出し回路を有することが好ましい。例えばセンスアンプなどを有する構成とすることができる。
【０２６２】  なお、回路部３０２は、上記の他、演算回路やメモリ回路、電源回路等を有していてもよい。
【０２６３】  ＦＰＣ３１０は、外部から回路部３０２にビデオ信号、センサ駆動信号、電源電位等を供給するための配線、及びセンサ信号を外部に出力するための配線として機能する。また、ＦＰＣ３１０上にＩＣが実装されていてもよい。
【０２６４】  表示モジュール３００は、画素部３０４の下側に画素回路部３０３や回路部３０２等が積層された構成とすることができるため、表示部３０１の開口率（有効表示面積比、及び有効受光面積比）を極めて高くすることができる。例えば表示部３０１の開口率は、４０％以上１００％未満、好ましくは５０％以上９５％以下、より好ましくは６０％以上９５％以下とすることができる。また、画素３０４ａを極めて高密度に配置することが可能で、表示部３０１の精細度を極めて高くすることができる。例えば、表示部３０１には、５００ｐｐｉ以上、好ましくは１０００ｐｐｉ以上、より好ましくは２０００ｐｐｉ以上、さらに好ましくは３０００ｐｐｉ以上、さらに好ましくは５０００ｐｐｉ以上、さらに好ましくは６０００ｐｐｉ以上であって、２００００ｐｐｉ以下、または３００００ｐｐｉ以下の精細度で、画素３０４ａが配置されることが好ましい。
【０２６５】  このような表示モジュール３００は、極めて高精細であることから、ヘッドマウントディスプレイなどのＶＲ向け機器、またはメガネ型のＡＲ向け機器に好適に用いることができる。例えば、レンズを通して表示モジュール３００の表示部を視認する構成の場合であっても、表示モジュール３００は極めて高精細な表示部３０１を有するためにレンズで表示部を拡大しても画素が視認されず、没入感の高い表示を行うことができる。また、表示モジュール３００はこれに限られず、比較的小型の表示部を有する電子機器に好適に用いることができる。例えばスマートウォッチなどの装着型の電子機器の表示部に好適に用いることができる。
【０２６６】  さらに表示モジュール３００は、画像を表示する機能に加えて、受光した光を検出する機能を有する。そのため、ユーザーの顔の一部から反射される光を検出し、その情報を外部に出力することができる。このとき、画素３０４ａに設けられる表示素子からの光を光源として用いることもでき、暗い環境であっても詳細な情報を得ることができる。
【０２６７】  本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【０２６８】（実施の形態５）
本実施の形態では、本発明の一態様の情報処理装置等に用いることのできる表示装置について説明する。
【０２６９】［構成例］
図１２（Ａ）に、表示装置７００の上面図を示す。表示装置７００は、シール材７１２により貼り合された第１の基板７０１と第２の基板７０５を有する。また第１の基板７０１、第２の基板７０５、及びシール材７１２で封止される領域において、第１の基板７０１上に画素部７０２、ソースドライバ回路部７０４、及びゲートドライバ回路部７０６が設けられる。また画素部７０２には、複数の表示素子が設けられる。
【０２７０】  また、第１の基板７０１の第２の基板７０５と重ならない部分に、ＦＰＣ７１６（ＦＰＣ：Ｆｌｅｘｉｂｌｅ  ｐｒｉｎｔｅｄ  ｃｉｒｃｕｉｔ）が接続されるＦＰＣ端子部７０８が設けられている。ＦＰＣ７１６によって、ＦＰＣ端子部７０８及び信号線７１０を介して、画素部７０２、ソースドライバ回路部７０４、及びゲートドライバ回路部７０６のそれぞれに各種信号等が供給される。
【０２７１】  ゲートドライバ回路部７０６は、複数設けられていてもよい。また、ゲートドライバ回路部７０６及びソースドライバ回路部７０４は、それぞれ半導体基板等に別途形成され、パッケージされたＩＣチップの形態であってもよい。当該ＩＣチップは、第１の基板７０１上、またはＦＰＣ７１６に実装することができる。
【０２７２】  画素部７０２、ソースドライバ回路部７０４及びゲートドライバ回路部７０６が有するトランジスタに、実施の形態４で例示したトランジスタを適用することができる。
【０２７３】  画素部７０２に設けられる表示素子としては、液晶素子、発光素子などが挙げられる。液晶素子としては、透過型の液晶素子、反射型の液晶素子、半透過型の液晶素子などを用いることができる。また、発光素子としては、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ  ＬＥＤ）、ＱＬＥＤ（Ｑｕａｎｔｕｍ−ｄｏｔ  ＬＥＤ）、半導体レーザなどの、自発光性の発光素子が挙げられる。また、シャッター方式または光干渉方式のＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）素子や、マイクロカプセル方式、電気泳動方式、エレクトロウェッティング方式、または電子粉流体（登録商標）方式等を適用した表示素子などを用いることもできる。
【０２７４】  図１２（Ｂ）に示す表示装置７００Ａは、第１の基板７０１に代えて、可撓性を有する樹脂層７４３が適用され、フレキシブルディスプレイとして用いることのできる表示装置の例である。
【０２７５】  表示装置７００Ａは、画素部７０２が矩形形状でなく、角部が円弧状の形状を有している。また、図１２（Ｂ）中の領域Ｐ１に示すように、画素部７０２、及び樹脂層７４３の一部が切りかかれた切欠き部を有する。一対のゲートドライバ回路部７０６は、画素部７０２を挟んで両側に設けられる。またゲートドライバ回路部７０６は、画素部７０２の角部において、円弧状の輪郭に沿って設けられている。
【０２７６】  樹脂層７４３は、ＦＰＣ端子部７０８が設けられる部分が突出した形状を有している。また樹脂層７４３のＦＰＣ端子部７０８を含む一部は、図１２（Ｂ）中の領域Ｐ２で裏側に折り返すことができる。樹脂層７４３の一部を折り返すことで、ＦＰＣ７１６を画素部７０２の裏側に重ねて配置した状態で、表示装置７００Ａを電子機器に実装することができ、電子機器の省スペース化を図ることができる。
【０２７７】  また表示装置７００Ａに接続されるＦＰＣ７１６には、ＩＣ７１７が実装されている。ＩＣ７１７は、例えばソースドライバ回路としての機能を有する。このとき、表示装置７００Ａにおけるソースドライバ回路部７０４は、保護回路、バッファ回路、デマルチプレクサ回路等の少なくとも一を含む構成とすることができる。
【０２７８】  図１２（Ｃ）に示す表示装置７００Ｂは、大型の画面を有する電子機器に好適に用いることのできる表示装置である。例えばテレビジョン装置、モニタ装置、パーソナルコンピュータ（ノート型またはデスクトップ型を含む）、タブレット端末、デジタルサイネージなどに好適に用いることができる。
【０２７９】  表示装置７００Ｂは、複数のソースドライバＩＣ７２１と、一対のゲートドライバ回路部７２２を有する。
【０２８０】  複数のソースドライバＩＣ７２１は、それぞれＦＰＣ７２３に取り付けられている。また、複数のＦＰＣ７２３は、一方の端子が基板７０１に、他方の端子がプリント基板７２４にそれぞれ接続されている。ＦＰＣ７２３を折り曲げることで、プリント基板７２４を画素部７０２の裏側に配置して、電子機器に実装することができ、電子機器の省スペース化を図ることができる。
【０２８１】  一方、ゲートドライバ回路部７２２は、基板７０１上に形成されている。これにより、狭額縁の電子機器を実現できる。
【０２８２】  このような構成とすることで、大型で且つ高解像度の表示装置を実現できる。例えば画面サイズが対角３０インチ以上、４０インチ以上、５０インチ以上、または６０インチ以上の表示装置にも適用を実現することができる。また、解像度が４Ｋ２Ｋ、または８Ｋ４Ｋなどといった極めて高解像度の表示装置を実現することができる。
【０２８３】［断面構成例］
以下では、表示素子として液晶素子を用いる構成、及びＥＬ素子を用いる構成について、図１３乃至図１６を用いて説明する。なお、図１３乃至図１５は、それぞれ図１２（Ａ）に示す一点鎖線Ｑ−Ｒにおける断面図である。また図１６は、図１２（Ｂ）に示した表示装置７００Ａ中の一点鎖線Ｓ−Ｔにおける断面図である。図１３及び図１４は、表示素子として液晶素子を用いた構成であり、図１５及び図１６は、ＥＬ素子を用いた構成である。
【０２８４】〔表示装置の共通部分に関する説明〕
図１３乃至図１６に示す表示装置は、引き回し配線部７１１と、画素部７０２と、ソースドライバ回路部７０４と、ＦＰＣ端子部７０８と、を有する。引き回し配線部７１１は、信号線７１０を有する。画素部７０２は、トランジスタ７５０及び容量素子７９０を有する。ソースドライバ回路部７０４は、トランジスタ７５２を有する。図１４では、容量素子７９０が無い場合を示している。
【０２８５】  トランジスタ７５０及びトランジスタ７５２は、チャネルが形成される半導体層に、酸化物半導体を適用したトランジスタである。なお、これに限られず、半導体層に、シリコン（アモルファスシリコン、多結晶シリコン、または単結晶シリコン）を適用したトランジスタを用いることもできる。
【０２８６】  本実施の形態で用いるトランジスタは、高純度化し、酸素欠損の形成を抑制した酸化物半導体膜を有する。該トランジスタは、オフ電流を低くできる。よって、画像信号等の電気信号の保持時間を長くでき、画像信号等の書き込み間隔も長く設定できる。よって、リフレッシュ動作の頻度を少なくできるため、消費電力を低減する効果を奏する。
【０２８７】  また、本実施の形態で用いるトランジスタは、比較的高い電界効果移動度が得られるため、高速駆動が可能である。例えば、このような高速駆動が可能なトランジスタを表示装置に用いることで、画素部のスイッチングトランジスタと、駆動回路部に使用するドライバトランジスタを同一基板上に形成することができる。すなわち、シリコンウェハ等により形成された駆動回路を適用しない構成も可能であり、表示装置の部品点数を削減することができる。また、画素部においても、高速駆動が可能なトランジスタを用いることで、高画質な画像を提供することができる。
【０２８８】  図１３、図１５、及び図１６に示す容量素子７９０は、トランジスタ７５０が有する第１のゲート電極と同一の膜を加工して形成される下部電極と、半導体層と同一の金属酸化物を加工して形成きれる上部電極と、を有する。上部電極は、トランジスタ７５０のソース領域及びドレイン領域と同様に低抵抗化されている。また、下部電極と上部電極との間には、トランジスタ７５０の第１のゲート絶縁層として機能する絶縁膜の一部が設けられる。すなわち、容量素子７９０は、一対の電極間に誘電体膜として機能する絶縁膜が挟持された積層型の構造である。また、上部電極には、トランジスタのソース電極及びドレイン電極と同一の膜を加工して得られる配線が接続されている。
【０２８９】  また、トランジスタ７５０、トランジスタ７５２、及び容量素子７９０上には平坦化絶縁膜７７０が設けられている。
【０２９０】  画素部７０２が有するトランジスタ７５０と、ソースドライバ回路部７０４が有するトランジスタ７５２とは、異なる構造のトランジスタを用いてもよい。例えば、いずれか一方にトップゲート型のトランジスタを適用し、他方にボトムゲート型のトランジスタを適用した構成としてもよい。なお、上記ゲートドライバ回路部７０６についてもソースドライバ回路部７０４と同様である。
【０２９１】  信号線７１０は、トランジスタ７５０及びトランジスタ７５２のソース電極及びドレイン電極等と同じ導電膜で形成されている。このとき、銅元素を含む材料等の低抵抗な材料を用いると、配線抵抗に起因する信号遅延等が少なく、大画面での表示が可能となるため好ましい。
【０２９２】  ＦＰＣ端子部７０８は、一部が接続電極として機能する配線７６０、異方性導電膜７８０、及びＦＰＣ７１６を有する。配線７６０は、異方性導電膜７８０を介してＦＰＣ７１６が有する端子と電気的に接続される。ここでは、配線７６０は、トランジスタ７５０、７５２のソース電極及びドレイン電極等と同じ導電膜で形成されている。
【０２９３】  第１の基板７０１及び第２の基板７０５としては、例えばガラス基板、またはプラスチック基板等の可撓性を有する基板を用いることができる。第１の基板７０１に可撓性を有する基板を用いる場合には、第１の基板７０１とトランジスタ７５０等との間に、水や水素に対するバリア性を有する絶縁層を設けることが好ましい。
【０２９４】  また、第２の基板７０５側には、遮光膜７３８と、着色膜７３６と、これらに接する絶縁膜７３４と、が設けられる。
【０２９５】〔液晶素子を用いる表示装置の構成例〕
図１３に示す表示装置７００は、液晶素子７７５を有する。液晶素子７７５は、導電層７７２、導電層７７４、及びこれらの間に液晶層７７６を有する。導電層７７４は、第２の基板７０５側に設けられ、共通電極としての機能を有する。また、導電層７７２は、トランジスタ７５０が有するソース電極またはドレイン電極と電気的に接続される。導電層７７２は、平坦化絶縁膜７７０上に形成され、画素電極として機能する。
【０２９６】  導電層７７２には、可視光に対して透光性の材料、または反射性の材料を用いることができる。透光性の材料としては、例えば、インジウム、亜鉛、スズ等を含む酸化物材料を用いるとよい。反射性の材料としては、例えば、アルミニウム、銀等を含む材料を用いるとよい。
【０２９７】  導電層７７２に反射性の材料を用いると、表示装置７００は反射型の液晶表示装置となる。一方、導電層７７２に透光性の材料を用いると、透過型の液晶表示装置となる。反射型の液晶表示装置の場合、視認側に偏光板を設ける。一方、透過型の液晶表示装置の場合、液晶素子７７５を挟むように一対の偏光板を設ける。
【０２９８】  図１４に示す表示装置７００は、横電界方式（例えば、ＦＦＳモード）の液晶素子７７５を用いる例を示す。導電層７７２上に絶縁層７７３を介して、共通電極として機能する導電層７７４が設けられる。導電層７７２と導電層７７４との間に生じる電界によって、液晶層７７６の配向状態を制御することができる。
【０２９９】  図１４において、導電層７７４、絶縁層７７３、導電層７７２の積層構造により保持容量を構成することができる。そのため、別途容量素子を設ける必要がなく、開口率を高めることができる。
【０３００】  また、図１３及び図１４には図示しないが、液晶層７７６と接する配向膜を設ける構成としてもよい。また、偏光部材、位相差部材、反射防止部材などの光学部材（光学基板）、及びバックライト、サイドライトなどの光源を適宜設けることができる。
【０３０１】  液晶層７７６には、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶（ＰＤＬＣ：Ｐｏｌｙｍｅｒ  Ｄｉｓｐｅｒｓｅｄ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）、高分子ネットワーク型液晶（ＰＮＬＣ：Ｐｏｌｙｍｅｒ  Ｎｅｔｗｏｒｋ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）、強誘電性液晶、反強誘電性液晶等を用いることができる。また、横電界方式を採用する場合、配向膜を用いないブルー相を示す液晶を用いてもよい。
【０３０２】  また、液晶素子のモードとしては、ＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）モード、ＶＡ（Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モード、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ−Ｓｗｉｔｃｈｉｎｇ）モード、ＦＦＳ（Ｆｒｉｎｇｅ  Ｆｉｅｌｄ  Ｓｗｉｔｃｈｉｎｇ）モード、ＡＳＭ（Ａｘｉａｌｌｙ  Ｓｙｍｍｅｔｒｉｃ  ａｌｉｇｎｅｄ  Ｍｉｃｒｏ−ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＥＣＢ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｃｏｎｔｒｏｌｌｅｄ  Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ゲストホストモードなどを用いることができる。
【０３０３】  また、液晶層７７６に高分子分散型液晶や、高分子ネットワーク型液晶などを用いた、散乱型の液晶を用いることもできる。このとき、着色膜７３６を設けずに白黒表示を行う構成としてもよいし、着色膜７３６を用いてカラー表示を行う構成としてもよい。
【０３０４】  また、液晶素子の駆動方法として、継時加法混色法に基づいてカラー表示を行う、時間分割表示方式（フィールドシーケンシャル駆動方式ともいう）を適用してもよい。その場合、着色膜７３６を設けない構成とすることができる。時間分割表示方式を用いた場合、例えばＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のそれぞれの色を呈する副画素を設ける必要がないため、画素の開口率を向上させることや、精細度を高められるなどの利点がある。
【０３０５】〔発光素子を用いる表示装置〕
図１５に示す表示装置７００は、発光素子７８２を有する。発光素子７８２は、導電層７７２、ＥＬ層７８６、及び導電膜７８８を有する。ＥＬ層７８６は、有機化合物、または量子ドットなどの無機化合物を有する。
【０３０６】  有機化合物に用いることのできる材料としては、蛍光性材料または燐光性材料などが挙げられる。また、量子ドットに用いることのできる材料としては、コロイド状量子ドット材料、合金型量子ドット材料、コア・シェル型量子ドット材料、コア型量子ドット材料、などが挙げられる。
【０３０７】  図１５に示す表示装置７００には、平坦化絶縁膜７７０上に導電層７７２の一部を覆う絶縁膜７３０が設けられる。ここで、発光素子７８２は透光性の導電膜７８８を有し、トップエミッション型の発光素子である。なお、発光素子７８２は、導電層７７２側に光を射出するボトムエミッション構造や、導電層７７２側及び導電膜７８８側の双方に光を射出するデュアルエミッション構造としてもよい。
【０３０８】  また、着色膜７３６は発光素子７８２と重なる位置に設けられ、遮光膜７３８は絶縁膜７３０と重なる位置、引き回し配線部７１１、及びソースドライバ回路部７０４に設けられている。また、着色膜７３６及び遮光膜７３８は、絶縁膜７３４で覆われている。また、発光素子７８２と絶縁膜７３４の間は封止膜７３２で充填されている。なお、ＥＬ層７８６を画素毎に島状または画素列毎に縞状に形成する、すなわち塗り分けにより形成する場合においては、着色膜７３６を設けない構成としてもよい。
【０３０９】  図１６には、フレキシブルディスプレイに好適に適用できる表示装置の構成を示している。図１６は、図１２（Ｂ）に示した表示装置７００Ａ中の一点鎖線Ｓ−Ｔにおける断面図である。
【０３１０】  図１６に示す表示装置７００Ａは、図１５で示した基板７０１に代えて、支持基板７４５、接着層７４２、樹脂層７４３、及び絶縁層７４４が積層された構成を有する。トランジスタ７５０や容量素子７９０等は、樹脂層７４３上に設けられた絶縁層７４４上に設けられている。
【０３１１】  支持基板７４５は、有機樹脂やガラス等を含み、可撓性を有する程度に薄い基板である。樹脂層７４３は、ポリイミドやアクリルなどの有機樹脂を含む層である。絶縁層７４４は、酸化シリコン、酸化窒化シリコン、窒化シリコン等の無機絶縁膜を含む。樹脂層７４３と支持基板７４５とは、接着層７４２によって貼り合されている。樹脂層７４３は、支持基板７４５よりも薄いことが好ましい。
【０３１２】  また、図１６に示す表示装置７００Ａは、図１５で示した基板７０５に代えて保護層７４０を有する。保護層７４０は、封止膜７３２と貼りあわされている。保護層７４０としては、ガラス基板や樹脂フィルムなどを用いることができる。また、保護層７４０として、偏光板、散乱板などの光学部材や、タッチセンサパネルなどの入力装置、またはこれらを２つ以上積層した構成を適用してもよい。
【０３１３】  また、発光素子７８２が有するＥＬ層７８６は、絶縁膜７３０及び導電層７７２上に島状に設けられている。ＥＬ層７８６を、副画素毎に発光色が異なるように作り分けることで、着色膜７３６を用いずにカラー表示を実現することができる。また、発光素子７８２を覆って、保護層７４１が設けられている。保護層７４１は発光素子７８２に水などの不純物が拡散することを防ぐ機能を有する。保護層７４１は、無機絶縁膜を用いることが好ましい。また、無機絶縁膜と有機絶縁膜をそれぞれ一以上含む積層構造とすることがより好ましい。
【０３１４】  また、図１６では、折り曲げ可能な領域Ｐ２を示している。領域Ｐ２では、支持基板７４５、接着層７４２のほか、絶縁層７４４等の無機絶縁膜が設けられていない部分を有する。また、領域Ｐ２において、配線７６０を覆って樹脂層７４６が設けられている。折り曲げ可能な領域Ｐ２に無機絶縁膜をできるだけ設けず、且つ、金属または合金を含む導電層と、有機材料を含む層のみを積層した構成とすることで、曲げた際にクラックが生じることを防ぐことができる。また、領域Ｐ２に支持基板７４５を設けないことで、極めて小さい曲率半径で、表示装置７００Ａの一部を曲げることができる。
【０３１５】〔表示装置に入力装置を設ける構成例〕
また、図１３乃至図１６に示す表示装置７００に入力装置を設けてもよい。当該入力装置としては、例えば、タッチセンサ等が挙げられる。
【０３１６】  例えばセンサの方式としては、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、光学方式、感圧方式など様々な方式を用いることができる。または、これら２つ以上を組み合わせて用いてもよい。
【０３１７】  なお、タッチパネルの構成は、入力装置を一対の基板の間に形成する、所謂インセル型のタッチパネル、入力装置を表示装置７００上に形成する、所謂オンセル型のタッチパネル、または表示装置７００に貼り合わせて用いる、所謂アウトセル型のタッチパネルなどがある。
【０３１８】  本実施の形態で例示した構成例、及びそれらに対応する図面等は、少なくともその一部を他の構成例、または図面等と適宜組み合わせて実施することができる。
【０３１９】  本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【０３２０】（実施の形態６）
本実施の形態では、本発明の一態様の情報処理装置に用いることのできる、表示装置を備える電子機器の構成例について説明する。
【０３２１】  本発明の一態様の表示装置及び表示モジュールは、表示機能を有する電子機器等の表示部に適用することができる。このような電子機器としては、例えばテレビジョン装置、ノート型のパーソナルコンピュータ、モニタ装置、デジタルサイネージ、パチンコ機、ゲーム機などの比較的大きな画面を備える電子機器の他、デジタルカメラ、デジタルビデオカメラ、デジタルフォトフレーム、携帯電話機、携帯型ゲーム機、携帯情報端末、音響再生装置、などが挙げられる。
【０３２２】  特に、本発明の一態様の表示装置及び表示モジュールは、精細度を高めることが可能なため、比較的小さな表示部を有する電子機器に好適に用いることができる。このような電子機器としては、例えば腕時計型やブレスレット型の情報端末機（ウェアラブル機器）や、ヘッドマウントディスプレイなどのＶＲ向け機器、またはメガネ型のＡＲ向け機器等、頭部に装着可能なウェアラブル機器等に好適に用いることができる。
【０３２３】  図１７（Ａ）に、メガネ型の電子機器９００の斜視図を示す。電子機器９００は、一対の表示パネル９０１、一対の筐体９０２、一対の光学部材９０３、一対の装着部９０４等を有する。
【０３２４】  電子機器９００は、光学部材９０３の表示領域９０６に、表示パネル９０１で表示した画像を投影することができる。また、光学部材９０３は透光性を有するため、ユーザーは光学部材９０３を通して視認される透過像に重ねて、表示領域９０６に表示された画像を見ることができる。したがって電子機器９００は、ＡＲ表示が可能な電子機器である。
【０３２５】  また電子機器９００が備える表示パネル９０１は、画像を表示する機能に加えて、撮像する機能を有することが好ましい。このとき、電子機器９００は、光学部材９０３を介して表示パネル９０１に入射された光を受光し、電気信号に変換して出力することができる。これにより、ユーザーの目、または目及びその周辺を撮像し、画像情報として外部、または電子機器９００が備える演算部に出力することができる。
【０３２６】  また一つの筐体９０２には、前方を撮像することのできるカメラ９０５が設けられている。また図示しないが、いずれか一方の筐体９０２には無線受信機、またはケーブルを接続可能なコネクタを備え、筐体９０２に映像信号等を供給することができる。また、筐体９０２に、ジャイロセンサなどの加速度センサを備えることで、ユーザーの頭部の向きを検知して、その向きに応じた画像を表示領域９０６に表示することもできる。また、筐体９０２にはバッテリーが設けられていることが好ましい。当該バッテリーは、無線、または有線によって充電することができる。
【０３２７】  続いて、図１７（Ｂ）を用いて、電子機器９００の表示領域９０６への画像の投影方法について説明する。筐体９０２の内部には、表示パネル９０１、レンズ９１１、反射板９１２が設けられている。また、光学部材９０３の表示領域９０６に相当する部分には、ハーフミラーとして機能する反射面９１３を有する。
【０３２８】  表示パネル９０１から発せられた光９１５は、レンズ９１１を通過し、反射板９１２により光学部材９０３側へ反射される。光学部材９０３の内部において、光９１５は光学部材９０３の端面で全反射を繰り返し、反射面９１３に到達することで、反射面９１３に画像が投影される。これにより、ユーザーは、反射面９１３で反射された光９１５と、光学部材９０３（反射面９１３を含む）を透過した透過光９１６の両方を視認することができる。
【０３２９】  図１７では、反射板９１２及び反射面９１３がそれぞれ曲面を有する例を示している。これにより、これらが平面である場合に比べて、光学設計の自由度を高めることができ、光学部材９０３の厚さを薄くすることができる。なお、反射板９１２及び反射面９１３を平面としてもよい。
【０３３０】  反射板９１２としては、鏡面を有する部材を用いることができ、反射率が高いことが好ましい。また、反射面９１３としては、金属膜の反射を利用したハーフミラーを用いてもよいが、全反射を利用したプリズムなどを用いると、透過光９１６の透過率を高めることができる。
【０３３１】  ここで、筐体９０２は、レンズ９１１と表示パネル９０１との距離や、これらの角度を調整する機構を有していることが好ましい。これにより、ピント調整や、画像の拡大、縮小などを行うことが可能となる。例えば、レンズ９１１または表示パネル９０１の一方または両方が、光軸方向に移動可能な構成とすればよい。
【０３３２】  また筐体９０２は、反射板９１２の角度を調整可能な機構を有していることが好ましい。反射板９１２の角度を変えることで、画像が表示される表示領域９０６の位置を変えることが可能となる。これにより、ユーザーの目の位置に応じて最適な位置に表示領域９０６を配置することが可能となる。
【０３３３】  表示パネル９０１には、本発明の一態様の表示装置、または表示モジュールを適用することができる。したがって極めて精細度の高い表示が可能な電子機器９００とすることができる。
【０３３４】  図１８（Ａ）及び図１８（Ｂ）に、ゴーグル型の電子機器９５０の斜視図を示す。図１８（Ａ）は、電子機器９５０の正面、平面及び左側面を示す斜視図であり、図１８（Ｂ）は、電子機器９５０の背面、底面、及び右側面を示す斜視図である。
【０３３５】  電子機器９５０は、一対の表示パネル９５１、筐体９５２、一対の装着部９５４、緩衝部材９５５、一対のレンズ９５６等を有する。一対の表示パネル９５１は、筐体９５２の内部の、レンズ９５６を通して視認できる位置にそれぞれ設けられている。
【０３３６】  電子機器９５０は、ＶＲ向けの電子機器である。電子機器９５０を装着したユーザーは、レンズ９５６を通して表示パネル９５１に表示される画像を視認することができる。また一対の表示パネル９５１に異なる画像を表示させることで、視差を用いた３次元表示を行うこともできる。
【０３３７】  また、筐体９５２の背面側には、入力端子９５７と、出力端子９５８とが設けられている。入力端子９５７には映像出力機器等からの映像信号や、筐体９５２内に設けられるバッテリーを充電するための電力等を供給するケーブルを接続することができる。出力端子９５８としては、例えば音声出力端子として機能し、イヤフォンやヘッドフォン等を接続することができる。なお、無線通信により音声データを出力可能な構成とする場合や、外部の映像出力機器から音声を出力する場合には、当該音声出力端子を設けなくてもよい。
【０３３８】  また、筐体９５２は、レンズ９５６及び表示パネル９５１が、ユーザーの目の位置に応じて最適な位置となるように、これらの左右の位置を調整可能な機構を有していることが好ましい。また、レンズ９５６と表示パネル９５１との距離を変えることで、ピントを調整する機構を有していることが好ましい。
【０３３９】  表示パネル９５１には、本発明の一態様の表示装置、または表示モジュールを適用することができる。したがって極めて精細度の高い表示が可能な電子機器９５０とすることができる。これにより、ユーザーに高い没入感を感じさせることができる。
【０３４０】  緩衝部材９５５は、ユーザーの顔（額や頬など）に接触する部分である。緩衝部材９５５がユーザーの顔と密着することにより、光漏れを防ぐことができ、より没入感を高めることができる。緩衝部材９５５は、ユーザーが電子機器９５０を装着した際にユーザーの顔に密着するよう、緩衝部材９５５としては柔らかな素材を用いることが好ましい。例えばゴム、シリコーンゴム、ウレタン、スポンジなどの素材を用いることができる。また、スポンジ等の表面を布や革（天然皮革または合成皮革）、などで覆ったものを用いると、ユーザーの顔と緩衝部材９５５との間に隙間が生じにくく光漏れを好適に防ぐことができる。また、このような素材を用いると、肌触りが良いことに加え、寒い季節などに装着した際に、ユーザーに冷たさを感じさせないため好ましい。緩衝部材９５５や装着部９５４などの、ユーザーの肌に触れる部材は、取り外し可能な構成とすると、クリーニングや交換が容易となるため好ましい。
【０３４１】  本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【０３４２】（実施の形態７）
本実施の形態では、本発明の一態様の情報処理装置、または表示装置として用いることのできる、電子機器の例について説明する。
【０３４３】  図１９（Ａ）に示す電子機器６５００は、スマートフォンとして用いることのできる携帯情報端末機である。
【０３４４】  電子機器６５００は、筐体６５０１、表示部６５０２、電源ボタン６５０３、ボタン６５０４、スピーカ６５０５、マイク６５０６、カメラ６５０７、及び光源６５０８等を有する。表示部６５０２はタッチパネル機能を備える。また、電子機器６５００は、筐体６５０１の内部に演算装置、記憶装置等を備える。
【０３４５】  カメラ６５０７により、ユーザーの顔の一部を撮像することができる。このとき、光源６５０８として可視光だけでなく赤外線を発することのできる構成とすることで、ユーザーに眩しさを与えることなく、より正確な顔の情報を取得することができる。
【０３４６】  図１９（Ｂ）は、筐体６５０１のマイク６５０６側の端部を含む断面概略図である。
【０３４７】  筐体６５０１の表示面側には透光性を有する保護部材６５１０が設けられ、筐体６５０１と保護部材６５１０に囲まれた空間内に、表示パネル６５１１、光学部材６５１２、タッチセンサパネル６５１３、プリント基板６５１７、バッテリー６５１８等が配置されている。
【０３４８】  保護部材６５１０には、表示パネル６５１１、光学部材６５１２、及びタッチセンサパネル６５１３が図示しない接着層により固定されている。
【０３４９】  また、表示部６５０２よりも外側の領域において、表示パネル６５１１の一部が折り返されている。また、当該折り返された部分に、ＦＰＣ６５１５が接続されている。ＦＰＣ６５１５には、ＩＣ６５１６が実装されている。またＦＰＣ６５１５は、プリント基板６５１７に設けられた端子に接続されている。
【０３５０】  表示パネル６５１１には本発明の一態様のフレキシブルディスプレイパネルを適用することができる。そのため、極めて軽量な電子機器を実現できる。また、表示パネル６５１１が極めて薄いため、電子機器の厚さを抑えつつ、大容量のバッテリー６５１８を搭載することもできる。また、表示パネル６５１１の一部を折り返して、画素部の裏側にＦＰＣ６５１５との接続部を配置することにより、狭額縁の電子機器を実現できる。
【０３５１】  本実施の形態は、少なくともその一部を本明細書中に記載する他の実施の形態と適宜組み合わせて実施することができる。
【符号の説明】
【０３５２】１０：情報処理装置、１１：情報提示部、１２：被写体検出部、１３：特徴抽出部、１４：感情推定部、１５：情報生成部、２０：画像表示装置、２１：画像表示部、２５：画像生成部、３０：対角、５１：入力層、５２：中間層、５３：出力層、６１：データ、６２：データ、６３：データ、７１：画像情報、７２：画像情報、７３：画像情報、１００：情報処理装置、１０１：演算部、１０２：演算部、１０３：メモリモジュール、１０４：ディスプレイモジュール、１０５：センサモジュール、１０６：サウンドモジュール、１０７：振動モジュール、１０８：照明モジュール、１０９：芳香モジュール、１１０：バスライン、１１１：通信モジュール、１１２：バッテリーモジュール、１１３：カメラモジュール、１１４：外部インターフェース
【図１】
2019243955.tif 000003
【図２】
2019243955.tif 000004
【図３】
2019243955.tif 000005
【図４】
2019243955.tif 000006
【図５】
2019243955.tif 000007
【図６】
2019243955.tif 000008
【図７】
2019243955.tif 000009
【図８】
2019243955.tif 000010
【図９】
2019243955.tif 000011
【図１０】
2019243955.tif 000012
【図１１】
2019243955.tif 000013
【図１２】
2019243955.tif 000014
【図１３】
2019243955.tif 000015
【図１４】
2019243955.tif 000016
【図１５】
2019243955.tif 000017
【図１６】
2019243955.tif 000018
【図１７】
2019243955.tif 000019
【図１８】
2019243955.tif 000020
【図１９】
2019243955.tif 000021
【国際調査報告】
2019243955.tif 000022
2019243955.tif 000023
2019243955.tif 000024
2019243955.tif 000025