(57)【要約】新規な構成の表示システム、および移動体を提供すること。撮像装置、表示装置、特徴量出力回路、画像処理回路およびサーバを有する表示システムとする。撮像装置は、撮像データを取得する機能を有する。特徴量出力回路は、撮像データの特徴量データを取得する機能を有する。データベースは、補正用データと、検出用データと、を有する。データベースは、特徴量データに応じて補正用データを画像処理回路に出力する機能を有する。データベースは、機械学習あるいは特徴量データの一致または類似に応じて、補正用データを選び出す。画像処理回路は、補正用データをもとに撮像データを補正することで画像データを生成する機能を有する。表示装置は、画像データに応じた表示を行う機能を有する。
2018197984.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置、表示装置、特徴量出力回路、画像処理回路、およびデータベースを有し、
前記撮像装置は、撮像データを出力する機能を有し、
前記特徴量出力回路は、前記撮像データの特徴量データを出力する機能を有し、
前記データベースは、補正用データと、検出用データと、を有し、前記特徴量データに応じて前記補正用データを前記画像処理回路に出力する機能を有し、
前記画像処理回路は、前記補正用データをもとに前記撮像データを補正することで画像データを生成する機能を有し、
前記表示装置は、前記画像データに応じた表示を行う機能を有することを特徴とする表示システム。
【請求項２】
請求項１において、
前記データベースは、前記特徴量データに一致または類似する前記検出用データを選び出して前記検出用データに対応する前記補正用データを前記画像処理回路に出力する機能を有することを特徴とする表示システム。
【請求項３】
請求項１において、
前記データベースは、前記特徴量データを学習用データとした機械学習により重みパラメータとなる前記検出用データを更新し、前記特徴量データに一致または類似する前記補正用データを推論することができる機能を有することを特徴とする表示システム。
【請求項４】
撮像装置、表示装置、特徴量出力回路、画像処理回路、および送受信回路と、を有し、
前記撮像装置は、撮像データを取得する機能を有し、
前記特徴量出力回路は、前記撮像データの特徴量データを取得する機能を有し、
前記特徴量データは、送受信回路を介して、補正用データと、検出用データとを有するデータベースに送信される機能を有し、
前記画像処理回路は、前記送受信回路を介して、前記データベースから前記補正用データを受信し、前記補正用データをもとに前記撮像データを補正することで画像データを生成する機能を有し、
前記表示装置は、前記画像データに応じた表示を行う機能を有することを特徴とする移動体。
【請求項５】
請求項４において、
前記補正用データは、前記検出用データに対応するデータであり、
前記検出用データは、前記特徴量データに一致または類似するデータであることを特徴とする移動体。
【請求項６】
請求項４において、
前記補正用データは、前記特徴量データを学習用データとした機械学習により重みパラメータとなる前記検出用データを更新したデータベースにおいて、前記特徴量データを入力することで推論して得られるデータであることを特徴とする移動体。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明の一態様は、表示システムおよび移動体に関する。
【背景技術】
【０００２】  車両周辺の情報を撮像するための撮像装置、および撮像で得られた情報を表示するための表示装置を備えた車両が普及している（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−５６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  夜間走行中に車両周辺を撮像するような状況で、車両のヘッドライト（前照灯）などによる高照度の光源（眩光）が近付くことになる。そのため得られる撮像データは光源周辺で過剰な露光となり、光源周辺に対応する領域の表示が白くなるといった問題がある。一方露光を抑えることで、光源周辺の露光が調節可能となるものの表示する画像が暗くなってしまい、車両全体の大きさや形状の把握が困難となる。つまり、得られる情報が限定的となる。【０００５】  本発明の一態様は、新規な表示システムおよび移動体等を提供することを課題の一とする。【０００６】  または本発明の一態様は、撮像環境に起因して、取得した撮像データに欠損（不鮮明な）部分が生じても正常な表示を行うことができる、新規な表示システムおよび移動体等を提供することを課題の一とする。または本発明の一態様は、視認性の向上を図ることができる、新規な表示システムおよび移動体等を提供することを課題の一とする。
【課題を解決するための手段】
【０００７】  本発明の一態様の表示システムは、撮像装置で得られる撮像データにおいて、鮮明に撮像された被写体の一部の情報から特徴量を抽出し、データベースにおいて照合することで対応する補正用データを選び出して、この補正用データをもとに撮像データの不鮮明な領域を補正することを要旨とする。【０００８】  本発明の一態様は、撮像装置、表示装置、特徴量出力回路、画像処理回路、およびデータベースを有し、撮像装置は、撮像データを出力する機能を有し、特徴量出力回路は、撮像データの特徴量データを出力する機能を有し、データベースは、補正用データと、検出用データと、を有し、特徴量データに応じて補正用データを画像処理回路に出力する機能を有し、画像処理回路は、補正用データをもとに撮像データを補正することで画像データを生成する機能を有し、表示装置は、画像データに応じた表示を行う機能を有する表示システムである。【０００９】  本発明の一態様において、データベースは、特徴量データに一致または類似する検出用データを選び出して検出用データに対応する補正用データを画像処理回路に出力する機能を有する表示システムが好ましい。【００１０】  本発明の一態様において、データベースは、特徴量データを学習用データとした機械学習により重みパラメータとなる検出用データを更新し、特徴量データに一致または類似する補正用データを推論することができる機能を有する表示システムが好ましい。【００１１】  本発明の一態様は、撮像装置、表示装置、特徴量出力回路、画像処理回路、および送受信回路と、を有し、撮像装置は、撮像データを取得する機能を有し、特徴量出力回路は、撮像データの特徴量データを取得する機能を有し、特徴量データは、送受信回路を介して、補正用データと、検出用データとを有するデータベースに送信される機能を有し、画像処理回路は、送受信回路を介して、データベースから補正用データを受信し、補正用データをもとに撮像データを補正することで画像データを生成する機能を有し、表示装置は、画像データに応じた表示を行う機能を有する移動体である。【００１２】  本発明の一態様において、補正用データは、検出用データに対応するデータであり、検出用データは、特徴量データに一致または類似するデータである移動体が好ましい。【００１３】  本発明の一態様において、補正用データは、特徴量データを学習用データとした機械学習により重みパラメータとなる検出用データを更新したデータベースにおいて、特徴量データを入力することで推論して得られるデータである移動体が好ましい。【００１４】  なおその他の本発明の一態様については、以下で述べる「発明を実施するための形態」、および「図面」に記載されている。
【発明の効果】
【００１５】  本発明の一態様は、新規な表示システム、および当該表示システムを備えた移動体等を提供することができる。【００１６】  または本発明の一態様は、撮像環境に起因して、取得した撮像データに欠損（不鮮明な）部分が生じても正常な表示を行うことができる、新規な表示システムおよび移動体等を提供することができる。または本発明の一態様は、視認性の向上を図ることができる、新規な表示システムおよび移動体等を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】表示システムを説明するためのブロック図。
【図２】表示システムを説明するためのブロック図。
【図３】表示システムを説明するための概念図。
【図４】表示システムを説明するためのブロック図。
【図５】表示システムを説明するためのブロック図。
【図６】表示システムを説明するためのフローチャート。
【図７】表示システムを説明するためのフローチャート。
【図８】表示システムを説明するためのブロック図。
【図９】表示システムを説明するための図。
【図１０】表示システムを説明するための図。
【図１１】表示システムの動作の具体例を説明するための図。
【図１２】表示システムの動作の具体例を説明するための図。
【図１３】表示システムの動作の具体例を説明するための図。
【図１４】表示システムの動作の具体例を説明するための図。
【図１５】表示システムの動作の具体例を説明するための図。
【図１６】半導体装置の構成例を示す図。
【図１７】メモリセルの構成例を示す図。
【図１８】オフセット回路の構成例を示す図。
【図１９】タイミングチャート。
【図２０】積差演算回路の応用例を示す図。
【図２１】表示装置の一態様を示す上面図。
【図２２】表示装置の一態様を示す断面図。
【図２３】表示装置の一態様を示す断面図。
【図２４】移動体における表示装置を説明するための図。
【図２５】移動体の一例を説明する図。
【発明を実施するための形態】
【００１８】  以下、本発明の一態様について図面を参照しながら説明する。但し、本発明の一態様は多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することなくその形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、以下の記載内容に限定して解釈されるものではない。
【００１９】（実施の形態１）
＜表示システムの構成＞
本発明の一態様の表示システムについて説明する。
【００２０】  図１は、本発明の一態様である表示システムの一例を説明するためのブロック図である。図１に示す表示システム１０は、撮像装置１１、特徴量出力回路１２、データベース１３、画像処理回路１４および表示装置１５を有する。
【００２１】  撮像装置１１は、具体的には、自動車などの移動体に取り付けられるカメラモジュールである。撮像装置１１は、撮像データ１６を出力する機能を有する。撮像データ１６は、特徴量出力回路１２および画像処理回路１４に出力される。
【００２２】  撮像装置１１はダイナミックレンジの広い撮像素子を有することが好適である。例えば、セレンを有する撮像素子を備えた撮像装置１１とすることで、明暗差の大きい被写体を撮像する際に、撮像データの不鮮明な部分を減らすことができる。
【００２３】  特徴量出力回路１２は、撮像データ１６における特徴量を抽出し、特徴量データとして出力する。特徴量の抽出は、撮像装置１１で得られる撮像データと、被写体の相対速度や相対位置を検出するのに用いるセンサなどから取得できるデータと、を組み合わせて行うことが有効である。
【００２４】  特徴量としては、外観の特徴量（外観特徴量）がある。例えば、自動車における外観特徴量は、一例として、自車の車体色、ナンバープレートのナンバー、車種、車幅、車高、ウインカーランプ、ヘッドライトなどがある。これらの特徴量の特徴量データは、符号化されたデータ、あるいは元の撮像データから切り出されたデータとして、データベース１３に出力される。
【００２５】  特徴量の設定は、デフォルトでは、画像認識による検出が容易なものを設定しておくことで、画像認識処理の負荷を低減することができる。なおウインカーランプやブレーキランプは、点灯または点滅が状況により変化するため、画像認識の対象から除外することも有効である。
【００２６】  撮像データ１６の不鮮明な領域は、明暗のコントラスト比が小さいなどのために、特徴量の抽出が困難な領域である。そのため特徴量出力回路１２は、特徴量を抽出することで撮像データの不鮮明な領域のデータを削減することができる。
【００２７】  また特徴量出力回路１２は、例えば、Ｈａａｒ−ｌｉｋｅ特徴、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴、ＳＩＦＴ（Ｓｃａｌｄ  Ｉｎｖａｒｉａｎｃｅ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴、またはＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）を抽出する局所勾配特徴抽出技術などを組みあわせて所望箇所の特徴量データを抽出して出力することも有効である。また撮像データ１６をガウシアンフィルタで平滑化し、特徴的な領域の情報を選別することも有効である。
【００２８】  また局所勾配特徴抽出技術とＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）学習とを組み合わせた物体検出を行ない、所望箇所の特徴量データを抽出して出力することも有効である。特徴量出力回路１２は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）学習によって自動算出された特徴量を特徴量データとして出力してもよい。
【００２９】  特徴量出力回路１２は、主にマイクロコンピュータとして構成され、プロセッサ、メモリ、Ｉ／Ｏ、及びこれらを接続するバスによって構成される。特徴量出力回路１２では、撮像装置１１の他、各種センサの情報に基づき、プロセッサがメモリに予め記憶されているプログラムを実行することによって各種機能を実現することができる。
【００３０】  データベース１３は、特徴量データ１７、補正用データ１８および検出用データ１９を記憶する。補正用データ１８は、撮像データ１６を補正するためのデータである。検出用データ１９は、特徴量データをもとに補正用データ１８を選び出すためのデータである。
【００３１】  補正用データ１８は、画像処理回路１４において、撮像データ１６を補正するためのデータである。補正用データ１８は、撮像データ１６より解像度が高い表示が可能なデータとすることが好ましい。当該構成とすることで、撮像データ１６の補正によって得られる画像の解像度を高めることができ、表示装置１５における表示の視認性を高めることができる。
【００３２】  なお補正用データ１８を用いた撮像データの補正によって得られる画像データは、実際に目視して得られる像とは異なる場合がある。例えば、車種、車体の形状などが部分的に異なる画像データとなる場合がある。あるいは、同じ特徴量データを有する被写体から補正用データを選び出す場合がある。このような場合でも、補正のない画像データと比べて被写体の全体の情報をおぎなうことができるため、映し出された画像によってより効率的に状況を把握することができる。
【００３３】  検出用データ１９は、特徴量出力回路１２より入力される特徴量データ１７をもとに、補正用データ１８を選び出すことができるデータである。例えば検出用データは、補正用データ１８をもとに抽出された外観特徴量などの特徴量データとすることができる。当該構成により、特徴量データ１７と一致または類似する検出用データ１９を選び出すことによって、所望の補正用データ１８を選択することができる。
【００３４】  あるいは検出用データ１９は、ＣＮＮ学習における重みパラメータとなるデータでもよい。この場合、データベース１３におけるＣＮＮ学習は、予め収集した特徴量出力回路１２より入力される特徴量データ１７に補正用データ１８に対応する正解ラベルを付与したデータを学習データとして重みパラメータである検出用データ１９を更新して行う。ＣＮＮ学習を繰り返すことで検出用データ１９が更新される。更新を繰り返すことで、精度を向上させることができる。更新された検出用データ１９を重みパラメータとしたＣＮＮを用いることで、特徴量データ１７の入力に応じた補正用データ１８を精度よく選択することができる。
【００３５】  データベース１３は、補正用データ１８および検出用データ１９を記憶する機能の他、特徴量データ１７に応じた補正用データ１８を選び出すためのプログラムを記憶するメモリと、当該プログラムを実行するためのプロセッサとを備えたコンピュータとしての機能を有する。データベース１３では、コンピュータに予め記憶されているプログラムを実行することによって各種機能を実現することができる。
【００３６】  画像処理回路１４は、補正用データ１８をもとに撮像データ１６の不鮮明な領域のデータを補正し、補正された撮像データを画像データとして出力する機能を有する回路である。なお撮像データ１６の不鮮明な領域は、明暗のコントラスト比が小さい領域などの、特徴量の抽出が困難な領域に対応する。そのため、特徴量の抽出が困難な領域を補正用データ１８をもとに補正する構成を一例として挙げることができる。補正用データ１８は、撮像データ１６での被写体の全体の輪郭を補正する際に特に有効である。
【００３７】  画像処理回路１４は、一旦取得した補正用データを保持する構成が好ましい。当該構成とすることで一旦補正用データ１８を保持しておけば、繰り返して撮像データの補正に用いることができる。
【００３８】  なお補正用データ１８は、撮像データ１６より解像度が高いことが好適である。撮像装置１１で得られる撮像データの解像度がディスプレイの解像度に比べて小さい場合、補正用データ１８を撮像データの超解像処理に用いることができ、補正されて表示される画像をより鮮明にすることができる。
【００３９】  表示装置１５は、画像処理回路で生成された画像データに基づく表示を行う。表示装置１５は、自動車の場合、ルームミラーの代わりとして用いることができる。表示装置１５としては、液晶表示装置の他、エレクトロルミネッセンス素子を有する自発光型表示装置などを用いることができる。
【００４０】  表示システム１０は、撮像装置１１および表示装置１５を有する。表示システム１０は、撮像装置１１で得られる撮像データ１６において、被写体の一部の情報から特徴量を抽出し、データベース１３において照合することで補正用データ１８を選び出して、この補正用データ１８をもとに撮像データ１６の不鮮明な領域を補正する。
【００４１】  表示システム１０は、自動車などの移動体への適用が好適である。具体的には、自動車周辺をカメラなどの撮像装置で撮像し、その様子を表示装置で視認する状況で特に好適である。なお移動体とは、自動車のように移動する車両のことである。したがって移動体は自動車に限らず、バス、電車、飛行機などを含む。
【００４２】  上述のように撮像装置および表示装置を搭載した自動車では、昼夜、晴雨等の状況の変化に応じて、撮像装置で得られる撮像データに不鮮明な領域が生じる場合がある。例えば、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等が、不鮮明な領域を生じさせる原因となる。このように得られる撮像データに不鮮明な領域が存在する場合、被写体全体の大きさや形状の把握が困難となり、得られる情報が限定的となる。上述したように本発明の一態様の表示システム１０では、この被写体の一部の情報から特徴量を抽出し、データベース１３において照合することで補正用データ１８を選び出して、撮像データ１６の不鮮明な領域を補正する。そのため、視認性の向上に有効である。
【００４３】  本発明の表示システム１０の適用は、移動体に限らない。撮像装置で撮像した撮像データを表示装置に表示する際に有効である。例えば、防犯用カメラやスマートフォンなどの撮像装置で得られる撮像データの不鮮明な部分を補正する場合に有効である。
【００４４】  なおデータベース１３は、自動車と離れた遠隔地に設ける場合、図２に示す表示システムのブロック図のようにすればよい。図２に示す表示システム１０Ａは、図１の表示システム１０の構成に送受信回路２０およびネットワーク２１を追加した構成である。つまり、特徴量出力回路１２からデータベース１３に出力されるデータ、およびデータベースから画像処理回路１４に出力されるデータは、送受信回路２０およびネットワーク２１を介して行われる。
【００４５】  図２の表示システム１０Ａの構成は、図３（Ａ）に図示する概念図で説明することができる。すなわち、表示システム１０Ａは、送受信回路２０が取り付けられた自動車２２Ａから中継局２４を介してデータベース１３とのデータの送受信を行う構成となる。
【００４６】  なお図１の表示システム１０の構成は、図３（Ｂ）に図示する概念図で説明することができる。すなわち、表示システム１０を構成する撮像装置１１、特徴量出力回路１２、データベース１３、画像処理回路１４および表示装置１５は、自動車２２内に有する構成となる。特徴量出力回路１２、データベース１３および画像処理回路１４は、データ処理回路２３として図示している。
【００４７】  また図１の表示システム１０の構成において、各構成を複数設ける構成としてもよい。例えば図４には、複数の撮像装置１１＿１−１１＿ｎ（ｎは自然数）および表示装置１５＿１−１５＿ｎを備えた表示システム１０Ｂのブロック図について図示している。なお図４の構成では、撮像装置１１＿１−１１＿ｎが出力する複数の撮像データ１６の他、特徴量出力回路１２、データベース１３および画像処理回路１４が出力するデータについても複数となる。なお表示装置１５は、大型の表示部を有することで、複数の撮像装置１１＿１−１１＿ｎで撮像して得られる画像データを並べて表示する構成とすることも可能である。
【００４８】  また図１の表示システム１０の構成において、周辺の照度に応じて補正の有無を切り替える構成としてもよい。例えば図５には、図１の表示システム１０の構成にセンサ２５を追加した表示システム１０Ｃのブロック図について図示している。
【００４９】  図５の表示システム１０Ｃの構成において、センサ２５は、その出力に応じて、特徴量出力回路１２の機能を停止するか否かを制御することができる。例えばセンサ２５が照度センサの場合、照度が大きいと特徴量出力回路１２からの特徴量データの出力を停止し、照度が小さいと特徴量出力回路１２からの特徴量データの出力を開始する構成とすることができる。
【００５０】  特徴量出力回路１２からの特徴量データの出力の切り替えは、ユーザによる切り替え機能のオンとオフによって行う構成としてもよい。この場合、タッチセンサなどによる入力に応じて、機能の開始と停止を切り替えることができる構成とすればよい。
【００５１】  センサ２５として、被写体の相対速度や相対位置を検出するのに用いることができるミリ波レーダ等の他のセンサなどと組み合わせて用いる構成としてもよい。
【００５２】  以上説明した本発明の一態様の表示システムでは、撮像環境に起因して、取得した撮像データに欠損（不鮮明）部分が生じても、補正用データをもとに撮像データを補正し、正常な表示を行うための画像データを生成することができる。そのため、表示装置に表示された画像の視認性の向上を図ることができる。
【００５３】＜表示システムの動作＞
図６は、図１で説明した表示システム１０の動作例を説明するためのフローチャートである。
【００５４】  図６で説明する表示システムの動作では、撮像データ１６の特徴量を抽出することで特徴量データをデータベース１３に入力し、特徴量データ１７に一致または類似する検出用データ１９を比較することで補正用データ１８を選び出す。そして、選び出された補正用データ１８を画像処理回路１４で撮像データ１６の補正に用いる。
【００５５】  まずステップＳ１１は、撮像装置１１で撮像データ１６を取得するステップである。撮像データ１６は、特徴量出力回路１２に出力される。同じ撮像データ１６は、画像処理回路１４にも出力される。
【００５６】  ステップＳ１２は、入力された撮像データ１６に表示異常があるか否かを判定するステップである。ステップＳ１２は、ステップＳ１３の特徴量の抽出とともにおこなってもよい。表示異常がある場合、外観特徴量などの特徴量の抽出が部分的に困難となる。そのため、特徴量データの変化に基づく、表示異常の判定を行うことが有効である。あるいは、照度センサなどのセンサの出力に応じて表示異常を判定する構成でもよい。ユーザが撮像データ１６に基づく表示を見て表示異常を判定し、センサ等による切り替えを行ってもよい。表示異常がない（Ｎｏ）と判定すればステップＳ１７での表示装置１５による表示を行うステップに進む。表示異常がある（Ｙｅｓ）と判定すれば、ステップＳ１３に進む。
【００５７】  ステップＳ１３は、特徴量出力回路１２で特徴量抽出を行うステップである。得られた特徴量は、特徴量データ１７としてデータベース１３に出力される。特徴量データ１７は、画像認識処理に基づく外観特徴量と、特徴的な領域の局所勾配特徴抽出技術で得られる特徴量と、を組み合わせて得られるデータである。
【００５８】  ステップＳ１４は、ステップＳ１３で得られた特徴量データに対応する、データベース１３に記憶された検出用データ１９を選び出す（サーチする）ステップである。検出用データ１９は、上述したように、特徴量データ１７をもとに補正用データ１８を選び出すためのデータである。
【００５９】  ステップＳ１５は、ステップＳ１４でのサーチによって特徴量データ１７に一致または類似した（ヒットした）検出用データ１９に対応する補正用データ１８を画像処理回路１４に出力させるステップである。補正用データ１８は、上述したように、撮像データ１６の欠損（不鮮明）領域を補正するためのデータである。
【００６０】  ステップＳ１６は、撮像データ１６を補正して画像データを生成するステップである。補正された撮像データ１６をもとに得られる画像データは、光源周辺で過剰な露光や、被写体全体の大きさや形状の情報が補正されたデータである。つまり補正用データ１８によって、得られる情報を補完することができる。
【００６１】  ステップＳ１７は、表示装置１５での画像データに基づく表示を行うステップである。
【００６２】  図６で説明した表示システムの一連の動作では、特徴量データ１７に一致または類似する検出用データ１９を比較し、補正用データ１８を選び出すことができる。選び出された補正用データ１８を画像処理回路１４で撮像データ１６の補正に用いることで、取得した撮像データに欠損（不鮮明）部分が生じた際に正常な表示を行うための画像データを生成することができる。そのため、表示装置に表示された画像の視認性の向上を図ることができる。
【００６３】  また表示システムの動作では、撮像データ１６の特徴量をデータベース１３に抽出させて特徴量データから補正用データ１８を選び出すことができる。なおデータベース１３は、検出用データ１９をＣＮＮ学習における重みパラメータとして特徴量データに応じた補正用データ１８を推論するように学習をさせておく。そして、選び出された補正用データ１８を画像処理回路１４で撮像データ１６の補正に用いることができる。
【００６４】  図７では、検出用データ１９をＣＮＮ学習における重みパラメータとする場合の表示システム１０の学習の例を説明するためのフローチャートを示す。
【００６５】  ステップＳ２１は、上記ステップＳ１３と同じ特徴量抽出を行う。つまりステップＳ１２で表示異常のある撮像データ１６の特徴量抽出を行う。ステップＳ２１で得られる特徴量データは訓練用のデータおよびテスト用のデータであり、元になる撮像データは異なるデータであることが好ましく、大量の特徴量データを生成して用意することが好ましい。
【００６６】  ステップＳ２２は、特徴量データに正解ラベルを付与するステップである。正解ラベルは、特徴量データに対応する撮像データ１６の補正に最適な補正用データ１８に相当する。
【００６７】  ステップＳ２３は、訓練用の特徴量データを与えて、重みパラメータとなる検出用データ１９の更新を行うステップである。重みパラメータの更新は、誤差逆伝播法など既知の学習方法を用いて行うことが有効である。
【００６８】  ステップＳ２４は、特徴量データの入力を行うステップである。ステップＳ２４で入力する特徴量データは、正解ラベルを付したテスト用のデータである。
【００６９】  ステップＳ２５は、ステップＳ２４によって得られた出力信号が先に付した正解ラベルに対応するか否かの判定（Ｙｅｓ又はＮｏ）を行う。対応しなければ、ステップＳ２３でのパラメータの更新を繰り返す。
【００７０】  ステップＳ２６は、特徴量データ１７に一致または類似する補正用データ１８が得られるかの精度が設定値以下であるかの判定（Ｙｅｓ又はＮｏ）である。精度が設定値以下であれば、ステップＳ２３でのパラメータの更新を繰り返す。
【００７１】  ＣＮＮ学習を繰り返すことで検出用データ１９が更新される。更新を繰り返すことで、特徴量データ１７の入力に対応する補正用データ１８の精度を向上させることができる。更新された検出用データ１９を重みパラメータとしたＣＮＮを用いることで、未知の特徴量データ１７の入力に応じた補正用データ１８を精度よく選択することができる。
【００７２】  図８は、図７で説明したＣＮＮ（畳み込みニューラルネットワーク）の構成例を説明するためのブロック図である。
【００７３】  図８に示す畳み込みニューラルネットワーク３０は、入力層３１、中間層３２および出力層３３で構成される。
【００７４】  図８では、入力層３１において、入力データである特徴量データ１７を図示している。
【００７５】  また図８では、中間層３２において、フィルタ３４、畳み込みデータ３５、プーリングデータ３６、フィルタ３７、畳み込みデータ３８およびプーリングデータ３９を図示している。なお中間層３２の構成は一例であり、プーリング処理、およびフィルタ３４、３７による畳み込み演算処理をさらに多層で行う構成や、パディングやストライドといった演算処理を介して行う構成としてもよい。
【００７６】  また図８では、出力層３３において、全結合データ４０および出力データ４１を図示している。出力データ４１は、得られた全結合データ４０（図中、ｙ１−ｙｍ）をソフトマックス関数で処理し、正解ラベルに対応する出力が得られる。
【００７７】  図７で説明したフローチャートにおけるＣＮＮ学習では、フィルタ３４、３７のパラメータ（重みデータ）を更新して、ラベルを付与した出力データ４１（図中、Ｏ（ｙ１）−Ｏ（ｙｍ））が得られるように学習させ、推論できるようにする。特徴量データ１７を畳み込みニューラルネットワーク３０に入力することで、対応する補正用データ１８を画像処理回路１４に出力する構成とすることができる。
【００７８】  以上説明した表示システム１０およびその動作の具体例について説明する。図９および図１０では、表示システム１０を自動車に適用する場合の例について説明する。
【００７９】  図９（Ａ）は、自動車２２の後方から見た模式図である。図９（Ａ）では、撮像装置１１であるカメラ、表示装置１５であるルームミラーを図示している。
【００８０】  図９（Ｂ）では、自動車２２と、その後方にある別の自動車４２を図示している。自動車４２は光源４３であるヘッドライトを照射方向４４にある自動車２２に向けて照射する様子を図示している。また図９（Ｂ）では自動車２２の撮像装置１１を撮像方向４５にある自動車４２に向けて撮像している様子を図示している。
【００８１】  なお図９（Ｂ）の例では、撮像装置１１で撮像する被写体として自動車４２を例示しているが、被写体は自動車に限らない。例えば被写体は、歩行者、自転車、街灯、標識など、撮像データの中から特徴量の抽出によって補正用データを選び出すことができる対象であればよい。歩行者であれば、足や手などの部位の特徴から特徴量を抽出して、頭や上半身の部位を補正用データで補正する構成とすることも有効である。歩行者全身の画像データを表示装置に表示させることで、視認性を高めることができる。
【００８２】  図９（Ｂ）の場合、撮像装置１１で得られる撮像データ１６は、図９（Ｃ）のように表すことができる。つまり図９（Ｃ）に図示するように、光源４３の照度が高くなる。露光を抑えることで光源４３周辺の領域の形状は認識されるものの、自動車４２全体の形状は認識することが困難になる。そのため、図９（Ｄ）に図示するように、夜間走行時などで高照度の光源を有する自動車を撮像する場合、撮像データ内に鮮明領域４８と不鮮明領域４９とが混在することになる。
【００８３】  また別の例として図１０（Ａ）は、自動車２２Ａの後方から見た模式図である。図１０（Ａ）では、撮像装置１１Ａであるカメラ、表示装置１５であるルームミラーを図示している。また図１０（Ａ）では撮像装置１１Ａを拡大した模式図を図示しており、レンズ４６および水滴４７を図示している。雨天などの場合、レンズ４６の表面に水滴４７などが付着し、得られる撮像データが不鮮明になる場合がある。なお図１０（Ａ）では、表示装置１５をルームミラーの位置に配置する構成を図示しているが、サイドミラー、あるいはダッシュボードの位置の表示装置を配置する構成などにも有効である。
【００８４】  図１０（Ｂ）では、自動車２２Ａと、その後方にある別の自動車４２を図示している。図１０（Ｂ）では自動車２２Ａの撮像装置１１Ａを撮像方向４５にある自動車４２に向けて撮像している様子を図示している。
【００８５】  図１０（Ｂ）の場合、撮像装置１１で得られる撮像データ１６は、図１０（Ｃ）のように表すことができる。つまり図１０（Ｃ）に図示するように、水滴４７が撮像されることにより自動車４２の像が不鮮明となり、自動車４２全体の形状は認識することが困難になる。そのため、図１０（Ｄ）に図示するように、雨天走行時などで自動車を撮像する場合、撮像データ内に鮮明領域４８と不鮮明領域４９とが混在することになる。
【００８６】  上述した本発明の一態様の表示システム１０では、撮像データ１６の鮮明領域４８にある自動車４２の一部の情報から特徴量を抽出し、特徴量データ１７をデータベース１３において照合することで補正用データ１８を選び出して、撮像データ１６の不鮮明な領域を補正することができる。
【００８７】  そのため表示システム１０を搭載した自動車では、昼夜、晴雨等の状況の変化に応じて、撮像装置で得られる撮像データに不鮮明な領域が生じても補正された画像を視認することができる。例えば、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等が、不鮮明な領域を生じさせても特徴量データに応じた補正用データを選び出して撮像データを補正することができる。そのため、被写体全体の大きさや形状の把握が容易になる。また得られる情報を増やすことができるため、視認性の向上に有効である。
【００８８】＜表示システムの動作を説明するための具体例＞
図１１は、表示システムの動作のより具体的な例を説明するためのフローチャートである。図１１では、図１で説明した表示システム１０における撮像装置１１、特徴量出力回路１２、データベース１３、画像処理回路１４、および表示装置１５でのデータの流れについて図示している。
【００８９】  図１１に示すステップＳ３１は、撮像装置１１での撮像データの取得、特徴量出力回路１２への撮像データの出力を行う。また図１１に示すステップＳ３１は、データベース１３で、補正用データ、検出用データの保存を行う。データベース１３における補正用データ１８、検出用データ１９の保存は、予め行っておいてもよい。
【００９０】  図１１に示すステップＳ３１は、図１２に示すブロック図のように図示することができる。図１２では、理解を容易にするために、図９（Ｃ）で図示した撮像データ１６を図示している。また図１２では、理解を容易にするために、補正用データ１８として複数の自動車の画像１８Ａを図示している。また、図１２では、理解を容易にするために、検出用データとして自動車の画像の一部であるヘッドライトの画像１９Ａを図示している。
【００９１】  図１１に示すステップＳ３２は、特徴量出力回路１２での特徴量データの演算、および特徴量出力回路１２からデータベース１３への特徴量データ出力を行う。
【００９２】  図１１に示すステップＳ３２は、図１３に示すブロック図のように図示することができる。図１３では、理解を容易にするために、特徴量データ１７として外観特徴量である、自動車の画像の一部としてヘッドライトの画像１７Ａを図示している。
【００９３】  図１１に示すステップＳ３３は、特徴量出力回路１２からデータベース１３への特徴量データ１７の入力、ヘッドライトの画像１７Ａを用いた特徴量データに一致または類似する検出用データ１９のサーチによる検出用データ１９の選択、および検出用データ１９に応じた補正用データ１８の画像処理回路１４への出力を行う。
【００９４】  図１１に示すステップＳ３３は、図１４に示すブロック図のように図示することができる。図１４では、理解を容易にするために、ヘッドライトの画像１７Ａの特徴量データとヘッドライトの画像１９Ａの特徴量データとが一致するとして、画像処理回路１４に出力される補正用データ１８である画像１８Ａを図示している。
【００９５】  図１１に示すステップＳ３４は、画像処理回路１４に対して補正元のデータである撮像装置１１からの撮像データ１６と補正用のデータであるデータベース１３からの補正用データ１８とが入力され、撮像データ１６が補正される。補正された撮像データは、画像データとして画像処理回路１４から表示装置１５に出力される。表示装置１５では画像処理回路１４から画像データが入力され、鮮明な表示を行うことができる。
【００９６】  図１１に示すステップＳ３４は、図１５に示すブロック図のように図示することができる。図１５では、理解を容易にするために、図９（Ｃ）で図示した撮像データ１６を図示している。また図１５では、理解を容易にするために、画像処理回路１４に出力される補正用データ１８として画像１８Ａを図示している。また図１５では、理解を容易にするために、表示装置１５に出力される画像データに対応する画像データ５１を図示している。
【００９７】  上述した本発明の一態様の表示システム１０では、図１１に図示したように撮像データ１６の一部の情報から特徴量を抽出し、データベース１３において特徴量データ１７を照合することで補正用データ１８を選び出して、撮像データ１６の不鮮明な領域を補正する。そのため、視認性の向上に有効である。
【００９８】  そのため表示システム１０を搭載した自動車では、昼夜、晴雨等の状況の変化に応じて、撮像装置で得られる撮像データに不鮮明な領域が生じても補正された画像を視認することができる。例えば、後方の自動車のヘッドライト、あるいは撮像装置に付着した水滴等が、不鮮明な領域を生じさせても特徴量データに応じた補正用データを選び出して撮像データを補正することができる。そのため、被写体全体の大きさや形状の把握が容易になる。また得られる情報を増やすことができるため、視認性の向上に有効である。
【００９９】（実施の形態２）
本実施の形態では、上記の実施の形態で説明したニューラルネットワーク３０に用いることが可能な半導体装置の構成例について説明する。特に、中間層３２や出力層３３などの積和演算回路に用いることができる。
【０１００】＜半導体装置の構成例＞
図１６に、ニューラルネットワークの演算を行う機能を有する半導体装置ＭＡＣの構成例を示す。半導体装置ＭＡＣは、上記の実施の形態で説明したニューラルネットワーク３０の少なくとも一部に用いることができる。半導体装置ＭＡＣは、ニューロン間の結合強度（重み）に対応する第１のデータと、入力データに対応する第２のデータの積和演算を行う機能を有する。なお、第１のデータ及び第２のデータはそれぞれ、アナログデータ又は多値のデータ（離散的なデータ）とすることができる。また、半導体装置ＭＡＣは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
【０１０１】  半導体装置ＭＡＣは、セルアレイＣＡ、電流源回路ＣＳ、カレントミラー回路ＣＭ、回路ＷＤＤ、回路ＷＬＤ、回路ＣＬＤ、オフセット回路ＯＦＳＴ、及び活性化関数回路ＡＣＴＶを有する。
【０１０２】  セルアレイＣＡは、複数のメモリセルＭＣ及び複数のメモリセルＭＣｒｅｆを有する。図１６には、セルアレイＣＡがｍ行ｎ列（ｍ，ｎは１以上の整数）のメモリセルＭＣ（ＭＣ［１，１］乃至［ｍ，ｎ］）と、ｍ個のメモリセルＭＣｒｅｆ（ＭＣｒｅｆ［１］乃至［ｍ］）を有する構成例を示している。メモリセルＭＣは、第１のデータを格納する機能を有する。また、メモリセルＭＣｒｅｆは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータ又は多値のデータとすることができる。
【０１０３】  メモリセルＭＣ［ｉ，ｊ］（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤ［ｊ］、及び配線ＢＬ［ｊ］と接続されている。また、メモリセルＭＣｒｅｆ［ｉ］は、配線ＷＬ［ｉ］、配線ＲＷ［ｉ］、配線ＷＤｒｅｆ、配線ＢＬｒｅｆと接続されている。ここで、メモリセルＭＣ［ｉ，ｊ］と配線ＢＬ［ｊ］間を流れる電流をＩＭＣ［ｉ，ｊ］と表記し、メモリセルＭＣｒｅｆ［ｉ］と配線ＢＬｒｅｆ間を流れる電流をＩＭＣｒｅｆ［ｉ］と表記する。
【０１０４】  メモリセルＭＣ及びメモリセルＭＣｒｅｆの具体的な構成例を、図１７に示す。図１７には代表例としてメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］を示しているが、他のメモリセルＭＣ及びメモリセルＭＣｒｅｆにも同様の構成を用いることができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆはそれぞれ、トランジスタＴｒ１１、Ｔｒ１２、容量素子Ｃ１１を有する。ここでは、トランジスタＴｒ１１及びトランジスタＴｒ１２がｎチャネル型のトランジスタである場合について説明する。
【０１０５】  メモリセルＭＣにおいて、トランジスタＴｒ１１のゲートは配線ＷＬと接続され、ソース又はドレインの一方はトランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続され、ソース又はドレインの他方は配線ＷＤと接続されている。トランジスタＴｒ１２のソース又はドレインの一方は配線ＢＬと接続され、ソース又はドレインの他方は配線ＶＲと接続されている。容量素子Ｃ１１の第２の電極は、配線ＲＷと接続されている。配線ＶＲは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線ＶＲから低電源電位（接地電位など）が供給される場合について説明する。
【０１０６】  トランジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続されたノードを、ノードＮＭとする。また、メモリセルＭＣ［１，１］、［２，１］のノードＮＭを、それぞれノードＮＭ［１，１］、［２，１］と表記する。
【０１０７】  メモリセルＭＣｒｅｆも、メモリセルＭＣと同様の構成を有する。ただし、メモリセルＭＣｒｅｆは配線ＷＤの代わりに配線ＷＤｒｅｆと接続され、配線ＢＬの代わりに配線ＢＬｒｅｆと接続されている。また、メモリセルＭＣｒｅｆ［１］、［２］において、トランジスタＴｒ１１のソース又はドレインの一方、トランジスタＴｒ１２のゲート、及び容量素子Ｃ１１の第１の電極と接続されたノードを、それぞれノードＮＭｒｅｆ［１］、［２］と表記する。
【０１０８】  ノードＮＭとノードＮＭｒｅｆはそれぞれ、メモリセルＭＣとメモリセルＭＣｒｅｆの保持ノードとして機能する。ノードＮＭには第１のデータが保持され、ノードＮＭｒｅｆには参照データが保持される。また、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣ［１，１］、ＩＭＣ［２，１］が流れる。また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］、［２］のトランジスタＴｒ１２には、それぞれ電流ＩＭＣｒｅｆ［１］、ＩＭＣｒｅｆ［２］が流れる。
【０１０９】  トランジスタＴｒ１１は、ノードＮＭ又はノードＮＭｒｅｆの電位を保持する機能を有するため、トランジスタＴｒ１１のオフ電流は小さいことが好ましい。そのため、トランジスタＴｒ１１としてオフ電流が極めて小さいＯＳトランジスタを用いることが好ましい。これにより、ノードＮＭ又はノードＮＭｒｅｆの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードＮＭ又はノードＮＭｒｅｆの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。
【０１１０】  トランジスタＴｒ１２は特に限定されず、例えばＳｉトランジスタ又はＯＳトランジスタなどを用いることができる。トランジスタＴｒ１２にＯＳトランジスタを用いる場合、トランジスタＴｒ１１と同じ製造装置を用いて、トランジスタＴｒ１２を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタＴｒ１２はｎチャネル型であってもｐチャネル型であってもよい。
【０１１１】  電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆと接続されている。電流源回路ＣＳは、配線ＢＬ［１］乃至［ｎ］及び配線ＢＬｒｅｆに電流を供給する機能を有する。なお、配線ＢＬ［１］乃至［ｎ］に供給される電流値と配線ＢＬｒｅｆに供給される電流値は異なっていてもよい。ここでは、電流源回路ＣＳから配線ＢＬ［１］乃至［ｎ］に供給される電流をＩＣ、電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆと表記する。
【０１１２】  カレントミラー回路ＣＭは、配線ＩＬ［１］乃至［ｎ］及び配線ＩＬｒｅｆを有する。配線ＩＬ［１］乃至［ｎ］はそれぞれ配線ＢＬ［１］乃至［ｎ］と接続され、配線ＩＬｒｅｆは、配線ＢＬｒｅｆと接続されている。ここでは、配線ＩＬ［１］乃至［ｎ］と配線ＢＬ［１］乃至［ｎ］の接続箇所をノードＮＰ［１］乃至［ｎ］と表記する。また、配線ＩＬｒｅｆと配線ＢＬｒｅｆの接続箇所をノードＮＰｒｅｆと表記する。
【０１１３】  カレントミラー回路ＣＭは、ノードＮＰｒｅｆの電位に応じた電流ＩＣＭを配線ＩＬｒｅｆに流す機能と、この電流ＩＣＭを配線ＩＬ［１］乃至［ｎ］にも流す機能を有する。図１６には、配線ＢＬｒｅｆから配線ＩＬｒｅｆに電流ＩＣＭが排出され、配線ＢＬ［１］乃至［ｎ］から配線ＩＬ［１］乃至［ｎ］に電流ＩＣＭが排出される例を示している。また、カレントミラー回路ＣＭから配線ＢＬ［１］乃至［ｎ］を介してセルアレイＣＡに流れる電流を、ＩＢ［１］乃至［ｎ］と表記する。また、カレントミラー回路ＣＭから配線ＢＬｒｅｆを介してセルアレイＣＡに流れる電流を、ＩＢｒｅｆと表記する。
【０１１４】  回路ＷＤＤは、配線ＷＤ［１］乃至［ｎ］及び配線ＷＤｒｅｆと接続されている。回路ＷＤＤは、メモリセルＭＣに格納される第１のデータに対応する電位を、配線ＷＤ［１］乃至［ｎ］に供給する機能を有する。また、回路ＷＤＤは、メモリセルＭＣｒｅｆに格納される参照データに対応する電位を、配線ＷＤｒｅｆに供給する機能を有する。回路ＷＬＤは、配線ＷＬ［１］乃至［ｍ］と接続されている。回路ＷＬＤは、データの書き込みを行うメモリセルＭＣ又はメモリセルＭＣｒｅｆを選択するための信号を、配線ＷＬ［１］乃至［ｍ］に供給する機能を有する。回路ＣＬＤは、配線ＲＷ［１］乃至［ｍ］と接続されている。回路ＣＬＤは、第２のデータに対応する電位を、配線ＲＷ［１］乃至［ｍ］に供給する機能を有する。
【０１１５】  オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］及び配線ＯＬ［１］乃至［ｎ］と接続されている。オフセット回路ＯＦＳＴは、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流量、及び／又は、配線ＢＬ［１］乃至［ｎ］からオフセット回路ＯＦＳＴに流れる電流の変化量を検出する機能を有する。また、オフセット回路ＯＦＳＴは、検出結果を配線ＯＬ［１］乃至［ｎ］に出力する機能を有する。なお、オフセット回路ＯＦＳＴは、検出結果に対応する電流を配線ＯＬに出力してもよいし、検出結果に対応する電流を電圧に変換して配線ＯＬに出力してもよい。セルアレイＣＡとオフセット回路ＯＦＳＴの間を流れる電流を、Ｉα［１］乃至［ｎ］と表記する。
【０１１６】  オフセット回路ＯＦＳＴの構成例を図１８に示す。図１８に示すオフセット回路ＯＦＳＴは、回路ＯＣ［１］乃至［ｎ］を有する。また、回路ＯＣ［１］乃至［ｎ］はそれぞれ、トランジスタＴｒ２１、トランジスタＴｒ２２、トランジスタＴｒ２３、容量素子Ｃ２１、及び抵抗素子Ｒ１を有する。各素子の接続関係は図１８に示す通りである。なお、容量素子Ｃ２１の第１の電極及び抵抗素子Ｒ１の第１の端子と接続されたノードを、ノードＮａとする。また、容量素子Ｃ２１の第２の電極、トランジスタＴｒ２１のソース又はドレインの一方、及びトランジスタＴｒ２２のゲートと接続されたノードを、ノードＮｂとする。
【０１１７】  配線ＶｒｅｆＬは電位Ｖｒｅｆを供給する機能を有し、配線ＶａＬは電位Ｖａを供給する機能を有し、配線ＶｂＬは電位Ｖｂを供給する機能を有する。また、配線ＶＤＤＬは電位ＶＤＤを供給する機能を有し、配線ＶＳＳＬは電位ＶＳＳを供給する機能を有する。ここでは、電位ＶＤＤが高電源電位であり、電位ＶＳＳが低電源電位である場合について説明する。また、配線ＲＳＴは、トランジスタＴｒ２１の導通状態を制御するための電位を供給する機能を有する。トランジスタＴｒ２２、トランジスタＴｒ２３、配線ＶＤＤＬ、配線ＶＳＳＬ、及び配線ＶｂＬによって、ソースフォロワ回路が構成される。
【０１１８】  次に、回路ＯＣ［１］乃至［ｎ］の動作例を説明する。なお、ここでは代表例として回路ＯＣ［１］の動作例を説明するが、回路ＯＣ［２］乃至［ｎ］も同様に動作させることができる。まず、配線ＢＬ［１］に第１の電流が流れると、ノードＮａの電位は、第１の電流と抵抗素子Ｒ１の抵抗値に応じた電位となる。また、このときトランジスタＴｒ２１はオン状態であり、ノードＮｂに電位Ｖａが供給される。その後、トランジスタＴｒ２１はオフ状態となる。
【０１１９】  次に、配線ＢＬ［１］に第２の電流が流れると、ノードＮａの電位は、第２の電流と抵抗素子Ｒ１の抵抗値に応じた電位に変化する。このときトランジスタＴｒ２１はオフ状態であり、ノードＮｂはフローティング状態となっているため、ノードＮａの電位の変化に伴い、ノードＮｂの電位は容量結合により変化する。ここで、ノードＮａの電位の変化をΔＶＮａとし、容量結合係数を１とすると、ノードＮｂの電位はＶａ＋ΔＶＮａとなる。そして、トランジスタＴｒ２２のしきい値電圧をＶｔｈとすると、配線ＯＬ［１］から電位Ｖａ＋ΔＶＮａ−Ｖｔｈが出力される。ここで、Ｖａ＝Ｖｔｈとすることにより、配線ＯＬ［１］から電位ΔＶＮａを出力することができる。
【０１２０】  電位ΔＶＮａは、第１の電流から第２の電流への変化量、抵抗素子Ｒ１、及び電位Ｖｒｅｆに応じて定まる。ここで、抵抗素子Ｒ１と電位Ｖｒｅｆは既知であるため、電位ΔＶＮａから配線ＢＬに流れる電流の変化量を求めることができる。
【０１２１】  上記のようにオフセット回路ＯＦＳＴによって検出された電流量、及び／又は電流の変化量に対応する信号は、配線ＯＬ［１］乃至［ｎ］を介して活性化関数回路ＡＣＴＶに入力される。
【０１２２】  活性化関数回路ＡＣＴＶは、配線ＯＬ［１］乃至［ｎ］、及び、配線ＮＩＬ［１］乃至［ｎ］と接続されている。活性化関数回路ＡＣＴＶは、オフセット回路ＯＦＳＴから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、ｔａｎｈ関数、ｓｏｆｔｍａｘ関数、ＲｅＬＵ関数、しきい値関数などを用いることができる。活性化関数回路ＡＣＴＶによって変換された信号は、出力データとして配線ＮＩＬ［１］乃至［ｎ］に出力される。
【０１２３】＜半導体装置の動作例＞
上記の半導体装置ＭＡＣを用いて、第１のデータと第２のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置ＭＡＣの動作例を説明する。
【０１２４】  図１９に半導体装置ＭＡＣの動作例のタイミングチャートを示す。図１９には、図１７における配線ＷＬ［１］、配線ＷＬ［２］、配線ＷＤ［１］、配線ＷＤｒｅｆ、ノードＮＭ［１，１］、ノードＮＭ［２，１］、ノードＮＭｒｅｆ［１］、ノードＮＭｒｅｆ［２］、配線ＲＷ［１］、及び配線ＲＷ［２］の電位の推移と、電流ＩＢ［１］−Ｉα［１］、及び電流ＩＢｒｅｆの値の推移を示している。電流ＩＢ［１］−Ｉα［１］は、配線ＢＬ［１］からメモリセルＭＣ［１，１］、［２，１］に流れる電流の総和に相当する。
【０１２５】  なお、ここでは代表例として図１７に示すメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］に着目して動作を説明するが、他のメモリセルＭＣ及びメモリセルＭＣｒｅｆも同様に動作させることができる。
【０１２６】［第１のデータの格納］
まず、時刻Ｔ０１−Ｔ０２において、配線ＷＬ［１］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位（ＧＮＤ）よりもＶＰＲ−ＶＷ［１，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。また、配線ＲＷ［１］、及び配線ＲＷ［２］の電位が基準電位（ＲＥＦＰ）となる。なお、電位ＶＷ［１，１］はメモリセルＭＣ［１，１］に格納される第１のデータに対応する電位である。また、電位ＶＰＲは参照データに対応する電位である。これにより、メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［１，１］の電位がＶＰＲ−ＶＷ［１，１］、ノードＮＭｒｅｆ［１］の電位がＶＰＲとなる。
【０１２７】  このとき、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，０は、次の式で表すことができる。ここで、ｋはトランジスタＴｒ１２のチャネル長、チャネル幅、移動度、及びゲート絶縁膜の容量などで決まる定数である。また、ＶｔｈはトランジスタＴｒ１２のしきい値電圧である。
【０１２８】
2018197984.tif 000003
【０１２９】  また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，０は、次の式で表すことができる。
【０１３０】
2018197984.tif 000004
【０１３１】  次に、時刻Ｔ０２−Ｔ０３において、配線ＷＬ［１］の電位がローレベルとなる。これにより、メモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位が保持される。
【０１３２】  なお、前述の通り、トランジスタＴｒ１１としてＯＳトランジスタを用いることが好ましい。これにより、トランジスタＴｒ１１のリーク電流を抑えることができ、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位を正確に保持することができる。
【０１３３】  次に、時刻Ｔ０３−Ｔ０４において、配線ＷＬ［２］の電位がハイレベルとなり、配線ＷＤ［１］の電位が接地電位よりもＶＰＲ−ＶＷ［２，１］大きい電位となり、配線ＷＤｒｅｆの電位が接地電位よりもＶＰＲ大きい電位となる。なお、電位ＶＷ［２，１］はメモリセルＭＣ［２，１］に格納される第１のデータに対応する電位である。これにより、メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオン状態となり、ノードＮＭ［２，１］の電位がＶＰＲ−ＶＷ［２，１］、ノードＮＭｒｅｆ［２］の電位がＶＰＲとなる。
【０１３４】  このとき、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，０は、次の式で表すことができる。
【０１３５】
2018197984.tif 000005
【０１３６】  また、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，０は、次の式で表すことができる。
【０１３７】
2018197984.tif 000006
【０１３８】  次に、時刻Ｔ０４−Ｔ０５において、配線ＷＬ［２］の電位がローレベルとなる。これにより、メモリセルＭＣ［２，１］及びメモリセルＭＣｒｅｆ［２］が有するトランジスタＴｒ１１がオフ状態となり、ノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の電位が保持される。
【０１３９】  以上の動作により、メモリセルＭＣ［１，１］、［２，１］に第１のデータが格納され、メモリセルＭＣｒｅｆ［１］、［２］に参照データが格納される。
【０１４０】  ここで、時刻Ｔ０４−Ｔ０５において、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流を考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流が供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。電流源回路ＣＳから配線ＢＬｒｅｆに供給される電流をＩＣｒｅｆ、配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，０とすると、次の式が成り立つ。
【０１４１】
2018197984.tif 000007
【０１４２】  配線ＢＬ［１］には、電流源回路ＣＳからの電流が供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。また、配線ＢＬ［１］からオフセット回路ＯＦＳＴに電流が流れる。電流源回路ＣＳから配線ＢＬ［１］に供給される電流をＩＣ，０、配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，０とすると、次の式が成り立つ。
【０１４３】
2018197984.tif 000008
【０１４４】［第１のデータと第２のデータの積和演算］
次に、時刻Ｔ０５−Ｔ０６において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となる。このとき、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１には電位ＶＸ［１］が供給され、容量結合によりトランジスタＴｒ１２のゲートの電位が上昇する。なお、電位Ｖｘ［１］はメモリセルＭＣ［１，１］及びメモリセルＭＣｒｅｆ［１］に供給される第２のデータに対応する電位である。
【０１４５】  トランジスタＴｒ１２のゲートの電位の変化量は、配線ＲＷの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子Ｃ１１の容量、トランジスタＴｒ１２のゲート容量、及び寄生容量などによって算出される。以下では便宜上、配線ＲＷの電位の変化量とトランジスタＴｒ１２のゲートの電位の変化量が同じ、すなわち容量結合係数が１であるとして説明する。実際には、容量結合係数を考慮して電位Ｖｘを決定すればよい。
【０１４６】  メモリセルＭＣ［１］及びメモリセルＭＣｒｅｆ［１］の容量素子Ｃ１１に電位ＶＸ［１］が供給されると、ノードＮＮ［１］及びノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。
【０１４７】  ここで、時刻Ｔ０５−Ｔ０６において、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［１，１］，１は、次の式で表すことができる。
【０１４８】
2018197984.tif 000009
【０１４９】  すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［１，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［１，１］＝ＩＭＣ［１，１］，１−ＩＭＣ［１，１］，０増加する。
【０１５０】  また、時刻Ｔ０５−Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［１］，１は、次の式で表すことができる。
【０１５１】
2018197984.tif 000010
【０１５２】  すなわち、配線ＲＷ［１］に電位ＶＸ［１］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ［１］＝ＩＭＣｒｅｆ［１］，１−ＩＭＣｒｅｆ［１］，０増加する。
【０１５３】  また、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，１とすると、次の式が成り立つ。
【０１５４】
2018197984.tif 000011
【０１５５】  配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，１とすると、次の式が成り立つ。
【０１５６】
2018197984.tif 000012
【０１５７】  そして、式（Ｅ１）乃至式（Ｅ１０）から、電流Ｉα，０と電流Ｉα，１の差（差分電流ΔＩα）は次の式で表すことができる。
【０１５８】
2018197984.tif 000013
【０１５９】  このように、差分電流ΔＩαは、電位ＶＷ［１，１］とＶＸ［１］の積に応じた値となる。
【０１６０】  その後、時刻Ｔ０６−Ｔ０７において、配線ＲＷ［１］の電位は接地電位となり、ノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位は時刻Ｔ０４−Ｔ０５と同様になる。
【０１６１】  次に、時刻Ｔ０７−Ｔ０８において、配線ＲＷ［１］の電位が基準電位よりもＶＸ［１］大きい電位となり、配線ＲＷ［２］の電位が基準電位よりもＶＸ［２］大きい電位となる。これにより、メモリセルＭＣ［１，１］、及びメモリセルＭＣｒｅｆ［１］のそれぞれの容量素子Ｃ１１に電位ＶＸ［１］が供給され、容量結合によりノードＮＭ［１，１］及びノードＮＭｒｅｆ［１］の電位がそれぞれＶＸ［１］上昇する。また、メモリセルＭＣ［２，１］、及びメモリセルＭＣｒｅｆ［２］のそれぞれの容量素子Ｃ１１に電位ＶＸ［２］が供給され、容量結合によりノードＮＭ［２，１］及びノードＮＭｒｅｆ［２］の電位がそれぞれＶＸ［２］上昇する。
【０１６２】  ここで、時刻Ｔ０７−Ｔ０８において、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流ＩＭＣ［２，１］，１は、次の式で表すことができる。
【０１６３】
2018197984.tif 000014
【０１６４】  すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬ［１］からメモリセルＭＣ［２，１］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣ［２，１］＝ＩＭＣ［２，１］，１−ＩＭＣ［２，１］，０増加する。
【０１６５】  また、時刻Ｔ０５−Ｔ０６において、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流ＩＭＣｒｅｆ［２］，１は、次の式で表すことができる。
【０１６６】
2018197984.tif 000015
【０１６７】  すなわち、配線ＲＷ［２］に電位ＶＸ［２］を供給することにより、配線ＢＬｒｅｆからメモリセルＭＣｒｅｆ［２］のトランジスタＴｒ１２に流れる電流は、ΔＩＭＣｒｅｆ［２］＝ＩＭＣｒｅｆ［２］，１−ＩＭＣｒｅｆ［２］，０増加する。
【０１６８】  また、配線ＢＬ［１］及び配線ＢＬｒｅｆに流れる電流について考える。配線ＢＬｒｅｆには、電流源回路ＣＳから電流ＩＣｒｅｆが供給される。また、配線ＢＬｒｅｆを流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣｒｅｆ［１］、［２］へ排出される。配線ＢＬｒｅｆからカレントミラー回路ＣＭへ排出される電流をＩＣＭ，２とすると、次の式が成り立つ。
【０１６９】
2018197984.tif 000016
【０１７０】  配線ＢＬ［１］には、電流源回路ＣＳから電流ＩＣが供給される。また、配線ＢＬ［１］を流れる電流は、カレントミラー回路ＣＭ、メモリセルＭＣ［１，１］、［２，１］へ排出される。さらに、配線ＢＬ［１］からオフセット回路ＯＦＳＴにも電流が流れる。配線ＢＬ［１］からオフセット回路ＯＦＳＴに流れる電流をＩα，２とすると、次の式が成り立つ。
【０１７１】
2018197984.tif 000017
【０１７２】  そして、式（Ｅ１）乃至式（Ｅ８）、及び、式（Ｅ１２）乃至式（Ｅ１５）から、電流Ｉα，０と電流Ｉα，２の差（差分電流ΔＩα）は次の式で表すことができる。
【０１７３】
2018197984.tif 000018
【０１７４】  このように、差分電流ΔＩαは、電位ＶＷ［１，１］と電位ＶＸ［１］の積と、電位ＶＷ［２，１］と電位ＶＸ［２］の積と、を足し合わせた結果に応じた値となる。
【０１７５】  その後、時刻Ｔ０８−Ｔ０９において、配線ＲＷ［１］、［２］の電位は接地電位となり、ノードＮＭ［１，１］、［２，１］及びノードＮＭｒｅｆ［１］、［２］の電位は時刻Ｔ０４−Ｔ０５と同様になる。
【０１７６】  式（Ｅ９）及び式（Ｅ１６）に示されるように、オフセット回路ＯＦＳＴに入力される差分電流ΔＩαは、第１のデータ（重み）に対応する電位ＶＸと、第２のデータ（入力データ）に対応する電位ＶＷの積を足し合わせた結果に応じた値となる。すなわち、差分電流ΔＩαをオフセット回路ＯＦＳＴで計測することにより、第１のデータと第２のデータの積和演算の結果を得ることができる。
【０１７７】  なお、上記では特にメモリセルＭＣ［１，１］、［２，１］及びメモリセルＭＣｒｅｆ［１］、［２］に着目したが、メモリセルＭＣ及びメモリセルＭＣｒｅｆの数は任意に設定することができる。メモリセルＭＣ及びメモリセルＭＣｒｅｆの行数ｍを任意の数とした場合の差分電流ΔＩαは、次の式で表すことができる。
【０１７８】
2018197984.tif 000019
【０１７９】  また、メモリセルＭＣ及びメモリセルＭＣｒｅｆの列数ｎを増やすことにより、並列して実行される積和演算の数を増やすことができる。
【０１８０】  以上のように、半導体装置ＭＡＣを用いることにより、第１のデータと第２のデータの積和演算を行うことができる。なお、メモリセルＭＣ及びメモリセルＭＣｒｅｆとして図１７に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置ＭＡＣの回路規模の縮小を図ることができる。
【０１８１】  半導体装置ＭＡＣをニューラルネットワークにおける演算に用いる場合、メモリセルＭＣの行数ｍは一のニューロンに供給される入力データの数に対応させ、メモリセルＭＣの列数ｎはニューロンの数に対応させることができる。例えば、中間層において半導体装置ＭＡＣを用いた積和演算を行う場合を考える。このとき、メモリセルＭＣの行数ｍは、入力層から供給される入力データの数（入力層のニューロンの数）に設定し、メモリセルＭＣの列数ｎは、中間層のニューロンの数に設定することができる。
【０１８２】  以上のように、半導体装置ＭＡＣを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイＣＡに図１７に示すメモリセルＭＣ及びメモリセルＭＣｒｅｆを用いることにより、演算精度の向上、消費電力の削減、又は回路規模の縮小を図ることが可能な集積回路を提供することができる。
【０１８３】  なお、第１のデータ（重み）に対応する電位ＶＸが任意の基準電位以上である場合を「正」、小さい場合を「負」とすることにより、積差演算を行なうことができる。よって、半導体装置ＭＡＣは積差演算回路として機能することができる。
【０１８４】  積差演算回路を用いて、突発的に生じたノイズの除去などを行なうことができる。一例として、図２０（Ａ）および（Ｂ）を示す。図２０（Ａ）および（Ｂ）は、トンネル内などの暗所を走行中の車両を示す画像である。図２０（Ａ）は、急に点灯した車両１００の前照灯１０５の影響により、トンネル外に位置する車両１１０は視認できるものの、トンネル内にいる歩行者１２０および歩行者１３０の視認性が低下した状態を示している。
【０１８５】  図２０（Ｂ）は、積差演算回路を用いた画像処理により、急に点灯した前照灯１０５の影響を軽減し、トンネル外に位置する車両１１０のみでなく、トンネル内にいる歩行者１２０および歩行者１３０の視認性も高めた状態を示している。なお、積差演算回路によって現在のフレーム画像と直前のフレーム画像の差分情報を取得し、該差分情報を用いて画像処理を行うこともできる。
【０１８６】  近年、自動運転向けや、サイドミラーおよびバックミラーとして車載イメージセンサが期待されている。本発明の一態様と、画素毎に感度を調整する仕組みと、を組み合わせることにより、他車のライトなどがまぶしい状況でも障害物や人を正確に検出することができる。
【０１８７】  本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
【０１８８】（実施の形態３）
本実施の形態においては、先の実施の形態で例示した表示装置１５の一例について、図２１乃至図２３を用いて以下説明を行う。
【０１８９】  図２１は、先の実施の形態で例示した表示装置１５に適用可能な表示装置７００を示す上面図である。図２１に示す表示装置７００は、第１の基板７０１上に設けられた画素部７０２と、第１の基板７０１に設けられたデマルチプレクサ７０３、ソースドライバ７０４およびゲートドライバ７０６と、画素部７０２、デマルチプレクサ７０３、およびゲートドライバ７０６を囲むように配置されるシール材７１２と、第１の基板７０１に対向するように設けられる第２の基板７０５と、を有する。なお、第１の基板７０１と第２の基板７０５は、シール材７１２によって封止されている。すなわち、画素部７０２、デマルチプレクサ７０３、およびゲートドライバ７０６は、第１の基板７０１とシール材７１２と第２の基板７０５によって封止されている。なお、図２１には図示しないが、第１の基板７０１と第２の基板７０５の間には表示素子が設けられる。
【０１９０】  また、表示装置７００は、第１の基板７０１上のシール材７１２によって囲まれている領域とは異なる領域に、画素部７０２、デマルチプレクサ７０３、ソースドライバ７０４、およびゲートドライバ７０６と、それぞれ電気的に接続されるＦＰＣ端子部７０８（ＦＰＣ：Ｆｌｅｘｉｂｌｅ  ｐｒｉｎｔｅｄ  ｃｉｒｃｕｉｔ）が設けられる。また、ＦＰＣ端子部７０８には、ＦＰＣ７１６が接続され、ＦＰＣ７１６によって画素部７０２、デマルチプレクサ７０３、ソースドライバ７０４、およびゲートドライバ７０６に各種信号等が供給される。また、画素部７０２、デマルチプレクサ７０３、ソースドライバ７０４、ゲートドライバ７０６、およびＦＰＣ端子部７０８には、信号線７１０が各々接続されている。ＦＰＣ７１６により供給される各種信号等は、信号線７１０を介して、画素部７０２、デマルチプレクサ７０３、ソースドライバ７０４、ゲートドライバ７０６、およびＦＰＣ端子部７０８に与えられる。
【０１９１】  また、表示装置７００にゲートドライバ７０６を複数設けてもよい。また、表示装置７００としては、ゲートドライバ７０６を画素部７０２と同じ第１の基板７０１に形成し、ソースドライバ７０４をソースドライバＩＣとしている例を示しているが、この構成に限定されない。例えば、ソースドライバ７０４を第１の基板７０１に形成しても良い。なおソースドライバＩＣは、ＣＯＧ（Ｃｈｉｐ  Ｏｎ  Ｇｌａｓｓ）方法、ワイヤボンディング方法などで設けることができる。またデマルチプレクサ７０３は、省略することも可能である。
【０１９２】  また、表示装置７００は、様々な素子を有することが出来る。該素子の一例としては、例えば、エレクトロルミネッセンス（ＥＬ）素子（有機物および無機物を含むＥＬ素子、有機ＥＬ素子、無機ＥＬ素子、ＬＥＤなど）、発光トランジスタ（電流に応じて発光するトランジスタ）、電子放出素子、液晶素子、電子インク素子、電気泳動素子、エレクトロウェッティング素子、プラズマディスプレイパネル（ＰＤＰ）、ＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）ディスプレイ（例えば、グレーティングライトバルブ（ＧＬＶ）、デジタルマイクロミラーデバイス（ＤＭＤ）、デジタル・マイクロ・シャッター（ＤＭＳ）素子、インターフェロメトリック・モジュレーション（ＩＭＯＤ）素子など）、圧電セラミックディスプレイなどが挙げられる。
【０１９３】  また、ＥＬ素子を用いた表示装置の一例としては、ＥＬディスプレイなどがある。電子放出素子を用いた表示装置の一例としては、フィールドエミッションディスプレイ（ＦＥＤ）またはＳＥＤ方式平面型ディスプレイ（ＳＥＤ：Ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ  Ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ  Ｄｉｓｐｌａｙ）などがある。液晶素子を用いた表示装置の一例としては、液晶ディスプレイ（透過型液晶ディスプレイ、半透過型液晶ディスプレイ、反射型液晶ディスプレイ、直視型液晶ディスプレイ、投射型液晶ディスプレイ）などがある。電子インク素子または電気泳動素子を用いた表示装置の一例としては、電子ペーパーなどがある。なお、半透過型液晶ディスプレイや反射型液晶ディスプレイを実現する場合には、画素電極の一部、または、全部が、反射電極としての機能を有するようにすればよい。例えば、画素電極の一部、または、全部が、アルミニウム、銀、などを有するようにすればよい。さらに、その場合、反射電極の下に、ＳＲＡＭなどの記憶回路を設けることも可能である。これにより、さらに、消費電力を低減することができる。
【０１９４】  なお、表示装置７００における表示方式は、プログレッシブ方式やインターレース方式等を用いることができる。また、カラー表示する際に画素で制御する色要素としては、ＲＧＢ（Ｒは赤、Ｇは緑、Ｂは青を表す）の三色に限定されない。例えば、Ｒの画素とＧの画素とＢの画素とＷ（白）の画素の四画素から構成されてもよい。または、ペンタイル配列のように、ＲＧＢのうちの２色分で一つの色要素を構成し、色要素によって、異なる２色を選択して構成してもよい。またはＲＧＢに、イエロー、シアン、マゼンタ等を一色以上追加してもよい。なお、色要素のドット毎にその表示領域の大きさが異なっていてもよい。ただし、開示する発明はカラー表示の表示装置に限定されるものではなく、モノクロ表示の表示装置に適用することもできる。
【０１９５】  また、バックライト（有機ＥＬ素子、無機ＥＬ素子、ＬＥＤ、蛍光灯など）に白色発光（Ｗ）を用いて表示装置をフルカラー表示させるために、着色層（カラーフィルタともいう。）を用いてもよい。着色層は、例えば、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）、イエロー（Ｙ）などを適宜組み合わせて用いることができる。着色層を用いることで、着色層を用いない場合と比べて色の再現性を高くすることができる。このとき、着色層を有する領域と、着色層を有さない領域と、を配置することによって、着色層を有さない領域における白色光を直接表示に利用しても構わない。一部に着色層を有さない領域を配置することで、明るい表示の際に、着色層による輝度の低下を少なくでき、消費電力を２割から３割程度低減できる場合がある。ただし、有機ＥＬ素子や無機ＥＬ素子などの自発光素子を用いてフルカラー表示する場合、Ｒ、Ｇ、Ｂ、Ｙ、Ｗを、それぞれの発光色を有する素子から発光させても構わない。自発光素子を用いることで、着色層を用いた場合よりも、さらに消費電力を低減できる場合がある。
【０１９６】  また、カラー化方式としては、上述の白色発光からの発光の一部をカラーフィルタを通すことで赤色、緑色、青色に変換する方式（カラーフィルタ方式）の他、赤色、緑色、青色の発光をそれぞれ用いる方式（３色方式）、または青色発光からの発光の一部を赤色や緑色に変換する方式（色変換方式、量子ドット方式）を適用してもよい。
【０１９７】  本実施の形態においては、表示素子として液晶素子およびＥＬ素子を用いる構成について、図２２および図２３を用いて説明する。なお、図２２は、図２１に示す一点鎖線Ｑ−Ｒにおける断面図であり、表示素子として液晶素子を用いた構成である。また、図２３は、図２１に示す一点鎖線Ｑ−Ｒにおける断面図であり、表示素子としてＥＬ素子を用いた構成である。
【０１９８】  まず、図２２および図２３に示す共通部分について最初に説明し、次に異なる部分について以下説明する。
【０１９９】＜表示装置の共通部分に関する説明＞
図２２および図２３に示す表示装置７００は、引き回し配線部７１１と、画素部７０２と、デマルチプレクサ７０３と、ＦＰＣ端子部７０８と、を有する。また、引き回し配線部７１１は、信号線７１０を有する。また、画素部７０２は、トランジスタ７５０および容量素子７９０を有する。また、デマルチプレクサ７０３は、トランジスタ７５２を有する。
【０２００】  トランジスタ７５０およびトランジスタ７５２は、トップゲート型、ボトムゲート型、チャネルエッチ型、チャネル保護型、いずれでも良い。図２２および図２３はトップゲート型を図示している。トランジスタ７５０およびトランジスタ７５２の半導体層には、シリコン系半導体（アモルファスシリコン、多結晶シリコン等）、酸化物半導体（酸化亜鉛、酸化インジウム等）等を用いることができる。図２２および図２３は酸化物半導体を用いた場合を説明する。
【０２０１】  容量素子７９０は、トランジスタ７５０が有する第１の酸化物半導体膜と、同一の酸化物半導体膜を加工する工程を経て形成される下部電極と、トランジスタ７５０が有するソース電極およびドレイン電極として機能する導電膜と、同一の導電膜を加工する工程を経て形成される上部電極と、を有する。また、下部電極と上部電極との間には、トランジスタ７５０が有する第２の絶縁膜として機能する絶縁膜、および第３の絶縁膜として機能する絶縁膜と、同一の絶縁膜を形成する工程を経て形成される絶縁膜が設けられる。すなわち、容量素子７９０は、一対の電極間に誘電体として機能する絶縁膜が挟持された積層型の構造である。
【０２０２】  また、図２２および図２３において、トランジスタ７５０、トランジスタ７５２、および容量素子７９０上に平坦化絶縁膜７７０が設けられている。
【０２０３】  平坦化絶縁膜７７０としては、ポリイミド樹脂、アクリル樹脂、ポリイミドアミド樹脂、ベンゾシクロブテン樹脂、ポリアミド樹脂、エポキシ樹脂等の耐熱性を有する有機材料を用いることができる。なお、これらの材料で形成される絶縁膜を複数積層させることで、平坦化絶縁膜７７０を形成してもよい。また、平坦化絶縁膜７７０を設けない構成としてもよい。
【０２０４】  また、信号線７１０は、トランジスタ７５０、７５２のソース電極およびドレイン電極として機能する導電膜と同じ工程を経て形成される。なお、信号線７１０は、トランジスタ７５０、７５２のソース電極およびドレイン電極と異なる工程を経て形成された導電膜、例えば、ゲート電極として機能する酸化物半導体膜と同じ工程を経て形成される酸化物半導体膜を用いてもよい。信号線７１０として、例えば、銅元素を含む材料を用いた場合、配線抵抗に起因する信号遅延等が少なく、大画面での表示が可能となる。
【０２０５】  また、ＦＰＣ端子部７０８は、接続電極７６０、異方性導電膜７８０、およびＦＰＣ７１６を有する。なお、接続電極７６０は、トランジスタ７５０、７５２のソース電極およびドレイン電極として機能する導電膜と同じ工程を経て形成される。また、接続電極７６０は、ＦＰＣ７１６が有する端子と異方性導電膜７８０を介して、電気的に接続される。
【０２０６】  また、第１の基板７０１および第２の基板７０５としては、例えばガラス基板を用いることができる。また、第１の基板７０１および第２の基板７０５として、可撓性を有する基板を用いてもよい。該可撓性を有する基板としては、例えばプラスチック基板等が挙げられる。
【０２０７】  また、第１の基板７０１と第２の基板７０５の間には、構造体７７８が設けられる。構造体７７８は、絶縁膜を選択的にエッチングすることで得られる柱状のスペーサであり、第１の基板７０１と第２の基板７０５の間の距離（セルギャップ）を制御するために設けられる。なお、構造体７７８として、球状のスペーサを用いていても良い。
【０２０８】  また、第２の基板７０５側には、ブラックマトリクスとして機能する遮光膜７３８と、カラーフィルタとして機能する着色膜７３６と、遮光膜７３８および着色膜７３６に接する絶縁膜７３４が設けられる。
【０２０９】＜液晶素子を用いる表示装置の構成例＞
図２２に示す表示装置７００は、液晶素子７７５を有する。液晶素子７７５は、導電膜７７２、導電膜７７４、および液晶層７７６を有する。導電膜７７４は、第２の基板７０５側に設けられ、対向電極としての機能を有する。図２２に示す表示装置７００は、導電膜７７２と導電膜７７４に印加される電圧によって、液晶層７７６の配向状態が変わることによって光の透過、非透過が制御され画像を表示することができる。
【０２１０】  また、導電膜７７２は、トランジスタ７５０が有するソース電極およびドレイン電極として機能する導電膜に接続される。導電膜７７２は、平坦化絶縁膜７７０上に形成され画素電極、すなわち表示素子の一方の電極として機能する。また、導電膜７７２は、透明電極としての機能を有する。図２２に示す表示装置７００は、液晶層７７６でバックライトの光を透過して着色膜７３６を介して表示する、所謂透過型のカラー液晶表示装置である。
【０２１１】  導電膜７７２としては、可視光において透光性のある導電膜、または可視光において反射性のある導電膜を用いることができる。可視光において透光性のある導電膜としては、例えば、インジウム（Ｉｎ）、亜鉛（Ｚｎ）、錫（Ｓｎ）の中から選ばれた一種を含む材料を用いるとよい。可視光において反射性のある導電膜としては、例えば、アルミニウム、または銀を含む材料を用いるとよい。
【０２１２】  なお、図２２において図示しないが、導電膜７７２、７７４の液晶層７７６と接する側に、それぞれ配向膜を設ける構成としてもよい。また、図２２において図示しないが、偏光部材、位相差部材、反射防止部材などの光学部材（光学基板）などは適宜設けてもよい。例えば、偏光基板および位相差基板による円偏光を用いてもよい。また、光源としてバックライト、サイドライトなどを用いてもよい。
【０２１３】  表示素子として液晶素子を用いる場合、サーモトロピック液晶、低分子液晶、高分子液晶、高分子分散型液晶、強誘電性液晶、反強誘電性液晶等を用いることができる。これらの液晶材料は、条件により、コレステリック相、スメクチック相、キュービック相、カイラルネマチック相、等方相等を示す。
【０２１４】  また、横電界方式を採用する場合、配向膜を用いないブルー相を示す液晶を用いてもよい。ブルー相は液晶相の一つであり、コレステリック液晶を昇温していくと、コレステリック相から等方相へ転移する直前に発現する相である。ブルー相は狭い温度範囲でしか発現しないため、温度範囲を改善するために数重量％以上のカイラル剤を混合させた液晶組成物を液晶層に用いる。ブルー相を示す液晶とカイラル剤とを含む液晶組成物は、応答速度が短く、光学的等方性であるため配向処理が不要である。また配向膜を設けなくてもよいのでラビング処理も不要となるため、ラビング処理によって引き起こされる静電破壊を防止することができ、作製工程中の液晶表示装置の不良や破損を軽減することができる。また、ブルー相を示す液晶材料は、視野角依存性が小さい。
【０２１５】  また、表示素子として液晶素子を用いる場合、ＴＮ（Ｔｗｉｓｔｅｄ  Ｎｅｍａｔｉｃ）モード、ＩＰＳ（Ｉｎ−Ｐｌａｎｅ−Ｓｗｉｔｃｈｉｎｇ）モード、ＦＦＳ（Ｆｒｉｎｇｅ  Ｆｉｅｌｄ  Ｓｗｉｔｃｈｉｎｇ）モード、ＡＳＭ（Ａｘｉａｌｌｙ  Ｓｙｍｍｅｔｒｉｃ  ａｌｉｇｎｅｄ  Ｍｉｃｒｏ−ｃｅｌｌ）モード、ＯＣＢ（Ｏｐｔｉｃａｌ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｂｉｒｅｆｒｉｎｇｅｎｃｅ）モード、ＦＬＣ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）モード、ＡＦＬＣ（ＡｎｔｉＦｅｒｒｏｅｌｅｃｔｒｉｃ  Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ）モードなどを用いることができる。
【０２１６】  また、ノーマリーブラック型の液晶表示装置、例えば垂直配向（ＶＡ）モードを採用した透過型の液晶表示装置としてもよい。垂直配向モードとしては、いくつか挙げられるが、例えば、ＭＶＡ（Ｍｕｌｔｉ−Ｄｏｍａｉｎ  Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モード、ＰＶＡ（Ｐａｔｔｅｒｎｅｄ  Ｖｅｒｔｉｃａｌ  Ａｌｉｇｎｍｅｎｔ）モード、ＡＳＶモードなどを用いることができる。
【０２１７】＜発光素子を用いる表示装置＞
図２３に示す表示装置７００は、発光素子７８２を有する。発光素子７８２は、導電膜７８４、ＥＬ層７８６、および導電膜７８８を有する。図２３に示す表示装置７００は、発光素子７８２が有するＥＬ層７８６が発光することによって、画像を表示することができる。
【０２１８】  また、導電膜７８４は、トランジスタ７５０が有するソース電極およびドレイン電極として機能する導電膜に接続される。導電膜７８４は、平坦化絶縁膜７７０上に形成され画素電極、すなわち表示素子の一方の電極として機能する。導電膜７８４としては、可視光において透光性のある導電膜、または可視光において反射性のある導電膜を用いることができる。可視光において透光性のある導電膜としては、例えば、インジウム（Ｉｎ）、亜鉛（Ｚｎ）、錫（Ｓｎ）の中から選ばれた一種を含む材料を用いるとよい。可視光において反射性のある導電膜としては、例えば、アルミニウム、または銀を含む材料を用いるとよい。
【０２１９】  また、図２３に示す表示装置７００には、平坦化絶縁膜７７０および導電膜７８４上に絶縁膜７３０が設けられる。絶縁膜７３０は、導電膜７８４の一部を覆う。なお、発光素子７８２はトップエミッション構造である。したがって、導電膜７８８は透光性を有し、ＥＬ層７８６が発する光を透過する。なお、本実施の形態においては、トップエミッション構造について、例示するが、これに限定されない。例えば、導電膜７８４側に光を射出するボトムエミッション構造や、導電膜７８４および導電膜７８８の双方に光を射出するデュアルエミッション構造にも適用することができる。
【０２２０】  また、発光素子７８２と重なる位置に、着色膜７３６が設けられ、絶縁膜７３０と重なる位置、引き回し配線部７１１、およびソースドライバ７０４に遮光膜７３８が設けられている。また、着色膜７３６および遮光膜７３８は、絶縁膜７３４で覆われている。また、発光素子７８２と絶縁膜７３４の間は封止膜７３２で充填されている。なお、図２３に示す表示装置７００においては、着色膜７３６を設ける構成について例示したが、これに限定されない。例えば、ＥＬ層７８６を塗り分けにより形成する場合においては、着色膜７３６を設けない構成としてもよい。
【０２２１】  本実施の形態に示す構成は、他の実施の形態に示す構成と適宜組み合わせて用いることができる。
【０２２２】（実施の形態４）
本実施の形態においては、先の実施の形態で例示した表示装置の自動車、およびその他の移動体への適用例について、図２４および図２５を用いて以下説明を行う。
【０２２３】＜表示システムの移動体への適用例＞
上述した表示システムが有する表示装置について、移動体である自動車の運転席周辺に設ける場合の例について説明する。
【０２２４】  例えば図２４（Ａ）は、運転席と助手席にベンチシートを採用した自動車の室内を示している。図２４（Ａ）では、ドア部に設けられた表示装置５２Ａ、ハンドルに設けられた表示装置５２Ｂ、ベンチシートの座面の中央部に設けられた表示装置５２Ｃを図示している。
【０２２５】  表示装置５２Ａには、例えば、車体に設けられた撮像装置からの画像を表示部に映し出すことによって、ドアで遮られた視界を補完することができる。
【０２２６】  表示装置５２Ｂおよび５２Ｃは、車体に設けられた撮像装置からの画像の他、ナビゲーション情報、スピードメーターやタコメーター等のメーター、走行距離、給油量、ギア状態、エアコンの設定など、その他様々な情報を提供することができる。また、表示装置に表示される表示項目やレイアウトなどは、ユーザの好みに合わせて適宜変更することができる。表示装置５２Ｂおよび５２Ｃは、照明装置として用いることも可能である。
【０２２７】  また図２４（Ｂ）は、自動車の室内におけるフロントガラス周辺を表す図である。図２４（Ｂ）では、ダッシュボードに取り付けられた表示装置５３Ａを図示している。
【０２２８】  表示装置５３Ａは、ナビゲーション情報、スピードメーターやタコメーター、走行距離、給油量、ギア状態、エアコンの設定など、その他様々な情報を提供することができる。また、表示装置に表示される表示項目やレイアウトなどは、ユーザの好みに合わせて適宜変更することができ、デザイン性を高めることが可能である。表示装置５３Ａは、照明装置として用いることも可能である。
【０２２９】  また表示装置５３Ａには、車体に設けられた撮像手段からの映像を映し出すことによって、車体に遮られた視界（死角）を補完することができる。すなわち、自動車の外側に設けられた撮像手段からの画像を表示することによって、死角を補い、安全性を高めることができる。また、見えない部分を補完する映像を映すことによって、より自然に違和感なく安全確認を行うことができる。表示装置５３Ａは、照明装置として用いることも可能である。
【０２３０】＜移動体の例＞
移動体の例について説明する。
【０２３１】  本発明の一態様に係る表示システムは、自動車に限らず様々な移動体に用いることができる。これら移動体の具体例を図２５（Ａ）乃至（Ｃ）に示す。
【０２３２】  図２５（Ａ）はバス３０２である。本発明の一態様に係る移動体は、バス３０２に用いることができる。表示システムはバス３０２の外部の画像を撮像し、視認する際の画像の視認性を高めることができる。そのため、安全性が高められたバス３０２とすることができる。
【０２３３】  図２５（Ｂ）は電車３０３である。本発明の一態様に係る移動体は、電車３０３に用いることができる。表示システムは電車３０３の外部の画像を撮像し、視認する際の画像の視認性を高めることができる。そのため、安全性が高められた電車３０３とすることができる。
【０２３４】  図２５（Ｃ）は飛行機３０４である。本発明の一態様に係る移動体は、飛行機３０４に用いることができる。表示システムは飛行機３０４の外部の画像を撮像し、視認する際の画像の視認性を高めることができる。そのため、安全性が高められた飛行機３０４とすることができる。
【０２３５】＜本明細書等の記載に関する付記＞
本明細書等において、「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものである。従って、構成要素の数を限定するものではない。また、構成要素の順序を限定するものではない。
【０２３６】  本明細書等において、ブロック図では、構成要素を機能毎に分類し、互いに独立したブロックとして示している。しかしながら実際の回路等においては、構成要素を機能毎に切り分けることが難しく、一つの回路に複数の機能が係わる場合や、複数の回路にわたって一つの機能が関わる場合があり得る。そのため、ブロック図のブロックは、明細書で説明した構成要素に限定されず、状況に応じて適切に言い換えることができる。
【０２３７】  なお図面において、同一の要素または同様な機能を有する要素、同一の材質の要素、あるいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は省略する場合がある。
【０２３８】  本明細書等において、トランジスタの接続関係を説明する際、「ソース又はドレインの一方」（又は第１電極、又は第１端子）、「ソース又はドレインの他方」（又は第２電極、又は第２端子）と表記している。これは、トランジスタのソースとドレインは、トランジスタの構造又は動作条件等によって変わるためである。なおトランジスタのソースとドレインの呼称については、ソース（ドレイン）端子や、ソース（ドレイン）電極等、状況に応じて適切に言い換えることができる。
【０２３９】  また、本明細書等において、電圧と電位は、適宜言い換えることができる。電圧は、基準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電位（接地電位）とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも０Ｖを意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、配線等に与える電位を変化させる場合がある。
【０２４０】  本明細書等において、スイッチとは、導通状態（オン状態）、または、非導通状態（オフ状態）になり、電流を流すか流さないかを制御する機能を有するものをいう。または、スイッチとは、電流を流す経路を選択して切り替える機能を有するものをいう。
【０２４１】  一例としては、電気的スイッチ又は機械的なスイッチなどを用いることができる。つまり、スイッチは、電流を制御できるものであればよく、特定のものに限定されない。
【０２４２】  なお、スイッチとしてトランジスタを用いる場合、トランジスタの「導通状態」とは、トランジスタのソースとドレインが電気的に短絡されているとみなせる状態をいう。また、トランジスタの「非導通状態」とは、トランジスタのソースとドレインが電気的に遮断されているとみなせる状態をいう。なおトランジスタを単なるスイッチとして動作させる場合には、トランジスタの極性（導電型）は特に限定されない。
【０２４３】  本明細書等において、ＡとＢとが接続されている、とは、ＡとＢとが直接接続されているものの他、電気的に接続されているものを含むものとする。ここで、ＡとＢとが電気的に接続されているとは、ＡとＢとの間で、何らかの電気的作用を有する対象物が存在するとき、ＡとＢとの電気信号の授受を可能とするものをいう。
【符号の説明】
【０２４４】  １０：表示システム、１０Ａ：表示システム、１０Ｂ：表示システム、１０Ｃ：表示システム、１１：撮像装置、１１Ａ：撮像装置、１２：特徴量出力回路、１３：データベース、１４：画像処理回路、１５：表示装置、１６：撮像データ、１７：特徴量データ、１８：補正用データ、１９：検出用データ、２０：送受信回路、２１：ネットワーク、２２：自動車、２２Ａ：自動車、２３：データ処理回路、２４：中継局、２５：センサ、Ｓ１１−Ｓ１７：ステップ、Ｓ２１−Ｓ２６：ステップ、３０：ニューラルネットワーク、３１：入力層、３２：中間層、３３：出力層、３４：フィルタ、３５：畳み込みデータ、３６：プーリングデータ、３７：フィルタ、３８：畳み込みデータ、３９：プーリングデータ、４０：全結合データ、４１：出力データ、４２：自動車、４３：光源、４４：照射方向、４５：撮像方向、４６：レンズ、４７：水滴、４８：鮮明領域、４９：不鮮明領域、１１＿１−１１＿ｎ：撮像装置、１５＿１−１５＿ｎ：表示装置、Ｓ３１−Ｓ３４：ステップ、１８Ａ：画像、１９Ａ：画像、１７Ａ：特徴量データ、５１：画像データ、７００：表示装置、７０１：基板、７０２：画素部、７０３：デマルチプレクサ、７０４：ソースドライバ、７０５：基板、７０６：ゲートドライバ、７０８：ＦＰＣ端子部、７１０：信号線、７１１：配線部、７１２：シール材、７１６：ＦＰＣ、７３０：絶縁膜、７３２：封止膜、７３４：絶縁膜、７３６：着色膜、７３８：遮光膜、７５０：トランジスタ、７５２：トランジスタ、７６０：接続電極、７７０：平坦化絶縁膜、７７２：導電膜、７７４：導電膜、７７５：液晶素子、７７６：液晶層、７７８：構造体、７８０：異方性導電膜、７８２：発光素子、７８４：導電膜、７８６：ＥＬ層、７８８：導電膜、７９０：容量素子、５２Ａ−５２Ｃ：表示装置、５３Ａ：表示装置、３０２：バス、３０３：電車、３０４：飛行機
【図１】
2018197984.tif 000020
【図２】
2018197984.tif 000021
【図３】
2018197984.tif 000022
【図４】
2018197984.tif 000023
【図５】
2018197984.tif 000024
【図６】
2018197984.tif 000025
【図７】
2018197984.tif 000026
【図８】
2018197984.tif 000027
【図９】
2018197984.tif 000028
【図１０】
2018197984.tif 000029
【図１１】
2018197984.tif 000030
【図１２】
2018197984.tif 000031
【図１３】
2018197984.tif 000032
【図１４】
2018197984.tif 000033
【図１５】
2018197984.tif 000034
【図１６】
2018197984.tif 000035
【図１７】
2018197984.tif 000036
【図１８】
2018197984.tif 000037
【図１９】
2018197984.tif 000038
【図２０】
2018197984.tif 000039
【図２１】
2018197984.tif 000040
【図２２】
2018197984.tif 000041
【図２３】
2018197984.tif 000042
【図２４】
2018197984.tif 000043
【図２５】
2018197984.tif 000044
【国際調査報告】
2018197984.tif 000045
2018197984.tif 000046
2018197984.tif 000047
2018197984.tif 000048