(57)【要約】【課題】新規な情報処理装置、又は、新規な表示方法を提案する。【解決手段】情報処理装置に、入力部と、画像処理部とを備える。外部から供給される画像を、入力部から供給される選択情報を基に画像処理部で編成することにより、該編成された画像を出力する。情報処理装置は、表示部を備えることで、表示部にて該編成された画像を表示する。該編成に要するパケットに対して、そのヘッダに付加情報が記載し、処理時に選別する。画像処理部は、人工ニューラルネットワークを備える。情報処理装置の使用者は、映像コンテンツにおいて、好みの対象を入力部から入力することで、該対象が抽出され拡大された映像を視聴することができる。【選択図】図１
2019004388.tif 000002
【特許請求の範囲】
【請求項１】
入力部と、
画像処理部と、
表示部とを有し、
前記入力部は、選択情報を供給する機能を備え、
前記画像処理部は、信号を供給される機能を備え、
前記信号は、第１の一群のパケットおよび第２の一群のパケットを含み、
前記画像処理部は、第１のフレーム画像を前記第１の一群のパケットから生成する機能と、
第２のフレーム画像を前記第２の一群のパケットから生成する機能と、
前記第１のフレーム画像の一部から、前記選択情報に基づいて、選択画像を生成する機能と、
前記第２のフレーム画像の一部から、前記選択画像と類似する画像を含む部分を特定する機能と、
前記第２の一群のパケットの中から、前記選択画像に類似する画像を含む部分を生成するために用いられる単数または複数のパケットを選別する機能と、
前記単数または複数のパケットを用いて、第３のフレーム画像を、生成する機能と、を備え、
前記表示部は、前記第３のフレーム画像を表示する機能を備える情報処理装置。
【請求項２】
入力部と、
画像処理部とを有し、
前記入力部は、選択情報を供給する機能を備え、
前記画像処理部は、信号を供給される機能を備え、
前記信号は、第１の一群のパケットおよび第２の一群のパケットを含み、
前記画像処理部は、第１のフレーム画像を前記第１の一群のパケットから生成する機能と、
第２のフレーム画像を前記第２の一群のパケットから生成する機能と、
前記第１のフレーム画像の一部から、前記選択情報に基づいて、選択画像を生成する機能と、
前記第２のフレーム画像の一部から、前記選択画像と類似する画像を含む部分を特定する機能と、
前記第２の一群のパケットの中から、前記選択画像に類似する画像を含む部分を生成するために用いられる単数または複数のパケットを選別する機能と、
前記単数または複数のパケットを供給する機能と、を備える情報処理装置。
【請求項３】
請求項１または２において、
前記選別は、前記第２の一群のパケットの有する情報の違いを用いて行われる情報処理装置。
【請求項４】
請求項１乃至３の何れか１において、
前記画像処理部は、人工ニューラルネットワークを備え、
前記人工ニューラルネットワークは、前記第２のフレーム画像の一部から、前記第１の画像と類似する第２の画像を生成する機能を有し、
前記人工ニューラルネットワークは、重みフィルタを用いて畳み込み処理を行う機能を有する情報処理装置。
【請求項５】
請求項１乃至４の何れか１において、
アナログメモリを用いた積和演算回路を有する情報処理装置。
【請求項６】
請求項５において、
アナログメモリはトランジスタを有し、
前記トランジスタは、チャネル形成領域に金属酸化物を含む情報処理装置。
【請求項７】
請求項１乃至６の何れか１において、
照度センサ、撮像装置、姿勢検出装置、圧力センサ、人感センサのうち、何れか１以上を備えた情報処理装置。
【請求項８】
入力部から供給される選択情報を用いて表示部に表示を行う、情報処理装置の表示方法であって、
前記表示方法は、第１乃至第１１のステップを備え、
第１のステップは、前記選択情報の有無を判別し、
第２のステップは、前記第１のステップにて、前記選択情報がある場合に、第１のフレーム画像を表示部に表示し、
第３のステップは、前記第１のフレーム画像に含まれる、第１の画像を選択し、
第４のステップは、第１の画像の表示領域を指定し、
第５のステップは、終了指示の有無を判定し、
第６のステップは、前記第１のステップにて、前記選択情報がない場合、及び前記第５のステップにて、前記終了指示が無い場合に、外部からパケットを受信し、第２のフレーム画像を構成し、
第７のステップは、前記第１の画像が選択されてるか判別し、
第８のステップは、前記第７のステップにて、前記第１の画像が選択されている場合に、前記第２のフレーム画像のうち、前記第１の画像と類似する部分を含む、第２の画像を選択し、
第９のステップは、前記表示領域と、前記第２の画像とを元に、第３のフレーム画像を構成し、
第１０のステップは、前記表示部に、前記第３のフレーム画像を表示したのち、前記第１のステップに進み、
第１１のステップは、前記第７のステップにて、前記第１の画像が選択されていない場合に、前記表示部に、前記第２のフレーム画像を表示したのち、前記第１のステップに進むことを特徴とする情報処理装置の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、情報処理装置、及び表示方法に関する。
【０００２】
なお本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物（コンポジション・オブ・マター）に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、蓄電装置、撮像装置、記憶装置、プロセッサ、電子機器、それらの駆動方法、それらの製造方法、それらの検査方法、またはそれらのシステムを一例として挙げることができる。
【背景技術】
【０００３】
従来、個人はテレビジョン（ＴＶ）などに含まれる表示装置により、放送局が制作した映像コンテンツを視聴することができた。近年ではブロードバンド環境が進み、個人でも様々なジャンルの映像コンテンツを、インターネット経由で視聴することができる。
【０００４】
例えば、特許文献１に示される例では、個人の映像コンテンツを共有可能なサーバに保存し、別の個人はサーバに保存されている大量の映像コンテンツの中から好みのものを選択し、視聴することができる。
【０００５】
また近年、撮像装置の高精細化と、表示装置の高精細化が進んでいる。、４ｋ放送が一部で始まり、数年後に８ｋの試験放送も予定されている。それに伴い、４ｋ、８ｋを表示する表示装置の普及も徐々に進んでいる。放送局は高精細化された撮像装置とブロードバンド環境により、大きな画像情報からなる映像コンテンツを個人に送信することができる。
【０００６】
映像コンテンツを含む外部からの放送信号のデータは、日本国の地上デジタル放送においては、トランスポートストリームと呼ばれる伝送方式によって、複数のパケットを多重化して送られる。ヘッダには、そのパケットが有する該データを識別するための番号が含まれている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−２８９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
表示装置にてその細部にのみ注目して視聴したい要望がある。また高精細化された画像は、その情報量が多いことから、細部を拡大しても、十分精細化されて表示することができる。
【０００９】
撮像装置については、今後更に高解像度化が進み、それに伴って１６Ｋ、３２Ｋを例とするような高解像度放送が行われることが予想される。
【００１０】
高精細化された映像情報を十分表示するための表示装置は、視認性の理由から画面が大きい。しかし狭い環境で使用される中小型の表示装置に期待される解像度は、その視認性から一定で留まる可能性がある。また８ｋ以上の解像度を持つ表示装置の用途が未確定である。そのため、８ｋ以上表示装置の性能を十分活かすことができないなか、高精細化された映像データが増えていく状態となりえる。
【００１１】
本発明の一態様は、新規な情報処理装置を提供することを課題の一つとする。又は、本発明の一態様は、新規な表示方法を提供することを課題の一とする。
【００１２】
なお本発明の一態様の課題は、上記列挙した課題に限定されない。上記列挙した課題は、他の課題の存在を妨げるものではない。なお他の課題は、以下の記載で述べる、本項目で言及していない課題である。本項目で言及していない課題は、当業者であれば明細書又は図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した記載、及び他の課題のうち、少なくとも一つの課題を解決するものである。なお、本発明の一態様は、上記列挙した記載、及び他の課題の全てを解決する必要はない。
【課題を解決するための手段】
【００１３】
（１）本発明の一態様の情報処理装置は、入力部と、画像処理部と、表示部とを有する。
【００１４】
入力部は、選択情報を供給する機能を備える。
【００１５】
画像処理部は、信号を供給される機能を備える。信号は、第１の一群のパケットおよび第２の一群のパケットを含む。画像処理部は、第１のフレーム画像を第１の一群のパケットから生成する機能と、第２のフレーム画像を第２の一群のパケットから生成する機能と、第１のフレーム画像の一部から、選択情報に基づいて、選択画像を生成する機能と、第２のフレーム画像の一部から、選択画像と類似する画像を含む部分を特定する機能と、第２の一群のパケットの中から、選択画像に類似する画像を含む部分を生成するために用いられる単数または複数のパケットを選別する機能と、単数または複数のパケットを用いて、第３のフレーム画像を、生成する機能と、を備を備える。
【００１６】
表示部は、第３のフレーム画像を表示する機能を備える。
【００１７】
（２）本発明の別の一態様の情報処理装置は、入力部と、画像処理部とを有する。
【００１８】
入力部は、選択情報を供給する機能を備える。
【００１９】
画像処理部は、信号を供給される機能を備える。信号は、第１の一群のパケットおよび第２の一群のパケットを含む。画像処理部は、第１のフレーム画像を第１の一群のパケットから生成する機能と、第２のフレーム画像を第２の一群のパケットから生成する機能と、第１のフレーム画像の一部から、選択情報に基づいて、選択画像を生成する機能と、第２のフレーム画像の一部から、選択画像と類似する画像を含む部分を特定する機能と、第２の一群のパケットの中から、選択画像に類似する画像を含む部分を生成するために用いられる単数または複数のパケットを選別する機能と、該単数または複数のパケットを供給する機能を備える。
【００２０】
上記各構成を有する情報処理装置を用いることにより、使用者は、膨大な映像データから一部を抽出し、好みの対象を視聴することができる。また、必要な信号を効率よく処理または供給することができる。
【００２１】
（３）上記各構成において、上記選別は、第２の一群のパケットの有する情報の違いを用いて行われると好ましい。
【００２２】
（４）上記各構成において、画像処理部は、人工ニューラルネットワークを備え、人工ニューラルネットワークは、第１の画像と、第２のフレーム画像との類似判定を行う機能を有し、人工ニューラルネットワークは、重みフィルタを用いて畳み込み処理を行う機能を有すると好ましい。
【００２３】
上記構成を有する情報処理装置は、画像の類似判定をより高速に実行することができる。
【００２４】
（５）上記各構成において、情報処理装置はアナログメモリを用いた積和演算回路を有すると好ましい。
【００２５】
上記構成を有する情報処理装置は、積和演算を小さな回路規模にて、高速、低消費電力で処理することができる。
【００２６】
（６）上記各構成において、アナログメモリはトランジスタを有し、トランジスタは、チャネル形成領域に金属酸化物を含むと好ましい。
【００２７】
上記構成を有する情報処理装置は、半導体装置の消費電力を十分に低減することができる。
【００２８】
（７）上記各構成において、照度センサ、撮像装置、姿勢検出装置、圧力センサ、人感センサのうち、何れか１以上を備えると好ましい。
【００２９】
（８）本発明の表示方法は、入力部から供給される選択情報を用いて表示部に表示を行う、情報処理装置の表示方法である。
【００３０】
表示方法は、第１乃至第１１のステップを備える。第１のステップは、選択情報の有無を判別する。
【００３１】
第２のステップは、第１のステップにて、選択情報がある場合に、第１のフレーム画像を表示部に表示する。第３のステップは、第１のフレーム画像に含まれる、第１の画像を選択する。第４のステップは、第１の画像の表示領域を指定する。第５のステップは、終了指示の有無を判定する。
【００３２】
第６のステップは、第１のステップにて、選択情報がない場合、及び第５のステップにて、終了指示が無い場合に、外部からパケットを受信し、第２のフレーム画像を構成する。第７のステップは、第１の画像が選択されてるか判別する。第８のステップは、第７のステップにて、第１の画像が選択されている場合に、第２のフレーム画像のうち、第１の画像と類似する部分を含む第２の画像を選択する。
【００３３】
第９のステップは、表示領域と、選択された第２の画像とを元に、第３のフレーム画像を構成する。第１０のステップは、表示部に、第３のフレーム画像を表示したのち、第１のステップに進む。第１１のステップは、第７のステップにて、第１の画像が選択されていない場合に、表示部に、第２のフレーム画像を表示したのち、第１のステップに進む。
【発明の効果】
【００３４】
本発明の一態様によって、新規な情報処理装置を提供することができる。又は、本発明の一態様によって、新規な表示方法を提供することができる。
【００３５】
なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書又は図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び他の効果のうち、少なくとも一つの効果を有するものである。従って本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
【図面の簡単な説明】
【００３６】
【図１】本発明の一態様である情報処理装置の構成例を示すブロック図。
【図２】本発明の一態様である情報処理装置の画像選択方法と表示方法を説明する模式図。
【図３】本発明の一態様である情報処理装置の画像処理部を示すブロック図。
【図４】本発明の一態様である情報処理装置の構成例を示すブロック図。
【図５】本発明の一態様である情報処理装置のパケットの供給方法を説明する図。
【図６】パケットの構造を説明する図。
【図７】本発明の一態様の表示方法を説明するフローチャート。
【図８】人工ニューラルネットワークを説明する図。
【図９】画像フィルタを説明する図。
【図１０】畳み込みニューラルネットワークを説明する図。
【図１１】アナログ回路の一部の構成を示す回路図。
【図１２】オフセット回路の構成を示す回路図。
【図１３】演算処理装置の動作を説明するタイミングチャート。
【図１４】本発明の情報処理装置に用いることができるトランジスタの断面図。
【図１５】トランジスタの作製方法を説明する断面図。
【図１６】本発明の情報処理装置に用いることができるトランジスタの断面図。
【図１７】本発明の情報処理装置に用いることができるトランジスタの断面図。
【図１８】情報処理装置の構成例を示す図。
【図１９】情報処理装置の構成例を示す図。
【発明を実施するための形態】
【００３７】
本発明の一態様である情報処理装置は、入力部と、画像処理部とを備え、外部から供給される画像を、入力部から供給される選択情報を基に画像処理部で編成することにより、該編成された画像を出力することができる。
【００３８】
情報処理装置は、表示部を備えることで、表示部にて該編成された画像を表示することができる。尚、本明細書では、使用者の意図に基づいたレイアウトを有するフレーム画像を作製することを、編成すると記すことがある。
【００３９】
上記画像は逐次更新されることで、動画の一部とすることができる。情報処理装置の使用者は、動画等の映像コンテンツにおいて、好みの対象を入力部から入力することで、該対象が抽出され拡大された映像を視聴することができる。
【００４０】
＜本明細書等の記載に関する付記＞
本明細書においてトランジスタが有するソースとドレインは、トランジスタの極性及び各端子に与えられる電位の高低によって、その呼び方が入れ替わる。一般的に、ｎチャネル型トランジスタでは、低い電位が与えられる端子がソースと呼ばれ、高い電位が与えられる端子がドレインと呼ばれる。また、ｐチャネル型トランジスタでは、低い電位が与えられる端子がドレインと呼ばれ、高い電位が与えられる端子がソースと呼ばれる。本明細書では、便宜上、ソースとドレインとが固定されているものと仮定して、トランジスタの接続関係を説明する場合があるが、実際には上記電位の関係に従ってソースとドレインの呼び方が入れ替わる。
【００４１】
本明細書においてトランジスタのソースとは、活性層として機能する半導体膜の一部であるソース領域、或いは上記半導体膜に接続されたソース電極を意味する。同様に、トランジスタのドレインとは、上記半導体膜の一部であるドレイン領域、或いは上記半導体膜に接続されたドレイン電極を意味する。また、ゲートはゲート電極を意味する。
【００４２】
本明細書中において、トランジスタの第１の電極または第２の電極の一方がソース電極を、他方がドレイン電極を指す。トランジスタがオンのとき、第１の電極と第２の電極との間には電流が流れる。トランジスタがオフのとき、第１の電極と第２の電極との間には電流が流れない。ｎ型トランジスタにおいて、ゲート電圧が高レベルのときトランジスタがオンになり、ゲート電圧が低レベルのときトランジスタがオフになる。
【００４３】
本明細書中において、トランジスタが第１の導電膜と第１の電極とを有するとき、トランジスタの第１の導電膜は、トランジスタの第１の電極に接続する。トランジスタが第２の導電膜と第２の電極とを有するとき、トランジスタの第２の導電膜は、トランジスタの第２の電極に接続する。
【００４４】
本明細書等において、スイッチとは、導通状態（オン状態）、又は、非導通状態（オフ状態）になり、電流を流すか流さないかを制御する機能を有するものをいう。又は、スイッチとは、電流を流す経路を選択して切り替える機能を有するものをいう。
【００４５】
一例としては、電気的スイッチ又は機械的なスイッチなどを用いることができる。つまり、スイッチは、電流を制御できるものであればよく、特定のものに限定されない。
【００４６】
なお、スイッチとしてトランジスタを用いる場合、トランジスタの「導通状態」とは、トランジスタのソース電極とドレイン電極が電気的に短絡されているとみなせる状態をいう。また、トランジスタの「非導通状態」とは、トランジスタのソース電極とドレイン電極が電気的に遮断されているとみなせる状態をいう。なおトランジスタを単なるスイッチとして動作させる場合には、トランジスタの極性（導電型）は特に限定されない。
【００４７】
本明細書中において、酸化窒化シリコンとは、その組成として窒素よりも酸素の含有量が多い材料を指し、窒化酸化シリコンとは、その組成として、酸素よりも窒素の含有量が多い材料を示す。
【００４８】
本明細書において接続とは、電気的な接続を意味しており、電流、電圧または電位が、供給可能、或いは伝送可能な状態に相当する。従って、接続している状態とは、直接接続している状態を必ずしも指すわけではなく、電流、電圧または電位が、供給可能、或いは伝送可能であるように、配線、抵抗、ダイオード、トランジスタなどの回路素子を介して間接的に接続している状態も、その範疇に含む。
【００４９】
本明細書において回路図上は独立している構成要素どうしが接続されている場合であっても、実際には、例えば配線の一部が電極として機能する場合など、一の導電膜が、複数の構成要素の機能を併せ持っている場合もある。本明細書において接続とは、このような、一の導電膜が、複数の構成要素の機能を併せ持っている場合も、その範疇に含める。
【００５０】
本明細書において、符号に補足する記号を用いた場合、符号に相当する対象のうち、記号で指定される部分を対象とする。符号に補足する記号を用いない場合、符号を有する全てを対象とする。例えば第２の画像５２＿１と記載されたとき、第２の画像５２＿１Ａ、第２の画像５２＿１Ｂ、第２の画像５２＿１Ｃ、等の全てを対象とする。
【００５１】
（実施の形態１）
本実施の形態では、本発明の一態様である情報処理装置について説明する。
【００５２】
図１は、本発明の一態様である情報処理装置２０の構成例を示すブロック図である。
【００５３】
本発明の一態様の情報処理装置２０は、入力部２２と、受信部２４と、画像処理部２６と、表示部３０と、を備える。以下に各構成の動作と機能を説明する。
【００５４】
＜入力部２２の動作と機能＞
入力部２２は、選択情報５０を供給する機能を備える。選択情報５０とは、情報処理装置２０の使用者が、情報処理装置２０の表示部３０にて視聴したい対象の情報を含む。
【００５５】
例えば、使用者が入力部２２を操作するとき、表示部３０に表示されている画像を第１のフレーム画像６０とし、第１のフレーム画像６０に含まれる視聴したい対象が表示される座標または範囲を入力部２２に入力することで、視聴したい対象を選択することができる。選択情報５０は当該座標または範囲の情報を含む。すなわち、使用者は入力部２２によって、視聴したい対象を選択することができる。第１のフレーム画像６０にて視聴したい対象は、対象Ａ、対象Ｂ、対象Ｃ、対象Ｄ、のように複数選択することができる（図２（Ａ）参照）。
【００５６】
複数の第１のフレーム画像６０に対する、対象を選択するための情報を入力部２２に入力してもよい。例えば、短時間の動画を表示部３０に表示させ、対象が表示されている範囲を入力部２２に入力してもよい。
【００５７】
＜受信部２４の動作と機能＞
受信部２４は、外部から映像コンテンツのデータを含む信号を逐次受信する機能を備える。この信号は、一連の第１のパケット５４である。また受信部２４は入力部２２から選択情報５０を受信する機能を備える。
【００５８】
映像コンテンツのデータは、デジタルテレビの放送波等での伝送にて受信部２４より受信される。このときデータは、ＭＰＥＧ−２トランスポートストリーム形式にて受信される。トランスポートストリームは、ビデオストリーム、オーディオストリーム、字幕ストリームなどが多重化されている。
【００５９】
ビデオストリームは映像情報を、オーディオストリームは音声情報を、字幕ストリームは字幕情報を、それぞれ格納している。ビデオストリームは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣなどの方式を使って符号化記録される。
【００６０】
ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣなどの動画圧縮の符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。
【００６１】
第１のパケット５４には、例えばＭＰＥＧ−２トランスポートストリーム形式のデータが格納される。
【００６２】
また受信部２４は第１のパケット５４と、選択情報５０とを画像処理部２６に供給する機能を備える。
【００６３】
＜画像処理部２６の動作と機能＞
画像処理部２６は、選択情報５０を供給される機能を備える。また画像処理部２６は、映像コンテンツのデータを含む信号すなわち第１のパケット５４を供給される機能を備える。
【００６４】
画像処理部２６は第１のフレーム画像６０を生成する機能を備える。
【００６５】
画像処理部２６は、第１のフレーム画像６０における一部分を、選択情報５０に基づいて抽出し、第１の画像５２＿０を生成する機能を備える。尚、本明細書中では、選択情報５０に基づいて抽出し、第１の画像５２＿０を、選択画像と記すことがある。
【００６６】
映像コンテンツが球技の中継であって、第１のフレーム画像６０がグラウンドの全体像であるとき、特定の選手や、ボール等を第１の画像５２＿０として選ぶことができる。
【００６７】
例えば選択情報５０に基づいて、第１のフレーム画像６０から、視聴したい対象Ａを含む第１の画像５２＿０Ａ、視聴したい対象Ｂを含む第１の画像５２＿０Ｂ、視聴したい対象Ｃを含む第１の画像５２＿０Ｃ、視聴したい対象Ｄを含む第１の画像５２＿０Ｄ、というように、複数の第１の画像を抽出することができる（図２（Ａ）参照）。
【００６８】
複数の第１のフレーム画像６０と、選択情報５０とに基づいて、同じ対象の複数の第１の画像５２＿０が生成してもよい。例えば、短時間の動画を表示部３０に表示させ、視聴したい対象Ａが表示されている範囲が選択情報５０として供給されたとき、複数の第１の画像５２＿０Ａを生成することができる。
【００６９】
画像処理部２６は、一連の第１のパケット５４を逐次供給される機能を備える。画像処理部２６は、第２の画像５２＿１を、第１のパケット５４を用いて生成する機能を備える。後述の部分で説明するが、第１のパケット５４のデータ部には、第２の画像５２＿１の画像情報が含まれる。
【００７０】
図２（Ｂ）には、第２の画像５２＿１と第２のフレーム画像６１との関係が示される。第２の画像５２＿１は、第２のフレーム画像６１の一部分である。第２のフレーム画像６１は、複数の第２の画像５２＿１より構成される。一つの第２の画像５２＿１は、１または複数の第１のパケット５４を用いて生成することができる。
【００７１】
第１のパケット５４のヘッダ部分には、第１のパケット５４にて供される画像が、第２のフレーム画像６１における位置の情報が記載される。そのため、第２の画像５２＿１を生成するための第１のパケット５４を識別することができる。
【００７２】
第１のパケット５４に格納されるデータは、映像コンテンツのデータが空間方向および時間方向に圧縮されたものである。そのため複数の第１のパケット５４に格納されたデータを解凍することで、ある時刻に表示すべき第２のフレーム画像６１を得ることができる。
【００７３】
画像処理部２６は、第１のパケット５４の一部を用いて、第２のフレーム画像６１を生成する機能を備える。第２のフレーム画像６１は逐次生成される。
【００７４】
第１のフレーム画像６０と第２のフレーム画像６１は、同一の映像コンテンツにおける一部であり、上記信号を用いて生成される。
【００７５】
すなわち、第１のパケット５４には第１の一群のパケットおよび第２の一群のパケットが含まれ、第１のフレーム画像は前記第１の一群のパケットから生成され、第２のフレーム画像は前記第２の一群のパケットから生成される、と言える。
【００７６】
第１のフレーム画像６０と第２のフレーム画像６１とは、共通の対象を含む。但し、対象は、第１のフレーム画像６０と第２のフレーム画像６１において、それぞれ任意の位置、角度、大きさで配置される。
【００７７】
例えば第１のフレーム画像６０がグラウンドの全体像であるとき、第２のフレーム画像６１もグラウンドの全体像である。第１のフレーム画像６０において何れか一部に、特定の選手の画像があったとすれば、第２のフレーム画像６０の何れか一部にも、特定の選手の画像がある。
【００７８】
画像処理部２６は、画像判定部２８を備える。画像判定部２８においては、第１の画像５２＿０と、第２のフレーム画像６１との類似判定を行う機能を備える。該類似判定により、画像処理部２６は、第２のフレーム画像６１の一部から、第１の画像５２＿０と類似する画像を含む部分を特定する機能を備える。
【００７９】
図２（Ｂ）には、第２の画像５２＿１の例が示される。第２のフレーム画像６１から、第１の画像５２＿０Ａと類似した画像を含む、第２の画像５２＿１Ａ、第１の画像５２＿０Ｂと類似した画像を含む第２の画像５２＿１Ｂ、第１の画像５２＿０Ｃと類似した画像を含む第２の画像５２＿１Ｃ、第１の画像５２＿０Ｄと類似した画像を含む第２の画像５２＿１Ｄ、が示される。
【００８０】
画像判定部２８は、後述の部分で説明される、人工ニューラルネットワークを備えた人工知能により、第１の画像５２＿０と、第２のフレーム画像６１との類似判定を行っても良い。特に、画像処理における類似判定に有効である、重みフィルタを用いて畳み込み処理を行う人工ニューラルネットワークを備えることが好ましい。
【００８１】
例えば、第２のフレーム画像６１を畳み込みニューラルネットワークＣＮＮにて特徴抽出した後、特徴抽出された対象が第１の画像５２＿０Ａ、第１の画像５２＿０Ｂ、第１の画像５２＿０Ｃ、第１の画像５２＿０Ｄの特徴と類似しているかを全結合層ＦＣにて判定するような処理を用いることができる（図３参照）。
【００８２】
第１の画像５２＿０の特徴と、第２のフレーム画像６１と、より正確に全結合層ＦＣにて判定するため、同じ視聴したい対象について、第１の画像５２＿０が複数あることが望ましい。このとき、全結合層ＦＣの備える人工ニューラルネットワークの学習がより正確になる。そのためには、短時間の動画を表示部３０に表示させ、対象が表示されている範囲を入力部２２に入力されることが好ましい。尚、学習については後述の部分にて説明する。
【００８３】
第１の画像５２＿０Ａ、第１の画像５２＿０Ｂ、第１の画像５２＿０Ｃ、第１の画像５２＿０Ｄの特徴は、学習によりシナプス回路ＳＣにて重み係数として記憶される。
【００８４】
画像判定部２８は、例えば第１の画像５２＿０と、第２のフレーム画像６１とにおいて、それぞれ画素ごとに差分をとって平均二乗誤差やＳＮ比を計算するアルゴリズムを備えても良い。または、画像判定部２８は、は輪郭抽出を最初にして、輪郭の図形の相関関係が高いものを似ていると判定するアルゴリズムを備えても良い。
【００８５】
映像コンテンツが動画であるとき、第２のフレーム画像６１は動画の一フレームを構成する。そのため画像処理部２６は、第２のフレーム画像６１から、第１の画像５２＿０と類似した画像を含む第２の画像５２＿１を選択する処理を、逐次行う。
【００８６】
画像処理部２６は、第２のフレーム画像６１から、第１の画像５２＿０と類似した画像を含む第２の画像５２＿１を選択する処理の結果を、次の選択する処理に反映させる機能を有しても良い。例えばある時刻に表示される第２のフレーム画像６１において、第２の画像５２＿１Ａが座標Ａ１に配置されていたとき、次に表示される第２のフレーム画像６１においては、座標Ａ１の近傍から第１の画像５２＿０と類似した画像を含む部分を特定する機能を有しても良い。該機能を有することで、該特定する処理を、より精度良く行うことができる。
【００８７】
画像処理部２６は、第１のパケット５４に対して、類似判定の結果を含む付加情報を生成する機能を備える。該付加情報には、第２の画像５２＿１が類似していると判断される第１の画像５２＿０の種類、第２の画像５２＿１が第１の画像５２＿０の何れかと類似していると判断された場合、その周辺に配置される画像を含むかどうか、類似している確からしさ、を含むことができる。
【００８８】
換言すれば、該付加情報は、第１のパケット５４に含まれる第２の画像５２＿１が、情報処理装置２０の使用者が視聴したい対象を含むか、に基づいて生成される。
【００８９】
例えば、第２の画像５２＿１ＢＳは、第２の画像５２＿１Ｂの周辺に配置される画像を含む（図２（Ｂ）参照）。一方、第２の画像５２＿１Ｖは、周辺に第１の画像５２＿０と類似の画像がない。第２の画像５２＿１Ｖ内の画像情報を有する第１のパケット５４に対する付加情報と、第２の画像５２＿１ＢＳ内の画像情報を有する第１のパケット５４に対する付加情報とは、異なるものとすることができる。
【００９０】
例えば、第２の画像５２＿１ＢＳ１の画像情報を有する第１のパケット５４は、第２の画像５２＿１Ｂから距離Ｒ１離れている（図２（Ｃ）参照）。第２の画像５２＿１ＢＳ２の画像情報を有する第１のパケット５４は、第２の画像５２＿１Ｂからの距離Ｒ２離れている。第２の画像５２＿１ＢＳ３の画像情報を有する第１のパケット５４は、第２の画像５２＿１Ｂからの距離Ｒ３離れている。このように、ある第２の画像５２＿１において、対象を含む第２の画像５２＿１からの距離に関連付けられた付加情報を作成しても良い。尚、距離Ｒ１、距離Ｒ２、距離Ｒ３等は、第２の画像５２同士の端部から端部までの距離としても良いし、第２の画像５２同士の中央から中央の距離としてもよい。
【００９１】
画像処理部２６は、一連の第１のパケット５４に、それぞれ付加情報を記載し、一連の第２のパケット５６を生成する機能を備える。該付加情報は、例えば後述の部分で示される、ヘッダ部のオプション部分に記載することができる。
【００９２】
画像処理部２６は、第２のパケット５６に記載された付加情報に基づいて、第２の画像５２＿１を含む、第３のフレーム画像６２を生成する機能を備える。すなわち、画像処理部２６は、第１のパケット５４の中から、第１の画像５２＿０と類似する部分を含む、第２の画像５２＿１を生成するために用いられる第２のパケット５６を、付加情報に基づいて選別し、該選別された第２のパケット５６から、第３のフレーム画像６２を生成する。
【００９３】
画像処理部２６は、一連の第２のパケット５６のうち第３のフレーム画像６２を生成するために不要な第２のパケット５６を、付加情報に基づいて選別し消去する機能を有しても良い。このとき、第３のフレーム画像６２を生成するための処理する時に扱うデータが少なくなり、該処理を効率良く高速で行うことができる。
【００９４】
例えば第３のフレーム画像６２は、第２の画像５２＿１Ａ、第２の画像５２＿１Ｂ、第２の画像５２＿１Ｃ、第２の画像５２＿１Ｄ、から編成される（図２（Ｄ）参照）。第３のフレーム画像６２のレイアウトは、入力部２２で設定することができる。例えば第３のフレーム画像６２において、対象Ａは拡大して表示する、対象Ｂは表示部にて小さい領域にて表示する、等とすることができる。
【００９５】
例えば、画像判定部２８において、第２のフレーム画像６１から、第１の画像５２＿０と類似した第２の画像５２＿１を選択することが出来なかったとき、第２のフレーム画像６１を第３のフレーム画像６２としても良い。
【００９６】
画像判定部２８において、第２のフレーム画像６１から、第１の画像５２＿０と類似した第２の画像５２＿１の数が変化したとき、その都度、第３のフレーム画像６２のレイアウトを変えても良い。例えば、ある時間の第３のフレーム画像６２は、第２の画像５２＿１Ａ、第２の画像５２＿１Ｂにて編成され、別の時間の第３のフレーム画像６２は、第２の画像５２＿１Ａ、第２の画像５２＿１Ｂ、第２の画像５２＿１Ｃ、第２の画像５２＿１Ｄにて編成されてもよい。
【００９７】
画像処理部２６は、第３のフレーム画像６２を表示させるための信号を表示部に供給する機能を備える。尚、選択情報５０が画像処理部２６に供給されない状態では、画像処理部２６は第２のフレーム画像６１を表示部３０に供給することができる。
【００９８】
本発明の一態様の情報処理装置は、画像処理部２６は画像判定部２８を有しており、画像判定部２８で処理する機能以外の一部の機能を、画像処理部２６以外の構成で処理する構成としても良い。例えば、第１のフレーム画像６０を生成する処理、第２のフレーム画像６１を生成する機能、第３のフレーム画像６２を編成する処理、第３のフレーム画像６２を表示させるための信号を表示部に供給する処理、等は、情報処理装置内の他の構成部分や、本発明の一態様の情報処理装置に接続することが可能な外部機器にて処理する構成としても良い。このような構成においても、使用者は第３のフレーム画像６２を視聴することが可能となる。
【００９９】
＜表示部３０の動作と機能＞
表示部３０は、第３のフレーム画像６２を表示する機能を備える。選択情報５０が画像処理部２６に供給されない状態では、第２のフレーム画像６１を表示する機能を備える。
【０１００】
このように情報処理装置２０は、逐次受信部２４を介して供給される第１のパケット５４を画像処理部２６にて逐次処理し、第３のフレーム画像６２を表示部３０に表示させ、不要なデータを消去する。画像処理部２６における画像処理及び類似判定が速やかに行われることで、情報処理装置２０は表示部３０に使用者の望む映像を表示させることができ、かつ高精細な映像コンテンツを表示させるための膨大なデータの記憶が不要となる。
【０１０１】
本発明の一態様の情報処理装置２０Ｂは、図４に示されるように、入力部２２と、画像処理部２６と、制御部３２とを有し、外部の電子機器と接続する構成としても良い。
【０１０２】
このとき、画像処理部２６は、第２のパケット５６を、付加情報に基づいて、供給または供給の中止を判定する機能を備える。そのため、情報処理装置２０Ｂは、第３のフレーム画像６２を表示するために必要な第２のパケット５６を、外部の電子機器に効率よく供給することができる。例えば、付加情報が距離Ｒ１の情報を含むとき、距離Ｒ１の値が所定の閾値以上の場合、供給を中止することで、第３のフレーム画像６２の情報を含む第２パケット５６を効率的に供給することができる。
【０１０３】
外部から情報処理装置２０Ｂへの第１のパケット５４の供給と、情報処理装置２０Ｂから外部への第２のパケット５６の供給は、逐次行われる。
【０１０４】
外部から情報処理装置２０Ｂへ、第１のパケット５４が供給される場合、ヘッダＨＤ（ｎ）とペイロードＰＤ（ｎ）とを備える第１のパケット５４の後に、ヘッダＨＤ（ｎ＋１）とペイロードＰＤ（ｎ＋１）とを備える第１のパケット５４が供給される（図５（Ａ）参照）。
【０１０５】
各個別のパケットは、ＳｏＴ（Ｓｔａｒｔ  ｏｆ  Ｔｒａｎｓｍｉｓｓｉｏｎ）及びＥｏＴ（Ｅｎｄ  ｏｆ  Ｔｒａｎｓｍｉｓｓｉｏｎ））とに挟まれて供給されるが、図５では省略している。
【０１０６】
第３のフレーム画像６２を構成する第２の画像５２＿１は、ペイロードＰＤ（ｎ）、ペイロードＰＤ（ｎ＋１）、ペイロードＰＤ（ｋ）、ペイロードＰＤ（ｋ＋１）に含まれているとする。このとき画像処理部２６は、ヘッダＨＤ（ｎ）、ヘッダＨＤ（ｎ＋１）、ヘッダＨＤ（ｋ）、ヘッダＨＤ（ｋ＋１）に、第３のフレーム画像６２を構成するパケットである旨の付加情報を記載する（図５（Ｂ）参照）。
【０１０７】
次いで画像処理部２６は、ヘッダＨＤ（ｎ）、ヘッダＨＤ（ｎ＋１）、ヘッダＨＤ（ｋ）、ヘッダＨＤ（ｋ＋１）を備える第２のパケット５４トのみを選択し、外部の電子機器に供給する（図５（Ｃ）参照）。このとき例えば、第２の画像５２＿１Ｖ内の画像情報を有する第２のパケット５４は送信されない。
【０１０８】
このように第２のパケット５６を選別して供給することで、処理するデータの量を減らすことができ、エンコード処理、デコード処理、送信処理、等の高速化を実現できる。
【０１０９】
情報処理装置２０Ｂから、信号を受信する電子機器は、第２のパケット５６に記載される付加情報に基づいて、第３のフレーム画像６２を構成する機能を備えることで、第３のフレーム画像６２を表示することができる。
【０１１０】
情報処理装置２０が有する各構成要素について、以下に説明する。
【０１１１】
＜入力部２２＞
入力部２２は、例えばタッチパネル、キーボード、マウス等を用いることができる。
【０１１２】
例えばタッチパネルは、表示部３０に重ねて配設することで、表示部３０に表示される第１のフレーム画像６０から対象Ａ、対象Ｂ等を選択することを容易にするため好ましい。キーボードは表示部３０における座標を入力することで、表示部３０に表示される対象Ａ、対象Ｂ等を選択することができる。マウスを用いたときは、表示部３０に表示されるポインタにて、対象Ａ、対象Ｂ等を選択することができる。
【０１１３】
＜受信部２４＞
受信部２４は、第１のパケット５４及び選択情報５０を受信する機能を有する。受信部２４は第１のパケット５４及び選択情報５０を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して、デジタル信号として受信する。第１のパケット５４は、後述の部分で説明されるパケット構造を有する。選択情報５０は、情報処理装置２０の有する配線にて、アナログ信号として受信しても良い。
【０１１４】
＜画像処理部２６＞
画像処理部２６は、受信部２４から、第１のパケット５４と、選択情報５０とを供給され、第２のパケット５６、第２のフレーム画像６１または第３のフレーム画像６２を供給する機能を有する。
【０１１５】
第３のフレーム画像６２は第２のフレーム画像６１の一部により編成されている。そのため、第２のフレーム画像６１と第３のフレーム画像６２との画像のデータ量を比較すると、後者の方がデータ量が小さくなることがある。また、表示部３０と、第２のフレーム画像６１と、第３のフレーム画像６２と、の有する解像度はそれぞれ異なることがある。そのため、情報処理装置２０が有する画像処理部２６は、第２のフレーム画像６１または第３のフレーム画像６２をアップコンバートまたはダウンコンバートする機能を有する。
【０１１６】
他の画像処理としては、例えば、調光処理、調色処理などが挙げられる。調光処理は、画像データの明るさを調整する処理であり、調色処理は、画像データの色彩を調整する処理である。なお、画像処理部２６で行う画像処理としては、表示部３０に画像データを表示する場合において、当該画像データに対してガンマ補正を行う処理を有してもよい。
【０１１７】
画像処理部２６は、表示部３０の仕様によって、ＲＧＢ−ＲＧＢＷ変換回路など、他の処理回路を有している場合がある。ＲＧＢ−ＲＧＢＷ変換回路とは、ＲＧＢ（赤、緑、青）画像データを、ＲＧＢＷ（赤、緑、青、白）画像データに変換する機能をもつ回路である。すなわち、表示部３０がＲＧＢＷ４色の画素を有する場合、画像データ内のＷ（白）成分を、Ｗ（白）画素を用いて表示することで、消費電力を低減することができる。なお、表示部３０がＲＧＢＹの４色の画素を有する場合、例えば、ＲＧＢ−ＲＧＢＹ（赤、緑、青、黄）変換回路を用いることができる。
【０１１８】
＜画像判定部２８＞
画像処理部２６は、画像判定部２８を備える。画像判定部２８は、例えば実施の形態２で示されるような、畳み込みニューラルネットワークＣＮＮを備えることができる。
【０１１９】
畳み込みニューラルネットワークＣＮＮや、全結合層ＦＣは、積和演算により処理される。この積和演算は、プログラムを用いてソフトウェア上で行ってもよいし、ハードウェアによって行われてもよい。積和演算をハードウェアによって行う場合は、積和演算回路を用いることができる。
【０１２０】
積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、又は、メモリへのアクセス回数の減少による処理速度の向上及び消費電力の低減を図ることができる。
【０１２１】
すなわち、畳み込みニューラルネットワークＣＮＮや、全結合層ＦＣは、アナログメモリを用いた積和演算回路を有しても良い。アナログメモリを用いた情報処理装置は、積和演算を小さな回路規模にて、高速、低消費電力で処理することができる。
【０１２２】
また、アナログメモリはトランジスタを有し、該トランジスタは、チャネル形成領域に金属酸化物を含むＯＳトランジスタであることが好ましい。
【０１２３】
ＯＳトランジスタは、オフ電流が小さいため、これを半導体装置に用いることにより長期にわたり記憶内容を保持することが可能である。つまり、リフレッシュ動作を必要としない、あるいは、リフレッシュ動作の頻度が極めて少ないため、半導体装置の消費電力を十分に低減することができる。
【０１２４】
金属酸化物は、Ｉｎと、元素Ｍ（Ｍは、ガリウム、アルミニウム、シリコン、ホウ素、イットリウム、スズ、銅、バナジウム、ベリリウム、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウム）とを含む酸化物を用いることができる。
【０１２５】
＜表示部３０＞
例えば、表示部３０は、発光素子と、画素回路と、を有する。発光素子としては、例えば、透過型液晶素子、有機ＥＬ、無機ＥＬ、窒化物半導体発光ダイオードなどを適用することができる。また、例えば、発光素子の代わりとして、反射型液晶素子、電子泳動素子などを適用することができる。
【０１２６】
＜制御部３２＞
制御部３２は、入力部２２、受信部２４、画像処理部２６、画像判定部２８及び表示部３０を制御する機能を有する。
【０１２７】
例えば制御部３２は、使用者が入力部２２を操作するときに表示部３０にて表示される画像をの静止を画像処理部２６に指示する制御、使用者が入力部２２を操作するときに表示部３０にて表示される画像を第１のフレーム画像６０とすることを画像処理部２６に指示する制御、等を行う機能を有する。
【０１２８】
以上の構成の情報処理装置を用いることにより、使用者は、膨大な映像データから一部を抽出し、好みの対象を視聴することができる。
【０１２９】
＜パケット構造＞
第１のパケット５４、第２のパケット５６は、一般的なパケット構造を有する。例えば、パケットヘッダ部（Ｐａｃｋｅｔ  Ｈｅａｄｅｒ）と、ペイロード部（Ｐａｙｌｏａｄ）と、パケットフッタ部（Ｐａｃｋｅｔ  Ｆｏｏｔｅｒ）とを有する。パケットヘッダ部には、例えばペイロードのデータタイプ情報、ペイロードのデータ数、誤り訂正符号などの情報が含まれ、パケットフッタ部には、誤り検出符号などの情報が含まれる。そして、ペイロード部には画像データに対応する画像情報が含まれている。
【０１３０】
パケットのヘッダ部はさらに固定長の部分と、オプション部分の２つで構成される。
【０１３１】
固定長の部分には複数のフィールドを備える。例えば、バージョン２０２、ヘッダ長２０４、サービス・タイプ２０６、データグラム長２０８、ＩＤ２１０、フラグ２１２、フラグメント・オフセット２１４、ＴＴＬ２１６、プロトコル番号２１８、ヘッダ・チェックサム２２０、送信元ＩＰアドレス２２２、あて先ＩＰアドレス２２４、を備える（図６参照）。
【０１３２】
同じ映像コンテンツを供するパケットの場合、この固定長のいずれかの部分に、共通の識別子が記載される。
【０１３３】
また、オプション部分には、オプション２２６のフィールドを備える。
【０１３４】
オプション部分は、ＩＰパケットの送信に伴い、さまざまな付加的な機能を実現するために利用される。オプション部分はＩＰパケットの通過のログ（時間の記録）、ルーティングの経路を強制的に指定、パケットが通過したルート（ルータのＩＰアドレス）を記録させたりすることができる。
【０１３５】
オプション部分は、４バイト単位で可変であり、最大で４０バイト（固定部分とあわせると最大で６０バイト）にまで拡大されて使用される。
【０１３６】
画像処理部２６では付加情報を、例えばオプション部分に、最大で４０ｂｙｔｅｓの大きさで記載することができる。付加情報を記載する個所は、ヘッダ部の固定長のいずれかの部分でも良い。
【０１３７】
ペイロード部には、データ２２８のフィールドを備える。データ２２８のフィールドには、第１の画像５２＿０、第２の画像５２＿１、等の画像データを含むことができる。データ２２８フィールドは、通常はＴＣＰやＵＤＰ、ＩＣＭＰなどのパケットが含まれる。
【０１３８】
＜表示方法＞
以上のような構成の情報処理装置２０を用いることで、以下のような表示方法を行うことができる。図７は、本発明の一態様の表示方法を説明するフローチャートである。
【０１３９】
本発明の一態様の表示方法は、設定処理と、表示処理と、を有する。
【０１４０】
設定処理は、以下の第１のステップＳ１から、第５のステップＳ５までを備える。
【０１４１】
第１のステップＳ１として、入力部２２から供給される選択情報５０が無い場合は表示処理に進み、選択情報５０がある場合は第２のステップＳ２に進む。
【０１４２】
第２のステップＳ２として、第１のフレーム画像６０を表示部３０に表示する。第１のフレーム画像６０は、例えば直前のルーチンにて表示部３０に表示された第２のフレーム画像６１を用いることができる。第１のフレーム画像６０の情報は、画像処理部２６に記憶される。
【０１４３】
第３のステップＳ３として、入力部２２から供給される選択情報５０に基づいて、第１のフレーム画像６０に含まれる、第１の画像５２＿０を選択する。ここで選択する第１の画像５２＿０は、例えば第１の画像５２＿０Ａ、第１の画像５２＿０Ｂ、第１の画像５２＿０Ｃ、第１の画像５２＿０Ｄ、等である（図２（Ａ）参照）。
【０１４４】
第４のステップＳ４として、入力部２２から供給される選択情報５０に基づいて、表示部３０における第１の画像５２＿０の表示領域を指定する。該指定がない場合、第１の画像５２＿０を所定のレイアウトにて配置するような表示領域を指定する。
【０１４５】
第５のステップＳ５として、入力部２２から供給される選択情報５０が、終了指示である場合は処理を終了し、終了指示が無い場合は表示処理に進む。
【０１４６】
表示処理は、以下の第６のステップＳ６から、第１１のステップＳ１１までを備える。
【０１４７】
第６のステップＳ６として、外部から第１のパケット５４を受信し、第２のフレーム画像６１を構成する。
【０１４８】
第７のステップＳ７として、第１の画像５２＿０が選択されている場合、第８のステップＳ８に進み、第１の画像５２＿０が選択されていない場合、第１１のステップＳ１１に進む。
【０１４９】
第８のステップＳ８として、第２のフレーム画像６１のうち、第１の画像５２＿０と類似する部分を含む、第２の画像５２＿１を選択する。例えば第１の画像５２＿０がｎ個選択されれば、第２の画像５２＿１が最大ｎ個選択される。
【０１５０】
この処理は、画像判定部２８にて行われるが、複数選択された第１の画像５２＿０のうち、第２のフレーム画像６１との類似判定が困難な場合は、その第２の画像５２＿１は選択されない。この場合、第２の画像５２＿１がｎ個未満選択されても良い。
【０１５１】
第９のステップＳ９として、第４のステップで指定された表示領域と、選択された第２の画像５２＿１とに基づいて第３のフレーム画像６２を編成する。具体的には、第１の画像５２＿０Ａに指定された表示領域に、第２の画像５２＿１Ａを配置させる。第１の画像５２＿０Ｂに指定された表示領域に、第２の画像５２＿１Ｂを配置させる。
【０１５２】
第１の画像５２＿０がｎ個選択されたが、第２の画像５２＿１がｎ個未満生成された場合、所定のレイアウトにて第３のフレーム画像６２を編成してもよい。
【０１５３】
第１０のステップＳ１０として、表示部に、第３のフレーム画像６２を表示し、第１のステップＳ１に進む。
【０１５４】
第１１のステップＳ１１として、表示部に、第２のフレーム画像６１を表示し、第１のステップＳ１に進む。
【０１５５】
以上の構成の表示方法により、使用者は、膨大な映像データから一部を抽出し、好みの対象を視聴することができる。
【０１５６】
なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。
【０１５７】
（実施の形態２）
本実施の形態は、画像判定部２８で行う処理を、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて算出する方法を示す。
【０１５８】
本発明の画像判定部２８は、人工ニューラルネットワークを備える。人工ニューラルネットワークは実施の形態１で示された第１の画像５２＿０と、第２のフレーム画像６１との類似判定を、新たに入力されたデータと学習によって得た知識から行うことができる。
【０１５９】
＜人工知能＞
人工知能とは、コンピュータを使って、学習・推論・判断など人間の知能のはたらきを人工的に実現したものである。また学習の仕方そのものを対象とした技術を、機械学習という。
【０１６０】
機械学習とは、特定の事象についてデータを解析し、その結果から傾向を学習して、推論・判断を行うための計算方法である。
【０１６１】
機械学習の手法として有効な技術に、ディープラーニング（深層学習）が挙げられる。
【０１６２】
従来、コンピュータが推論・判断を行う処理は一段階であったが、このとき入力に対して複雑な判断を行い出力することは難しい。ディープラーニングは、推論・判断を行う処理を複数段階行うことで、複雑な判断を行い出力することが可能となる。
【０１６３】
ディープラーニングを実現するために備える計算方法として、人工ニューラルネットワークが挙げられる。
【０１６４】
人工ニューラルネットワークとは、人間の脳の生物学的な仕組み（ニューロン間のあらゆる相互接続）を模した計算方法である。人工ニューラルネットワークは、学習によって得た知識を用いて、新たな入力データについて推論・判断を行うことができる。推論・判断の例としては、特徴に基づく事象の分類が挙げられる。
【０１６５】
例えば、特徴ｘ１及びｘ２に関して、グループａに分類される事象ａ＿１乃至ａ＿ｍと、グループｂに分類される事象ｂ＿１乃至ｂ＿ｎとを、分離する方法について図８（Ａ）に示す。該分離するためには、例えば識別関数Ｉ１、識別関数Ｉ２及び識別関数Ｉ３でそれぞれ分離された集合を、論理和または論理積により特定する手段を用いることができる。
【０１６６】
例えば識別関数Ｉ１は、重みｗ０、ｗ１及びｗ２、特徴ｘ１及びｘ２を用いて、式１のように示される。式１は積和演算の一つと言うことができる。
【０１６７】
【数１】
2019004388.tif 000003
【０１６８】
新たな事象ｃを、グループａとグループｂとの何れに属するか判断する場合、式１において、Ｉ１＜０のときはグループａ、Ｉ１＞０のときはグループａまたはグループｂと判断することができる。
【０１６９】
次いで、Ｉ１＞０の場合の、同様の判断を、識別関数Ｉ２を用いて行う。次いで同様の判断を、識別関数Ｉ３を用いて行う。このような手順で、すべての事象につき、グループａとグループｂとに分類することができる。
【０１７０】
識別関数Ｉ１、識別関数Ｉ２及び識別関数Ｉ３はそれぞれ線形関数であり、これらの１つのみで事象を分類できない問題を、線形分離不可能な問題という。
【０１７１】
識別関数Ｉ１には、３以上の特徴ｘを用いてもよい。特徴ｘ１乃至ｘｉ、重みＷ０乃至Ｗｉを用いて、識別関数Ｉ１は式２のように示される（ｉは自然数）。
【０１７２】
【数２】
2019004388.tif 000004
【０１７３】
識別関数Ｉ２も複数の特徴、複数の重みを用いて同様に表される。、識別関数Ｉ３も同様である。
【０１７４】
＜多層パーセプトロン＞
線形分離不可能な問題は、多層パーセプトロンで解決することができる。
【０１７５】
多層パーセプトロンは、人工ニューラルネットワークの一つである。また情報の伝達が一方向にのみ行われ（フィードフォワード型）、ニューロン回路であるユニットが層状に配置される。また、回路において情報の処理は一方方向であり、換言すれば再帰的な接続を持たない回路である。
【０１７６】
多層パーセプトロン１０２は、入力層ＩＬ、隠れ層ＨＬ、シナプス回路ＳＣ、出力層ＯＬ、を有する（図８（Ｂ）参照）。多段階での判断を行うためは、隠れ層ＨＬが複数の層を有すると好ましい。隠れ層ＨＬが複数の層を有する多層パーセプトロンを用いた機械学習は、ディープラーニングと言うことができる。
【０１７７】
例えば、入力層ＩＬに、事象ｃに由来する特徴ｘ１乃至ｘｉが入力される。これらはニューロン回路ＮＣ＿Ｉ１乃至ＮＣ＿Ｉｉを介して隠れ層ＨＬの第１層ＨＬ１に供給される。
【０１７８】
第１層ＨＬ１では、識別関数Ｉ１を基に事象ｃの分類を行う。識別関数Ｉ１の値によってｊ種類の分類をする場合、複数のニューロン回路ＮＣ＿Ｈ（１，１）乃至ＮＣ＿Ｈ（１，ｊ）を備える。
【０１７９】
シナプス回路ＳＣ＿Ｈ（１，１，１）は重みｗ（１，１，１）を記憶し、シナプス回路ＳＣ＿Ｈ（１，１，ｉ）は重みｗ（１，１，ｉ）を記憶する。同様に、シナプス回路ＳＣ＿Ｈ（１，ｊ，１）は重みｗ（１，ｊ，１）を記憶し、シナプス回路ＳＣ＿Ｈ（１，ｊ，ｉ）は重みｗ（１，ｊ，ｉ）を記憶する。
【０１８０】
ニューロン回路ＮＣ＿Ｈ（１，１）乃至ＮＣ＿Ｈ（１，ｊ）は、活性化関数に基づいて値を出力する。活性化関数とは、識別関数Ｉ１に重みと特徴が入力されたときの値と、ニューロン回路が出力する値とを関連付けたものである。
【０１８１】
活性化関数には、シグモイド関数、双曲線正接関数を例とする微分可能な連続関数を使用することができる。層内の出力値を全て足し合わせると１になるよう調整するソフトマックス関数や、層内の複数の出力値の中で最も大きい値を出力するＭａｘｏｕｔなど、同じ層にある他のユニットの影響も受けるような活性化関数を用いても良い。
【０１８２】
活性化関数には、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔｓ）等を用いることができる。ＲｅＬＵは、入力値が負である場合は“０”を出力し、入力値が“０”以上である場合は入力値をそのまま出力する関数である。
【０１８３】
例えば第１層ＨＬ１において、事象ｃがｋ番目の分類に該当したとき、ニューロン回路ＮＣ＿Ｈ（１，ｋ）が最も大きな値を出力し、第１層ＨＬ１の他のニューロン回路はニューロン回路ＮＣ＿Ｈ（１，ｋ）より小さな値を出力することができる。
【０１８４】
隠れ層ＨＬの第２層ＨＬ２は、第１層ＨＬ１から出力された値が入力される。第２層ＨＬ２は別の識別関数による分類を、第１層ＨＬ１と同様に行うことができる。
【０１８５】
隠れ層ＨＬは３以上の層を備えることもでき、層の数と同数の識別関数による分類を行うことができる。
【０１８６】
このように、隠れ層ＨＬを通過後、出力層ＯＬより活性化関数に基づいて出力値ＯＶが出力される。出力層ＯＬは、ニューロン回路ＮＣ＿Ｏ１乃至ＮＣ＿Ｏｌを備える。
【０１８７】
以上の手順により、多層パーセプトロン１０２は事象ｃを、グループ１乃至グループｌの何れに属するかを判断することができる。
【０１８８】
＜学習方法＞
多層パーセプトロン１０２における学習とは、重みｗを更新することで、新たな事象ｃを多層パーセプトロン１０２に入力したときの出力値ｙ１乃至ｙｌを、それぞれ正解値ｔ１乃至ｔｌに近づけることをいう。正解値ｔ１乃至ｔｌは、ｘ１乃至ｘｊに対応して事前に定められている値である。
【０１８９】
ここでいう新たな事象ｃを、学習すべきデータと言う。ｘ１乃至ｘｊと、正解値ｔ１乃至ｔｌとの組み合わせを教師データという。
【０１９０】
活性化関数に微分可能な連続関数を使用することにより、誤差逆伝播法を用いた学習を行うことができる。
【０１９１】
誤差逆伝播法とは、誤差関数に出力値ｙ１乃至ｙｌと正解値ｔ１乃至ｔｌを代入し決定される値に応じて、隠れ層ＨＬの重み係数ｗが変更する方法である。
【０１９２】
誤差逆伝播法においては、隠れ層ＨＬの重み係数ｗの変更量に応じて、さらに前段の隠れ層ＨＬの重み係数ｗが変更される。このように、正解値ｔ１乃至ｔｌに基づいてシナプス回路ＳＣの重み係数を順次変更することにより、多層パーセプトロン１０２の学習を行うことができる。
【０１９３】
＜画像識別＞
画像識別を学習する方法として、２次元の画像が数値化されたｐ行ｑ列の行列１１０を、１次元の配列に変換して、図８に示すような多層パーセプトロンにて学習した場合、画像情報が１ピクセルずれただけで出力が大きく変わることがある。そのため、本発明の一態様では行列１１０に対して、以下に示す画像フィルタを用いて画像識別を学習する。
【０１９４】
＜画像フィルタによる加工＞
画像識別を学習する別の方法としては、画像の輪郭を識別するものである。輪郭とは、ピクセル間の色濃度の違いである。
【０１９５】
画像識別を行うためには、画像フィルタ１１２を用いることが有効である。画像フィルタ１１２は、例えば行数または列数がそれぞれ３乃至１１行である行列を用いることができる。例えば図９（Ａ）に示された画像フィルタ１１２は、ｃ１１乃至ｃ３３までの計９個の要素を有する。尚、画像フィルタ１１２は、行数と列数とが、それぞれ一致していなくても良い。
【０１９６】
行列１１０を画像フィルタ１１２により加工して得られる行列１１４を図９（Ｃ）に示す。行列１１４のｕ行ｖ列目の要素ｒｕ，ｖは、式３により定められる。
【０１９７】
【数３】
2019004388.tif 000005
【０１９８】
画像フィルタ１１２の値と行列１１０の値を要素毎に掛けあわせ、画像フィルタ１１２の要素の数だけ得られた、該掛け合わせた数を合計した値が、行列１１４の要素の一つとなる。行列１１０において画像フィルタ１１２に由来する特徴を備えたとき、行列１１４における同座標の要素は、例えば値が大きい等、強調される。
【０１９９】
＜畳み込みニューラルネットワークＣＮＮ＞
畳み込みニューラルネットワークＣＮＮを画像識別に用いる場合も、その処理の過程で画像フィルタ１１２を用いる。但し、画像フィルタ１１２の初期値はランダムであり、次いで学習により最終的な値を決定する。
【０２００】
畳み込みニューラルネットワークＣＮＮにおいて、行列１１４を算出する作業がある。このとき式２のように、行列１１０の要素と画像フィルタ１１２の行列の要素とを掛けて足し合わせることから、畳み込みニューラルネットワークＣＮＮは積和演算の一つと言うことができる。
【０２０１】
畳み込みニューラルネットワークＣＮＮは、多層パーセプトロンと似た層構造を備える（図１０参照）。具体的には、畳み込み層ＣＬ、プーリング層ＳＳが交互に複数回繰り返され、その後段に全結合層ＦＣが配置される。
【０２０２】
畳み込み層ＣＬは、画像フィルタ１１２＿１乃至画像フィルタ１１２＿ｎ（ｎは２以上の自然数）を備える。畳み込み層ＣＬは、画像データに対して畳み込みを行う機能を有する。
【０２０３】
畳み込みとは、画像フィルタ１１２＿１乃至画像フィルタ１１２＿ｎを用いて、行列１１０を加工し、行列１１４＿１乃至行列１１４＿ｎを得る作業である。
【０２０４】
行列１１４の各要素には、それぞれ活性化関数が適用される。得られた行列１１４の要素において、フィルタに由来する特徴を備える個所は、例えば値が大きい等、強調される。
【０２０５】
プーリング層ＳＳは、畳み込み層ＣＬから出力された行列１１４に対してプーリングを行う機能を有する。プーリングは、画像データを複数の領域に分割し、当該領域ごとに所定のデータを抽出してマトリクス状に配置する処理である。
【０２０６】
プーリングにより、畳み込み層によって抽出された特徴を残しつつ、画像データが縮小される。これにより、画像識別において必要不可欠である、識別対象の平行移動、回転、スケーリングに対する不変性を段階的に加えることができる。
【０２０７】
なお、プーリングとしては、最大プーリング、平均プーリング、Ｌｐプーリング等を用いることができる。
【０２０８】
畳み込みニューラルネットワークＣＮＮから出力されたデータ１１６は、全結合層ＦＣに入力される。全結合層ＦＣは多層パーセプトロンと同様、入力層ＩＬ、隠れ層ＨＬ及び出力層ＯＬを備える。全結合層ＦＣは画像の判定を行う機能を有する。
【０２０９】
以上の構成の人工知能を、画像処理部に用いることにより、情報処理装置は画像の類似判定をより高速化することができる。
【０２１０】
なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。
【０２１１】
（実施の形態３）
本実施の形態では、他の実施の形態にて用いることができる、積和演算が可能な演算処理回路について説明する。
【０２１２】
積和演算は、例えば、畳み込みニューラルネットワークＣＮＮにおいて、行列１１４を算出する過程での重み付け和の演算などに使われる（図９（Ｃ）参照）。
【０２１３】
本発明の一態様の情報処理装置は、演算処理回路に、デジタル回路を用いることができる。例えば、複数の第１のデジタルデータと、複数の第１のデジタルデータに各々対応する複数の第２のデジタルデータと、の乗算を積演算回路にて実行し、得られた積データである複数の第３のデジタルデータをデジタルメモリに格納し、デジタルメモリから複数の第３のデジタルデータを逐次読み出し、足し算を加算回路にて実行する。
【０２１４】
デジタル回路を用いる場合、積演算回路や加算回路を複数設けることで演算処理時間を短縮することができる。
【０２１５】
また本発明の一態様の情報処理装置は、演算処理回路に、アナログ回路を用いることができる。アナログ回路は、複数のアナログメモリ素子を有する。
【０２１６】
複数のアナログメモリ素子は複数の第１のアナログデータを各々保持する機能を有し、複数のアナログメモリ素子に各々対応する第２のアナログデータに応じた電位の選択信号を印加することで、複数のアナログメモリ素子から第１のアナログデータと第２のアナログデータの積に依存した電流が流れ、それらの電流の和に応じた出力信号を取得する。
【０２１７】
アナログ回路を用いた場合、積和演算処理を小さな回路規模で高速、低消費電力化することができる。
【０２１８】
＜アナログ回路の構成要素＞
図１１は、アナログ回路の一部の構成を示す回路図である。図１１には、アナログメモリ素子として、アナログメモリ素子ＭＥＭ［ｉ，ｊ］、アナログメモリ素子ＭＥＭ［ｉ，ｊ＋１］、アナログメモリ素子ＭＥＭ［ｉ＋１，ｊ］、アナログメモリ素子ＭＥＭ［ｉ＋１，ｊ＋１］、参照アナログメモリ素子ＲＥＦ［ｉ］、参照アナログメモリ素子ＲＥＦ［ｉ＋１］が示される。
【０２１９】
各アナログメモリ素子は、トランジスタＴｒ１、トランジスタＴｒ２、容量素子Ｃ１を備える。
【０２２０】
各トランジスタＴｒ２のソース電極またはドレイン電極の一方は、電源線ＶＲと接続する。各トランジスタＴｒ１のゲート電極は、信号線ＷＷ［ｉ］または信号線ＷＷ［ｉ＋１］と接続する。各容量素子Ｃ１の一方の電極は、信号線ＲＷと接続する。
【０２２１】
各トランジスタＴｒ１のソース電極またはドレイン電極の一方は、信号線ＷＤと接続する。信号線ＷＤには制御信号が供給される。
【０２２２】
各トランジスタＴｒ２のソース電極またはドレイン電極の他方は、信号線Ｂと接続される。信号線Ｂにアナログメモリ素子のデータ、信号線ＢＲＥＦに参照アナログメモリ素子のデータが出力される。
【０２２３】
電荷保持ノードＮ［ｉ，ｊ］、電荷保持ノードＮ［ｉ，ｊ＋１］、電荷保持ノードＮ［ｉ＋１，ｊ］、電荷保持ノードＮ［ｉ＋１，ｊ＋１］、電荷保持ノードＮＲＥＦ［ｉ］、電荷保持ノードＮＲＥＦ［ｉ＋１］には、データに対応する電荷を蓄積することができる。
【０２２４】
図１２は、オフセット回路の構成を示す。図１２において、列出力回路ＯＵＴ［ｊ］、列出力回路ＯＵＴ［ｊ＋１］は、各々、トランジスタＴｒ４乃至トランジスタＴｒ１０、容量素子Ｃ２、容量素子Ｃ３を備える。
【０２２５】
各トランジスタＴｒ５のゲート電極は信号線ＯＳＰに接続する。各トランジスタＴｒ６のゲート電極は信号線ＯＲＰに接続する。各トランジスタＴｒ８のゲート電極は信号線ＯＳＭに接続する。各トランジスタＴｒ９のゲート電極は信号線ＯＲＭに接続する。
【０２２６】
信号線ＯＳＭ、信号線ＯＲＭ、信号線ＯＲＰ、信号線ＯＳＰから制御信号が供給される。信号線Ｂ［ｊ］、信号線Ｂ［ｊ＋１］に各列のアナログメモリ素子から電流が流れる。
【０２２７】
また、図１２において、参照電流回路ＣＲＥＦは、トランジスタＴｒ１１を備える。信号線ＢＲＥＦが参照アナログメモリ素子と接続する。参照アナログメモリ素子から信号線ＢＲＥＦに流れる電流量に応じ、電流源バイアス電圧が、信号線ＶＲＥＦに与えられる。
【０２２８】
＜アナログ回路の動作＞
図１３は、演算処理装置の動作を説明するタイミングチャートである。時刻Ｔ０１乃至時刻Ｔ０４は各アナログメモリ素子に第１のアナログデータを格納する動作に相当し、時刻Ｔ０５乃至時刻Ｔ１０はオフセット回路の各列出力回路にオフセット電圧を設定する動作に相当し、時刻Ｔ１１乃至時刻Ｔ１６は各行のアナログメモリ素子に格納した第１のアナログデータと、各行のアナログメモリ素子に供給する選択信号に対応する第２のアナログデータと、の積に対応した出力データを取得する動作に相当する。
【０２２９】
ここで、電源線ＶＲはローレベルの電位、電源線ＶＤＤはハイレベルの電位、電源線ＶＳＳはローレベルの電位とする。また、トランジスタＴｒ２、トランジスタＴｒ４、トランジスタＴｒ７、トランジスタＴｒ１０、トランジスタＴｒ１１は、特に断りのない場合は飽和領域で動作するものとする。すなわち、当該トランジスタのゲート電圧、ソース電圧、ドレイン電圧は、飽和領域で動作する範囲の電圧に適切にバイアスされているものとする。なお、当該トランジスタの動作が、理想的な飽和領域での動作からずれていても、出力データの精度が所望の範囲内で得られる場合であれば、当該トランジスタのゲート電圧、ソース電圧、ドレイン電圧は、適切にバイアスされているものとみなす。
【０２３０】
なお、その他のトランジスタ、すなわち、トランジスタＴｒ１、トランジスタＴｒ５、トランジスタＴｒ６、トランジスタＴｒ８、トランジスタＴｒ９は、極めてオフ電流の低いＯＳトランジスタを用いることで理想的なスイッチ、すなわち、容量素子Ｃ１、容量素子Ｃ２、容量素子Ｃ３に蓄えた電位を長時間保持することができる。
【０２３１】
時刻Ｔ０１乃至時刻Ｔ０２において、信号線ＷＷ［ｉ］にハイレベルの電位が与えられ、信号線ＷＷ［ｉ＋１］にローレベルの電位が与えられる。信号線ＷＤ［ｊ］に電位ＶＰＲ−ＶＸ［ｉ，ｊ］、信号線ＷＤ［ｊ＋１］に電位ＶＰＲ−ＶＸ［ｉ，ｊ＋１］、信号線ＷＤＲＥＦに電位ＶＰＲ、信号線ＲＷ［ｉ］に基準電位、信号線ＲＷ［ｉ＋１］に基準電位が与えられる。
【０２３２】
この時、電荷保持ノードＮ［ｉ，ｊ］の電位はＶＰＲ−ＶＸ［ｉ，ｊ］、電荷保持ノードＮ［ｉ，ｊ＋１］の電位はＶＰＲ−ＶＸ［ｉ，ｊ＋１］、電荷保持ノードＮＲＥＦ［ｉ］の電位はＶＰＲが与えられる。ここで、ＶＸ［ｉ，ｊ］、ＶＸ［ｉ，ｊ＋１］は複数の第１のアナログデータに各々対応する電位である。
【０２３３】
時刻Ｔ０３乃至時刻Ｔ０４において、信号線ＷＷ［ｉ］にローレベルの電位が与えられ、信号線ＷＷ［ｉ＋１］にハイレベルの電位が与えられる。信号線ＷＤ［ｊ］に電位ＶＰＲ−ＶＸ［ｉ＋１，ｊ］、信号線ＷＤ［ｊ＋１］に電位ＶＰＲ−ＶＸ［ｉ＋１，ｊ＋１］、信号線ＷＤＲＥＦに電位ＶＰＲ、信号線ＲＷ［ｉ］に基準電位、信号線ＲＷ［ｉ＋１］に基準電位が与えられる。
【０２３４】
この時、電荷保持ノードＮ［ｉ＋１，ｊ］の電位はＶＰＲ−ＶＸ［ｉ＋１，ｊ］、電荷保持ノードＮ［ｉ＋１，ｊ＋１］の電位はＶＰＲ−ＶＸ［ｉ＋１，ｊ＋１］、電荷保持ノードＮＲＥＦ［ｉ＋１］の電位はＶＰＲに設定される。ここで、ＶＸ［ｉ＋１，ｊ］、ＶＸ［ｉ＋１，ｊ＋１］は複数の第１のアナログデータに各々対応する電位である。
【０２３５】
基準電位は、電源線ＶＳＳに与えられる電位をＶｓとし、電源線ＶＤＤに与えられる電位をＶｄとすると、ＶｓとＶｄの間にある電位とすることができる。基準電位は例えば（Ｖｓ＋Ｖｄ）／２とすることができる。
【０２３６】
さて、信号線ＲＷ［ｉ］の電位を基準電位に対してＶＷ［ｉ］だけ高い電位とする（以下、信号線ＲＷ［ｉ］の電位をＶＷ［ｉ］とする、と表現する）場合を考える。ここで、ＶＷ［ｉ］は第２のアナログデータに対応する電位である。この時、アナログメモリ素子［ｉ，ｊ］におけるトランジスタＴｒ２のドレイン電流Ｉ［ｉ，ｊ］は式４のように表される。
【０２３７】
【数４】
2019004388.tif 000006
【０２３８】
また、参照アナログメモリ素子ＲＥＦ［ｉ］におけるトランジスタＴｒ２のドレイン電流ＩＲＥＦ［ｉ］は、式５のように表される。
【０２３９】
【数５】
2019004388.tif 000007
【０２４０】
ここで、ｋは係数、ＶｔｈはトランジスタＴｒ２の閾値電圧である。なお、信号線ＲＷ［ｉ］の電位は容量素子Ｃ１を介してトランジスタＴｒ２のゲート電位に重畳されるため、信号線ＲＷ［ｉ］の電位変化がそのままトランジスタＴｒ２のゲート電位の増加分とはならない。より具体的には、容量素子Ｃ１の容量とトランジスタＴｒ２のゲート容量と寄生容量より算出できる容量結合係数を信号線ＲＷ［ｉ］の電位変化に乗じた電位変化がトランジスタＴｒ２のゲート電位の増加分となる。ここでは、簡単のため、当該容量結合容量係数を乗じた電位をＶＷ［ｉ］とするが、実際に信号線ＲＷ［ｉ］に供給する電位は、当該容量結合容量係数を用いることで適宜換算すればよい。
【０２４１】
ここで、アナログメモリ素子に流れる電流の和  Ｉ［ｊ］＝ΣＩ［ｉ，ｊ］、参照アナログメモリ素子に流れる電流の和  ＩＲＥＦ＝ΣＩＲＥＦ［ｉ］を考えると、その差分ΔＩ［ｊ］は、式６のように表される。
【０２４２】
【数６】
2019004388.tif 000008
【０２４３】
２ｋΣ（ＶＷ［ｉ］×ＶＸ［ｉ，ｊ］）は、第１のアナログデータに対応する電位ＶＸ［ｉ，ｊ］と、第２のアナログデータに対応する電位ＶＷ［ｉ］と、の積の和に相当する。つまり、上記差分ΔＩ［ｊ］からＩｏｆｆｓｅｔ［ｊ］を差し引くことで、第１のアナログデータと第２のアナログデータとの積和値を算出することができることになる。なお、Ｉｏｆｆｓｅｔ［ｊ］は、ＶＷ［ｉ］を全て０、すなわち、信号線ＲＷ［ｉ］の電位を全て基準電位とした時の信号線Ｂ［ｊ］に流れる電流Ｉ［ｊ］と信号線ＢＲＥＦに流れる電流ＩＲＥＦとの差分に相当する。
【０２４４】
時刻Ｔ０５乃至時刻Ｔ０６において、信号線ＯＲＰにハイレベルの電位が与えられ、信号線ＯＲＭにハイレベルの電位が与えられるとする。この時、オフセット回路における列出力回路ＯＵＴにおいて、容量素子Ｃ２の電極間電位差は０となり、容量素子Ｃ３の電極間電位差は０となる。
【０２４５】
時刻Ｔ０７乃至時刻Ｔ０８において、信号線ＯＳＰにハイレベルの電位が与えられるとする。また、信号線ＲＷ［ｉ］の電位を基準電位、信号線ＲＷ［ｉ＋１］の電位を基準電位とする。
【０２４６】
ここで、ΔＩ［ｊ］が正、つまり、ＩＲＥＦの方がＩ［ｊ］より大きい場合、容量素子Ｃ２の電極間電位差が所定の値に変化する。このときトランジスタＴｒ４のゲート電位が変化し、Ｉｏｆｆｓｅｔ［ｊ］（＝ＩＣＰ［ｊ］）を流し、その結果差分電流ΔＩ［ｊ］を流し得る。つまり、トランジスタＴｒ４はＩＣＰ［ｊ］を流し得る電流源に設定される。
【０２４７】
一方、ΔＩ［ｊ］が負の場合、つまり、ＩＲＥＦの方がＩ［ｊ］より小さい場合、トランジスタＴｒ２のチャネルに流すことのできる電流が、トランジスタＴｒ１０のチャネルに流すことができる電流より大きいことを意味する。
【０２４８】
電源線ＶＳＳの電位はローレベルであるため、トランジスタＴｒ４のチャネルに流れる電流の方向は、電源線ＶＳＳに向かう方向である。そのためΔＩ［ｊ］が負の場合、トランジスタＴｒ２とトランジスタＴｒ４とトランジスタＴｒ１０とで電流のバランスを取ることは困難である。つまり、トランジスタＴｒ２とトランジスタＴｒ４とトランジスタＴｒ１０とが共に飽和領域で動作することは困難となる。そのため、容量素子Ｃ２に設定される電位はトランジスタＴｒ４を飽和領域で動作する電位とはならない恐れがある。
【０２４９】
このような問題を回避するために、時刻Ｔ０５乃至時刻Ｔ０６において容量素子Ｃ３の電極間電位差を０とする場合、電位ＶＤＤは、トランジスタＴｒ７が適当な電流を供給しうるような所定の電位に設定する構成が有効である。
【０２５０】
このような構成とすることで、トランジスタＴｒ２が引き込める電流が、トランジスタＴｒ７及びトランジスタＴｒ１０が供給する電流より小さくなるため、トランジスタＴｒ２が引き込めない分の電流をトランジスタＴｒ４で引き込めるように容量素子Ｃ２の電位を設定すれば良い。
【０２５１】
時刻Ｔ０９乃至時刻Ｔ１０においては、信号線ＯＳＭにハイレベルの電位が与えられる。また、信号線ＲＷ［ｉ］の電位を基準電位、信号線ＲＷ［ｉ＋１］の電位を基準電位とする。
【０２５２】
この時、ΔＩ［ｊ］が負、つまり、ＩＲＥＦの方がＩ［ｊ］より小さい場合、トランジスタＴｒ７のゲート電位が差分電流ΔＩ［ｊ］、つまり、Ｉｏｆｆｓｅｔ［ｊ］（＝ＩＣＭ［ｊ］）を流し得るような電位に達するまで、容量素子Ｃ３の電位が変化する。つまり、トランジスタＴｒ７はＩＣＭ［ｊ］を流し得る電流源に設定される。
【０２５３】
なお、ΔＩ［ｊ］が正の場合は、トランジスタＴｒ４が電流源として正しく設定されているので、トランジスタＴｒ７は電流を流す必要がない。つまり、初期化時の電位のまま変化が無い。
【０２５４】
＜積和演算出力＞
第１のアナログデータと、第２のアナログデータと、の積に対応した出力データを取得する動作について、図１３では、以下の３つの例を示す。
【０２５５】
例えば、時刻Ｔ１１乃至時刻Ｔ１２において、信号線ＲＷ［ｉ］の電位をＶＷ［ｉ］、信号線ＲＷ［ｉ＋１］の電位を０とする。この時、配線Ｂ［ｊ］において、アナログメモリ素子に流れる電流の和  Ｉ［ｊ］＝ΣＩ［ｉ，ｊ］、トランジスタＴｒ１０及びトランジスタＴｒ１１とで構成されるカレントミラーによりトランジスタＴｒ１０から流れる電流（参照アナログメモリ素子に流れる電流の和）ＩＲＥＦ＝ΣＩＲＥＦ［ｉ］、トランジスタＴｒ４及びトランジスタＴｒ７に流れる電流Ｉｏｆｆｓｅｔ［ｊ］、の和、ＩＲＥＦ−Ｉ［ｊ］−Ｉｏｆｆｓｅｔ［ｊ］を考えると、上述の議論より、列出力回路ＯＵＴ［ｊ］から、２ｋΣ（ＶＷ［ｉ］×ＶＸ［ｉ，ｊ］）＝２ｋ×ＶＷ［ｉ］×ＶＸ［ｉ，ｊ］の電流が出力される。すなわち、列出力回路ＯＵＴ［ｊ］から、アナログメモリ素子ＭＥＭ［ｉ，ｊ］に格納した第１のアナログデータと、アナログメモリ素子ＭＥＭ［ｉ，ｊ］に印加する選択信号に相当する第２のアナログデータと、の積に対応したデータが出力される。
【０２５６】
例えば、時刻Ｔ１３乃至時刻Ｔ１４において、信号線ＲＷ［ｉ］の電位を０、信号線ＲＷ［ｉ＋１］の電位をＶＷ［ｉ＋１］とする。このとき、時刻Ｔ１１乃至時刻Ｔ１２と同様に列出力回路ＯＵＴ［ｊ］から、アナログメモリ素子ＭＥＭ［ｉ＋１，ｊ］に格納した第１のアナログデータと、アナログメモリ素子ＭＥＭ［ｉ＋１，ｊ］に印加する選択信号に相当する第２のアナログデータと、の積に対応したデータが出力される。
【０２５７】
例えば、時刻Ｔ１５乃至時刻Ｔ１６において、信号線ＲＷ［ｉ］の電位をＶＷ［ｉ］、信号線ＲＷ［ｉ＋１］の電位をＶＷ［ｉ＋１］とする。
【０２５８】
配線Ｂ［ｊ］において、アナログメモリ素子に流れる電流の和  Ｉ［ｊ］＝ΣＩ［ｉ，ｊ］、トランジスタＴｒ１０及びトランジスタＴｒ１１とで構成されるカレントミラーによりトランジスタＴｒ１０から流れる電流（参照アナログメモリ素子に流れる電流の和）ＩＲＥＦ＝ΣＩＲＥＦ［ｉ］、トランジスタＴｒ４及びトランジスタＴｒ７に流れる電流Ｉｏｆｆｓｅｔ［ｊ］、の和、ＩＲＥＦ−Ｉ［ｊ］−Ｉｏｆｆｓｅｔ［ｊ］を考えると、上述の議論より、列出力回路ＯＵＴ［ｊ］から、２ｋ×（ＶＷ［ｉ］×ＶＸ［ｉ，ｊ］＋ＶＷ［ｉ＋１］×ＶＸ［ｉ＋１，ｊ］）の電流が出力される。
【０２５９】
すなわち、列出力回路ＯＵＴ［ｊ］から、複数のアナログメモリ素子ＭＥＭ［ｉ，ｊ］、ＭＥＭ［ｉ＋１，ｊ］に格納した第１のアナログデータと、当該複数のアナログメモリ素子ＭＥＭ［ｉ，ｊ］、ＭＥＭ［ｉ＋１，ｊ］に各々印加する選択信号に相当する第２のアナログデータと、の積和に対応したデータが出力される。
【０２６０】
以上の３つの動作は、独立に行うことが可能であり、また任意の順に行うことも可能である。
【０２６１】
上記のようなアナログメモリを構成するトランジスタは、チャネル形成領域に金属酸化物を有するＯＳトランジスタとすることが好ましい。ＯＳトランジスタは微細化しても歩留まり良く形成できるので、トランジスタの微細化を図ることができる。このようなトランジスタを半導体装置に用いることで、半導体装置の微細化または高集積化を図ることができる。
【０２６２】
以上のような構成とすることで、積和演算を小さな回路規模で高速、低消費電力で可能な演算処理装置を提供することができる。
【０２６３】
なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。
【０２６４】
（実施の形態４）
＜ＯＳトランジスタの構成＞
本実施の形態では、本発明の一態様の情報処理装置に用いることができるＯＳトランジスタの構成について説明する。
【０２６５】
＜ＴＧＳＡ型＞
例えば、トランジスタ５０３ＡをＯＳトランジスタに用いることができる（図１４（Ａ）、（Ｂ）参照）。
【０２６６】
図１４（Ａ）はトランジスタ５０３Ａの上面図であり、図１４（Ｂ）は、図１４（Ａ）に示す一点鎖線Ｗ１−Ｗ２間における切断面の断面図に相当する。また、一点鎖線Ｗ１−Ｗ２方向をチャネル長方向と呼称する場合がある。
【０２６７】
図１４（Ａ）において、煩雑になることを避けるため、トランジスタ５０３Ａの構成要素の一部（ゲート絶縁膜として機能する絶縁膜等）を省略して図示している。
【０２６８】
トランジスタ５０３Ａは、基板５０４と、基板５０４上の導電膜５２４Ａと、導電膜５２４Ａ上の導電膜５２４Ｂと、基板５０４及び導電膜５２４Ｂ上の絶縁膜５２６と、を有する。また、絶縁膜５２６上の半導体膜５２０、導電膜５２２＿Ａ、及び導電膜５２２＿Ｂと、半導体膜５２０上の絶縁膜５２８と、絶縁膜５２８上の導電膜５３０と、絶縁膜５２６、導電膜５２２＿Ａ、導電膜５３０、及び導電膜５２２＿Ｂ上の、絶縁膜５３４を有する。
【０２６９】
絶縁膜５３４は、開口部５３６＿Ａを有し、絶縁膜５３４上には、開口部５３６＿Ａを介して導電膜５２２＿Ａと電気的に接続される導電膜５３２Ａ＿Ａを有する。また絶縁膜５３４は、開口部５３６＿Ｂを有し、絶縁膜５３４上には、開口部５３６＿Ｂを介して導電膜５２２＿Ｂと電気的に接続される導電膜５３２Ａ＿Ｂを有する。
【０２７０】
導電膜５３２Ａ＿Ａ上の、導電膜５３２Ｂ＿Ａを有する。導電膜５３２Ａ＿Ｂ上の、導電膜５３２Ｂ＿Ｂを有する。
【０２７１】
金属酸化物を用いて、導電膜５３０、導電膜５２２＿Ａ、５２２＿Ｂ、半導体膜５２０を形成する方法を図１５（Ａ）、（Ｂ）、（Ｃ）を用いて説明する。
【０２７２】
まず、絶縁膜５２６上に、金属酸化物膜５１９を形成する（図１５（Ａ）参照）。金属酸化物膜５１９は、厚さ４０ｎｍの、インジウムと亜鉛とガリウムを含む金属酸化物を用いることができる。該金属酸化物は、スパッタ法で、アルゴンと酸素を成膜ガスとして用い、成膜することができる。
【０２７３】
次いで絶縁膜５２８と、その上の金属酸化物膜５２９を形成する（図１５（Ｂ）参照）。
【０２７４】
絶縁膜５２８は、厚さ１５０ｎｍの、酸化窒化シリコンを用いることができる。該酸化窒化シリコンは、プラズマ化学気相堆積（ＰＥＣＶＤ）法で成膜することができる。
【０２７５】
金属酸化物膜５２９は、厚さ１００ｎｍの、インジウムと亜鉛とガリウムを含む金属酸化物を用いることができる。該金属酸化物は、スパッタ法で、アルゴンと酸素を成膜ガスとして用い、成膜することができる。
【０２７６】
金属酸化物膜５２９の成膜時に、酸素を含む成膜ガスを用いることにより、絶縁膜５２８に酸素を過剰に含ませることができる。後に熱処理を行うことにより絶縁膜５２８から半導体膜５２０に酸素を効果的に供給させることができる。
【０２７７】
次いで、金属酸化物膜５２９、絶縁膜５２８をマスクとして、金属酸化物膜５１９に、窒素、水素、フッ素の１以上を含む不純物５２１を添加する。このとき金属酸化物膜５２９と金属酸化物膜５２９とは、不純物５２１が添加されてキャリア密度が大きくなり、導電性が高い導電膜５３０と、導電膜５２２＿Ａと、導電膜５２２＿Ｂとが形成される（図１５（Ｃ））。
【０２７８】
不純物５２１の添加は、例えばイオン注入装置、イオンドーピング装置またはプラズマ処理装置を用いて行うことができる。
【０２７９】
導電膜５２２＿Ａと導電膜５２２＿Ｂとは、金属酸化物膜５２９と絶縁膜５２８をマスクとして形成されることから、自己整合（セルフアライメント）的に形成される、ということができる。
【０２８０】
金属酸化物膜５１９のうち、絶縁膜５２８と重なる領域は、不純物が添加されず、半導体膜５２０が形成される。
【０２８１】
トランジスタ５０３Ａを、導電膜５３０の半導体膜５２０に対する位置、または導電膜５２２＿Ａ、Ｂの形成方法から、ＴＧＳＡ（Ｔｏｐ  Ｇａｔｅ  Ｓｅｌｆ  Ａｌｉｇｎ）型のＦＥＴと呼称してもよい。
【０２８２】
＜ＴＧＳＡ型の別の構成例＞
図１６（Ａ）、（Ｂ）、（Ｃ）に示されるＴＧＳＡ型のトランジスタ５０３Ａ１、５０３Ａ２、５０３Ａ３は、絶縁膜５２７Ａ、絶縁膜５２７Ｂ、及び絶縁膜５２７Ｃを備える。絶縁膜５２７Ａと絶縁膜５２７Ｂとは導電膜５３０の側面に接するように、絶縁膜５２７Ｃは導電膜５３０の上面に接するように設けられる。
【０２８３】
絶縁膜５２７Ａ、絶縁膜５２７Ｂは、ＡＬＤ法を用いて成膜することが好ましい。これにより、絶縁膜４１８の膜厚を１ｎｍ以上２０ｎｍ以下程度、好ましくは１ｎｍ以上３ｎｍ以下程度、例えば１ｎｍで成膜することができる。
【０２８４】
図１６（Ａ）、（Ｂ）、（Ｃ）に示される構造においては、不純物５２１を含む絶縁膜５３４を形成することで、不純物５２１を導電膜５２２＿Ａと、導電膜５２２＿Ｂとへ添加することができる。または絶縁膜５３４形成時に、不純物５２１を含むガスを用いたプラズマ処理を行うことにより、不純物５２１を導電膜５２２＿Ａと、導電膜５２２＿Ｂとへ添加することができる。
【０２８５】
導電膜５２２＿Ａと、導電膜５２２＿Ｂとの距離をチャネル長と呼ぶことができる。図１６（Ａ）、（Ｂ）、（Ｃ）のトランジスタは、チャネル長方向の導電膜５３０の長さは同じであるが、それぞれチャネル長が異なる。
【０２８６】
トランジスタ５０３Ａ１において、導電膜５２２＿Ａと、導電膜５２２＿Ｂの、導電膜５３０と重なる部分は、所謂オーバーラップ領域（Ｌｏｖ領域ともいう）として機能する。
Ｌｏｖ領域は、不純物５２１が導電膜５２２＿Ａ及び導電膜５２２＿Ｂを拡散することで形成される。
【０２８７】
Ｌｏｖ領域を有する構造とすることで、半導体膜５２０と、導電膜５２２＿Ａ及び導電膜５２２＿Ｂとの間に高抵抗領域が形成されないため、トランジスタのオン電流および移動度を大きくすることができる。
【０２８８】
トランジスタ５０３Ａ２は、チャネル長方向の長さにおいて導電膜５３０と、半導体膜５２０とが概略一致している構成である。トランジスタ５０３Ａ２において、導電膜５２２＿Ａと、導電膜５２２＿Ｂは、不純物５２１が絶縁膜５３４成膜時に添加されることにより形成される。
【０２８９】
トランジスタが微細化され、チャネル長が１０ｎｍ乃至３０ｎｍ程度に形成されている場合、導電膜５２２＿Ａと、導電膜５２２＿Ｂとに含まれる不純物元素が拡散し、導電膜５２２＿Ａと、導電膜５２２＿Ｂとが電気的に導通する恐れがある。これに対して、本実施の形態に示すように、絶縁膜５２７Ａ、絶縁膜５２７Ｂとを形成することにより、金属酸化物膜５１９（図１５（Ａ）参照）の絶縁膜５３４と接する領域どうしの間の距離を大きくすることができるので、ソース領域とドレイン領域が電気的に導通することを防ぐことができる。
【０２９０】
さらに、ＡＬＤ法を用いて、絶縁膜５２７Ａ、絶縁膜５２７Ｂを形成することで、微細化されたチャネル長と同程度以下の膜厚にし、必要以上に導電膜５２２＿Ａと、導電膜５２２＿Ｂとの距離が広がって、抵抗が増大することを防ぐことができる。
【０２９１】
またトランジスタ５０３Ａ２のチャネル長方向において、導電膜５３０と、導電膜５２２＿Ａと、導電膜５２２＿Ｂとが重ならないため、不要な容量が形成されるのを抑制することができる。
【０２９２】
トランジスタ５０３Ａ３はチャネル長方向において、絶縁膜５２７Ａの端部と導電膜５２２＿Ａの端部とが略一致し、絶縁膜５２７Ｂの端部と導電膜５２２＿Ｂの端部とが略一致する。チャネル長方向において導電膜５３０と導電膜５２２＿Ａとの間、または導電膜５３０と導電膜５２２＿Ｂとの間は所謂オフセット領域（Ｌｏｆｆ領域とも言う）として機能する。
【０２９３】
Ｌｏｆｆ領域を設けることによって、導電膜５３０と、導電膜５２２＿Ａ又は導電膜５２２＿Ｂの間の距離が広がり、互いの電極間でショートが発生する現象をさらに防止することができる。また、ゲート電極層と、ソース電極層又はドレイン電極層の間の寄生容量をトランジスタ５０３Ａ２に比べてさらに低減することができる。
【０２９４】
このように、トランジスタ５０３Ａ１、トランジスタ５０３Ａ２またはトランジスタ５０３Ａ２を適宜選択して形成することにより、回路設計に合わせて、要求に見合う電気特性を有するトランジスタを容易に提供することができる。
【０２９５】
＜ＢＧＴＣ型＞
例えば、トランジスタ５０３ＢをＯＳトランジスタに用いることができる（図１７（Ａ）、（Ｂ）参照）。
【０２９６】
図１７（Ａ）はトランジスタ５０３Ｂの上面図であり、図１７（Ｂ）は、図１７（Ａ）に示す一点鎖線Ｗ３−Ｗ４間における切断面の断面図に相当する。
【０２９７】
図１７（Ａ）において、煩雑になることを避けるため、トランジスタ５０３Ｂの構成要素の一部（ゲート絶縁膜として機能する絶縁膜等）を省略して図示している。また半導体膜５２０は輪郭のみ示している。
【０２９８】
トランジスタ５０３Ｂは、基板５０４と、基板５０４上の導電膜５２４Ａと、導電膜５２４Ａ上の導電膜５２４Ｂと、基板５０４及び導電膜５２４Ｂ上の絶縁膜５２６と、を有する。また、絶縁膜５２６上の半導体膜５２０を有する。
【０２９９】
また、絶縁膜５２６、及び半導体膜５２０の上の導電膜５３２Ａ＿Ａを有する。絶縁膜５２６、及び半導体膜５２０の上の導電膜５３２Ａ＿Ｂを有する。導電膜５３２Ａ＿Ａ上の、導電膜５３２Ｂ＿Ａを有する。導電膜５３２Ａ＿Ｂ上の、導電膜５３２Ｂ＿Ｂを有する。
【０３００】
半導体膜５２０、導電膜５３２Ｂ＿Ａ、及び導電膜５３２Ｂ＿Ｂの上の、絶縁膜５３４を有する。絶縁膜５３４の上の、導電膜５３０を有する。
【０３０１】
トランジスタ５０３Ｂを、導電膜５２４Ａ、導電膜５２４Ｂの半導体膜５２０に対する位置、及び導電膜５３２Ａ＿Ａ、導電膜５３２Ｂ＿Ａ、導電膜５３２Ａ＿Ｂ、導電膜５３２Ｂ＿Ｂの半導体膜５２０に対する位置から、ＢＧＴＣ（Ｂｏｔｔｏｍ  Ｇａｔｅ  Ｔｏｐ  Ｃｏｎｔａｃｔ）型のＦＥＴと呼称してもよい。
【０３０２】
なお、本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。
【０３０３】
（実施の形態５）
本実施の形態では、本発明の一態様の情報処理装置の構成について、図１８および図１９を参照しながら説明する。
【０３０４】
図１８および図１９は、本発明の一態様の情報処理装置の構成を説明する図である。図１８（Ａ）乃至図１８（Ｃ）は情報処理装置の構成を説明する斜視図である。また、図１９（Ａ）乃至図１９（Ｄ）は情報処理装置の構成を説明する斜視図である。
【０３０５】
＜情報処理装置＞
本実施の形態で説明する情報処理装置２０は、入力部２２、受信部２４、画像処理部２６、表示部３０、操作情報を供給する機能および画像情報を供給される機能を備える。また検知部６４を備えても良い。
【０３０６】
入力部２２は操作情報を供給する機能を備える。例えば、入力部２２は、情報処理装置２０の使用者の操作に基づいて操作情報を供給する。
【０３０７】
具体的には、キーボード、ハードウェアボタン、ポインティングデバイス、タッチセンサ、音声入力装置、視線入力装置などを、入力部２２に用いることができる。
【０３０８】
受信部２４は通信情報を供給される機能および供給する機能を備える。例えば、無線通信または有線通信により、他の電子機器または通信網と接続する機能を備える。具体的には、無線構内通信、電話通信、近距離無線通信などの機能を備える。
【０３０９】
画像処理部２６は、他の実施の形態で示される構成とすることができる。
【０３１０】
表示部３０は表示パネルおよび画像情報を表示する機能を備える。
【０３１１】
検知部６４は検知情報を供給する機能を備える。例えば、情報処理装置が使用されている周辺の環境を検知して、検知情報として供給する機能を備える。
【０３１２】
具体的には、照度センサ、撮像装置、姿勢検出装置、圧力センサ、人感センサなどを検知部６４に用いることができる。
【０３１３】
＜情報処理装置の構成例１＞
例えば、円筒状の柱などに沿った外形を表示部３０に適用することができる（図１８（Ａ）参照）。また、使用環境の照度に応じて、表示方法を変更する機能を備える。また、人の存在を検知して、表示内容を変更する機能を備える。これにより、例えば、建物の柱に設置することができる。または、広告または案内等を表示することができる。または、デジタル・サイネージ等に用いることができる。
【０３１４】
＜情報処理装置の構成例２＞
例えば、使用者が使用するポインタの軌跡に基づいて画像情報を生成する機能を備える（図１８（Ｂ）参照）。具体的には、対角線の長さが２０インチ以上、好ましくは４０インチ以上、より好ましくは５５インチ以上の表示パネルを用いることができる。または、複数の表示パネルを並べて１つの表示領域に用いることができる。または、複数の表示パネルを並べてマルチスクリーンに用いることができる。これにより、例えば、電子黒板、電子掲示板、電子看板等に用いることができる。
【０３１５】
＜情報処理装置の構成例３＞
表示部３０は、例えば、筐体の側面に沿って緩やかに曲がる曲面を備える（図１８（Ｃ）参照）。または、表示部３０は表示パネルを備え、表示パネルは、例えば、前面、側面および上面に表示する機能を備える。これにより、例えば、携帯電話の前面だけでなく、側面および上面に画像情報を表示することができる。
【０３１６】
＜情報処理装置の構成例４＞
例えば、使用環境の照度に応じて、表示方法を変更する機能を備える（図１９（Ａ）参照）。これにより、スマートフォンの消費電力を低減することができる。または、例えば、晴天の屋外等の外光の強い環境においても好適に使用できるように、画像をスマートフォンに表示することができる。
【０３１７】
＜情報処理装置の構成例５＞
例えば、使用環境の照度に応じて、表示方法を変更する機能を備える（図１９（Ｂ）参照）。これにより、晴天の日に屋内に差し込む強い外光が当たっても好適に使用できるように、映像をテレビジョンシステムに表示することができる。
【０３１８】
＜情報処理装置の構成例６＞
例えば、使用環境の照度に応じて、表示方法を変更する機能を備える（図１９（Ｃ）参照）。これにより、例えば、晴天の屋外等の外光の強い環境においても好適に使用できるように、画像をタブレットコンピュータに表示することができる。
【０３１９】
＜情報処理装置の構成例７＞
例えば、使用環境の照度に応じて、表示方法を変更する機能を備える（図１９（Ｄ）参照）。これにより、例えば、晴天の屋外等の外光の強い環境においても好適に使用できるように、画像をパーソナルコンピュータに表示することができる。
【０３２０】
本実施の形態は、本明細書で示す他の実施の形態と適宜組み合わせることができる。
【符号の説明】
【０３２１】
ａ＿ｍ    事象
ａ＿１    事象
ｂ＿ｎ    事象
ｂ＿１    事象
Ａ１    座標
ｃ    事象
Ｃ１    容量素子
Ｃ２    容量素子
Ｃ３    容量素子
ＣＬ    層
ＦＣ    全結合層
ＨＬ    層
ＨＬ１    層
ＨＬ２    層
ＩＬ    入力層
ＮＣ＿Ｈ    ニューロン回路
ＮＣ＿Ｉ１    ニューロン回路
ＮＣ＿Ｉｉ    ニューロン回路
ＮＣ＿Ｏ１    ニューロン回路
ＮＣ＿Ｏｌ    ニューロン回路
ＯＬ    出力層
ＯＶ    出力値
Ｒ１    距離
Ｒ２    距離
Ｒ３    距離
ＳＳ    プーリング層
ｔ１    正解値
Ｔ０１    時刻
Ｔ０２    時刻
Ｔ０３    時刻
Ｔ０４    時刻
Ｔ０５    時刻
Ｔ０６    時刻
Ｔ０７    時刻
Ｔ０８    時刻
Ｔ０９    時刻
Ｔ１０    時刻
Ｔ１１    時刻
Ｔ１２    時刻
Ｔ１３    時刻
Ｔ１４    時刻
Ｔ１５    時刻
Ｔ１６    時刻
ｔｌ    正解値
Ｔｒ１    トランジスタ
Ｔｒ２    トランジスタ
Ｔｒ４    トランジスタ
Ｔｒ５    トランジスタ
Ｔｒ６    トランジスタ
Ｔｒ７    トランジスタ
Ｔｒ８    トランジスタ
Ｔｒ９    トランジスタ
Ｔｒ１０    トランジスタ
Ｔｒ１１    トランジスタ
ｘ    特徴
ｘ１    特徴
ｘｉ    特徴
ｙ１    出力値
ｙｌ    出力値
２０    情報処理装置
２０Ｂ    情報処理装置
２２    入力部
２４    受信部
２６    画像処理部
２８    画像判定部
３０    表示部
３２    制御部
５０    選択情報
５２    画像
５２＿０    画像
５２＿０Ａ    画像
５２＿０Ｂ    画像
５２＿０Ｃ    画像
５２＿０Ｄ    画像
５２＿１    画像
５２＿１Ａ    画像
５２＿１Ｂ    画像
５２＿１ＢＳ    画像
５２＿１ＢＳ１    画像
５２＿１ＢＳ２    画像
５２＿１ＢＳ３    画像
５２＿１Ｃ    画像
５２＿１Ｄ    画像
５２＿１Ｖ    画像
５４    パケット
５６    パケット
６０    フレーム画像
６１    フレーム画像
６２    フレーム画像
６４    検知部
１０２    多層パーセプトロン
１１０    行列
１１２    画像フィルタ
１１２＿ｎ    画像フィルタ
１１２＿１    画像フィルタ
１１４    行列
１１４＿ｎ    行列
１１４＿１    行列
１１６    データ
２０２    バージョン
２０４    ヘッダ長
２０６    サービス・タイプ
２０８    データグラム長
２１０    ＩＤ
２１２    フラグ
２１４    フラグメント・オフセット
２１６    ＴＴＬ
２１８    プロトコル番号
２２０    ヘッダ・チェックサム
２２２    送信元ＩＰアドレス
２２４    先ＩＰアドレス
２２６    オプション
２２８    データ
４１８    絶縁膜
５０３Ａ    トランジスタ
５０３Ａ１    トランジスタ
５０３Ａ２    トランジスタ
５０３Ａ３    トランジスタ
５０３Ｂ    トランジスタ
５０４    基板
５１９    金属酸化物膜
５２０    半導体膜
５２１    不純物
５２２＿Ａ    導電膜
５２２＿Ｂ    導電膜
５２４Ａ    導電膜
５２４Ｂ    導電膜
５２６    絶縁膜
５２７Ａ    絶縁膜
５２７Ｂ    絶縁膜
５２７Ｃ    絶縁膜
５２８    絶縁膜
５２９    金属酸化物膜
５３０    導電膜
５３２Ａ＿Ａ    導電膜
５３２Ａ＿Ｂ    導電膜
５３２Ｂ＿Ａ    導電膜
５３２Ｂ＿Ｂ    導電膜
５３４    絶縁膜
５３６＿Ａ    開口部
５３６＿Ｂ    開口部
【図１】
2019004388.tif 000009
【図２】
2019004388.tif 000010
【図３】
2019004388.tif 000011
【図４】
2019004388.tif 000012
【図５】
2019004388.tif 000013
【図６】
2019004388.tif 000014
【図７】
2019004388.tif 000015
【図８】
2019004388.tif 000016
【図９】
2019004388.tif 000017
【図１０】
2019004388.tif 000018
【図１１】
2019004388.tif 000019
【図１２】
2019004388.tif 000020
【図１３】
2019004388.tif 000021
【図１４】
2019004388.tif 000022
【図１５】
2019004388.tif 000023
【図１６】
2019004388.tif 000024
【図１７】
2019004388.tif 000025
【図１８】
2019004388.tif 000026
【図１９】
2019004388.tif 000027