【事件の表示】
　特願２０１４−　５８６２８「次元削減装置、方法及びプログラム」拒絶査定不服審判事件〔平成２７年１０月２２日出願公開、特開２０１５−１８４７７５、請求項の数（１０）〕について、次のとおり審決する。
【結　論】
　原査定を取り消す。
　本願の発明は、特許すべきものとする。
【理　由】
第１　手続の経緯
　本件審判請求に係る出願（以下，「本願」という。）は，平成２６年３月２０日の出願であって，平成２８年８月３０日付けで審査請求がなされ，平成２９年５月２２日付けで拒絶理由通知（同年５月３０日発送）がなされ，同年６月１２日付けで意見書が提出されるとともに，同日付けで手続補正がなされ，同年１０月１７日付けで拒絶理由通知（同年１０月３１日発送）がなされ，平成３０年２月１４日付けで意見書が提出されるとともに，同日付けで手続補正がなされたが，同年３月３０日付けで拒絶査定（同年４月１０日謄本送達）がなされた。
　これに対して，「原査定を取り消す。本願の発明は特許すべきものとする、との審決を求める。」ことを請求の趣旨として，平成３０年７月９日付けで本件審判請求がなされ，平成３０年８月２３日付けで審査官により特許法第１６４条第３項に定める報告（前置報告）がなされた。
　そして，令和元年７月１７日付けで当審拒絶理由通知（同年７月２３日発送）がなされ，同年９月１０日付けで意見書が提出されたものである。
第２　原査定の概要
　原査定（平成３０年３月３０日付け拒絶査定）の概要は次のとおりである。
　本願の請求項１〜１３に係る発明は，以下の引用文献１，２に基づいて，その発明の属する技術の分野における通常の知識を有する者（以下，「当業者」という。）が容易に発明できたものであるから，特許法第２９条第２項の規定により特許を受けることができない。
　引用文献等一覧
　　１．Yann Lecun, et al., Gradient-based Learning Applied to Document Recognition,  Proceedings of the IEEE, 米国, IEEE, 1998年11月, Volume 86, Issue 11, P.2278 - P.2287 [online], [retrieved on 2017.10.17], Retrieved from the Internet:
　　　　URL: http://ieeexplore.ieee.org/abstract/document/726791/,
　　　　DOI: 10.1109/5.726791
　　２．特開平４−１８４６８６号公報
第３　本願発明
ア　本願請求項１〜１０に係る発明（以下，それぞれ「本願発明１」〜「本願発明１０」という。）は，平成３０年７月９日付けの手続補正で補正された特許請求の範囲の請求項１〜１０に記載された事項により特定される発明であり，本願発明１は以下のとおりの発明である。
「複数の要素で構成されるｎ次元（ｎは自然数）の第１ベクトルを取得する取得部と、
　前記複数の要素のうちの１以上の要素で構成される複数の第１部分ベクトルを生成する生成部と、
　前記第１部分ベクトルを、当該第１部分ベクトルに対応する第１写像を用いて、要素の数を削減した第２部分ベクトルに変換し、変換後の複数の前記第２部分ベクトルを連結して、ｍ次元（ｍはｎより小さい自然数）の第２ベクトルを生成する第１写像部と、
　前記第２ベクトルに前記ｍ次元以下の空間への第２写像を適用し、第３ベクトルを生成する第２写像部と、
　前記第３ベクトルを出力する出力部と、を備え、
　前記第１写像は、アフィン写像を含む、
　次元削減装置。」
イ　なお，本願発明２〜本願発明１０の概要は以下のとおりである。
（ア）本願発明２〜本願発明８は，本願発明１を直接・間接に引用して減縮した発明である。
（イ）本願発明９は，本願発明１に対応する方法の発明であり，本願発明１とカテゴリー表現が異なるだけの発明である。
（ウ）本願発明１０は，本願発明１に対応するプログラムの発明であり，本願発明１とカテゴリー表現が異なるだけの発明である。
第４　引用文献
１　引用文献１に記載されている技術的事項及び引用発明の認定
ア　本願の出願日前に頒布（又は電気通信回線を通じて公衆に利用可能となった文献である）され，原審の拒絶の査定の理由である上記平成２９年１０月１７日付けの拒絶理由通知において引用された引用文献１『Yann Lecun, et al., Gradient-based Learning Applied to Document Recognition,  Proceedings of the IEEE, 米国, IEEE, 1998年11月, Volume 86, Issue 11, P.2278 - P.2287 [online], [retrieved on 2017.10.17], Retrieved from the Internet: URL: http://ieeexplore.ieee.org/abstract/document/726791/, DOI: 10.1109/5.726791』には，図面（特に，Fig.2）とともに，以下の技術的事項が記載されている。
（当審注：下線は，参考のために当審で付与したものである。）
Ａ　「A. Convolutional Networks
Convolutional networks combine three architectural ideas to ensure some degree of shift, scale, and distortion invariance: 1) local receptive fields; 2) shared weights (or weight replication); and 3) spatial or temporal subsampling. 
A typical convolutional network for recognizing characters, dubbed LeNet-5
（当審訳：A. 畳み込みネットワーク
畳み込みネットワークは，ある程度のシフト，スケール，および歪みの不変性を保証するために，3つのアーキテクチャのアイデア（１）局所受容野，２）共有重み（または重み複製）， ３）空間的または時間的サブサンプリング）を組み合わせたものです。
LeNet-5と呼ばれる，文字を認識するための典型的な畳み込みネットワーク
Ｂ　「B. LeNet-5
This section describes in more detail the architecture of LeNet-5, the Convolutional NN
LeNet-5 comprises seven layers, not counting the input
The input is a 32×32 pixel image
（当審訳：B. LeNet-5
このセクションでは
畳み込みNNであるLeNet-5のアーキテクチャについて詳しく説明します
LeNet-5は，入力を数えずに７つのレイヤで構成され
入力は32×32ピクセルの画像です
Ｃ　「
Layer C1 is a convolutional layer with six feature maps
Each unit in each feature map is connected to a 5×5 neighborhood in the input
The size of the feature maps is 28×28
（当審訳：
レイヤC1は，6つの特徴マップを持つ畳み込みレイヤです
各特徴マップ内の各ユニットは，入力の5×5領域に接続されています
特徴マップのサイズは28×28
Ｄ　「
Layer S2 is a subsampling layer with six feature maps of size 14×14
Each unit in each feature map is connected to a 2×2 neighborhood in the corresponding feature map in C1
（当審訳：
レイヤＳ２は，サイズが14×14の6つの特徴マップを有するサブサンプリングレイヤです
各フィーチャマップ内の各ユニットは，Ｃ１の対応する特徴マップ内の2×2領域に接続されています
Ｅ
（２２８３頁Fig.2.）
Ｆ　畳み込みＮＮであるLeNet-5のアーキテクチャを示す図２（上記Ｅ参照）において，
“32×32ピクセルの入力画像の部分領域から特徴マップＣ１への畳み込みを行うことで，28×28サイズの特徴マップＣ１を生成”する態様
“28×28サイズの特徴マップの部分領域から特徴マップＳ２へのサブサンプリングを行うことで，14×14サイズの特徴マップＳ２を生成”する態様
イ　ここで，上記引用文献１に記載されている事項を検討する。
（ア）上記Ａの「A typical convolutional network for recognizing characters, dubbed LeNet-5 （LeNet-5と呼ばれる，文字を認識するための典型的な畳み込みネットワーク）」との記載からすると，引用文献１には，“LeNet-5と呼ばれる畳み込みネットワーク”が記載されている。
（イ）上記Ｂの「This section describes in more detail the architecture of LeNet-5, the Convolutional NN（このセクションでは，…（中略）…畳み込みNNであるLeNet-5のアーキテクチャについて詳しく説明します）」，「LeNet-5 comprises seven layers, not counting the input（LeNet-5は，入力を数えずに７つのレイヤで構成され）」，及び「The input is a 32×32 pixel image（入力は32×32ピクセルの画像です）」との記載からすると，引用文献１には，“32×32ピクセルの入力画像”が畳み込みネットワークに入力される態様が記載されている。
（ウ）上記Ｃの「Layer C1 is a convolutional layer with six feature maps（レイヤC1は，6つの特徴マップを持つ畳み込みレイヤです）」，「Each unit in each feature map is connected to a 5×5 neighborhood in the input（各特徴マップ内の各ユニットは，入力の5×5領域に接続されています）」，「The size of the feature maps is 28×28（特徴マップのサイズは28×28）」との記載，上記Ｆの“32×32ピクセルの入力画像の部分領域から特徴マップＣ１への畳み込みを行うことで，28×28サイズの特徴マップＣ１を生成”する態様からすると，引用文献１には，“32×32ピクセルの入力画像の各部分領域（5×5領域）に畳み込みを行うことで，28×28サイズの特徴マップＣ１内の各ユニットを生成”する態様が記載されている。
（エ）上記Ｄの「Layer S2 is a subsampling layer with six feature maps of size 14×14（レイヤＳ２は，サイズが14×14の6つの特徴マップを有するサブサンプリングレイヤです）」，「Each unit in each feature map is connected to a 2×2 neighborhood in the corresponding feature map in C1（各フィーチャマップ内の各ユニットは，Ｃ１の対応する特徴マップ内の2×2領域に接続されています）」，上記Ｆの“28×28サイズの特徴マップの部分領域から特徴マップＳ２へのサブサンプリングを行うことで，14×14サイズの特徴マップＳ２を生成”する態様からすると，引用文献１には，“28×28サイズの特徴マップＣ１の各部分領域（2×2領域）にサブサンプリングを行うことで，14×14サイズの特徴マップＳ２内の各ユニットを生成”する態様が記載されている。
ウ　以上，（ア）ないし（エ）で指摘した事項を踏まえると，引用文献１には，次の発明（以下，「引用発明」という。）が記載されているものと認められる。
　32×32ピクセルの入力画像に対して，
　前記32×32ピクセルの入力画像の各部分領域（5×5領域）に畳み込みを行うことで，28×28サイズの特徴マップＣ１内の各ユニットを生成し，
　前記28×28サイズの特徴マップＣ１の各部分領域（2×2領域）にサブサンプリングを行うことで，14×14サイズの特徴マップＳ２内の各ユニットを生成する，
　LeNet-5と呼ばれる畳み込みネットワーク。
２　引用文献２に記載されている技術的事項
　本願の出願日前に頒布（又は電気通信回線を通じて公衆に利用可能となった文献である）され，原審の拒絶査定に引用された引用文献２『特開平４−１８４６８６号公報（平成４年７月１日公開）』には，図面（特に，第２図及び第３図）とともに，以下の技術的事項が記載されている。
（当審注：下線は，参考のために当審で付与したものである。）
Ｇ　「［従来の技術］
　ラメルハートから提案したバツクプロパゲーション型ニューラルネットワーク（以下、単にニューラルネツトと呼ぶ）は、高性能なパターー認識装置として適用可能であるとして、注目を集めている。以下、第３図に従って、一般的なニューラルネツトの構成について説明する。
　第３図において、301は入力層の素子で、この層の素子は受け取った値をそのまま次の層の素子全てに送る。302は中間層の素子で、前層の素子からの入力ｘｉ（ｉ＝１，２，…）に対して、ｙ＝ｆ（ΣＷｉｘｉ−θ）という出力を、次の出力層の全ての素子に送る。ここで、Ｗｉ及びθはそれぞれ重み計数、バイアスと呼ばれる素子固有の値である。また、ｆは伝達関数と呼ばれ、通常、シグモイド関数ｆ（ｓ）＝１/(1+exp(-s))が用いられる。303は出力層の素子で、中間層の素子からの入力ｙｊ（ｊ＝１，２，…）に対して、同様にｚ＝ｆ（ΣＷｊｙｊ−θ）なる出力を行う。出力層の素子は、認識対象となるカテゴリの数Ｍだけ用意されており、全ての素子の重み計数及び、バイアスが理想的に定まっていると、或る入力にたいしてその入力データの属するカテゴリに対応した素子からの出力だけが１となり、他の素子からの出力は０となる。
　なお、ここでは、中間層が１層の場合を説明したが、中間層は複数層とすることもできる。各素子の重み係数及びバイアスの値を決定するための学習アルゴリズムはRumelhart etal, Parallel Distributed Processing, vol, 1 MIT Press 1986に詳しく述べられている。
　次に、
このようなニューラルネツトにおける信号処理の意味について説明する。簡単のため中間層が１層のネットワークを考える。入力層からの出力、中間層からの出力をそれぞれまとめてｘ，ｙというベクトルで表わすと、これらは次の関係にある。
　　
ｙ＝ｆ（Ｗ・ｘ−θ）
　
ただし、ｆはベクトルの各要素をシグモイド関数に通したものを各要素とするベクトル値関数を表わすこととする。Ｗ，ｘ−θは明らかにアフイン変換を表わしており、入力層から中間層にかけてはアフイン変換を行なった後、シグモイド関数でその値を区間［０、１］に抑制するという変換を行なっていると解釈できる。
　第２図は入力ベクトルの分布例を説明する図である。簡単のため、入力ベクトルｘは２次元ベクトルとし、対象とするカテゴリはC１, C２, C３の３種類とする。バツクプロパゲーシヨンアルゴリズムに従って学習が完了すると、その時のθは、第２図201で表わされるような、すべての学習データの平均に近いベクトルに収束しているものと考えられる。
　また、中間層からの出力と出力層からの出力も（１）と同様に
　　ｚ＝ｆ（Ｗ・ｙ−θ）　（２）
で表現されるが、ここでは別の解釈をした方がよい。すなわち（２）ではＷ・ｙ−θを線形識別関数の集合とみなすことができ、その出力（複数）を各々シグモイド関数に通したものが最終的な出力ｚになる。」（１頁右下欄８行〜２頁左下欄８行）
第５　対比・判断
１　本願発明１について
（１）対比
ア　本願発明１と引用発明とを対比する。
（ア）引用発明の「入力画像」は，本願発明１の「第１ベクトル」に対応付けられるものであるところ，引用発明の「32×32ピクセルの入力画像」は，複数の要素で構成され，1,024（= 32×32）次元の入力画像であるといえるから，引用発明と本願発明１は，後記する点で相違するものの，“複数の要素で構成されるｎ次元（ｎは自然数）の第１ベクトルを取得”する点で一致する。
（イ）引用発明の「部分領域（5×5領域）」は，入力画像の部分領域であり，入力画像の複数の要素のうちの１以上の要素で構成されるものであることから，本願発明１の「第１部分ベクトル」に対応する。
（ウ）引用発明の「ユニット」，「畳み込み」，及び「特徴マップＣ１」は，それぞれ，本願発明１の「第２部分ベクトル」，「第１写像」，及び「第２ベクトル」に対応付けられるものであるところ，引用発明の「28×28サイズの特徴マップＣ１」は， 784（= 28×28）次元であることから，入力画像より要素の数が削減されたといえるものであり，また，「特徴マップＣ１」は，入力画像の各部分領域（5×5領域）に畳み込みを行うことで変換された各ユニットを連結して生成されるものといえる。そうすると，上記（イ）の検討内容を考慮すると，引用発明と本願発明１は，後記する点で相違するものの，“前記第１ベクトルの第１部分ベクトルを、当該第１部分ベクトルに対応する第１写像を用いて、要素の数を削減した第２部分ベクトルに変換し、変換後の複数の前記第２部分ベクトルを連結して、ｍ次元（ｍはｎより小さい自然数）の第２ベクトルを生成”する点で一致する。
（エ）引用発明の「サブサンプリング」及び「特徴マップＳ２」は，それぞれ，本願発明１の「第２写像」及び「第３ベクトル」に対応付けられるものであるところ，引用発明の「14×14サイズの特徴マップＳ２」は，196（= 14×14）次元であることから，特徴マップＣ１より要素の数が削減されたといえるものであり，また，「特徴マップＳ２」は，特徴マップＣ１の各部分領域（2×2領域）にサブサンプリングを行うことで変換された各ユニットを連結して生成されるものといえる。そうすると，引用発明と本願発明１は，後記する点で相違するものの，“第２写像を適用し，第３ベクトルを生成”する点で一致する。
（オ）引用発明の「LeNet-5と呼ばれる畳み込みネットワーク」は，畳み込み等によって次元を削減するものといえるから，本願発明１の「次元削減装置」に相当する。
イ　以上から，本願発明１と引用発明とは，以下の点で一致し，また，以下の点で相違する。
（一致点）
　複数の要素で構成されるｎ次元（ｎは自然数）の第１ベクトルを取得し，
　前記第１ベクトルの第１部分ベクトルを、当該第１部分ベクトルに対応する第１写像を用いて、要素の数を削減した第２部分ベクトルに変換し、変換後の複数の前記第２部分ベクトルを連結して、ｍ次元（ｍはｎより小さい自然数）の第２ベクトルを生成し，
　第２写像を適用し，第３ベクトルを生成する
　次元削減装置。
（相違点１）
　本願発明１が，「複数の要素で構成されるｎ次元（ｎは自然数）の第１ベクトル」を取得する「取得部」を備えるものであるのに対し，引用発明は，「32×32ピクセルの入力画像」を取得する構成が不明であり，本願発明１の「取得部」に相当するものを備えるかどうか不明である点。
（相違点２）
　本願発明１が，「前記複数の要素のうちの１以上の要素で構成される複数の第１部分ベクトルを生成する生成部」を備えるものであるに対して，引用発明の「部分領域（5×5領域）」は順に選択されるものであって，「部分領域（5×5領域）」を生成するための特別な構成を備えていない点。
（相違点３）
　本願発明１が，「第１部分ベクトルを、当該第１部分ベクトルに対応する第１写像を用いて、要素の数を削減した第２部分ベクトルに変換し、変換後の複数の前記第２部分ベクトルを連結して、ｍ次元（ｍはｎより小さい自然数）の第２ベクトルを生成する第１写像部」を備えるものであるのに対し，引用発明は，畳み込みによって，入力画像内の「各部分領域（5×5領域）」から特徴マップＳ２内の「各ユニット」への変換を行うものの，本願発明１の「第１写像部」に相当するものを備えるかどうか不明である点。
（相違点４）
　「第２写像」の適用に関し，本願発明１が，「第２ベクトルに」「第２写像を適用し、第３ベクトルを生成する」ものであるのに対し，引用発明の「特徴マップＳ２」は，特徴マップＣ１の各部分領域（2×2領域）にサブサンプリングを行うことで変換された各ユニットを連結して生成されるものであって，「特徴マップＣ１」自体にサブサンプリングを行うことで「特徴マップＳ２」自体を生成するものではない点。
（相違点５）
　本願発明１が，「前記第２ベクトルに前記ｍ次元以下の空間への第２写像を適用し、第３ベクトルを生成する第２写像部」を備えるものであるのに対し，引用発明は，サブサンプリングによって，特徴マップＣ１内の「各部分領域（2×2領域）」から特徴マップＳ２内の「各ユニット」への変換を行うものの，本願発明１の「第２写像部」に相当するものを備えるかどうか不明である点。
（相違点６）
　本願発明１が，「第３ベクトルを出力する出力部」を備えるものであるのに対し，引用発明は，「特徴マップＳ２」を出力する出力部を備えるものであるか不明である点。
（相違点７）
　本願発明１の「第１写像」が，「アフィン写像を含む」ものであるのに対し，引用発明の「畳み込み」は，アフィン写像を含むものであるか不明である点。
（２）相違点についての判断
　事案に鑑み，先に相違点４及び相違点７について検討する。
ア　相違点４について
　引用発明の「LeNet-5と呼ばれる畳み込みネットワーク」は，変換元の「入力画像」や「特徴マップ」の「各部分領域」に対して畳み込みやサブサンプリングを行うものであり，「入力画像」や「特徴マップ」自体に対して畳み込みやサブサンプリングを行うものではない。
　そうすると，引用発明の「サブサンプリング」（本願発明１の「第２写像」に対応）において，「特徴マップＣ１の各部分領域（2×2領域）」に替えて「特徴マップＣ１」自体にサブサンプリングを行い，「特徴マップＳ２」自体を生成するように変更することについては，引用文献１に記載も示唆もなされておらず，また，本願の出願日前に当業者にとって，周知技術または技術常識であるともいえない。
イ　相違点７について
　上記引用文献２の上記Ｇに記載されるように，ニューラルネツトにおいて，アフイン変換を用いる技術は，本願の出願日前に当業者にとって，周知技術であった。
　しかしながら，引用発明の「LeNet-5と呼ばれる畳み込みネットワーク」における「畳み込み」（本願発明１の「第１写像」に対応）において，アフィン変換を適用することについては，引用文献１に記載も示唆もなされておらず，また，本願の出願日前に当業者にとって，周知技術または技術常識であるともいえない。
ウ　したがって，他の相違点について判断するまでもなく，本願発明１は，当業者であっても，引用発明及び引用文献２に記載の周知技術に基づいて容易に発明できたものであるとはいえない。
２　本願発明２ないし本願発明８について
　本願発明２ないし本願発明８も，本願発明１の「前記第２ベクトルに前記ｍ次元以下の空間への第２写像を適用し、第３ベクトルを生成する第２写像部」及び「第１写像は、アフィン写像を含む」構成を備えるものであるから，上記「１　本願発明１について」と同じ理由により，当業者であっても，引用発明及び引用文献２に記載の周知技術に基づいて容易に発明できたものとはいえない。
３　本願発明９について
　本願発明９は，本願発明１に対応する方法の発明であり，本願発明１の「前記第２ベクトルに前記ｍ次元以下の空間への第２写像を適用し、第３ベクトルを生成する第２写像部」に対応するステップ，及び「第１写像は、アフィン写像を含む」構成を備えるものであるから，上記「１　本願発明１について」と同じ理由により，当業者であっても，引用発明及び引用文献２に記載の周知技術に基づいて容易に発明できたものとはいえない。
４　本願発明１０について
　本願発明１０は，本願発明１に対応するプログラムの発明であり，本願発明１の「前記第２ベクトルに前記ｍ次元以下の空間への第２写像を適用し、第３ベクトルを生成する第２写像部」及び「第１写像は、アフィン写像を含む」構成に対応するステップ，及び「第１写像は、アフィン写像を含む」構成を備えるものであるから，上記「１　本願発明１について」と同じ理由により，当業者であっても，引用発明及び引用文献２に記載の周知技術に基づいて容易に発明できたものとはいえない。
第６　当審拒絶理由について
　当審では，
『本願発明の課題は「低記憶容量かつ高速な次元削減を実現可能な次元削減装置、方法及びプログラムを提供すること」であり，本願実施例は，各写像部において，写像を用いてベクトルを変換することにより次元数を削減することで，上記課題を解決しているものと把握されるところ，請求項１記載の発明には，「前記第２ベクトルに前記ｍ次元以下の空間への第２写像を適用し、第３ベクトルを生成する第２写像部」（当審注：下線は、参考のために当審で付与したものである。）と記載されるように，第３ベクトルが第２ベクトルと同じｍ次元になる構成も含んでおり，第２写像部で生成される第３ベクトルにおいて，必ずしも次元数が削減される構成となっていない。
　してみると，請求項１記載の発明は，本願の発明な詳細な説明において，発明の課題が解決できることを当業者が認識できるように記載された範囲のものとは認め得るものではなく，請求項１は，本願の発明の詳細な説明に記載した範囲を超えて特許請求するものに他ならない。
　したがって，請求項１記載の発明は，発明の詳細な説明に記載したものではない。（第３６条第６項第１号違反）
　また，請求項９及び請求項１０は，それぞれ，請求項１記載の発明を，“方法の発明”及び“プログラムの発明”として表現したものであるから，請求項９及び請求項１０記載の発明は，上記と同様の理由により，発明の詳細な説明に記載したものではない。（第３６条第６項第１号違反）』
との拒絶の理由を通知しているが，
　令和元年９月１０日付けの意見書において，
『本願発明は、第１写像部により、ｎ次元（ｎは自然数）の第１ベクトルよりも次元数が小さい、ｍ次元（ｍはｎより小さい自然数）の第２ベクトルを生成する。少なくともこの第１写像部が、次元数を削減することで課題を解決する構成に相当する。
　また、第２写像部が第２ベクトルと同じｍ次元の第３ベクトルを生成することは、例えば明細書段落００４１「第２ベクトルの次元数以下の空間への第２写像を適用」、および、段落００５６「第２写像は５００次元から５００次元へのアフィン写像」などに記載されている。
　以上のように、本願発明は、発明な詳細な説明において、発明の課題が解決できることを当業者が認識できるように記載された範囲のものである。』
と釈明された結果，この拒絶理由は解消した。
第７　むすび
　以上のとおり，本願発明１〜１０は，当業者が引用発明及び引用文献２に記載の周知技術に基づいて，容易に発明をすることができたものではない。
　したがって，原査定の理由によっては，本願を拒絶することはできない。
　また，他に本願を拒絶すべき理由を発見しない。
　よって結論のとおり審決する。