【手続補正書】
【提出日】平成25年7月5日(2013.7.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
層内に配置される複数のニューロンを含む人工ニューラルネットワークであって、前記人工ニューラルネットワークは、トレーニング中に前記人工ニューラルネットワークの層内に新規なニューロンを受け入れるように構成され、前記新規なニューロンは、選択された出力に対する当該層内の他のニューロンが学習されるデータセットの入力ベクトルに関連付けられる関係を学習しえないときに前記ニューラルネットワークに追加され、
前記新規なニューロンは、当該層内の他のニューロンにより学習され得ない関係、及び前記ニューラルネットワークの前記選択された出力に寄与する当該層内の最後にトレーニングされたニューロンからの変更されたデータセットの両方で更新され、前記変更されたデータセットは、前記最後にトレーニングされたニューロンから前記新規なニューロンへの全ての学習された関係をコピーし、かつ当該層内の他のニューロンにより学習され得ない関係に基づいて、コピーされた前記関係を変更することにより、形成され、
前記新規なニューロンからの入力を受け付けるように一又はそれ以上の出力ニューロンを更新する、人工ニューラルネットワーク。
【請求項２】
前記人工ニューラルネットワークは、
（ｉ）トレーニングするニューラルネットワークの出力を選択し、前記ニューラルネットワークの出力ニューロンを、前記選択した出力のためのニューラルネットワークの入力層の一又はそれ以上の入力ニューロンに接続し、
（ｉｉ）前記ニューラルネットワークに学習させるデータセットを用意し、
（ｉｉｉ）前記用意したデータセットの入力ベクトルを前記ニューラルネットワークの第１の中間層に、又は前記ニューラルネットワークが少なくとも１つの中間層を有さなければ前記ニューラルネットワークの出力層に加えることにより前記用意したデータセットを前記ニューラルネットワークに加えて学習させ、前記ニューラルネットワークの各層における前記選択された出力のための少なくとも１つのニューロンが、入力ベクトルに対する関連付けられた出力の生成を学習しうるか否かを決定し、
前記ニューラルネットワークの各層における前記選択された出力のための少なくとも１つのニューロンが前記入力ベクトルに対する前記関連付けられた出力の生成を学習でき、かつ学習するために前記用意したデータセットのさらなる入力ベクトルが存在する場合には、次の入力ベクトルに対して（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだある場合には、前記ニューラルネットワークの次の出力に対して（ｉ）から（ｉｉｉ）を繰り返し、
前記ニューラルネットワークの前記選択された出力に対する中間層のニューロンが前記入力ベクトルに対する前記関連付けられた出力の生成を学習できない場合には、前記選択された出力に対して当該中間層の全ての他のニューロンが学習できなかった前記関連付けられた出力を学習するために当該中間層に新規なニューロンが追加され、当該新規なニューロンは、最後にトレーニングされたニューロンにより学習された入力−出力の関連付けをコピーすること、及び学習されなかった最後の関連付けに基づき前記入力−出力の関連付けを変更することにより形成される、変更されたデータセットにより更新され、学習すべき前記データセットの入力ベクトルがまだある場合には、（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだあるならば前記ニューラルネットワークの次の出力に対して（ｉ）から（ｉｉｉ）を繰り返し、
前記ニューラルネットワークの前記選択された出力に対する出力ニューロンが前記入力ベクトルに対する前記関連付けられた出力の生成を学習できなければ、当該出力ニューロンは前記ニューラルネットワークの中間層のニューロンとなり、出力ニューロンが学習できなかった前記関連付けられた出力を学習するために新規なニューロンが当該中間層に追加され、当該新規なニューロンは、最後にトレーニングされたニューロンにより学習された入力−出力の関連付けをコピーすること、及び学習されなかった最後の関連付けに基づき前記入力−出力の関連付けを変更することにより形成される、変更されたデータセットにより更新され、前記選択された出力に対して前記ニューラルネットワークに新規ニューロンが追加され、学習すべきデータセットの入力ベクトルがまだある場合には、（ｉｉｉ）を繰り返し、さもなければ、トレーニングすべき出力がまだある場合には、前記ニューラルネットワークの次の出力に対して（ｉ）から（ｉｉｉ）を繰り返すことによりトレーニングされるように構成される、請求項１に記載の人工ニューラルネットワーク。
【請求項３】
（ｉｉ）前記データセットを用意することは、（ｉ）前記ニューラルネットワークを形成することの前に行われる、請求項２に記載の人工ニューラルネットワーク。
【請求項４】
前記ニューラルネットワークの前記ニューロンは、線形閾値素子（ＬＴＧｓ）である、請求項１から３のいずれか一項に記載の人工ニューラルネットワーク。
【請求項５】
（ｉｉｉ）において、ＬＴＧが入力ベクトルに対して関連付けられる出力の生成を学習するか否かを決定することは、ＬＴＧの重みとＬＴＧの閾値との関係を示すＬＴＧの入力−出力の関連付けが、ＬＴＧの前の学習に基づく解答を有するか否かを決定することを含む、請求項４に記載の人工ニューラルネットワーク。
【請求項６】
前記関係は制約条件であり、入力ベクトル及びＬＴＧの重みベクトルは、ニューラルネットワークの選択された出力に基づくＬＴＧの閾値との関係を形成する、請求項５に記載の人工ニューラルネットワーク。
【請求項７】
制約条件の学習は、ＬＴＧの制約条件セットに前記制約条件を追加することである、請求項６に記載の人工ニューラルネットワーク。
【請求項８】
（ｉｉｉ）に係る中間層内の他のＬＴＧによって学習され得ない制約条件を学習するために新規なＬＴＧが前記中間層に追加される場合には、前記新規なＬＴＧは、前記ニューラルネットワークの選択された前記出力に寄与する次層内の全てのＬＴＧに接続され、前記新規なＬＴＧからの入力を受け付ける前記次層内の前記ＬＴＧの制約条件セットは、前記新規なＬＴＧからの入力を受け付けるために更新され、前記新規なＬＴＧを有する層が前記ニューラルネットワークの第１の中間層でない場合には、前記新規なＬＴＧは、前記ニューラルネットワークの選択された出力に寄与する先行層内の全てのＬＴＧからの入力に接続され、かつ全てのＬＴＧからの入力を受け付け、前記新規なＬＴＧの制約条件セットは、前記中間層内の他のＬＴＧにより学習され得ない制約条件のコピー及び変更されたデータセットを含むように更新され、
前記変更されたデータセットは、制約条件間の関係を以下のように変更することにより、前記中間層内の最後にトレーニングされたＬＴＧの制約条件セットから形成される、変更された制約条件セットとして前記新規なＬＴＧに対して表され、
ｘｉ．ｗ≧Ｔが学習され得ない場合には、最後にトレーニングされたＬＴＧの制約条件セットからｘｉ．ｗ＜Ｔであるとして全ての制約条件を変更し、
ｘｉ．ｗ＜Ｔが学習され得ない場合には、最後にトレーニングされたＬＴＧの制約条件セットからｘｉ．ｗ≧Ｔであるとして全ての制約条件を変更し、
ここでＴは、前記ＬＴＧの閾値である、請求項６に記載の人工ニューラルネットワーク。
【請求項９】
（ｉｉｉ）に係る前記ニューラルネットワークに新規な出力ＬＴＧが追加される場合には、前記新規な出力ＬＴＧは、前記中間層内のＬＴＧからの入力に接続され、かつ前記中間層内のＬＴＧからの入力を受け付けし、前記中間層が前記ニューラルネットワークの前記第１の中間層ではない場合には、前記中間層内の前記新規な出力ＬＴＧは、前記ニューラルネットワークの選択された前記出力に寄与する先行層内の全てのＬＴＧからの入力に接続され、かつ前記先行層内の全てのＬＴＧからの入力を受け付け、前記中間層に追加された前記新規なＬＴＧの制約条件セットは、前記先行層内の他のＬＴＧにより学習され得ない制約条件のコピー及び変更されたデータセットを含むように更新され、
前記変更されたデータセットは、制約条件間の関係を以下のように変更することにより、前記中間層内の先にトレーニングされたＬＴＧの制約条件セットから形成される、変更された制約条件セットとして前記新規なＬＴＧに対して表され、
ｘｉ．ｗ≧Ｔが学習され得ない場合には、先にトレーニングされたＬＴＧの制約条件セットからｘｉ．ｗ＜Ｔであるとして全ての制約条件を変更し、
ｘｉ．ｗ＜Ｔが学習され得ない場合には、先にトレーニングされたＬＴＧの制約条件セットからｘｉ．ｗ≧Ｔであるとして全ての制約条件を変更し、
ここでＴは、前記ＬＴＧの閾値であり、
前記新規な出力ＬＴＧは、前の出力ＬＴＧによって学習され得なかったものに従って所定の論理関係内に当該入力を結合する、請求項６又は請求項８に記載の人工ニューラルネットワーク。
【請求項１０】
（ｉｉｉ）に従って新規な出力ＬＴＧがニューラルネットワークに追加されるときに、この新規な出力ＬＴＧへの入力間に生じる論理関係は、論理ＯＲ、論理ＡＮＤ又は任意の他の等価な論理関係であり、
一又はそれ以上の前記論理ＯＲ及び前記論理ＡＮＤを用いる場合において、
前の出力ＬＴＧによって学習し得なかった入力ベクトルが出力１を生成する場合には、前記新規な出力ＬＴＧへの前記入力間で論理ＯＲが用いられること、及び前の出力ＬＴＧによって学習し得なかった入力ベクトルが出力０を生成する場合には、前記新規な出力ＬＴＧへの前記入力間で論理ＡＮＤが用いられることのいずれか又は両方が行われる、
請求項９に記載の人工ニューラルネットワーク。
【請求項１１】
トレーニング中にニューラルネットワークの層内に新規なニューロンを追加するための方法であって、前記新規なニューロンは、選択された出力に対する当該層内の他のニューロンが学習されるデータセットの入力ベクトルに関連付けられる関係を学習しえないときに前記ニューラルネットワークに追加され、前記方法は、
当該層内の他のニューロンにより学習され得ない関係、及び前記ニューラルネットワークの前記選択された出力に寄与する当該層内の最後にトレーニングされたニューロンからの変更されたデータセットの両方で前記新規なニューロンを更新するステップであって、前記最後にトレーニングされたニューロンから前記新規なニューロンへの全ての学習された関係をコピーし、かつ当該層内の他のニューロンにより学習され得ない関係に基づいて、コピーされた前記関係を変更することにより、前記変更されたデータセットが形成される、ステップと、
前記新規なニューロンからの入力を受け付けるように一又はそれ以上の出力ニューロンを更新するステップと、を含む、方法。
【請求項１２】
請求項１から１０のいずれか一項に記載の人工ニューラルネットワークにより学習された一又はそれ以上の関連付けを用いることを含む方法、又は請求項１１に記載の方法であって、前記人工ニューラルネットワークのニューロンはＬＴＧである、方法。