確率的勾配降下法は入力の値に極端に平均・分散が異なる物が混じると、うまく行かなくなる確率が上がる。よって、モデル自体に線形変換をかけるなどして、訓練データの正規化をして、平均0分散1になるように調整する方が良い。
パラメータ  の初期値はなんらかの確率分布からランダムに選ぶ。どの確率分布を使うかは、最小値の近傍に収束する確率に影響がある。しかし、何が適切な確率分布かはモデル次第である。ニューラルネットワークの場合についてはバックプロパゲーションの項目を参照。
2014年に Jascha Sohl-Dickstein らが発表した方法。確率的勾配降下法と記憶制限準ニュートン法の L-BFGS を組み合わせた方法。二次収束するようになり、収束が AdaGrad などよりも速くなった。
2009年に John Langford らが発表した方法。L1 正則化を含む場合、確率的勾配降下法だとパラメータが 0 になりにくいが、K 回毎にパラメータの大きさが θ 以下であれば、0にする方法。
基本的な確率的勾配降下法に対して多くの改良が提案されている。特に、機械学習において、ステップサイズ（学習率）の調整は重要問題として認識されている。学習率を大きくしすぎると発散し、小さくしすぎると収束まで遅くなる。
確率的勾配降下法（かくりつてきこうばいこうかほう、英: stochastic gradient descent, SGD）とは、連続最適化問題に対する勾配法の乱択アルゴリズム。目的関数が、微分可能な和の形である事が必要。バッチ学習である最急降下法をオンライン学習に改良した物。
全形式共に大正6年基本型あるいはTR71と称する、八幡製鉄所製の球山形鋼を側枠に使用する釣り合い梁式の3軸ボギー式台車を装着する。車軸はいずれも基本10t長軸で、各車軸間の軸距は1,753mm（5フィート9インチ）となっていて基本的な設計は同一である。ブレーキは真空ブレーキやウェスティングハウス・エアブレーキ社製P弁による自動空気ブレーキを使用していたが、これは後年、オハ31系量産中に開発されたA動作弁によるAVブレーキ装置に交換されている。なお、本系列は1925年の連結器切り替えの直前に製造されたため、1923年頃から1・2列車などの中間に連結される客車については新造時より自動連結器装備となっていた。
22000系の基本設計に準じ、それらと同等で二重屋根構造の大型車体断面を備える。ただし、車体長などについては特急用としての先代に当たる、帝国鉄道庁成立後に製造が開始された新橋工場製3軸ボギー式客車群の寸法をほぼ踏襲しており、20m級となっている。台枠は22000形などのUF12・13を単純に20m級にストレッチし台車の心皿位置を3軸ボギー式台車用に修正したUF42・43である。側窓の寸法は展望車の展望室用などの一部の例外を除き、当時標準の660mm（高さ）x610mm（幅）が踏襲されたため、後年のスハ32系などと比較した場合、実際の車体長以上に長く見える外観であった。
国鉄28400系客車（こくてつ28400けいきゃくしゃ）は、日本国有鉄道の前身である鉄道省が1921年から1927年にかけて特別急行列車を筆頭とする優等列車や宮廷列車などでの使用を目的として製造した20m級木造3軸ボギー式客車形式群である。なお、この名称は国鉄が定めた正式の系列呼称ではなく、1925年より製造されたスハ29300形（のちのスハ28400形）と同様の寸法・構造の客車を総称する、趣味的・便宜的な呼称である。
彼の片耳には聴覚障害がある。2017年にアヤックスからエヴァートンFCに移籍してきたMFディヴィ・クラーセンはチーム唯一のオランダ人であった同胞の彼に「様々なことで助けられた」などと述べた。
2010 FIFAワールドカップではブラジル戦でカカのミドルシュートをセービングするなどファインプレーを連発し、評価は上昇している。足下の技術が高く、長身を生かしたハイボールの処理も万全と言える。長身に加えて足下のプレーが上手いことからオランダ史上最高の守護神と評されるエドウィン・ファン・デル・サールと比較されることが多く「ファン・デル・サール2世」の異名をとる。
小字として大平野・岸田・久保田・小松野・笹平・三本柳・裾野・高田・田川・旦の越・鶴田・寺沢・温湯・東岩木山・山田がある。
LLPと良く似た構造の薄型・板状パッケージで、LLPと同様の特徴を持つCSP用パッケージ。パッケージの2辺または4辺にパッドを備え、底面に放熱パッドを持つ。1辺にのみパッドのあるものもある。4辺に端子のあるものはQFNとも呼ばれるが、これはLLCCの別名でもあり混同を避けるために全てDFNと呼ぶことも多い。LLPとの構造上大きな相違点は、LLPの端子パッドがあらかじめ整形されてモールドの中に埋め込まれているのに対し、DFN/QFNではSOJのように側面から引き出した板状の端子を内側に折り曲げてパッドとしている点である。LLPが基本的にナショナルセミコンダクター社の製品のみで使われるのと異なり、DFNは多くの半導体メーカーで広く使われている。厚みは0.75mmが標準だが、より薄型化されたものもある。DFNとLLPのランドパターンは互換性がある場合も多く、一部のものはJEDECの規格で同じとされているが、DFNのピン数の多いものや小型サイズのものはJEDECの規格外のものが多く、互換性がない場合が多い。DFNは多くのメーカーで使われているため、LLPと比べてサイズ・端子のバリエーションが非常に多い。