コロッケを売り物にする事を最初に思い付いたのは前副社長だった弟である。社長の小竹は後に取材に対し『弟はいかつい体格をしているから思い付いたのだろう』と発言している。
没後の1939年には、『小林作太郎傳』が東京芝浦電氣によってまとめられ、非売品として配布された。戦時中は、「勤労動員の少年少女の鑑として」教科書にも載せられたといい、1942年には岡田鉦介『職場の偉人：小林作太郎伝』（新紀元社）、1943年には今井誉次『少年技師小林作太郎』(第百書房）、1944年には宮瀬睦夫『技術の勝利：小林作太郎伝』（八雲書店）が出版された。川崎市の東芝京浜事業所内には、小林の自宅工作室を移設した「小林記念室」があり、小林が使用した工具類などが保存されている（非公開）。
肥前国長崎生まれ。10歳で小学校を中退したという。父の彌吉は、骨董商を営み、刀剣の鑑定もしていたが、彫金師でもあった。その影響もあってか機械好きであった小林は、独学で技術を学びながら、12歳のときに真鍮で陸用蒸気機関の模型を作成し、以降も、軌道を走る汽車の模型や、汽船の模型を製作した。この頃の小林少年は、汽船の構造を学ぶため、長崎に停泊していたフランス船へ泳いで通い、船内を見学させてもらったと伝えられている。1885年に三菱造船所（三菱重工業長崎造船所の前身）に入り、1890年の内国勧業博覧会に「壜中軍艦」を出品して注目された。後に上京して、田中製造所（東芝の前身）に職工として入り、1906年には工場内に初めて研究室を設け、その後「当時としては驚異的な」出力である200kWの三相交流発電機を発明した。小林は、自転車の曲乗りの名人でもあった。これは機械好きのためでもあったといい、長崎にいた十代後半からオーディナリー型の自転車を乗り回し、1898年11月6日に上野不忍池畔で開かれた内外連合自転車競走運動会でも妙技を披露したという。この会を主催した大日本双輪倶楽部や愛輪倶楽部のメンバーとしても知られていた。また、盆栽や釣りの腕前も相当なものであったという。田中製造所〜芝浦製作所では、職工から、技手、技士を経て、工場長、工場取締となり、最後は常務取締役を務めた。小林は、晩年になっても「病床で食事をするための椅子」を考案するなどしていた。
USCでプレー、1年次の1978年、チームは全米チャンピオンとなった。3年次の1980年、オールアメリカンに選ばれるとともに、パシフィック8カンファレンスで最も優秀なラインマンに与えられるモリス賞を受賞した。1981年にも同賞を受賞した。モリス賞を2度受賞したのは、彼の他にリンカーン・ケネディとアレックス・マックしかいない。1982年のNFLドラフト1巡全体24位でマイアミ・ドルフィンズに指名された。ストライキでシーズンが短縮されたこの年、全9試合に出場した。チームは7勝2敗で第17回スーパーボウルに出場したが、ワシントン・レッドスキンズに17-27で敗れた。1983年、第3週のロサンゼルス・レイダーズ戦で右タックルとしてプロ初先発を果たした。チームはこの年入団したダン・マリーノらの活躍でディビジョナルプレーオフまで勝ち上がったが、シアトル・シーホークスに20-27で敗れシーズンを終えた。1984年、左ガードとして全16試合に先発出場した。この年チームオフェンスはNFLトップの6936ヤード、513得点をあげた。またパスオフェンスでも5018ヤード、49TDパスを記録した。この年彼はUPI通信よりAFCのセカンドチームに選ばれた。第19回スーパーボウルに出場したが、サンフランシスコ・フォーティナイナーズに敗れた。1985年も左ガードとして全16試合に先発出場し、プロボウルに初めて選出されるとともに、UPI通信よりAFCのファーストチームに選ばれた。チームは4年間で3度目のスーパーボウル出場を目指したが、AFCチャンピオンシップゲームで、ニューイングランド・ペイトリオッツに14-31で敗れた。パスオフェンスはNFL1位の4,114ヤードを獲得した。1986年もプロボウルとUPI通信のカンファレンスファーストチームに選ばれたが、チームは8勝8敗となり、入団して5年目で初めてプレーオフを逃した。1987年は、ストライキ中、代替選手が多く出場した3試合を除く、12試合で左ガードとして先発出場した。チームは8勝7敗でプレーオフを逃したが、パスオフェンスはNFLトップの3,876ヤードを獲得した。1988年、9月11日のバッファロー・ビルズ戦を足首の負傷のため欠場したが、残り15試合で左ガードとして先発出場した。パスオフェンスは4,516ヤードを獲得したが、チームは6勝10敗に終わった。ドルフィンズが負け越したのは、1977年から2003年までの27年ではこの年のみである。1989年、全16試合に左ガードとして先発出場した。チームは8勝8敗出シーズンを終えた。前年33万ドルで契約していた彼は、平均45万ドルの複数年契約を求めて1990年にホールドアウトを行ったが、開幕直前の9月上旬、ドルフィンズと1年36万5000ドルで契約を結んだ。この年入団した新人のキース・シムズにポジションを奪われ、全試合に出場したものの、先発出場は3試合のみであった。シーズン終了後、ドルフィンズから3年契約を提示されたが、サインせず、1991年から1993年までは、サンフランシスコ・フォーティナイナーズでプレーした。ダン・マリーノ、ジョー・モンタナ、スティーブ・ヤングを守った唯一のオフェンシブラインマンであり、マリーノからのTDパスも受けている。