東京都渋谷区幡ヶ谷生まれ、杉並区堀ノ内で育った。父方の祖父は新潟で病院を経営していた医師、父は逓信省の官僚、母は新築地劇団の元女優で、小林を産むまで劇団に所属していた。
旧制慶應義塾普通部から慶應義塾高等学校（同じクラスに音楽家の冨田勲、林光がいた）を経て、父の勧めで慶應義塾大学医学部に入学したものの医師になりたくはなく、音楽サークルでの活動に熱中したことで親に断りなく経済学部に転部して卒業。卒業時に親の知るところとなり失望された。
作曲家デビュー.
大手製紙会社に入社するも数ヶ月で退社し、大学の先輩で放送関係の仕事をしていた作曲家・服部正に師事した。当初は服部に「音楽大学出身者以外の弟子は取らない」と断られたが、連絡先を書いたメモを郵便受けに置いて帰った所、数日後に電話で入門を認められた。当時は痩せていたという。
出世作のレナウンのコマーシャルソング「ワンサカ娘」（歌：弘田三枝子）は、当時レナウンの宣伝部に在籍していた実妹（川村みづえ：イエイエのCMのイラストは川村の作品）の紹介で実現したという。これ以後、その作曲数では三木鶏郎に及ばないものの、CMソングを中心とした作曲活動を展開するようになり、数多くの作品を世に送った。『ふりむかないで』『ワンサカ娘』『日生のおばちゃん』『この木なんの木』など、長いあいだ放映されて多くの日本人の耳になじんでいるCMソングが多い。
また作曲だけではなく、歌謡曲の一部の作品では作詞の他にも編曲も手掛けている。
俳優デビュー.
向田邦子の代表作であるテレビドラマ『寺内貫太郎一家』が俳優デビューとなり、「すぐ、ちゃぶ台をひっくりかえすような」頑固な親父「寺内貫太郎」役で、大きな印象を残している。起用前の風貌は長髪でサングラスをかけており、原作者の向田は自身の父親をモデルにした寺内貫太郎像とはほど遠く、起用に難色を示したという。しかしプロデューサーの久世光彦の発案で髪を坊主頭にし、黒い丸縁めがね、印半纏等を身に着けた小林を向田にひき会わせた所、納得して起用が決まった経緯がある。また本人の話では、当時太っている俳優は少なく、ザ・ドリフターズの高木ブー・フランキー堺・若山富三郎は多忙で断られ、その中で小林に声が掛かった。
晩年の活動.
死去.
人物.
趣味は海外旅行、散歩、読書。