可惜在2009年赛季后，丰田退出F1，小林一度失业，准备回日本老爸的寿司店打工。2009年12月17日，刚从BMW手中买回车队的Peter Sauber确定由小林代表新索伯车队出征2010年赛季。2010年5月30日土耳其站比赛，小林替个人以及索伯车队取得季内第一分。2012年7月8日英国站比赛，小林在进入修理站时发生意外，撞倒3名员工；赛后国际车联以不安全进站的罪名向小林罚款25,000欧元（约24万港元）。小林表示接受处分并向受伤员工致歉。2012年10月7日日本站比赛，小林以季军的身份