小林生于日本秋田县北秋田郡下川沿村（现在的大馆市）。从小家境贫穷，4岁时全家移居北海道小樽市，在北海道小樽高等商业学校（现小樽商科大学）毕业以后，于北海道拓殖银行工作，就职期间学习志贺直哉、有岛武郎、武者小路实笃等白桦派作家的作品，并开始创作。当时正值社会主义思想觉醒，在1929年发表其代表作《蟹工船》一书。以银行联合地主剥削农民为主题之小说《在外地主》（1929）发表，导致他于同年11月16日遭银行开除。不久之后，小林多喜二便直接参与社会运动。1930年移居东京专心写作。作为日本无产阶级文学作家同盟书记长