败选后林金生转往云林县发展，出任云林县党部主任委员。1957年，林金生获国民党提名参选第三届云林县长选举，在云林县党部帮助下击败王吟贵当选云林县县长，1960年第四届云林县长选举中击败苏东启连任成功，1964年任满。之后，则任台湾省政府委员、中国国民党台湾省党部书记长、台北市党部主任委员、中央党部副秘书长、交通部长、内政部部长、考试院副院长等职。他是台湾解严之前的中国国民党本省籍菁英，也是该时期除了谢东闵之外少数台湾本土出生的政治人物。