历任中共益阳地委第二书记、书记，常德地委书记，湖南省委农村工作部部长。1955年6月，李瑞山升任中共湖南省委常委；1956年6月，当选湖南省委副书记；1960年后，改任省委书记处书记；期间，曾先后兼任过省委组织部长、省委秘书长、长沙市委第一书记；前后在湖南省工作了18年。在湖南工作期间，李瑞山对农业工作很重视，特别是在水利、种子、肥料，以及对耕作制度的改革和提高栽培技术等方面；并且，还注意借鉴外省的经验。1963年11月，曾和华国锋一起率湖南地方官员赴广东省参观农业生产。毛泽东看到这次参观学习的报告后，