934年冬，自宜川县第二高级小学毕业；1935年5月，14岁的李瑞山加入了中国共产主义青年团，开始参加革命活动；1936年5月，转为中国共产党党员；曾担任共青团中央儿童局书记，西北青年救国会联合会执委、兼儿童部部长等职。抗日战争期间，李瑞山一直在陕甘宁边区工作；历任中共陇东地委青委书记、陇东青救会主任，陕甘宁边区青救会组织部长、主任；1943年12月，入中共中央党校学习。抗日战争胜利后，随中央干部团赴东北，于1945年11月抵达北安，遂出任中共北安中心县工作委员会委员、兼组织部长；后又先后担任中共克东县