于1926年加入共产主义青年团；1928年11月，当选共青团绥德县委书记；后不久，转为中国共产党党员。此后，历任中共安定县（今子长县）北区区委书记、县委宣传部长、县委书记，中共陕北特委委员、陕北特委南路特派员，共青团陕北特委书记。1935年，马文瑞当选陕甘边区东部地区革命委员会主席，创建赤川、红泉两县的苏维埃政权，时年23岁。1937年，进入延安抗日军政大学学习。抗日战争时期，马文瑞主要主持陕北西部、陇东地区的工作；期间，曾带职入中央党校学习。自1944年秋，历任中共中央西北局组织部副部长、部长，西北局