祖父马沼兰，父亲马彦举，以种地为生，兼做小买卖。4岁时，母亲离世；7岁时，家道中落；14岁时，开始接触马克思主义。早在大革命时期，马文瑞就开始参加爱国学生运动；于1926年加入共产主义青年团；1928年11月，当选共青团绥德县委书记；后不久，转为中国共产党党员。此后，历任中共安定县（今子长县）北区区委书记、县委宣传部长、县委书记，中共陕北特委委员、陕北特委南路特派员，共青团陕北特委书记。1935年，马文瑞当选陕甘边区东部地区革命委员会主席，创建赤川、红泉两县的苏维埃政权，时年23岁。1937年，进入延安