938年12月，担任广东省民众抗日自卫团第十四区独立队副大队长，游击队独立纵队参谋长、支队长。在第二次国共内战中，担任中国人民解放军琼崖纵队参谋长、总队长、副司令员兼总队长。曾任中国人民政治协商会议共同纲领草案整理委员会委员。1955年授予中国人民解放军少将军衔。担任海南军区副司令员、军区党委常委。1957年受中共中央派遣向越南方面移交了浮水洲岛。马白山对当时执行决定感到很痛心，在接受采访时“不止一次沉重地说，看来我是做错了一件事”。马白山说：“1957年3月，上级指派我为代表，把浮水洲岛移交给