动而被駆逐。张失势后，马觊觎甘肃督军之位，和汉族军人陆洪涛发生对立。最后通过北京政府的调停，蔡成勋继任甘肃督军。马被任命为绥远都统，但他不满，和陆洪涛的对立激化，双方发生冲突。最终，马福祥之子马鸿逵代理宁夏护军使，马福祥妥协，到绥远赴任。此后，直系和奉系对立，马福祥採取骑墻态度。1924年（民国13年）9月第二次直奉战争中，他由当初所属的直系转投冯玉祥所率第3路军。冯发动北京政变（首都革命）后，他追随冯，撃破直系。此后，冯所率的国民军採取协调姿态，马福祥陆续被剥夺各种权限。1925年（民国14年）他调任