生在一个农商兼业家庭，是马千龄第三子。马福祥幼年在清真寺学习。14歳开始学习武术。1897年（光绪23年）他武举乡试及第。此后，他从军。1906年（光绪32年），他升任西宁镇总兵。1910年（宣统2年），他被授予建威将军，任西路巡防统领，驻扎兰州。辛亥革命爆发之际，马福祥基本上採取了旁观的态度。袁世凯就任中华民国临时大总统后，马福祥服属。1912年（民国元年）5月，他被北京政府任命为宁夏镇总兵，其部队被称爲「昭武军」。1913年，马福祥在黄河上的大船上，设宴诱捕了后套地区国民军无法平定的独贵龙运动领导人