在清真寺学习。14歳开始学习武术。1897年（光绪23年）他武举乡试及第。此后，他从军。1906年（光绪32年），他升任西宁镇总兵。1910年（宣统2年），他被授予建威将军，任西路巡防统领，驻扎兰州。辛亥革命爆发之际，马福祥基本上採取了旁观的态度。袁世凯就任中华民国临时大总统后，马福祥服属。1912年（民国元年）5月，他被北京政府任命为宁夏镇总兵，其部队被称爲「昭武军」。1913年，马福祥在黄河上的大船上，设宴诱捕了后套地区国民军无法平定的独贵龙运动领导人旺丹尼玛活佛，得到袁世凯赏识，特改任马为宁夏护军