845年生于安徽巢县竹柯村，家庭赤贫，冯有茂做泥瓦匠，冯玉祥的伯父与三叔做裁缝，冯玉祥的四叔是佃农。太平军攻到安徽时，冯玉祥的父亲外出逃荒，投靠一家地主做佣工，陪着地主家的少爷学武学，考武举，结果冯玉祥的父亲考中武庠（官办武学）生员，毕业于投身淮军将领刘铭传的“铭军”，在差遣队当差，后来慢慢地升到哨长和哨官，参加平定陕甘回乱，之后随左宗棠进军新疆。随军从新疆调防内地进驻山东济宁。冯有茂在济宁与当地妇女游氏结婚，次年生长子冯基道，（共有七个儿子，其中冯玉祥是次子。）长子出世次年，铭军解散。文盲的冯有茂南下