玉祥的四叔是佃农。太平军攻到安徽时，冯玉祥的父亲外出逃荒，投靠一家地主做佣工，陪着地主家的少爷学武学，考武举，结果冯玉祥的父亲考中武庠（官办武学）生员，毕业于投身淮军将领刘铭传的“铭军”，在差遣队当差，后来慢慢地升到哨长和哨官，参加平定陕甘回乱，之后随左宗棠进军新疆。随军从新疆调防内地进驻山东济宁。冯有茂在济宁与当地妇女游氏结婚，次年生长子冯基道，（共有七个儿子，其中冯玉祥是次子。）长子出世次年，铭军解散。文盲的冯有茂南下返回老家，考武举人未成，生活无着，不得已，又重新入伍，随淮军至直隶青县兴集镇驻防。