自高祖徒云中，云中后为辽国所得，又徒浚仪。父马全义在宋朝建立后，随太祖平定李筠、李重进之乱，数有战功，在马知节七岁时病逝。建隆三年（962年）十二月，太祖召见禁中，有司奏当补殿直，诏特除西头供奉官，赐名知节，优恤其家。开宝五年（972年），监彭州兵马。太平兴国三年（978年）四月，领兵驻清水，贼人李飞雄乘驿称诏捕马知节与内弓箭库副使、秦陇州巡检刘文裕，因盗库兵以反，马辩李飞雄之诈，与刘文裕执李飞雄而杀之。五年（980）年，监潭州兵马，改东头供奉官。雍熙二年（985年），监博州兵马，瀛洲兵马都部署刘廷让败