子女疏于管教。他的儿子步兵校尉马豫，对自己所受的限制不满，向朝廷投书抱怨，又因两个弟弟马防和马光树立党羽，拉帮结派，豪华奢侈，有关单位以马豫、马防、马光衣食住行，超过他们的身份，污染圣明的礼教为由，全都遣返封国，建初八年（83年）马廖被遣返封地顺阳（今河南省淅川县李官桥镇一带），马豫也被免官，后来汉章帝下诏特准许马廖回到京师洛阳。永元四年（92年），马廖逝世。汉和帝以马廖为汉章帝舅舅的缘故，厚加赗赙，派使者吊祭，王主会丧，谥曰安侯。