亲义氏仍然作为幕府宿老而受到重用，但是在建长3年（1251年）12月，36岁的泰氏未经幕府许可自行决定出家，最终幕府没收他在下总埴生庄（现千叶县印旛郡内）以作惩罚，泰氏只好隐居足利的本领，其后亦再没有参政。翌年3月，第5任将军藤原赖嗣曾经强制要求泰氏返回京都，虽然推测与出家一事有关连，但是何以出家则原因不明，其父义氏在泰氏出家后仍然保持地位和所领，后来由泰氏之子足利赖氏继承义氏的领地。泰氏最初迎娶的之女为正室，并且先后诞下和，但是后来迎娶得宗家的时氏之女后便改纳其为正室，并且诞下赖氏等人，朝时之女则变成