泰氏正室在宝治元年（1247年）3月2日死去。在经历和宝治合战后，执权时赖强化得宗的专制统治，多数御家人的势力均被削弱，但是泰氏父亲义氏仍然作为幕府宿老而受到重用，但是在建长3年（1251年）12月，36岁的泰氏未经幕府许可自行决定出家，最终幕府没收他在下总埴生庄（现千叶县印旛郡内）以作惩罚，泰氏只好隐居足利的本领，其后亦再没有参政。翌年3月，第5任将军藤原赖嗣曾经强制要求泰氏返回京都，虽然推测与出家一事有关连，但是何以出家则原因不明，其父义氏在泰氏出家后仍然保持地位和所领，后来由泰氏之子足利赖氏继承义氏的