幕府没收他在下总埴生庄（现千叶县印旛郡内）以作惩罚，泰氏只好隐居足利的本领，其后亦再没有参政。翌年3月，第5任将军藤原赖嗣曾经强制要求泰氏返回京都，虽然推测与出家一事有关连，但是何以出家则原因不明，其父义氏在泰氏出家后仍然保持地位和所领，后来由泰氏之子足利赖氏继承义氏的领地。泰氏最初迎娶的之女为正室，并且先后诞下和，但是后来迎娶得宗家的时氏之女后便改纳其为正室，并且诞下赖氏等人，朝时之女则变成侧室，原本很大机会继承足利家的家氏则被废嫡，及后成为尾张足利家，后来的斯波氏之祖，而赖氏则成为足利宗家嫡子。因此