泰时赐予其名讳，改名泰氏。嘉祯2年（1236年），泰氏获任命为丹后守，翌年（1237年）担任宫内少辅，成为鎌仓幕府第4任将军藤原赖经的近臣。宝治合战爆发直前，北条时赖的姊妹泰氏正室在宝治元年（1247年）3月2日死去。在经历和宝治合战后，执权时赖强化得宗的专制统治，多数御家人的势力均被削弱，但是泰氏父亲义氏仍然作为幕府宿老而受到重用，但是在建长3年（1251年）12月，36岁的泰氏未经幕府许可自行决定出家，最终幕府没收他在下总埴生庄（现千叶县印旛郡内）以作惩罚，泰氏只好隐居足利的本领，其后亦再没有参政。