的天草郡发生岛原之乱，富冈城被一揆军攻击，领受责罚，天草郡4万石领地被没收。正保4年（1647年），他在江户的宅邸自杀，因为无子嗣，寺泽家就此断绝。此后，陆续有5家谱代大名统治唐津。在寺泽家之后唐津成为天领（幕府直辖领地）。庆安2年（1649年），播磨国明石城主成为唐津城主。延宝6年（1678年），大久保家与下总国佐仓城领主互换领地，入主唐津。元禄4年（1691年），大给松平家与志摩国鸟羽城的土井家互换领地，土井利益成为唐津领主。宝历12年（1762年），土井家移封下总国，三河国冈崎城主入城。文化14年