唐津城曾经有过天守。现在的天守是在昭和41年（1966年）依照庆长时代的风格修建的。寺泽广高长于土木建设，除了改动松浦河的河道，他还在满岛山东侧的海边种植了防风林，也就是现在的虹之松原，是日本三大松原之一。广高之子由于领内的天草郡发生岛原之乱，富冈城被一揆军攻击，领受责罚，天草郡4万石领地被没收。正保4年（1647年），他在江户的宅邸自杀，因为无子嗣，寺泽家就此断绝。此后，陆续有5家谱代大名统治唐津。在寺泽家之后唐津成为天领（幕府直辖领地）。庆安2年（1649年），播磨国明石城主成为唐津城主。延