Terasawa Hirotaka, un sirviente de Toyotomi Hideyoshi, se convirtió en el señor de Karatsu en 1595. En la Batalla de Sekigahara en 1600, se unió a las fuerzas de Tokugawa Ieyasu y atacaron el Castillo de Gifu. Hirotaka fue recompensado con tierras alrededor de Karatsu, formando un dominio de 123,000 "koku". En 1598, abandonó su castillo original, el Castillo de Nagoya, y comenzó a trabajar en el nuevo castillo de Karatsu, usando muchos materiales del antiguo, desde 1602 1608. El shogunado Tokugawa ordenó a los dominios vecinos de "tozama" a contribuir en su construcción, y lo hicieron excavando su red de pozos. En 1637, en un acontecimiento fállido para reprimir la rebelión de Shimabara, sus tierras fueron confiscadas por el Shogunado. El Dominio de Karatsu fue otorgado al control del clan Ōkubo (1649–1678), el clan Matsudaira (Ogyū) (1678–1691), el clan Doi (1691–1762), clan Mizuno (1762–1817), hasta que finalmente cayó en posesión del Clan Ogasawara en 1762.