但在14世纪后随着地方势力的兴起，逐渐被北畠氏所掌握；1582年当时的城主和伊势国司北畠信雄协商后，将南部的锦地区归入纪伊国牟娄郡。虽然横跨伊势国和纪伊国，但到了江户时代，现在的大纪町区域仍全部成为纪州德川家纪州藩领地，19世纪末废藩置县后一度隶属和歌山县，直到1872年第一次府县整併时改划入度会县，1876年再併入三重县。1889年日本实施町村制，现在的大纪町辖区在当时分属、、、、共五个行政区划。1950年代的昭和大合併期间，泷原町和七保村在1956年合併为，柏崎村和锦町在1957年合併为；到了2