Toutefois la première mention officielle du château de Gruissan apparaît en 1084 dans un acte signé conjointement par le seigneur de Gruissan et l'archevêque de Narbonne. Durant les et (Haut Moyen Âge), le château constitue un lieu de protection de la population locale face aux nombreuses incursions de pirates. Durant toute la période du Moyen Âge et de la Renaissance, le château sera successivement agencé et renforcé par les archevêques de Narbonne. Le fort devient une forteresse convoitée et le théâtre de luttes sanglantes durant la Croisade des albigeois au , et pendant les guerres de Religion, au , le château est même pris par les troupes de Montmorency. De ces affrontements, le château et le village ressortent dévastés. L'abandon du château débute au sur les ordres de Richelieu et il sert alors de carrière de pierre pour reconstruire le village qui l'entoure, à ses pieds.