Además existía el "Castro", ciudadela amurallada situada en el corazón de la villa que contenía una ermita, una iglesia gótica, un hospital, un castillo medieval, un cementerio y un complejo llamado "Palacios del Rey", posiblemente vestigio del paso de Alfonso VIII, estacionado en Castro Urdiales en 1208 y 1209, y cuyas ruinas desaparecieron a comienzos del siglo XIX.