Durante los siglos XV y XVI Cartaya pasó a formar parte de los señoríos de la Casa de Zúñiga.