La fundación del edificio se debe a Carlos Miguel Ramírez de Jove, primer Marqués de San Esteban del Mar de Natahoyo (título nobiliario otorgado por Felipe V el 20 de marzo de 1708), quien lo mandó construir en 1704 aprovechando la torre medieval de estilo gótico (siglo XV) preexistente.