Tras haber correspondido a don Juan Pérez de Lorriaga y a su esposa, doña Catalina Ramos, los duques la donaron en 1684 a don Pedro de Esquivel.