A principios del siglo XVIII, tras el fallecimiento en 1703 de Pedro Fernández Portocarrero, último señor del linaje que residió en la casa de Moguer, el inmueble fue transferido al vicario de Moguer en cumplimiento de una de las mandas testamentarias dispuestas por su hermano Alonso Portocarrero en 1686.