Más tarde, en el siglo XVI, pasaría a ser propiedad de Garcí-Fernández Manrique de Lara, conde de Osorno, primer propietario del Palacio que lleva su nombre.