Ante este interés y el estado de abandono general, a partir de 1904 iniciaron sus propietarios el vaciado de sus elementos de valor, siendo vendido por el XVI marqués de los Vélez, Joaquín Álvarez de Toledo y Caro, su patio renacentista en ese mismo año al anticuario francés J.