En data no gaire llunyana a 1854, Mariano Goya, net del mestre, va vendre la propietat. En pocs anys, la casa va tenir successius propietaris i les pintures murals es van anar deteriorant. El 1873, va acabar a les mans de Frédéric Émile d'Erlanger, aristòcrata i banquer francès, d'origen alemany, que va intentar vendre les pintures murals, primer al Louvre, i posteriorment a l'Exposició Universal de París de 1878. Tanmateix, desanimat potser pel poc interès suscitat per l'obra en venda, va acabar donant la col·lecció al Museu del Prado.