Su colección permaneció prácticamente indivisa durante los siglos XVII y XVIII, pasando de manos del tercer marqués de Leganés, muerto éste en 1711 sin descendencia, a los condes de Altamira, en cuya posesión se mantuvo hasta la ruina de esta casa a principios del siglo XIX.