En 1958 el edificio fue saqueado por partidarios del golpe de Estado de 1958 en ese ataque fue dañado el Telescopio de la casa Carl Zeiss, que fue enviado a Alemania para su reparación pero no fue posible su restauración. En la siguientes décadas la estructura siguió perteneciendo a la familia Pérez Jiménez (su hermano y su esposa además de su madre permanecieron en el país y recuperaron la propiedad años después), En 1965 fue sede de la Fundación Hogar Americano, hasta que fue devuelta a sus antiguos propietarios. En la década de los 90 el edificio ya estaba en venta y a principios del siglo XXI todavía era usado para realizar fiestas y eventos.