秋天别墅的屋顶都会漏水。萨伏伊一家在这里居住到了1940年，由于第二次世界大战而被迫离开。在战争期间，德国人将别墅用于堆放干草，后来美国人也占用过这座别墅。萨伏伊一家在战后回到此地，但是没有再在这里居住过，并很快放弃了这里的房产。这座房子在1958年被普瓦西镇政府征用，最初被当作公共的青少年活动中心，后来曾考虑拆掉别墅以腾出空地建设校舍。这一举动遭到了一些建筑师的抗议，柯布西耶本人也介入此事，最终得以把别墅保留下来。让·杜比松于1953年不顾柯布西耶的反对试图翻新这座建筑，这是第一次有人试图翻新在世建筑师的