大厦周边大兴土木，区内建有不少住宅，当时就已有传四季大厦将会在不久后被拆卸，1978年港府的荃湾新市镇介绍书刊中也说明这消息。后来港府延迟到1983年底至1984年初清拆，并计划重建为公园。可是政府改变主意，决定在四季大厦原址兴建临时房屋区，以舒缓九龙和荃湾临时房屋区单位不足之问题，并延至1985年由房协宣佈拆卸计划，开始安排居民迁离。房协在1987年11月公佈，受影响居民可以选择优先租住或购买附近的混合发展屋邨祈德尊新邨，并以特惠租金或八五折楼价，吸引他们迁入。不过后来房协出尔反尔，除了大幅加楼价一倍