于1970年代，大厦有不少明星出入，也有不少着名医生在该处执业，可是自从1980年代起，随着区内有更多较新的落成，香槟大厦逐渐衰落，部份单位更曾被黑工、黑帮及毒贩使用。1990年代中期，香槟大厦部份单位被划分为劏房经营一楼一凤色情行业，由中年凤姐提供按摩服务。2000年代末期，有不少年轻的中国大陆妓女（俗称「北姑」）在此大厦经营，近年甚至出现为数不少不同国籍的妓女，更吸引日本网站介绍。由于香槟大厦位处尖沙咀闹市，且楼龄已超过60年，故吸引地产发展商收购重建。市场曾传出田生地产有意收购香槟大厦，但后来