无可避免受到影响，彭氏家族亦于此时开始计划把雍雅山房变作住宅，但改变土地用途手续繁复，扰攘了8年。2005年9月，雍雅山房招标易手，最后由投资者罗家宝以3.8亿港元投得，计划改建成20至23幢洋房。雍雅山房于2005年9月20日最后一天营业，当晚由中原地产包场，并邀请200名嘉宾度过其最后一夜，包括昔日粤语电影红星胡枫、唱片骑师陈任、艺人Maria Cordero及香港立法会议员梁耀忠等。。