也曾经由中英联合联络小组征用为办公室。香港主权移交后，建筑物由本地设计师协会租用，成立香港设计中心，由香港赛马会赞助古物修复及装修费为600万港元。两年后，香港设计中心于2006年中搬往九龙九龙塘的创新中心，香港特区政府于同年11月，经前任行政长官董建华同意，最后选定此建筑物作为前任行政长官办公室。2007年4月21日，政府宣佈该建筑正式成为前任行政长官办公室， 政府耗资逾200万港元进行装修、添置家俬、进行外墙油漆工程，以及在大门外加上铜牌和竖立中国国旗及香港区旗。该大楼佔地1,200平方米，分为