该建筑曾成为教育署若干组别的办公室及坚尼地道小学（Kennedy Road Junior School）共用。1993年至1999年，该建筑物也曾经由中英联合联络小组征用为办公室。香港主权移交后，建筑物由本地设计师协会租用，成立香港设计中心，由香港赛马会赞助古物修复及装修费为600万港元。两年后，香港设计中心于2006年中搬往九龙九龙塘的创新中心，香港特区政府于同年11月，经前任行政长官董建华同意，最后选定此建筑物作为前任行政长官办公室。2007年4月21日，政府宣佈该建筑正式成为前任行政长官办公室，