光耀早年到官邸打高尔夫球的时候，他的子女都会跟随到官邸的庭园玩耍。由于历任新加坡总理都没有迁入斯里淡马钖，因此官邸主要用作举办一些官方活动，当中又以1960年代和1970年代较为常用。过往曾到访的政要包括马来西亚建国首相东姑阿都拉曼、美国副总统斯皮罗·阿格纽、印度总理英迪拉·甘地、英国国防大臣丹尼斯·希利和约旦国王胡辛等。1962年，李光耀曾于斯里淡马钖举行大型派对，答谢一众在新加坡加入马来西亚公投中提供协助的工会人士和公务员；1983年已故财政部长韩瑞生的遗体也曾经停灵于斯里淡马钖供人凭弔。2008年