时候，他与夫人柯玉芝决定不会和他们三名时年分别七岁、五岁和两岁的子女迁入官邸，原因是两人「不希望子女在管家和仆役随传随到的氛围下成长」。虽然如此，新加坡在1965年脱离马来西亚独立的时候，李光耀的确曾经以安全理由一度举家搬进斯里淡马钖暂住。另外，根据《海崃时报》在2000年访问柯玉芝的一篇报导，李光耀早年到官邸打高尔夫球的时候，他的子女都会跟随到官邸的庭园玩耍。由于历任新加坡总理都没有迁入斯里淡马钖，因此官邸主要用作举办一些官方活动，当中又以1960年代和1970年代较为常用。过往曾到访的政要包括马来西