La residencia era pequeña, especialmente comparada con la Casa de Gobierno en Melbourne, y varios Gobernadores-Generales y sus esposas se quejaban de las limitaciones de la casa como lugar para ofrecer cenas y eventos oficiales.