Jabarkan 1996–2011 dari Government House, Sydney

Namun pada tahun 1996, atas arahan Perdana Mentri New South Wales saat itu, Bob Carr, bangunan ini tidak lagi digunakan sebagai rumah tinggal; kantor Gubernur dipindahkan ke bangunan bersejarah Chief Secretary yang letaknya berdekatan, di Macquarie Street nomor 121. Pada 16 Januari 1996 Carr mengumumkan bahwa Gubernur selanjutnya, Gordon Samuels, tidak akan tinggal dan bekerja di Government House. Mengenai perubahan ini, Carr mengatakan "Kantor Gubernur harus dikurangi hubungannya dengan kemegahan dan pesta, dikurangi bebannya dari protokol anakronistik, lebih sesuai dengan karakteristik masyarakat." Carr kemudian menyindir bahwa keputusannya ini lebih "untuk Jack Lang", mengacu kepada Perdana Mentri negara bagian di masa lalu dari Partai Buruh yang dipecat oleh Gubernur, Marsekal Muda Sir Philip Game, pada masa krisis konstitusional tahun 1932.

Gubernur terlama di negara bagian tersebut, Sir Roden Cutler, juga mengatakan:

Langkah ini menimbulkan kontroversi yang panjang, karena klaim penghematan $2 juta tidak pernah terwujud. Jendral Auditor menemukan bahwa timbul kelebihan biaya $600.000 untuk perawatan bangunan jika tidak ditinggali Gubernur; dan kunjungan publik menurun (Gubernur tetap membuka kunjungan publik selama masa jabatannya). Hal inilah yang menjadikan grup Australians for Constitutional Monarchy untuk memrakarsai protes, menghasilan unjuk rasa terbesar dalam sejarah Sydney: kerumunan 15.000 pengunjuk rasa di luar Gedung Parlemen, menutup Macquarie Street. Sehari sebelum pelantikan Gordon Samuel, sebuah petisi berisi 55.000 tanda tangan diserahkan, menuntut Perdana Mentri mempertimbangkannya kembali. Selama jeda pelantikan gubernur, Goverment House secara teratur digunakan untuk kegiatan vice-regal dan tetap menjadi tempat resepsi resmi negara bagian, termasuk sebagai tempat pertemuan utama APEC Australia 2007 pada September 2007, di mana para pemimpin politik dari 21 negara anggota Kerja Sama Ekonomi Asia-Pasifik bertemu.