Den første Sysselmannsgården ble bygget i 1934 av den overvintrende sysselmannsfullmektigen Helge Ingstad. Den var en enetasjersbygning med to små uthus og en hundegård. Av uthusene står ett igjen etter at Tyskland brente ned Sysselmannsgården i 1943. Den nåværende Sysselmannsgården ble tegnet av Eindride Slaatto som residens og kontor for Sysselmannen på Svalbard. Den ligger på fjellsiden omkring 500 meter over havet. Den ligger nært den senere oppførte Administrasjonsbygget for Sysselmesteren på Svalbard.