Til tross for navnet er ikke Hillsborough Castle et slott. Det er en georgiansk herregård, som ble reist i det 18. århundre for markien av Downshires slekt. Den sjette markien solgte det i 1922 til den britiske regjeringen. Dette løste et praktisk problem for regjeringen: Gjennom hadde Nord-Irland blitt opprettet, med Irlands stattholder som utøvende myndighet for både Nord-Irland og Sør-Irland. Da Den anglo-irske traktat av 1921 i praksis avskaffet papirstaten Sør-Irland og i stedet opprettet Den irske fristat forsvant denne felles myndigheten, og guvernørembetet ble opprettet i stedet. Visekongens residens i Dublin var ikke lenger mulig å bruke av både praktiske og politiske årsaker, og man trengte derfor å raskt finne en passende residens. Selv om Hillsborough ligger utenfor hovedstaden Belfast var det passende, og etter renovasjon kunne den første guvernøren, James Albert Edward Hamilton, 3. hertug av Abercorn flytte inn i 1925.