Den offisielle residensen til Nord-Irlands guvernør var Hillsborough Castle i County Down. Etter renovering av slottet tok James Hamilton, 3. hertug av Abercorn, det i bruk som sin residens i 1925. Den forble offisiell residens fram til stillingen som guvernør ble avskaffet i 1973. Deretter har den vært ministeren for Nord-Irlands offisielle residens.