Y, en 1761, el fuerte se transformó en un lujosos palacio bajo el patronazgo del Cardenal Henry Stuart, duque de York.