La casa fue adquirida y completada por el 2.º marqués de Stafford (posteriormente primer duque de Sutherland) y fue conocida como Stafford House casi durante un siglo.