La mansión fue construida entre 1759 y 1771 para la familia Lascelles, que había amasado su fortuna en el Caribe por medio de posesiones de haciendas, comercio de esclavos y préstamos a plantadores.