En un principio construyó una pequeña villa (la cual queda ahora en el extremo oeste de la mansión) y la llamó Abbotsford, creando el nombre aludiendo a un vado por el cual los abades ("abbots") de la Abadía de Melrose cruzaban el río.