På 1370-tallet bygget han festningen Threave Castle på en øy i elven Dee, sentralt i Galloway, 2,5 km vest for Castle Douglas i den nåværende regionen Dumfries og Galloway. Det var hovedbasen for «de svarte Douglas», jarlene av Douglas og lordene av Galloway, fram til deres fall i 1455 i striden mot en annen grein av familien, «de røde Douglas».