В сентябре 1402 года в битве при Хомильдон-Хилле шотландское войско под командованием Арчибальда Дугласа, 4-го графа Дугласа, потерпело сокрушительное поражение от английской армии под предводительством Генри Перси «Горячая Шпора». Сам Арчибальд Дуглас был взят в плен англичанами. После пленения своего старшего брата Джеймс Дуглас стал исполнять обязанности главы главной линии клана Дугласов поддерживал влияние своей могущественной семьи в Южной Шотландии. В 1409 году Арчибальд Дуглас, 4-й граф Дуглас, был освобождён из плена и вернулся в Шотландию. Джеймс Дуглас стал советником при старшем брате и получил в награду обширные поместья. Он избрал своей резиденцией замок Аберкорн, который стал его основным местом проживания.