James Douglas ble født inn i en familie lojal til den skotske trone. Hans bestefar døde side om side med William Wallace, hans far døde i fengsel i England som offer for den skotske saken. Som bare guttungen ble han selv sendt i sikkerhet til Frankrike, hvor han utdannet seg i seks år i Paris før han, ved opplysningen om sin fars død, returnerte i 1306 til hjemlandet i en alder av 18 år.