I fortellingen «Det sorte spiskammer» fra Walter Scotts bok «Tales of a Grandfather» utmaler han Svarte-Douglas etterhvert demoniske rykte. I 1307 ba han Robert Bruce om tillatelse til å erobre familiens okkuperte festning, Douglas Castle, men kongen kunne ikke avstå tropper. James Douglas dro likevel avgårde med kun to mann (noen myter sier to kvinner). Han ventet til palmesøndag hvor de engelske soldatene overvar gudstjenesten, deretter lurte han seg inn i festningen, barrikaderte kirken og jevnet egenhendig festningen og drept alle han kom over.