Il castello fu costruito verso la metà del XIV secolo da William Douglas, I marchese di Douglas. Fu ereditato dal figlio illegittimo, fatto conte d'Angus, e malgrado numerose vicissitudini lascerà la proprietà senza discendenti durante una grande parte della sua storia. Fu assediato nel 1491 dal re Giacomo IV, poi nel 1528 da Giacomo V, suo successore, che lo distrusse in gran parte. Fu preso, in seguito, dai congiurati nel 1639 durante la prima guerra dei vescovi e fu di nuovo distrutto nel 1651 dopo l'invasione della Scozia di Oliver Cromwell. Fu venduto dai Douglas nel 1699 e cadde a poco a poco in rovina prima di passare sotto la protezione di Historic Scotland. Costituisce un'attrazione turistica importante ed è classificato in categoria A e inserito come "Scheduled Ancient Monument". Nel 2009, alcune fotografie furono pubblicate dalla stampa britannica e mostravano un fantasma che appariva da una delle finestre del castello.