Le château fut construit vers le milieu du par William Douglas, comte de Douglas. Il fut transmis à son fils illégitime, fait comte d'Angus par la suite, et malgré de nombreuses vicissitudes demeura la propriété de ses descendants durant une grande partie de son histoire. Il fut notamment assiégé en 1491 par le roi Jacques IV, puis en 1528 par Jacques V, son successeur, qui le détruisirent en grande partie. Par la suite, il fut pris par les covenantaires en 1639 pendant la première guerre des évêques et à nouveau détruit en 1651 lors de l’invasion de l’Écosse par Oliver Cromwell. Il fut vendu par les Douglas en 1699 et tomba peu à peu en ruines avant de passer finalement sous la protection d’Historic Scotland. Il constitue désormais une attraction touristique importante et est classé en catégorie A et listé comme "". En 2009, des photographies furent publiées dans la presse britannique montrant un supposé fantôme apparaissant à une des fenêtres du château.