格斯帕特里克在被放逐到这里之后于1070年开始建造此城堡，他的后代即邓巴伯爵。城堡中现在还保留有马奇和邓巴伯爵乔治一世（1338–1420）的徽章，1515年邓凯尔德主教加文·道格拉斯曾囚禁于此。1457年在末代邓巴伯爵乔治二世手中该城堡被没收，詹姆斯四世对其进修修复使用。奥尔巴尼公爵得到了这座城堡，并在1514年建造了西部堡垒，其设计师可能是Antoine d'Arces。1527年7月奥尔巴尼公爵对其进行了进一步修复。苏格兰宗教改革前的1548年什鲁斯伯里伯爵放火烧毁了城堡，但同年就由彼得罗·斯