O castelo data dos séculos XIII e XIV, quando foi ocupado pelo Clã Cumming, Condes de Buchan, antes de ver a sua importância diminuida em 1308 por Roberto I da Escócia em Harrying of Buchan durante a Primeira Guerra da Independência da Escócia. A evidência escrita de 1509 sugere que o castelo foi reconstruído no século XVI por Lord Forbes, embora pouca evidência física disso tenha sido encontrada.