La zona le había sido concedida a la familia Durward en 1229 y estos fueron, probablemente, quienes construyeron el castillo que se conoce hoy en día.