James IV of Scotland
Se comenzó a construir el segundo castillo, una gran torre de planta en L, alrededor del 1400. Sería destruida en 1594 por el conde de Moray, durante las luchas entre Jacobo II y el clan Douglas. Durante su esplendor, en enero de 1496 acogió al rey Jacobo IV de Escocia para la boda de Perkin Warbeck, el pretendiente al trono de Enrique VII de Inglaterra, con lady Catherine Gordon, "la Rosa Blanca de Escocia", la hija del segundo conde de Huntly.