Durante la rivolta del 1745 la fortezza fu catturata dai giacobiti, che la fecero saltare in aria nel 1746 per evitare che gli hannoveriani la usassero come base militare. Nel 1747 il colonnello William Skinner, Ingegnere Reale della Gran Bretagna settentrionale, approntò un contratto per ricostruire la fortezza, ma il Comune di Inverness presentò una richiesta di risarcimento per la perdita di una parte del suo porto e fu quindi trovato un sito alternativo (quello attuale).