Simon Joseph Fraser kreeg het land tegen het einde van de 19de eeuw terug en bouwde er een nieuw kasteel, dat de naam Beaufort kreeg. In januari 1900 richtte hij de Lovat Scouts op, een regiment scherpschutters. Zij vochten in de Boerenoorlog. Zijn zoon Simon Fraser, 15e Lord Lovat kwam in 1930 ook bij de Lovat Scouts, en in 1939 opnieuw.