Den engelske kongen Henrik IV bevilget Man til Sir John Stanley i 1405 under betingelsen av en betaling av to jaktfalker for den arvelige rettighet til å skattlegge øya. Stanley-dynastiet varte fram til 1736. Den mest betydelige lord av Man var James Stanley, 17. jarl av Derby, som sammen med grevinne Charlotte de la Tremouille, holdt Man og festningen som et av de siste rojalistiske befestninger under den engelske borgerkrigen. James Stanley dro til det engelske fastlandet for å sloss for den rojalistiske saken, men ble tatt til fange og senere henrettet i oktober 1651. Grevinne Charlotte holdt festningen fram til oktober samme år da et mansk opprør, ledet av manxmannen Illiam Dhone (1608–1663), tvang henne til overgi festningen til de parlamentariske styrkene.