Die Isle of Man kam 1266 mit dem Frieden von Perth unter schottische Herrschaft, nachdem sie vorher zum norwegischen Königreich der Inseln gehört hatte. Nach dem Tod des schottischen Königs Alexander III. 1285 geriet die Herrschaft über die Isle of Man im Machtkampf um die schottische Krone unter den Einfluss der englischen Könige Eduard I. und nach ihm Eduard II., die ab 1290 verschiedene Adlige mit der Lordship of Man belehnten. Die Hoheit über die Insel wechselte verschiedentlich wieder zu den Königen Schottlands, so von 1313 bis 1333, als die Earls of Moray mit ihr belehnt waren. Nach der entscheidenden Schlacht bei Halidon Hill 1333 löste Eduard III. (England) die Insel endgültig aus der schottischen Oberhoheit. Fortan machten die englischen Könige wiederum verschiedene englische Adlige zu Lords of Man. Besonders lange dauerte die Herrschaft der Familie Stanley, Earls of Derby, die seit der Belehnung durch Heinrich IV. 1405 mit wenigen Unterbrechungen für Jahrhunderte andauerte. In der Regierungszeit Heinrichs VIII. änderte Thomas III. Stanley den Titel von "King of Mann" zu "Lord of Mann"; formell hatte bis dato die Insel als eigenes Königreich gegolten. Die Herrschaft wechselte im 17. Jahrhundert von den Stanleys zu den Dukes of Atholl, die britische Krone eignete sich aber immer mehr Regalien wieder an, bis sie 1765 wieder die vollständige Oberhoheit über die Insel erreichte. Fortan belieh der britische Monarch nicht mehr einen Adligen mit dem Titel des Lord of Man, sondern behielt diese Herrschaft in eigenen Händen, vermutlich um die verbreitete Schmuggelei auf der Insel besser kontrollieren zu können, sodass Georg III. der erste Lord of Man in Personalunion mit der britischen Krone war. Bis heute haben die britischen Monarchen diesen Titel inne und lassen die Insel von Vizegouverneuren verwalten.