Onder de heerschappij van Jacobus IV werd Rothesay Castle weer belangrijk, doordat hij het als uitvalsbasis gebruikte om de Eilanden volledig onder controle te krijgen en te houden. Jacobus IV liet het poortgebouw verbouwen tot een koninklijke residentie. Na zijn dood in de Slag bij Flodden Field in 1513, werd het werk rond 1540 voltooid onder Jacobus V. Naast de verbouwing van het poortgebouw werden de noordelijke torens verhoogd en werd de kapel op het binnenhof gerealiseerd. Voor de periode na Jacobus V is er geen gedocumenteerd bewijs dat het Schotse koningshuis zich actief met Rothesay Castle bezighield.