Etter at Jakob VI ble konge av England, som Jakob I, i 1603 flyttet han til London. Palasset har siden det ikke lenger vært en permanent kongelige residens. Jakob VI besøkte det igjen i 1617, og Karl I var der i 1633 da han ble kronet som konge av Skottland i Holyrood Abbey. I 1650 ble palasset brent ned mens Oliver Cromwell og hans soldater var der. Det er uklart om det skjedde ved et uhell eller om det var planlagt. Cromwell fikk bygget opp palasset igjen, men dette ble revet av Karl II av England. Det nåværende palasset er for en stor del fra årene 1671–1679, og ble designet av sir William Bruce. Jakob VII og II bodde der fra 1679 til 1682 etter eksklusjonskrisen.