Etter Georg IVs død i 1830 ble palasset også brukt av hans etterfølger, Vilhelm IV, men etter dronning Victorias siste besøk i Brighton i 1845 ønsket staten å selge stedet. I 1849 ble så palasset solgt til byen for 53 000 pund.