Bygningen mistet sin tiltrekningskraft hos de etterfølgende hertugene da den industrielle revolusjon ga Nottingham et rykte for å ha den verste slummen i det britiske imperium bortsett fra India. Da folk fra denne slummen gjorde opprør i 1831 i protest mot hertugen av Nottinghams motstand mot loven om folkerepresentasjonsakten av 1832, brente de ned palasset.