מרבית הארמון נהרס בשרפה הגדולה של לונדון ונבנה מחדש בשנים 1666–1667 במטרה לשמש כבית חולים שנקרא "בית החולים המלכותי בריידוול" (Bridewell Royal Hospital) וכן להמשיך ולשמש כבית כלא. בשנת 1700 היה זה בית הכלא הראשון שהעסיק רופא במשרה קבועה על מנת לטפל באסירים. בשנת 1855 נסגר בית החולים והבניין נהרס בין השנים 1863–1864. כיום עומד במקום בו עמד הארמון בניין יוניליוור שנבנה בשנת 1931.