Fengselet ble bygget 1791–1799 etter tegninger av George Gwilt. Fengselet var ved åpningen det største i landet og lå i tilknytning til rettsbygningen Old Bailey, også tegnet av Gwilt. Det ble bygget for å erstatte et eldre fengsel, King's Bench Prison, som siden Tudor-perioden hadde ligget på det som hadde vært den nærliggende på Borough High Street, Southwark (uformelt kalt ).