Det første fengselet på dette stedet i middelalderen, antagelig tilbake til 1300-tallet, kanskje også eldre, ble opprinnelig konstruert fra to hus og var lokalisert på Angel Place, utenfor Borough High Street i Southwark. Som med andre juridiske bygninger ble det ofte et mål ved opprør og opptøyer; det ble brent i 1381 og 1450.