Ludgate ble ombygd i 1215, mulig med stein fra hus som hadde tilhørt jøder som var blitt fordrevet fra riket, for da porten på nytt ble ombygd på 1600-tallet, kom det til syne stein med hebraiske bokstaver på. Som det var vanlig flere steder i London, tjente porthuset som fengsel. På slutten av 1300-tallet var Ludgate først og fremst et gjeldsfengsel. En av dem som satt her var Stephen Forster i ung alder. Han ble senere Lord Mayor (borgermester) av London for tidsrommet 1454-1455. En rik enke ved navn Agnes så ham i vinduet og betalte hans gjeld, og de ble senere gift. Etter Fosters død fikk hans enke pusset opp Ludgate og utbygd som gjeldsfengsel, og praksisen med at gjeldsfangene måtte betale for deres egen mat og opphold ble forbudt. Hennes gave ble minnet av messingplakett.