De gevangenpoort was vanaf ongeveer 1420 tot 1828 de gevangenis van het Hof van Holland, waarin personen die een zwaar misdrijf hadden begaan terechtkwamen. In 1428 maakte Filips de Goede de "voorpoorte van den hove", zoals de poort oorspronkelijk genoemd werd, tot staatsgevangenis. Het aantal cellen zou echter niet altijd voldoende zijn. In 1445 moest een groot aantal van de meer dan honderd gevangen genomen Hoekse opstandelingen uit Leiden, daarom worden gevangengezet in drie herbergen, waaronder 't Goude Hooft. Ook piraten belandden soms in de Gevangenpoort. In 1451 kreeg gevangenbewaarder Michiel van Halewijn de opdracht, om eenentwintig gevangen zeerovers, afkomstig uit de Franse havenstad Dieppe, niet meer dan water en brood te verstrekken. Zeeroverij werd streng bestraft in die tijd. De meeste van hen zouden na een proces worden terechtgesteld. Keizer Karel V bouwde tussen 1517 en 1535 een groot cellencomplex aan de poort vast en breidde ook het gerechtsgebouw uit.