La ciudad apenas estaba acabada, cuando, en 1307, se empieza a utilizar la Puerta de las Torres como prisión para encarcelar a templarios, siendo encerrados en ella hasta 70 personas.