Porte fortifiée au nord-est des remparts de la ville, la porte Prison est l'un des plus anciens accès à la ville close. Construite au sous le règne du duc Jean II, elle est dénommée porte Saint-Patern, du nom du quartier qu'elle dessert. Au cours de la seconde moitié du , sous le duc Jean IV, la porte est dotée d'un pont-levis à bascule, d'une poterne pour le passage des piétons et d'un grand arc de décharge surbaissé. Son successeur Jean V poursuit les travaux qui consistent en la réfection des parties hautes rehaussées de mâchicoulis bretons à arcs brisés sur consoles et la construction d'une barbacane puis de canonnières. La porte fortifiée est commandée par un système de double pont-levis, un pour la porte charretière et un pour le passage piéton. Au est inséré entre les rainures du pont-levis un écusson maintenant détérioré (martelé à la Révolution), probablement aux armes de Bretagne. Sous la Révolution, les suspects et les condamnés y sont enfermés : religieux et prêtres réfractaires, dont le bienheureux Pierre-René Rogue, ou royalistes, comme l'état-major des émigrés débarqués à Quiberon en 1795. La porte prend alors le nom de porte Prison. À la suite de la construction d'une nouvelle prison, la porte et les tours sont vendues à un particulier en 1825. La seconde moitié du voit l'aliénation de l'édifice à des propriétaires privés qui n'ont pas toujours les moyens de l'entretenir. La tour sud est démolie en 1886 (exception faite d'une partie de son rez-de-chaussée et du parement extérieur de son niveau inférieur) pour faire place à un immeuble de rapport.