Le château de Quintin est élevé, à la fin du , par Geoffroy Botherel pour défendre un gué du Gouët sur la voie romaine Alet-Carhaix. Geoffroy Botherel, fils du comte Alain de Penthièvre, reçoit en 1228, en partage de son frère Henri II d'Avaugour, le territoire de Quintin qui comprend 28 paroisses. De retour de la , à laquelle il a participé avec Louis IX (Saint-Louis), il entreprend, autour de Quintin, la construction d'une muraille d'enceinte percée de quatre portes. En 1443, le château, mal entretenu, est abandonné par les seigneurs habitant généralement l'Hermitage, et, en 1480, l'une des tours est encore en construction. Formant un comté, Quintin sera érigé en 1451 en baronnie. En juin ou juillet 1487, le château de Quintin, résidence de Pierre de Rohan (du parti français), est pris et saccagé par des soldats du parti breton. En 1494, Jeanne du Perier et Pierre de Rohan, son époux, donnent un terrain et une maison situés en bas de la rue des Carmes pour y aménager un hôpital.