Un ancien château féodal qui appartient à la famille de Porhoët, est attesté au le long du Blavet, en contrebas du château actuel. Ce « château des Salles » est assiégé en novembre 1342 par les troupes anglaises de Guillaume de Bohain, lieutenant du roi Édouard III, pendant la guerre de Succession. Ruiné probablement par les assauts qu'il a à soutenir, il est abandonné. Après cette guerre de Succession, les vicomtes de Rohan décident de faire de Pontivy le chef-lieu de leur quasi-principauté. En 1456, le site est donné aux Cordeliers qui y édifient leur monastère. Le vicomte Jean II de Rohan (comte de Porhoët, gendre du duc François Ier de Bretagne, opposant au duc François II et gouverneur de Bretagne pour Charles VIII), veut y édifier une nouvelle forteresse grâce au régime de la corvée. Unissant aux avantages d'une solide forteresse, ceux d'une résidence agréable pour un grand seigneur cultivé et même raffiné, il construit le château actuel entre le printemps 1479 et 1485 sur un nouveau site castral qui englobe probablement celui de Jean de Rohan, son arrière-grand-père : il fait creuser une vaste cuvette sur les flancs d'un coteau contrôlant l'accès principal au bourg, en retrait du Blavet, et qui domine la ville à l'Est. C'est certainement l'architecte Jean Le Roux qui ouvre les fenêtres du haut de la façade principale et celles à meneaux de la façade Nord pour accompagner la Renaissance. Jean II de Rohan, en construisant son dernier édifice militaire, refait ainsi de Pontivy une grande place forte.