L'histoire de Callac commence à être documentée à-partir du et la construction de son premier château. Seigneurie médiévale avec droit de haute, moyenne et basse justice, Callac est élevée en baronnie en 1645 par Louis XIV pour la famille de Rogier. Initialement détenues par la famille Callac, les terres passent successivement aux familles Clair-Fontaine, Le Forestier, Rogier, Guemadeuc, Du Cleuz, pour terminer aux mains du comte de Marbeuf à la veille de la Révolution française. À cette époque, il accueille des prêtres réfractaires et des chouans.