Seigneurie médiévale avec droit de haute, moyenne et basse justice, Callac est élevée en baronnie en 1645 par Louis XIV pour la famille de Rogier. Initialement détenues par la famille de Callac, les terres passent successivement aux familles Clair-Fontaine, Le Forestier, Rogier, Guemadeuc, Du Cleuz, pour terminer aux mains du comte de Marbeuf à la veille de la Révolution française. À cette époque, il accueille des prêtres réfractaires et des chefs chouans — Georges Cadoudal y passant par exemple brièvement.