Die huidige stadsgebied en sy omgewing is oorspronklik deur die Abenaki, 'n Indiaanse volk, bewoon. Die eerste blanke setlaars in die omgewing van Sherbrooke was Amerikaanse lojaliste wat hulle in 1793 in die gebied gevestig het. Gilbert Hyatt, 'n boer uit Schenectady in die deelstaat New York, het hier in 1802 'n meelblom- en 'n saagmeul opgerig. Grootskaalse ekonomiese ontwikkeling het begin met die bou van die eerste spoorweg in 1850.
Sherbrooke is geleë by die samevloeiing van die Saint-François- en Magogriviere. Dit is 'n belangrike landbougebied vir melkboerdery. Die plaaslike hokkiestokbedryf is die grootste ter wêreld.
Sherbrooke Village is 'n outentieke dorp en opelugmuseum uit die sestigerjare van die 19de eeu. Houtwerkers en skeepsbouers wys hier die ou ambagte en tegnieke van die pioniers. Die gerestoureerde geboue sluit 'n kunswinkel, woonhuise, 'n apteek, 'n poskantoor en die ou kerk in.