Samtidig som byen hadde vokst i velstand og størrelse hadde sagbrukstiden skyggesider. Skogene i Stor-Vefsn bar tydelig preg av rovhugst og ødeleggelser av miljøet. Tømmeruttaket gjorde også at flere bønder valgte å oppgi eller lot seg friste til å selge sitt gårdsbruk og flyttet nedover til Mosjøen. Sagbrukstiden endte omkring 1899. Da lå Vefsn utarmet, men Mosjøen hadde vokst seg rikt på høykonjunkturen.