Etterhvert ble det økende press på næringens grunnlag, etter lengre tids nedgangstider og bla. konkurranse ifra utlandet og kunststeiner ble det siste bruddet (Lerhølet) i 1914 lagt ned i Selbu (Haarstad, 1972). Selbusteinen var ikke lengre konkurransedyktig, driftsformen umuliggjorde mekanisering, transportkostnadene var også betydelig høyere enn konkurrentene som også unnslapp tollavgifter. I tillegg gjorde samfunnsendringer med endret kosthold, til at Selbu-steinen fortrinn og funksjon ikke lengre var like egnet og attraktiv på markedet (Haarstad, 1972). Støpesteiner som var fabrikklagede steiner tok også etter hvert overhånd. Tradisjonelt jordbruk fikk også ett oppsving som påvirket arbeidsmarkedet og kvernsteinsdriften, da flere tok seg på arbeid i skogen (Rolseth, 1947).