I 1831 tok Matthias på seg oppgaven og stiftet Baldwin Locomotive Works. De neste årene strømmet oppdragene på, og virksomheten måtte snart flyttes til større lokaler. Under den amerikanske borgerkrigen støttet han nordstatene og kampen mot slaveriet. Da Baldwin døde i 1866, hadde fabrikken hans bygd over 1 500 lokomotiver.