I desember 1827 giftet han seg med Sarah Crane Baldwin, og sammen fikk de to døtre og en sønn. I tillegg adopterte de en jente. Sønnen døde i februar 1835, to år gammel. Ikke lenge etter åpnet han en skole for fattige fargede barn i nærområdet. Matthias var avholdsmann og en trofast kirkegjenger som bidro økomisk til kirker og søndagsskoler. Han drev også veldedighet overfor fattige og fargede, og var motstander av slaveriet. I 1859 flyttet han til sitt nye hus i Wissinoming nær Frankford utenfor Philadelphia. Sommeren 1866 ble han syk, og trakk seg tilbake til hjemmet sitt i Wissinoming der han døde 7. september samme år. Baldwin ligger begravd på Laurel Hill Cemetery i Philadelphia.