Mathias var sønn av Troels Krog (1715–1803) og Else Marie Bonsach (1720–1793). Faren var fogd på Finnmarka. Mathias studerte i København, der han oppnådde teologisk embetseksamen i 1779. Han var sogneprest i Lenvik (ordinert i 1781), i Vågan (1788) samt i Ørland (1798), før han 6. januar 1804 ble utnevnt til den første biskop over , basert i Alstahaug, der han året etter ble utnevnt til sogneprest og således virket i to embeder frem til 1812. Dette året kjøpte han Belsvåg gård og etablerte den første nordnorske bispegård, der han ble boende frem til sin død. Etter hans bortgang ble bispesetet flyttet til Tromsø. Han forestod etableringen av et av landets første bibliotek (1811).