Anders Ivarssøn, som han opprinnelig het, var født på Gjermundnes (tilhørende Veøy)- i dag Vestnes kommune på sørsiden av Moldefjorden i Romsdal. Han var sønn av biskopsdatter Anna Ludvigsdatter Munthe (1639–1688) og godseier og fogd Iver Anderssøn (før 1630–1683) som også var toller på Molde. Barna fikk etternavnet Munthe etter moren, som har vært kalt moren til «Munthe fra Romsdalen». Via faren var han en tremenning av presten Petter Dass.