Peter Andreas Munch nedstammet fra marineoffiseren Søren Rasmussen Munch (død 1748), som deltok i slaget i Dynekilen i 1716. Hans sønn, P.A. Munchs farfar, Peter Munch (1740–1802), var sogneprest i Vågå og Land, og gift med en halvsøster av dikteren Edvard Storm. Denne Peter Munch hadde to sønner, hvorav den ene var Johan Storm Munch, senere biskop i Kristiansand og far til dikteren Andreas Munch (P.A. Munchs fetter).