Foreldrene hans var major Hartvig Kaas Munthe (1766–1830) og Bolette Christine Pavels (1774–1861, datter av presten Peter Pavels). Gerhard Munthe var med gift med Thorborg («Thora») Hansen (1810–1842), deretter med Ragnhild Susanne Hansen (1812–1853), hans svigerinne fra første ekteskap), tredje ekteskap var med Catharine Pauline Suhrland (1823–1869), og fjerde gang var han gift med Ingeborg Dorothea («Dora») Kiønig (1837–1927). Gården Ytre Kroken ved Lustrafjorden hadde farfaren, offiseren Gerhard Munthe, skaffet ved en byttehandel. Kroken er en gammel gård og kjent fra 1200-tallet i Flatøybok.