I mai 1874 giftet han seg med Jeanette Camilla Johannessen (1848–1923). Hartvig Andreas Munthe og Jeanette Camilla Johannessen var foreldre til slektsforskeren Christopher Morgenstierne Munthe (1875-1939).