I 1907 hadde Munthe giftet seg på nytt, med Hilda Pennington Mellor, en engelsk adelsdame som var 25 år yngre enn han selv, og gav henne som morgengave en storslått herregårdsbygning i Leksand som var tegnet av Torben Grut. Ekteskapet ble imidlertid ikke lykkelig. Ektefellene ble separert i 1919 men ble ikke formelt skilt. De fikk sønnene Viking (kalt Peter) Munthe og Grane Munthe. Etter Hildas død fikk herregården i Leksand navnet Hildasholm.