Peter M. Holst var sønn av Anna Midelfart (1862–1923) og Axel Holst (1860–1931). Moren var av slekten Midelfart. Faren var fra den kjente legefamilien Holst og ble medisinprofessor, mest kjent for sin behandling av skjørbuk sammen med Valentin Fürst. Farens farfar var medisinprofessor Frederik Holst (1791–1871) og i 1817 den første som fikk utdelt norsk doktorgrad. Farens søster Clara Holst (1868–1935) ble i 1903 den første kvinne med norsk doktorgrad.