Holst giftet seg i 1919 med Elsbetha Theiste (1896–1958). De fikk tre barn, hvorav datteren Else ble mor til fiolinisten Stephan Barratt-Due (født 1956). Peter Midelfart Holst døde i 1961, 68 år gammel.