Han giftet seg i 1956 med husholdningslærer Anna Holm, som han fikk fem barn med, deriblant Anders og Mette. Ekteskapet ble oppløst i 1974, og Mette og to sønner ble boende hos ham i Horsens.