Gundestrup ble gift første gang 13. juli 1895 på Juellinge med Gerda Haslund (født 12. oktober 1867 på Fjeldgaard, død 15. januar 1901 i København), datter av proprietær Harald Edouard Haslund og Ane Marie Amalie Christine Christensen. Hans andre ekteskap ble inngått 14. februar 1902 med Anna Elisabeth Selchau-Hansen (født 10. desember 1874 på Saltø, død 18. november 1959), datter af forpakter Lauritz S.-H. og Charlotte Engholm. Gundestrup er begravet på Frederiksberg Ældre Kirkegård.