Goltz var gift med norskfødte Astrid Hjort, søster av den norsk advokaten Johan Bernhard Hjort. Hans bror, Georg Conrad von der Goltz var gift med den andre søsteren. Sommeren 1937 besøkte Heinrich Himmler juristen Rüdiger von der Goltz for å treffe hans svoger Johan Bernhard Hjort og bli orientert om den nasjonalsosialistiske bevegelsen i Norge. Himmler hadde blitt kjent med von der Goltz og hans kone under riksbondedagene i Goslar i 1935.