Friherren av Fürstenberg var sønn av en kongelig bayersk kammerherre, og gikk på gymnasiet i Landshut før han begynte å studere filosofi og statsvitenskap. I 1936 tok han doktorgraden (dr. phil.), og mellom 1937 og 1939 arbeidet han for Deutsche Bank- und Diskontgesellschaft Istanbul, før han ble utskrevet til krigstjeneste.