Wittes familie var på farssiden russifiserte baltertyske lutheranere (opprinnelig en nederlandsk slekt), mens morens side stammet fra den russiske adelen. Wittes morfar var Andrej Mikhailovitsj Fadejev, guvernør for Saratov og medlem i det kaukasiske riksråd. Hans mormor var fyrstinne Helene Dolgoruki. Helena Blavatskij var hans niese. Faren het Julius Witte og moren Katerina Fadejev.