Fritz Weppers far, Friedrich Karl Wepper (født 1916), var jurist og ble meldt savnet som soldat i Polen i 1945. Hans mor var Wilhelmine Wepper (1919–2009). Hans lillebror Elmar Wepper (1944–2023) var skuespiller som ham, og synkronstemme. Begge tok de på Wittelsbacher-Gymnasium München.