Wolfgang Weider vokste opp i en katolsk familie i Berlin-Karlshorst. Han hadde en biologisk bror; etter slutten av andre verdenskrig adopterte hans foreldrene en krigsforeldreløs. Fra 1939 gikk Weider i fire år på barneskole. Under krigen ble han evakuert til Zittau i 1943, hvor hans besteforeldre og tante bodde. Han gikk på gymnasiet der.