Foreldrene ble skilt før han var født og moren giftet seg med Mieczysław Broński, Sovjetunionens ambassadør til Østerrike. Etter Hitlers maktovertagelse i 1933 ble Wolfgang sendt på kostskole i Sverige. I 1935 flyttet han med moren til Moskva fordi de ikke kunne vende tilbake til Tyskland der morens antifascistiske gruppe ble forfulgt. Ved Stalins terror ble hun i 1936 internert i Vorkuta-gulaget. Bronski ble også internert og døde i fengsel i 1941 eller henrettet i 1938. Leonhard og Wolf gikk på samme gymnas i Moskva.