Thorwaldsson er sønn til en glassblåser og vokste opp i industrisamfunnet Kosta, i en del av Småland hvor det finnes mange glassverk. Han ble medlem av SSU, den sosialdemokratiske ungdomsorganisasjonen og ble valgt til leder, en posisjon han hadde 1990-1995.