Andersson ble født på Södermalm i Stockholm, men vokste opp i Enskede. Etter grunnskole i Skarpnäck gikk han på gymnaset ved Statens aftonskola i Kungsholmens høyere allmenne undervinsingsinstitusjon. Etter å ha fullført gymnaset i april 1944 ble han innrullert i Svea livgarde. Han ble med i Sveriges socialdemokratiska ungdomsförbund (SSU) i 1942 og ble leder i den lokale SSU-klubben «Frihet». Andersson begynte også å studere ved Stockholms högskola men avla aldri pol mag-examen.