Slovo var født i Obeliai i Litauen i en jødisk familie som utvandret til Sør-Afrika da han var åtte år gammel. Hans far arbeidet som lastebilsjåfør i Johannesburg. Han sluttet på skolen i 1941 og begynte å arbeide som funksjonær i transportbransjen hvor han ble fagorganisert, og som tillitsvalgt var han med på å organisere en streik. Han meldte seg inn i kommunistpartiet i 1942. Inspirert av Den røde armé og dens kamp mot nazistene på østfronten under andre verdenskrig meldte Slovo seg som frivillig til de sørafrikanske styrkene som kjempet sammen med den britiske hæren i krigen.