Sherman ble født i Hackney i London av jødiske innvandrere fra Russland, Jacob Vladimir og Eva Sherman. Hans første år var tilbrakt i ytterste fattigdom. Han studerte vitenskap ved den polytekniske skole i Chelsea. Han ble medlem av det britiske kommunistpartiet som tenåring, hevdet senere at «som jøde i Storbritannias 1930-tall var å bli fremmedgjort. Verdens proletariat tilbød et hjem.» Han var frivillig i den spanske borgerkrigen i 1937–1938 til han ble tatt til fange som sendt til England. mellom 1939 og 1945 tjenestegjorde han i Midtøsten i den britiske administrasjon for Feltsikkerhet og okkupert fiendeområde, og etter krigen, sommeren 1948, ble han utvist av kommunistpartiet for titoistisk avvik, og tilbrakte deretter en tid i Jugoslavia som frivillig i ungdomsbrigaden. Her lærte han seg serbokroatisk flytende. Etter eksamen fra London School of Economics i 1950 ble korrespondent i Beograd for . Under et opphold i Israel på slutten av 1950-tallet ble han medlem av en økonomisk rådgivningsstab for den israelske regjering og fikk et nært forhold til David Ben-Gurion. I løpet av de neste 40 år skrev Sherman omfattende om politiske emner i mange britiske aviser.