Hermansson kom fra jevne arbeiderkår i Norrbotten, og tok juseksamen ved Stockholms universitet i 1943. Han tjenestegjorde i de følgende 17 årene som dommer ved ulike rettsinstanser, blant annet Svea hovrätt i Stockholm. I 1960 ble Hermansson konsultativ statsråd med særlig ansvar for juridiske spørsmål, en post han innehadde i seks år inntil han ble administrerende direktør i Systembolaget.