Han var sønn av statsminister Hermann Jónasson. Da han vokste opp, var Island preget av Den store depresjonen, og som ungdom hørte han ofte på når faren diskuterte andre verdenskrig hjemme i stua. Han ville ikke inn i politikken, men dro til USA for å studere i 1948. Hermannsson utdannet seg til ingeniør i Chicago, og på Caltech og ble direktør for Islands forskningsråd i 1957. Men i 1960-årene gikk han likevel inn i politikken og ble valgt til Alltinget i 1971, før han ble partileder i 1979.