Noen ville nominere ham til president i 1996, men det takket han nei til, han ønsket å gå av da han var 70 og ikke sitte ut over det. Etter at Hermannsson trakk seg tilbake, holdt han til å begynne med en lav profil. Men etter hvert engasjerte han seg, blant annet mot EU og han ble økende kritisk til sitt gamle parti. Hermannsson støttet et miljøinitiativ som ble tatt foran valget i 2007, noe som førte til at han nesten mistet rollen som sitt partis .