In augustus 1991 verliet De Visser teleurgesteld de landelijke politiek, nadat bleek dat zijn partij de WAO-plannen van het kabinet zou gaan steunen. De Visser, een overtuigd atoompacifist, had kort daarvoor ook bij het besluit om eventueel Nederlandse militairen naar de oorlog in Irak te zenden al een ander standpunt ingenomen dan de rest van zijn fractie. In 1994 deed hij een vergeefse poging om op een verkiesbare plek op de lijst van GroenLinks te komen.