Tres años después Gorostiaga sería uno de los fundadores de una amplia coalición opositora llamada Unión Cívica, junto a Mitre, Leandro Alem y los líderes católicos José Manuel Estrada y Pedro Goyena, que organizó la sangrienta insurrección popular armada conocida como Revolución del 90, que aunque derrotada militarmente causó la caída del presidente.