Gorostiaga era un abogado destacado cuando inició su carrera política, inmediatamente después de la caída de Juan Manuel de Rosas, siendo designado en 1852 ministro de Hacienda de la provincia de Buenos Aires por el gobernador Vicente López y Planes.