I 1988 ble Peretz innvalgt til Knesset, det israelske parlamentet. I 1994, etter å ha mislyktes i å overta lederskapet i Histadrut, valgte Peretz å slå seg sammen med Haim Ramon for å forsøke å oppnå kontroll over den dengang så mektige fagforeningsunionen. De stilte på en uavhengig liste mot favoritten til arbeiderpartilederen Yitzhak Rabin. De vant, og Peretz ble Ramons høyre hånd i Histadrut. Dette isolerte Peretz i arbeiderpartiet. Han ble leder for Histadrut i desember 1995, da Ramon kom inn i parlamentet etter drapet på Rabin. I løpet av sine første år her ble Peretz regnet som en militant leder, med en løs hånd på avtrekkeren når det gjaldt streiker. I løpet av disse årene led Israels økonomi av mange streiker. Av og til var foranledningen for en streik simpelthen en uheldig uttalelse fra finansministeren (som med Yaakov Neeman i 1996). Senere har Peretz blitt mer moderat, og noen hevder dette skyldes at han ønsker å stille sterkere ved et senere presidentvalg. Da Benjamin Netanyahu satt som finansminister var han relativt samarbeidsvillig med myndighetene, og bidro til flere strukturelle og økonomiske reformer, noe som har sørget for en mer markedsorientert økonomi i Israel. Han har uttalt at "den mest effektive streiken er den som aldri fant sted".