Han steg raskt i gradene i partiet, og ble valgt inn i partiets ledergruppe, Politbyrået. Som følge av partilederen Mustafa Barzanis autoritære lederstil, så vel som politiske uenigheter, kom det til brudd mellom Barzani og politbyrået, som opprettet sine egne væpnede styrker (peshmerga). Politbyråets leder var Ibrahim Ahmad som seinere skulle bli Talabanis svigerfar. I 1966 kjempet politbyrået sammen med irakiske regeringsstyrker mot KDP.