I mars 2001 valgte PvdAs landsmøte Koole til ny partileder. Han passerte da kandidaten som partiets ledelse hadde foreslått, Tweede Kamer-medlemmet Sharon Dijksma. To andre kandidater hadde trukket seg fra valget, for å styrke hans kandidatur, spaltisten Bart Tromp og lederen for PvdA i Amsterdam, Bouwe Olij. Koole etterfulgte Marijke van Hees, som trakk seg etter en intern konflikt. Koole fortsatte ved universitetet i en sterkt redusert stilling, han underviste et fag per år, et valgfag for tredjeårs-studenter innen lokalpolitikk.