Allerede i 2003 verserte rykter om at Kennedy hadde dårlig helse og det har også eksistert rykter om at han hadde problemer med alkoholisme. Etter flere alkoholrelaterte hendelser som ble fanget opp av britiske medier, ble Kennedy tvunget til å i starten av 2006 bekrefte at han sliter med problemer med alkoholisme. Han sa at det var opp til hans parti å eventuelt bytte ham ut som partileder, men at han gjerne ville fortsette. Etter noen dager, hvor han også kom med noen uheldige uttalelser vedrørende Israels statsministers (Ariel Sharon) alvorlige sykdomssituasjon, meddelte han 7. januar 2006 at han gikk av som partileder.