I august 1993 dro han fra Silkeborg IF til den engelske klubben Chelsea i en overgangsavtale verdt £485 000, og 80 år etter at Nils Middelboe hadde debutert for klubben i 1913 ble Kjeldberg den andre danske fotballspilleren i Chelsea. Han forble i klubben i fire år, og var blant annet en del av laget som tapte finalen i FA-cupen 1993/94 mot Manchester United. I en kamp mot Millwall i februar 1995 satte han skulderen ut av ledd, som ble den første i en lag rekke skader for Kjeldberg. Han skadet deretter ett leddbånd i kneet og fikk siden problemer med å komme tilbake i form, noe som gjorde at han la opp som fotballspiller i slutten av mai 1997 i en alder av 28 år.