Kjeldbjerg, een centrale verdediger, kwam in Denemarken uit voor Holstebro BK, Viborg FF en Silkeborg IF. In 1993 tekende hij een contract bij de toenmalige middenmoter Chelsea, uitkomend in een Premier League die nog in de kinderschoenen stond. Hij speelde 52 duels in de Premier League en scoorde twee doelpunten. In 1994 verloor Kjeldbjerg met Chelsea de finale van de FA Cup tegen Manchester United. Hij speelde de volledige wedstrijd als centrale verdediger. In 1995 ontwrichtte Kjeldbjerg zijn schouder tegen Millwall in de FA Cup, voor de Deen de eerste van een resem blessures die zijn carrière zouden verkorten. Een basisplaats veroveren was hem bovendien niet gelukt. Een knieblessure betekende voortijdig het einde van zijn professionele loopbaan. Hij stopte definitief met voetballen als Chelsea-speler op 29-jarige leeftijd.