Ledley sloot zich op 9-jarige leeftijd aan bij Cardiff City. Op 21 september 2004 maakte hij zijn profdebuut in de League Cup tegen Milton Keynes Dons. Op 16 oktober 2004 maakte hij zijn competitiedebuut tegen Rotherham United. In zes seizoenen speelde Ledley 226 competitiewedstrijden voor de club uit zijn geboortestad, waarin hij in totaal 26 keer tot scoren kwam. Met Cardiff stond hij op 17 mei 2008 in de finale van de strijd om de FA Cup. Daarin verloor de ploeg van trainer-coach Dave Jones met 1–0 van Portsmouth door een goal in de 37ste minuut van de Nigeriaanse aanvaller Nwankwo Kanu.