Agger spilte mot Arsenal den 15. august 2010, men fikk en hjernerystelse i 2. omgang av kampen. Etter dette måtte dansken stå over flere av de neste kampene. Han hadde også andre skader som sammen holdt ham utenfor frem til desember samme år. Martin Škrtel ble foretrukket fremfor Agger i tiden til Roy Hodgson, og han truet med å slutte i klubben og dra til Juventus siden de hadde uttrykt interesse for ham. Etter at Hodgson fikk sparken ble han igjen førstevalget i de fleste kampene under Kenny Dalglish, inklusive kampen mot Chelsea den 6. februar 2011, som Liverpool vant 1–0, og som også var første møtet med tidligere Liverpool-spiller Fernando Torres i Chelsea-drakt. Agger fikk en kneskade i kampen mot West Bromwich den 2. mars 2011. Da sesongen 2010-11 var over, hadde Agger kun 21 kamper for «the Reds» totalt for alle turneringer.