Han hadde en målgivende pasning på Daniel Sturridge sitt seiersmål i 1-0 seieren over Manchester United på Anfield 1. september 2013. Agger opplevde trass i Liverpools suksess sesongen 2013-14 at hans egen spilletid ble redusert da Mamadou Sakho ble foretrukket som midtstopper av Brendan Rodgers. På nyttårsdag 2014 fikk Agger sitt første mål for sesongen da han headed inn en corner fra Philippe Coutinho til en 2-0 seier over Hull. I resten av sesongen spilte imidlertid Agger andrefiolin for Sakho som ble Skrtels nye foretrukne partner i midtforsvaret. Spekulasjoner over danskens fremtid begynte å dukke opp, men han kom tilbake på laget den 11. mai 2014 i Liverpools siste seriekamp hjemme mot Newcastle. Med «the Reds» under 0-1 skåret Agger utligningsmålet med en heading på et frispark fra Gerrard.