I juli 2004 ble han forfremmet til førstelaget etter at svenske Andreas Jakobsson forlot laget. Agger etablerte seg raskt som fast på laget, men også som en av nøkkelspillerne som var med på å vinne den danske Superligaen i 2004-05-sesongen. Etter første halvdel av sesongen fikk Agger utmerkelsen "Årets talent" i 2004.