Sir Bob Kerslake sa att en av svårigheterna var att "lättare" besparingar redan hade gjorts.
Han sade att "nödvändigheten" skulle minska och att behovet av nedskärningar skulle vara svårt att förklara för den offentliga sektorns personal.
Sir Bob avgick från sin roll den här månaden och ersattes av tidigare kabinettssekreterare Sir Jeremy Heywood.
Han sa att statsförvaltningen hade "excellerat" under sin tid som chef.
När han talade vid institutet för regeringens tankesmedja sade han att det var tydligt att "under vilken regering som helst står vi inför ytterligare fem års åtstramningar i den offentliga sektorns utgifter".
"De första fem åren har varit utmanande men de andra fem åren kommer sannolikt att visa sig ännu svårare av tre skäl", sade han.
– För det första har de enklare besparingarna redan gjorts.
– För det andra kommer vi sannolikt att göra det mot bakgrund av en växande ekonomi och ökad konkurrens om god personal.
"För det tredje kommer den känsla av brådska som låg till grund för det första sparprogrammet att minska.
"I verkligheten är uppgiften ännu inte fullbordad. Men detta kommer att bli svårt att förklara för dem i den offentliga sektorn, inklusive vår egen personal, som söker hjälp."
Sir Bob sade att statsförvaltningen hade "excellerat" i sin utmaning att "leverera stora programbesparingar samtidigt som den själv genomgår enorma förändringar och minskningar".
Rollerna som kabinettssekreterare och chef för statsförvaltningen delades upp i två jobb när Sir Gus O'Donnell gick i pension som båda 2012.
Sir Bob, som redan var ständig sekreterare vid ministeriet för kommuner och kommuner (DCLG), tog rollen som chef för statsförvaltningen vid den tidpunkten.
Han kommer att dra sig tillbaka från sin roll i början av nästa år.
Den avgående chefen för den offentliga förvaltningen har förutspått ytterligare fem års nedskärningar av den brittiska regeringens utgifter - och han sade att det skulle vara ännu svårare att göra nedskärningarna.