Cu câteva zile înainte de începerea sezonului de Premier League, Todorov s-a accidentat grav, suferind o ruptură de ligament încrucișat anterior la genunchi în urma unor accidentări suferite la antrenamente. Această accidentare a necesitat o intervenție chirurgicală la genunchi și se aștepta să piardă tot restul sezonului 2003-2004. El a revenit în februarie 2004, jucând pentru echipa de rezerve a lui Portsmouth și a revenit la prima echipă într-un meci cu Liverpool. El a jucat un singur meci pentru Portsmouth în Premiership în timpul sezonului 2003-2004 și a necesitat o nouă intervenție chirurgicală la genunchi în mai 2004, din cauza căreia a ratat Campionatul European din 2004 și întregul sezon 2004-2005. El a semnat un nou contract în august 2005 și, după ce a jucat foarte puțin în ultimele două sezoane, a fost oferit drept împrumut pentru a-și recăpăta forma fizică. În cele din urmă, el a rămas la Portsmouth și a fost folosit în principal ca rezervă în sezonul 2005-2006. El a marcat golul victoriei împotriva lui West Bromwich Albion în al doilea meci al lui Harry Redknapp de la revenirea la Portsmouth, în decembrie 2005 și a marcat goluri cruciale împotriva lui West Ham, Blackburn Rovers și Sunderland, care au ajutat-o pe Portsmouth să evite retrogradarea.