Erki Pütsep devient coureur professionnel dans l'équipe AG2R Prévoyance en 2003, après y avoir été stagaire en fin d'année 2002. Il participe cette année-là à ses premiers championnats du monde sur route, à Hamilton au Canada. En 2004, il remporte le championnat d'Estonie sur route et la Classic Loire-Atlantique. Il prend part aux course en ligne des Jeux olympiques à Athènes (abandon), et des championnats du monde sur route à Vérone (). Il gagne le Tour de la Somme en 2005 et obtient un nouveau titre de champion d'Estonie en 2006. Cette année-là, il se classe huitième de la classique Gand-Wevelgem.