Pierwsze sukcesy w karierze Ercole Baldini osiągnął w 1956 roku, kiedy zdobył dwa tytuły na międzynarodowych imprezach. Najpierw zwyciężył w indywidualnym wyścigu na dochodzenie amatorów podczas torowych mistrzostw świata w Kopenhadze. Parę miesięcy później Baldini wygrał szosowy wyścig ze startu wspólnego na igrzyskach olimpijskich w Melbourne. Na tych samych igrzyskach drużynowo Włosi z Baldinim w składzie zajęli czwarte miejsce, przegrywając walkę o podium z Niemcami. Dwa lata później wystartował na szosowych mistrzostwach świata w Reims, gdzie również był najlepszy w wyścigu ze startu wspólnego. Ponadto zdobył jeszcze dwa brązowe medale w indywidualnym wyścigu na dochodzenie amatorów: na mistrzostwach świata w Lipsku (1960) oraz na mistrzostwach w Paryżu (1964). W latach 1957–1964 startował wśród zawodowców, a w 1958 roku zwyciężył w klasyfikacji generalnej Giro d’Italia.