Pierwszy sukces w karierze Philippe Ermenault odniósł w 1987 roku, kiedy zdobył brązowy medal szosowych mistrzostw Francji juniorów. Pięć lat później wziął udział w igrzyskach olimpijskich w Barcelonie, gdzie zajął piąte miejsce w indywidualnym wyścigu na dochodzenie, a drużynowo był jedenasty. Na mistrzostwach świata w Hamar w 1993 roku Ermenault zdobył indywidualnie srebrny medal - wyprzedził go jedynie Brytyjczyk Graeme Obree. Najlepsze wyniki Francuz osiągnął w 1996 roku: na igrzyskach w Atlancie wspólnie z Christophe'em Capelle'em, Jean-Michelem Moninem i Francisem Moreau zdobył złoty medal drużynowo, a w rywalizacji indywidualnej był drugi za Włochem Andreą Collinellim. W tym samym roku zdobył razem z Moninem, Moreau i Cyrilem Bosem srebrny medal na mistrzostwach świata w Manchesterze. Na rozgrywanych w 1997 roku mistrzostwach świata w Perth Francuzi w składzie Franck Perque, Jérôme Neuville, Philippe Ermenault i Carlos Da Cruz zdobyli brązowy medal, a w rywalizacji indywidualnej Ermenault był najlepszy. Tytuł wywalczony w Perth zdołał obronić podczas mistrzostw świata w Bordeaux w 1998 roku, a rok później, na mistrzostwach świata w Berlinie razem z Bosem, Moreau i Neuville'em zajął drugie miejsce w drużynie. W tym samym składzie Francuzi zajęli czwarte miejsce na igrzyskach olimpijskich w Sydney w 2000 roku, przegrywając walkę o brąz z Brytyjczykami.