Pierwsze sukcesy w karierze Philippe Gaumont osiągnął w 1992 roku, kiedy zwyciężył w szosowym wyścigu Tour de la Somme, a wspólnie z Hervé Boussardem, Didierem Faivre-Pierretem i Jean-Louisem Harelem zdobył brązowy medal w drużynowej jeździe na czas na igrzyskach olimpijskich w Barcelonie. W kolejnych latach wygrywał wyścigi krajowe, między innymi Tour du Poitou-Charentes et de la Vienne (1994), Tour de Picardie (1996), La Côte Picarde (1996) i Quatre Jours de Dunkerque (1996). W 2000 roku wziął udział w torowych mistrzostwach świata w Manchesterze, gdzie wspólnie z Damienem Pommereau, Cyrilem Bosem i Jérôme’em Neuville’em wywalczył brązowy medal w drużynowym wyścigu na dochodzenie. W 2000 roku brał także udział w igrzyskach olimpijskich w Sydney, gdzie w indywidualnym wyścigu na dochodzenie rywalizację ukończył na piątej pozycji. Gaumont startował także w paru edycjach Tour de France, jednak w klasyfikacji generalnej nigdy nie znalazł się w czołowej setce.