Największy sukces w karierze Jean-Pierre Schmitz osiągnął w 1955 roku, kiedy zdobył srebrny medal w wyścigu ze startu wspólnego podczas mistrzostw świata we Frascati. W zawodach tych wyprzedził go jedynie Belg Stan Ockers, a trzecie miejsce zajął jego rodak, Germain Derycke. Był to jednak jedyny medal wywalczony przez niego na międzynarodowej imprezie tej rangi. W tej samej konkurencji zajął też 25. miejsce na mistrzostwach świata w Waregem w 1957 roku. Ponadto był między innymi drugi w Österreich-Rundfahrt w 1953 roku, pierwszy w Tour de Luxembourg i drugi w Critérium du Dauphiné w 1954 roku, pierwszy w Grand Prix du Midi Libre i trzeci w Critérium du Dauphiné w 1957 roku, a rok później ponownie zwyciężył w Tour de Luxembourg. Kilkakrotnie startował w Tour de France, najlepszy wynik osiągając w 1956 roku, kiedy wygrał jeden etap i zajął 36. miejsce w klasyfikacji generalnej. Cztery lata później wystartował w Vuelta a España, jednak nie ukończył rywalizacji. Nigdy nie wystąpił na igrzyskach olimpijskich. W 1961 roku zakończył karierę.