Największy sukces w karierze Gustaaf Hermans osiągnął w 1971 roku, kiedy wspólnie z Gustaafem Van Cauterem, Louisem Verreydtem i Ludo Van Der Lindenem zdobył złoty medal w drużynowej jeździe na czas na szosowy mistrzostwach świata w Mendrisio. Był to jednak jedyny medal wywalczony przez niego na międzynarodowej imprezie tej rangi. Na tych samych mistrzostwach zajął też 58. miejsce w wyścigu ze startu wspólnego amatorów. W 1972 roku wystartował na igrzyskach olimpijskich w Monachium, gdzie był czwarty w drużynowej jeździe na czas, a wyścig ze startu wspólnego zajął 45. miejsce. Ponadto w 1971 roku był drugi w luksemburskim Flèche du Sud, a rok później wygrał belgijski Flèche Ardennaise. Startował także w kolarstwie przełajowym, ale bez większych sukcesów.