Największy sukces w karierze Ab Geldermans osiągnął w 1957 roku, kiedy zdobył brązowy medal w indywidualnym wyścigu na dochodzenie amatorów podczas torowych mistrzostw świata w Liège. W zawodach tych wyprzedzili go jedynie jego dwa Włosi Carlo Simonigh oraz Franco Gandini. Był to jedyny, medal wywalczony przez Geldermansa na międzynarodowej imprezie tej rangi. Holender startował również na szosie, zdobywając między innymi trzy medale szosowych mistrzostw kraju oraz wygrywając Deutschland Tour i Liège-Bastogne-Liège w 1960 roku i Cztery Dni Dunkierki w 1961 roku. Ponadto w 1962 roku zajął piąte miejsce ew klasyfikacji generalnej Tour de France, a Vuelta a España w tym samym oku zakończył na dziesiątej pozycji. Nigdy nie wystąpił na igrzyskach olimpijskich.