Als 19-Jähriger gewann Ab Geldermans 1954 sein erstes Straßenrennen im Amateurlager, 1957 folgten drei Siege und der zweite Platz bei der niederländischen Meisterschaft im 4000-Meter-Verfolgungsfahren. Kurz darauf errang Geldermans seinen größten Erfolg als Amateur, als er Dritter in der Einerverfolgung bei den Bahnweltmeisterschaften in Rocourt wurde. 1958 gewann er eine Etappe der Polen-Rundfahrt und belegte den siebten Rang in der Gesamtwertung. Im Jahr darauf siegte er bei drei Straßenrennen der Amateure und einmal als Unabhängiger (Indes et Pros). Nachdem er das schwerste Etappenrennen der Amateure, die Internationale Friedensfahrt 1959 Berlin-Prag-Warschau als Gesamtvierter beendet hatte, (zweiter Platz im Einzelzeitfahren) wurde er Berufsfahrer.