Van der Sar begyndte sin karriere i sin hjembys klub Foreholte og senere vv Noordwijk. I en relativ sen alder kom han i kontakt med Louis van Gaal, og efterfølgende underskrev han for Ajax. Han fik en lang og succesfuld periode på deres seniorhold, da de vandt UEFA Cup 1991-92 og UEFA Champions League 1994-95, og så modtog han Den Bedste Europæiske Målmand-pris i 1995. Han stod på mål for Ajax i UEFA Champions League finalen 1996, men blev nødt til at nøjes med en andenplads, da de tabte straffesparkkonkurrencen mod Juventus. Han spillede i alt 226 kampe for Ajax og scorede ét straffespark for Ajax til at afslutte 9–1-sejren over De Graafschap i 1997–98 sæsonen.