Abel Seyler vokste opp som prestesønn i Liestal like utenfor Basel i Sveits. Foreldrene var Abel Seyler den eldre (1684–1767), kalvinistisk prest, dr.theol. og sogneprest i Frenkendorf-Munzach i Liestal, og Anna Katharina Burckhardt (1694–1773), en slektning av orientalisten Johann Ludwig Burckhardt. Han tilhørte på begge foreldrenes sider noen av de mest kjente patrisierslektene fra Basel; morens familie var regnet som den mektigste familien i kantonen Basel på 16- og tidlig på 1700-tallet. Han var barnebarn av den kalvinistiske teologen Friedrich Seyler og Elisabeth Socin, som tilhørte en italiensk adelsslekt opprinnelig fra Toscana, og han stammet på morens side også fra slektene Merian og Faesch. Han var oppkalt etter sin oldefar Abel Socin (1632–1695), dommer i Basel og gesandt til det franske hoff. Han var også en matrilineær etterkommer av Justina Froben, datter av humanisten Johann Froben. Abel Seyler hadde en søster, Elisabeth Seyler (1715–1798), som var gift med presten Daniel Merian. Napoleons onkel, kardinal og prins av Frankrike Joseph Fesch, var en fjern slektning; han var etterkommer av en yngre bror av Abel Seylers mors oldefar Johann Jacob Faesch.