Selv om foreldrene tilhørte familier som var svært respektert i kantonen Basel, vokste Abel Seyler opp i nokså nøkterne forhold. Farens menighet var liten og sognekirken og presteboligen i dårlig forfatning. Faren lyktes heller ikke i sitt forsøk på å få kirken restaurert. Faren hadde som sogneprest ikke fast inntekt, men levde formodentlig av betalinger for kirkelige handlinger og gaver. Først da han tok avskjed i 1763 fikk faren en fast inntekt, en pensjon på 600 pund.