Han var gift i første ekteskap med en søster av naturforskeren J.G.R. Andreae og i andre ekteskap med Friederike Sophie Seyler, samtidens mest anerkjente skuespillerinne i Europa. Friederike Sophie Seyler var også kjent for sitt syngespill (eller ), som ble satt opp av Emanuel Schikaneders teater og etablerte deres tradisjon for eventyroperaer, og som også var en av inspirasjonene for . Seyler ble frimurer i London i 1753 og spilte en tidvis viktig rolle i tysk frimureri til sin død. Abel Seyler var far til bankieren L.E. Seyler og svigerfar til Sturm und Drang-dikteren Johann Anton Leisewitz. Han levde de siste årene i Rellingen i Hertugdømmet Holstein (en del av Danmark-Norge) som gjest på godset til sin frimurerbror og mangeårige venn, skuespilleren Friedrich Ludwig Schröder, der han døde og der han er begravet.