Chester Arthur var det femte av åtte barn til baptistpredikanten og den overbeviste abolisjonisten William Arthur (1796–1875) og hans hustru Malvina Stone (1802–1869). Han hadde seks søstre og en storebror. Faren fikk hyppig nye tjenester i delstatene New York og Vermont. Skolegangen fikk gutten i Greenwich i Washington County. Familien flyttet frem til Arthurs 14. leveår i alt seks ganger, men trass i dette fikk han en god skolegang.