Fry ble født som Arthur Hammond Harris i Bristol. Han var sønn av Charles John Harris, en byggmester som pensjonerte seg tidlig for å arbeide fulltid som lisensiert lekmann som leser bibeltekster i Den engelske kirke, og hans hustru Emma Marguerite Hammond (Fry). Mens han fortsatt var ung tok hans morens pikenavn ettersom han på svært spinkelt grunnlag trodde han at hun var beslektet med kvekeren og fengselsreformatoren Elizabeth Fry fra 1800-tallet. Han tok også Elizabeth Frys tro og ble kveker.