Han var sønn av Edward White Benson, som ble erkebiskop av Canterbury i 1883, og bror til Edward Frederic Benson og Robert Hugh Benson. En onkel var filosofen Henry Sidgwick. Familien Benson var usedvanlig velutdannet og evnerik, men det var også tragedie i dens historie: En sønn og en datter døde unge, datteren Margaret Benson led − som Arthur selv − tungt under en psykisk lidelse. Sannsynligvis var flere av dem manisk-depressive (bipolar lidelse), noe de kan ha arvet fra faren. Ingen av barna giftet seg.