Por parte materna, su abuelo fue Tom Arnold, la madre de Aldous, Julia Arnold, una de las primeras mujeres que estudiaron en Oxford, era sobrina del poeta Matthew Arnold y de su hermana, la novelista Humphrey Ward, la protectora de Aldous cuando, al cumplir este catorce años, falleció su madre debido a un tumor.