Alvey Augustus Adee var den yngste av fem barn til marinelegen Augustus Alvey Adee og hans frue Amelia Kinnaird Graham Adee.