Adee var ugift og barnløs. Han var velkjent for sine årlige sommerlige sykkelturer gjennom Europa, som han fortsatte med frem til utbruddet av første verdenskrig, da han vanligvis var ledsaget av Alexander Montgomery Thackara, USAs konsul i Berlin og senere Paris, og hans kone Eleanor, datter av general William Tecumseh Sherman.