White se maria deux fois. Il épousa d’abord, en , Mary Amanda Outwater (1836–1887), fille de Peter Outwater et de Lucia M. Phillips, originaires de Syracuse. La grand-mère de Mary, Amanda Danforth, fille d’Asa Danforth Jr., et femme d’Elijah Phillips Jr., fut le premier enfant blanc né dans ce qui allait devenir le comté d'Onondaga ; parmi ses bisaïeuls figure le général Asa Danforth, colon précocement établi dans l’intérieur de l’État de New York ("Upstate New York") et chef de la milice de l’État, et Elijah Philips Sr., qui en 1775 accourut à l’alarme de Lexington, dans le Massachusetts, et servit plus tard comme "Haut Sheriff" dans le comté d’Onondaga. Andrew et Mary Dickson White eurent ensemble trois enfants : Frederick Davies White, qui se suicida en 1901 à la suite d’une longue série de maladies, pendant que son père se trouvait en Allemagne ; Clara (White) Newbury, qui mourut avant son père ; et Ruth (White) Ferry. Après le décès de son épouse en 1887, White entama une tournée de conférences et voyagea en Europe avec son proche ami, Daniel Willard Fiske, bibliothécaire à l’université Cornell.