Guillermo I de Escocia
Miller nació en Quincy, Condado de Norfolk, Massachusetts, en 1933, el hijo de Ellis Warren Appleton Miller (1898 – 1986), un contable y vendedor descendiente de varios pasajeros del barco Mayflower; y Sophia "Sophie" June Squarebriggs (1899–1998), una institutriz canadiense. Entre sus ancestros se encuentra la elite colonial norteamericana-británica y debido a esto, desciende de los reyes Enrique I de Inglaterra, Luis IV de Francia, y Guillermo I de Escocia.