Su padre, Charles Doolittle, era profesor de astronomía en la Universidad de Lehigh, y su madre, Hellen Wolle, era practicante en la Hermandad de Moravia y sentía un fuerte interés por la música.