Su padre era matemático y Babbitt entró en 1931 en la Universidad de Pensilvania con la intención de estudiar matemáticas.