På Jamaica High School i Queens, New York, var Diffie en fattig student som til slutt fikk en ikke-akademisk «local diploma»; men han sikret seg likevel opptak til den prestisjetunge Massachusetts Institute of Technology (MIT) på grunnlag av ekstremt gode resultater på standardiserte tester. Mens han tok en Bachelor of Science-grad i matematikk i 1965, forble han uengasjert og han vurderte å la seg overføre til University of California, Berkeley (som han oppfattet som et mer gjestfritt akademisk miljø). I et forsøk på å utvikle en praktisk ferdighet startet han å programmere datamaskiner. Men han så på seg selv som en ren matematiker, og var blant annet veldig interessert i partielle differensialligninger og topologi og lignende.