Diffie ble født i Washington, D.C., som sønn av Justine Louise (Whitfield), en forfatter og forsker, og Bailey Wallys Diffie, som var professor innen Iberiske historie og kultur på City College of New York.