Diffie identifiserer seg selv som en «iconoclast». Han har uttalt at han alltid var opptatt av individer og folks privatliv, i motsetning hemmelighold fra staten.