Griswold estuvo casado en tres ocasiones: su primera esposa murió joven, su segundo matrimonio terminó en un controvertido divorcio, y su tercera esposa le dejó después de que el divorcio anterior fuese revocado.