Griswold nació el 13 de febrero de 1812, en Vermont, cerca de Rutland, y se crio como calvinista estricto en la aldea de Benson.