Griswold se casó con Charlotte Myers, una mujer judía, el 20 de agosto de 1845; ella tenía cuarenta y dos años, él treinta y tres.