Kimball asistió a la escuela desde los cinco años de edad (en 1806). Su padre sufrió la pérdida de sus inversiones debido al embargo que precedió la guerra de 1812, por lo cual su familia dejó Vermont y se trasladó al oeste, eventualmente estableciéndose en West Bloomfield (Nueva York), Ontario County, Nueva York, alrededor de 1811.