Sotilaana Kimball palveli ensin Yhdysvaltain-Meksikon sodassa kapteenina ja myöhemmin Pohjoisvaltioiden kenraalina Yhdysvaltain sisällissodassa. Kimball toimi sisällissodan alussa Indianan 14. rykmentiä komentavana everstinä, mutta sai ylennyksen prikaatikenraaliksi ensimmäisen Kernstownin taistelun jälkeen keväällä 1862. Taistelussa Kimball toimi divisioonansa komentajana oikean komentajan James Shieldsin haavoittumisen jälkeen ja torjui onnistuneesti Stonewall Jacksonin hyökkäyksen. Sodan lopulla Kimball sai vielä brevet-ylennyksen kenraalimajuriksi.