Fue un granjero de Virginia que participó en la Intervención estadounidense en México. En 1861 llegó a ser comandante en el Regimiento 27 de Virginia de la Brigada Stonewall. Ese mismo año fue ascendido a teniente coronel y a coronel en 1862. Gribsy estuvo a bajo las órdenes de Thomas Jonathan Jackson en la Campaña del Valle de Shenandoah, en las Batallas de los Siete Días y en la Segunda batalla de Bull Run. Lideró la Brigada Stonewall en la Batalla de Antietam y durante la batalla se convirtió en el comandante de la División de Jackson. Sin embargo, Jackson decidió no ascenderle de forma permanente a comandante de brigada y renunció a su puesto de coronel. Una teoría de por qué Grigsby no fue ascendido es que fue debido a su lenguaje grosero.