גרשם שירת בצבא האיחוד בשנים 1861–1865 במהלך מלחמת האזרחים. ב-18 בספטמבר 1861 הוצב גרשם כקצין בדרגת לוטננט קולונל ברגימנט הרגלים ה-38 של אינדיאנה. בדצמבר אותה שנה הוא קודם לדרגת קולונל והוצב לפקד על רגימנט הרגלים ה-53 של אינדיאנה. הרגימנט השתתף במערכה בטנסי בפיקודו של יוליסס סימפסון גרנט ב-1862, כולל המצור על קורינת' והמצור על ויקסבורג. במהלך המצור על ויקסבורג פיקד גרשם על בריגדה. באוגוסט 1863 הוא הועלה לדרגת בריגדיר גנרל והוצב לפקד על הכוחות הפדרליים בנאצ'ז, מיסיסיפי. ב-1864 הוא פיקד על דיוויזיה של הגיס ה-17 ב בפיקודו ויליאם שרמן, ולפני , ב-20 ביולי, הוא נפצע מירי בברכו ונאלץ לפרוש משירות פעיל. הפציעה הותירה אותו צולע לכל ימי חייו. ב-1865 הוא קיבל דרגת ייצוג של מייג'ור גנרל בכוחות המתנדבים.