J.B.M. Hertzog is tydens die Tweede Boereoorlog (1899–1902) van kommandant tot generaal in rang bevorder. As generaal het hy saam met 'n groep Boeresoldate met sukses die Kaapkolonie binne gegaan. Hy het die onderbevelvoerder van die leër van die Oranje-Vrystaat geword. Hy was gelief onder sy manskappe en 'n voorstander van guerrilla-aksies teen die Engelse. Hy was aanvanklik 'n voorstander van die voortgesette stryd tot die bitter einde, maar het later tot insig gekom dat verdere bloedvergieting sinneloos was en op 31 Mei 1902 was hy één van die ondertekenaars van die Vrede van Vereeniging.