Durante la batalla de Wilderness, los soldados de Mahone hirieron accidentalmente a James Longstreet. Richard Anderson fue designado para el mando del cuerpo, y Mahone obtuvo el mando de la división de Anderson, que dirigió durante el resto de la guerra, a partir de la batalla de Spotsylvania Court House. Llegó a ser ampliamente considerado como el héroe de la Batalla del Cráter el 30 de julio de 1864. Los mineros del ejército de la Unión hicieron un túnel bajo la línea confederada y lo volaron en una explosión masiva, matando e hiriendo a numerosos confederados y abriendo una brecha en un punto clave de la línea de defensa alrededor de Petersburg. Pero Mahone reunió a las fuerzas confederadas restantes en las cercanías, repeliendo el ataque, y la Unión perdió su ventaja inicial. Habiendo comenzado como una táctica innovadora, la Batalla del Cráter se convirtió en una terrible pérdida para los líderes de la Unión. La rápida y eficaz acción dirigida por Mahone fue un raro motivo de celebración por parte de los ocupantes de Petersburg, tanto los asediados ciudadanos como las cansadas tropas. El 30 de julio fue ascendido a general de división.