Under andre verdenskrig tjenestegjorde Rußwurm i flere kommandoer og hadde en imponerende militærkarriere. Han var involvert i kamper på Østfronten og senere i Norge. Han ble forfremmet flere ganger og hadde forskjellige kommandoposisjoner, inkludert som kommandør for 403. Sicherungs-Division og senere som kommandør for 274. Infanterie-Division. Hans tjeneste fortsatte helt til krigens slutt.