W czasie inwazji niemieckiej na Polskę w 1939 roku w okolicach Mławy rozegrała się trwająca 4 dni bitwa, zwana bitwą pod Mławą. W wyniku walk zginęło około 1200 żołnierzy polskich oraz 1800 niemieckich. Żołnierze niemieccy zostali pochowani na trzech cmentarzach zbiorowych. Jednym z nich został umiejscowiony w bezpośrednim sąsiedztwie cmentarza z I wojny światowej. W latach 1940–1944 cmentarz był budowany oraz utrzymywany przez polskich więźniów obozów hitlerowskich w Iłowie i Mławce. Do 1945 roku zostało pochowanych na nim 1547 żołnierzy niemieckich.