I mars 1911 i Danzig møtte han den da 17 år gamle polsk-italiensk-ættede Lucia Maria Mollin («Lucie»), som han giftet seg med i 1916. Rommel hadde tidligere truffet den 20-årige fruktselgeren Walburga Stemmer, som han i 1913 fikk datteren Gertrud med. Dette barnet utenfor ekteskap var lenge en vel bevoktet hemmelighet, og ble senere, under det tredje rike, omtalt som hans niese.