I 821 giftet Lothar seg med Ermengarde (død 851), datter av grev Hugo av Tours. De fikk åtte barn sammen, hvor den eldste var Ludvig II (ca. 825–875), tysk-romersk keiser.