Karl Richard Lepsius giftet seg 5. juli 1846 med Elisabeth Klein (1828–1899), datter til komponisten Bernhard Klein. Paret fikk seks barn, deriblant geologen og rektoren til Technische Hochschule Darmstadt professor Richard Lepsius (1851–1915), kjemikeren og direktøren for den kjemiske fabrikken professor Bernhard Lepsius (1854–1934), portrettmaleren og medlemmet av kunstakademiet professor Reinhold Lepsius (1857–1929) samt den evangeliske teologen, orientalisten og humanisten Johannes Lepsius (1858–1926).