Han var sønn av Benedictus (Bendix) Ferdinand Scheel (1749–1827) og Martha Charlotte Elisabeth Wiebel (1760–1837). Faren var offiser, toller og kammerherre og blant annet av den dansk/tysk-norske slekten Scheel. Ludvig giftet seg i 1827 med Sarah Markoe (1806–76) som var datter av Peter Abraham Markoe og født på St. Croix der faren drev plantasje.