Apja, Ludwigh János kormánybiztos volt az 1848-49-es magyar szabadságharc idején, a fiatal Ludwigh Elek hadnagyként vett részt számos csatában. A világosi fegyverletétel után apjával együtt bujdosni kénytelen, végül Brüsszelben telepedtek le, s ott csipkekereskedést nyitottak. Kereskedésük annyira jól jövedelmezett, hogy Ludwigh János elküldte fiát New Yorkba, hogy ott egy fióküzletet nyisson. A New York-i fiók is jól jövedelmezett Ludwigh Elek vezetése alatt, közben ő a jólétben sem nem fordult el honfitársaitól, tartotta a kapcsolatot a New York-i emigráns magyarokkal.