Johan Ludwig Wegner, vanligvis kalt Ludwig eller J.L. Wegner, var sønn av godseier, verkseier, trelasthandler og generalkonsul Benjamin Wegner og Henriette Seyler, og ble født på Fossum hovedgård i Modum, der faren var administrerende direktør og medeier i Blaafarveværket. Han ble oppkalt etter morfaren, bankieren Ludwig E. Seyler i Hamburg. I 1836 kjøpte familien Frogner Hovedgård i Aker, der de bodde til 1849.