Ludvig giftet seg i 1895 med Signe Grieg (1868–1960) som var datter av konsul John Grieg (1840–1901) og således niesen til Edvard Grieg. De fikk to barn. Sønnen John Grieg Müller (1898–1938) skrev skuespill, mens datteren Else Ulrikke Ludvigsdatter Grieg Müller (1900–76) var skuespiller og i sitt andre ekteskap fra 1933, gift med Erik Kristen-Johanssen (1901–76) som var økonomisk direktør og teatersjef ved Nationaltheatret.