Han var sønn av forfatteren Amalie Skram (1846–1905) i hennes første ekteskap, det med den bergenske skipsfører Bernt Ulrik August Müller (1837–98). Ludvigs bror var Jacob Worm Müller (1866–1911), journalist og forfatter, gift med skuespilleren Emmy Worm-Müller (1875–1950).