Han var sønn av ordfører Martin Daniel Müller og Petra Rygh, sønnesønn av ordfører Eliseus Müller d.e. og dattersønn av stortingsmann Peder Strand Rygh; derved også søstersønn av Evald Rygh, Karl Ditlev Rygh og Oluf Rygh. Han utga i 1965 minneskriftet om morens familie. Han var gift med sin tremenning Kristiane Wold, datter av lensmann John Wold og Didrikke Rygh i Åsen, og søster til ordfører John Wold. I den trønderske Müller-slekten var det også flere politisk interesserte; syndikalisten Ellisif Wessel (født Müller) var hans kusine, og stortingsmann Oluf Müller fra Kristiansund var hans firmenning.