Han var sønn av rittmester og proprietær Eliseus Müller d.e. (1796–1891); Verdals første ordfører. Martin giftet seg i 1874 med Petra Rygh; hun var datter av lensmann og stortingsmann Peder Strand Rygh og hustru Marie Bentsen og søster av Evald, Karl Ditlev og Oluf Rygh, og arbeidet ved folkebiblioteket før hun giftet seg. Martin og Petra fikk seks barn; blant dem Eliseus Müller, som ble ordfører i Verdal og stortingsmann.