I 1866 giftet han seg med Clara Johanne Landstad, datter av presten og salmedikteren Magnus Brostrup Landstad. Hun døde året etter, etter å ha født deres eneste barn, Clarus Magnus Brostrup Müller, som ble distriktslege på Melhus. Han giftet seg på nytt i 1872 med Methea Herlofine Herlofsen, som kom fra en kjøpmannsfamilie i Kristiansund. De fikk seks barn, blant dem Brostrup Marius og Oluf Müller, som drev handel og industri i Kristiansund, og Fredrik Johan Müller, som ble prest og hovedlærer ved Indremisjonsselskapets bibelskole, og flere døtre som ble gift med prester.