I 1851 giftet han seg med Arnoldine von Westen Sylow Kjeldsberg (1824–98) som var enke etter hans bror Nicolai Reinholt Müller (1812-1848). Arnoldine fra Kristiansund var søster til Rasmus Kjeldsberg (1828–97) som i 1856 etablerte kaffehuset Kjeldsberg i Trondheim.