Han var sønn av sogneprest Fredrik Müller og Signe Alfhild Kjelstrup. Oluf Müller, stortingsmann for Kristiansund, var hans farbror.