Han ble født på Loppa prestegård, der faren Brostrup Müller var sogneprest. Moren var Marie Dorothea (født Calmeyer), som kom fra en embedsmannsslekt. Da faren fikk et prestekall på Tynset i 1847, ble gutten sendt til Trondheim katedralskole, der han tok artium med beste karakter i 1852.