Han vokste opp i et kjøpmannsmiljø i Tórshavn som sønn av Hans Christopher Müller og Maren Sørensdatter Olsen. Både faren og farfaren var sysselmenn på Streymoy. Faren var medlem av det færøyske Lagtinget samt det danske Folketinget og Landstinget, og drev handel, rederi og post- og dampskipsekspedisjon i byen. På farssiden var han fetter av brødrene Oliver, Rasmus og Poul Effersøe. Han giftet seg med Margrethe Olsen, datter av bokholder Christopher Michael Olsen og hustru Elsebeth Christine Evensen. Margrethes bror, Jens Olsen, var gift med Søren Müllers søster, Petra.