Han vokste opp i Tórshavn som sønn av kongsbonde og sysselmann på Streymoy Rasmus Müller og Sigga Joensdóttir. Müller-slekten på Færøyene nedstammer fra Christopher Müller fra Slagelse, Hans Christopher Müllers tippoldefar, som var sogneprest på Norðurstreymoy. Moren var av kongsbondeslekt. Hans Christophers søster Cathrine ble gift med sysselmann på Suðuroy Gudmund Effersøe; deres sønn Oliver Effersøe ble også folketings- og landstingsmann.