Herlofsen-familien hadde sterke politiske interesser. Fetteren Hans Rode Herlofsen, onkelen Hans A. Herlofsen og morfaren Oluf Herlofsen satt i bystyret i Kristiansund, alle som høyremenn. Ordfører og stortingsmann Hans Herluf Dahl var hans morfars onkel. Oluf Müller var medlem av Kristiansund bystyre 1910–1916, 1919–1925, 1928–1931 og 1934–1937, medlem av formannskapet, varaordfører og tidvis fungerende ordfører i Kristiansund. Han var opprinnelig en moderat høyremann og ledet Kristiansunds konservative forening, som kom til å omfatte både Høyre og Frisinnede Venstre.