Han vokste opp i Sunndal og Børsa som sønn av sogneprest Christian Høy Müller og hustru Mathea Herlofine Herlofsen. Faren var tidligere gift med en søster av salmedikter Magnus Brostrup Landstad. Faren var en landskjent vekkelsespredikant, inspirert av Gisle Johnson, og venn av den senere biskop Nils Jacob Laache. Da faren døde i 1882, tok moren med seg familien til sin hjemby Kristiansund. Oluf gikk middelskolen der. Deretter reiste han til Kristiania, England og Tyskland for å gå i handelslære.