Oluf Müller giftet seg i Todalen kirke i 1903 med Kristine (Kitty) Kjørsvig, datter av skipskaptein Johan Andreas Kjørsvig. Hun hadde bodd hos farfaren Nicolay Kjørsvig, som drev fiskeforretning i Kristiansund. Oluf og Kitty fikk fem barn, hvorav fire vokste opp. Sønnene Nicolay og Oluf Christian (Ossi) Müller ble begge jurister: Nicolay åpnet sin egen advokatforretning i Kristiansund, mens Oluf Christian ble departementsråd i Industridepartementet.