Olefine Moe var datter av Iver Christian Moe (1827–1901) og Inger Marie Amundsen (1826). Faren spilte på obo og ga dansetimer. Olefine fikk navn etter gudfaren Ole Bull, og flyttet med musikerfamilien til Christiania tidlig, der hun etterhvert studerte og debuterte ved Christiania Theater som i Eugène Scribes (1867).