Berg ble realkandidat i 1883, og studerte så matematikk videre i utlandet. Avhandlingen hans om matematiske rekkers konvergens ble belønnet med H.K.H. Kronprinsens gullmedalje. Han arbeider først som lærer ved Otto Anderssens Skole i Kristiania, før han overtok Frøken Falsens pikeskole i 1891. Denne ble så drevet videre som Olaf Bergs pikeskole. Ved siden av driften av pikeskolen ledet Berg i flere år også en lærerinneskole.