Fra 1880/81 var Mjelde elev ved Nordhordland amtsskole og tok deretter militær utdanning. I 1886 fullførte han Underoffisersskolen i Bergen, der han gikk ut som nr. 1 i sitt kull. Han ble ansatt som sersjant ved Nordre Bergenhus regiment. I 1890 overtok han slektsgården i Øvre Mjelde. I omkring 20 år var han direktør for Haus Sparebank. Han var også direktør for Indre Nordhordlands Dampskipsselskap. Ole Monsen Mjelde tok avskjed med militæret som fanejunker i 1918.