İsveç asıllı bir aileden geliyordu. 1889'da süvari teğmeni olarak Rus ordusuna girdi. Finlandiya o sırada Rus Çarlığı sınırları içinde yer alıyordu. Mannerheim Rus-Japon Savaşı (1904-1905) ve I. Dünya Savaşı'nda kendini göstererek Rus ordusunda korgeneralliğe ve kolordu komutanlığına yükseldi. 1917'de Rusya'da Ekim Devrimi'nin başlaması üzerine, Rusya'dan bağımsızlığını ilan etmiş olan Finlandiya'ya döndü. Tutucu bir soylu ve monarşi yanlısı olan Mannerheim, Fin İç Savaşı sırasında Bolşevik karşıtı Beyaz Ordu kuvvetlerinin komutanlığını üstlendi (Ocak 1918) ve Almanların da desteğiyle, dört ay süren kanlı bir seferin sonucunda Finlandiyalı Bolşevikleri yenilgiye uğratıp Sovyet kuvvetlerinin ülkeden çıkardı. Aralık 1918'de Finlandiya kral naibi oldu ve cumhuriyetin ilan edildiği 1919'a değin bu görevde kaldı. Herhangi bir devlet görevi üstlenmediği 1919-1931 arasında gönüllü sağlık ve sosyal yardım kuruluşlarında çalıştı.