Ola var sønn av Rangdi Jakobsdotter 1867–1934 og Per Person Bøe 1859–1922. Faren spilte hardingfele, men døde da Ola var 12 år gammel. Han lærte til gjengjeld mange slåtter av mora, som var god til å tralle, eller , som det heter i Valdres. Ola fekk ellers slåtter av den eldre broren Jørgen, og regnet seg som elev av Andris Øde, Alf Moe og Olav Moe.