Kavli vokste opp på Årø utenfor Molde som sønn av gårdbrukerne Knut Olsson Kavli (1836–1912) og Ane Jensdotter (1834–1909). I tidlige kilder er Olav ført som , en vanlig dansk skrivemåte for Ola(v), og med mellomnavnet , et patronymikon han sluttet å bruke.