Olav Gjærevoll var sønn av bonde Gunnar Gjærevoll (1879–1965) og hans hustru Kristine Haugen (1891–1963). Gjærevoll vokste opp på småbruket Bakkenget i Alvdal, som faren hans overtok etter mange år som gruve- og anleggsarbeider.