Frøvig kom fra enkle kår og vokste opp i Strandgaten i Haugesund. Faren Jacob Danielsen Frøvig (1834-94) var gjørtler, en håndverker som laget prydgjenstander i bronse og messing. Moren het Berthe Malene Apeland. Foreldrene var dypt religiøse, og dette skulle også gjenspeile seg hos maleren. Ole vokste opp sammen med en eldre bror og to eldre søstre. Broren Daniel Andreas ble senere professor i teologi ved universitetet i Oslo.