Ole Anton Qvam ble født i Bolsøy i dagens Molde i Romsdal i 1834. Han var sønn av gårdbruker Ole Larsen Qvam (1782–1844) og Johanne Pedersdatter Ryen (1797–1850), som begge døde tidlig. Han vokste opp på gården Mek (Kvam) i Bolsøy, som også gav ham og hans bror Peter deres etternavn. Han gikk på borgerskolen i Molde sammen med blant andre Bjørnstjerne Bjørnson, og tok examen artium i 1853.