Han vokste opp på morsslektens gård Kvamme ved Oppheimsvatnet på Voss som sønn av lærer og gårdbruker Brynjulf Seim og hustru Sigvor Kvamme. Han hadde tolv søsken og vokste opp i en religiøs familie med sterkt engasjement for misjonssaken. Som voksen ble Kvamme selv formann i indremisjons- og santalmisjonslagene og sognerådet på Voss.