Gjennom oppveksten var Kvalheim leder i Holmestrand og Vestfold AUF, aktiv i Naturvernforbundet og Amnesty, startet Flyktningekafeen i Holmestrand samt «Eldrehjelpen». Han har også arbeidet som ungdomsskolelærer.