Kværne var en periode formann i Oslo distriktsorganisasjon av Norsk Jernbaneforbund. Han var også kasserer i styret for feriehjemmet «Elgheim» på Roa, som var eid av Oslo-avdelingen til Norsk Jernbaneforbund.