Kvammen imponerte med sine driblekunster allerede som ung gutt. Han var sønn av en skomaker, og hans to eldre brødre – Arthur og Sverre – spilte begge på Vikings A-lag. Kvammen debuterte for A-laget allerede som 16-åring i 1931. To år senere var han sentral da Viking spilte seg til sin første cupfinale ved å slå Lyn 3-2 i semifinalen. Kvammen scoret også Vikings mål i finalen, men Viking tapte likevel 1-3 for Mjøndalen.