Sein erstes Länderspiel bestritt Kvammen am 5. November 1933 gegen Deutschland zusammen mit seinem fast 9 Jahre älteren, ebenfalls für Viking spielenden Bruder Arthur, für den dies aber das einzige Länderspiel blieb. Zuvor hatte er zwei B-Länderspiele bestritten. Sein erstes von insgesamt 17 Toren für die Nationalmannschaft erzielte er am 2. September 1934 beim 1:1 gegen Finnland. 1936 nahm er mit der norwegischen Mannschaft an den Olympischen Spielen teil und gehörte zum Team, das Gastgeber Deutschland im Achtelfinale mit 2:0 besiegte, was zur Entlassung von Reichstrainer Otto Nerz führte. Im Halbfinale unterlag das Team gegen den Weltmeister und späteren Olympiasieger Italien erst in der Verlängerung mit 1:2, konnte das Spiel um die Bronzemedaille gegen Polen aber mit 3:2 gewinnen. Dies ist der bis heute größte Erfolg der norwegischen Nationalmannschaft der Männer. Zwei Jahre später schied er mit Norwegen im Achtelfinale der Weltmeisterschaft ebenfalls gegen Italien mit 0:2 aus. Er war der erste Norweger, der auf 50 Länderspiele kam. Sein 51. Spiel am 19. Juni 1949 gegen Jugoslawien war sein letztes Länderspiel. Damit blieb er bis zum 31. Oktober 1954 Norwegens Rekordnationalspieler und wurde dann von Thorbjørn Svenssen abgelöst, mit dem er zu Beginn von dessen Länderspielkarriere dreimal zusammen gespielt hatte.