Champion d'Europe de boxe amateur à Berlin en 1927 dans la catégorie poids lourds, il remporte la médaille d'argent aux Jeux d'Amsterdam en 1928 dans cette même catégorie. Après avoir battu Hans Schonrath et Sverre Sorsdal, Ramm s'incline en finale contre l'argentin Arturo Rodriguez. Il passe ensuite professionnel et devient champion de Suède des mi-lourds en 1929. Il met un terme à sa courte carrière en 1931 sur un bilan de 17 victoires, 4 défaites et 1 match nul.