Rudi Ball commence sa carrière en 1927 avec le SC Brandenburg Berlin. Il joue avec le Berliner SC à la deuxième puis à la première équipe dès 1928, avec ses frères Gerhard et Heinz. Il est champion d'Allemagne pour la première fois en 1929. Il participe à ses premiers championnats du monde en 1930, où son équipe remporte la médaille d'argent. En 1931, il est élu meilleur joueur européen par un journal français. Il prend également part aux Jeux olympiques d'hiver de 1932 à Lake Placid aux États-Unis. Ball marque 3 goals et deux assists en six matches, et est le meilleur joueur de son équipe qui gagne la médaille de bronze dans un tournoi réunissant seulement quatre équipes. Il marque cinq fois en six matches aux championnats du monde 1933.