Sportlich aufgewachsen ist Stumpf bei der TG 48 Schweinfurt. Im Jahr 1936 schloss er sich dem lokal führenden 1. FC Schweinfurt 05 an, in dessen erster Mannschaft er 1938 an der Seite der WM-Teilnehmer und FIFA-Auswahlspieler Albin Kitzinger und Andreas „Ander“ Kupfer in der Gauliga Bayern debütierte.