Im März 1934 gehörte Schwartz erstmals dem Aufgebot der A-Nationalmannschaft an, wurde jedoch nicht eingesetzt. In zwei Lehrgängen und einigen Testspielen konnte er sich dennoch für das Aufgebot für die Weltmeisterschaft 1934 in Italien empfehlen. Am 27. Mai debütierte er in der A-Nationalmannschaft, die in Florenz das gegen die Nationalmannschaft Belgiens mit 5:2 gewann. Zu weiteren Turniereinsätzen kam er nicht, da er zu nervös war und im weiteren Turnierverlauf seinen Platz für Willy Busch räumen musste. Das Turnier beendete er mit der Mannschaft als Drittplatzierter. Sein letztes Länderspiel bestritt er am 7. Oktober 1934 in Kopenhagen beim 5:2-Sieg gegen die Nationalmannschaft Dänemarks.