Schwarz, der das Schwimmen in der Saale, die durch seine Heimatstadt Weißenfels fließt, erlernte, wurde als Kind Mitglied des ansässigen "Schwimmclubs Neptun". Mit 12 Jahren wurde er 1924 in München Deutscher Jugendmeister. Zwischen 1927 und 1930 lernte er den Beruf des Kupferschmieds. 1932 erwarb er in Halle (Saale) seinen Abschluss als Schwimmmeister und bekam eine Anstellung im Stadtbad Halle. 1933 zog es ihn nach Magdeburg zum Magdeburger Schwimmclub 1896, da er dort bessere Trainingsbedingungen vorfand. Bei den Schwimmeuropameisterschaften 1934 in Magdeburg gewann er über 200 Meter Kraul die Silbermedaille. Über die 100 Meter Rücken verpasste er als Vierter eine Medaille nur knapp. Im gleichen Jahr wurde Schwarz zudem Deutscher Meister über 100 m Rücken in 1:13,5 Minuten. Im folgenden Jahr steigerte er seine Zeit auf 1:09,7 Minuten und verteidigte seinen Titel. Auch 1936 war er über diese Distanz erfolgreich.