Nach dem Abitur in Spandau besuchte Schwarz die Keramische Fachschule in Bunzlau (siehe Bunzlauer Keramik). Er studierte ab 1905 an der Schlesischen Friedrich-Wilhelms-Universität Chemie und wurde Mitglied des Corps Borussia Breslau, wo er mit Eberhard Buchwald aktiv war. Später wechselte er an die Technische Hochschule Charlottenburg und die Albert-Ludwigs-Universität Freiburg. Mit einer Doktorarbeit über Ton und afrikanische Erden wurde er 1910 zum Dr. phil. promoviert; 1914 habilitierte er sich. Als Teilnehmer am Ersten Weltkrieg wurde er schwer verwundet. Die Universität Freiburg ernannte ihn 1919 zum a.o. Professor für anorganische und analytische Chemie. Die Johann Wolfgang Goethe-Universität Frankfurt am Main berief ihn 1928 auf ihren Lehrstuhl für dieses Fach. 1933 wurde er Mitglied der NSDAP. Am 1. April 1934 folgte er dem Ruf der Albertus-Universität Königsberg, an der er bis zur Ostpreußischen Operation (1945) blieb. 1946/47 kam er an der TH Karlsruhe unter. 1948 berief ihn die RWTH Aachen als Ordinarius für anorganische Chemie und Elektrochemie. Als Nachfolger von Wilhelm Fucks war er in den akademischen Jahren 1952/53 und 1953/54 Rektor der RWTH. Schwarz befasste sich vor allem mit der Molekülchemie der Nichtmetalle (Silizium, Germanium), der Halogene und der Peroxide. 1956 wurde er emeritiert. Zu seinen Schülern gehörten Annelore Köster-Pflugmacher, Hans Walter Hennicke, Wilhelm Kuchen, Martin Schmeißer, Peter Wolfgang Schenk und Ulrich Wannagat.