Nach der Machtergreifung der Nationalsozialisten und dem Reichstagsbrand 1933 ging Schwarze in die Illegalität, wo er seine politische Tätigkeit als Mitglied der Unterbezirksleitung der KPD fortsetzte. Er kehrte jedoch am 7. Juli in seine Wohnung zurück, wo er verhaftet wurde. Auf dem Dresdner Polizeipräsidium wurde er misshandelt und anschließend in das KZ Colditz gebracht. Erst am 16. Dezember 1933 wurde er entlassen. Nach einer Zeit der Arbeitslosigkeit begann Schwarze, der nach seiner Entlassung polizeilich überwacht wurde, als Seifenhändler Geld zu verdienen. Bei seiner Tätigkeit konnte er erneut Kontakte zu anderen Kommunisten knüpfen, darunter zu Robert Matzke sowie Gustav Richter und dessen Sohn Rudolf. Im Juni 1941 wurde Schwarze erneut verhaftet und im Polizeipräsidium mehrfach schwer misshandelt. Er wurde wegen Hochverrats zu 18 Monaten Haft verurteilt und in das Zuchthaus Waldheim gebracht. Im September 1942 wurde er erneut zum Polizeipräsidium überstellt und von dort in das Konzentrationslager Sachsenhausen deportiert, wo er am 1. April 1943 ums Leben kam. Sein Urnengrab befindet sich im Ehrenhain des Dresdner Heidefriedhofs.