2009 bewarb er sich erstmals für die SPD um das Bundestagsmandat im Wahlkreis Bamberg, unterlag aber Thomas Silberhorn von der CSU, wobei er mit 20,4 % der Erststimmen einen Achtungserfolg erzielte. Bei der Wahl 2013 und 2017 musste er sich mit 22,9 % (2013) bzw. 20,4 % (2017) wiederum Silberhorn geschlagen geben, zog aber über die Landesliste der SPD in den Bundestag ein. Er ist Mitglied im Haushaltsausschuss und Rechnungsprüfungsausschuss. Er war im 17. Deutschen Bundestag Mitglied im Finanzausschuss und dort Berichterstatter seiner Fraktion für Umsatzsteuer, Steuerkriminalität, Ratingagenturen und Verbrauchssteuern. Im 19. Deutschen Bundestag ist Schwarz ordentliches Mitglied im Haushaltsausschuss, im Rechnungsprüfungsausschuss, sowie im Bundesfinanzierungsgremium. Zudem gehört er als stellvertretendes Mitglied dem Finanzausschuss und dem Verteidigungsausschuss an.