ב-1922 הצטרף שוורץ למפלגה הנאצית. בנובמבר 1923 הוא השתתף בפוטש במרתף הבירה שהובילו אדולף היטלר ואריך לודנדורף. בעקבות הקמתה מחדש של המפלגה הנאצית ב-27 בפברואר 1925 הוא הצטרף לשורותיה מחדש, והיה האדם השישי שעשה זאת. ב-21 במרץ של אותה שנה הוא עזב את עבודתו בעיריית מינכן, והחל לעבוד כגזבר במשרה מלאה של המפלגה. הוא הצליח לשקם מחדש את קופת המפלגה, ולגייס כסף להפצת ספרו של היטלר "מיין קמפף". באפריל 1930 ניהל שוורץ את המשא ומתן על רכישת "הבית החום" ברחוב בריינר שטראסה 45. שוורץ רצה שהבית החום ישמש כמטה המפלגה, לאחר שהוחלט שמטה המפלגה ברחוב שלינג שטראסה 50 קטן מדי.