בעונתו השנייה בקבוצה הגיע עם הקבוצה לגמר הליגה האירופית, שם הפסיד לאתלטיקו מדריד. הוא עזב את פולהאם בשנת 2013, אחרי 218 משחקים, ועבר לקבוצתו הנוכחית ויריבתה העירונית של פולהאם, צ'לסי. שוורצר חתם על חוזה לשנה אחת כשוער המשנה של צ'לסי, הוא ערך את הופעת הבכורה שלו בגביע הליגה נגד סווינדון טאון. עם צ'לסי הוא ערך את הופעת הבכורה שלו בליגת האלופות, בניצחון 1-0 נגד סטיאווה בוקרשט.