После года вне официальных стартов бразилец вернулся в Sauber боевым пилотом на сезоны 2004 и 2005 годов. Техника швейцарцев постепенно всё больше проигрывала конкурентам и Масса со своими напарниками был всё менее заметной фигурой в пелотоне: в первый год (вместе с Джанкарло Физикеллой) он смог помочь Sauber занять шестое место в Кубке Конструкторов, а год спустя, когда итальянца сменил канадец Жак Вильнёв, команда завершила сезон лишь на восьмой строчке. Североамериканец также стал первым напарником бразильца, которого Фелипе смог опередить в личном зачёте по итогам года. В этот период Масса проводит тридцать семь стартов и набирает за них двадцать три очка; в квалификациях в этот период ему дважды удаётся пробиться на второй ряд — осенью 2004 года он квалифицируется на четвёртом месте в Шанхае и Сан-Паулу; в гонках Масса также дважды в этот период финиширует на пиковой для себя четвёртой позиции — в Спа в 2004 году и в Монреале год спустя он финиширует на предподиумной позиции, проиграв только Кими Райкконену, Михаэлю Шумахеру и Рубенсу Баррикелло. В конце сезона-2005, когда в Ferrari усилились трения со своим вторым пилотом, Масса сменил соотечественника в роли боевого пилота итальянской команды.