Barbosa karrierjét – és életét – az 1950-es labdarúgó-világbajnokságon elszenvedett vereség törte derékba. A viadal utolsó meccsén – az úgynevezett Maracanazón – Brazília kikapott Uruguaytól, és elveszítette az áhított bajnoki címet. A vereségért Barbosát nevezték ki bűnbaknak. Szakértők szerint Barbosa nem volt különösebben hibás; viszont néger volt, és az 1950-es évek rasszista légkörében ez elégséges ok volt arra, hogy a nyakába varrják a nemzeti tragédiát. Barbosa többet nem játszhatott a válogatottban, nem alkalmazták edzőként vagy bemondóként, és még a válogatott mérkőzésein sem lehetett jelen. Hátralevő életét kitaszított páriaként élte le, magányosan és nincstelenül hunyt el.