Сюрианска
Баффо начал карьеру в клубе «Вернаму», в одном из низших дивизионов Швеции. После двух сезонов талантливого защитника заметили и пригласили в «Хельсингборг». Для получения игровой практики Джозеф на правах аренды вернулся в «Вернаму», где провёл ещё полгода. В начале 2011 года он вернулся в «Хельсингборг». 3 апреля в матче против «Мьельбю» Баффо дебютировал в Аллсвенскан лиге. 7 августа в поединке против «Сюрианска» он забил свой первый гол за команду. С «Хельсингборгом» Баффо выиграл чемпионат Швеции, а также дважды стал обладателем Кубка и Суперкубка Швеции.