10 лет молодёжной карьеры провёл в клубе из родного города Зубера, «Мсакен». Профессиональную начал в 1991 году в «Этуаль дю Сахель». Всего за «Этуаль» Байя провёл 6 сезонов, сыграв 127 матчей и забив 34 голов. В 1997 году Зубер перешёл в немецкий «Фрайбург», проведя в нём 114 матчей и забив 21 гол. В 2001 году на один сезон перешёл в турецкий «Бешикташ». В 2002 году после чемпионата мира вернулся в «Этуаль дю Сахель». Карьеру окончил в «Мсакене», где провёл сезон 2005/06. Работал в качестве эксперта на радиостанции Jawhara FM и телеканалах Tunisie 7, MBC, ART и Al Jazeera Sport.