Nel 1947 debuttò Mihály Vörös, nel '48 andò via Costagliola. Il 21 settembre 1947, nella seconda giornata di campionato i galletti batterono in casa il Torino scudettato per 1-0 (per effetto di una rete di Guido Tavellin al 75º minuto). Da questo momento i baresi ebbero un rendimento altalenante e nel 1950 retrocedettero. La società denunciò dei torti arbitrali e a seguito della ricusazione dei ripetuti ricorsi, il presidente Annoscia fu squalificato per tre anni e decise di ritirarsi dal mondo del calcio. L'anno seguente i galletti retrocedettero ancora e giunti sesti nel girone G della Serie C 1951-'52, furono retrocessi nella neo istituita IV Serie per effetto del lodo Barassi (emanato pochi mesi prima). Nel 1951 debuttò in prima squadra Nicola Chiricallo, che andò via dopo due campionati insieme a Vörös.