Nel maggio 1950, subito dopo la retrocessione del Bari in Serie B, denunciò alla FIGC l'esistenza di una cricca di arbitri (la cosiddetta "casta Mazarino"), responsabile dell'arbitraggio ritenuto nettamente parziale da parte del direttore di gara Ferruccio Bellè di Venezia nell'incontro Bari-Roma (terzultima giornata del campionato di Serie A 1949-1950, finito 1-1). L'evento suscitò clamore e nonostante buona parte dell'opinione pubblica e della stampa (anche romana) riscontrasse diverse anomalie che avrebbero favorito i giallorossi capitolini, il risultato fu comunque omologato. Dopo essersi visto respingere anche il ricorso alla Commissione di Appello Federale (CAF) ed aver subìto una squalifica di tre anni, Annoscia si ritirò dal mondo del calcio lasciando alla guida del Bari Calcio il suo vice, Rocco Scafi.