Nella stagione 1983-1984 il tecnico allena i meneghini anche in Serie A, portandoli all'ottavo posto ma venendo esonerato a sei giornate dalla fine del torneo, a causa di gravi dissidi con il presidente Farina. Nell'annata seguente Castagner cambia quindi squadra ma non città, passando alla guida dell'; nel torneo che valse lo scudetto al , i nerazzurri si classificano terzi arrivando a disputare la semifinale di Coppa UEFA, uscendo contro gli spagnoli del nonostante un ricorso per l'episodio del lancio della biglia in testa a Giuseppe Bergomi. Nella stagione 1985-1986 Castagner viene sostituito dopo un ruolino di 5 vittorie, 3 pareggi e 2 sconfitte.