Nella stagione successiva (2003-2004), che ha visto a fine anno retrocedere il Perugia in Serie B, è sceso in campo per 29 volte in campionato. Alla fine della stagione 2004-2005 il Perugia ha fallito la promozione in Serie A e quindi Kalac, in quell'anno titolare con 29 presenze in B e 3 in Coppa Italia, è passato al Milan a parametro zero per ricoprire il ruolo di secondo portiere, alle spalle di Dida.