Los sucesivos éxitos militares y políticos de Alfonso V en el escenario mediterráneo levantaron el recelo del duque de Milán Filippo María Visconti quien, aprovechando el enfriamiento de las relaciones entre la reina Juana y Alfonso cuando este hizo detener al primer ministro napolitano y amante de aquella, Giovanni Caracciolo, alentó una revuelta encabezada por Sforza que obligó a Alfonso a refugiarse, el 30 de mayo de 1423, en la fortaleza napolitana de Castel Nuovo hasta que la llegada de una flota aragonesa de 22 galeras le permitió recuperar Nápoles y obligar a Juana a buscar refugio en Aversa y después en Nola donde revocará la adopción de Alfonso y nombrará nuevo heredero a Luis de Anjou.