Pronto por intervención papal la custodia de Carlos pasó a manos del rey húngaro Luis el Grande en 1365, y el joven príncipe fue llevado a Visegrado, donde ganó muchos simpatizantes en la corte húngara.