El emperador abdicó al trono brasileño el 7 de abril de 1831 y abandonó Brasil para instalarse en Portugal. Desde allí apoyó el reclamo al trono portugués de su hija mayor, María. El barco de Pedro partió esa misma mañana y él, ahora haciéndose llamar "duque de Braganza", se llevó consigo a Amelia, María y a su propia hermana, Ana de Jesús. Los niños no volverían a ver su padre o a su madrastra.Antes de irse, Pedro había nombrado a José Bonifácio de Andrada e Silva como guardián legalde sus hijos, a Mariana de Verna Coutinho como su nodriza, y a un veterano de guerra afro-brasileño llamado Rafael para cuidar de los niños.De estos tres, solo Rafael permaneció leal al emperador hasta su muerte en 1889.