De vuelta en Brasil, y reconciliado con el Emperador Dom Pedro I, tomó la tutoría de su hijo Pedro II de Brasil cuando éste abdicó en 1831, permaneció como tutor del futuro emperador hasta 1833, cuando fue exonerado del cargo por el gobierno del Período Regente del Imperio de Brasil.