Los calomardinos, sin embargo, instigaron contra él una dura campaña en 1831 utilizando sus "pecados domésticos" y las autoridades eclesiásticas le intimaron a volver a Sevilla.