Pero finalmente, las intrigas políticas toledanas se volvieron en su contra y Abenamar tuvo que huir en mayo de 1082 a Madrid.