En Almería, acompañado por su amigo y correligionario Muhammad ibn Ishāq, se enfrentaron al gobernador cuando él cambió de bando y apoyó a un nuevo pretendiente, y acabaron desterrados de nuevo, esta vez en un pueblo llamado Aznalcázar.