Han ble også anklaget for flere voldshandlinger, noe som oppflammet en vrede blant berberne, som var den herskende majoritet i Granada. Den bitreste av hans fiender var Abu Ishak of Elvira, som håpet på en stilling ved hoffet og skrev et smededikt mot Joseph og jødene. Diktet gjorde intet inntrykk på kongen, som stolte på Joseph men skapte stor bevegelse blant berberne.