Etter R' Shmuel's død etterfulfte Joseph ham som visir og rabbi, og ledet også en viktig yeshiva der han underviste blant annet rabbi Isaac ben Baruch ibn Albalia og rabbi Isaac ibn Ghayyat.