A raíz de la invasión de los intolerantes almohades en 1148, Ibn Daud, al igual que muchos otros judíos —entre ellos la familia del joven Maimónides—, huyó de la ciudad refugiándose en la cristiana Toledo.