Averroës' oppfordinger til folket om å gjøre mer bruk av fornuften i sin sannhetssøken, førte til at han kom i konflikt med den islamske ortodoksis tilnærning. Under kalif Yaʿqūb al-Mansūr (1184–1199), som var Abu Yaqubs etterfølger, var Averroës til å begynne med godt ansett, men i 1195 falt han i unåde. Kalif, som da var opptatt av et felttog på Den iberiske halvøy, mente at det var de islamske ortodokse krefter han måtte støtte seg til. Derfor ble Averroës forvist til Lucena, en småby sør for Córdoba. Hans verker ble forbudte, og det ble gitt bud om at de skulle brennes.