Ezt követően figyelme délnyugat felé fordult. I. Odo aquitániai herceg 721-ben a toulouse-i csatában ugyan súlyos csapást mért az Ibériai-félszigetről támadó muszlimokra, de Károly újabb támadásra számított. 732-ben aztán régi ellenségével, az akvitán herceggel összefogva a poitiers-i csatában végleg megfutamította az arabokat. Ezt a csatát, amelynek eredményeként Károly a Kalapács (Martell) ragadványnevet kapta, sok történész fordulópontnak tekinti az európai történelemben. Nagyobb támadásra délről ezután már nem kellett számítani. Bár a 720-as években az arabok egy sor erősséget építettek ki a Pireneusoktól északra, ezeket Károly 736–737 felszámolta.