Etter å ha forent frankerne under seg, var Karl bestemt på å straffe sakserne som hadde invadert Austrasia. Derfor la han i 718 deres land til breddene ved Weser, Lippe, Ruhr og Teutoburgerskogen øde. Han ble dermed den første utenforstående makten siden legionene til Varus i 9 som gikk inn i skogen, og i motsetningen til Roma, beseiret han innbyggerne enkelt. I 719 tok Karl Vest-Friesland uten større motstand fra friserne som hadde vært underlagt frankerne men han tatt kontroll da Pipin døde. Karl stolte ikke på hedningene, men deres hersker, Aldegisel, aksepterte kristendommen i hans rike og Willibrord, biskop av Utrecht, frisernes berømte apostel, reiste for å konvertere dem på Karls ønske. Karl gjorde også mye for å støtte Winfrid, senere den hellige Bonifatius, tyskernes apostel.