Fra 772 og fremover erobret og til slutt beseiret Karl sakserne og innlemmet deres rike i det frankiske kongedømmet. Denne kampanjen utvidet praksisen av ikke-romerske kristne herskere som gjennomførte konverteringen av sine naboer med våpenmakt. Frankiske kristne misjonærer, sammen med andre fra Irland og det anglo-saksiske England, hadde gått inn i saksernes land siden midten av det 8. århundret, noe som resulterte i økende konflikter med sakserne som motsatte seg misjonærenes forsøk og den parallelle militære innblandingen. Karls hovedmotstander, den saksiske Widukind, tok imot dåpen i 785 som del av fredsavtalen, men andre saksiske ledere fortsatte å kjempe. Etter sin seier i 787 ved Verdun, beordret Karl drapet på tusenvis av hedenske saksiske fanger. Etter flere opprør led sakserne det endelige nederlaget i 804. Dette utvidet det frankiske kongedømmet østover til elven Elben, noe Romerriket bare hadde forsøkt en gang og som slo feil i slaget ved Teutoburgerskogen (år 9). For å kunne kristne sakserne mer effektivt, grunnla Karl flere bispedømmer, blant dem Bremen, Münster, Paderborn og Osnabrück.