De neste seks årene ble brukt i sin helhet til å sikre frankernes autoritet over de avhengige germanske stammene. Mellom 720 og 723 kjempet Karl i Bayern, hvor agilolfinger–hertugene gradvis hadde utviklet seg til å bli uavhengige herskere, nylig i allianse med Liutprand langobarden. Han tvang alemannerne til å slutte seg til ham, og hertug Hugbert underla seg frankernes styre. I 725 og 728 gikk han igjen inn i Bayern og båndene til ham som herre virket sterke. I 730 marsjerte han mot Lautfrid, hertug av Alemannia, som også hadde blitt uavhengig, og drepte ham i kamp. Han fremtvang alemansk kapitulasjon til fransk overherredømme og utnevnte ikke en etterfølger av Lantfrid. Dermed var Sør–Tyskland igjen del av det frankiske kongedømmet, slik Nord-Tyskland hadde blitt i løpet av de første årene av hans styre.