Toen Karel hofmeier werd, bestond er geen georganiseerd Frankisch leger. In tijden van oorlog verzamelden de lokale bestuurders hun weerbare mannen en stelden zich onder aanvoering van hun hertog. Doordat Karel steeds in oorlog was en zich bovendien bewust was van het dreigende gevaar van de Arabieren, voerde hij radicale veranderingen door. Karel vormde een strijdmacht van trouwe veteranen om in een beroepsleger, dat door de staat werd betaald en bewapend. Hiermee beschikte Karel altijd over een krachtige, trouwe en snel inzetbare legermacht, die in tijden van oorlog altijd kon worden aangevuld met de gebruikelijke strijders uit de bevolking. Het leger dat Karel vormde, bestond in eerste instantie uit zware infanterie. Toen de stijgbeugel werd geïntroduceerd, konden ruiters ook actief deelnemen aan de strijd, en begon Karel ook aan de opbouw van een zware cavalerie. Dit moment moet rond 735 zijn geweest omdat hij tijdens de Slag bij Poitiers in 732 nog geen cavalerie had, terwijl deze bij de slag aan de Berre in 737 al een beslissende rol speelde.