Han ble gitt herredømmet over Alemannia i 876 av (inndelingen) av Ludvig den tyskes kongedømme, han etterfulgte i Italia da hans eldre bror Karloman abdiserte etter å ha blitt gjort arbeidsufør ved et slag. Karl ble kronet keiser i 881 av pave Johannes VIII, hans etterfølgelse til områdene til hans bror Ludvig den yngre det påfølgende året forente hele kongedømmet Østfranken (det senere Tyskland). Da hans fetter Karloman II døde arvet han også hele Vestfranken (det senere Frankrike), og således gjenoppvekket han, om enn kortvarig, det fullstendige karolinske riket, eller Frankerriket, som Karl den store hadde samlet.