Etter at hans far døde, ble makten innledningsvis delt slik at den inkluderte Grifo, Karls uekte sønn. Dette var etter Karls ønske, og selv om Grifo krevde en del av rike fra sine brødre, nektet de ham dette. I løpet av 742 hadde Karloman og Pipin fjernet Grifo og tvunget ham i kloster, og begge vendte sin oppmerksomhet mot sitt eget innflytelsesområde som , Pipin i vest og Karloman i øst.