Etter at Karl Martell ble gravlagt i klosterkirken Saint-Denis ved siden av de store merovingerkongene, brøt det øyeblikkelig ut konflikt mellom Pipin og Karloman på den ene siden, og deres misfornøyde halvbror Grifo på den andre siden. Selv om Karloman tok Grifo til fange og fengslet ham, må det ha vært en misnøye mellom Karloman og Pipin som fikk sistnevnte til løslate halvbroren mens Karloman var på pilegrimsreise til Roma. Kanskje i et forsøk på å nøytralisere sin brors ambisjoner, tok Karloman initiativet til å utnevne en ny konge, Kilderik III, trukket fram fra et kloster i 743, og i kanskje en ukjent sønn av Kilderik II. Karloman var en kombinasjon av sterkt religiøs og hensynløs hersker, nådeløs mot virkelige og innbilte motstandere. I 746 samlet han et råd av adelsmenn blant alamannerne i Cannstatt (Stuttgart) og fikk deretter kanskje opptil tusenvis av dem henrettet for høyforræderi. Det utryddet hele lederskapet i hertugdømmet og ble siden styrt av frankere. Allerede året etter, den 15. august 747, ga Karloman avkall på sin posisjon som og trakk seg tilbake til klosterlivet i italienske Monte Soratte etter å ha blitt kronraket i Roma av pave Sakarias. Pipins posisjon var således ytterligere stabilisert og veien fram til å bli konge også i navnet lå åpen.