I 771 var det mye som tydet på at Karloman og Karl ville havne i krig med hverandre. Uvennskapet hadde utviklet seg over tid og det var lite som tydet på at det ville bedre seg. Karls biografer, Einhard, tilskrev uvennskapet på Karlomans rådgivere, således minske skylden til Karloman. Krigen kom aldri da Karloman døde brått den 4. desember 771 i sin villa i Samoussy (nord i dagens Frankrike). Dødsfallet, som kom da han var kun tjue år gammel, brått og svært beleilig for den eldre broren, har likevel blitt forstått som av naturlige årsaker. En alvorlig neseblødning har tidvis blitt fremmet som årsaken. Karloman ble gravlagt i Reims, men ble senere begravd på nytt på 1200-tallet i klosterkirken Saint-Denis i Paris, som var det tradisjonelle gravstedet for franske konger.