Karloman dukket bare en gang til opp i historien, syv år etter at han trakk seg tilbake, på kvelden da han døde. I 754 hadde pave Stefan II bønnfalt Pipin, nå konge, til å komme til hans unnsetning mot langobardenes konge, Aistulf. Karloman besøkte sin bror for å bønnfalle om å ikke føre krigen til Italia, i den tro at frankisk intervensjon der var mot familiens langtidsinteresser, men Pipin ville ikke høre og Karloman trakk seg tilbake til Vienne, hvor han døde 17. august. Han ble gravlagt i Monte Cassino.