退是出于自己的意愿。但却有不少人猜测，是矮子丕平勾结了教皇，促使卡洛曼留在罗马并出家。卡洛曼在创立了一座修道院，然后前往卡西诺山。这段时间的所有文献，都表明他相信自己是遵从基督的召唤而来的。他退出政治界到卡西诺山，并将余生大部分时间花在那里，大概是在冥想和祈祷中。他的儿子被认为继承了他父亲奥斯特拉西亚宫相之位，因为他于747年或748年与叔父矮子丕平同时在两地举行教会的宗教会议。其后德罗戈向叔父要求他父亲在家族遗产中的一份时，但是该要求迅速被废止。在卡洛曼退休七年之后，他又一次在国际舞台上短暂停留，