Mayor of the Palace
747년 8월 15일 카를로만은 아우스트리시아 궁재, 알레만니아 궁재, 튀링겐 궁재 및 북부 알사스의 공작령, 알사스 공작직, 알레만니아 공작직 등을 모두 아들 드로고 2세에게 넘겨주었다. 카를로만은 자신의 모든 지위에서 물러나 로마에서 교황 자카리아에 의해 삭발을 하고 수도원으로 은퇴하였다. 카를로만은 깊은 신앙심과 경건함으로 수년 간 고민하다가 로마에 있는 수도원에 들어가기로 결심했다. 그러나 자신의 본심이 아니라 동생 피핀 3세와의 권력투쟁에서 패하고, 선택의 여지 없이 반강제적으로 은퇴했다고 보는 시각도 있다. 카를로만은 로마를 방문 교황 자카리아와 면담, 정치적인 권리를 포기하지 않는 한도 내에서 성직자가 될 수 없는가를 여러번 자문해보기도 했다. 그 후 그는 이탈리아 몬테 카시노에서 몬테 사로테 성 실베스트로 수도원을 창설하였으며, 교황 자카리아의 조언에 따라 3년 동안 그곳에 머물면서 일체 세속의 직위에 관여하지 않고, 명상과 기도로 소일하며 수도승으로 보냈다.