서프랑크 왕국
840년 무렵 카를로만은 바이에른 백작 라톨드(Ratold)의 딸이자, 백작 지기하르트(Sigihard)의 처제인 리트빈데와 정을 통하였다. 이는 서프랑크 왕국 측에도 전해진 듯 하며 서프랑크의 가톨릭 성직자가 쓴 문헌에도 불법적인 관계라고 나타난다. 이는 부왕의 허락을 받지 않은 그의 첫 독립적인 행동이기도 하다. 이후 그는 바이에른과 가깝게 지냈고, 850년을 전후하여 아들 케른텐의 아르눌프가 태어난다. 860년 무렵 그의 다른 동생인 루트비히 3세의 사생아 위그 등 다른 형제들의 사생아 역시 할아버지이기도 한 독일인 루트비히의 코블렌츠 궁정으로 불러들여, 양육한다.