Hans far ga ham sannsynligvis kongelig makt i Burgund, men Lothar tok denne makten tilbake da han ble myndig. I 977 anklaget Karl Lothars hustru, Emma, datter av Lothar II av Italia, for utroskap med biskopen av Laon, Adalbéron. Kirkerådet i Sainte-Macre ved Fismes (i nærheten av Reims) frikjente dronningen og biskopen fra anklagene, men Karl hevdet hardnakket at utroskap var blitt begått og han ble tvunget til å forlate riket. Han fant tilflukt hos sin fetter Otto II som lovte ham den franske kronen så snart Lothar var fjernet. Karl ga deretter sin hyllest til den tyske keiseren og mottok herredømmet av Nedre Lorraine tilbake.