De første årene hvor Karl styrte, fram til Lothar døde i 855, var forholdsvis fredelige. I løpet av disse årene fortsatte de tre brødrene systemet med «broderlig styring» og møtes jevnlig, ved Koblenz (848), ved Meerssen (851), og ved Attigny (854). I 858 ble Ludvig den tyske invitert av misfornøyde adelige som ville utkonkurrere Karl, og denne misnøyen førte til at de samlet seg til å invadere Vestfrankerriket. Karl var på denne tiden så upopulær at han ikke klarte å samle en hær og måtte flykte til Burgund. Han ble berget kun ved støtte fra biskopene som nektet å krone Ludvig den tysk som konge, og ved lojaliteten til welfene, slekten til hans mor Judith. I 860 forsøkte Karl å erobre kongedømmet til sin nevø Karl av Provence, den yngste sønnen av Lothar, men ble slått tilbake. Da hans nevø Lothar II døde i 869, forsøkte Karl å overta Lothars besittelser ved å få seg selv innviet som konge av Lotharingia ved Metz, men han ble tvunget til åpne forhandlinger da hans bror Ludvig den tysk fant støtte blant Lothars tidligere vasaller. Lotharingia ble delt mellom Karl og Ludvig i den påfølgende avtalen i 870, traktaten i Meerssen.