Людвиг Баварский
В том же 1341 году началась распря между Иоанном Люксембургским и императором Людвигом IV Баварским из-за наследства Генриха Хорутанского. Карл участвовал в переговорах с немецкими князьями — противниками императора и ездил в Авиньон на встречу с папой римским, где было заключено соглашение с Людвигом. В 1345 году Людвиг Баварский нарушил Авиньонские договорённости. Возвращаясь через Польшу после крестового похода на Литву, возле города Калиша Карл был захвачен в плен Казимиром III и лишь с помощью хитрости сумел спастись. Борьба с императором разгорелась с новой силой.