Inițial Carol a avut o poziție foarte slabă în Germania; unii se refereau la el ca "regele preotului" ("Pfaffenkönig"). Mulți episcopi și aproape toate orașele imperiale au rămas fideli bavarezului Ludovic. În Războiul de o Sută de Ani Carol și-a pierdut tatăl și mulți din cei mai buni cavaleri ai lui în Bătălia de la Crécy din august 1346, Carol însuși fiind rănit în bătălie.