Kaarle IV oli hyvin heikossa asemassa Saksassa. Valintansa ehtojen vuoksi jotkut kutsuivat häntä halveksuen "paavin kuninkaaksi" (). Monet piispat ja lähes kaikki keisarilliset kaupungit pysyivät uskollisina Ludvig Baijerilaiselle. Kaarle vaaransi asemansa myös tukemalla häviävää osapuolta satavuotisessa sodassa. Hän menetti isänsä ja monet parhaista ritareistaan Crécyn taistelussa elokuussa 1346. Hän itse haavoittui samalla taistelukentällä.