בהתחלה, היה קרל הרביעי, בעמדה מאוד חלשה בגרמניה. לעיתים כונה בלעג "מלך הכמרים" (Pfaffenkönig) בשל הסיבות לבחירתו. בישופים רבים וכמעט כל הערים הקיסריות נותרו נאמנים ללודוויג מבוואריה. גרוע מכך, קרל תמך בצד הלא נכון במלחמת מאה השנים, שבה איבד את אביו ורבים מאביריו הטובים ביותר בקרב קרסי באוגוסט 1346. קרל עצמו נמלט פצוע משדה הקרב.