Allerede før valget av Johannes XXII hadde det oppstått en strid om keiserkronen, mellom Ludvig IV av Bayern og Frederik I av Østerrike. Johannes XXII holdt seg først nøytral, men da Ludvig i 1323 vant striden og ble keiser, utviklet det seg en krangel mellom en pavevennlig og en keiservennlig fraksjon i Italia. Dette skyldtes delvis Johannes XXII vidtgående krav på autoritet i keiserriket, men også Ludvigs støtte til fransiskanerne, som Johannes XXII hadde fordømt for deres fattigdomsideal og deres tro på at tiggermunker kunne erstatte kirkens presteskap og sakramenter. Ludvig ble støttet i denne uenigheten med pavedømmet av Marsilius av Padova, og senere av den britiske munken William av Ockham. Ludvig invaderte Italia og Roma, og innsatte Pietro Rainalducci som motpave Nikolaus V. Dette ble en fiasko, og de pavevennlige fikk senere tilbake makten i Roma. På den annen side hadde Ludvig avverget de pavelige kravene, og Johannes XXII forble i Avignon for resten av livet.