Das Einvernehmen mit dem Kaiser sah Ludwig nur dann in Frage gestellt, wenn dieser gegenüber dem Klerus in einer zu aggressiven Weise verfuhr, wie zum Beispiel 1241, als der Kaiser in der Seeschlacht von Giglio mehrere hohe kirchliche Würdenträger gefangen nehmen ließ, die auf dem Weg zur Papstwahl nach Rom waren. Nach einer scharf formulierten Antwort Ludwigs ließ der Kaiser die aus Frankreich stammenden Würdenträger wieder frei. Über den vermittelnden Grafen von Toulouse strengte Ludwig im Frühjahr 1244 erstmals eine Friedensinitiative zwischen Kaiser und Papst an, die aber trotz ihrer offiziellen Beeidigung nicht zum Tragen kam. Im Dezember 1244 folgte die Exilnahme des Papstes Innozenz IV. in Lyon, nicht zuletzt aufgrund dessen Bedürfnis nach Schutz vor dem Kaiser. Wenn auch Lyon zum Reich gehörte, lag diese Stadt, bedingt durch ihre Grenzlage, im Zugriffsbereich Ludwigs, der somit zum Garant des persönlichen Schutzes der Kurie wurde. In Lyon konnte der Papst ein Konzil einberufen, das im Juli 1245 mit der Absetzung des Kaisers endete. Kaiser Friedrich II. wandte sich drauf im September des Jahres direkt an Ludwig, mit der Bitte um eine persönliche Vermittlung. Auch erklärte er sich bereit, Ludwigs Urteil als Schiedsrichter in dieser Sache anzuerkennen. Im November lud Ludwig den Papst zu einer persönlichen Unterredung in Cluny ein, konnte ihm dabei allerdings kein Entgegenkommen abringen. Viel eher war es Papst Innozenz IV. gelungen, Ludwig für seine Sache neutral zu stimmen, indem er die kirchliche Dispens für die Ehe Karls von Anjou mit der Erbin der Provence gewährte.