Non apprezzando gli ambienti romani, ritenuti troppo ghibellini, Clemente IV sin dai primi tempi del suo Pontificato aveva trasferito la Corte Papale a Viterbo, insediandosi nel Palazzo Vescovile, che fece ristrutturare e rinominare Palazzo Papale. Nel 1265 il pontefice autorizzò, nelle cause d'eresia, l'uso della tortura, peraltro già usata in larga misura in tutti i tribunali laici del tempo; fu inoltre severissimo nei confronti degli "ebrei recidivi", per i quali chiese a Luigi IX castighi esemplari. Nel 1266 approvò l'istituzione della Parte Guelfa di Firenze in riconoscenza della determinante partecipazione della cavalleria guelfa fiorentina a fianco di Carlo I d'Angiò nella Battaglia di Benevento del 26 febbraio 1266 e concesse ai consoli dei cavalieri di Firenze il privilegio di fregiarsi del proprio stemma "d'argento all'aquila di rosso brancante un drago verde".