Το 1266 ο Κάρολος είχε καταλάβει, με τη Σικελία, τμήματα της Αδριατικής που έλεγχε προγενέστερα, καθώς και την Κέρκυρα, το Βουθρωτό, τον Αυλώνα και τα Σύβοτα. Με τη Συνθήκη του Βιτέρμπο συμφώνησε με τους εξόριστους Βαλδουίνο Β΄ της Κωνσταντινούπολης και Γουλιέλμο Β΄ Βιλλεαρδουίνο οι κληρονόμοι και των δύο Λατίνων πριγκίπων να παντρευτούν παιδιά του Καρόλου και η Αυτοκρατορία και το πριγκιπάτο να επανέλθουν στον Κάρολο, σε περίπτωση που τα ζευγάρια δεν αποκτούσαν διαδόχους. Έστρεψε επίσης τη σταυροφορία του αδελφού του προς όφελός του, πείθοντας τον αδελφό του να κατευθύνει την Η΄ Σταυροφορία κατά των επαναστατών υποτελών του στην Τύνιδα. Ο θάνατος του Λουδοβίκου, ασθένειες μεταξύ των σταυροφόρων και μια καταιγίδα που κατέστρεψε το στόλο του, ανάγκασαν τον Κάρολο να αναβάλει τα σχέδιά του κατά της Κωνσταντινούπολης. Ο Μιχαήλ Η´ Παλαιολόγος θορυβήθηκε από τη σχεδιαζόμενη σταυροφορία του Καρόλου να παλινορθώσει τη Λατινική Αυτοκρατορία, που είχε καταλυθεί το 1261 και την επέκταση του Καρόλου στη Μεσόγειο. Ο Παλαιολόγος καθυστέρησε τον Κάρολο αρχίζοντας διαπραγματεύσεις με τον Πάπας Γρηγόριο Ι΄ για ένωση της Ελληνικής με τη Λατινική εκκλησία. Στη Σύνοδο της Λυών κηρύχθηκε Ένωση των Εκκλησιών. Ο Κάρολος και ο Φίλιππος του Κουρτεναί υποχρεώθηκαν να παρατείνουν την ανακωχή με το Βυζάντιο. Η ένωση θα αποδεικνυόταν αργότερα ότι δεν ήταν αποδεκτή από τους Έλληνες. Ο Παλαιολόγος χρηματοδότησε επίσης τη Γένοβα για να ενθαρρύνει εξεγέρσεις στα εδάφη του Καρόλου στη βόρεια Ιταλία.