שארל שלט בעריצות בנאפולי ובסיציליה. הוא הציב בהן חיילים, נזירים וכמרים, אצילים ובירוקראטים צרפתים והטיל מיסים כבדים על האוכלוסייה המקומית. זה היה הרקע להתקוממות נגד הצרפתים בסיציליה שהחלה בפלרמו ב-29 במרץ 1282 ונודעה בשם "ערבית סיציליאנית". בהתקוממות זו נרצחו צרפתים רבים בסיציליה. שארל קיבץ את כוחותיו בקלבריה, נחת במסינה והטיל עליה מצור אך ללא הצלחה. הסיציליאנים קראו לפדרו השלישי לקחת לידיו את השלטון בממלכת סיציליה. ב-30 באוגוסט 1282 פדרו השלישי נחת בסיציליה עם צבאו וכעבור חמישה ימים הוכרז למלך סיציליה. שארל נאלץ לסגת לקלבריה.