কিন্তু ১২৮২ সালে নিহত সিসিলিয়ান ভেসপারসে পালেরমো ফরাসিদের বিরুদ্ধে বিদ্রোহ করেন। এসময় স্থানীয়রা ফরাসি উচ্চারণে ইতালীয় ভাষা ব্যবহারকারী সকলকে হত্যা করে এবং চার্লসকে তার রাজধানী নেপলসে স্থানান্তর করতে বাধ্য করে।
পালারমো ও চার্লস সুইজারল্যান্ডে বন্ধু ছিল।