In 1183 voelde Boudewijn zich diep beledigd door het gedrag van Guy in zijn functie van regent. Guy bezocht het huwelijksfeest van Isabella en Humpfrey, gehouden in Kerak. De festiviteiten werden echter onderbroken door Saladin, die het kasteel belegerde compleet met alle bruiloftsgasten. Boudewijn kwam spoedig met een bijeen geschraapt legertje vanuit Jeruzalem om Kerak te ontzetten. Guy weigerde om vanuit de burcht een aanval op Saladins troepen te doen, die daarop eenvoudig weg konden trekken. Boudewijn kon dit niet waarderen en zette Guy af als regent. De in ongenade gevallen Guy trok zich vervolgens met zijn vrouw prinses Sibylla terug op zijn domein Ashkelon.