Néanmoins, en 1183, le roi fut offensé par la politique de Guy en tant que régent. Guy assista aux festivités célébrant le mariage d'Isabelle et d'Onfroy, à Kerak, cependant, les festivités furent interrompues lorsque Saladin vint assiéger la forteresse. Baudouin regroupa les forces qu'il lui restait et leva le siège, mais Guy refusa d'affronter Saladin, qui se retira dans le calme et l'ordre. Baudouin, excédé, allégea Guy de sa fonction de régent. Disgracié, il se retira à Ascalon avec sa femme Sibylle.